JP2002183175A - テキストマイニング方法 - Google Patents
テキストマイニング方法Info
- Publication number
- JP2002183175A JP2002183175A JP2000379770A JP2000379770A JP2002183175A JP 2002183175 A JP2002183175 A JP 2002183175A JP 2000379770 A JP2000379770 A JP 2000379770A JP 2000379770 A JP2000379770 A JP 2000379770A JP 2002183175 A JP2002183175 A JP 2002183175A
- Authority
- JP
- Japan
- Prior art keywords
- word
- words
- text mining
- mining method
- occurrence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】語の共起情報を用いることにより、テキストマ
イニングを高精度に行う。 【解決手段】複数のテキストからなるコーパスを各テキ
ストに付与された属性を用いて複数のサブコーパスに分
割し、各サブコーパスを特徴付ける情報を抽出するテキ
ストマイニング方法において、近傍に出現する語の組か
らなる語の共起を用いることによって、各サブコーパス
を特徴付ける情報を高精度かつ簡便に抽出することがで
きる。
イニングを高精度に行う。 【解決手段】複数のテキストからなるコーパスを各テキ
ストに付与された属性を用いて複数のサブコーパスに分
割し、各サブコーパスを特徴付ける情報を抽出するテキ
ストマイニング方法において、近傍に出現する語の組か
らなる語の共起を用いることによって、各サブコーパス
を特徴付ける情報を高精度かつ簡便に抽出することがで
きる。
Description
【０００１】
【発明の属する技術分野】本発明は、テキストから情報
を取り出すテキストマイニング方法に関し、特に、語の
関連を考慮したテキストマイニング方法に関する。
を取り出すテキストマイニング方法に関し、特に、語の
関連を考慮したテキストマイニング方法に関する。
【０００２】
【従来の技術】インターネット、ワープロ、ＰＣなどの
普及によって電子的に作成される文書量が増大するのに
伴い、文書検索、自動要約など、ユーザの要求に合致す
る情報を容易に入手するための技術が求められている。
このような目的を持った技術の中で、大量のテキストデ
ータから価値のあるデータを「掘り起こす」ためのテキ
ストマイニングと呼ばれる技術が注目されている。例え
ば、情報処理学会誌，第４０巻，第４号，３５８−３６
４頁に、テキストマイニング技術の現状が紹介されてい
る。
普及によって電子的に作成される文書量が増大するのに
伴い、文書検索、自動要約など、ユーザの要求に合致す
る情報を容易に入手するための技術が求められている。
このような目的を持った技術の中で、大量のテキストデ
ータから価値のあるデータを「掘り起こす」ためのテキ
ストマイニングと呼ばれる技術が注目されている。例え
ば、情報処理学会誌，第４０巻，第４号，３５８−３６
４頁に、テキストマイニング技術の現状が紹介されてい
る。
【０００３】前記文献においては、テキスト（具体的に
はヘルプデスクシステムにおける問い合わせ）の時間的
な変化に着目し、テキストに出現する語が時間的に変化
する様子を抽出する技術が述べられている。人間の記憶
において、ある事柄がいつ頃起きたのかという情報は非
常に重要であり、時間的な変化を用いることは有効であ
ると考えられる。その際、前記文献の技術では、目的語
や助動詞などの機能語を含めた動詞（述語）を中心とす
る語の組に着目することによって、単独の語を抽出する
場合よりも精度を向上する方法を示しており、動詞に着
目した解析を行うために、構文解析技術を利用してい
る。
はヘルプデスクシステムにおける問い合わせ）の時間的
な変化に着目し、テキストに出現する語が時間的に変化
する様子を抽出する技術が述べられている。人間の記憶
において、ある事柄がいつ頃起きたのかという情報は非
常に重要であり、時間的な変化を用いることは有効であ
ると考えられる。その際、前記文献の技術では、目的語
や助動詞などの機能語を含めた動詞（述語）を中心とす
る語の組に着目することによって、単独の語を抽出する
場合よりも精度を向上する方法を示しており、動詞に着
目した解析を行うために、構文解析技術を利用してい
る。
【０００４】
【発明が解決しようとする課題】しかしながら、前記技
術には次のような問題点がある。まず、構文解析技術は
一般の自然言語で記述された文書を処理するには精度が
不十分である。そのため、構文解析された結果を前提と
して処理を行うと、動詞単独で処理を行った場合よりも
テキストマイニングの精度が低下する可能性がある。
術には次のような問題点がある。まず、構文解析技術は
一般の自然言語で記述された文書を処理するには精度が
不十分である。そのため、構文解析された結果を前提と
して処理を行うと、動詞単独で処理を行った場合よりも
テキストマイニングの精度が低下する可能性がある。
【０００５】また、構文解析技術は形態素解析やＮ−ｇ
ｒａｍ抽出などと比較すると処理時間が長く、大量の文
書の処理には適していない。比較的簡単な処理で高速に
構文解析処理を行う方式も提案されているが、この場合
には、精度が問題となる。
ｒａｍ抽出などと比較すると処理時間が長く、大量の文
書の処理には適していない。比較的簡単な処理で高速に
構文解析処理を行う方式も提案されているが、この場合
には、精度が問題となる。
【０００６】また、前記技術は動詞に着目し、動詞を補
完するものとして目的語や助動詞などを抽出している。
ヘルプデスクなどでは、システムの操作方法に関する問
い合わせなどが多いため、動詞に着目することは有用で
あると考えられる。しかしながら、より一般的な文書に
おいては、必ずしも動詞が最も重要な情報を担っている
とは限らない。実際、全文検索などでは、名詞を主体に
した検索が行われている。
完するものとして目的語や助動詞などを抽出している。
ヘルプデスクなどでは、システムの操作方法に関する問
い合わせなどが多いため、動詞に着目することは有用で
あると考えられる。しかしながら、より一般的な文書に
おいては、必ずしも動詞が最も重要な情報を担っている
とは限らない。実際、全文検索などでは、名詞を主体に
した検索が行われている。
【０００７】本発明の目的は、構文解析技術を使用せ
ず、より簡便な方法で、重要な情報を効率的に抽出する
ことが可能なテキストマイニング方法を提供することに
ある。
ず、より簡便な方法で、重要な情報を効率的に抽出する
ことが可能なテキストマイニング方法を提供することに
ある。
【０００８】
【課題を解決するための手段】上記本発明の目的は、時
間に関する属性が付与された文書の集合を時間に関する
属性に基づいて部分集合に分割する手段、前記分割され
た文書の部分集合からそれぞれ語の共起情報を抽出する
手段、前記分割された文書の部分集合から抽出された共
起情報から各文書の部分集合を特徴付ける共起情報を抽
出する手段、を備えることによって達成できる。
間に関する属性が付与された文書の集合を時間に関する
属性に基づいて部分集合に分割する手段、前記分割され
た文書の部分集合からそれぞれ語の共起情報を抽出する
手段、前記分割された文書の部分集合から抽出された共
起情報から各文書の部分集合を特徴付ける共起情報を抽
出する手段、を備えることによって達成できる。
【０００９】
【発明の実施の形態】図１に、本発明の一実施例による
テキストマイニングシステムの構成を示す。本実施例の
テキストマイニングシステムは、処理対象となるテキス
トデータ１１およびテキストマイニングプログラム１２
が格納されたファイル装置１、コーパス分割モジュール
２１、語抽出モジュール２２、共起抽出モジュール２
３、特徴抽出モジュール２４、特徴表示モジュール２５
などのテキストマイニングプログラム１２を構成する各
モジュールおよび語情報テーブル２６、共起情報テーブ
ル２７などのデータが必要に応じてロードされるメモリ
２、ファイルおよびメモリ上のプログラムとデータによ
って処理を実行する処理装置３、ユーザへの結果の表示
およびユーザからのデータ入力などを行う入出力装置４
からなる。
テキストマイニングシステムの構成を示す。本実施例の
テキストマイニングシステムは、処理対象となるテキス
トデータ１１およびテキストマイニングプログラム１２
が格納されたファイル装置１、コーパス分割モジュール
２１、語抽出モジュール２２、共起抽出モジュール２
３、特徴抽出モジュール２４、特徴表示モジュール２５
などのテキストマイニングプログラム１２を構成する各
モジュールおよび語情報テーブル２６、共起情報テーブ
ル２７などのデータが必要に応じてロードされるメモリ
２、ファイルおよびメモリ上のプログラムとデータによ
って処理を実行する処理装置３、ユーザへの結果の表示
およびユーザからのデータ入力などを行う入出力装置４
からなる。
【００１０】図２の処理フローを用いて、本実施例にお
けるテキストマイニング処理について説明する。コーパ
ス分割モジュール２１は、コーパス中の各テキストに付
与されている属性を用いて入力テキストを複数のサブコ
ーパスに分割する（ステップ１１１）。ここで、本実施
例では、属性として日付のような時間を表す属性（以
下、時間属性と呼ぶ）を用いる場合を例に説明するが、
本発明は必ずしも時間属性に限定されるものではない。
けるテキストマイニング処理について説明する。コーパ
ス分割モジュール２１は、コーパス中の各テキストに付
与されている属性を用いて入力テキストを複数のサブコ
ーパスに分割する（ステップ１１１）。ここで、本実施
例では、属性として日付のような時間を表す属性（以
下、時間属性と呼ぶ）を用いる場合を例に説明するが、
本発明は必ずしも時間属性に限定されるものではない。
【００１１】図３に、本実施例で扱うテキストデータの
構造を示す。テキストデータは、文書ＩＤ、日付、文書
ファイル名を有している。文書ＩＤは、文書の識別子で
ある。日付は、文書の時間属性を表わし、例えば新聞記
事であれば当該記事が掲載された日付などを付与し、特
許明細書などであれば出願された日付などを付与するも
のである。文書ファイル名は当該文書の実体のデータが
格納されているファイルの名称である。
構造を示す。テキストデータは、文書ＩＤ、日付、文書
ファイル名を有している。文書ＩＤは、文書の識別子で
ある。日付は、文書の時間属性を表わし、例えば新聞記
事であれば当該記事が掲載された日付などを付与し、特
許明細書などであれば出願された日付などを付与するも
のである。文書ファイル名は当該文書の実体のデータが
格納されているファイルの名称である。
【００１２】なお、本実施例においては、時間属性が図
３に示すような形式で保持されているものとするが、図
３の形式に限らず、時間的な属性であれば他の形式、例
えばＵＮＩＸ（登録商標）のファイルシステムにおいて
保持されているファイルの作成・更新日付など、様々な
ものが利用できる。
３に示すような形式で保持されているものとするが、図
３の形式に限らず、時間的な属性であれば他の形式、例
えばＵＮＩＸ（登録商標）のファイルシステムにおいて
保持されているファイルの作成・更新日付など、様々な
ものが利用できる。
【００１３】サブコーパスへの分割は、例えば図３に示
すデータにおける日付を用いて行われる。一つのサブコ
ーパスには、ある一定の期間ｈの文書を格納するものと
し、時間の起点をｔｓとすれば、Ｓｉ番目のサブコーパ
スは、数１のように定められる。ただし、ｄｊは、ｊ番
目の文書のＩＤを示し、ｔｉｍｅ（ｄｊ）は、文書ｄｊ
の時間属性の値を示す。ｈとしては、例えば１ヶ月、３
ヶ月あるいは半年といった期間を用いる。
すデータにおける日付を用いて行われる。一つのサブコ
ーパスには、ある一定の期間ｈの文書を格納するものと
し、時間の起点をｔｓとすれば、Ｓｉ番目のサブコーパ
スは、数１のように定められる。ただし、ｄｊは、ｊ番
目の文書のＩＤを示し、ｔｉｍｅ（ｄｊ）は、文書ｄｊ
の時間属性の値を示す。ｈとしては、例えば１ヶ月、３
ヶ月あるいは半年といった期間を用いる。
【００１４】
【数１】 Si＝{dj|ts＋i*h≦time(dj)≦ts＋(i＋1)*h}}（i＝0,1,2,...） ……(1) 語抽出モジュール２２は、各サブコーパス中に含まれる
語とその出現頻度を抽出する（ステップ１１２）。抽出
された語と出現頻度に関する情報を格納する語情報テー
ブル２６の例を図４に示す。図４では、サブコーパス毎
に各語の出現頻度が保持されている。語とその出現頻度
の抽出は、まず、形態素解析を行ってテキストを単語に
分割した後、各単語および複合語の頻度をカウントする
ことによって行われる。
語とその出現頻度を抽出する（ステップ１１２）。抽出
された語と出現頻度に関する情報を格納する語情報テー
ブル２６の例を図４に示す。図４では、サブコーパス毎
に各語の出現頻度が保持されている。語とその出現頻度
の抽出は、まず、形態素解析を行ってテキストを単語に
分割した後、各単語および複合語の頻度をカウントする
ことによって行われる。
【００１５】ここで、形態素解析については、例えば特
開昭５８−４０６８４号公報などに開示されている手法
を利用することが可能であり、複合語の抽出について
は、例えば「コーパス対応の関連シソーラスナビゲーシ
ョン」情報処理学会データベースシステム研究会１１８
−１３，９７−１０４頁，１９９９に開示されている方
法を利用することが可能であるため、説明を省略する。
開昭５８−４０６８４号公報などに開示されている手法
を利用することが可能であり、複合語の抽出について
は、例えば「コーパス対応の関連シソーラスナビゲーシ
ョン」情報処理学会データベースシステム研究会１１８
−１３，９７−１０４頁，１９９９に開示されている方
法を利用することが可能であるため、説明を省略する。
【００１６】共起抽出モジュール２３は、各サブコーパ
ス中に含まれる語の共起とその出現頻度を抽出する（ス
テップ１１３）。ここで、「語の共起」とは、同時に出
現する可能性が高いタームの組であり、例えば「”銀
行”と”預金”という語の組が５回出現した」といった
データを示す。抽出された共起と出現頻度を格納する共
起情報テーブル２７の例を図５に示す。図５では、サブ
コーパス毎に各共起の出現頻度が保持されている。
ス中に含まれる語の共起とその出現頻度を抽出する（ス
テップ１１３）。ここで、「語の共起」とは、同時に出
現する可能性が高いタームの組であり、例えば「”銀
行”と”預金”という語の組が５回出現した」といった
データを示す。抽出された共起と出現頻度を格納する共
起情報テーブル２７の例を図５に示す。図５では、サブ
コーパス毎に各共起の出現頻度が保持されている。
【００１７】共起とその出現頻度の抽出方法は、例えば
「コーパス対応の関連シソーラスナビゲーション」、情
報処理学会データベースシステム研究会１１８−１３，
９７−１０４頁，１９９９に開示されているような方法
により行うことができる。概略を説明すると、まず、形
態素解析を行ってテキストを単語に分割して得られる単
語列において、図６に例を示すようにある特定の語に着
目し、その語を中心とするウインドウを考える。図６で
は、「…ＸＸＸ社は、ＹＹＹ社と合併し、存続会社は、
…」という文を例として用いている。図中、”｜”は、
形態素解析結果である語と語の切れ目を示している。各
語は、品詞によって内容語と機能語に分類される。内容
語とは名詞、動詞、形容詞など個々の語が独立で意味を
持つ語であり、機能語とは助詞や助動詞のように、単独
では意味を持たず、他の語と組み合わせて用いられる語
である。図中、内容語には下線がひかれている。
「コーパス対応の関連シソーラスナビゲーション」、情
報処理学会データベースシステム研究会１１８−１３，
９７−１０４頁，１９９９に開示されているような方法
により行うことができる。概略を説明すると、まず、形
態素解析を行ってテキストを単語に分割して得られる単
語列において、図６に例を示すようにある特定の語に着
目し、その語を中心とするウインドウを考える。図６で
は、「…ＸＸＸ社は、ＹＹＹ社と合併し、存続会社は、
…」という文を例として用いている。図中、”｜”は、
形態素解析結果である語と語の切れ目を示している。各
語は、品詞によって内容語と機能語に分類される。内容
語とは名詞、動詞、形容詞など個々の語が独立で意味を
持つ語であり、機能語とは助詞や助動詞のように、単独
では意味を持たず、他の語と組み合わせて用いられる語
である。図中、内容語には下線がひかれている。
【００１８】図６では、語「ＹＹＹ社」に着目し、「Ｙ
ＹＹ社」を中心とするウインドウを設定している。ウイ
ンドウは、着目している語を中心として前後何語までを
共起していると見なすかによって定められる。例えば、
図６の例では、着目語に対して前後１語ずつが着目語と
共起していると考える場合を示しており、この場合、着
目語と直前の内容語の組、着目語とその直後の内容語の
組が共起として抽出される。具体的には、図６の例で
は、（ＸＸＸ社，ＹＹＹ社）と（ＹＹＹ社，合併する）
が共起として抽出される。このような場合、ウインドウ
の幅が３であるという。着目語の位置をずらしながら、
同様の処理を繰り返し、同じ共起が抽出される回数をカ
ウントすることにより、共起とその出現頻度を抽出する
ことができる。
ＹＹ社」を中心とするウインドウを設定している。ウイ
ンドウは、着目している語を中心として前後何語までを
共起していると見なすかによって定められる。例えば、
図６の例では、着目語に対して前後１語ずつが着目語と
共起していると考える場合を示しており、この場合、着
目語と直前の内容語の組、着目語とその直後の内容語の
組が共起として抽出される。具体的には、図６の例で
は、（ＸＸＸ社，ＹＹＹ社）と（ＹＹＹ社，合併する）
が共起として抽出される。このような場合、ウインドウ
の幅が３であるという。着目語の位置をずらしながら、
同様の処理を繰り返し、同じ共起が抽出される回数をカ
ウントすることにより、共起とその出現頻度を抽出する
ことができる。
【００１９】特徴抽出モジュール２４は、各サブコーパ
スの特徴を表わす共起をサブコーパス毎に決定する（ス
テップ１１４）。サブコーパスの特徴となる共起の抽出
方法としては、例えば、「言語と計算５情報検索と言語
処理」，徳永健伸，東京大学出版会，１９９９に開示さ
れているｔｆ−ｉｄｆ（term frequency-inverse doc
ument frequency）法と呼ばれる方法を用いることがで
きる。
スの特徴を表わす共起をサブコーパス毎に決定する（ス
テップ１１４）。サブコーパスの特徴となる共起の抽出
方法としては、例えば、「言語と計算５情報検索と言語
処理」，徳永健伸，東京大学出版会，１９９９に開示さ
れているｔｆ−ｉｄｆ（term frequency-inverse doc
ument frequency）法と呼ばれる方法を用いることがで
きる。
【００２０】以下、ｔｆ−ｉｄｆ法の概要を説明する。
ｔｆ−ｉｄｆ法は、元々は文書を特徴づける語を決定す
るための手法である。考え方としては、「文書に多く現
れるタームは、その文書の特徴タームである」という要
因と「多くの文書に現れる文書は特定の文書の特徴ター
ムではない」という要因を組み合わせたものである。す
なわち、前者に対応する文書に出現するタームの頻度
（ｔｆ値）と後者に対応する当該タームが出現する文書
数の逆数（ｉｄｆ値）の積をもって、語が特徴的である
かどうかを示すものである。ｔｆ−ｉｄｆ値を求めるた
めの式を数２に示す。ここで、ｆiは語ｗjの文書ｄにお
ける出現頻度であり、ｍは全文書数、ｍjは全文書中で
ｗjが出現した文書数である。
ｔｆ−ｉｄｆ法は、元々は文書を特徴づける語を決定す
るための手法である。考え方としては、「文書に多く現
れるタームは、その文書の特徴タームである」という要
因と「多くの文書に現れる文書は特定の文書の特徴ター
ムではない」という要因を組み合わせたものである。す
なわち、前者に対応する文書に出現するタームの頻度
（ｔｆ値）と後者に対応する当該タームが出現する文書
数の逆数（ｉｄｆ値）の積をもって、語が特徴的である
かどうかを示すものである。ｔｆ−ｉｄｆ値を求めるた
めの式を数２に示す。ここで、ｆiは語ｗjの文書ｄにお
ける出現頻度であり、ｍは全文書数、ｍjは全文書中で
ｗjが出現した文書数である。
【００２１】
【数２】
【００２２】通常、ｔｆ−ｉｄｆ法は各「文書」の特徴
「語」を抽出する手法であるが、複数の文書からなるサ
ブコーパス全体を一つの「文書」と考え、抽出された共
起を「語」と見なすことによって、各サブコーパスの特
徴となる共起を抽出することができる。各サブコーパス
に共起のｔｆ−ｉｄｆ値を求め、予め定めた閾値以上の
ｔｆ−ｉｄｆ値を持つ共起を、各サブコーパスの特徴共
起として抽出する。特徴共起テーブルの例を図７に示
す。
「語」を抽出する手法であるが、複数の文書からなるサ
ブコーパス全体を一つの「文書」と考え、抽出された共
起を「語」と見なすことによって、各サブコーパスの特
徴となる共起を抽出することができる。各サブコーパス
に共起のｔｆ−ｉｄｆ値を求め、予め定めた閾値以上の
ｔｆ−ｉｄｆ値を持つ共起を、各サブコーパスの特徴共
起として抽出する。特徴共起テーブルの例を図７に示
す。
【００２３】共起する語の組は、何らかのトピックを表
わしている。語が１個だけであると、その語が表わして
いるトピックは明確ではないが、｛「ＸＸＸ社」、「Ｙ
ＹＹ社」、「合併」、「存続会社」｝のような語の集合
を与えられれば、語の集合がどのようなトピックを表現
しているかが理解し易くなる。また、「ＸＸＸ社」と
「ＹＹＹ社」がよく知られている大企業などであった場
合、特定の時期だけに集中して出現するということはな
く、多少の増減はあるにせよ、長い期間に渡ってまんべ
んなく出現することが普通であり、語だけに着目すると
特定の時期を特徴付ける情報の抽出は困難である。しか
し、語の共起に着目すれば、「ＸＸＸ社」と「ＹＹＹ
社」が同時に出現しやすい時期の特定は非常に容易とな
る。
わしている。語が１個だけであると、その語が表わして
いるトピックは明確ではないが、｛「ＸＸＸ社」、「Ｙ
ＹＹ社」、「合併」、「存続会社」｝のような語の集合
を与えられれば、語の集合がどのようなトピックを表現
しているかが理解し易くなる。また、「ＸＸＸ社」と
「ＹＹＹ社」がよく知られている大企業などであった場
合、特定の時期だけに集中して出現するということはな
く、多少の増減はあるにせよ、長い期間に渡ってまんべ
んなく出現することが普通であり、語だけに着目すると
特定の時期を特徴付ける情報の抽出は困難である。しか
し、語の共起に着目すれば、「ＸＸＸ社」と「ＹＹＹ
社」が同時に出現しやすい時期の特定は非常に容易とな
る。
【００２４】なお、本実施例では特徴的な共起を抽出す
る方法としてｔｆ−ｉｄｆ値を用いたが、本発明の内容
はｔｆ−ｉｄｆ法に限定されず、情報の偏りを検出する
ことができる方法であれば任意の方法を用いることがで
きる。また、ｔｆ−ｉｄｆ法は、サブコーパス毎にサブ
コーパスを特徴付ける共起、言い換えれば、サブコーパ
スによって偏りがある共起を見つけるために用いられる
が、これに先立ってサブコーパス毎に意味のある共起の
みを抽出しておくことが望ましい。そのためには、共起
の頻度およびステップ１１２で抽出された語の頻度を用
いて計算される相互情報量や対数尤度比などの統計量を
用いることができる。意味のある共起を抽出する方法に
ついては、「コーパス対応の関連シソーラスナビゲーシ
ョン」、情報処理学会データベースシステム研究会１１
８−１３，９７−１０４頁，１９９９に開示される方法
を用いることができるため、説明を省略する。
る方法としてｔｆ−ｉｄｆ値を用いたが、本発明の内容
はｔｆ−ｉｄｆ法に限定されず、情報の偏りを検出する
ことができる方法であれば任意の方法を用いることがで
きる。また、ｔｆ−ｉｄｆ法は、サブコーパス毎にサブ
コーパスを特徴付ける共起、言い換えれば、サブコーパ
スによって偏りがある共起を見つけるために用いられる
が、これに先立ってサブコーパス毎に意味のある共起の
みを抽出しておくことが望ましい。そのためには、共起
の頻度およびステップ１１２で抽出された語の頻度を用
いて計算される相互情報量や対数尤度比などの統計量を
用いることができる。意味のある共起を抽出する方法に
ついては、「コーパス対応の関連シソーラスナビゲーシ
ョン」、情報処理学会データベースシステム研究会１１
８−１３，９７−１０４頁，１９９９に開示される方法
を用いることができるため、説明を省略する。
【００２５】特徴表示モジュール２５は各サブコーパス
から抽出された特徴を表示する（ステップ１１５）。そ
の表示方法の一例を図８に示す。図８の例は、サブコー
パス毎に特徴共起の集合を表示する方法である。ユーザ
が所望の時期、例えば「１９９１年前半」のように指定
することにより、システムは当該時期のサブコーパスか
ら抽出した特徴共起を表示する。また、図８ではコーパ
ス全体から抽出された特徴的な情報を表示する方法を説
明したが、別の方法としてユーザが入力した語に対し、
特徴共起を検索して表示することも可能である。
から抽出された特徴を表示する（ステップ１１５）。そ
の表示方法の一例を図８に示す。図８の例は、サブコー
パス毎に特徴共起の集合を表示する方法である。ユーザ
が所望の時期、例えば「１９９１年前半」のように指定
することにより、システムは当該時期のサブコーパスか
ら抽出した特徴共起を表示する。また、図８ではコーパ
ス全体から抽出された特徴的な情報を表示する方法を説
明したが、別の方法としてユーザが入力した語に対し、
特徴共起を検索して表示することも可能である。
【００２６】特徴共起を検索する方法の例を図９に示
す。図９では「ＸＸＸ社」という語を入力した結果、
「ＸＸＸ社−ＹＹＹ社」、「ＸＸＸ社−合併」という共
起から、関連語として「ＹＹＹ社」、「合併」が表示さ
れている。図８の方法と図９の方法を組み合わせること
も可能である。
す。図９では「ＸＸＸ社」という語を入力した結果、
「ＸＸＸ社−ＹＹＹ社」、「ＸＸＸ社−合併」という共
起から、関連語として「ＹＹＹ社」、「合併」が表示さ
れている。図８の方法と図９の方法を組み合わせること
も可能である。
【００２７】また、別の表示方法の例を図１０に示す。
図１０は日付の情報と特徴共起の情報を同時に表示する
方法である。このような形態で表示することにより、コ
ーパス中に含まれる文書から、いつ頃にどのような事柄
が起きたのかを容易に理解することができる。
図１０は日付の情報と特徴共起の情報を同時に表示する
方法である。このような形態で表示することにより、コ
ーパス中に含まれる文書から、いつ頃にどのような事柄
が起きたのかを容易に理解することができる。
【００２８】ところで、以上の例では「円高−為替」の
ように共起を羅列する形で表示しているが、「円高−為
替」、「円高−ドル安」のように共通の語を含む共起が
出現するため冗長である。この場合、冗長な語を削除し
て「円高」、「為替」、「ドル安」のように語を羅列す
る形式で表示することも可能である。ただし、語を羅列
する形式だけで表示すると語の間の関係が不明確になる
ため、次のような表示方法も考えられる。
ように共起を羅列する形で表示しているが、「円高−為
替」、「円高−ドル安」のように共通の語を含む共起が
出現するため冗長である。この場合、冗長な語を削除し
て「円高」、「為替」、「ドル安」のように語を羅列す
る形式で表示することも可能である。ただし、語を羅列
する形式だけで表示すると語の間の関係が不明確になる
ため、次のような表示方法も考えられる。
【００２９】図１１は、図１０に示した例と同様に、サ
ブコーパス毎に特徴共起の集合を表示しているが、共起
情報を用いて関連の強い語をクラスタリングした上で、
各クラスタに属する語を羅列する形式で表示している点
に特徴がある。語のクラスタリングについては「コーパ
ス対応の関連シソーラスナビゲーション」、情報処理学
会データベースシステム研究会１１８−１３，９７−１
０４頁，１９９９に開示された方法を利用することがで
きるので、説明を省略する。
ブコーパス毎に特徴共起の集合を表示しているが、共起
情報を用いて関連の強い語をクラスタリングした上で、
各クラスタに属する語を羅列する形式で表示している点
に特徴がある。語のクラスタリングについては「コーパ
ス対応の関連シソーラスナビゲーション」、情報処理学
会データベースシステム研究会１１８−１３，９７−１
０４頁，１９９９に開示された方法を利用することがで
きるので、説明を省略する。
【００３０】以上では、時間属性を用いて得られるサブ
コーパスから特徴的な情報を抽出する方法について説明
したが、時間以外の属性についても同様の処理で扱うこ
とができる。時間以外の属性として、例えば分野のよう
なカテゴリを示す属性が付与されている場合を考える。
このような属性は文書を分類して管理するためによく用
いられる。このような場合には、各カテゴリに属する文
書をステップ１１１で得られるサブコーパスとして扱う
ことにより処理を行うことができる。このような場合に
も、各カテゴリを特徴付ける情報が高い精度で表示され
るため、そのカテゴリの中心的な概念を容易に理解する
ことができる。また、文書を予め定められたカテゴリに
分類する文書分類技術において、適切な分類知識を記述
するための支援や、高精度な分類を行うことが容易にで
きるようになる。
コーパスから特徴的な情報を抽出する方法について説明
したが、時間以外の属性についても同様の処理で扱うこ
とができる。時間以外の属性として、例えば分野のよう
なカテゴリを示す属性が付与されている場合を考える。
このような属性は文書を分類して管理するためによく用
いられる。このような場合には、各カテゴリに属する文
書をステップ１１１で得られるサブコーパスとして扱う
ことにより処理を行うことができる。このような場合に
も、各カテゴリを特徴付ける情報が高い精度で表示され
るため、そのカテゴリの中心的な概念を容易に理解する
ことができる。また、文書を予め定められたカテゴリに
分類する文書分類技術において、適切な分類知識を記述
するための支援や、高精度な分類を行うことが容易にで
きるようになる。
【００３１】
【発明の効果】本発明によれば、大量の文書からなるコ
ーパスから、構文解析のような技術を用いず、簡便な方
法で特徴的な情報を抽出し、表示することが可能にな
る。
ーパスから、構文解析のような技術を用いず、簡便な方
法で特徴的な情報を抽出し、表示することが可能にな
る。
【図１】本発明の一実施例のテキストマイニングシステ
ムを示すブロック図。
ムを示すブロック図。
【図２】本発明の一実施例のテキストマイニング処理の
フロー図。
フロー図。
【図３】テキストデータの例を示す説明図。
【図４】語と出現頻度を格納する語情報テーブルの例を
示す説明図。
示す説明図。
【図５】共起と出現頻度を格納する共起情報テーブルの
例を示す説明図。
例を示す説明図。
【図６】ウインドウ共起の例を示す説明図。
【図７】特徴共起テーブルの例を示す説明図。
【図８】特徴共起の表示例を示す説明図。
【図９】特徴共起の表示例を示す説明図。
【図１０】特徴共起の表示例を示す説明図。
【図１１】特徴共起の表示例を示す説明図。
Claims (5)
- 【請求項１】少なくとも２個以上の文書集合から特徴的
な情報を抽出するテキストマイニング方法において、前
記２個以上の文書集合から同時に出現する語の組を抽出
し、前記部分文書集合毎に前記抽出された語の組の中か
ら特徴的な語の組を抽出することを特徴とするテキスト
マイニング方法。 - 【請求項２】少なくとも一つの属性が付与された文書の
集合から、前記属性に着目して特徴的な情報を抽出する
テキストマイニング方法において、前記属性に基づいて
文書集合を少なくとも２個の部分文書集合に分割し、前
記２個以上の部分文書集合から同時に出現する語の組を
抽出し、前記部分文書集合毎に前記抽出された語の組の
中から特徴的な語の組を抽出することを特徴とするテキ
ストマイニング方法。 - 【請求項３】請求項１または請求項２に記載のテキスト
マイニング方法において、前記抽出される同時に出現す
る語の組が、一定の距離内に出現する語の組であること
を特徴とするテキストマイニング方法。 - 【請求項４】請求項１または請求項２に記載のテキスト
マイニング方法において、前記抽出された特徴的な語の
組を構成する２個の語間の結びつきの強さを示す量を計
算し、前記抽出された特徴的な語の組を前記計算された
量に応じてクラスタリングして表示することを特徴とす
るテキストマイニング方法。 - 【請求項５】請求項１または請求項２に記載のテキスト
マイニング方法において、前記文書集合を指示する情報
および語の入力を受け、前記入力された語と関連する語
を前記入力された情報によって指示される文書集合から
抽出された前記語の組の情報から取得し、前記入力され
た語の関連語として表示することを特徴とするテキスト
マイニング方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000379770A JP2002183175A (ja) | 2000-12-08 | 2000-12-08 | テキストマイニング方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000379770A JP2002183175A (ja) | 2000-12-08 | 2000-12-08 | テキストマイニング方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002183175A true JP2002183175A (ja) | 2002-06-28 |
| JP2002183175A5 JP2002183175A5 (ja) | 2005-07-21 |
Family
ID=18848074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000379770A Pending JP2002183175A (ja) | 2000-12-08 | 2000-12-08 | テキストマイニング方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002183175A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004086350A (ja) * | 2002-08-23 | 2004-03-18 | Toshiba Corp | テキスト情報分析システムおよび分析結果の提示方法 |
| WO2004053735A1 (ja) * | 2002-12-12 | 2004-06-24 | Honda Motor Co., Ltd. | 情報処理装置および情報処理方法、並びに情報処理プログラム |
| JP2004178123A (ja) * | 2002-11-26 | 2004-06-24 | Hitachi Ltd | 情報処理装置、該情報処理装置を実現するためのプログラム |
| US8073851B2 (en) | 2008-03-10 | 2011-12-06 | Panasonic Corporation | Content searching device and content searching method |
| US8611676B2 (en) | 2005-07-26 | 2013-12-17 | Sony Corporation | Information processing apparatus, feature extraction method, recording media, and program |
| JP2014002653A (ja) * | 2012-06-20 | 2014-01-09 | Ntt Docomo Inc | 共起語を特定する装置およびプログラム |
| JP2020181367A (ja) * | 2019-04-25 | 2020-11-05 | みずほ情報総研株式会社 | 関連語辞書作成システム、関連語辞書作成方法及び関連語辞書作成プログラム |
-
2000
- 2000-12-08 JP JP2000379770A patent/JP2002183175A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004086350A (ja) * | 2002-08-23 | 2004-03-18 | Toshiba Corp | テキスト情報分析システムおよび分析結果の提示方法 |
| JP2004178123A (ja) * | 2002-11-26 | 2004-06-24 | Hitachi Ltd | 情報処理装置、該情報処理装置を実現するためのプログラム |
| WO2004053735A1 (ja) * | 2002-12-12 | 2004-06-24 | Honda Motor Co., Ltd. | 情報処理装置および情報処理方法、並びに情報処理プログラム |
| US7398202B2 (en) | 2002-12-12 | 2008-07-08 | Honda Motor Co., Ltd. | Information processing apparatus, information processing method and information processing program |
| US8611676B2 (en) | 2005-07-26 | 2013-12-17 | Sony Corporation | Information processing apparatus, feature extraction method, recording media, and program |
| US8073851B2 (en) | 2008-03-10 | 2011-12-06 | Panasonic Corporation | Content searching device and content searching method |
| JP2014002653A (ja) * | 2012-06-20 | 2014-01-09 | Ntt Docomo Inc | 共起語を特定する装置およびプログラム |
| JP2020181367A (ja) * | 2019-04-25 | 2020-11-05 | みずほ情報総研株式会社 | 関連語辞書作成システム、関連語辞書作成方法及び関連語辞書作成プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cafarella et al. | Uncovering the Relational Web. | |
| US9659084B1 (en) | System, methods, and user interface for presenting information from unstructured data | |
| US6366908B1 (en) | Keyfact-based text retrieval system, keyfact-based text index method, and retrieval method | |
| Fletcher | Corpus analysis of the world wide web | |
| US9323827B2 (en) | Identifying key terms related to similar passages | |
| US7783644B1 (en) | Query-independent entity importance in books | |
| US8135669B2 (en) | Information access with usage-driven metadata feedback | |
| US8977953B1 (en) | Customizing information by combining pair of annotations from at least two different documents | |
| JP4274689B2 (ja) | データ組を選ぶための方法とシステム | |
| US10552467B2 (en) | System and method for language sensitive contextual searching | |
| US10387469B1 (en) | System and methods for discovering, presenting, and accessing information in a collection of text contents | |
| US20100005087A1 (en) | Facilitating collaborative searching using semantic contexts associated with information | |
| EP1716511A1 (en) | Intelligent search and retrieval system and method | |
| CN112231494A (zh) | 信息抽取方法、装置、电子设备及存储介质 | |
| Armentano et al. | NLP-based faceted search: Experience in the development of a science and technology search engine | |
| Hassel | Evaluation of automatic text summarization | |
| JP2002183175A (ja) | テキストマイニング方法 | |
| JPH0944523A (ja) | 関連語提示装置 | |
| JP4428703B2 (ja) | 情報検索方法及びそのシステム並びにコンピュータプログラム | |
| Belerao et al. | Summarization using mapreduce framework based big data and hybrid algorithm (HMM and DBSCAN) | |
| Fairon et al. | GlossaNet 2: a linguistic search engine for RSS-based corpora | |
| Ibekwe‐SanJuan | Constructing and maintaining knowledge organization tools: a symbolic approach | |
| JP2000105769A (ja) | 文書表示方法 | |
| Aksan et al. | The Turkish National Corpus (TNC): comparing the architectures of v1 and v2 | |
| Anick | Automatic construction of faceted terminological feedback for context-based information retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041201 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071017 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071017 |