JP2002297587A - 言語解析用データ作成方法、言語解析方法及び前記方法に用いるプログラム - Google Patents

Abstract

(57)【要約】 【課題】 解析不能な言語に対して言語解析用データの
収集・作成が高頻度、かつ効率良く行える方法を提供す
る。 【解決手段】 予め用意した文章を形態素解析部１２で
辞書１３を参照して言語解析し、辞書に未登録、解析不
能な言語がある場合、その単語，文字列を検索キーとし
てＷＷＷ検索部１５でネットワーク上の文書を検索す
る。検索された文書群から検索結果分析部１８で検索キ
ーの単語，文字列に関するデータ、例えばヒットした文
書の件数を得、新語の認識やヒット数を言語解析用デー
タとして辞書に登録することにより、解析の高精度化を
図る。他の例として、上記の検索文書をさらに形態素解
析し、未登録語の接続表（前後の形態素との関係を表
す）を作成する例も示す。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、形態素解析、構文
解析等の文章の言語解析に関し、より詳細には、解析精
度を上げるための言語解析用のデータの収集・作成を効
率的に行う方法及び該方法による言語解析用データを用
いた言語解析方法に関する。

【０００２】

【従来の技術】従来から、文章の言語解析は、形態素解
析や構文解析として行われており、この処理に必要な言
語データは、単語の語義や属性等に関する情報を蓄積し
た辞書と呼ばれるものと、単語間あるいは単語の属する
カテゴリ(品詞)間の接続のコストを記述した接続表と呼
ばれるものから提供される。これらは、人手によって作
成されるか、あるいは大量のコーパス（言語解析された
文章事例を資料として集成したもの）から、自動的ある
いは半自動的に作成される。従来提案されたかかる方式
の例として、コーパスから頻度情報を求め、その正規化
頻度を形態素解析のコストとして使用し、言語解析を行
う方式（例えば、特開平10-240735、参照）を示すこと
ができる。

【０００３】

【発明が解決しようとする課題】ところで、自然言語は
静的なものではなく、時代によって次々と移り変わって
いくものであり、ある時点で収集し、蓄積した大量のコ
ーパスは、時が経つにつれて古いものになっていき、い
わゆる新語といったものに対応できなくなるといったこ
とが起きる。従って、解析精度を維持するためには、新
語に対応し得るように高頻度にコーパスを作り直さなけ
ればならないが、これまでは、大量のデータからなるコ
ーパスを高頻度に作成するための有効な手立てがなく、
非常に効率の悪い作業を行っていた。本発明は、形態素
解析、構文解析等の文章の言語解析に用いる言語解析用
データの収集・作成における上記した従来技術の問題点
に鑑みてなされたものであり、その目的は、解析が不能
な言語に対して言語解析用データの収集・作成を高頻度
に、かつ効率良く行うことを可能にする言語解析用デー
タ作成方法、該方法により作成された言語解析用データ
を用いた言語解析方法及び前記方法の実行に用いるプロ
グラム並びに該プログラムを記録した媒体を提供するこ
とにある。

【０００４】

【課題を解決するための手段】請求項１の発明は、文章
を言語解析する工程、言語解析の結果として抽出される
単語，文字列を検索キーとして文書を検索する工程、検
索された文書群からから検索キーとして用いた単語，文
字列に関する言語データを抽出する工程の各工程を行う
ことを特徴とする言語解析用データ作成方法である。

【０００５】請求項２の発明は、請求項１に記載された
言語解析用データ作成方法において、前記言語データ抽
出工程により抽出される言語データが、文書検索工程に
おけるヒット数等の頻度データであることを特徴とする
方法である。

【０００６】請求項３の発明は、請求項１又は２に記載
された言語解析用データ作成方法において、前記言語デ
ータ抽出工程により抽出される言語データが、検索キー
として用いた単語，文字列により検索された文書群を言
語解析し、その解析結果から導かれたデータであること
を特徴とする方法である。

【０００７】請求項４の発明は、請求項１乃至３のいず
れかに記載された言語解析用データ作成方法において、
前記文書検索工程に用いる検索キーが、言語解析に使用
する辞書に存在しなかった未登録語であることを特徴と
する方法である。

【０００８】請求項５の発明は、請求項１乃至４のいず
れかに記載された言語解析用データ作成方法において、
前記言語解析工程，前記言語データ抽出工程の言語解析
に形態素解析法，構文解析法を用いることを特徴とする
方法である。

【０００９】請求項６の発明は、請求項１乃至５のいず
れかに記載された言語解析用データ作成方法をコンピュ
ータに実行させるためのプログラムである。

【００１０】請求項７の発明は、請求項６に記載された
プログラムをコンピュータ読み取り可能に記録した記録
媒体である。

【００１１】請求項８の発明は、文章を言語解析する工
程、請求項１乃至５のいずれかに記載された言語解析用
データ作成方法により作成された言語解析用データを追
加することにより言語解析に用いる辞書を再構築する工
程の各工程を行うことを特徴とする言語解析方法であ
る。

【００１２】請求項９の発明は、請求項８に記載された
言語解析方法において、前記辞書再構築工程により構築
された辞書をネットワークを介して配布する工程を行う
ことを特徴とする言語解析方法である。

【００１３】請求項１０の発明は、請求項８又は９に記
載された言語解析方法をコンピュータに実行させるため
のプログラムである。

【００１４】請求項１１の発明は、請求項１０に記載さ
れたプログラムをコンピュータ読み取り可能に記録した
記録媒体である。

【００１５】

【発明の実施の形態】本発明を添付する図面とともに示
す以下の実施例に基づき説明する。本発明は、言語解析
が不可能と判断される言語に対して言語解析用データを
作成する場合に、公開され、流通している文章を資料と
して使用し得るように、資料とする文章の収集、収集し
た文章からの言語解析用データの作成を高頻度に、かつ
効率良く行うことを可能にする。資料として用いる文章
は、ネットワーク上に存在する文書中の文章を含み、以
下では、ネットワーク上の文書を利用して行う方法に係
わる実施例を示す。言語解析用データの作成の手順とし
ては、予め用意した文章の言語解析を行い、解析結果と
して、辞書に未登録である言語のような、言語解析が不
可能と判断される言語が存在する場合に、その言語に対
して言語解析用データの作成を行う。言語解析用データ
の作成方法は、文章を言語解析する工程、言語解析の結
果として抽出される単語，文字列を検索キーとしてネッ
トワーク上の文書を検索する工程、検索された文書群か
ら検索キーとして用いた単語，文字列に関する言語デー
タを抽出する工程の各工程を行い、抽出された言語デー
タを言語解析用データとして辞書に登録することによ
り、解析の高精度化を容易に実現可能とする。

【００１６】図１は、本発明に係わる言語解析用データ
の収集・作成処理システムの一実施例を、その処理フロ
ーとともに示すブロック図である。なお、この処理シス
テムは、インターネット等のネットワークを通して情報
の供給及び取得を行う機能を持った既存のＰＣ（パーソ
ナルコンピュータ）システムを用いて実現可能である。
図１を参照して、この処理システムによる言語解析用デ
ータの収集・作成方法を説明すると、先ず、事前に処理
の対象とする文章１１を用意する。ここでは、予め用意
しておいた大量のコーパスや、WWW（World Wide We
b）、NetNewsなどから自動的に収集した文書１６から取
得するようにする。次いで、処理の対象となる文章１１
を言語解析するために、形態素解析部１２に入力する。
形態素解析部１２では、辞書１３を使用して、入力され
た文章の形態素の解析を行う。ここで、例えば、「今日
のラスゴは痛かった。」という文章を対象として形態素
解析をすると、その解析結果は、下記［表１］のように
なる。

【００１７】

【表１】

【００１８】［表１］に示すように、形態素番号１〜７
の表記の言語を形態素とし、それぞれの要素が、表中に
示されるような品詞で示される属性を持つものであると
いう、この文章の解析結果を得た中で、形態素番号３の
ように、未登録語(この場合は「ラスゴ」)１４を抽出す
る場合がある。未登録語１４は、形態素解析部１２で使
用する辞書１３にない言語であり、本来、辞書１３に登
録しておくべき単語である可能性があることから、登録
の候補として認識する。

【００１９】しかしながら、登録の候補として認識して
も、直ちに登録するわけではない。コーパスが小さい場
合のように、限られた範囲から取得した文章だけに基づ
いていただけでは、辞書に登録すべきであるかを判断す
る情報が充分ではない。あまり一般化していない言語を
登録すると、パフォーマンスを低下させる可能性が大き
い。そこで、一般的な言葉で、辞書に登録した方がよい
かどうかを判断するために、この未登録語１４を検索キ
ーとして、WWWなどのネットワーク上の文書を検索す
る。このために、未登録語１４をWWW検索部１５に送
り、そこで未登録語１４を検索キーとして使用する。WW
W検索部１５には、WWWサーチエンジンと呼ばれる検索シ
ステムを用いる。これにより、未登録語１４を含む文書
の一覧などの検索結果１７が得られる。その検索結果１
７は、例えば、下記［表２］のようになる。

【００２０】

【表２】

【００２１】［表２］に示すように、検索キー“ラス
ゴ”によりヒットした文書の件数：１２４７件と、検索
された文書のタイトルの一覧で、検索結果１７を示す。
このようにして得られた検索結果１７を用いて検索結果
分析部１８で未登録語１４の分析をする。検索結果分析
部１８は、検索結果１７を判断材料として未登録語のカ
テゴリー（品詞、等の属性）を判断する。例えば、その
単語のヒット数は、その単語がどの程度の頻度で使われ
ているかの目安になる。そこで、この数値により辞書１
３に登録すべきか否かを判断するようにし、さらに登録
した場合にも、この数値を属性を表す頻度データとし、
さらに、必要に応じて人手で品詞等のカテゴリー（この
例では、頻度が高いので、「新語」と見なしている）を
付与し、単語と関連づけ、例えば下記［表３］のような
エントリを辞書に登録する。

【００２２】

【表３】

【００２３】次に言語（形態素）解析を行う場合に、
［表３］に示すような言語解析用データが辞書１３に登
録されているので、この辞書１３を用いて、解析をする
と結果は、下記［表４］のようになる。

【００２４】

【表４】

【００２５】［表４］に示すように、形態素番号３の
「ラスゴ」の品詞は、新語として解析するようになる。
以上のように、本実施例によると、WWWなどのネットワ
ーク上の文書を検索した結果を基に、未登録語の頻度デ
ータを容易に得ることができ、辞書を充実させ、それを
言語（形態素）解析結果に反映していくことが可能にな
る。

【００２６】次に、本発明の言語解析用データの収集・
作成の処理に係わる他の実施例を示す。本実施例は、形
態素解析を行うことにより抽出された未登録語の属性を
表す言語解析用データを作成するという点では、上記実
施例（図１、参照）と同様であるが、さらに属性をより
適正に表すことができる接続表（形態素間の接続規則を
数値化したデータを持つ）へ登録するデータを登録を言
語解析用データとして作成するようにしたものである。
なお、この処理システムについても、上記実施例と同様
に、インターネット等のネットワークを通して情報の供
給及び取得を行う機能を持った既存のＰＣ（パーソナル
コンピュータ）システムを用いて実現可能である。

【００２７】図２は、本実施例に係わる言語解析用デー
タの収集・作成処理システムの一例を、その処理フロー
とともに示すブロック図である。図２を参照して、この
処理システムによる言語解析用データの収集・作成方法
を説明すると、先ず、事前に処理の対象にする文章２１
を用意する。ここでは、予め用意しておいた大量のコー
パスや、WWW（World Wide Web）、NetNewsなどから自動
的に収集した文書２６から取得するようにする。次い
で、処理の対象となる文章２１を言語解析するために、
形態素解析部２２に入力する。形態素解析部(1)２２で
は、辞書２３及び接続表２３１を使用して、入力された
文章の形態素の解析を行う。解析の結果、その中に未登
録語２４がある場合（上記［表１］参照）に、未登録語
２４は、形態素解析部(1)２２で使用する辞書２３にな
い言語として、本来、辞書１３に登録しておくべき単語
である可能性が高いので、辞書２３に登録すべき単語と
して認識する。

【００２８】ただし、登録すべき単語として認識して
も、単に辞書２３への単語登録を行うだけではなく、単
語の辞書２３への登録とともに、この登録すべき単語の
カテゴリー（品詞、等の属性）を適正に判断することが
必要であり、そのために求められる、属性に関係する前
後の形態素との接続関係を示す情報を接続表２３１に蓄
積し、解析精度の向上を図るようにする。そこで、前後
の形態素との接続関係を示す情報を作成するための資料
を収集する。その時、できるだけ多くの資料を広い範囲
から集めることにより、より適正な情報が得られるよう
にする。そのために、この未登録語２４を検索キーとし
て、WWWなどのネットワーク上の文書を検索する。この
ために、未登録語２４をWWW検索部２５に送り、そこで
未登録語２４を検索キーとして使用する。WWW検索部２
５には、WWWサーチエンジンと呼ばれる検索システムを
用いる。これにより、未登録語２４を含む文書群を検索
結果２７として得る（上記［表２］参照）。得られた検
索結果２７に従い文書収集部２８によりヒットした文書
群を収集する。次に、収集した文書群２９を処理の対象
として、形態素解析部(2)３０に入力する。形態素解析
部(2)３０では、辞書３１及び接続表３１１を使用し
て、入力された文章群２９の形態素の解析を行う。この
解析結果の一部を例示すると、下記［表５］のようにな
る。

【００２９】

【表５】

【００３０】［表５］に示すように、形態素番号１２
６，２０４の表記：「ラスゴ」を未登録語の形態素と
し、この未登録語を含む文章の近辺の形態素の言語デー
タが得られる。ここで言語データは、例えば、前後の単
語やその品詞である。［表５］の例では、前の単語は、
形態素番号１２５，２０３で、それぞれの表記；品詞は
「に；副助詞」「。；句点」であり、後の単語は、形態
素番号１２７，２０５で、それぞれの表記；品詞は
「と；格助詞」「が；格助詞」である。検索結果として
得た全ての文書について、［表５］で例示したと同様の
形態素解析を行った後、解析結果分析部３２では、得ら
れた解析結果を集め、その分析を行う。ここでは、前後
の形態素との接続関係について分析し、分析結果を示す
情報を、求める言語データとして生成する。このデータ
は、「ラスゴ」という単語の前後の単語の品詞とその出
現回数のカウント値をリスト化したもので、リストが示
すデータは、その単語の属性の一端を表すものと考えて
良い。本例の未登録語「ラスゴ」に関して分析され、得
られたデータを例示すると、下記［表６］のようにな
る。

【００３１】

【表６】

【００３２】［表６］に例示されるような言語データか
ら、未登録語の接続に関する統計的な頻度を得ることが
できる。これを元に辞書および接続表に言語データを登
録することで、より充実した辞書、接続表を得ることが
でき、解析精度を向上させることも可能になる。

【００３３】上記した各実施例に示した言語解析用デー
タ作成方法により作成された新語、その頻度データ（図
１、参照）、或いは新たに認識された言語、その言語デ
ータ（図２、参照）は、対象とした文章を言語解析し、
解析に用いた辞書１３，２３に未登録であった言語に対
して生成されたものである。この結果は、新たな言語の
発見とその属性を示すものであり、辞書に追加すべきデ
ータを作成したことに他ならない。従って、このデータ
を辞書に追加し、辞書を再構築することにより、言語解
析の精度を向上させることができる。図１及び図２に示
す例では、言語解析用データの作成を行うための自身の
システム内の辞書１３，２３，３１及び接続表２３１，
３１１に、作成された言語データを追加する（図中、破
線にて示す）ことにより、よりパフォーマンスの高いシ
ステムを構成するようにしている。また、システム内で
作成された言語データを、図示の実施例のように、シス
テム内の言語解析（形態素解析）部の辞書に利用するこ
とに限ることなく、広く言語解析に利用し得る辞書とし
て、作成データをネットワークを介して他のＰＣに転
送、ダウンロードし、利用者に配布することにより、さ
らなる普及を図ることが可能になる。

【００３４】上記した言語解析用データ作成方法及び該
方法により再構築した辞書を用いた言語解析方法は、イ
ンターネット等のネットワークを通して情報の供給及び
取得を行う機能を持ったＰＣ（パーソナルコンピュー
タ）システムにより実行することが可能である。このた
めに、上記方法を実行するための手順を記述したプログ
ラムを用意し、用意したプログラムに従う処理操作をか
かるＰＣシステムに行わせることにより、目的とする言
語解析用データ作成や言語解析を行うことができる。こ
のプログラムは、周知のコンピュータ読み取り可能な記
録媒体に記録され、ＰＣシステムの動作を制御するＣＰ
Ｕの制御下の記録媒体として用いるか、記憶手段にイン
ストールされ、記録媒体から読み出されたプログラムに
より処理操作を実行することができる。

【００３５】

【発明の効果】（１） 請求項１の発明に対応する効果 言語解析の結果として抽出される単語，文字列を検索キ
ーとして、公開され、流通している文書、例えばネット
ワーク上の文書を検索し、検索された文書群から検索キ
ーとして用いた単語，文字列に関する言語データを言語
解析用データとして抽出することにより、あらたなコー
パスの作成、或いは大量のコーパスの収集を行わずに、
インターネット等で流通している最新のデータを有する
文書群からいつでも、必要な資料を取得することによ
り、辞書や接続表等に登録が必要な単語の言語データの
収集・作成を効率よく行うことが可能になる。 （２） 請求項２の発明に対応する効果 上記（１）の効果に加え、検索した文書のヒット数等の
頻度データを生成することにより、一般化した言語であ
るか否か、或いはその言語の属性をより正しく推測する
言語解析用データを容易に作成し得る。 （３） 請求項３の発明に対応する効果 上記（１）、（２）の効果に加え、検索キーとして用い
た単語，文字列により検索された文章群を言語解析し、
その解析結果から導かれた接続表等のデータを生成する
ことにより、より高精度の解析を可能にする言語解析用
データを容易に作成し得る。

【００３６】（４） 請求項４の発明に対応する効果 上記（１）〜（３）の効果に加え、検索キーを言語解析
に使用する辞書に存在しなかった未登録語にしたことに
より、従来解析不可能であった新語の解析が可能な言語
解析用データを作成し得る。 （５） 請求項５の発明に対応する効果 上記（１）〜（４）の効果に加え、言語解析に既存の形
態素解析法，構文解析法を用いることにより、請求項１
乃至４記載の発明の実施を容易にする。 （６） 請求項６，７の発明に対応する効果 インターネット等で流通している情報の供給及び取得を
行う機能を持ったＰＣシステムの動作を制御するＣＰＵ
が本発明の記録媒体に記録されたプログラムを用いるこ
とによって、請求項１〜５の発明に関わる動作を容易に
実行することが可能となる。

【００３７】（７） 請求項８の発明に対応する効果 請求項１乃至５のいずれかに記載された言語解析用デー
タ作成方法により作成された言語解析用データを追加し
て、言語解析に用いる辞書を再構築することにより、新
語が入った文章の解析も可能な、より解析精度の高い言
語解析を可能にする。 （８） 請求項９の発明に対応する効果 上記（７）の効果に加え、再構築された辞書をネットワ
ークを介して配布するようにしたことにより、より解析
精度の高い言語解析が可能なシステムの構築を進展さ
せ、システムのパフォーマンスを高めることが可能にな
る。 （９） 請求項１０，１１の発明に対応する効果 インターネット等のネットワークを通して情報の供給及
び取得を行う機能を持ったＰＣシステムの動作を制御す
るＣＰＵが本発明の記録媒体に記録されたプログラムを
用いることによって、請求項８，９の発明に関わる動作
を容易に実行することが可能となる。

【図面の簡単な説明】

【図１】 本発明に係わる言語解析用データの収集・作
成処理システムの一実施例を、その処理フローとともに
示すブロック図である。

【図２】 本願の他の発明に係わる言語解析用データの
収集・作成処理システムの一実施例を、その処理フロー
とともに示すブロック図である。

【符号の説明】

１２…形態素解析部、 ２２…形態素
解析部(1)、３０…形態素解析部(2)、 １３，２３，３
１…辞書、２３１，３１１…接続表、
１５，２５…ＷＷＷ検索部、１８…検索結果分析部、
２８…文書収集部、３２…解析結果分
析部。

Claims (11)

【特許請求の範囲】
1. 【請求項１】 文章を言語解析する工程、言語解析の結
   果として抽出される単語，文字列を検索キーとして文書
   を検索する工程、検索された文書群から検索キーとして
   用いた単語，文字列に関する言語データを抽出する工程
   の各工程を行うことを特徴とする言語解析用データ作成
   方法。
2. 【請求項２】 請求項１に記載された言語解析用データ
   作成方法において、前記言語データ抽出工程により抽出
   される言語データが、文書検索工程におけるヒット数等
   の頻度データであることを特徴とする言語解析用データ
   作成方法。
3. 【請求項３】 請求項１又は２に記載された言語解析用
   データ作成方法において、前記言語データ抽出工程によ
   り抽出される言語データが、検索キーとして用いた単
   語，文字列により検索された文書群を言語解析し、その
   解析結果から導かれたデータであることを特徴とする言
   語解析用データ作成方法。
4. 【請求項４】 請求項１乃至３のいずれかに記載された
   言語解析用データ作成方法において、前記文書検索工程
   に用いる検索キーが、言語解析に使用する辞書に存在し
   なかった未登録語であることを特徴とする言語解析用デ
   ータ作成方法。
5. 【請求項５】 請求項１乃至４のいずれかに記載された
   言語解析用データ作成方法において、前記言語解析工
   程，前記言語データ抽出工程の言語解析に形態素解析
   法，構文解析法を用いることを特徴とする言語解析用デ
   ータ作成方法。
6. 【請求項６】 請求項１乃至５のいずれかに記載された
   言語解析用データ作成方法をコンピュータに実行させる
   ためのプログラム。
7. 【請求項７】 請求項６に記載されたプログラムをコン
   ピュータ読み取り可能に記録した記録媒体。
8. 【請求項８】 文章を言語解析する工程、請求項１乃至
   ５のいずれかに記載された言語解析用データ作成方法に
   より作成された言語解析用データを追加することにより
   言語解析に用いる辞書を再構築する工程の各工程を行う
   ことを特徴とする言語解析方法。
9. 【請求項９】 請求項８に記載された言語解析方法にお
   いて、前記辞書再構築工程により構築された辞書をネッ
   トワークを介して配布する工程を行うことを特徴とする
   言語解析方法。
10. 【請求項１０】 請求項８又は９に記載された言語解析
    方法をコンピュータに実行させるためのプログラム。
11. 【請求項１１】 請求項１０に記載されたプログラムを
    コンピュータ読み取り可能に記録した記録媒体。