JP2010122982A - 言語解析システム、言語解析方法、プログラム及び機械翻訳システム、言語解析方法、プログラム - Google Patents

Abstract

【課題】格フレーム情報を取得したいドメインのコーパスが少量しか存在しなくても、その目的のドメインに適した格フレーム情報を取得可能とし、そのドメインに対する解析精度を向上させる。
【解決手段】目的のドメインの少量のコーパスと目的のドメインとは異なるドメインの大量のコーパスの係り受け情報を作成し、この複数のドメインのコーパスから取得した係り受け情報を使って補語をクラスタリングし、このクラスタリングした係り受け情報の目的ドメインの情報のみを使って格フレームの選択制約を作成し、この選択制約に基づいて解析する。
【選択図】図１

Description

本発明は、言語解析システム、言語解析方法、プログラム及びこれらを応用した機械翻訳技術に関し、より具体的には、コーパスを分析した結果に基づき、格フレームの選択制約を作成する言語解析システム、格フレームの選択制約の作成方法、これを含んだ言語解析方法、プログラム及びこれらを応用した機械翻訳技術に関する。

言語解析システム用の辞書は格フレーム情報を持っており、この情報は意味選択などに使用されている。しかしこの格フレーム情報は、旅行会話向け、ビジネス会話向け、病院向けといったドメインによって異なるため、ドメインが異なるとこの格フレーム情報を変更する必要がある。

例えば、「骨が折れる」という文が入力されたときに、この文だけからでは文字通りに「骨折する」という意であるのか、「苦労する」という意の慣用句であるがわからないが、ドメインがわかるとどっちの意味なのか類推できる可能性がある。例えば、病院での会話であれば「骨折する」の意味になることが多そうなことが類推できるので、「骨折する」の意味になるように格フレーム情報を変更する必要がある。

このような情報を作る技術として、非特許文献１に示されるように、コーパスから自動的に獲得する技術がある。

ただし、このような技術を使うためには目的のドメインに対して大量のコーパスを用意する必要があるため、少量のコーパスしか用意できないドメインへの適用は難しい。

この課題を解決するために、非特許文献２に示されるように、目的のドメインの少量のコーパスと、目的のドメインとは異なるが大量のコーパスを混合して使用することで、少量のコーパスにも適応させる技術がある。

その他、特許文献１に、辞書から入力された述語の格フレーム候補を抽出し、ユーザの対話により、格フレームの選択、格要素の補充、格要素の修飾句の補充を受けて所望の訳文を生成する機械翻訳装置が記載されている。

特開平１１−６６０７１号公報 河原大輔、黒橋禎夫、「格フレーム辞書の漸次的自動構築」、自然言語処理、Ｖｏｌ．１２、Ｎｏ．２、ｐｐ．１０９−１３１、２００５. 広瀬啓吉、峯松信明、森谷高明、「単語間の関連性を利用した音声認識用言語モデルのドメイン適応」、情報処理学会論文誌、Ｖｏｌ．４３、Ｎｏ．７、ｐｐ．２０６５−２０７４

格フレーム情報を取得したい目的のドメインのコーパスが少量しか存在しない場合に、非特許文献１のような方法ではデータスパースネスの問題に陥ってしまうために十分な選択制約を持つ格フレーム情報を取得できないという問題点がある。

また、コーパスの不足を補うために非特許文献２の方法を用いることが考えられるが、目的のドメイン以外の大量のコーパスを単純に混ぜるだけでは、コーパスの混合率によって結果が変わってしまうという問題点がある。また、仮に最適な混合率を決めたとしても、すべての単語でうまくいくわけではないという問題点もある。その理由は、コーパスに出現する頻度は単語ごとに異なるので、コーパス全体で決まった割合で混合したとしても、うまくいく単語とうまくいかない単語が出現してしまうためである。

本発明は、上記した事情に鑑みてなされたものであって、その目的とするところは、格フレーム情報を取得したい目的のドメインのコーパスの量に拘らず、精度の良い言語解析を行うことのできる言語解析システムを提案することにある。

本発明の第１の視点によれば、格フレーム情報を取得する目的ドメインのコーパスと、その他のドメインのコーパスと、から係り受け情報を取得する係り受け情報取得手段と、前記取得した係り受け情報に含まれる補語をクラスタリングするクラスタリング手段と、前記補語をクラスタリングした結果から、前記目的ドメインのコーパスから取得された係り受け情報を抽出する目的ドメイン抽出手段と、前記抽出した係り受け情報から格フレームの選択制約を作成する選択制約作成手段と、を備えた言語解析システムが提供される。

本発明の第２の視点によれば、格フレーム情報を取得する目的ドメインのコーパスと、その他のドメインのコーパスと、から係り受け情報を取得し、前記取得した係り受け情報に含まれる補語をクラスタリングし、前記補語をクラスタリングした結果から、前記目的ドメインのコーパスから取得された係り受け情報を抽出し、前記抽出した係り受け情報から格フレームの選択制約を作成する格フレームの選択制約の作成方法が提供される。

本発明の第３の視点によれば、格フレーム情報を取得する目的ドメインのコーパスと、その他のドメインのコーパスと、から係り受け情報を取得する処理と、前記取得した係り受け情報に含まれる補語をクラスタリングする処理と、前記補語をクラスタリングした結果から、前記目的ドメインのコーパスから取得された係り受け情報を抽出する処理と、前記抽出した係り受け情報から格フレームの選択制約を作成する処理と、をコンピュータに実行させるプログラムが提供される。

本発明によれば、格フレーム情報を取得したい目的のドメインのコーパスが少ない場合であっても、精度の良い言語解析を行うことが可能となる。その理由は、目的ドメインのコーパスを含む複数のコーパスから取得した係り受け情報に含まれる補語をクラスタリングし、その結果から、目的ドメインの係り受け情報のみを使って、格フレームの選択制約を作成するようにしたことにある。

［発明の概要］
始めに、本発明の概要について説明する。本発明に係る言語解析システムは、格フレーム情報を取得する目的ドメインのコーパス（図１の３１）と、その他のドメインのコーパス（図１の３２）と、から係り受け情報を取得し（図１の２１）、前記取得した係り受け情報に含まれる補語をクラスタリングし（図１の２３）、前記補語をクラスタリングした結果から、前記目的ドメインのコーパスから取得された係り受け情報を抽出し（図１の２４）、前記抽出した係り受け情報から格フレームの選択制約を作成する（図１の２５）。

前記作成した格フレームの選択制約は、例えば、言語解析手段（図１の２８）における入力文の言語解析処理に利用される。

上記のように、目的ドメインのコーパスから格フレームの選択制約を作成する過程のクラスタリングの前処理としてその他ドメインのコーパスを混合するため、目的ドメインのコーパスが少量であっても、適切にクラスタリングが行われた格フレームの選択制約を得ることが可能となる。

［第１の実施形態］
続いて、本発明の好適な実施形態について図面を参照して詳細に説明する。図１は、本発明の第１の実施形態に係る言語解析システムの構成を表したブロック図である。図１を参照すると、キーボード等の入力装置１と、記憶装置３と、ディスプレイ等の出力装置４とに接続され、プログラム制御により動作するデータ処理装置２が示されている。

記憶装置３は、それぞれにドメインが設定された複数のコーパスを格納する。以下、便宜上、格フレーム情報を獲得しようとしている目的のドメイン（目的ドメイン）のコーパスＡ３１と定義し、上記目的ドメインとは異なるドメインのコーパスＢ３２と定義する。コーパスＡ３１とコーパスＢ３２は係り受けの正解が付与されているものとして説明する。

データ処理装置２は、係り受け情報取得手段２１と、クラスタリング手段２３と、目的ドメイン抽出手段２４と、選択制約作成手段２５と、言語解析手段２８と、を備える。これら各手段は、データ処理装置２を構成するコンピュータに、下記の処理を実行させるプログラムにより実現できる。

係り受け情報取得手段２１は、記憶装置３から読み出したコーパスに含まれる文を言語解析して、ドメイン別に述語が持つ格フレームと補語の頻度を取得し、係り受け情報を出力する（図５参照）。

クラスタリング手段２３は、係り受け情報を使って補語をクラスタリングし、その結果を出力する。

目的ドメイン抽出手段２４は、前記クラスタリングを行った係り受け情報に付与されているドメインを使って、目的ドメインの係り受け情報を抽出する。

選択制約作成手段２５は、前記抽出した係り受け情報から格フレームの選択制約を作成する。

言語解析手段２８は、選択制約作成手段２５で作成された格フレームの選択制約に基づいて、入力装置１で入力された文を解析し、その結果を出力装置４に出力する。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態に係る言語解析システムの動作を表したフローチャートである。図２を参照すると、まず、係り受け情報取得手段２１が、コーパスＡ３１及びコーパスＢ３２から、各ドメインの係り受け情報として、述語が持つ格フレームと補語のペアの頻度を取得する（図２のステップＡ１）。

次に、クラスタリング手段２３は、係り受け情報取得手段２１で取得されたコーパスＡ３１及びコーパスＢ３２の係り受け情報の補語をクラスタリングする（図２のステップＡ２）。

目的ドメイン抽出手段２４は、クラスタリング手段２３によってクラスタリングされた係り受け情報から、目的のドメインの係り受け情報を抽出する（図２のステップＡ３）。

選択制約作成手段２５は、目的ドメインのクラスタリングされた係り受け情報から、格フレームの選択制約を作成する（図２のステップＡ４）。

言語解析手段２８は、格フレームの選択制約を使って入力された文を解析し、解析結果を出力する（図２ステップＡ５）。

以上のように、本実施形態では、目的ドメインのみの少量コーパスだけを使用せず、他のドメインだけれども大量のコーパスを使用することとしているため、データスパースネスの問題は発生しない。特に、前記大量コーパスはクラスタリングのみに使用して、選択制約を作成する部分は目的のドメインの情報で作成しているために、選択制約がコーパスの混合による悪影響を受けにくくなり、冒頭に述べたコーパスの混合率による影響も排除される。これらの結果、本実施形態の言語解析手段２８では、精度よい解析結果が得られることになる。

なお、上記した実施形態では、本発明の効果がより大きく表れる、コーパスＡ３１の量が少なく、コーパスＢ３２の量が多い状態を想定して説明したが、本発明の原理から明らかなとおり、２つのコーパスの量は同等でも構わないし、コーパスＡ３１の方が多くても構わない。

［第１の実施形態の具体例］
次に、具体的なサンプルを用いて本実施形態の具体例を説明する。

以下、コーパスＡ３１、コーパスＢ３２には、図３のようなフォーマットを持つ係り受けの正解（図３の括弧書き部分）が与えられており、更にそれぞれの格フレームは図４のような格パターン情報を持っているものとして説明する。

係り受け情報取得手段２１は、図３、図４の正解データと格パターン情報から、述語とその格フレーム番号毎に補語とのペアの頻度を数えることで、図５のような係り受け情報を取得したものとして説明する。以下の説明では、目的ドメインのコーパスＡ３１は、動物ドメインのコーパスであり、その他のドメインのコーパスＢ３２は、日常会話ドメインのコーパスであるものとして説明する。

クラスタリング手段２３は、係り受け情報取得手段２１で得られた係り受け情報を使って補語をクラスタリングする。例えば、階層的クラスタリングを使って、クラスタのベクトルをベクトルの平均で実現すると、図５の係り受け情報は、１回目の階層で「豚」と「犬」が同じクラスタになり、図６のようになる。ここで、注目すべきは、データの少ない動物ドメインのコーパスＡ３１についても適切にクラスタリングされている点である。

目的ドメイン抽出手段２４は、図６のクラスタリング済みの係り受け情報から、ドメイン列が動物ドメインの係り受け情報を抽出する。図７は、図６のクラスタリング済みの係り受け情報から、動物ドメインの係り受け情報を抽出した結果を示す図である。

選択制約作成手段２５は、目的ドメイン抽出手段２４で抽出した係り受け情報で格フレームの選択制約を作成する。例えば、図７のうち、頻度が高いクラスタを選択制約とすると、動物ドメインでは「食べる：動詞：１」の「ガ格」の選択制約は「豚・犬」、ヲ格の選択制約は「餌」となり、「寝る：動詞：１」の「ガ格」の選択制約は「豚・犬」となり、「走る：動詞：１」の「ガ格」の選択制約は「豚・犬」となる。

言語解析手段２８は、選択制約作成手段２５で作成した格フレームの選択制約に基づいて、入力文を解析する。例えば、キーボードを使って「豚は食べた」という入力文を入力すると、「食べる：動詞：１」の「ガ格」の選択制約が「豚・犬」で、「ヲ格」の選択制約が「餌」なので、入力文の「豚」は「ガ格」にはまり、「豚は食べた」という文は「豚を食べた」の意味ではなく「豚が食べた」の意味で解析される。

上記具体例を用いて、非特許文献１、２との比較考察を行う。非特許文献１の方法で、図５の動物ドメインのコーパスのみから作った係り受け情報を使った場合は、データスパースネスの問題により「走る：動詞：１」の「ガ格」に「豚」を入れるべきか否かを確定することは困難である。これに対し、本発明では、大量のコーパスと一緒にクラスタリングすることにより、「走る：動詞：１」の「ガ格」に「豚」も入れる選択制約が得られることになる。

また、非特許文献２のように単純に２つのコーパスを混合（例えば１対１で混合）すると図８のようになり、「食べる：動詞：１」の「ガ格」は「豚」が頻度５、「ヲ格」は頻度２０となり、「豚」は「ヲ格」に入りやすくなってしまう。

また、混合比を１対１でなく動物ドメインの割合を高くしていくと「ガ格」の「豚」の頻度は高くなるが、この割合は単語毎に異なるのでこの割合を一意に決めることはできない。これに対し、本発明では、この割合を求める必要がないので、選択制約の作成時に混合比による影響を受けることがないという効果がある。

［第２の実施形態］
続いて、係り受け解析済みコーパスでなく、プレインテキストコーパスを用いて格フレームの制約を作成する本発明の第２の実施形態について図面を参照して詳細に説明する。

本実施形態は、上記した第１の実施形態とほぼ同一の構成で実現できるため、以下、再度図１を参照し、その相違点を説明する。

本実施形態の記憶装置３には、係り受けの正解が付与されているコーパスではなくプレインテキストコーパスが格納されている。

本実施形態の係り受け情報取得手段２１は、プレインテキストコーパスに含まれるテキストの言語解析を行い、その後に、上記した第１の実施形態と同様に、ドメイン別に述語が持つ格フレームと補語の頻度を取得する。

例えば、上記プレインテキストコーパスに含まれるテキストの言語解析の具体例としては、日英機械翻訳エンジンの日本語解析部分を使って係り受け情報を取得する方法が考えられる。

以上のように、本発明は、コーパスが係り受けの正解が付与されているコーパスではない場合にも適用可能であり、上記した第１の実施形態と同様に、少量のコーパスしか持たないドメインの格フレームの選択制約を取得することが可能である。

［第３の実施形態］
続いて、本発明を機械翻訳装置に適用した第３の実施形態について図面を参照して詳細に説明する。本実施形態も、上記した第１、第２の実施形態と構成をほぼ共通にするため、その相違点を中心に説明する。

図９は、本発明の第３の実施形態に係る機械翻訳システムの構成を表したブロック図である。図９を参照すると、キーボード等の入力装置１と、記憶装置３と、ディスプレイ等の出力装置４とに接続され、プログラム制御により動作するデータ処理装置２が示されている。

本発明の第３の実施形態のデータ処理装置２は、第１の実施の形態の係り受け情報取得手段２１の代わりに訳語付き係り受け情報取得手段２２と、言語解析手段２８の代わりに機械翻訳手段２９とを備えている。

機械翻訳手段２９は、選択制約作成手段２５で作成された格フレームの選択制約を使って、機械翻訳する。

なお、第３の実施形態のコーパスには訳語が付いており、訳語付き係り受け情報取得手段２２では、述語（訳語）とその格フレーム番号毎に補語とのペアの頻度を数えた図１０のような係り受け情報を取得する。

上記のように訳語が付された本発明の第３の実施形態では、係り受け情報の述語と補語に訳語が付いていることで、選択制約作成手段２５で格フレームの選択制約を作成するのと同時に訳語の選択制約を作成することが可能になる。この選択制約は、機械翻訳手段２９による機械翻訳にも利用される。

［第３の実施形態の具体例］
次に、具体的なサンプルを用いて本実施形態の具体例を説明する。

以下、コーパスＡ３１、コーパスＢ３２には、図１０のようなフォーマットを持つ訳語付き係り受けの正解（図１０の括弧書き部分）が与えられているものとして説明する。

訳語付き係り受け情報取得手段２２は、図１０、図４の正解データと格パターン情報から、述語（訳語）とその格フレーム番号毎に補語とのペアの頻度を数えることで、図１１のような訳語付き係り受け情報を取得したものとして説明する。以下の説明では、目的ドメインのコーパスＡ３１は、病院ドメインのコーパスであり、その他のドメインのコーパスＢ３２は、日常会話ドメインのコーパスであるものとして説明する。

第１の実施形態と同様に、クラスタリング手段２３がクラスタリングを行うと、図１２のようになる。

この結果から、更に、目的ドメイン抽出手段２４が病院ドメインのみの係り受け情報を抽出すると図１３のような訳語付きの係り受け情報が得られる。

選択制約作成手段２５は、訳語が異なるが同じ格パターンを持つ係り受け情報があるときは、頻度が高いものを選択制約とする。

機械翻訳手段２９は選択制約作成手段２５で作成した格フレームの選択制約に基づいて、入力文を翻訳する。

例えばキーボードを使って「骨を折った」という入力文を入力すると、「骨」を「折る」のパターンで頻度が高い係り受け情報は、図１３の選択制約から、「折る（ｂｒｅａｋ）：１」と「骨（ｂｏｎｅ）・棒（ｓｔｉｃｋ）」であることがわかるので、機械翻訳手段２９は「ｂｒｅａｋ」と「ｂｏｎｅ」を使って、例えば ”Ｍｙ ｂｏｎｅ ｗａｓ ｂｒｏｋｅｎ．”という翻訳結果を出力する。

これにより「骨を折った」という文が「苦労した」という意味ではなく「骨折した」という意味で翻訳される。

以上、本発明の好適な実施形態及びその具体例を説明したが、本発明は、上記した実施形態やその具体例に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、上記した実施形態では、データ処理装置２に言語解析手段や機会翻訳手段が備えられているものとして説明したが、データ処理装置２が、言語解析手段や機会翻訳手段を備える他の情報処理装置に、各フレームの選択制約を提供する構成とすることも可能である。

本発明の第１の実施形態に係る言語解析システムの構成を表したブロック図である。 本発明の第１の実施形態に係る言語解析システムの動作を表したフローチャートである。 正解情報が与えられたコーパスの例である。 格パターン情報の例である。 本発明の第１の実施形態の具体的動作を説明するための係り受け情報のサンプルである。 図３の係り受け情報の補語をクラスタリングした結果を示す図である。 図４のクラスタリング済み係り受け情報から目的ドメインの係り受け情報を抽出した結果を示す図である。 ２つのコーパスを単純に混合して得られる係り受け情報の例である。 本発明の第３の実施形態に係る機械翻訳システムの構成を表したブロック図である。 訳語付き正解情報が与えられたコーパスの例である。 本発明の第３の実施形態の具体的動作を説明するための係り受け情報のサンプルである。 図１１の係り受け情報の補語をクラスタリングした結果を示す図である。 図１２のクラスタリング済み係り受け情報から目的ドメインの係り受け情報を抽出した結果を示す図である。

符号の説明

１ 入力装置
２ データ処理装置
３ 記憶装置
４ 出力装置
２１ 係り受け情報取得手段
２２ 訳語付き係り受け情報取得手段
２３ クラスタリング手段
２４ 目的ドメイン抽出手段
２５ 選択制約作成手段
２８ 言語解析手段
２９ 機械翻訳手段
３１ コーパスＡ
３２ コーパスＢ

Claims (11)

1. 格フレーム情報を取得する目的ドメインのコーパスと、その他のドメインのコーパスと、から係り受け情報を取得する係り受け情報取得手段と、
   前記取得した係り受け情報に含まれる補語をクラスタリングするクラスタリング手段と、
   前記補語をクラスタリングした結果から、前記目的ドメインのコーパスから取得された係り受け情報を抽出する目的ドメイン抽出手段と、
   前記抽出した係り受け情報から格フレームの選択制約を作成する選択制約作成手段と、
   を備えたことを特徴とする言語解析システム。
2. 前記選択制約作成手段で作成された格フレームの選択制約に基づいて入力文を解析する言語解析手段を備えた請求項１に記載の言語解析システム。
3. 前記コーパスは、係り受け解析がなされていないプレインテキストコーパスであり、
   係り受け情報取得手段が、係り受け解析を行う請求項１又は２に記載の言語解析システム。
4. 請求項１乃至３いずれか一に記載の言語解析システムを含み、
   前記係り受け情報取得手段は、格フレーム情報を取得する目的ドメインの訳語付きコーパスと、その他のドメインの訳語付きコーパスとから、訳語情報が付された訳語付き係り受け情報を取得し、
   前記選択制約作成手段は、訳語付きの格フレームの選択制約を作成し、
   前記訳語付きの格フレームの選択制約に基づいた訳語の選択を行って、翻訳する機械翻訳手段を備える機械翻訳システム。
5. 格フレーム情報を取得する目的ドメインのコーパスと、その他のドメインのコーパスと、から係り受け情報を取得し、
   前記取得した係り受け情報に含まれる補語をクラスタリングし、
   前記補語をクラスタリングした結果から、前記目的ドメインのコーパスから取得された係り受け情報を抽出し、
   前記抽出した係り受け情報から格フレームの選択制約を作成する格フレームの選択制約の作成方法。
6. 請求項５に記載の格フレームの選択制約の作成方法により作成された格フレームの選択制約を用いて入力文の解析を行う言語解析方法。
7. 格フレーム情報を取得する目的ドメインの訳語付きコーパスと、その他のドメインの訳語付きコーパスと、から訳語付き係り受け情報を取得し、
   前記取得した訳語付き係り受け情報に含まれる補語をクラスタリングし、
   前記補語をクラスタリングした結果から、前記目的ドメインのコーパスから取得された訳語付き係り受け情報を抽出し、
   前記抽出した訳語付き係り受け情報から、訳語付きの格フレームの選択制約を作成し、
   前記訳語付きの格フレームの選択制約に基づいた訳語の選択を行って、翻訳を行なう機械翻訳方法。
8. 格フレーム情報を取得する目的ドメインのコーパスと、その他のドメインのコーパスと、から係り受け情報を取得する処理と、
   前記取得した係り受け情報に含まれる補語をクラスタリングする処理と、
   前記補語をクラスタリングした結果から、前記目的ドメインのコーパスから取得された係り受け情報を抽出する処理と、
   前記抽出した係り受け情報から格フレームの選択制約を作成する処理と、をコンピュータに実行させるプログラム。
9. 更に、前記格フレームの選択制約を用いて入力文を解析する処理を前記コンピュータに実行させる請求項８に記載のプログラム。
10. 係り受け解析がなされていないプレインテキストコーパスの係り受け解析を行う処理を前記コンピュータに実行させる請求項８又は９に記載のプログラム。
11. 格フレーム情報を取得する目的ドメインの訳語付きコーパスと、その他のドメインの訳語付きコーパスと、から訳語付き係り受け情報を取得する処理と、
    前記取得した訳語付き係り受け情報に含まれる補語をクラスタリングする処理と、
    前記補語をクラスタリングした結果から、前記目的ドメインのコーパスから取得された係り受け情報を抽出する処理と、
    前記目的ドメイン抽出手段で抽出した訳語付き係り受け情報から、訳語付きの格フレームの選択制約を作成する処理と、
    前記訳語付きの格フレームの選択制約に基づいた訳語の選択を行って、翻訳する処理と、をコンピュータに実行させるプログラム。

Images