JP2004102596A

JP2004102596A - 言語理解モデル生成装置

Info

Publication number: JP2004102596A
Application number: JP2002262935A
Authority: JP
Inventors: Koichi Tanigaki; 谷垣　宏一; Jun Ishii; 石井　純
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-09-09
Filing date: 2002-09-09
Publication date: 2004-04-02

Abstract

【課題】大規模な意味タグ付き学習コーパスが用意されていれば、音声対話システム等における意味タグの推定精度を高められる言語理解モデルを構築することができる。しかし、意味タグ付き学習コーパスの構築は、通常、人手を介した作業により行われるため、大規模な意味タグ付き学習コーパスを用意するに際して、多大なコストを要する課題があった。
【解決手段】クラス決定部１５によりクラスが決定された単語列パタンと意味タグ付き学習コーパスメモリ１１に記憶されている学習コーパスの入力文を照合して、そのクラス決定部１５により決定されたクラスと学習コーパスの意味タグを関連付けるモデルパラメータを生成する。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば、音声対話システムや言語翻訳システムなどが、利用者の入力文をシステム内部で用いる形式的な意味表記に変換する際に利用する言語理解モデルを生成する言語理解モデル生成装置に関するものである。
【０００２】
【従来の技術】
例えば、音声対話システムは、利用者が発声した入力文に応じて適切な動作を行うため、図２３に示すように、言語理解部を備えて、その入力文をシステム内部で用いられる形式的な意味表記に変換する。
これまで、形式的な意味表記への変換は、入力文の構文と意味表記とを対応付ける規則（文法）を人手で記述することにより実現されてきている。しかし、人手で恣意的に記述した文法では、様々な利用者が発声する多様な表現を網羅することが難しいという問題がある。
【０００３】
そこで、近年では、統計モデルを用いた次のような方法が盛んに研究されている。
実際の音声対話システムとの対話、または、それに近い条件で行った模擬対話から入力文を大量に収集し、それらの入力文に対して、意味表記をタグとして付与することにより「意味タグ付きコーパス」を構築する。
そして、意味タグ付きコーパスから、入力文の特徴と意味表記との相関を統計モデルにより抽出する。例えば、ある単語や単語列が入力文に含まれるときに、どの意味タグがどんな確率で生起するかを意味タグ付きコーパスから求めてモデル化する。
【０００４】
図２４は従来の言語理解モデル生成装置を示す構成図であり、図において、１は各種の入力文に意味タグが付与された学習コーパスを記憶する意味タグ付き学習コーパスメモリ、２は意味タグ付き学習コーパスメモリ１から学習コーパスの入力文を読み出し、その入力文を構成する単語列の局所的な特徴（以下、単語列パタンという）を抽出する単語列パタン抽出部、３は学習コーパスの入力文と意味タグの対応関係を参照して、単語列パタン抽出部２により抽出された単語列パタンと学習コーパスの意味タグを関連付けるモデルパラメータを生成するパラメータ計算部、４はパラメータ計算部３により生成されたモデルパラメータを言語理解モデルとして格納する理解モデルメモリである。
【０００５】
次に動作について説明する。
まず、意味タグ付き学習コーパスメモリ１には、図２５に示すように、各種の入力文に意味タグが付与された学習コーパスが記憶される。意味タグとしては、入力文の質問や応答のタイプを細分類したものが付与される。
【０００６】
単語列パタン抽出部２は、意味タグ付き学習コーパスメモリ１から学習コーパスの入力文を読み出し、その入力文を構成する単語列パタンを抽出する。
例えば、入力文「そのホテルで予約お願いします」からは、「その」「ホテル」などの単語１−ｇｒａｍ、「その／ホテル」「ホテル／で」などの単語２−ｇｒａｍ、「その／ホテル／で」「ホテル／で／予約」などの単語３−ｇｒａｍを抽出する。
【０００７】
パラメータ計算部３は、単語列パタン抽出部２が単語列パタンを抽出すると、学習コーパスの入力文と意味タグの対応関係（単語列パタンが入力文に含まれている頻度）を参照して、単語列パタン抽出部２により抽出された単語列パタンと学習コーパスの意味タグを関連付けるモデルパラメータを最大エントロピー法により計算する。
パラメータ計算部３により計算されたモデルパラメータは、言語理解モデルとして理解モデルメモリ４に格納される。
図２６はモデルパラメータの一例を示し、第２列目の重みは、第３列目の単語列パタンと第４列目の意味タグとの相関の強さを表している。
【０００８】
ここで、意味タグ付き学習コーパスは、音声対話システムの機能や話題の対象となる領域（以下、タスクという）に依存する。音声対話システムのタスクが異なれば、利用者が入力文として用いる表現も異なるし、入力文から抽出が必要な情報、即ち、意味表記も異なってくるからである。したがって、あるタスク用に構築した意味タグ付き学習コーパスを別タスクの言語理解モデルの構築に直接利用することはできない。
【０００９】
また、従来の言語理解モデル生成装置では、大規模な意味タグ付き学習コーパスがメモリに用意されていることを前提としており、意味タグ付き学習コーパスの規模が不足している場合、規則の網羅性に関する効果が期待できない。
例えば、図２５において、文番号ＳＡ０００４「じゃあ仕方ないですね」の入力文が意味タグ付き学習コーパスに無い場合、単語列パタン「仕方／ない」と意味タグ「承諾」との相関を表すモデルパラメータ（図２６のＰＡ００９）は言語理解モデルに獲得されない。この場合、利用者が同様の文を入力したときに誤った意味タグを推定することになる。したがって、大規模な意味タグ付き学習コーパスは必須である。
【００１０】
【特許文献１】
特願２００１−１１５２４９
【００１１】
【発明が解決しようとする課題】
従来の言語理解モデル生成装置は以上のように構成されているので、大規模な意味タグ付き学習コーパスが用意されていれば、音声対話システム等における意味タグの推定精度を高められる言語理解モデルを構築することができる。しかし、意味タグ付き学習コーパスの構築は、通常、人手を介した作業により行われるため、大規模な意味タグ付き学習コーパスを用意するに際して、多大なコストを要する課題があった。
【００１２】
この発明は上記のような課題を解決するためになされたもので、大規模な意味タグ付き学習コーパスを用意することなく、音声対話システム等における意味タグの推定精度を高められる言語理解モデルを構築することができる言語理解モデル生成装置を得ることを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係る言語理解モデル生成装置は、クラス決定手段によりクラスが決定された単語列パタンと学習コーパス記憶手段に記憶されている学習コーパスの入力文を照合して、そのクラス決定手段により決定されたクラスと学習コーパスの意味タグを関連付けるモデルパラメータを生成するようにしたものである。
【００１４】
この発明に係る言語理解モデル生成装置は、単語列パタンが属するクラスを決定する際、参照コーパスの入力文と意味タグの対応関係を参照して、その単語列パタンの意味属性を決定し、その意味属性に基づいて類似関係にある単語列パタンを判別してクラスを決定するようにしたものである。
【００１５】
この発明に係る言語理解モデル生成装置は、学習コーパスの入力文を構成する単語列パタンと上記入力文を照合して、その単語列パタンと学習コーパスの意味タグを関連付けるモデルパラメータを生成するようにしたものである。
【００１６】
この発明に係る言語理解モデル生成装置は、学習コーパスの入力文と意味タグの対応関係を考慮して、単語列パタンが属するクラスを決定するようにしたものである。
【００１７】
この発明に係る言語理解モデル生成装置は、学習コーパスの入力文を構成する単語列パタンと上記入力文を照合して、その単語列パタンと学習コーパスの意味タグを関連付けるモデルパラメータを生成し、クラス決定手段により決定されたクラスを考慮して、そのモデルパラメータを書き換えるようにしたものである。
【００１８】
この発明に係る言語理解モデル生成装置は、モデルパラメータを書き換える際、学習コーパスの入力文と意味タグの対応関係を考慮して、そのモデルパラメータの重みを調整するようにしたものである。
【００１９】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による言語理解モデル生成装置を示す構成図であり、図において、１１は対象タスク（例えば、ホテル予約）用に収集された入力文に意味タグが付与された学習コーパスを記憶する意味タグ付き学習コーパスメモリ（学習コーパス記憶手段）、１２は対象タスクと必ずしも一致しない参照タスク（例えば、観光案内）用に収集された入力文に意味タグが付与された参照コーパスを記憶する意味タグ付き参照コーパスメモリ（参照コーパス記憶手段）、１３は意味タグ付き参照コーパスメモリ１２に記憶されている参照コーパスの入力文を構成する単語列の局所的な特徴（以下、単語列パタンという）を抽出する単語列パタン抽出部、１４は参照コーパスの入力文と意味タグの対応関係を参照して、単語列パタン抽出部１３により抽出された単語列パタンの意味属性を決定する意味属性決定部、１５は意味属性決定部１４により決定された意味属性に基づいて類似関係にある単語列パタンを判別し、各単語列パタンが属するクラスを決定するクラス決定部である。なお、単語列パタン抽出部１３、意味属性決定部１４及びクラス決定部１５からクラス決定手段が構成されている。
【００２０】
１６はクラス決定部１５によりクラスが決定された単語列パタンと意味タグ付き学習コーパスメモリ１１に記憶されている学習コーパスの入力文を照合して、そのクラス決定部１５により決定されたクラスと学習コーパスの意味タグを関連付けるモデルパラメータを生成するパラメータ計算部（モデルパラメータ生成手段）、１７はパラメータ計算部１６により生成されたモデルパラメータを言語理解モデルとして格納する理解モデルメモリである。
【００２１】
図２はパラメータ計算部１６の内部構成を示す構成図であり、図において、２１は単語列パタンのクラスと意味タグを組み合わせて素性リストを生成する素性生成部、２２は素性生成部２１により生成された素性リストを格納する素性候補メモリ、２３は素性候補メモリ２２に記憶されている素性リストを素性の候補集合とし、言語理解モデルに用いる素性群と各素性の重みを決定する素性選択部である。
【００２２】
次に動作について説明する。
意味タグ付き学習コーパスメモリ１１には、対象タスク（例えば、ホテル予約）用に収集された入力文に意味タグが付与された学習コーパスが記憶される。図３は学習コーパスの一例を示しているが、この学習コーパスは、ホテル予約の音声対話システムに対して、利用者が発話する入力文を収集したものである。各入力文には、質問や応答のタイプを細分類した意味タグが付与されている。
この学習コーパスは、先に図２５を用いて説明した従来技術の学習コーパスと同様のものであるが規模は小さい。そのため、この学習コーパスは低コストで構築することができる。ただし、言語理解モデルの学習を行うにはスパースなコーパスとなっている。例えば、図２５の学習コーパスには在ったＳＡ０００３「構いません」，ＳＡ０００４「じゃあ仕方ないですね」，ＳＡ０００５「それで大丈夫です」などの入力文が図３の学習コーパスからは欠落している。
【００２３】
意味タグ付き参照コーパスメモリ１２には、参照タスク（例えば、観光案内）用に収集された入力文に意味タグが付与された参照コーパスが記憶される。
図４は参照コーパスの一例を示しているが、参照タスクは対象タスクとは必ずしも一致せず、図４の例では、参照コーパスのタスクは観光案内である。
参照コーパスは大規模なものであり、多様な入力文が含まれている。また、参照コーパスの意味タグには、図３の学習コーパスと異なる分類体系のものが用いられている。即ち、図４の参照コーパスでは、意味タグとして、発話行為タグと概念タグの２種類が付与されている。
【００２４】
発話行為タグは、話者の要求や応答の態度を分類したものであり、各入力文には、“ａｃｃｅｐｔ”（承諾），“ｇｉｖｅ−ｉｎｆｏｒｍａｔｉｏｎ”（情報提示），“ｒｅｑｕｔｅｓｔ−ｉｎｆｏｒｍａｔｉｏｎ”（情報要求）などのうち、何れか１つのタグが付与される。
概念タグは、入力文中に話題として挙げられた対象を表すものであり、“ｄｅｓｔｉｎａｔｉｏｎ”（目的地），“ｐｒｉｃｅ”（料金），“ｒｅｓｅｒｖａｔｉｏｎ”（予約）などが付与される。ただし、付与される概念タグは０個でも複数個でもよい。図中、付与されている意味タグは“１”で示されている。
【００２５】
単語列パタン抽出部１３は、意味タグ付き参照コーパスメモリ１２に記憶されている参照コーパスの入力文を読み出し、その入力文を構成する単語列パタンを抽出する。
ここでは、単語列パタンとして、単語Ｎ−ｇｒａｍ（Ｎ＝１，２，３）を網羅的に抽出するものとする。例えば、入力文「＄文頭／大丈夫／です／＄文末」からは、「大丈夫」「です」の単語１−ｇｒａｍと、「＄文頭／大丈夫」「大丈夫／です」「です／＄文末」の単語２−ｇｒａｍと、「＄文頭／大丈夫／です」「大丈夫／です／＄文末」の単語３−ｇｒａｍとを抽出する。
なお、図５は参照コーパスの単語列パタンリストを示している。単語列パタンとしては、この他に共起関係にある２単語対や、文法的関係にある単語対（例えば、主語や目的語と述語など）を用いるものであってもよい。
【００２６】
意味属性決定部１４は、単語列パタン抽出部１３から参照コーパスの単語列パタンリストを受けると、参照コーパスの入力文と意味タグの対応関係を参照し、下記に示すようにして、その単語列パタンリストに含まれている単語列パタンの意味属性を決定する。
図６は単語列パタンの意味属性の一例を示し、意味属性は、互いに独立に生成される複数の行列Ｍ_１，・・・，Ｍ_ｋ，・・・により規定されている。
図６における行列の行は単語列パタンに対応し、行列の列は意味タグに対応している。ただし、各行列の列に対応する意味タグセットからは、常に何れか１つの意味タグが各入力文に付与される。入力文に対して任意個の付与が許される概念タグ（“ｄｅｓｔｉｎａｔｉｏｎ”，“ｐｒｉｃｅ”，“ｒｅｓｅｒｖａｔｉｏｎ”，“ｔｅｍｐｏｒａｌ”，“ｔｒａｎｓｐｏｒｔａｔｉｏｎ”．．．）の場合には、図６の行列Ｍ_ｋのように、概念タグ（“ｔｒａｎｓｐｏｒｔａｔｉｏｎ”）毎に、その有無（“ｔｒａｎｓｐｏｒｔａｔｉｏｎ”＝１，“ｔｒａｎｓｐｏｒｔａｔｉｏｎ”＝０）を列とする行列が生成される。
【００２７】
行列Ｍ_１，・・・，Ｍ_ｋ，・・・におけるｉ行ｊ列の要素（意味属性）ａ_ｉｊは、単語列パタンｉの意味タグｊに対する重要度を表しており、意味属性決定部１４は、次のようにして意味属性ａ_ｉｊを求める。
ａ_ｉｊ＝Ｇ_ｉ・Ｌ_ｉｊ　　　　　　　　　　　　　　　　　　　　　　（１）
ただし、式（１）におけるＧ_ｉは、意味タグｊ＝１，・・・，ｍに共通の大域的重みであり、単語列パタンｉ出現下での意味タグｊのエントロピーＨｉを基にして計算する。Ｇ_ｉの値は、単語列パタンｉが意味タグｊ＝１，・・・，Ｎと偏って共起するほど大きくなる。式（２）において、Ｃ（ｉ）は単語列パタンｉが出現する入力文の数を表し、Ｃ（ｉ，ｊ）は単語列パタンｉと意味タグｊが共起する入力文の数を表している。
【数１】

【００２８】
一方、式（１）のＬ_ｉｊは、各意味タグｊに依存する局所的重みであり、Ｌ_ｉｊの値も、単語列パタンｉと意味タグｊが共起する入力文が多いほど大きくなる。式（３）において、Ｃ（ｊ）は意味タグｊが付与されている入力文の数を表している。
【数２】

【００２９】
クラス決定部１５は、上記のようにして意味属性決定部１４が単語列パタンの意味属性を決定すると、その意味属性に基づいて単語列パタン間の類似度を計算して、類似関係にある単語列パタンを判別し、各単語列パタンが属するクラスを決定する。
具体的には次のようにして各単語列パタンが属するクラスを決定する。
【００３０】
クラス決定部１５は、各単語列パタンに対応する意味属性ａ_ｉｊのベクトルがｕ＝（ａ_ｉｕ１，ａ_ｉｕ２，・・・，ａ_ｉｕｎ），ｖ＝（ａ_ｉｖ１，ａ_ｉｖ２，・・・，ａ_ｉｖｎ）であるとするとき、ベクトルｕとｖの方向余弦により単語列パタンｉ_ｕとｉ_ｖの類似度Ｒ（ｉ_ｕ，ｉ_ｖ）を求める。
【数３】

【００３１】
単語列パタンのクラスタリングは、公知のｋ−ｍｅａｎｓ法を実行することにより行う。ｋ−ｍｅａｎｓ法は、Ｋ個（Ｋは予め定める）にデータを分類するアルゴリズムであり、以下、（１）〜（４）の処理を繰り返すものである。
（１）Ｋ個の初期クラスタ中心を適当に決定する。
（２）全てのデータを最も近いクラスタ中心のクラスタに分類する。
（３）新たにできたクラスタの重心をクラスタ中心とする。
（４）新たなクラスタ中心が以前と変わらなければ終了し、そうでなければ（２）に戻る。
【００３２】
単語列パタンのクラスタリングにより、図７に示すような単語列パタンのクラスデータが生成される。各クラス（クラスタ）は、意味的に類似した単語列パタンを集めたものとなり、例えば、クラスＣ００１には、図６で意味タグ“ａｃｃｐｔ”（承諾）に対する重要度が大きい単語列パタン「大丈夫／です」「結構／です」「構い／ませ／ん」「仕方／ない」が集まったものである。
【００３３】
パラメータ計算部１６は、クラス決定部１５が単語列パタンのクラスタリングを行うと、各単語列パタンと意味タグ付き学習コーパスメモリ１１に記憶されている学習コーパスの入力文を照合して、クラス決定部１５により決定されたクラスと学習コーパスの意味タグとの共起関係を推定してモデルパラメータを生成する。
具体的には次のようにしてモデルパラメータを生成する。
例えば、入力文Ｓが与えられたとき、入力文Ｓに対応する意味タグがｙとなる確率ｐ（ｙ｜Ｓ）を推定する言語理解モデルを最大エントロピー法により構築する場合について説明する。
【００３４】
最初に、最大エントロピー法の概要を説明する。
最大エントロピー法では、学習コーパスで観測される入力文Ｓの特徴と意味タグｙとの相関を言語理解モデルに取り込むために、素性と呼ばれる関数を複数用いる。ここでは、次の式（５）のように、入力文Ｓと意味タグｙに対する条件判定により、“１”または“０”をとる２値関数ｆ_ｉ（Ｓ，ｙ）（ｉ＝１，２，・・・）を素性として用いるものとする。式（５）の下線部分は、個々の素性ｆ_ｉ（Ｓ，ｙ）に対して定める変数である。
【数４】

【００３５】
例えば、式（５）の形式の素性とは、「Ｓが単語列パタン『結構／です』に合致し、かつ、ｙが意味タグ『承諾』に等しい」場合に“１”をとる関数などである。あるいは、単独の単語列パタンの代わりに、クラス化した単語列パタン群を用いる場合には、「Ｓが｛『結構／です』，『大丈夫／です』，『構いません』，『仕方ない』，…｝のうちの何れかの単語列パタンに合致し、かつ、ｙが意味タグ『承諾』に等しい」場合に“１”をとる関数などを用いる。
【００３６】
このような素性の集合｛ｆ_ｉ（Ｓ，ｙ）｜ｉ＝１，２，・・・，ｎ｝を規定することにより、モデルｐが下記の式（６）の等式を充足するよう制約を設ける。
【数５】

式（６）における素性ｆ_ｉの推定確率と観測確率は、下記の式（７）（８）により定義される。
【数６】

【００３７】
即ち、式（６）〜（８）により、素性ｆ_ｉが“１”をとるような入力文と意味タグの関係については、モデルによる推定確率が学習コーパスにおける観測確率と等しくなるよう制約される。
このような制約条件を満たす確率分布ｐの集合をＰとするとき、最大エントロピー法で求めるモデルｐ^＊は、エントロピーＨ（ｐ）を最大化する確率分布として次式で与えられる。
【数７】

【００３８】
式（９）を解くことにより得られるモデルは、下記の式（１１）の形式で表すことができる。式（１１）の導出方法は、下記文献に記載されており、ここでは説明を省略する。
【数８】

＜文献＞
“Ａ　ｍａｘｉｍｕｍ　ｅｎｔｒｏｐｙ　ａｐｐｒｏａｃｈ　ｔｏ　ｎａｔｕｒａｌ　ｌａｎｇｕａｇｅ　ｐｒｏｃｅｓｓｉｎｇ”（Ａ．Ｌ．Ｂｅｒｇｅｒ，Ｓ．Ａ．Ｄｅｌｌａ　Ｐｉｅｔｒａ，ａｎｄ　Ｖ．Ｊ．Ｄｅｌｌａ　Ｐｉｅｔｒａ，Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，ｖｏｌ．２２，ｎｏ．１，ｐｐ．３９−７１，１９９６）
【００３９】
式（１１）におけるＺ（Ｓ）はΣ_ｙｐ（ｙ｜Ｓ）＝１とするための正規化項であり、次式で表される。
【数９】

式（１１）から、モデルは素性ｆ_ｉ（Ｓ，ｙ）とその重みλ_ｉによりパラメタライズされることが分かる。
【００４０】
素性の集合｛ｆ_ｉ（Ｓ，ｙ）｜ｉ＝１，２，・・・，ｎ｝が既に決定している場合、重みλ_ｉの値は、上記文献に記載の「改良反復スケーリング法」（ｉｍｐｒｏｖｅｄ　ｉｔｅｒａｔｉｖｅ　ｓｃａｌｉｎｇ）により求めることができる（説明は省略する）。
一方、モデルに用いる素性ｆ_ｉ（Ｓ，ｙ）を自動的に決定する方法としては、上記文献に記載の「素性選択アルゴリズム」（ｆｅａｔｕｒｅ　ｓｅｌｅｃｔｉｏｎ　ａｌｇｏｒｉｔｈｍ）がある。この方法は、予め大量に用意した素性の候補集合から、以下のステップ（１）〜（５）により、最適な素性の選択とモデルの更新を繰り返すアルゴリズムである。
【００４１】
（１）素性を持たないモデルを初期モデルとして設定する。
（２）モデルに対し、候補集合中の素性をそれぞれ暫定的に追加し、改良反復スケーリング法で重みを決定することにより、暫定モデルを複数生成する。
（３）暫定モデルを用いて、学習コーパスでの対数尤度の増分を計算し、対数尤度の増分が最も大きいモデルを１つ選択する。
（４）選択した暫定モデルを新たなモデルとして設定する。
（５）尤度の増分が閾値以下であれば終了し、そうでなければ（２）に戻る。
【００４２】
以上が最大エントロピー法によるモデル構築の概要である。最大エントロピー法でモデル構築する場合、図１のパラメータ計算部１６は、図２のような構成となる。
パラメータ計算部１６の素性生成部２１は、上述した式（５）の形式の素性を生成する。素性を規定する単語列パタンのクラスには、クラス決定部１５から受け取る単語列パタンのクラスを用いる一方、素性を規定する意味タグとしては、学習コーパスに含まれる意味タグを用いる。これらの単語列パタンのクラスと意味タグを組み合わせて、図８のような素性を生成する。
例えば、素性番号ＦＢ０００１の素性は「Ｓが｛『結構／です』，『大丈夫／です』，『構いません』，『仕方ない』，…｝のうちの何れかの単語列パタンに合致し、かつ、ｙが意味タグ『承諾』に等しい」場合に“１”をとる素性である。得られた素性リストは素性候補メモリ２２に書き込まれる。
【００４３】
パラメータ計算部１６の素性選択部２３は、素性候補メモリ２２に記憶されている素性リストを素性の候補集合とし、意味タグ付き学習コーパスメモリ１１から学習コーパスの入力文と意味タグを読み出し、上述した素性選択アルゴリズムにより、モデルに用いる素性群と各素性の重みとを決定する。得られたモデルパラメータは理解モデルメモリ１７に書き込まれる。
【００４４】
図９はモデルパラメータの一例を示し、パラメータ番号ＰＢ００１では、入力文が単語列パタン「結構／です」，「大丈夫／です」，「構いません」，「仕方ない」，…の何れかに合致した場合、意味タグ「承諾」に正の重み７．８２Ｅ−００が与えられる。これら単語列パタンのうち「結構／です」以外は、図３の学習コーパスには存在しないものである。このため従来技術では、「大丈夫／です」，「構いません」，「仕方ない」，…などが意味タグ「承諾」と関連することをモデル化することができなかった。一方、この実施の形態１によれば、参照コーパスで類似と判定された単語列パタンに対しても、学習コーパスに存在する「結構／です」に基づいて意味タグ「承諾」との関連がモデル化される。
【００４５】
以上で明らかなように、この実施の形態１によれば、クラス決定部１５によりクラスが決定された単語列パタンと意味タグ付き学習コーパスメモリ１１に記憶されている学習コーパスの入力文を照合して、そのクラス決定部１５により決定されたクラスと学習コーパスの意味タグを関連付けるモデルパラメータを生成するように構成したので、大規模な意味タグ付き学習コーパスを用意することなく、音声対話システム等における意味タグの推定精度を高められる言語理解モデルを構築することができる効果を奏する。
即ち、異なるタスク用に構築した参照コーパスを利用するので、対象タスク用のコーパスが少量であっても性能の優れた言語理解モデルを構築することができる。そのため、従来技術の問題点である「あるタスク用の言語理解モデルを構築するためには、そのタスク用の大規模な意味タグ付きコーパスを新たに用意する必要があり、多大なコストを要する」という問題を解決することができる。
【００４６】
実施の形態２．
図１０はこの発明の実施の形態２による言語理解モデル生成装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
３１は図１の単語列パタン抽出部１３と同様にして単語列パタンを抽出するとともに、意味タグ付き学習コーパスメモリ１１に記憶されている学習コーパスの入力文を構成する単語列パタンを抽出する単語列パタン抽出部（クラス決定手段）、３２は図１のパラメータ計算部１６と同様にしてモデルパラメータを生成するとともに、単語列パタン抽出部３１から学習コーパスの単語列パタンリストを受けると、その単語列パタンリストに含まれている単語列パタンと学習コーパスの入力文を照合して、その単語列パタンと学習コーパスの意味タグを関連付けるモデルパラメータを生成するパラメータ計算部（モデルパラメータ生成手段）である。
【００４７】
次に動作について説明する。
単語列パタン抽出部３１は、上記実施の形態１における単語列パタン抽出部１３の処理に加えて、同様の処理を学習コーパスに対しても行う。即ち、意味タグ付き学習コーパスメモリ１１から学習コーパスの入力文を読み出し、その入力文を構成する単語列の特徴を抽出して、学習コーパスの単語列パタンリストを生成する。
【００４８】
パラメータ計算部３２は、上記実施の形態１におけるパラメータ計算部１６と同様にして、クラス決定部１５により決定されたクラスと学習コーパスの意味タグを関連付けるモデルパラメータを生成する。また、単語列パタン抽出部３１から学習コーパスの単語列パタンリストを受けると、その単語列パタンリストに含まれている単語列パタンと学習コーパスの入力文を照合して、その単語列パタンと学習コーパスの意味タグを関連付けるモデルパラメータを生成する。
【００４９】
以下、上記実施の形態１と同様に、最大エントロピー法により言語理解モデルを構築する場合について説明する。最大エントロピー法でモデルを構築する場合、パラメータ計算部３２は、図１１のような構成となる。
パラメータ計算部３２の素性生成部２４は、上記実施の形態１における素正生成部２１と同様の処理により、単語列パタンのクラスと意味タグを組み合わせて素性リストを生成する。
また、素性生成部２４は、単語列パタン抽出部３１から学習コーパスの単語列パタンリストを受けると、それらの単語列パタンを学習コーパスの意味タグと組み合わせて素性群を生成する。
【００５０】
この結果、図１２に示すような素性リストが生成される。
ＦＢ０００１，ＦＢ０００２，ＦＢ０００３の素性が上記実施の形態１と同様に、参照コーパスから抽出された単語列パタンクラスと意味タグを組み合わせた素性である。ＦＣ０００１，ＦＣ０００２の素性が学習コーパスから抽出された単独の単語列パタンと意味タグを組み合わせた素性である。得られた素性リストは素性候補メモリ２２に書き込まれる。
【００５１】
パラメータ計算部３２の素性選択部２３は、上記実施の形態１と同様の処理により、モデルに用いる素性群と各素性の重みとを決定する。得られたモデルパラメータは理解モデルメモリ１７に書き込まれる。
図１３はモデルパラメータの一例を示し、この実施の形態２では、パラメータ番号ＰＣ００１，ＰＣ００２のように、学習コーパスから抽出された単独の単語列パタンと意味タグの相関を表すパラメータがモデルに入る。こうした相関は、対象タスクであるホテル予約に強く依存するものであり、参照コーパスからは抽出し難いものである。したがって、参照コーパスからクラス化した単語列パタンのみを扱う上記実施の形態１よりも性能の優れた言語理解モデルを得ることができる効果を奏する。
なお、この実施の形態２においても、パラメータＰＢ００１のように、学習コーパスには存在しない単語列パタンと意味タグの相関をモデル化できるため、上記実施の形態１と同様に、従来技術の問題を解決できることは言うまでもない。
【００５２】
実施の形態３．
図１４はこの発明の実施の形態３による言語理解モデル生成装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
３３は図１のクラス決定部１５と基本的には同様にして各単語列パタンが属するクラスを決定するが、その際、学習コーパスの入力文と意味タグの対応関係を考慮して、単語列パタンが属するクラスを決定するクラス決定部（クラス決定手段）、３４はクラス決定部３３によりクラスが決定された単語列パタンと意味タグ付き学習コーパスメモリ１１に記憶されている学習コーパスの入力文を照合して、そのクラス決定部３３により決定されたクラスと学習コーパスの意味タグを関連付けるモデルパラメータを生成するパラメータ計算部（モデルパラメータ生成手段）である。
図１５はクラス決定部３３の処理内容を示すフローチャートである。
【００５３】
次に動作について説明する。
クラス決定部３３は、意味属性決定部１４が上記実施の形態１と同様にして、単語列パタンの意味属性を決定すると、その意味属性に基づいて単語列パタン間の類似度を計算し、その単語列パタン間の類似度と、学習コーパスの入力文と意味タグの対応関係（学習コーパスの入力文と意味タグの頻度）とに基づいて各単語列パタンが属するクラスを決定する。
具体的には次の通りである。
【００５４】
まず、クラス決定部３３は、意味属性決定部１４が単語列パタンの意味属性を決定すると（図６を参照）、意味属性決定部１４から単語列パタンの意味属性を受け取る（ステップＳＴ１）。
クラス決定部３３は、意味属性決定部１４から受け取った各単語列パタンと、意味タグ付き学習コーパスメモリ１１に記憶されている学習コーパスの入力文を照合することにより、学習コーパスにおける各単語列パタンの頻度（単語列パタンに合致する入力文の数）を計測する（ステップＳＴ２）。
【００５５】
また、クラス決定部３３は、意味属性決定部１４から受け取った各単語列パタンと、意味タグ付き学習コーパスメモリ１１に記憶されている学習コーパスの入力文を照合することにより、学習コーパスにおける各単語列パタンと意味タグとの共起頻度（意味タグ別に計測した単語列パタンに合致する入力文の数）を計測する（ステップＳＴ３）。
【００５６】
クラス決定部３３は、クラスタ中心となる単語列パタンで未処理のものがあるか否かを判定し、未処理の単語列パタンがなければ、一連の処理を終了するが、未処理の単語列パタンがあれば、ステップＳＴ５の処理に進む（ステップＳＴ４）。
クラス決定部３３は、未処理の単語列パタンがある場合、学習コーパスにおける頻度が１以上で、かつ、まだクラスタ中心として設定していない単語列パタンを選択し、その単語列パタンをクラスタ中心に設定する（ステップＳＴ５）。
クラス決定部３３は、クラスタ中心となる単語列パタンを設定すると、クラスタ中心との類似度に基づいて、クラスタ中心との類似度が大きい順に他の単語列パタンをソートする（ステップＳＴ６）。なお、類似度の計算は、上記実施の形態１と同様に、意味属性ベクトルの方向余弦を用いる。
【００５７】
クラス決定部３３は、クラスタ中心と共起する意味タグの中で、未処理の意味タグがあるか否かを判定し、未処理の意味タグがなければ、ステップＳＴ４の処理に戻り、未処理の意味タグがあれば、ステップＳＴ８の処理に進む（ステップＳＴ７）。
クラス決定部３３は、未処理の意味タグがある場合、学習コーパスにおいてクラスタ中心との共起頻度が１以上で、かつ、まだ注目する意味タグとして設定していない意味タグを選択し、その意味タグを注目する意味タグとして設定する（ステップＳＴ８）。
【００５８】
クラス決定部３３は、注目する意味タグを設定すると、クラスタ中心と他の単語列パタンに対して、注目する意味タグとの共起頻度に基づいて図１６に示すような２×２分割表を生成し、仮説「注目する意味タグとの共起頻度の比率は、両単語列パタンで差が無い」を検定する（ステップＳＴ９）。
上記検定は、公知のフィッシャーの直接法（Ｆｉｓｈｅｒ’ｓ　ｅｘａｃｔ　ｐｒｏｂａｂｉｌｉｔｙ　ｔｅｓｔ：例えば、文献１，２）を用いた両側検定とし、有意水準は１０％とする。
＜文献１＞
“”確率および統計”（印東太郎，コロナ社，ｐｐ．２９２−２９３，１９７３）
＜文献２＞
“フィッシャーの正確確率検定（直接確率）”（ｈｔｔｐ：／／ａｏｋｉ２．ｓｉ．ｇｕｎｍａ−ｕ．ａｃ．ｊｐ／ｌｅｃｔｕｒｅ／Ｃｒｏｓｓ／Ｆｉｓｈｅｒ．ｈｔｍｌ）
【００５９】
クラス決定部３３は、仮説を検定すると、クラスタ中心からの類似度が大きい単語列パタンから順番に、上記検定で仮説が棄却されなかった単語列パタンまでを選択し、その選択した単語列パタン群とクラスタ中心とを合わせて、新たな単語列パタンクラスとする（ステップＳＴ１０）。この結果、図１７に示すような単語列パタンのクラスデータを生成する。
上記実施の形態１のクラスデータ（図７を参照）と異なり、各クラスには注目する意味タグが付与されている。クラスタ中心である単語列パタンは“＠”で示されている。
ステップＳＴ７で未処理の意味タグがないと判定され、かつ、ステップＳＴ４で未処理の単語列パタンがないと判定されると、クラス決定部３３の処理が終了する。
【００６０】
パラメータ計算部３４は、クラス決定部３３が単語列パタンのクラスタリングを行うと、各単語列パタンと意味タグ付き学習コーパスメモリ１１に記憶されている学習コーパスの入力文を照合して、クラス決定部３３により決定されたクラスと学習コーパスの意味タグとの共起関係を推定してモデルパラメータを生成する。
以下、上記実施の形態１，２と同様に、最大エントロピー法により言語理解モデルを構築する場合について説明する。最大エントロピー法でモデルを構築する場合、パラメータ計算部３４は図１８のような構成となる。
【００６１】
素性生成部２５は、クラス決定部３３から各単語列パタンが属するクラスを受け取ると、上記実施の形態１と同様に、上述した式（５）の形式の素性を生成する。
素性を規定する単語列パタンクラスには単語列パタンのクラスを用い、素性を規定する意味タグとしては、当該単語列パタンのクラスに付与された意味タグを用いる。これらの単語列パタンクラスと意味タグを組み合わせて素性を生成する。得られた素性リストを素性候補メモリ２２に書き込む。素性選択部２３の動作は上記実施の形態１と同様であるため説明を省略する。
【００６２】
この実施の形態３によれば、或る単語列パタンと類似していると見なしてクラス化する単語列パタンは、参照コーパスにおける意味タグの頻度分布だけでなく、学習コーパスにおける意味タグの頻度分布も考慮して決定される。このため、対象タスクに則した単語列パタンのクラス化を行うことが可能であり、上記実施の形態１と比べて、性能の優れた言語理解モデルを構築することが可能である。
【００６３】
実施の形態４．
図１９はこの発明の実施の形態４による言語理解モデル生成装置を示す構成図であり、図において、図１０及び図１４と同一符号は同一または相当部分を示すので説明を省略する。
３５はクラス決定部３３により決定されたクラスを考慮して、パラメータ計算部３２により暫定的に生成されたモデルパラメータを書き換えるパラメータ再計算部（モデルパラメータ生成手段）である。
図２０はパラメータ再計算部３５の内部構成を示す構成図であり、図において、４１はクラス決定部３３により決定されたクラスを考慮して、パラメータ計算部３２により暫定的に生成されたモデルパラメータを書き換える素性書換部、４２は学習コーパスの入力文と意味タグの対応関係を考慮して、モデルパラメータの重みを調整する重み再計算部である。
【００６４】
次に動作について説明する。
パラメータ再計算部３５は、上記実施の形態１と同様にして、パラメータ計算部３２がモデルパラメータ（以下、暫定モデルパラメータという）を計算して出力すると（図２１を参照）、クラス決定部３３により決定されたクラスを考慮して、その暫定モデルパラメータの書換処理を実行する。
以下、パラメータ再計算部３５の動作を具体的に説明する。上記実施の形態１〜３と同様に、最大エントロピー法により言語理解モデルを構築する場合について説明する。
【００６５】
パラメータ再計算部３５の素性書換部４１は、クラス決定部３３により決定された単語列パタンのクラスを用いて、暫定モデルパラメータの素性の書換処理を実行する。
即ち、最初に素性の単語列パタンｗｐと意味タグｙを調べる。例えば、図２１のパラメータ番号ＰＡ００６の素性を書き換える場合、単語列パタンｗｐは「結構／です」であり、意味タグｙは「承諾」となる。
次に、単語列パタンのクラスを参照する（図１７を参照）。クラス群の中からクラスタ中心がｗｐに対応し、かつ、注目する意味タグがｙに対応するクラスを選択する。先の例では、クラス番号Ｃ００１のクラス（「結構／です」「大丈夫／です」「構い／ませ／」「仕方／ない」…）が相当する。
このクラスに含まれる単語列パタン群を、元の単独単語列パタンｗｐの代わりに用いるように素性を書き換える。書き換えの結果、図２２に示すようなモデルパラメータが得られる。ただし、素性の重みは書換処理前と同じ値となっており、最大エントロピー法の条件である式（６）や式（９）を満たしていない。
【００６６】
パラメータ再計算部３５の重み再計算部４２は、素性書換部４１から重み未調整モデルパラメータを受け取ると、意味タグ付き学習コーパスメモリ１１から読み出した学習コーパスの入力文と意味タグの頻度に基づいて、上述した改良反復スケーリング法によりモデルの重みを調整する。重み調整後のモデルパラメータは理解モデルメモリ１７に書き込まれる。
【００６７】
この実施の形態４によっても、上記実施の形態１〜３と同様に、学習コーパスには存在しない単語列パタンと意味タグとの関連をモデル化することができる。このため、少量の学習コーパスから性能の優れた言語理解モデルを構築することが可能であり、従来技術の問題点である「あるタスク用の言語理解モデルを構築するためには、そのタスク用の大規模な意味タグ付きコーパスを新たに用意する必要があり、多大なコストを要する」という問題を解決することができる。
【００６８】
この実施の形態４では、パラメータ再計算部３５の素性書換部４１の処理において、書換処理によって得られた素性と元の素性を入れ換える例を説明したが、元の素性を残したまま、新たに書換処理によって得られた素性を追加することでも同様の効果を得ることができる。
【００６９】
【発明の効果】
以上のように、この発明によれば、クラス決定手段によりクラスが決定された単語列パタンと学習コーパス記憶手段に記憶されている学習コーパスの入力文を照合して、そのクラス決定手段により決定されたクラスと学習コーパスの意味タグを関連付けるモデルパラメータを生成するように構成したので、大規模な意味タグ付き学習コーパスを用意することなく、音声対話システム等における意味タグの推定精度を高められる言語理解モデルを構築することができる効果がある。
【００７０】
この発明によれば、単語列パタンが属するクラスを決定する際、参照コーパスの入力文と意味タグの対応関係を参照して、その単語列パタンの意味属性を決定し、その意味属性に基づいて類似関係にある単語列パタンを判別してクラスを決定するように構成したので、構成の複雑化を招くことなく、単語列パタンが属するクラスを決定することができる効果がある。
【００７１】
この発明によれば、学習コーパスの入力文を構成する単語列パタンと上記入力文を照合して、その単語列パタンと学習コーパスの意味タグを関連付けるモデルパラメータを生成するように構成したので、言語理解モデルの性能を更に高めることができる効果がある。
【００７２】
この発明によれば、学習コーパスの入力文と意味タグの対応関係を考慮して、単語列パタンが属するクラスを決定するように構成したので、言語理解モデルの性能を更に高めることができる効果がある。
【００７３】
この発明によれば、学習コーパスの入力文を構成する単語列パタンと上記入力文を照合して、その単語列パタンと学習コーパスの意味タグを関連付けるモデルパラメータを生成し、クラス決定手段により決定されたクラスを考慮して、そのモデルパラメータを書き換えるように構成したので、大規模な意味タグ付き学習コーパスを用意することなく、音声対話システム等における意味タグの推定精度を高められる言語理解モデルを構築することができる効果がある。
【００７４】
この発明によれば、モデルパラメータを書き換える際、学習コーパスの入力文と意味タグの対応関係を考慮して、そのモデルパラメータの重みを調整するように構成したので、構成の複雑化を招くことなく、モデルパラメータの書き換えを行うことができる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による言語理解モデル生成装置を示す構成図である。
【図２】パラメータ計算部の内部構成を示す構成図である。
【図３】学習コーパスの一例を示す説明図である。
【図４】参照コーパスの一例を示す説明図である。
【図５】参照コーパスの単語列パタンリストを示す説明図である。
【図６】単語列パタンの意味属性の一例を示す説明図である。
【図７】単語列パタンのクラスの一例を示す説明図である。
【図８】素性リストの一例を示す説明図である。
【図９】モデルパラメータの一例を示す説明図である。
【図１０】この発明の実施の形態２による言語理解モデル生成装置を示す構成図である。
【図１１】パラメータ計算部の内部構成を示す構成図である。
【図１２】素性リストの一例を示す説明図である。
【図１３】モデルパラメータの一例を示す説明図である。
【図１４】この発明の実施の形態３による言語理解モデル生成装置を示す構成図である。
【図１５】クラス決定部の処理内容を示すフローチャートである。
【図１６】単語列パタンと意味タグとの共起頻度による２×２分割表の一例を示す説明図である。
【図１７】単語列パタンのクラスの一例を示す説明図である。
【図１８】パラメータ計算部の内部構成を示す構成図である。
【図１９】この発明の実施の形態４による言語理解モデル生成装置を示す構成図である。
【図２０】パラメータ再計算部の内部構成を示す構成図である。
【図２１】暫定モデルパラメータの一例を示す説明図である。
【図２２】重み未調整モデルパラメータの一例を示す説明図である。
【図２３】音声対話システムを示す説明図である。
【図２４】従来の言語理解モデル生成装置を示す構成図である。
【図２５】学習コーパスの一例を示す説明図である。
【図２６】モデルパラメータの一例を示す説明図である。
【符号の説明】
１１　意味タグ付き学習コーパスメモリ（学習コーパス記憶手段）、１２　意味タグ付き参照コーパスメモリ（参照コーパス記憶手段）、１３　単語列パタン抽出部（クラス決定手段）、１４　意味属性決定部（クラス決定手段）、１５　クラス決定部（クラス決定手段）、１６　パラメータ計算部（モデルパラメータ生成手段）、１７　理解モデルメモリ、２１　素性生成部、２２　素性候補メモリ、２３　素性選択部、２４　素性生成部、２５　素性生成部、３１　単語列パタン抽出部（クラス決定手段）、３２　パラメータ計算部（モデルパラメータ生成手段）、３３　クラス決定部（クラス決定手段）、３４　パラメータ計算部（モデルパラメータ生成手段）、３５　パラメータ再計算部（モデルパラメータ生成手段）、４１　素性書換部、４２　重み再計算部。

Claims

対象タスク用に収集された入力文に意味タグが付与された学習コーパスを記憶する学習コーパス記憶手段と、参照タスク用に収集された入力文に意味タグが付与された参照コーパスを記憶する参照コーパス記憶手段と、上記参照コーパス記憶手段に記憶されている参照コーパスの入力文を構成する単語列パタンを抽出し、その単語列パタンが属するクラスを決定するクラス決定手段と、上記クラス決定手段によりクラスが決定された単語列パタンと上記学習コーパス記憶手段に記憶されている学習コーパスの入力文を照合して、そのクラス決定手段により決定されたクラスと当該学習コーパスの意味タグを関連付けるモデルパラメータを生成するモデルパラメータ生成手段とを備えた言語理解モデル生成装置。
クラス決定手段は、単語列パタンが属するクラスを決定する際、参照コーパスの入力文と意味タグの対応関係を参照して、その単語列パタンの意味属性を決定し、その意味属性に基づいて類似関係にある単語列パタンを判別してクラスを決定することを特徴とする請求項１記載の言語理解モデル生成装置。
モデルパラメータ生成手段は、クラス決定手段が学習コーパス記憶手段に記憶されている学習コーパスの入力文を構成する単語列パタンを抽出すると、その単語列パタンと上記入力文を照合して、その単語列パタンと当該学習コーパスの意味タグを関連付けるモデルパラメータを生成することを特徴とする請求項１または請求項２記載の言語理解モデル生成装置。
クラス決定手段は、学習コーパスの入力文と意味タグの対応関係を考慮して、単語列パタンが属するクラスを決定することを特徴とする請求項２記載の言語理解モデル生成装置。
対象タスク用に収集された入力文に意味タグが付与された学習コーパスを記憶する学習コーパス記憶手段と、参照タスク用に収集された入力文に意味タグが付与された参照コーパスを記憶する参照コーパス記憶手段と、上記参照コーパス記憶手段に記憶されている参照コーパスの入力文を構成する単語列パタンを抽出し、その単語列パタンが属するクラスを決定するとともに、上記学習コーパス記憶手段に記憶されている学習コーパスの入力文を構成する単語列パタンを抽出するクラス決定手段と、上記学習コーパスの入力文を構成する単語列パタンと上記入力文を照合して、その単語列パタンと当該学習コーパスの意味タグを関連付けるモデルパラメータを生成し、上記クラス決定手段により決定されたクラスを考慮して、そのモデルパラメータを書き換えるモデルパラメータ生成手段とを備えた言語理解モデル生成装置。
モデルパラメータ生成手段は、モデルパラメータを書き換える際、学習コーパスの入力文と意味タグの対応関係を考慮して、モデルパラメータの重みを調整することを特徴とする請求項５記載の言語理解モデル生成装置。