JP2011154061A - 辞書作成装置、そのコンピュータプログラムおよびデータ処理方法 - Google Patents

Abstract

【課題】学習データに基づいた最適な単語区切りではなく、適応データに応じて逐次的に最適な単語区切りを設定することができる辞書作成装置を提供する。
【解決手段】学習データに内包されている単語情報を単語区切りとともに単語情報記憶部１０１が記憶する。学習データとは別個の入力データに関連して入力される適応データに内包されている単語情報とｎグラムの出現頻度とを出現頻度計算部１０３が算出する。算出された単語情報と出現頻度とに対応して単語情報記憶部１０１に記憶されている単語情報の単語区切りを単語情報更新部１０４が更新する。
【選択図】図１

Description

本発明は、音声認識などに利用される辞書作成装置に関し、特に、記憶されている単語情報に単語区切りを設定する辞書作成装置、そのコンピュータプログラムおよびデータ処理方法、に関する。

自然言語処理分野において、ある文、単語列、文字列に対して、それらが起こる確率を与える確率的言語モデルが広く用いられている。その代表的なモデルの一つに、ｎグラムモデルがある。

これは、直前の（ｎ−１）単語から次の単語の出現確率を求めるものである。しかし、確率を求める際に与えられる情報が（ｎ−１）単語であり、ｎ単語より前の情報を用いることができないという問題がある。

その解決手段の一つとして、共起性の高い単語列を一語の単語（複合語）として処理することが考えられる。これにより、結合した単語分だけ前の単語の情報も活用することができる。

すなわち、ある単語列における、ｍ−１番目の単語ｗｍ−１とｍ番目の単語ｗｍを一単語とした場合には、ｗｍの生起確率を求めるｍ−ｎ＋１番目の単語からｍ−１番目の単語までの情報を用いていたのが、ｍ−ｎ番目の単語からｍ−２番目の単語までの情報を参考にすることができ、さらにｗｍ−１とｗｍを一単語にしたことによる制約を与えることも可能となる。

しかし、全ての語彙を結合することは現実的ではなく、何らかの基準を以って単語を結合すべきか否かを判定し、単語単位を変更する方法が提案されてきた。このような辞書作成装置を以下に説明する。

図１０に示すように、例示する辞書作成装置は、学習テキストＤＢ(Data Base)１０と、辞書作成装置２０と、語彙ＤＢ（辞書）３０とを備え、辞書作成装置２０は、出現頻度計算手段２１と、エントロピー計算手段２２と、語彙更新手段２３と、判別手段２４と、学習テキスト更新手段２５と、を備える。

このような構成を有する辞書作成装置は、次のように動作する。すなわち、学習テキストＤＢ１０は、音声認識に用いられる言語モデルを作成するための語彙ＤＢ（辞書）３０に属する単語を用いた文章に対し、形態素解析された結果である単語区切りと、係り受け解析された結果である文節区切りと、が予め付与された学習テキスト（テキストデータ）を記憶する。

辞書作成装置２０は、学習テキストＤＢ１０に基づいて語彙ＤＢ（辞書）３０を更新して作成する。具体的には、出現頻度計算手段２１は、学習テキストＤＢ１０に記憶された学習テキストに内包されている連続した二単語（単語ペア）からなる単語列の学習テキストにおける出現頻度を計算し、頻度上位の複合語をエントロピー計算手段２２に送る。

エントロピー計算手段２２は、出現頻度計算手段２１から入力された単語ペア全てについて、一単語とみなしたときと二単語とみなしたときのエントロピーを比較し、最良となった単語ペアを複合語として抽出し、語彙更新手段２３に送る。

語彙更新手段２３は、エントロピー計算手段２２で抽出された単語ペアを一単語とみなした複合語について、語彙ＤＢ（辞書）３０に追加登録して、当該語彙ＤＢ（辞書）３０を更新する。加えて、辞書を更新した情報を判別手段２４に送る。

判別手段２４は、語彙更新手段２３より得た辞書更新情報をもとに、追加登録された複合語が所定の数を満たしていないときに、学習テキストＤＢ１０に記憶された学習テキストの更新を学習テキスト更新手段２５に指示する。

学習テキスト更新手段２５は、判別手段２４から更新を指示された場合に、語彙更新手段２３で更新された語彙ＤＢ（辞書）３０に基づいて、学習テキストＤＢ１０に記憶された学習テキストに付与された単語区切りを更新することにより学習テキストを更新し、学習テキストの出現頻度の計算を出現頻度計算手段２１に指示する。

語彙ＤＢ（辞書）３０は、音声認識に用いられる言語モデルを作成するための複数の単語を記憶する。このように、辞書作成装置は、エントロピー計算手段２２にて学習テキストにおける出現頻度から複合語を形成した場合と二単語に分けた場合とでエントロピーを計算し、より適した単語の単位を選択して辞書を更新している(特許文献１)。

また、従来の音声対話システムでは不特定話者を対象としたときに、音声認識率の向上を行うためには、多くの認識パターンを記憶するなどシステムが大きくなってしまう恐れがある。そこで、この解決を目的とした音声対話システムの提案もある。

その技術では、利用者の発した希望の商品又は情報に関する音声および利用者の音声認識適応化情報が入力され、その内部に予め持っているシステム音声認識情報を前記音声適応化情報により前記利用者に適した適応化音声認識情報とし、この適応化音声認識情報と前記利用者の発した音声との音声照合を行い音声データ得て、この音声データと残高情報により前記希望の商品又は情報を利用者に供給する(特許文献２)。

さらに、低コストで入手可能なテキストデータを利用して、音声認識誤りを低減するように効率的に音声認識用辞書・言語モデルを作成・更新することのできる音声認識辞書作成支援システムも提案されている。

その技術では、音声認識辞書作成支援システムは、認識辞書記憶部と言語モデル記憶部と音響モデル記憶部を備える。仮想的音声認識処理部は、テキスト解析部が生成した解析済みテキストデータに対し、認識辞書、言語モデルおよび音響モデルを参照して、仮想的音声認識結果テキストデータを生成し、元の解析済みテキストデータと比較する。更新処理部は、両テキストデータの相違箇所が少なくなるように認識辞書・言語モデルを更新する(特許文献３)。

特開２００７−１７１７２４号公報 特開２００２−１９６７８１号公報 再特ＷＯ２００７−０９７１７６号

特許文献１に開示の辞書作成装置は、前述のようにエントロピー計算手段２２にて学習テキストにおける出現頻度から複合語を形成した場合と二単語に分けた場合とでエントロピーを計算し、より適した単語の単位を選択して辞書を更新している。

しかしながら、この方式では、音声認識対象と関係なく事前に用意された学習テキスト（学習データ）に対して最適な単語区切りを求めているに過ぎず、例えば、音声認識対象とする音声（分野）に対して最適ではない。

また、特許文献１に開示の方法で、音声認識対象とする音声に対して適切な単語単位を得るため、入力データに適応データを設定することも考えられる。しかし、一般的に適応データは少量であるため、それ単独では頑健に認識可能な辞書を作成することはできない。

よって、学習するのに十分な量を備えた学習データと少量の適応データとの混合したデータを用いることが考えられるが、混合して作成したデータを入力としているため認識対象とする音声に対して適切な単語単位とはならない。

また、特許文献２には、システム音声認識情報をユーザに適応化させるとある。しかし、適応化情報として用いているのは音響的な情報（スペクトルパターンやＨＭＭ(Hidden Markov Model)パラメータ）だけである。

さらに、特許文献３には、データの内容に応じて認識辞書および言語モデルに対して変更を加えるとある。しかし、辞書に単語を追加するもしくは単語の優先度を変更するだけである。

本発明は上述のような課題に鑑みてなされたものであり、学習データに基づいた最適な単語区切りではなく、適応データに応じて逐次的に最適な単語区切りを設定することができる辞書作成装置、そのコンピュータプログラムおよびデータ処理方法、を提供するものである。

本発明の辞書作成装置は、学習データに内包されている単語情報を記憶する単語情報記憶手段と、学習データとは別個の入力データに関連して入力される適応データに内包されている単語情報とｎグラムの出現頻度とを算出する出現頻度計算手段と、算出された単語情報と出現頻度とに対応して単語情報記憶手段に記憶されている単語情報を更新する単語情報更新手段と、を有する。

本発明のコンピュータプログラムは、辞書作成装置のコンピュータプログラムであって、学習データに内包されている単語情報を記憶する単語情報記憶処理と、学習データとは別個の入力データに関連して入力される適応データに内包されている単語情報とｎグラムの出現頻度とを算出する出現頻度計算処理と、算出された単語情報と出現頻度とに対応して単語情報記憶処理で記憶された単語情報を更新する単語情報更新処理と、を辞書作成装置に実行させる。

本発明のデータ処理方法は、辞書作成装置のデータ処理方法であって、学習データに内包されている単語情報を記憶する単語情報記憶動作と、学習データとは別個の入力データに関連して入力される適応データに内包されている単語情報とｎグラムの出現頻度とを算出する出現頻度計算動作と、算出された単語情報と出現頻度とに対応して単語情報記憶動作で記憶された単語情報を更新する単語情報更新動作と、を有する。

なお、本発明の各種の構成要素は、その機能を実現するように形成されていればよく、例えば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与されたデータ処理装置、コンピュータプログラムによりデータ処理装置に実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明のコンピュータプログラムおよびデータ処理方法は、複数の処理および動作を順番に記載してあるが、その記載の順番は複数の処理および複数の動作を実行する順番を限定するものではない。

このため、本発明のコンピュータプログラムおよびデータ処理方法を実施するときには、その複数の処理および複数の動作の順番は内容的に支障しない範囲で変更することができる。

さらに、本発明のコンピュータプログラムおよびデータ処理方法は、複数の処理および複数の動作が個々に相違するタイミングで実行されることに限定されない。このため、ある処理および動作の実行中に他の処理および動作が発生すること、ある処理および動作の実行タイミングと他の処理および動作の実行タイミングとの一部ないし全部が重複していること、等でもよい。

さらに、本発明で云う「データを記憶する」とは、本発明の装置が、少なくともデータを記憶する機能を有することを意味している。このため、本発明の装置がコンシューマにより新規に登録されるデータを記憶することの他、サプライヤにより製造時に登録されたデータを記憶して出荷後にはコンシューマにより新規のデータが登録されないことも許容する。

一方、本発明で云う「データを記憶している」とは、本発明の装置が、少なくともコンシューマにより使用されるときに、データを記憶している状態となる機能を有することを意味している。

このため、本発明の装置がサプライヤから出荷されるときにデータが登録されていることの他、出荷されるときには登録されていないデータがコンシューマにより使用されるまでに登録されることも許容する。

また、本発明で云う辞書作成装置は、コンピュータプログラムを読み取って対応する処理動作を実行できるように、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、Ｉ／Ｆ（Interface）ユニット、等の汎用デバイスで構築されたハードウェア、所定の処理動作を実行するように構築された専用の論理回路、これらの組み合わせ、等として実施することができる。

なお、本発明でコンピュータプログラムに対応した各種動作を辞書作成装置に実行させることは、各種デバイスを辞書作成装置に動作制御させることなども意味している。

例えば、辞書作成装置に各種データを記憶させることは、辞書作成装置に固定されているＨＤＤ（Hard Disc Drive）等の情報記憶媒体にＣＰＵが各種データを格納すること、辞書作成装置に交換自在に装填されているＣＤ−Ｒ（Compact Disc-Recordable）等の情報記憶媒体にＣＰＵがＣＤドライブで各種データを格納すること、等を許容する。

本発明の辞書作成装置では、学習データに内包されている単語情報を単語区切りとともに単語情報記憶手段が記憶する。学習データとは別個の入力データに関連した適応データを入力する。入力された適応データに内包されている単語情報とｎグラムの出現頻度とを出現頻度計算手段が算出する。算出された単語情報と出現頻度とに対応して単語情報記憶手段に記憶されている単語情報の単語区切りを単語情報更新手段が更新する。このため、学習データそのものを直接用いることなく、適応データに内包されている単語情報や単語（ｎグラム）の出現頻度を用いて最適な単語区切りを決定して、学習データより求められた単語情報を更新している。従って、従来のような学習データに基づいた最適な単語区切りではなく、適応データに応じて逐次的に最適な単語区切りを設定することができる。

本発明の実施の第一の形態の辞書作成装置の論理構造を示す模式的なブロック図である。 第一の形態の辞書作成装置のデータ処理方法を示すフローチャートである。 本発明の実施の第二の形態の辞書作成装置の論理構造を示す模式的なブロック図である。 本発明の実施の第三の形態の辞書作成装置の論理構造を示す模式的なブロック図である。 第三の形態の辞書作成装置が作成する単語情報を示す模式図である。 第三の形態の辞書作成装置が作成する単語情報を示す模式図である。 第三の形態の辞書作成装置が作成する単語情報を示す模式図である。 第三の形態の辞書作成装置が作成する単語情報を示す模式図である。 第三の形態の変形例の辞書作成装置のデータ処理方法を示すフローチャートである。 一従来例の技術の論理構造を示す模式的なブロック図である。

本発明の実施の第一の形態を図１および図２を参照して以下に説明する。まず、図１を参照すると、本発明の実施の第一の形態の辞書作成装置１００は、学習データに内包されている単語情報を記憶する単語情報記憶部１０１と、学習データとは別個の入力データに関連して入力される適応データに内包されている単語情報とｎグラムの出現頻度とを算出する出現頻度計算部１０３と、算出された単語情報と出現頻度とに対応して単語情報記憶部１０１に記憶されている単語情報を更新する単語情報更新部１０４と、を有する。

より具体的には、本実施の形態の辞書作成装置１００は、学習データとは別個の入力データに関連した適応データを入力する適応データ入力部１０２を、さらに有する。この適応データ入力部１０２は、実際には各種データの入力部として、上述の学習データや入力データも入力される。

本実施の形態の辞書作成装置１００は、例えば、自然言語音声を入力データとする音声認識装置(図示せず)に利用される。このような音声認識装置および辞書作成装置１００は、マイクロフォンなどの必要なデバイスが接続されて適正なコンピュータプログラムが実装されたコンピュータ装置などとして実現される。

このようなコンピュータプログラムは、例えば、辞書作成装置１００のコンピュータプログラムであって、学習データに内包されている単語情報を記憶する単語情報記憶処理と、学習データとは別個の入力データに関連して入力される適応データに内包されている単語情報とｎグラムの出現頻度とを算出する出現頻度計算処理と、算出された単語情報と出現頻度とに対応して単語情報記憶処理で記憶された単語情報を更新する単語情報更新処理と、を辞書作成装置１００に実行させるように記述されている。

より具体的には、本実施の形態の辞書作成装置１００の単語情報記憶部１０１は、学習データに内包されている単語情報を記憶する。単語情報は、学習データを形態素解析し、その結果から出現頻度の高い単語列（名詞列など）を複合語として単語単位を修正された情報である。

なお、複合語を生成する方法として、共起頻度（ｎグラム頻度）を用いる方法や、特許文献１に開示のエントロピーを用いる方法、特開２００１−２４９９２１号公報などに開示の係り受け情報を用いる方法等の従来方法を用いる。

また、ここで単語情報とは、具体的には単語表記を指す。単語表記以外にも、単語の読みや品詞など音声認識における辞書で必要な情報が含まれていてもよい。加えて、単語の情報として複合語の情報なども付加しておくとよい。具体的には、複合語か否かという情報や、複合語だった場合に単語の構成情報（元の単語の区切り位置）などが考えられる。

適応データ入力部１０２は、認識対象の入力データである入力音声と同じ（もしくは類似した）分野（ドメイン）で、学習データとは別個の適応データを入力する。出現頻度計算部１０３は、適応データ入力部１０２にて入力された適応データを形態素解析して単語単位に分割した後、単語（ｎグラム）の出現頻度を求める。

ここで求めた適応データに内包されている単語情報と、単語（ｎグラム）の出現頻度情報を単語情報更新部１０４に送る。ここで、単語情報とは、単語の表記を指し、単語の読みや品詞などの形態素情報を含めてもよい。また、出現頻度情報として、単語の共起情報などを含めてもよい。

単語情報更新部１０４は、まず単語情報記憶部１０１に記憶された単語情報、出現頻度計算部１０３から送られた単語情報および単語（ｎグラム）の出現頻度、共起情報、に基づいて単語を分割すべきかを求める。

単語の分割決定方法については、適応データにおける出現頻度により判定する方法等の従来方式を用いることで実現する。一例として、適応データの単語情報および頻度情報を入力として、特開２００１−２４９９２１号公報などに開示の方式で、適応データにおける最適な単語単位を求めることができる。

なお、ここで処理対象となる単語は、単語情報記憶部１０１に記憶された単語のうち、複合語の単語のみである（元の単語の区切り位置が分かるため、処理時に元の単語単位に分割可能）。

つぎに、単語情報記憶部１０１に記憶された単語情報に単語区切りに変更のあった（新たに分割された）単語情報を追加し、出力する。ここで更新された単語情報を音声認識用の辞書として用いることも可能である。

上述の単語情報記憶部１０１に記憶された単語情報は多くの複合語から構成されており、単語情報更新部１０４で分割する条件を満たした場合に複合語を元の単語単位に分割し戻しているが、単語の結合および分割の順序を逆にすることも可能である。

すなわち、単語情報記憶部１０１は学習データを単語単位の修正を行わず形態素解析した結果（単語単位）をそのまま用いた単語情報が記憶されており、単語情報更新部１０４において従来方式を用いて単語を結合する。その後、単語区切りに変更のあった単語情報を単語情報更新部１０４で追加、更新する。

つぎに、図２のフローチャートを参照して本実施の形態の辞書作成装置１００のデータ処理方法について詳細に説明する。まず、学習データに内包されている単語情報を記憶する単語情報記憶部１０１を用意しておく。

このような状態で、図２に示すように、入力音声と関連する適応データを適応データ入力部１０２より入力し、出現頻度計算部１０３にて形態素解析を実行する（ステップＳ２０１）。

ステップＳ２０１で得た形態素解析結果から適応データに内包されている単語を抽出し、さらにｎグラムを計算する（ステップＳ２０２）。その後、単語情報更新部１０４にて単語情報記憶部１０１に記憶された単語情報を読み込み、出現頻度計算部１０３にて求められた単語情報およびｎグラムの出現頻度情報をもとにして、単語区切りを決定する（ステップＳ２０３）。ここで単語情報とは単語の表記等を指す。

また、単語区切りの決定には従来方式を用いる。最後に、単語情報記憶部１０１から読み込んだ単語情報を読み込み、単語区切りに変更のあった単語情報を追加して更新した単語情報を出力する（ステップＳ２０４）。ここで出力された単語情報を音声認識用の辞書として用いることも可能である。

つぎに、本実施の形態の辞書作成装置１００の効果について説明する。本実施の形態の辞書作成装置１００では、学習データそのものを直接用いることなく、適応データに内包されている単語情報や単語（ｎグラム）の出現頻度を用いて最適な単語区切りを決定して、学習データより求められた単語情報を更新しているため、従来のような学習データに基づいた最適な単語区切りではなく、適応データに応じて逐次的に最適な単語区切りを求めることができる。

例えば、講演音声を対象とした音声認識用の辞書を作る際には講演全般のデータを集めてきて学習データとする。より高い認識精度を得るためには、講演の中でもその分野の講演データ、例えば過去の同じテーマの講演の議事録や書き起こしなどを学習データとするのが望ましいが、その量は非常に限られており、認識に対して頑健な辞書を作成することが困難である。

そこで、大量の学習データから基礎となる単語情報を記憶した上で、少量の適応データを用いて単語区切りを修正する。これにより、学習データにより広範な語彙をカバーし、かつ適応データから認識対象となる音声に応じた単語区切りに修正することができる。

具体例を用いて説明すると、「音声認識」は広範な分野から集めてきたデータにはまれにしか出てこない単語列であるが、音声認識分野に特化すると非常に使用頻度の高い単語列である。

逆に「個人情報」という単語は近年よく使われる単語列であるが、音声認識分野においてはあまり使用されず、むしろ「〜情報」と他の単語列との組み合わせで「情報」が使われることが多い。

このような場合に、本実施の形態では学習データから事前に「音声」「認識」「個人情報」と単語情報を記憶しておき、その後適応データ（ここでは音声認識分野に関するデータ）の出現傾向に合わせて「音声認識」「個人」「情報」と単語区切りを修正、更新することができる。

なお、前述した特許文献１の技術において、音声認識対象とするテキスト（適応データ）が存在した場合に、その適応データを用いて辞書を適応することも考えられる。しかし、特許文献１には、本実施の形態の辞書作成装置１００のように、適応データに応じて辞書を逐次的に更新させる方法は述べられていない。

つぎに、本発明の実施の第二の形態を図３を参照して詳細に説明する。図３を参照すると、本発明の実施の第二の形態の辞書作成装置１１０は、単語情報を記憶する単語情報記憶部１０１と、ｎグラムの出現頻度を記憶する言語モデル記憶部１１１と、適応データを記憶する適応データ入力部１０２と、適応データにおける単語の出現頻度を計算する出現頻度計算部１０３と、算出された単語情報と出現頻度とに対応して単語情報記憶部１０１に記憶されている単語情報の単語区切りを修正する単語情報更新部１１２と、を有する。

これらの手段は、それぞれ概略つぎのように動作する。言語モデル記憶部１１１は、学習データにおける単語（ｎグラム）の出現頻度を記憶する。単語（ｎグラム）の出現頻度以外に、単語の共起情報等を含んでいてもよい。

単語情報更新部１１２は、単語情報記憶部１０１より送られてきた学習データに内包されている単語情報、出現頻度計算部１０３から送られた単語情報および単語（ｎグラム）の出現頻度、共起情報等をもとに単語を分割すべきかを求める。

つぎに、単語情報記憶部１０１より送られてきた学習データに内包されている単語情報に、単語区切りに変更のあった単語情報を反映させる。さらに、言語モデル記憶部１１１より送られてきた単語（ｎグラム）の出現頻度を用いて、単語区切りに変更があったことで不要となった（他に使われることのない）単語情報を取り除く。

例えば、単語情報更新部１１２にて「単語」「連鎖」の二単語が「単語連鎖」と一語になったとすると、「単語連鎖」以外に「単語」に後続し、複合語となりうる単語列が言語モデル記憶部１１１に記憶された単語（ｎグラム）に存在しなかった場合、すなわち単語モデル記憶部に記憶された一語に結合する前の「単語」のユニグラム頻度が「単語連鎖」のユニグラム頻度と一致した場合には、その「単語」を取り除く。なお、単語情報更新部１１２にて出力された単語情報を音声認識用の辞書に用いてもよい。

本実施の形態の全体の動作は、実施の第一の形態における全体の動作（図２）と同じである。ただし、ステップＳ２０４において、言語モデル記憶部１１１よりｎグラムの出現頻度情報を読み込むことで、単語区切りが変更になったことにより不要となった単語を取り除いて単語情報を更新する点が実施の第一の形態と異なる。

つぎに、本形態の辞書作成装置１１０の効果について説明する。本実施の形態の辞書作成装置１１０では、言語モデル記憶部１１１より学習データにおけるｎグラムの出現頻度情報を読み込んで、単語情報更新部１１２にて単語情報を更新している。

このため、実施の第一の形態の効果に加えて、単語情報記憶部１０１に記憶された単語情報から、単語区切りの変更によって不要となった単語情報を取り除くことができる。

つぎに、本発明の実施の第三の形態について図４および図６を参照して詳細に説明する。図４を参照すると、本発明の実施の第三の形態の辞書作成装置１２０は、単語情報を記憶する単語情報記憶部１０１と、ｎグラムの出現頻度を記憶する言語モデル記憶部１１１と、適応データを記憶する適応データ入力部１０２と、適応データにおける単語の出現頻度を計算する出現頻度計算部１０３と、適応データをもとに単語区切りを修正して単語情報を更新する単語情報更新部１２１と、単語区切りに変更のあった単語を含む単語（ｎグラム）の頻度を再計算する出現頻度再計算部１２２と、言語モデルを作成する言語モデル作成部１２３と、を有する。

単語情報更新部１２１は、実施の第二の形態における単語情報更新部１１２と同じ動作をする。さらに、単語区切りに変更のあった単語情報を出現頻度再計算部１２２に送る。

出現頻度再計算部１２２は、言語モデル記憶部１１１に記憶された単語（ｎグラム）の出現頻度を読み込み、さらに単語情報更新部１２１の結果を受けて、単語区切りに変更のあった単語を含む（ｉグラム(ｉ≦ｎ)の）頻度のみ再計算し更新する。

具体的には、以下のようにして頻度を求める。すなわち、ｗ＿ｍがｗ＿ｍ１とｗ＿ｍ２に分割されたとき、分割前のｉ単語列「ｗ＿ｍ−ｉ＋１，ｗ＿ｍ−ｉ＋２，・・・，ｗ＿ｍ−１，ｗ＿ｍ」の頻度がｋ回だったとすると、分割後のｉグラムの頻度を以下の数１および数２のようにして求める。

ただし、ｆ（Ｘ）は単語列Ｘの出現頻度とする。

ここで再計算するｎグラムは、分割された単語を含むｎグラムのみである。また、言語モデル記憶部１１１に記憶されたｎグラムに単語列「ｗ＿ｍ−ｉ＋１，ｗ＿ｍ−ｉ＋２，・・・，ｗ＿ｍ−１，ｗ＿ｍ１」もしくは「ｗ＿ｍ−ｉ＋２，ｗ＿ｍ−ｉ＋３，・・・，ｗ＿ｍ−１，ｗ＿ｍ１，ｗ＿ｍ２」が含まれていた場合には、上記で求めた頻度と合計を求める必要がある。

ｎ＝３の場合について、具体例を用いて頻度再計算方法を詳しく説明する。（分割前の例を図５に、分割後の再計算した後の結果を図６に示す。）例えば、「単語連鎖」という複合語を「単語」と「連鎖」の二単語に分割する場合、再計算が必要な３グラムは、「単語連鎖」を含む「ため+の+単語連鎖」「内+の+単語連鎖」「従来+の+単語連鎖」の三つである。

これらの３グラムについて「単語連鎖」を「単語」と「連鎖」に分割すると、３グラムは、それぞれ「ため+の+単語」「の+単語+連鎖」、「内+の+単語」「の+単語+連鎖」、「従来+の+単語」「の+単語+連鎖」となる。

このうち、「の+単語+連鎖」は既存の３グラムに存在しなかったエントリであるため、それぞれの頻度を足し合わせて３＋２＋１＝６回となる。一方、その他の「ため+の+単語」「内+の+単語」「従来+の+単語」は既存の３グラムに存在している可能性があり、実際この例では既存の３グラムに「ため+の+単語」のエントリが存在している。

既存の３グラムに分割後の３グラムが存在していた場合、すなわち「ため+の+単語」はその合計を求める。すなわち既存の３グラムの頻度４回と、分割によって新たに加えられる頻度３回を足し合わせて７回となる。

このようにして求まった単語（ｎグラム）の出現頻度を言語モデル作成部１２３に送る。言語モデル作成部１２３は、出現頻度再計算部１２２にて再計算された単語（ｎグラム）の出現頻度をもとに言語モデルを作成する。

言語モデルの作成方法については、例えば、
http://winnie.kuis.kyoto-u.ac.jp/dictation/doc/lang_m.pdf
のサイトに記載されている公知手法等を用いる。

単語を結合する場合については、複合語が分割される場合とは異なり厳密に単語（ｎグラム）の出現頻度を求めることができない。これは、元の学習データ（テキスト）を記憶していないために、n単語より前の情報を保持していないためである。

よって、近似的に頻度を求め、その値を更新値とする。具体的には、ｗ＿ｍ−１とｗ＿ｍが結合してｗ＿ｍ'になった場合について、近似的に求める方法を数３に示す。なお、ここでは、学習データにおける出現頻度を用いて近似しているが、学習データにおける文書頻度や単語列「ｗ＿ｍ−ｎ＋１，ｗ＿ｍ−ｎ＋２，・・・，ｗ＿ｍ−２」の後に来る単語の種類数や単語の共起情報なども用いて近似する方法も考えられる。

なお、（ｎ−ｉ）グラム（ｉ＞０）の頻度を求める場合には、以下のように、

（ｎ−ｉ＋１）グラムの頻度を用いればよい（数４）。

ここで、ｎ＝３の場合について、図７および図８を用いて具体的に説明する。まず、「単語」と「連鎖」という単語を一語の「単語連鎖」に変更するとき、「単語連鎖」を含む３グラム「の+単語+連鎖」の頻度を再計算する必要がある。

しかし、「の+単語連鎖」の単語列に連鎖する直前の単語が保持していないため、「の+単語」を含む３グラム「＊+の+単語」（"＊"は任意の単語）の頻度を用いて「＊+の+単語連鎖」の頻度を推定する。

例えば、「類似+の+単語連鎖」という３グラムの頻度を推定する場合には、「＊＋の＋単語」の総和が１０であるため、ｆ（の，単語，連鎖）×ｆ（類似，の，単語）÷１０＝２．４となる。

このようにして近似して単語（ｎグラム）の頻度の情報を言語モデル作成部１２３に送る。なお、言語モデル作成部１２３での動作は上記の方法と同様である。つぎに、本実施の形態の全体の動作について図９を用いて詳細に説明する。

まず、適応データ入力部１０２より入力音声と関連する適応データを入力して出現頻度計算部１０３にて形態素解析を実行する（ステップＳ２２１）。さらに、その結果から適応データにおいて出現している単語を抽出し、ｎグラムを計算する（ステップＳ２２２）。

その後、単語情報更新部１２１にて、単語情報記憶部１０１に記憶された単語情報（、必要に応じて言語モデル記憶部１１１に記憶されたｎグラムの出現頻度情報）を読み込んだうえで、出現頻度計算部１０３にて求められた適応データにおける単語情報およびｎグラムの出現頻度情報をもとにして、単語を結合するか分割するか（何もしないか）を決定する（ステップＳ２２３）。

そして、単語区切りに変更があった単語について、単語情報を更新する（ステップＳ２２４）。さらに、言語モデル記憶部１１１に記憶された単語（ｎグラム）の出現頻度を読み込んで、単語区切り変更に伴い不要となった単語情報を削除する。

つぎに、出現頻度再計算部１２２において、単語区切りに変更があった単語を含むｎグラムの出現頻度を再計算する（ステップＳ２２５）。ここで再計算されたｎグラムの出現頻度情報を用いて、言語モデル作成部１２３にて言語モデルを作成する（ステップＳ２２６）。

つぎに、上記形態の辞書作成装置１２０の効果について説明する。本形態の辞書作成装置１２０では、単語区切りに変更のあった単語を含むｎグラム頻度のみ再計算をして言語モデルを作成するように構成されている。

このため、特許文献１に開示の方法のように学習データを保持しておく必要も、単語区切りの変更に伴って学習データを入力として形態素解析し直し単語（ｎグラム）の頻度を再計算する必要もない。

すなわち、本形態の辞書作成装置１２０では、出現頻度再計算部１２２において、単語情報更新部１２１で単語区切りに変更のあった単語を含むｎグラムのみ頻度の再計算を行うため、従来と比べて処理量を大幅に削減することができる。

また、適応データによって最適化された単語単位を持つ辞書に合わせて言語モデルを作り直しているため、最適な単語単位に合わせた言語モデルを作り直すことができる。すなわち、入力音声に合わせて逐次的に言語モデルを作り直すことができる。

なお、本発明は本実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で各種の変形を許容する。例えば、上記形態では自然言語音声を入力データとすることを想定した。

上記形態の辞書作成装置１００、１１０、１２０は、音声信号をテキスト化する音声認識装置、さらに話す話題に辞書・言語モデルを適応する音声認識装置、キーワードを入力して文書を検索するテキスト検索装置といった用途にも適用可能である。

さらに、本実施の形態では辞書作成装置の各部がコンピュータプログラムにより各種機能として論理的に実現されることを例示した。しかし、このような各部の各々を固有のハードウェアとして形成することもでき、ソフトウェアとハードウェアとの組み合わせとして実現することもできる。

なお、当然ながら、上述した実施の形態および複数の変形例は、その内容が相反しない範囲で組み合わせることができる。また、上述した実施の形態および変形例では、各部の構造などを具体的に説明したが、その構造などは本願発明を満足する範囲で各種に変更することができる。

１０ 学習テキストＤＢ
２０ 辞書作成装置
２１ 出現頻度計算手段
２２ エントロピー計算手段
２３ 語彙更新手段
２４ 判別手段
２５ 学習テキスト更新手段
３０ 語彙ＤＢ（辞書）
１００ 辞書作成装置
１０１ 単語情報記憶部
１０２ 適応データ入力部
１０３ 出現頻度計算部
１０４ 単語情報更新部
１１０ 辞書作成装置
１１１ 言語モデル記憶部
１１２ 単語情報更新部
１２０ 辞書作成装置
１２１ 単語情報更新部
１２２ 出現頻度再計算部
１２３ 言語モデル作成部
Ｓ２０１ 適応データを形態素解析
Ｓ２０２ 出現単語を登録し、単語ｎグラムを計算
Ｓ２０３ 単語の区切り位置を決定
Ｓ２０４ 単語情報を更新
Ｓ２２１ 適応データを形態素解析
Ｓ２２２ 出現単語を登録し、単語ｎグラムを計算
Ｓ２２３ 単語の区切り位置を決定
Ｓ２２４ 単語情報を更新
Ｓ２２５ 単語ｎグラムを再計算
Ｓ２２６ 言語モデルを作成

Claims (10)

1. 学習データに内包されている単語情報を記憶する単語情報記憶手段と、
   前記学習データとは別個の入力データに関連して入力される適応データに内包されている単語情報とｎグラムの出現頻度とを算出する出現頻度計算手段と、
   算出された前記単語情報と前記出現頻度とに対応して前記単語情報記憶手段に記憶されている前記単語情報を更新する単語情報更新手段と、
   を有する辞書作成装置。
2. 前記単語情報記憶手段は、前記学習データにおける単語出現傾向に対応して複数の単語からなる複合語の前記単語情報を単語区切りとともに記憶し、
   前記単語情報更新手段は、前記適応データにおける単語出現傾向に対応して前記複合語を複数の前記単語情報に分割して前記単語区切りを更新する請求項１記載の辞書作成装置。
3. 前記単語情報更新手段は、複数の前記単語情報に分割された前記複合語を前記単語情報記憶手段から削除する請求項２記載の辞書作成装置。
4. 前記単語情報更新手段は、前記適応データにおける単語出現傾向に対応して複数の単語からなる複合語の前記単語情報を生成する請求項１ないし３の何れか一項に記載の辞書作成装置。
5. 前記単語情報更新手段は、前記複合語に結合された複数の前記単語のうち、前記複合語以外の前記ｎグラムが存在しない前記単語を前記言語モデル記憶手段から削除する請求項４に記載の辞書作成装置。
6. 前記学習データにおける前記ｎグラムの頻度情報を記憶する言語モデル記憶手段と、
   前記言語モデル記憶手段に記憶されている前記ｎグラムの頻度情報と前記単語情報更新手段の更新結果とから前記ｎグラムの出現頻度を再計算する出現頻度再計算手段と、
   前記出現頻度再計算手段にて更新された前記ｎグラムの出現頻度をもとに言語モデルを作成する言語モデル作成手段とを、
   さらに有する請求項５に記載の辞書作成装置。
7. 前記出現頻度再計算手段は、前記単語情報更新手段で複数の前記単語に分割された前記複合語の前記ｎグラムを分割数−ｎ＋１組の前記ｎグラムに再構成し、そのｎグラムの出現頻度に再構成前の前記ｎグラムの出現頻度を適用する請求項６記載の辞書作成装置。
8. 前記出現頻度再計算手段は、前記単語情報更新手段で複数の前記単語を結合した前記複合語のｎグラムの出現頻度に結合以前の複数の前記単語の各々のｎグラムの出現頻度とｎ番目の単語を除いた（ｎ−１）グラムの頻度から近似した値を適用する請求項６記載の辞書作成装置。
9. 辞書作成装置のコンピュータプログラムであって、
   学習データに内包されている単語情報を記憶する単語情報記憶処理と、
   前記学習データとは別個の入力データに関連して入力される適応データに内包されている単語情報とｎグラムの出現頻度とを算出する出現頻度計算処理と、
   算出された前記単語情報と前記出現頻度とに対応して前記単語情報記憶処理で記憶された前記単語情報を更新する単語情報更新処理と、
   を前記辞書作成装置に実行させるコンピュータプログラム。
10. 辞書作成装置のデータ処理方法であって、
    学習データに内包されている単語情報を記憶する単語情報記憶動作と、
    前記学習データとは別個の入力データに関連して入力される適応データに内包されている単語情報とｎグラムの出現頻度とを算出する出現頻度計算動作と、
    算出された前記単語情報と前記出現頻度とに対応して前記単語情報記憶動作で記憶された前記単語情報を更新する単語情報更新動作と、
    を有するデータ処理方法。

Images