JP2000250581A - 言語モデル生成装置及び音声認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 統計的言語モデルにシンタックスや意味の情
報を統合することができ、認識性能の向上及び計算時間
の削減を図る。 【解決手段】 言語モデル生成部２２は、学習用テキス
トデータから生成したＮ−ｇｒａｍの統計的言語モデル
と、予め選択された質問と単語の対からなる複数の質問
セットとに基づいて、質問形式の知識に基づいて統合化
された言語モデルを生成する。統合化された言語モデル
は、単語履歴に対する単語の出現確率で表され、質問セ
ットの有無を表す質問セットの２値関数を乗数とする重
み係数のべき乗に統計的言語モデルの生起確率を乗算し
てなる項について複数の質問セットの個数だけの積で表
してなる。言語モデル生成部２２は、学習用テキストデ
ータを用いて統合化された言語モデルのエントロピーが
最大になるように学習し各質問セットの２値関数に対す
る重み係数を計算して言語モデルを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、学習用テキストデ
ータから生成した統計的言語モデル及び質問データを用
いて、質問形式の知識に基づいた言語モデルを生成する
言語モデル生成装置、及び上記言語モデルを用いて、入
力される発声音声文の音声信号を音声認識する音声認識
装置に関する。

【０００２】

【従来の技術】近年、連続音声認識装置において、その
性能を高めるために言語モデルを用いる方法が研究され
ている。言語モデルには、各単語の共起／連鎖の情報
や、シンタックスの情報（統語的又は構文的な情報）及
び意味（例えば、角川類語大辞典における意味コード）
のタグ情報が付与され、それを用いて次単語を予測し、
探索空間を削減することにより、認識性能の向上及び計
算時間の削減が図られる。各単語の連鎖の情報を表した
言語モデルにＮ−ｇｒａｍがある。Ｎ−ｇｒａｍは学習
用テキストデータから、直前のＮ−１個の単語から次の
単語への遷移確率を統計的に学習したもので、構築が容
易で、統計的音響モデルとの相性も良く、認識性能の向
上や計算時間の削減の効果がある程度は得られ、最近盛
んに用いられている（例えば、従来技術文献１「L.R.Ba
hl et al.,”A Maximum Likelihood Approach to Conti
nuous Speech Recognition”,pp.179-190,1993年」参
照。）。

【０００３】

【発明が解決しようとする課題】上記Ｎ−ｇｒａｍの統
計的言語モデルにシンタックスや意味の情報をうまく統
合することができれば、更に認識性能の向上及び計算時
間の削減が見込まれる。しかしながら、そのための決定
的な方法はまだない。

【０００４】本発明の目的は以上の問題点を解決し、統
計的言語モデルにシンタックスや意味の情報を統合する
ことができ、認識性能の向上及び計算時間の削減を図る
ことができる言語モデル生成装置、及び当該言語モデル
生成装置を用いた音声認識装置を提供することにある。

【０００５】

【課題を解決するための手段】本発明に係る請求項１記
載の言語モデル生成装置は、所定の話者の発声音声文を
書き下した学習用テキストデータから生成したＮ−ｇｒ
ａｍの統計的言語モデルと、予め選択された質問と単語
の対からなる複数の質問セットとに基づいて、質問形式
の知識に基づいて統合化された言語モデルを生成する生
成手段を備え、上記統合化された言語モデルは、単語履
歴に対する単語の出現確率で表され、質問セットの有無
を表す質問セットの２値関数を乗数とする、重み係数の
べき乗に、上記統計的言語モデルの生起確率を乗算して
なる項について、上記複数の質問セットの個数だけの積
で表してなり、上記生成手段は、所定の話者の発声音声
文を書き下した学習用テキストデータを用いて、上記統
合化された言語モデルのエントロピーが最大になるよう
に学習することにより、各質問セットの２値関数に対す
る重み係数を計算して、上記統合化された言語モデルを
生成することを特徴とする。

【０００６】また、請求項２記載の言語モデル生成装置
は、請求項１記載の言語モデル生成装置において、上記
複数の質問セットは、所定の話者の発声音声文を書き下
した学習用テキストデータから、質問と単語との間の所
定の相互情報量が所定のしきい値以上である質問セット
を選択したものであることを特徴とする。

【０００７】さらに、本発明に係る請求項３記載の音声
認識装置は、入力される発声音声文の音声信号に基づい
て、所定の言語モデルを用いて音声認識する音声認識手
段を備えた音声認識装置において、上記音声認識手段
は、請求項１又は２記載の言語モデル生成装置によって
生成された言語モデルを用いて音声認識することを特徴
とする。

【０００８】

【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。

【０００９】図１は、本発明に係る一実施形態である連
続音声認識装置のブロック図である。本実施形態の連続
音声認識装置は、質問形式の知識をトリガーとして次単
語を予測することによりＮ−ｇｒａｍの統計的言語モデ
ルにシンタックス・意味の情報を統合する質問形式に基
づいた言語モデル生成部（以下、言語モデル生成部とい
う。）２２を備えたことを特徴としている。ここで、言
語モデル生成部２２は、統計的言語モデル生成部２０に
よって生成された統計的言語モデルメモリ３１内の統計
的言語モデルと、質問データ選択部２１によって予め選
択された質問形式データメモリ４２内の質問形式データ
とに基づいてＮ−ｇｒａｍ情報とシンタックスや意味の
情報が統合された言語モデルを生成して言語モデルメモ
リ３２に格納する。

【００１０】本実施形態では、シンタックスや意味の情
報を質問形式の知識で表す。概念的には例えば、

【数１】A new dog was bought in this (family |fore
st |fast |fan |...). の文に対しては、 （１）現単語”ｔｈｉｓ”の前に動物があるか？ （２）現単語”ｔｈｉｓ”の前に決定的な（関係する）
事象があるか？ （３）現単語”ｔｈｉｓ”の前に”ｉｎ”があるか？ （４）予測される文中の動詞は何か？ の質問を用意する。そして、各質問をトリガーとして、
その答えを推定することにより、”ｔｈｉｓ”の後に続
く単語を絞り込む。本実施形態では言語モデルを、基本
モデルをＮ−ｇｒａｍ、質問形式の知識をトリガーとす
るエントロピー最大化モデル（例えば、従来技術文献２
「A.Della Pietra et al.,”Inducing features of ran
dom fields”,IEEE Transactions on Pattern Analysis
and Machine Intelligence,Vol.19,No.4,pp.380-393,1
997年」や従来技術文献３「R.Rosenfeld,”A maximum en
tropy approach to adaptive statistical language mo
deling”,Computer Speech and Language,Vol.10,No.3,
pp.187-228,1996年」参照。)で表し、上記の例のようなこ
とを統計的な枠組の中で行う。

【００１１】上記の質問に対する回答はわれわれに単語
を選択するために必要な多くの情報を与えてくれる。さ
らに、この情報は例えばトライグラムモデルなどの統計
的言語モデルによって提供できないことは明らかであ
る。この理由のために，本実施形態の質問形式に基づい
た言語モデルは、基礎となる統計的言語モデルの確率分
布を調整するための答えを得るために使用される。本実
施形態で用いる質問データの一例を以下に示す（この質
問データについての詳細説明は、従来技術文献４「E. B
lack et al.“Reinventing Part-of-Speech Tagging”,
Journal of Natural Language Processing, (Japan).
5:1:3-23, Montreal,1998年」において公知であ
る。）。

【００１２】

【表１】 ―――――――――――――――――――――――――――――――――― n_sem_animal_to_left n_sem_food_to_left n_sem_monkey_to_left n_sem_degree_to_left v_sem_send_to_left v_sem_verbal_act_to_left v_sem_be_to_left double_object_verb_within_last_5_words modal_verb_within_last_3_words ――――――――――――――――――――――――――――――――――

【００１３】文法学者などは、ほとんど無限の数の質問
を特定することができるが、本実施形態の言語モデルで
は、有限の質問形式データを用いるために以下のように
選択を行う。いま、質問の集合Ｑを次式で表す。

【数２】Ｑ＝｛ｑ₀，ｑ₁，ｑ₂，…，ｑ_L｝ そして、学習用テキストデータの単語列を

【数３】ｗ₀，ｗ₁，ｗ₂，…，ｗ_n とするとき、各単語ｗ_iに対して、その単語履歴ｈ_iを次
のように定義する。

【数４】ｈ_i＝｛ｗ₀，ｗ₁，…，ｗ_i-1｝ に対応したＱ中の質問に対する答えの集合Ａ_iを、

【数５】Ａ_i＝ｂ₀ｂ₁ｂ₂…ｂ_L と定義する。ここで、ｂ_jは質問ｑ_jの答え（”はい”も
しくは”いいえ”）を表す。その答えが”はい”ならば
ｂ_j＝１、”いいえ”ならば、ｂ_j＝０とする。さらに、
トリガーの組を次式のように定義する。

【数６】ｑｗ＝（ｑ_j，ｗ_i）

【００１４】このトリガーの組ｑｗは、ｂ_j＝１かつ現
単語がｗ_iの時、活性化される。無数のトリガーの組が
考えられるが、ここでは例えば、次の相互情報量ＭＩ
（ｑ，ｗ）が所定のしきい値よりも大きいトリガーの組
（すなわち、質問セット）を選んで用いる。

【００１５】

【数７】

【００１６】ここで、ｗｂはｗの否定であって単語が来
ないことを示し、ｑｂはｑの否定であって質問の答えが
ＮＯであることを示す。数７の右辺第１項は、質問ｑの
答えがＹＥＳであってその単語が来るときの相互情報量
であり、数７の右辺第２項は、質問ｑの答えがＹＥＳで
あってその単語が来ないときの相互情報量であり、数７
の右辺第３項は、質問ｑの答えがＮＯであってその単語
が来るときの相互情報量であり、数７の右辺第３項は、
質問ｑの答えがＮＯであってその単語が来ないときの相
互情報量である。従って、数７の相互情報量ＭＩ（ｑ，
ｗ）は、単語と質問セットとの間の相互情報を示す量で
あって、質問ｑの答えのＹＥＳ又はＮＯに対するその単
語が来るか否かに関する相関関係を示す基準である。

【００１７】いま、選んだトリガーの組（質問ｑ_jと単
語ｗ_iの対からなる質問セットである。）の集合ＴＱＷ
を、次式とする。

【数８】ＴＱＷ＝｛ｑｗ₀，ｑｗ₁，ｑｗ₂，…，ｑｗ_K｝ ここで、Ｋは選択された質問セットの数である。

【００１８】すなわち、質問データ選択部２１は、学習
用テキストデータメモリ４０内のコーパスと呼ばれるテ
キストデータと、質問データメモリ４１内の複数の質問
データとに基づいて、複数の質問データの中から、テキ
ストデータに基づいて数７の相互情報量ＭＩ（ｑ，ｗ）
が所定のしきい値以上の質問セットを選択して質問形式
データメモリ４２に出力して格納する。

【００１９】また、統計的言語モデル生成部２０は、学
習用テキストデータメモリ３０内のテキストデータに基
づいて公知の方法により単語連鎖の頻度を計数すること
により例えば３−ｇｒａｍなどの統計的言語モデルを生
成して統計的言語モデルメモリ３１に出力して格納す
る。

【００２０】なお、本実施形態で用いる学習用テキスト
データは、所定の話者の発声音声文を書き下した学習用
テキストデータであって、学習用テキストデータメモリ
３０，４０，５０内のテキストデータは互いに異なって
もよいし、同一でもよい。

【００２１】次いで、言語モデル生成部２２の処理につ
いて説明する。本実施形態による統合化された言語モデ
ルは、次式のエントロピー最大化モデルｐ（ｗ｜ｈ）で
表される。

【００２２】

【数９】

【００２３】数９は統合化された言語モデルのエントロ
ピーを表しており、ここで、ｆ_k（ｉ＝０，１，…，
Ｋ）はトリガーの組ｑｗ_kのためのトリガー関数、すな
わち質問セットｑｗ_kの２値関数であり、ｑｗ_kが活性化
されている（現在の処理対象の単語がｗ_kで、質問ｑ_kの
答えがＹＥＳ）ならばｆ_k＝１、そうでないならばｆ_k＝
０の２値関数ｆ_k∈｛１，０｝である。言いかえれば，
ｆ_k（ｉ＝０，１，…，Ｋ）は質問セットｑｗ_kが活性化
しているか否かを示す２値関数である。また、γは所定
の正規化係数であり、α_k（ｋ＝０，１，…，Ｋ）はト
リガー関数ｆ_kの重み係数である。さらに、数９のｐ
_b（ｗ｜ｈ₀）は、統計的言語モデルメモリ３１に格納さ
れた基本言語モデルで、例えば３−ｇｒａｍモデルなど
のＮ−ｇｒａｍの統計的言語モデルを用いる。

【００２４】また、重み係数α₀，α₁，…，α_Kを例え
ば、従来技術文献５「A.Della Pietra et al.,”Induci
ng features of random fields”,IEEE Transactions o
n Pattern Analysis and Machine Intelligence,Vol.1
9,No.4,pp.380-393,1997年」において開示された公知の
改善された反復スケーリング法（Improved Iterative S
caling法）を用いて、学習用テキストデータメモリ５０
内のテキストデータに基づいて、数９のエントロピーが
最大となるように推定して数９に代入することにより、
数９の言語モデルｐ（ｗ｜ｈ）を学習して求める。

【００２５】従って、言語モデル生成部２２は、まず、
統計的言語モデルメモリ３１内の統計的言語モデル（ｐ
_b（ｗ|ｈ₀））と、質問形式データメモリ４２内の複数
の質問セットとに基づいて、学習用テキストデータメモ
リ５０内のテキストデータを用いて上述の改善された反
復スケーリング法（Improved Iterative Scaling法）を
用いて、数９で規定するエントロピーが最大になるよう
に、数９の重み係数α ₀，α₁，…，α_Kを推定して、数
９に代入することにより統合化された言語モデルを生成
して、言語モデルメモリ３２に出力して格納する。

【００２６】図１は、本発明に係わる一実施形態である
連続音声認識装置のブロック図である。この実施形態の
連続音声認識装置は、学習用テキストデータメモリ３０
内の学習用テキストデータに基づいてＮ−ｇｒａｍの統
計的言語モデルを生成して統計的言語モデルメモリ３１
に格納する統計的言語モデル生成部２０と、上記生成さ
れたＮ−ｇｒａｍの統計的言語モデルを基本モデルとし
て、質問形式データメモリ１１内の予め選択された質問
データに基づいて、質問と単語によるトリガーの組（質
問セット）から、質問形式に基づいたエントロピー最大
化モデルによる統合化された言語モデルを生成して言語
モデルメモリ３２に格納する言語モデル生成部３２を備
え、その言語モデルを参照して連続音声認識することを
特徴としている。

【００２７】図１において、話者の発声音声はマイクロ
ホン１に入力されて音声信号に変換された後、特徴抽出
部２に入力される。特徴抽出部２は、入力された音声信
号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対
数パワー、１６次ケプストラム係数、Δ対数パワー及び
１６次Δケプストラム係数を含む３４次元の特徴パラメ
ータを抽出する。抽出された特徴パラメータの時系列は
バッファメモリ３を介して単語照合部４に入力される。

【００２８】単語照合部４は、ワン・パス・ビタビ（On
e Path Viterbi）復号化法を用いて、バッファメモリ３
を介して入力される特徴パラメータのデータに基づい
て、音素ＨＭＭメモリ１１内の音素ＨＭＭと単語辞書メ
モリ１２内の単語辞書とを用いて、単語仮説を検出し、
尤度を計算して出力する。ここで、単語照合部４は各時
刻の各ＨＭＭの状態ごとに、単語内の尤度と発声開始か
らの尤度を計算する。尤度は、単語の識別番号、単語の
開始時刻、先行単語の違いごとに個別に持つ。また、計
算処理量の削減のために、音素ＨＭＭ及び単語辞書とに
基づいて計算される総尤度のうちの低い尤度のグリッド
仮説を削減する。単語照合部４は、その結果の単語仮説
と尤度の情報を発声開始時刻からの時間情報とともに、
バッファメモリ５を介して単語仮説絞込部６に出力す
る。ここで、言語モデルメモリ３２が単語仮説絞込部６
に接続されて、単語仮説絞込部６は言語モデルメモリ３
２内の言語モデルを参照して処理を行う。

【００２９】単語仮説絞込部６は、単語照合部４からバ
ッファメモリ５を介して出力される単語仮説に基づい
て、言語モデルメモリ３２内の言語モデルを参照して、
終了時刻が等しく、開始時刻が異なる同一の単語の単語
仮説に対して、当該単語の先頭音素環境ごとに、発声開
始時刻から当該単語の終了時刻に至る計算された総尤度
のうちの、最も高い尤度を有する一つの単語仮説で代表
させるように、単語仮説の絞り込みを行なった後、絞り
込み後のすべての単語仮説の単語列のうち、最大の総尤
度を有する仮説の単語列を認識結果として出力する。

【００３０】本実施形態においては、好ましくは、処理
すべき当該単語の先頭音素環境とは、当該単語より先行
する単語仮説の最終音素と、当該単語の単語仮説の最初
の２つの音素とを含む３つの音素並びをいう。

【００３１】例えば、図２に示すように、（ｉ−１）番
目の単語Ｗ_i-1の次に、音素列ａ₁，ａ₂，…，ａ_nからな
るｉ番目の単語Ｗ_iがくるときに、単語Ｗ_i-1の単語仮説
として６つの仮説Ｗａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅ，Ｗｆ
が存在している。ここで、前者３つの単語仮説Ｗａ，Ｗ
ｂ，Ｗｃの最終音素は／ｘ／であるとし、後者３つの単
語仮説Ｗｄ，Ｗｅ，Ｗｆの最終音素は／ｙ／であるとす
る。終了時刻ｔ_eと先頭音素環境が等しい仮説（図２で
は先頭音素環境が“ｘ／ａ₁／ａ₂”である上から３つの
単語仮説）のうち総尤度が最も高い仮説（例えば、図２
において１番上の仮説）以外を削除する。なお、上から
４番めの仮説は先頭音素環境が違うため、すなわち、先
行する単語仮説の最終音素がｘではなくｙであるので、
上から４番めの仮説を削除しない。すなわち、先行する
単語仮説の最終音素毎に１つのみ仮説を残す。図２の例
では、最終音素／ｘ／に対して１つの仮説を残し、最終
音素／ｙ／に対して１つの仮説を残す。

【００３２】以上の実施形態においては、当該単語の先
頭音素環境とは、当該単語より先行する単語仮説の最終
音素と、当該単語の単語仮説の最初の２つの音素とを含
む３つの音素並びとして定義されているが、本発明はこ
れに限らず、先行する単語仮説の最終音素と、最終音素
と連続する先行する単語仮説の少なくとも１つの音素と
を含む先行単語仮説の音素列と、当該単語の単語仮説の
最初の音素を含む音素列とを含む音素並びとしてもよ
い。

【００３３】以上の実施形態において、特徴抽出部２
と、単語照合部４と、単語仮説絞込部６と、統計的言語
モデル生成部２０と、質問データ選択部２１と、言語モ
デル生成部２２とは、例えば、ディジタル電子計算機な
どのコンピュータで構成され、バッファメモリ３，５
と、音素ＨＭＭメモリ１１と、単語辞書メモリ１２と、
学習用テキストデータメモリ３０，４０，５０と、質問
データメモリ４１と、質問形式データメモリ４２と、言
語モデルメモリ３２とは、例えばハードディスクメモリ
などの記憶装置で構成される。

【００３４】以上の実施形態において、単語照合部４と
単語仮説絞込部６とを用いて音声認識を行なっている
が、本発明はこれに限らず、例えば、音素ＨＭＭメモリ
１１内の音素ＨＭＭを参照する音素照合部４と、例えば
Ｏｎｅ Ｐａｔｈ ＤＰアルゴリズムを用いて言語モデ
ルを参照して、単語の音声認識を行う音声認識部とで音
声認識を行うように構成してもよい。

【００３５】

【実施例】本発明者は、本実施形態で生成した言語モデ
ルの性能を確認するために、以下のように評価実験を行
なった。本実験では、基本言語モデルとして、２０Ｍ、
１００Ｍ、２００Ｍ（ここで、Ｍは１０⁶を示すメガで
ある。）の単語数の学習データテキスト（ウォール・ス
トリート・ジャーナルとＡＰ通信のニューステキスト）
から生成した、三種類の３−ｇｒａｍ（以下、それぞれ
Ｔｒｉ２０Ｍ、Ｔｒｉ１００Ｍ、Ｔｒｉ２００Ｍとい
う。）を用いた。なお、語彙数はいずれの３−ｇｒａｍ
に関しても２０００１（未知語を一単語として含む）と
した。表２に各３−ｇｒａｍのデータのモデル数を示
す。

【００３６】

【表２】 各３−ｇｒａｍのデータのモデル数 ―――――――――――――――――――――――――――――――――― Ｔｒｉ２０Ｍ Ｔｒｉ１００Ｍ Ｔｒｉ２００Ｍ ―――――――――――――――――――――――――――――――――― １−ｇｒａｍ ２０００１ ２０００１ ２０００１ ２−ｇｒａｍ ３９５６６３ １２３００４０ １２０４７２７ ３−ｇｒａｍ ５２７７８２ ２７２４３４６ ２４９２３０９ ――――――――――――――――――――――――――――――――――

【００３７】予め文法学者が作成した３００個の質問セ
ット（以下、Ｑｕｅｓ３００という。）から、相互情報
量に基づいて、５５６２１個のトリガーの組を選択し
た。本実施形態のエントロピー最大化モデルによる質問
形式に基づいた言語モデルの学習には、本特許出願人が
所有するデータベース（ATR general English tree ban
k（本特許出願人で、ウォール・ストリート・ジャーナ
ルとＡＰ通信のニューステキストなどから抜粋して作成
したテキストコーパスであって、単語数１Ｍを有す
る。)）から１６０，０００単語数のテキストを用い、
評価テストでは学習とは別のデータベースから１４，０
００単語数のテキストを用いた。

【００３８】表３にパープレキシティＰＰ（次に続く単
語数を表す尺度。認識対象の難しさを表し、良い言語モ
デルに基づいて次式で計算したパープレキシティＰＰは
小さくなる。つまりパープレキシティＰＰによって言語
モデルの性能を評価することができる。）による評価結
果を示す。

【数１０】ＰＰ＝２^LP

【数１１】 ＬＰ＝−（１／Ｎ）ｌｏｇ₂ｐ（ｗ₁，ｗ₂，…，ｗ_N）

【００３９】ここで、数１０のＰＰは単語列｛ｗ₁，
ｗ₂，…，ｗ_N｝に対するパープレキシティを示す。表３
において、”ｂａｓｅＰＰ”は基本言語モデルである従
来の３−ｇｒａｍのパープレキシティ、”Ｑｕｅｓ３０
０”は本実施形態の言語モデルのパープレキシティを表
す。

【００４０】

【表３】 ３つのモデルのパープレキシティ ―――――――――――――――――――――――――――――――――― Ｔｒｉ２０Ｍ Ｔｒｉ１００Ｍ Ｔｒｉ２００Ｍ ―――――――――――――――――――――――――――――――――― ｂａｓｅＰＰ １６６．０ １２８．７ １１６．１ Ｑｕｅｓ３００ １４９．１ １１６．１ １０６．３ ―――――――――――――――――――――――――――――――――― 削減率（％） １０．２ ９．８ ８．９ ――――――――――――――――――――――――――――――――――

【００４１】表２の結果から、本実施形態の言語モデル
を用いれば、従来の３−ｇｒａｍと比べて、パープレキ
シティを削減でき、その性能を改善できることがわか
る。

【００４２】以上説明したように、本実施形態によれ
ば、従来例の言語モデルと比べて、パープレキシティを
削減できるため、次の単語候補を探索するときの探索空
間が小さくなり、音声認識装置の認識率を向上させるこ
とができるとともに、高速で認識することができる。ま
た、質問データ選択部２１で質問データを最適に選択し
ているので、質問形式データメモリ４２のメモリ容量の
大きくならず、また、言語モデル生成部２２での処理も
高速で実行することができる。

【００４３】

【発明の効果】以上詳述したように本発明に係る請求項
１記載の言語モデル生成装置によれば、所定の話者の発
声音声文を書き下した学習用テキストデータから生成し
たＮ−ｇｒａｍの統計的言語モデルと、予め選択された
質問と単語の対からなる複数の質問セットとに基づい
て、質問形式の知識に基づいて統合化された言語モデル
を生成する生成手段を備え、上記統合化された言語モデ
ルは、単語履歴に対する単語の出現確率で表され、質問
セットの有無を表す質問セットの２値関数を乗数とす
る、重み係数のべき乗に、上記統計的言語モデルの生起
確率を乗算してなる項について、上記複数の質問セット
の個数だけの積で表してなり、上記生成手段は、所定の
話者の発声音声文を書き下した学習用テキストデータを
用いて、上記統合化された言語モデルのエントロピーが
最大になるように学習することにより、各質問セットの
２値関数に対する重み係数を計算して、上記統合化され
た言語モデルを生成する。従って、本発明によれば、従
来例の言語モデルと比べて、パープレキシティを削減で
きるため、次の単語候補を探索するときの探索空間が小
さくなり、音声認識装置の認識率を向上させることがで
きるとともに、高速で認識することができる。

【００４４】また、請求項２記載の言語モデル生成装置
によれば、請求項１記載の言語モデル生成装置におい
て、上記複数の質問セットは、所定の話者の発声音声文
を書き下した学習用テキストデータから、質問と単語と
の間の所定の相互情報量が所定のしきい値以上である質
問セットを選択したものである。従って、本発明によれ
ば、質問セットのデータメモリのメモリ容量の大きくな
らず、また、上記生成手段での処理も高速で実行するこ
とができる。

【００４５】さらに、本発明に係る請求項３記載の音声
認識装置によれば、入力される発声音声文の音声信号に
基づいて、所定の言語モデルを用いて音声認識する音声
認識手段を備えた音声認識装置において、上記音声認識
手段は、請求項１又は２記載の言語モデル生成装置によ
って生成された言語モデルを用いて音声認識する。従っ
て、本発明によれば、従来例の言語モデルと比べて、パ
ープレキシティを削減できるため、次の単語候補を探索
するときの探索空間が小さくなり、音声認識装置の認識
率を向上させることができるとともに、高速で認識する
ことができる。

【図面の簡単な説明】

【図１】 本発明に係る一実施形態である連続音声認識
装置のブロック図である。

【図２】 図１の連続音声認識装置における単語仮説絞
込部６の処理を示すタイミングチャートである。

【符号の説明】

１…マイクロホン、 ２…特徴抽出部、 ３，５…バッファメモリ、 ４…単語照合部、 ６…単語仮説絞込部、 １１…音素ＨＭＭメモリ、 １２…単語辞書メモリ、 ２０…統計的言語モデル生成部、 ２１…質問データ選択部、 ２２…質問形式に基づいた言語モデル生成部、 ３０，４０，５０…学習用テキストデータメモリ、 ３１…統計的言語モデルメモリ、 ３２…言語モデルメモリ、 ４１…質問データメモリ、 ４２…質問形式データメモリ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 アンドリュー・フィンチ 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 (72)発明者 エズラ・ダブリュー・ブラック 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 (72)発明者 匂坂 芳典 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 (72)発明者 松井 知子 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 Ｆターム(参考） 5B091 AA15 CB12 CC01 CC04 CC16 EA01 5D015 HH23 9A001 HH07 HH11 HH17

Claims (3)

【特許請求の範囲】
1. 【請求項１】 所定の話者の発声音声文を書き下した学
   習用テキストデータから生成したＮ−ｇｒａｍの統計的
   言語モデルと、予め選択された質問と単語の対からなる
   複数の質問セットとに基づいて、質問形式の知識に基づ
   いて統合化された言語モデルを生成する生成手段を備
   え、 上記統合化された言語モデルは、単語履歴に対する単語
   の出現確率で表され、質問セットの有無を表す質問セッ
   トの２値関数を乗数とする、重み係数のべき乗に、上記
   統計的言語モデルの生起確率を乗算してなる項につい
   て、上記複数の質問セットの個数だけの積で表してな
   り、 上記生成手段は、所定の話者の発声音声文を書き下した
   学習用テキストデータを用いて、上記統合化された言語
   モデルのエントロピーが最大になるように学習すること
   により、各質問セットの２値関数に対する重み係数を計
   算して、上記統合化された言語モデルを生成することを
   特徴とする言語モデル生成装置。
2. 【請求項２】 上記複数の質問セットは、所定の話者の
   発声音声文を書き下した学習用テキストデータから、質
   問と単語との間の所定の相互情報量が所定のしきい値以
   上である質問セットを選択したものであることを特徴と
   する請求項１記載の言語モデル生成装置。
3. 【請求項３】 入力される発声音声文の音声信号に基づ
   いて、所定の言語モデルを用いて音声認識する音声認識
   手段を備えた音声認識装置において、 上記音声認識手段は、請求項１又は２記載の言語モデル
   生成装置によって生成された言語モデルを用いて音声認
   識することを特徴とする音声認識装置。