JP2001236089A - 統計的言語モデル生成装置、音声認識装置、情報検索処理装置及びかな漢字変換装置 - Google Patents

Abstract

(57)【要約】 【課題】 単語辞書において未登録の未登録語に関する
音声認識の精度を高くし、未登録語の区間やクラスを同
定する統計的言語モデルを生成する。 【解決手段】 未登録語モデル生成部２０は学習データ
におけるモーラ長に対する単語数の割合が実質的にガン
マ分布に従うと仮定したときのモーラ長のガンマ分布の
パラメータをクラスに依存して推定して計算し、モーラ
又はモーラ連鎖であるサブワード単位で、固有名詞又は
外来語の普通名詞の下位クラスであるクラスを有する第
１のＮ−ｇｒａｍの出現確率を計算して未登録語を含む
単語系列をモデル化したサブワード単位Ｎ−ｇｒａｍモ
デルを生成する。言語モデル生成部２４は、単語クラス
Ｎ−ｇｒａｍモデルとサブワード単位Ｎ−ｇｒａｍモデ
ルとモーラ長のガンマ分布のパラメータとに基づいてサ
ブワード単位に基づいた未登録語を含む統計的言語モデ
ルを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、学習データ及び学
習用テキストデータに基づいて統計的言語モデルを生成
する統計的言語モデル生成装置、上記統計的言語モデル
を用いて、入力される発声音声文の音声信号を音声認識
する音声認識装置、上記音声認識装置を用いた情報検索
処理装置及びかな漢字変換装置に関する。

【０００２】

【従来の技術】近年、音声認識技術の進展に伴い、音声
認識の大語彙タスクへの適用が盛んに行われている。し
かしながら、大語彙音声認識のパラダイム（特定領域や
時代の支配的な科学的対象把握の方法をいう。）におい
ても、未登録語の問題が完全に解決するわけではない。
特に、人名などの固有名詞に関しては、すべてを網羅す
ることが困難であるといった本質的な問題もある。一方
で、固有名詞にはタスク達成上重要な情報であるものも
多く含まれ、音声認識の実タスク上での運用を考える
際、固有名詞の未登録語処理技術は重要な課題となる。

【０００３】従来、連続音声認識装置における音素並び
（読み）を含めた未登録語の検出方式としては、以下の
方法が提案されている。 （１）音素タイプライタ等のサブワードデコーダを併用
する方法（以下、第１の従来例の方法という。）、及び
（２）サブワードを擬似的な単語として言語モデルに組
み込む方法（以下、第２の従来例の方法という。）。

【０００４】

【発明が解決しようとする課題】しかしながら、第１の
従来例の方法は、別のデコーダを駆動する必要があるた
め、処理量の観点で望ましくない。また、推定未知語区
間の音響スコアには最尤音素系列のスコアが使われるた
め、語彙内単語系列仮説との統合には、ペナルティやし
きい値などのヒューリスティックス（発見的方法）が絡
む。

【０００５】一方、第２の従来例の方法は、デコーダの
変更なしに実現できる利点がある。しかしながら、サブ
ワード系列として得られる未登録語に対し有効な言語処
理を行うためには、後処理として、認識語彙よりも大き
な語彙による形態素解析などを要する。また、単語とサ
ブワード、あるいは、サブワード間のＮ−ｇｒａｍ確率
で、言語的特質を十分反映するモデル化ができるとは考
えにくく、認識制約としての有効性に疑問が残る。

【０００６】また、電話機における音声認識及び自動ダ
イヤリング機能や、カーナビゲーションなどの小規模の
情報検索装置において、辞書登録の数が限定されるた
め、対象となる固有名詞の数が限定される。このような
場合において、対象の固有名詞が声認識装置とは別のシ
ステムで管理されるとき、音声認識装置への登録はでき
ず、音声認識率を向上させることができない。

【０００７】本発明の目的は以上の問題点を解決し、単
語辞書において未登録の未登録語に関する音声認識の精
度を従来例に比較して高くすることができ、未登録語の
区間やクラスを同定する統計的言語モデルを生成するこ
とができる統計的言語モデル生成装置及び、統計的言語
モデル生成装置を用いた音声認識装置を提供することに
ある。

【０００８】また、本発明の別の目的は、電話機におけ
る音声認識及び自動ダイヤリング機能や、カーナビゲー
ションなどの小規模の情報検索処理装置において、単語
辞書において未登録の未登録語に関する音声認識の精度
を従来例に比較して高くすることができる音声認識装置
を用いて情報検索を実行することができる情報検索処理
装置を提供することにある。

【０００９】さらに、本発明のさらなる目的は、上記統
計的言語モデルを利用して、かな漢字変換率を従来技術
に比較して向上できるかな漢字変換装置を提供すること
にある。

【００１０】

【課題を解決するための手段】本発明に係る請求項１記
載の統計的言語モデル生成装置は、クラス別に分類され
た単語リストを含む学習データメモリと、その学習デー
タに基づいて単語の読みに対応するサブワード系列の生
起確率をクラスに依存して抽出する手段と、その抽出さ
れた単語の読みに対応するサブワード系列の生起確率を
クラスに依存して評価する手段と、単語とクラスの並び
の生起確率を評価する手段と、上記クラスに依存して評
価されたサブワード系列の生起確率と上記評価された単
語とクラスの並びの生起確率とによって未登録語を含む
単語系列の生起確率をサブワードと単語の系列の生起確
率として評価する手段と、を備えたことを特徴とする。

【００１１】また、請求項２記載の統計的言語モデル生
成装置は、請求項１記載の統計的言語モデル生成装置に
おいて、上記サブワード系列の生起確率は、長さに関す
る確率と並びに関する確率とを含むことを特徴とする。

【００１２】さらに、請求項３記載の統計的言語モデル
生成装置は、請求項１又は２記載の統計的言語モデル生
成装置において、上記サブワードとしては、クラスに依
存して抽出する単位を用いることを特徴とする。

【００１３】本発明に係る請求項４記載の音声認識装置
は、入力される発声音声文の音声信号に基づいて、所定
の統計的言語モデルを用いて音声認識する音声認識手段
を備えた音声認識装置において、上記音声認識手段は、
請求項１、２又は３記載の統計的言語モデル生成装置に
よって生成された統計的言語モデルを用いて音声認識す
ることを特徴とする。

【００１４】本発明に係る請求項５記載の統計的言語モ
デル生成装置は、固有名詞又は外来語の普通名詞の単語
リストを含む学習データを格納する学習データ記憶手段
と、上記学習データ記憶手段に格納された学習データに
基づいて、上記学習データにおけるモーラ長に対する単
語数の割合が実質的にガンマ分布に従うと仮定したとき
のモーラ長のガンマ分布のパラメータをクラスに依存し
て推定して計算するとともに、モーラ又はモーラ連鎖で
あるサブワード単位で、上記固有名詞又は外来語の普通
名詞の下位クラスであるクラスを有する第１のＮ−ｇｒ
ａｍの出現確率を計算することにより未登録語をモデル
化したサブワード単位Ｎ−ｇｒａｍモデルを生成する第
１の生成手段と、所定のテキストデータベースに基づい
て生成された単語クラスＮ−ｇｒａｍモデルと、上記第
１の生成手段によって生成されたサブワード単位Ｎ−ｇ
ｒａｍモデルと、上記第１の生成手段によって計算され
たモーラ長のガンマ分布のパラメータとに基づいて、上
記単語クラスと、上記固有名詞又は外来語の普通名詞の
下位クラスであるクラスとに依存した第２のＮ−ｇｒａ
ｍの出現確率を計算することによりサブワード単位に基
づいた未登録語を含む統計的言語モデルを生成する第２
の生成手段とを備えたことを特徴とする。

【００１５】また、請求項６記載の統計的言語モデル生
成装置は、請求項５記載の統計的言語モデル生成装置に
おいて、上記第１の生成手段によって生成されたサブワ
ード単位Ｎ−ｇｒａｍモデルに基づいて、上記サブワー
ド単位を抽出し、抽出したラベルを上記サブワード単位
に付与することにより、サブワード単位当たり複数のラ
ベル付きサブワード単位のデータを生成する第３の生成
手段と、上記テキストデータベースから抽出された単語
と、上記第３の生成手段によって生成された複数のラベ
ル付きサブワード単位のデータとに対して音素並びを付
与することにより単語辞書を生成する第４の生成手段と
をさらに備えたことを特徴とする。

【００１６】またさらに、本発明に係る請求項７記載の
音声認識装置は、入力される発声音声文の音声信号に基
づいて、所定の統計的言語モデルを用いて音声認識する
音声認識手段を備えた音声認識装置において、上記音声
認識手段は、請求項５又は６記載の統計的言語モデル生
成装置によって生成された統計的言語モデルと、請求項
６記載の第４の生成手段によって生成された単語辞書と
を用いて音声認識することを特徴とする。

【００１７】また、本発明に係る請求項８記載の情報検
索処理装置は、上記単語リストに対応する普通名詞の単
語データとそれに対応する情報とを含むデータベースを
記憶するデータベース記憶手段と、請求項４又は７記載
の音声認識装置から出力される音声認識結果の文字列を
キーとして用いて、上記データベース記憶手段に記憶さ
れたデータベースから検索して、一致する単語データに
対応する情報を上記データベース記憶手段から読み出し
て出力する検索手段とを備えたことを特徴とする。

【００１８】さらに、請求項９記載の情報検索処理装置
は、請求項８記載の情報検索処理装置において、さら
に、上記検索手段から出力される情報に基づいて、所定
の処理を実行する処理実行手段を備えたことを特徴とす
る。

【００１９】またさらに、本発明に係る請求項１０記載
のかな漢字変換装置は、かな文字列を入力する入力手段
と、漢字表記の複数の単語データを含む単語辞書を記憶
する辞書記憶手段と、上記辞書記憶手段に記憶された単
語辞書を参照して、上記入力手段によって入力されたか
な文字列と、上記単語辞書内の単語との間の単語照合を
行い、一致したときに漢字表記の単語に変換して単語仮
説の文字列として出力する一方、一致しないときにかな
文字のまま単語仮説の文字列として出力する単語照合手
段と、上記単語照合手段から出力される単語仮説の文字
列に対して、請求項１乃至３、５及び６のうちのいずれ
か１つに記載の統計的言語モデル生成装置によって生成
された統計的言語モデルを参照して尤度を演算して、演
算された尤度に基づいて上記単語仮説の文字列の絞り込
みを行った後、絞り込み後の単語仮説の文字列をかな漢
字変換後の文字列として出力する絞込手段とを備えたこ
とを特徴とする。

【００２０】

【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。

【００２１】＜第１の実施形態＞図１は、本発明に係る
第１の実施形態である連続音声認識システムのブロック
図である。本発明に係る第１の実施形態の連続音声認識
システムは、未登録語モデル生成部２０と、サブワード
単位データ生成部２１と、単語辞書生成部２２と、単語
クラスＮ−ｇｒａｍモデル生成部２３と、言語モデル生
成部２４とを備えた統計的言語モデル生成装置を備えた
ことを特徴としている。

【００２２】本実施形態では、未登録語を含む音声の高
精度な認識を可能とする、新しい統計的言語モデルを生
成する統計的言語モデル生成装置を開示する。本実施形
態の統計的言語モデルは、（１）学習データメモリ３０
内の学習データに基づいて未登録語モデル生成部２０に
よって生成された、未登録語認識用の複数の未登録語モ
デルである、サブワード単位Ｎ−ｇｒａｍモデル及びモ
ーラ長ガンマ分布データと、（２）テキストデータメモ
リ３１内のテキストデータに基づいて単語クラスＮ−ｇ
ｒａｍモデル生成部２３によって生成された単語クラス
Ｎ−ｇｒａｍモデルと、に基づいて言語モデル生成部２
４によって統計的言語モデルが生成される。

【００２３】これらの未登録語モデルは、各語彙クラス
に依存して構築される。ここで、サブワードとは、単語
よりも小さい単位をいい、具体的にはモーラ又はモーラ
連鎖をいう。モーラとは、韻律論において、強勢や抑揚
などの単位となる音の相対的な長さをいい、１モーラは
短母音を含む１音節の長さに相当する。日本語では、ほ
ぼ「かな」１字（拗音では２字）がこれに相当する。以
下では、固有名詞の下位クラスである、日本人姓及び名
の未登録語に対象を限定して説明する。

【００２４】本発明者は、（１）表１に示すように約３
０万の日本人の姓のモーラ並び（読み）のデータを含む
日本人姓ファイル３０ａと、（２）表２に示すように約
３０万の日本人の名のモーラ並び（読み）のデータを含
む日本人名ファイル３０ｂとを含む学習データを学習デ
ータメモリ３０に格納した。

【００２５】

【表１】 ―――――――――――― ス，ズ，キ タ，カ，ハ，シ サ，イ，ト，オ タ，ナ，カ ヒ，ラ，ツ，ジ ア，サ，ギ，ノ …… ――――――――――――

【００２６】

【表２】 ――――――――――――――――――――――――――――――――――― ヨ，オ，コ ト，モ，エ ト，モ，コ ケ，イ，コ …… ―――――――――――――――――――――――――――――――――――

【００２７】上記学習データに基づく、本発明者による
日本人姓及び名データの分析及び分析結果について説明
する。日本人の姓や名をサブワードの系列として眺める
とき、次の特徴を有することが容易に予想される。 （１）長さに関する特徴：姓ではスズキ、サトウ、タカ
ハシなど、名ではヒロシ、アキラ、イチロウなど、３な
いし４モーラ長の名前が一般的である。 （２）音素並びに関する特徴：日本人の姓及び名は、基
本的に漢字で構成されており、姓ではヤマ、ムラ、ナカ
など、名ではロウ、イチ、ヒロなど、高頻度の単位が存
在する。

【００２８】本発明者は、こうした観点から、日本人姓
及び名の読みに関する統計的特徴を分析した。人名デー
タとしては約３０万人の著名人の名前を集録した公知の
人名リストを用いた。この学習データから、漢字と平仮
名のみで構成される姓及び名を日本人名として抽出し、
得られた姓３０３，５５２人分、名２９５，１４８人分
を対象に分析を行い、その結果を表３に示す。併せて比
較のため、日本人姓及び名以外の単語の特徴を分析す
る。比較する学習データとしては、本特許出願人が所有
する自然発話旅行会話データベースより、日本人姓及び
名を除いた、のべ１，１５５，１８３単語を用いた。

【００２９】

【表３】 モデルの学習データ ――――――――――――――――――――――――――――――――――― 日本人名 姓 名 旅行会話 ――――――――――――――――――――――――――――――――――― 単語総数 ３０３，５５２ ２９５，１４８ １，１６１，５７６ 異なり語彙 １９，０１８ ２０，４１３ １３，４５３ ――――――――――――――――――――――――――――――――――― （注）日本人名の異なり語彙は、音素並び又は読みの異なり単語で評価し、漢字 表記の違いは無視した

【００３０】本発明者が分析した単語の長さに関する統
計を図６に示す。長さの単位としては、モーラ数を用い
た。この結果から、日本人姓及び名の長さが３、４モー
ラを中心に非常に偏った分布を持つことが確認できる。
３、４モーラを合わせると、姓及び名ともにほぼ９割の
人名が該当することになる。次に、モーラの並びに関す
る統計を表４に示す。モーラ並びの偏りの指標として、
頻度上位Ｎ種類のモーラ二連鎖による、モーラ並びの被
覆率を調べた。ここで、被覆率とは、すべてのモーラの
中での二連鎖の占める割合をいう。

【００３１】

【表４】 モーラ並びの偏り ――――――――――――――――――――――――――――――――――― 二連鎖モーラの種類 モーラ並びの被覆率（％） （頻度上位Ｎ種類） 日本人名 姓 名 旅行会話 ――――――――――――――――――――――――――――――――――― １ ３．８ ４．９ ０．１ １０ ２３．３ ２８．３ ５．１ １００ ５９．８ ６６．６ １９．４ １０００ ８４．３ ８２．４ ３５．６ ――――――――――――――――――――――――――――――――――― （注）頻度上位Ｎ種類の二連鎖モーラによる。モーラ並びの被覆率（％）。奇数 長の単語があるため、被覆率が１００％になることはない。

【００３２】例えば、日本人姓及び名では、それぞれの
高頻度１０００種類のモーラ二連鎖だけで、姓及び名に
おけるモーラ並びの８割以上が被覆される。

【００３３】次いで、日本人姓及び名の未登録語モデル
に基づく統計的言語モデルの生成方法について詳述す
る。上述で得られた知見に基づき、日本人姓及び名クラ
スの未登録語モデルに基づく統計的言語モデルを構築す
る。また、デコーディングの観点から、統計的言語モデ
ルは、近年広く用いられているＮ−ｇｒａｍ形式で取り
扱えることが望ましく、本実施形態では、本未登録語モ
デルを単語Ｎ−ｇｒａｍ形式で実装する。

【００３４】まず、未登録語を含む単語系列のモデル化
について説明する。本実施形態に係る統計的言語モデル
のベースとなるのは、単語のクラスＮ−ｇｒａｍモデル
である。この単語クラスＮ−ｇｒａｍモデルは、単語ク
ラスＮ−ｇｒａｍモデル生成部２３により、テキストデ
ータベースメモリ３１に格納された多数の日本語の書き
下し文からなるコーパスと呼ばれるテキストデータに基
づいて、例えば公知の最尤推定法を用いて単語のクラス
タリングを行って単語クラスＮ−ｇｒａｍモデルを生成
し、このモデルを単語クラスＮ−ｇｒａｍモデルメモリ
４３に格納する。

【００３５】単語クラスＮ−ｇｒａｍモデルでは、単語
系列Ｗ＝ｗ₁，ｗ₂，ｗ₃，ｗ₄，…，ｗ_Tの言語的尤度ｐ
ｈ（Ｗ）が一般に次式で与えられる。ただし、ｗ_tは単
語系列Ｗのｔ番目の単語であり、ｃ^wtは単語ｗ_tの語彙
クラスを表わすものとする。

【００３６】

【数１】

【００３７】ところで、単語ｗ_t（以下、１つの単語を
ｗで表す。）には認識語彙にない未登録語が含まれてい
る。これら未登録語の生起確率を音素並び（又は読み）
の統計的特徴に基づいて推定するとき、上記数１中のク
ラス内単語１−ｇｒａｍ確率ｐ（ｗ｜ｃ^w）は次式によ
り与えられる。ただし、Ｍ^wは単語ｗのモーラ系列を表
す。

【００３８】

【数２】（１）もしｗ∈単語辞書のとき ｐ（ｗ｜ｃ^w）≡（１−ｐ（ＯＯＶ｜ｃ^w））・ｐ（ｗ｜
ｃ^w，ｉｎＶｏｃ）， （２）もし上記以外のとき ｐ（ｗ｜ｃ^w）≡ｐ（ＯＯＶ｜ｃ^w）・ｐ（Ｍ^w｜ｃ^w，Ｏ
ＯＶ）

【００３９】ここで、単語辞書は、単語辞書メモリ１２
に格納される語彙辞書であり、ＯＯＶは未登録語であ
り、ｉｎＶｏｃは単語辞書内の条件を表す。上記数２に
おいて、確率ｐ（ＯＯＶ｜ｃ^w）は、クラスから未登録
語が生起する確率であり、例えば公知の方法（例えば、
従来技術文献「政瀧ほか，“品詞及び可変長形態素列の
複合Ｎ−ｇｒａｍを用いた形態素解析”，言語処理学会
会誌「自然言語処理」，Ｖｏｌ．６，Ｎｏ．２，ｐｐ．
４１−５７，１９９９年」など参照。）で推定できる。
この推定方法について説明すると、公知のチューリング
（Ｔｕｒｉｎｇ）推定法を用いたとき、データ上にｒ回
出現する形態素は、次式のｒ^*回と推定される。

【００４０】

【数３】ｒ^*＝｛（ｒ＋１）ｎ_r+1｝／ｎ_r

【００４１】ここで、ｎ_rはデータ上にｒ回出現した形
態素の種類数を表す。従って、ｒ回出現する形態素ｗの
品詞からの出現確率Ｐ（ｗ｜ｃ_ξ）は、次式で表され
る。

【００４２】

【数４】Ｐ（ｗ｜ｃ_ξ）＝ｒ^*／Ｎ（ｃ_ξ）

【００４３】上記出現確率Ｐ（ｗ｜ｃ_ξ）を、クラスｃ
_ξに属する全ての形態素について計算し、次式に示すよ
うに、１から引いた残りが品詞ｃ_ξから未知語出現する
確率Ｐ（ｃ_{h ξ}）である。

【００４４】

【数５】

【００４５】本実施形態では、限られた評価セット上で
未登録語モデルの有効な評価を行うことに主眼を置き、
次式を用いてモデル化を行う。すなわち、未登録語の生
起は予め規定したいくつかのクラス（ここで、クラスの
集合をＣ^OOVという。）のみに許すこととし、これらク
ラスからの単語生起は全て未登録語モデルで説明するこ
ととし、登録語を作らない。

【００４６】

【数６】

【数７】

【００４７】次いで、日本人姓及び名の未登録語モデル
について説明する。上述したように、日本人姓及び名の
読みには、モーラ長、及びモーラ並び、それぞれに関し
て特徴的な傾向が見られた。従って、上記数７の未登録
語モデルｐ（Ｍ^w｜ｃ^w）は、次式のように展開すること
により、高精度なモデル化が可能となる。ただし、ｌｅ
ｎ（Ｍ^w）は単語ｗのモーラ長を表す。

【００４８】

【数８】ｐ（Ｍ^w｜ｃ^w）＝ｐ（ｌｅｎ（Ｍ^w）｜ｃ^w）・
ｐ（Ｍ^w｜ｃ^w，ｌｅｎ（Ｍ^w））

【００４９】上記数８の確率ｐ（ｌｅｎ（Ｍ）｜ｃ）
は、日本人姓又は名クラスにおいて、長さｌｅｎ（Ｍ）
の単語が生起する確率である。本実施形態では、その確
率分布が次式で与えられるガンマ分布に実質的に従うこ
とを仮定する。すなわち、上記数８の右辺は、第１項の
モーラ長のガンマ分布の確率と、第２項のサブワード単
位バイグラムの確率との掛け算になっている。ただし、
α，λはクラスｃに依存するパラメータであり、モーラ
長の平均と分散より定まる。

【００５０】

【数９】 ここで、

【数１０】

【００５１】一方、上記数８の確率ｐ（Ｍ^w｜ｃ^w，ｌｅ
ｎ（Ｍ^w））は、クラスｃ^wにおいて長さｌｅｎ（Ｍ^w）
のモーラ並びがＭ^w＝ｍ₁ ^w，ｍ₂ ^w，…となる確率であ
り、次式のサブワード単位Ｎ−ｇｒａｍによりモデル化
する。ただし、Ｕ＝ｕ₁，ｕ₂，…は詳細後述する手法で
自動獲得したサブワード単位（モーラ又はモーラ連鎖）
の系列である。また、式中のサブワード単位Ｎ−ｇｒａ
ｍには終端記号への遷移を含まない。

【００５２】

【数１１】

【００５３】以上述べてきた本実施形態に係る統計的言
語モデルにおいて、「．．．あさぎ野 陽子 と
．．．」が出力される例を図７に示す。例では、日本
人姓及び名クラスの単語「あさぎ野」、「陽子」に対し
て、クラスラベル付きモーラ系列「アサギノ（日
姓）」、「ヨオコ（日名）」が出力される。本モデルで
は、日本人姓及び名の生起に対して、次の３レベルから
言語的制約をかける。

【００５４】＜３レベルの言語的制約＞ （１）単語間制約：単語のクラスＮ−ｇｒａｍを用い、
単語コンテキストにおいて日本人姓及び名（クラス）が
生起する尤度を評価する。サブワードによる姓及び名の
モデル化は下位の階層に隠蔽されるため、登録語系列の
モデル化には悪影響を及ぼさない。 （２）姓及び名区間の継続長制約：姓及び名それぞれの
モーラ長に関するガンマ分布を用い、区間の姓及び名ら
しさを評価する。この制約により、不当に短い、もしく
は長いモーラ系列の湧き出しを防ぐことができる。 （３）サブワードの並び制約：モーラとモーラ連鎖を単
位とする姓及び名のサブワード単位Ｎ−ｇｒａｍを用い
る。モーラ連鎖を単位とすることで、Ｎ−ｇｒａｍの高
精度化が期待できる。ここで、モデル化単位とするモー
ラ連鎖は、後述する繰り返し学習において自動的に獲得
する。

【００５５】次いで、未登録語モデル生成部２０によっ
て実行される未登録語モデルの学習生成処理について説
明する。未登録語モデル生成部２０は、学習データメモ
リ３０に格納された日本人姓ファイル３０ａ及び日本人
名ファイル３０ｂに基づいて、日本人の姓クラス（ラベ
ルでは、日姓と略記する。）及び日本人の名クラス（ラ
ベルでは、日名と略記する。）の未登録語モデルを構築
する。この学習生成処理では、具体的には、サブワード
単位Ｎ−ｇｒａｍモデルとモーラ長ガンマ分布のデータ
を生成する。以下の実施形態では、個人名はそれぞれ等
しい確率で出現するとし、各姓又は各名の観測頻度とし
て人名リスト中の同姓者又は同名者の人数を用いること
とする。サブワード単位Ｎ−ｇｒａｍには、初期単位セ
ットとして単一モーラのみを与え、後述の繰り返し学習
において、逐次的に新たなモーラ連鎖を単位セットに追
加していく。これら単位候補となるモーラ連鎖には頻度
による予備選択を施すことで、学習の効率化を図った。

【００５６】図３は、図１の未登録語モデル生成部２０
によって実行される未登録語モデル生成処理を示すフロ
ーチャートであり、図４は、図３のサブルーチンである
サブワード２−ｇｒａｍの単位決定処理（ステップＳ
４）を示すフローチャートである。

【００５７】未登録語モデルの学習データとして、モー
ラ系列で表現された姓及び名のリストを用い、このリス
トデータはそれぞれ学習データメモリ３０内の日本人姓
ファイル３０ａ及び日本人名ファイル３０ｂに格納され
ている。この学習データは先の表１及び表２の通りであ
って、各モーラをカンマ「，」で区切って表記してあ
る。この学習データに基づいて、未登録語モデル、すな
わち、モーラ長のガンマ分布とサブワード単位Ｎ−ｇｒ
ａｍモデルを生成する。以下では、Ｎ−ｇｒａｍの次数
Ｎが２の場合について、未登録語モデルの生成手順を説
明する。

【００５８】図３のステップＳ１において学習データメ
モリ３０から学習データを読み出し、ステップＳ２にお
いて、読み出した学習データに基づいて、姓又は名の１
単語当たりのモーラ数の平均μと分散Ｖを計算した後、
次式を用いてモーラ長のガンマ分布のパラメータを推定
する。

【００５９】

【数１２】λ＝Ｖ／μ

【数１３】α＝μ²／Ｖ

【００６０】さらに、ステップＳ３において上記学習デ
ータに基づいて、サブワード単位２−ｇｒａｍの単位候
補となる、高頻度のモーラ連鎖を抽出し、抽出した単位
候補を「単位候補セット」と呼ぶ。ここでは、学習デー
タ上に出現する、例えば長さ２以上の全てのモーラ連鎖
に対して、その頻度を調べ、頻度が所定の値（＝１０
０）以上のモーラ連鎖を単位候補として抽出する。次い
で、ステップＳ４において、図４に示すサブルーチンで
あるサブワード２−ｇｒａｍの単位決定処理を実行し、
最後に、ステップＳ５において、学習終了後の暫定未登
録語モデルをサブワード単位Ｎ−ｇｒａｍモデルとして
サブワード単位モデルＮ−ｇｒａｍモデルメモリ４０に
格納するとともに、モーラ長のガンマ分布のデータをモ
ーラ長ガンマ分布データメモリ４１に格納する。

【００６１】図４のサブワード２−ｇｒａｍの単位決定
処理においては、まず、ステップＳ１１において確定単
位セットにすべての単一のモーラを挿入し、ステップＳ
１２において単位候補セットの中から１つのモーラ連鎖
を選択する。次いで、ステップＳ１３において選択した
モーラ連鎖は確定単位セットに含まれているか否かを判
断し、ＹＥＳのときはステップＳ１５に進む一方、ＮＯ
のときは、ステップＳ１４に進む。ステップＳ１４にお
いて選択したモーラ連鎖を確定単位セットに追加して、
公知の最尤推定法を用いて暫定サブワード２−ｇｒａｍ
モデルを生成してステップＳ１５に進む。ここで、２−
ｇｒａｍモデルは、学習データと追加セットとの間の１
−ｇｒａｍと、追加セットのみの０−ｇｒａｍを用い
て、公知の削除補間法（例えば、従来技術文献「中川聖
一，”確率モデルによる音声認識”，社団法人電子情報
通信学会編，ｐｐ．６３−６４，昭和６３年７月１日発
行」など参照。）を用いて補間して生成する。この暫定
サブワード２−ｇｒａｍと、モーラ長のガンマ分布デー
タを合わせて「暫定未登録語モデル」と呼ぶ。ステプＳ
１５においては、すべてのモーラ連鎖について上記ステ
ップＳ１３及びＳ１４の処理したか否かを判断し、ＮＯ
であるときはステップＳ１２に戻り上記の処理を繰り返
すが、ＹＥＳのときはステップＳ１６に進む。ステップ
Ｓ１６において各暫定未登録語モデルに対して数８を用
いて平均尤度を計算し、平均尤度を最大にする暫定未登
録語モデルの単位セットを新しい確定単位セットとす
る。そして、ステップＳ１７において確定単位セットに
含まれるモーラ連鎖の数≧所定のしきい値Ｎ_th（例え
ば、１５０である。）であるか否かが判断され、ＮＯの
ときはステップＳ１２に戻り上記の処理を繰り返す一
方、ＹＥＳのときは元のメインルーチンに戻る。

【００６２】図９は、図１の未登録語モデル生成部２０
によって実行される未登録語モデル生成処理における、
モーラ連鎖の単位化による平均尤度の向上を示すグラフ
であって、モーラ連鎖の種類の数に対する平均尤度を示
すグラフである。すなわち、図９は繰り返し学習におけ
る平均尤度（数８）の変化を示す。単位候補とするモー
ラ連鎖は、頻度が１００以上のものとした。表１乃至表
３に示す学習データからは、姓モデルで１，８２９種
類、名モデルで１，６６０種類のモーラ連鎖が単位候補
となる。サブワード単位Ｎ−ｇｒａｍはＮ＝２とし、１
−ｇｒａｍ、０−ｇｒａｍを用いた公知の削除補間法で
補間した。図９に示すように、モーラ連鎖をサブワード
単位として追加していくことで、学習データに対する平
均尤度は単調に上昇する。モーラ連鎖を１５０個追加し
たモデルの平均尤度は、モーラ連鎖を用いないモデルに
比べ、姓モデルで３．９倍、名モデルで３．２倍となっ
た。未登録語モデルを単語１−ｇｒａｍとみなすと、単
語の学習セットパープレキシティは姓モデルで７４％、
名モデルで６９％改善されることになる。

【００６３】次いで、未登録語モデルを単語Ｎ−ｇｒａ
ｍ形式による単語辞書に実装する方法について説明す
る。上述の未登録語モデルは、以下に述べる方法によ
り、近似なく、クラスＮ−ｇｒａｍの形式で扱うことが
できる。そのため、統計的言語モデルとしてクラスＮ−
ｇｒａｍを扱うことが可能なデコーダであれば、デコー
ダの変更無しに、本方法による未登録語の認識が可能と
なる。ただし、極端に長い未登録語（本実施形態では、
１０モーラ以上の姓及び名）が認識対象とならないこと
が条件となる。サブワード単位Ｎ−ｇｒａｍで単位とし
て用いるモーラ及びモーラ連鎖は、擬似的な単語として
扱い、認識辞書、及びクラスＮ−ｇｒａｍに組み込む。
その際、各サブワード単位は以下のラベル付けによる展
開を行い、ラベル違いの同一サブワード単位を複数生成
する。

【００６４】すなわち、ラベル付きサブワード単位デー
タ生成部２０は、サブワード単位Ｎ−ｇｒａｍメモリ４
２に格納された、日本人姓及び名のサブワード単位Ｎ−
ｇｒａｍそれぞれに対して以下の処理を実行し、この結
果得られるラベル付きサブワード単位群のデータをラベ
ル付きサブワード単位データメモリ４０に格納する。す
なわち、日本人姓（もしくは日本人名）サブワード単位
Ｎ−ｇｒａｍで単位として用いられるサブワード単位
（単一モーラ、モーラ連鎖）を全て抽出する。次いで、
抽出したそれぞれのサブワード単位に応じて、ラベルを
複数生成する。生成した各ラベルを当該サブワード単位
に付与することにより、サブワード単位あたり複数のラ
ベル付きサブワード単位が生成される。ここでラベルと
は、（ａ）クラス（本実施形態においては、「日姓」又
は「日名」）、（ｂ）単語内の開始位置（１，２，…，
ＬｅｎＭａｘ＋１；サブワード単位のモーラ数：ここ
で、ＬｅｎＭａｘは事前に設定された値であり、認識対
象とする最長の姓もしくは名のモーラ数を意味す
る。）、及び（ｃ）単語の終端であるか否か（終端を示
す「終」又は「−」）の３項組みである。

【００６５】上記（ｂ）の開始モーラ位置による展開
は、学習データに出現する最長の姓及び名に合わせ、と
もに終端位置が９モーラまでとなるようにした。上記
（ｃ）で単語終端ラベルを付与したサブワード単位に
は、音素並び（読み）の終端にポーズが入ることを許容
する。ここで、ラベル付きサブワードは、その遷移に次
の制約を受ける。（ｉ）登録語のクラスからラベル付き
サブワードへの遷移は、ラベル付きサブワードの開始モ
ーラ位置が１の場合のみ許される。逆に、（ii）ラベル
付きサブワードから登録語のクラスへの遷移は、ラベル
付きサブワードに単語終端ラベルが付与されている場合
のみ許される。（iii）ラベル付きサブワード間の遷移
は、単語内でのモーラ位置が連接し、かつ同一のクラス
に属する場合のみ許される。

【００６６】さらに、単語辞書生成部２２は、ラベル付
きサブワード単位データメモリ４２内のデータと、テキ
ストデータメモリ３１内のテキストデータとに基づいて
以下のように単語辞書を生成して単語辞書メモリ１２に
格納する。まず、単語辞書生成部２２は、テキストデー
タベースメモリ３１内のテキストデータ中に出現する全
ての単語を抽出し、単語辞書メモリ１２に格納する。次
いで、ラベル付きサブワード単位データメモリ４２中の
全てのラベル付きサブワード単位を単語辞書メモリ１２
に格納する。単語辞書メモリ１２に格納された全てのエ
ントリに対して、人手で、もしくは、読みと音素系列と
の対応テーブルを用いて音素付与を行う公知の音素付与
処理プログラムを用いて、その読み（音素系列）を付与
することにより単語辞書を生成する。これによって、単
語辞書メモリ１２に単語辞書が生成格納される。

【００６７】次いで、言語モデル生成部２４の統計的言
語モデル生成処理について説明する。ラベル付きサブワ
ード単位ｕ_dを単語として扱う際、クラスＮ−ｇｒａｍ
（Ｎ＝２）における確率は、以下のように与える（Ｎ＞
２でも同様）。ただし、ｕはラベル付け前のサブワード
単位を表し、＃は単語内のモーラ開始位置記号を表し、
ｃは語彙クラスを表し、ｌｅｎ（ｕ）はサブワード単位
ｕのモーラ長、ｐ_sw（ｕ_j｜ｕ_i，ｃ）はクラスに依存し
たサブワード単位２−ｇｒａｍであり、ｐ_LM（ｃ’｜
ｃ）はクラス２−ｇｒａｍのクラス間遷移確率を表す。
また、ｃｌａｓｓｏｆ（ｕ_d），ｓｔａｒｔｏｆ
（ｕ_d），ｉｓｅｎｄ（ｕ_d）はそれぞれ、ラベル付きサ
ブワード単位ｕ_dのラベルである語彙クラス、単語内の
モーラ開始位置、単語終端か否か、を参照する関数であ
り、ｅｎｄｏｆ（ｕ_d）はｓｔａｒｔｏｆ（ｕ_d）＋ｌｅ
ｎ（ｕ）により与えるものとする。Ｇ_c（＊）はクラス
のモーラ長ガンマ分布ｇ_c（ｘ）（数９）に基づく確率
関数であり、次の定積分により与えられる。

【００６８】

【数１４】

【数１５】

【００６９】まず、先頭サブワードの生起確率である姓
及び名クラスのクラス内１−ｇｒａｍ確率ｐ（ｕ_d｜
ｃ）は、ラベル付きサブワード単位ｕ_dの開始モーラ位
置ラベルが１である場合のみ許す。従って、次式で表す
ことができる。

【００７０】

【数１６】（１）もし（ｃｌａｓｓｏｆ（ｕ_d）＝ｃ）
∧（ｓｔａｒｔｏｆ（ｕ_d）＝１） ∧（ｉｓｅｎｄ（ｕ_d）＝偽）のとき ｐ（ｕ_d｜ｃ）＝ｐ_sw（ｕ｜＃、ｃ）・Ｇ_c（ｘ＞ｌｅｎ
（ｕ）） （２）もし（ｃｌａｓｓｏｆ（ｕ_d）＝ｃ）∧（ｓｔａ
ｒｔｏｆ（ｕ_d）＝１） ∧（ｉｓｅｎｄ（ｕ_d）＝真）のとき ｐ（ｕ_d｜ｃ）＝ｐ_sw（ｕ｜＃、ｃ）・Ｇ_c（ｘ＝ｌｅｎ
（ｕ）） （３）もし上記以外のとき ｐ（ｕ_d｜ｃ）＝０

【００７１】次いで、第１のクラス間２−ｇｒａｍ確率
である、ラベル付きサブワード単位間の遷移は、両者の
クラスが同じで、かつ、両者の単語内でのモーラ位置が
連接する場合のみ許す。従って、第１のクラス間２−ｇ
ｒａｍ確率ｐ（ｕ_dj｜ｕ_di）は次式で表すことができ
る。

【００７２】

【数１７】（１）もし（ｃｌａｓｓｏｆ（ｕ_dj）＝ｃｌ
ａｓｓｏｆ（ｕ_di）＝ｃ） ∧（ｓｔａｒｔｏｆ（ｕ_dj）＝ｅｎｄｏｆ（ｕ_di）＋
１） ∧（ｉｓｅｎｄ（ｕ_dj）＝偽）のとき ｐ（ｕ_dj｜ｕ_di）＝ｐ_sw(ｕ_j｜ｕ_i，ｃ)・Ｇ_c（ｘ＞
（ｅｎｄｏｆ（ｕ_di）＋ｌｅｎ（ｕ_dj）））／Ｇ_c（ｘ
＞ｅｎｄｏｆ（ｕ_di）） （２）もし（ｃｌａｓｓｏｆ（ｕ_dj）＝ｃｌａｓｓｏｆ
（ｕ_di）＝ｃ） ∧（ｓｔａｒｔｏｆ（ｕ_dj）＝ｅｎｄｏｆ（ｕ_di）＋
１） ∧（ｉｓｅｎｄ（ｕ_dj）＝真）のとき ｐ（ｕ_dj｜ｕ_di）＝ｐ_sw(ｕ_j｜ｕ_i，ｃ)・Ｇ_c（ｘ＝
（ｅｎｄｏｆ（ｕ_di）＋ｌｅｎ（ｕ_dj）））／Ｇ_c（ｘ
＞ｅｎｄｏｆ（ｕ_di）） （３）もし上記以外のとき ｐ（ｕ_dj｜ｕ_di）＝０

【００７３】さらに、第２のクラス間２−ｇｒａｍ確率
である、ラベル付きサブワード単位から、次単語のクラ
スへの遷移は、ラベル付きサブワード単位に単語終端ラ
ベルが付与されている場合のみに許す。従って、第２の
クラス間２−ｇｒａｍ確率ｐ（ｃ｜ｕ_d）は次式で表さ
れる。

【００７４】

【数１８】（１）もしｉｓｅｎｄ（ｕ_d）＝真のとき ｐ（ｃ｜ｕ_d）＝ｐ_LM（ｃ｜ｃｌａｓｓｏｆ（ｕ_d）） （２）もし上記以外のとき ｐ（ｃ｜ｕ_d）＝０

【００７５】図５は、図１の言語モデル生成部２４によ
って実行される言語モデル生成処理を示すフローチャー
トである。図５において、まず、Ｓ２１において各メモ
リ４０、４１、４２からそれぞれ格納された各データを
読み出し、ステップＳ２２においてモーラ長のガンマ分
布のデータに基づいて、数１４及び数１５を用いて確率
関数の値を計算する。次いで、ステップＳ２３において
先頭サブワードの生起確率であるクラス内−ｇｒａｍ確
率を数１６を用いて計算し、ステップＳ２４においてサ
ブワード間の遷移確率である第１のクラス間２−ｇｒａ
ｍ確率を数１７を用いて計算し、ステップＳ２５におい
て終端サブワードから次単語のクラスに遷移する確率で
ある第２のクラス間２−ｇｒａｍ確率を数１７を用いて
計算する。そして、ステップＳ２６において上記計算さ
れた確率をまとめて、未登録語モデルに基づいて統計的
言語モデルとして統計的言語モデルメモリ４４に格納す
る。

【００７６】上記の言語モデル生成処理で生成された統
計的言語モデルの別の一例を図８に示す。図８の例にお
ける遷移確率は上述で定義されたものである。

【００７７】次いで、図１に示す連続音声認識システム
の構成及び動作について説明する。図１において、単語
照合部４に接続された音素隠れマルコフモデル（以下、
隠れマルコフモデルをＨＭＭという。）メモリ１１内の
音素ＨＭＭは、各状態を含んで表され、各状態はそれぞ
れ以下の情報を有する。 （ａ）状態番号、（ｂ）受理可能なコンテキストクラ
ス、（ｃ）先行状態、及び後続状態のリスト、（ｄ）出
力確率密度分布のパラメータ、及び（ｅ）自己遷移確率
及び後続状態への遷移確率。なお、本実施形態において
用いる音素ＨＭＭは、各分布がどの話者に由来するかを
特定する必要があるため、所定の話者混合ＨＭＭを変換
して生成する。ここで、出力確率密度関数は３４次元の
対角共分散行列をもつ混合ガウス分布である。また、単
語照合部４に接続された単語辞書メモリ１２内の単語辞
書は、音素ＨＭＭメモリ１１内の音素ＨＭＭの各単語毎
にシンボルで表した読みを示すシンボル列を格納する。

【００７８】図１において、話者の発声音声はマイクロ
ホン１に入力されて音声信号に変換された後、特徴抽出
部２に入力される。特徴抽出部２は、入力された音声信
号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対
数パワー、１６次ケプストラム係数、Δ対数パワー及び
１６次Δケプストラム係数を含む３４次元の特徴パラメ
ータを抽出する。抽出された特徴パラメータの時系列は
バッファメモリ３を介して単語照合部４に入力される。

【００７９】単語照合部４は、ワン−パス・ビタビ復号
化法を用いて、バッファメモリ３を介して入力される特
徴パラメータのデータに基づいて、音素ＨＭＭメモリ１
１内の音素ＨＭＭと、単語辞書メモリ１２内の単語辞書
とを用いて単語仮説を検出し尤度を計算して出力する。
ここで、単語照合部４は、各時刻の各ＨＭＭの状態毎
に、単語内の尤度と発声開始からの尤度を計算する。尤
度は、単語の識別番号、単語の開始時刻、先行単語の違
い毎に個別にもつ。また、計算処理量の削減のために、
音素ＨＭＭ及び単語辞書とに基づいて計算される総尤度
のうちの低い尤度のグリッド仮説を削減する。単語照合
部４は、その結果の単語仮説と尤度の情報を発声開始時
刻からの時間情報（具体的には、例えばフレーム番号）
とともにバッファメモリ５を介して単語仮説絞込部６に
出力する。

【００８０】単語仮説絞込部６は、単語照合部４からバ
ッファメモリ５を介して出力される単語仮説に基づい
て、統計的言語モデルメモリ４４内の統計的言語モデル
を参照して、終了時刻が等しく開始時刻が異なる同一の
単語の単語仮説に対して、当該単語の先頭音素環境毎
に、発声開始時刻から当該単語の終了時刻に至る計算さ
れた総尤度のうちの最も高い尤度を有する１つの単語仮
説で代表させるように単語仮説の絞り込みを行った後、
絞り込み後のすべての単語仮説の単語列のうち、最大の
総尤度を有する仮説の単語列を認識結果として出力す
る。なお、タスク適応化された統計的言語モデルは、各
タスク毎に１つの統計的言語モデルを備え、単語仮説絞
込部６は、音声認識しようとするタスクに対応する統計
的言語モデルを選択的に参照する。本実施形態において
は、好ましくは、処理すべき当該単語の先頭音素環境と
は、当該単語より先行する単語仮説の最終音素と、当該
単語の単語仮説の最初の２つの音素とを含む３つの音素
並びをいう。

【００８１】例えば、図２に示すように、（ｉ−１）番
目の単語Ｗ_i-1の次に、音素列ａ₁、ａ₂、…、ａ_nからな
るｉ番目の単語Ｗ_iがくるときに、単語Ｗ_i-1の単語仮説
として６つの仮説Ｗａ、Ｗｂ、Ｗｃ、Ｗｄ、Ｗｅ、Ｗｆ
が存在している。ここで、前者３つの単語仮説Ｗａ、Ｗ
ｂ、Ｗｃの最終音素は／ｘ／であるとし、後者３つの単
語仮説Ｗｄ、Ｗｅ、Ｗｆの最終音素は／ｙ／であるとす
る。終了時刻ｔ_eと先頭音素環境が等しい仮説（図２で
は先頭音素環境が“ｘ／ａ₁／ａ₂”である上から３つの
単語仮説）のうち総尤度が最も高い仮説（例えば、図２
において１番上の仮説）以外を削除する。なお、上から
４番めの仮説は先頭音素環境が違うため、すなわち、先
行する単語仮説の最終音素がｘではなくｙであるので、
上から４番めの仮説を削除しない。すなわち、先行する
単語仮説の最終音素毎に１つのみ仮説を残す。図２の例
では、最終音素／ｘ／に対して１つの仮説を残し、最終
音素／ｙ／に対して１つの仮説を残す。

【００８２】以上の実施形態においては、固有名詞の下
位クラスである日本人の姓及び名とを、未登録語の語彙
クラスとして用いているが、本発明はこれに限らず、以
下の固有名詞や外来語の普通名詞などに適用することが
できる。 （１）外国人の姓と名、（２）地名、（３）会社名、
（４）各種施設名、（５）各種製品名など。従って、本
発明では、未登録語の語彙クラスとして、固有名詞及び
外来語の普通名詞の各下位クラスを用いることができ
る。

【００８３】また、本実施形態で用いるクラス依存未登
録語モデルは、クラス毎に異なったパラメータ構造を持
たせることが可能となっている。そのため、各クラスに
おける読みの統計的特徴を強く反映させたモデル化が可
能である。実施形態において、日本人姓及び名の未登録
語モデル構築には、そのパラメータ構造として、（１）
単語長のガンマ分布と、（２）終端記号への遷移を含ま
ないサブワード単位Ｎ−ｇｒａｍとを用いた。しかしな
がら、その他のクラス、例えば宿泊施設名（「京都第一
観光ホテル」、「赤坂プリンスホテル」、「いとう旅
館」、…）のように、複合語を多く含むクラスをモデル
化する際には、（１）長さに関する制約が有効とはなら
ない場合がある。その場合は、上記（１）の制約を省
き、代わりに上記（２）の制約に基づいたサブワード単
位Ｎ−ｇｒａｍにおいて、終端記号への遷移を含むよう
モデル化する（例えば、「ホテル」や「旅館」から終端
記号へ高い確率で遷移する）ことで、そうしたクラスに
対しても高精度な未登録語モデルを構築することが可能
である。

【００８４】以上の実施形態においては、当該単語の先
頭音素環境とは、当該単語より先行する単語仮説の最終
音素と、当該単語の単語仮説の最初の２つの音素とを含
む３つの音素並びとして定義されているが、本発明はこ
れに限らず、先行する単語仮説の最終音素と、最終音素
と連続する先行する単語仮説の少なくとも１つの音素と
を含む先行単語仮説の音素列と、当該単語の単語仮説の
最初の音素を含む音素列とを含む音素並びとしてもよ
い。

【００８５】以上の実施形態において、特徴抽出部２
と、単語照合部４と、単語仮説絞込部６と、未登録語モ
デル生成部２０と、サブワード単位データ生成部２１
と、単語辞書生成部２２と、単語クラスＮ−ｇｒａｍモ
デル生成部２３と、言語モデル生成部２４とは、例え
ば、デジタル電子計算機などのコンピュータで構成さ
れ、バッファメモリ３、５と、音素ＨＭＭメモリ１１
と、単語辞書メモリ１２と、学習データメモリ３０と、
テキストデータベースメモリ３１と、サブワード単位Ｎ
−ｇｒａｍモデルメモリ４０と、モーラ長ガンマ分布デ
ータメモリ４１と、ラベル付きサブワード単位データメ
モリ４２と、単語クラスＮ−ｇｒａｍモデルメモリ４３
と、統計的言語モデルメモリ４４とは、例えばハードデ
ィスクメモリなどの記憶装置で構成される。

【００８６】以上実施形態においては、単語照合部４と
単語仮説絞込部６とを用いて音声認識を行っているが、
本発明はこれに限らず、例えば、音素ＨＭＭメモリ１１
内の音素ＨＭＭを参照する音素照合部と、例えばＯｎｅ
Ｐａｓｓ ＤＰアルゴリズムを用いて統計的言語モデ
ルを参照して単語の音声認識を行う音声認識部とで構成
してもよい。

【００８７】

【実施例】本発明者は、本実施形態に係る統計的言語モ
デルの有効性を確認するため、音声認識実験を行った。
以下では、二種類の統計的言語モデルを用いて比較評価
を行う。両言語モデルは、共通のベースモデルとして、
表３の旅行会話データのみから生成したクラスＮ−ｇｒ
ａｍを用いる。このベースモデルに対して、それぞれの
方法で日本人姓クラス、及び名クラスのクラス内単語１
−ｇｒａｍを置換する。

【００８８】評価を行う統計的言語モデルは以下の通り
である。 （１）本実施形態に係る統計的言語モデル：日本人姓及
び名クラスの単語１−ｇｒａｍとして、姓及び名それぞ
れの未登録語モデルを用いる。サブワード単位Ｎ−ｇｒ
ａｍで単位として用いるモーラ連鎖は、特に断らない限
り１５０個の場合を評価する。認識語彙は、日本人姓及
び名以外の単語１２，７５５単語＋サブワードで構成
し、登録語の日本人姓及び名は作らない。 （２）登録語方法（以下、比較例という。）：日本人姓
及び名クラスの単語１−ｇｒａｍとして、表３の人名デ
ータによる単語１−ｇｒａｍを用いる。認識語彙は、日
本人姓及び名以外の単語１２，７５５単語＋日本人姓及
び名３９，４３１単語となる。この方法は、評価セット
中のほぼ全人名をカバーする語彙を持つこと、また、本
実施形態の方法が未登録語モデルの最尤推定に用いる人
名データを単語１−ｇｒａｍとして直接用いることか
ら、概ね本実施形態の方法による認識精度の上限値を与
えるものと考えられる。

【００８９】これら２つの方法の音声認識率を、以下の
基準により評価する。 （１）単語認識率：評価データに出現する全単語の認識
率を評価する。日本人姓及び名は、クラス（「日姓」又
は「日名」）、読み（モーラ並び）、位置（ＤＰによる
対応付け）が全て正しい場合のみを正解とする。ただ
し、読みに関し、明らかに等価な長音（ヨウコとヨオ
コ）は手作業で修正して評価した。 （２）姓及び名単語の再現率及び適合率：単語認識率評
価時の動的計画法のマッチング（ＤＰマッチング）を用
いて、日本人姓及び名のみの再現率と適合率を評価す
る。

【００９０】ここで、評価セットには、旅行会話ドメイ
ンの４２片側会話４、９９０単語を用いた。評価セット
に出現する日本人名は、姓及び名、合わせて７０単語
（異なり単語数５２）である。うち、表３の人名リスト
にも出現しない姓は３単語（アサギノ１単語、チンザイ
２単語）であった。

【００９１】次いで、表３に本実施形態の方法、及び比
較例の方法の音声認識率を示す。

【００９２】

【表５】 音声認識率 ――――――――――――――――――――――――――――――――――― 認識率（％） 本実施形態 比較例 ――――――――――――――――――――――――――――――――――― 単語認識率 ８７．５１ ８７．３０ 姓及び名単語再現率 ７０ ７３ 適合率 ６７ ７５ ――――――――――――――――――――――――――――――――――― （注）姓及び名は、読み、クラス、区間が全て正しい場合のみ正解として評価し た。比較例の方法の認識率は、概ね本実施形態の方法の上限値に相当すると考え られる。

【００９３】本実施形態の方法では、未登録語である姓
及び名を、登録語として認識した場合とほぼ同等の精度
で認識できた。予想に反し、本実施形態の方法の単語認
識率が比較例の方法を上回った理由の一つとして、以下
が挙げられる。音響尤度の低い一部の姓及び名に対し、
本実施形態の方法では読み誤りはあるものの区間が正し
く検出され、結果、前後の単語にまで認識誤りを誘発す
ることが少なかったと考えられる。このことは、次の表
６に示す読み誤りを無視した姓及び名区間の再現率及び
適合率において、本実施形態の方法が優れていることか
らも裏付けられる。

【００９４】

【表６】 姓及び名単語の区間検出率 ――――――――――――――――――――――――――――――――――― 認識率（％） 本実施形態 比較例 ――――――――――――――――――――――――――――――――――― 姓及び名区間再現率 ８７ ８０ 適合率 ８４ ８２ ――――――――――――――――――――――――――――――――――― （注）姓及び名のクラスや区間が正しい場合を、正解として評価（音響尤度の影 響が強い読み誤りは無視する。）した。

【００９５】図１０は、本発明者による実験の実験結果
であって、日本人の姓及び名の再現率におけるモーラ連
鎖の単位化効果を示すグラフであり、モーラ連鎖の種類
の数に対する単語再現率を示すグラフである。図１０か
ら明らかなように、単位化するモーラ連鎖を増やすこと
で、モデルによる姓及び名の尤度が上がり、再現率が改
善されるものと思われる。これは、上述の学習セットに
対する平均尤度の改善傾向と合致する。

【００９６】次いで、希有な姓及び名に対する音声認識
率について説明する。本実施形態で提案する未登録語モ
デルの利点は、事前に予測できない希有な単語も正しく
認識できる可能性があることにある。ここでは、そうし
た希な姓及び名を模擬的に作り出すことで、本実施形態
の方法の評価を行う。評価セットには、５２種類の日本
人姓及び名が出現する。そこで、これらの単語と同じ読
みを持つ全ての姓及び名を表１の学習データから削除し
た後、前節と同様に本実施形態の方法と比較例の方法に
よる音声認識率の比較実験を行った。表７にその結果を
示す。

【００９７】

【表７】希有な姓及び名入力時の音声認識率 ―――――――――――――――――――――――― 認識率（％） 本実施形態 比較例 ―――――――――――――――――――――――― 単語認識率 ８６．６６ ８６．０８ 姓及び名単語再現率 ３１ ６ 適合率 ３６ ８ ―――――――――――――――――――――――― （注）学習に用いる姓及び名データから、評価セットに
出現する姓及び名と同じ読みを持つエントリを全て削除
して実験。姓及び名は、読み、クラス、区間が全て正し
い場合のみ正解として評価した。登録語方式の再現率・
適合率が０％にならないのは、形態素の不備により、一
部の姓が「普通名詞」になっていたためである。

【００９８】表５から明らかなように、本実施形態の方
法では、学習データに存在しない姓及び名を与えても、
３１％の再現率で、その読み、クラス、区間を正しく認
識できた。結果、単語認識率でも登録語方式を０．５８
ポイント上回った。

【００９９】以上説明したように、本発明に係る実施形
態によれば、未登録語モデルのクラス依存化により、次
の特有の効果を得ることができる。 （１）モデル化対象を限定することで、読みの統計的特
徴をより明確化することができ、クラス固有のパラメー
タ制約を導入できるため、未登録語モデルを高精度化す
ることができる。 （２）検出区間の言語処理が可能である。未登録語は、
読みに加えクラスも同時に同定される。読みとクラス
は、固有名詞の言語処理において必要十分な情報となる
ケースが多いものと考えられる。 （３）上記生成された統計的言語モデルを用いて音声認
識することにより、従来技術に比較して高い認識率で音
声認識することができる。

【０１００】＜第２の実施形態＞図１１は、本発明に係
る第２の実施形態である連続音声認識システムの構成を
示すブロック図であり、図１２は、図１１の連続音声認
識システムを用いた、自動ダイヤリング機能付き電話機
の構成を示すブロック図である。

【０１０１】図１１の連続音声認識システムは、図１の
連続音声認識システムに比較して以下の点が異なる。 （１）学習データメモリ３０は、日本人姓ファイル３０
ａと、日本人名ファイル３０ｂとに加えて、地名ファイ
ル３０ｃなどのファイルを含む。地名ファイルは、例え
ば日本や外国の地名の単語を含むファイルである。 （２）図１の単語クラスＮ−ｇｒａｍモデル生成部２３
に代えて、有限状態オートマトンモデル生成部２３ａを
備える。 （３）図１の単語クラスＮ−ｇｒａｍモデルメモリ４３
に代えて、有限状態オートマトンモデルメモリ４３ａを
備える。

【０１０２】ここで、有限状態オートマトンモデル生成
部２３ａは、テキストデータベースメモリ３１に格納さ
れた多数の日本語の書き下し文からなるコーパスと呼ば
れるテキストデータに基づいて有限状態オートマトンモ
デルを生成し、このモデルを有限状態オートマトンメモ
リ４３ａに格納する。

【０１０３】図１１の連続音声認識システムにおいて、
破線で囲んだ部分を音声認識装置１００という。すなわ
ち、音声認識装置１００は、マイクロホン１から単語仮
説絞込部６までの回路及び処理部と、単語照合部４に接
続された音素ＨＭＭメモリ１１及び単語辞書メモリ１
２、並びに、単語仮説絞込部６に接続された統計的言語
モデルメモリ４４とを備えて構成される。第２の実施形
態では、この音声認識装置１００を用いて、図１２の自
動ダイヤリング機能付き電話機が構成される。なお、単
語辞書メモリ１２及び統計的言語モデルメモリ４４内の
データは予め図１１のシステムにより生成されて格納さ
れる。従って、音声認識装置１００は、マイクロホン１
に入力される人名などの単語の話者音声に応答して、音
声認識処理を実行して、音声認識結果の文字列を出力す
る。

【０１０４】図１２は本実施形態に係る自動ダイヤリン
グ機能付き電話機の構成を示しており、主制御部５０
は、ＣＰＵで構成され、ＲＯＭ５１内に格納される所定
の動作プログラムを実行することによりこの電話機の全
体の動作を制御する。ＲＡＭ５２は、主制御部５０で動
作プログラムを実行するときに必要なデータを格納する
とともに、主制御部５０のための一時的なワーキングメ
モリとして用いられる。表示部５３は、例えば液晶表示
装置（ＬＣＤ）等の表示装置であり、当該電話機の動作
状態を表示したり、送信先の名称や電話番号を表示す
る。また、操作部５４は、当該電話機を操作するために
必要な文字キー、ダイヤル用テンキー、短縮ダイヤルキ
ーや各種のファンクションキー等を備える。さらに、ネ
ットワークコントロールユニット（ＮＣＵ）５５は、ア
ナログの公衆電話回線Ｌの直流ループなどの閉結及び開
放の動作を行い、かつ自動ダイヤル機能を有するＭＴＤ
Ｆダイヤラーを含むハードウェア回路であり、必要に応
じて送受話器５９に接続し、もしくは音声合成出力部５
６からの出力を公衆電話回線Ｌに接続する。またさら
に、音声合成出力部５６は、例えば、パルス発生器と雑
音発生器と利得可変型増幅器とフィルタとを備え、公知
の音声合成方法を用いて、主制御部５０からの制御によ
り、音声合成すべき文字列のテキストデータを所定のパ
ラメータ時系列に変換した後、そのピッチに基づいてパ
ルス発生器を制御し、有声／無声の切り換えに基づいて
パルス発生器と雑音発生器とを選択的に切り換えて使用
し、振幅値に基づいて利得可変型増幅器を制御し、フィ
ルタ係数値に基づいて上記フィルタを制御することによ
り、上記文字列の音声を音声合成してスピーカ５７を介
して出力し、もしくは、当該音声合成の音声信号をＮＣ
Ｕ５５及び公衆電話回線Ｌを介して通信の相手方に対し
て送信する。以上の回路５１乃至５６及び電話番号検索
部６０とは、バス５８を介して主制御部５０に接続され
る。

【０１０５】電話番号テーブルメモリ６１は、人名とそ
れに対応する電話番号をテーブルの形式で予め記憶す
る。そして、電話番号検索部６０は、音声認識装置１０
０からの音声認識結果の「発信」という単語に続く文字
列の人名の単語に基づいて、当該人名に対応する電話番
号の情報を電話番号テーブルメモリ６１から読み出し
て、当該電話番号の情報をバス５８を介して主制御部５
０に出力する。これに応答して、主制御部５０は、電話
番号の情報をＮＣＵ５５内のＭＴＤＦダイヤラーに出力
し、このとき、ＮＣＵ５５は発信のためにオフフックし
た後、ＭＴＤＦダイヤラーは入力される電話番号の情報
に対応するダイヤル信号を発生して公衆電話回線Ｌに対
して送出する。これにより、ユーザがマイクロホン１を
介して発声した人名に対応する電話番号の電話機に対し
て発信できる。

【０１０６】この第２の実施形態によれば、音声認識及
び自動ダイヤリング機能を備えた電話機において、単語
辞書において未登録の未登録語に関する音声認識の精度
を従来例に比較して高くすることができる音声認識装置
を用いて情報検索を実行することができ、これにより、
限られたメモリで多数の人名などの固有名詞が音声認識
可能となるため、データベースを備えた電話機におい
て、従来技術に比較して高い精度で情報検索が可能とな
る。また、高い音声認識率で自動ダイヤリングできる。

【０１０７】以上の実施形態においては、有限状態オー
トマトンモデル生成部２３ａ及び有限状態オートマトン
メモリ４３ａを備えているが、本発明はこれに限らず、
それぞれ図１の単語クラスＮ−ｇｒａｍモデル生成部２
３、図１の単語クラスＮ−ｇｒａｍモデルメモリ４３を
備えてもよい。

【０１０８】＜第３の実施形態＞図１３は、本発明に係
る第３の実施形態である構内交換機（ＰＢＸ）の構成を
示すブロック図である。この実施形態は、図１１の音声
認識装置１００及び図１２の電話番号検索部６０、電話
番号テーブルメモリ６１を、構内交換機の内線転送又は
外線転送に適用したことを特徴としている。

【０１０９】図１３において、主制御部１５０は、ＣＰ
Ｕで構成され、ＲＯＭ１５１内に格納される所定の動作
プログラムを実行することによりこの構内交換機の全体
の動作を制御する。ＲＡＭ１５２は、主制御部１５０で
動作プログラムを実行するときに必要なデータを格納す
るとともに、主制御部１５０のための一時的なワーキン
グメモリとして用いられる。表示部１５３は、例えば液
晶表示装置（ＬＣＤ）等の表示装置であり、当該構内交
換機の動作状態を表示したり、送信先の名称や電話番号
を表示する。また、操作部１５４は、当該構内交換機を
操作するために必要な文字キー、ダイヤル用テンキーや
各種のファンクションキー等を備える。さらに、ネット
ワークコントロールユニット（ＮＣＵ）１５５は、外線
である複数の公衆電話回線Ｌ１乃至ＬＮと、内線電話機
Ｔ１乃至ＴＭに接続された内線とを交互に接続する電話
交換スイッチ回路を備えるとともに、アナログの各公衆
電話回線Ｌ１乃至ＬＮの直流ループなどの閉結及び開放
の動作を行い、かつ自動ダイヤル機能を有するＭＴＤＦ
ダイヤラーを含むハードウェア回路であり、必要に応じ
て音声合成出力部１５６からの出力を公衆電話回線Ｌ１
乃至ＬＮに接続する。またさらに、音声合成出力部１５
６は、図１２の音声合成出力部５６と同様に構成され、
主制御部５０からの制御により、音声合成すべき文字列
のテキストデータを音声合成して、上記文字列の音声を
音声合成してその音声信号をＮＣＵ１５５及び公衆電話
回線Ｌ１乃至ＬＮを介して通信相手方に対して送信す
る。以上の回路１５１乃至１５６及び電話番号検索部６
０とは、バス１５８を介して主制御部１５０に接続され
る。

【０１１０】電話番号テーブルメモリ６１ｂは、人名と
それに対応する内線電話番号及び外線電話番号をテーブ
ルの形式で予め記憶する。そして、主制御部１５０は、
ＮＣＵ１５５において公衆電話回線Ｌ１乃至ＬＮにうち
の１つからの着信に対して自動応答し、「こちらは、Ａ
ＢＣ会社です。内線のどちらにお繋ぎしましょうか？」
という音声合成信号を音声合成出力部１５６で発生させ
て相手方に出力する。これに対して、相手方から発声さ
れる内線転送すべき人名の音声信号をＮＣＵ１５５から
音声認識装置１００の特徴抽出器２に出力する。このと
き、音声認識装置１００は音声認識処理を実行し、音声
認識結果の文字列を電話番号検索部６０に出力する。こ
れに応答して、電話番号検索部６０は、音声認識装置１
００からの音声認識結果の文字列の人名の単語に基づい
て、当該人名に対応する内線電話番号の情報を電話番号
テーブルメモリ６１ｂから読み出して、当該内線電話番
号の情報をバス１５８を介して主制御部１５０に出力す
る。これに応答して、主制御部１５０は、内線番号の情
報に基づいてＮＣＵ１５５を制御して、当該着信してき
た公衆電話回線を対応する内線番号の内線電話機に接続
することにより、内線転送が完了する。

【０１１１】以上の実施形態においては、内線転送の例
について説明しているが、内線電話機Ｔ１乃至ＴＭから
公衆電話回線への外線発信でも同様に、音声認識装置１
００、電話番号検索部６０及び電話番号テーブルメモリ
６１ｂを用いて、ユーザが外線発信したい「人名」を発
声するだけで外線発信を実行できるように構成できる。

【０１１２】この第３の実施形態によれば、音声認識及
び自動転送機能を備えた構内交換機において、単語辞書
において未登録の未登録語に関する音声認識の精度を従
来例に比較して高くすることができる音声認識装置を用
いて情報検索を実行することができ、これにより、限ら
れたメモリで多数の人名などの固有名詞が音声認識可能
となるため、データベースを備えた構内交換機におい
て、従来技術に比較して高い精度で情報検索が可能とな
る。また、高い音声認識率で自動転送できる。

【０１１３】＜第４の実施形態＞図１４は、本発明に係
る第４の実施形態であるカーナビゲーションシステムの
構成を示すブロック図である。この実施形態は、図１１
の音声認識装置１００をカーナビゲーションシステムに
適用したことを特徴としている。

【０１１４】図１４において、主制御部２５０は、ＣＰ
Ｕで構成され、ＲＯＭ２５１内に格納される所定の基本
プログラム及びＣＤ−ＲＯＭドライブ装置２５９内のＣ
Ｄ−ＲＯＭからフラッシュメモリ２５８にロードされた
アプリケーションプログラムを実行することによりこの
カーナビゲーションシステムの全体の動作を制御する。
ＲＡＭ２５２は、主制御部２５０で基本プログラム又は
アプリケーションプログラムを実行するときに必要なデ
ータを格納するとともに、主制御部２５０のための一時
的なワーキングメモリとして用いられる。表示部２５３
は、例えば液晶表示装置（ＬＣＤ）等の表示装置であ
り、当該カーナビゲーションの動作状態を表示したり、
指示された地名付近の地図やナビゲーション情報を表示
する。また、操作部２５４は、当該ナビゲーションシス
テムを操作するために必要な文字キー、ダイヤル用テン
キーや各種のファンクションキー等を備える。さらに、
音声合成出力部２５６は、図１２の音声合成出力部５６
と同様に構成され、主制御部２５０からの制御により、
音声合成すべき文字列のテキストデータを音声合成し
て、上記文字列の音声を音声合成してその音声信号をス
ピーカ２５７に出力する。ＣＤ−ＲＯＭドライブ装置２
５９には、カーナビゲーションのためのアプリケーショ
ンプログラム及び地図情報などのカーナビゲーション情
報を格納したＣＤ−ＲＯＭが挿入され、これらの情報は
当該ＣＤ−ＲＯＭからＣＤ−ＲＯＭドライブ装置２５９
及びバス２５８を介してフラッシュメモリ２５８にロー
ドされて利用される。以上の回路２５１乃至２５６、２
５９及び地名検索部６０ａとは、バス２５８を介して主
制御部２５０に接続される。

【０１１５】地名テーブルメモリ６１ａは、地名とそれ
に対応する位置情報（緯度や経度の情報）をテーブルの
形式で予め記憶する。そして、ユーザが音声認識装置１
００のマイクロホン１に対して地名を発声したとき、音
声認識装置１００は音声認識処理を実行し、音声認識結
果の文字列を地名検索部６０ａに出力する。これに応答
して、地名検索部６０ａは、音声認識装置１００からの
音声認識結果の文字列の地名の単語に基づいて、当該地
名に対応する位置情報を地名テーブルメモリ６１ａから
読み出して、当該位置情報をバス２５８を介して主制御
部２５０に出力する。これに応答して、主制御部２５０
は、当該位置情報に基づいて、フラッシュメモリ２５８
内の地図情報などのカーナビゲーション情報を検索し
て、検索された対応する情報を表示部２５３に表示する
とともに、検索された音声情報を音声合成出力部２５６
に出力することにより、スピーカ２５７から当該音声合
成された音声を出力させる。

【０１１６】この第４の実施形態によれば、音声認識及
びカーナビゲーション機能を有するカーナビゲーション
システムにおいて未登録の未登録語に関する音声認識の
精度を従来例に比較して高くすることができる音声認識
装置を用いて情報検索を実行することができ、これによ
り、限られたメモリで多数の地名なの固有名詞が音声認
識可能となるため、データベースを備えたカーナビゲー
ションシステムにおいて従来技術に比較して高い精度で
情報検索が可能となる。また、高い音声認識率で地名を
音声認識でき、適切にカーナビゲーションの処理を実行
できる。

【０１１７】以上の第２、第３及び第４の実施形態にお
いては、電話機、構内交換機、カーナビゲーションシス
テムの例について説明しているが、本発明はこれに限ら
ず、単語リストに対応する普通名詞の単語データとそれ
に対応する情報とを含むデータベースメモリを記憶し、
音声認識装置１００から出力される音声認識結果の文字
列をキーとして用いて、上記データベースの記憶装置に
記憶されたデータベースから検索して、一致する単語デ
ータに対応する情報を上記データベースメモリから読み
出して出力し、さらには、当該検索された情報に基づい
て、所定の処理を実行することができる。

【０１１８】＜第５の実施形態＞図１５は、本発明に係
る第５の実施形態であるかな漢字変換装置の構成を示す
ブロック図であり、図１と同様のものについては同一の
符号を付している。この実施形態に係るかな漢字変換装
置は、キーボード７１と、キーボードインターフェース
７２と、音素ＨＭＭメモリ１１及び単語辞書メモリ１２
が接続された単語照合部４ａと、バッファメモリ５と、
統計的言語モデルメモリ４４が接続された単語仮説絞込
部６とを備えて構成される。

【０１１９】ここで、単語辞書メモリ１２は、図１の単
語辞書生成部２２により生成された単語辞書を記憶し、
ここで、単語辞書は、学習用データメモリ３０に記憶さ
れたファイル（図１や図１１に図示の、日本人姓ファイ
ル３０ａ、日本人名ファイル３０ｂ、地名ファイル３０
ｃに限らず、上述のように、外国人の姓と名、会社名、
各種施設名、各種製品名などの単語を含んでもよい。）
及びテキストデータメモリ３１内のテキストデータの単
語に対応する漢字表記の複数の単語データを含む。ま
た、統計的言語モデルメモリ４４は、図１の言語モデル
生成部２４により生成された統計的言語モデルを記憶
し、この統計的言語モデルは上記学習用データメモリ３
０に記憶されたファイル及びテキストデータメモリ３１
内のテキストデータの単語に基づいて生成される。

【０１２０】図１５において、キーボード７１は、かな
文字列を入力するための入力手段であり、キーボードイ
ンターフェース７２はキーボード７１を用いて入力され
たかな文字列のデータを一旦格納した後、所定の信号変
換などの処理を実行した後、単語照合部４ａに出力す
る。単語照合部４ａは、ワン−パス・ビタビ復号化法を
用いて、キーボードインターフェース７２を介して入力
されるかな文字列のデータに基づいて、音素ＨＭＭメモ
リ１１内の音素ＨＭＭと、単語辞書メモリ１２内の単語
辞書とを用いて単語仮説を検出し尤度を計算して出力す
る。ここで、具体的には、単語照合部４ａは、単語辞書
を参照して、入力されたかな文字列と、上記単語辞書内
の単語との間の単語照合及び尤度計算を行い、一致した
ときに漢字表記の単語に変換して単語仮説の文字列とし
て尤度とともに出力する一方、一致しないときにかな文
字のまま単語仮説の文字列として尤度とともに出力す
る。単語照合部４ａからの出力データはバッファメモリ
５を介して単語仮説絞込部６に入力される。単語仮説絞
込部６は、単語照合部４ａからバッファメモリ５を介し
て出力される単語仮説に基づいて、統計的言語モデルメ
モリ４４内の統計的言語モデルを参照して、終了時刻が
等しく開始時刻が異なる同一の単語の単語仮説に対し
て、当該単語の先頭音素環境毎に、発声開始時刻から当
該単語の終了時刻に至る計算された総尤度のうちの最も
高い尤度を有する１つの単語仮説で代表させるように単
語仮説の絞り込みを行った後、絞り込み後のすべての単
語仮説の単語列のうち、最大の総尤度を有し漢字表記を
含む仮説の単語列を認識結果として出力する。

【０１２１】この第５の実施形態によれば、かな漢字変
換装置によれば、上記統計的言語モデルを利用して、か
な漢字変換率を従来技術に比較して向上できるかな漢字
変換装置を提供するができる。従って、例えば未登録の
固有名詞も変換可能とすることができる。

【０１２２】

【発明の効果】以上詳述したように本発明によれば、ク
ラスに依存して構築された未登録語モデルを含む統計的
言語モデルを生成したので、次の特有の効果を得ること
ができる。 （１）モデル化対象を限定することで、読みの統計的特
徴をより明確化することができ、クラス固有のパラメー
タ制約を導入できるため、未登録語モデルを高精度化す
ることができる。 （２）検出区間の言語処理が可能である。未登録語は、
読みに加えクラスも同時に同定される。読みとクラス
は、固有名詞の言語処理において必要十分な情報となる
ケースが多いものと考えられる。 （３）上記生成された統計的言語モデルを用いて音声認
識することにより、従来技術に比較して高い認識率で音
声認識することができる。

【０１２３】また、本発明に係る情報検索処理装置によ
れば、電話機における音声認識及び自動ダイヤリング機
能や、カーナビゲーションなどの小規模の情報検索処理
装置において、単語辞書において未登録の未登録語に関
する音声認識の精度が従来例に比較して高い音声認識装
置を用いて情報検索を実行することができる。従って、
限られたメモリで多数の人名や地名などの固有名詞が音
声認識可能となるため、データベースを備えた小型携帯
装置などの情報検索処理装置において、従来技術に比較
して高い精度で情報検索が可能となる。

【０１２４】さらに、本発明に係るかな漢字変換装置に
よれば、上記統計的言語モデルを利用して、かな漢字変
換率を従来技術に比較して向上できるかな漢字変換装置
を提供するができる。従って、例えば未登録の固有名詞
も変換可能とすることができる。

【図面の簡単な説明】

【図１】 本発明に係る第１の実施形態である連続音声
認識システムのブロック図である。

【図２】 図１の連続音声認識システムにおける単語仮
説絞込部６の処理を示すタイミングチャートである。

【図３】 図１の未登録語モデル生成部２０によって実
行される未登録語モデル生成処理を示すフローチャート
である。

【図４】 図３のサブルーチンであるサブワード２−ｇ
ｒａｍの単位決定処理（ステップＳ４）を示すフローチ
ャートである。

【図５】 図１の言語モデル生成部２４によって実行さ
れる言語モデル生成処理を示すフローチャートである。

【図６】 本発明者の分析による、日本人の姓及び名並
びに旅行会話における単語の長さの分布を示すグラフで
あって、モーラ長に対する単語数の割合を示すグラフで
ある。

【図７】 第１の実施形態に係るクラス依存未登録語モ
デルに基づく統計的言語モデルの一例を示す状態遷移図
である。

【図８】 第１の実施形態に係る統計的言語モデルの一
例を示す状態遷移図である。

【図９】 図１の未登録語モデル生成部２０によって実
行される未登録語モデル生成処理における、モーラ連鎖
の単位化による平均尤度の向上を示すグラフであって、
モーラ連鎖の種類の数に対する平均尤度を示すグラフで
ある。

【図１０】 本発明者による第１の実施形態の連続音声
認識システムに係る実験の実験結果であって、日本人の
姓及び名の再現率におけるモーラ連鎖の単位化効果を示
すグラフであり、モーラ連鎖の種類の数に対する単語再
現率を示すグラフである。

【図１１】 本発明に係る第２の実施形態である連続音
声認識システムの構成を示すブロック図である。

【図１２】 図１１の連続音声認識システムを用いた、
自動ダイヤリング機能付き電話機の構成を示すブロック
図である。

【図１３】 本発明に係る第３の実施形態である構内交
換機（ＰＢＸ）の構成を示すブロック図である。

【図１４】 本発明に係る第４の実施形態であるカーナ
ビゲーションシステムの構成を示すブロック図である。

【図１５】 本発明に係る第５の実施形態であるかな漢
字変換装置の構成を示すブロック図である。

【符号の説明】

１…マイクロホン、 ２…特徴抽出部、 ３，５…バッファメモリ、 ４，４ａ…単語照合部、 ６…単語仮説絞込部、 １１…音素ＨＭＭメモリ、 １２…単語辞書メモリ、 ２０…未登録モデル生成部、 ２１…サブワード単位データ生成部、 ２２…単語辞書生成部、 ２３…単語クラスＮ−ｇｒａｍモデル生成部、 ２３ａ…有限状態オートマトンモデル生成部、 ２４…言語モデル生成部、 ３０…学習データメモリ、 ３０ａ…日本人姓ファイル、 ３０ｂ…日本人名ファイル、 ３０ｃ…地名ファイル、 ３１…テキストデータベースメモリ、 ４０…サブワード単位Ｎ−ｇｒａｍモデルメモリ、 ４１…モーラ長ガンマ分布データメモリ、 ４２…ラベル付きサブワード単位データメモリ、 ４３…単語クラスＮ−ｇｒａｍモデルメモリ、 ４３ａ…有限状態オートマトンモデルメモリ、 ４４…統計的言語モデルメモリ、 ５０…主制御部、 ５１…ＲＯＭ、 ５２…ＲＡＭ、 ５３…表示部、 ５４…操作部、 ５５…ネットワークコントロールユニット（ＮＣＵ）、 ５６…音声合成出力部、 ５７…スピーカ、 ５８…バス、 ５９…送受話器、 ６０…電話番号検索部、 ６０ａ…地名検索部、 ６１，６１ｂ…電話番号テーブルメモリ、 ６１ａ…地名テーブルメモリ、 ７１…キーボード、 ７２…キーボードインターフェース、 １００…音声認識装置、 １５０…主制御部、 １５１…ＲＯＭ、 １５２…ＲＡＭ、 １５３…表示部、 １５４…操作部、 １５５…ネットワークコントロールユニット（ＮＣ
Ｕ）、 １５６…音声合成出力部、 １５８…バス、 ２５０…主制御部、 ２５１…ＲＯＭ、 ２５２…ＲＡＭ、 ２５３…表示部、 ２５４…操作部、 ２５６…音声合成出力部、 ２５７…スピーカ、 ２５８…バス、 ２５９…ＣＤ−ＲＯＭドライブ装置、 Ｌ，Ｌ１乃至ＬＮ…公衆電話回線、 Ｔ１乃至ＴＭ…内線電話機。

フロントページの続き (72)発明者 山本 博史 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 (72)発明者 匂坂 芳典 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内

Claims (10)

【特許請求の範囲】
1. 【請求項１】 クラス別に分類された単語リストを含む
   学習データメモリと、 その学習データに基づいて単語の読みに対応するサブワ
   ード系列の生起確率をクラスに依存して抽出する手段
   と、 その抽出された単語の読みに対応するサブワード系列の
   生起確率をクラスに依存して評価する手段と、 単語とクラスの並びの生起確率を評価する手段と、 上記クラスに依存して評価されたサブワード系列の生起
   確率と上記評価された単語とクラスの並びの生起確率と
   によって未登録語を含む単語系列の生起確率をサブワー
   ドと単語の系列の生起確率として評価する手段と、 を備えたことを特徴とする統計的言語モデル生成装置。
2. 【請求項２】 上記サブワード系列の生起確率は、長さ
   に関する確率と並びに関する確率とを含むことを特徴と
   する請求項１記載の統計的言語モデル生成装置。
3. 【請求項３】 上記サブワードとしては、クラスに依存
   して抽出する単位を用いることを特徴とする請求項１又
   は２記載の統計的言語モデル生成装置。
4. 【請求項４】 入力される発声音声文の音声信号に基づ
   いて、所定の統計的言語モデルを用いて音声認識する音
   声認識手段を備えた音声認識装置において、 上記音声認識手段は、請求項１、２又は３記載の統計的
   言語モデル生成装置によって生成された統計的言語モデ
   ルを用いて音声認識することを特徴とする音声認識装
   置。
5. 【請求項５】 固有名詞又は外来語の普通名詞の単語リ
   ストを含む学習データを格納する学習データ記憶手段
   と、 上記学習データ記憶手段に格納された学習データに基づ
   いて、上記学習データにおけるモーラ長に対する単語数
   の割合が実質的にガンマ分布に従うと仮定したときのモ
   ーラ長のガンマ分布のパラメータをクラスに依存して推
   定して計算するとともに、モーラ又はモーラ連鎖である
   サブワード単位で、上記固有名詞又は外来語の普通名詞
   の下位クラスであるクラスを有する第１のＮ−ｇｒａｍ
   の出現確率を計算することにより未登録語をモデル化し
   たサブワード単位Ｎ−ｇｒａｍモデルを生成する第１の
   生成手段と、 所定のテキストデータベースに基づいて生成された単語
   クラスＮ−ｇｒａｍモデルと、上記第１の生成手段によ
   って生成されたサブワード単位Ｎ−ｇｒａｍモデルと、
   上記第１の生成手段によって計算されたモーラ長のガン
   マ分布のパラメータとに基づいて、上記単語クラスと、
   上記固有名詞又は外来語の普通名詞の下位クラスである
   クラスとに依存した第２のＮ−ｇｒａｍの出現確率を計
   算することによりサブワード単位に基づいた未登録語を
   含む統計的言語モデルを生成する第２の生成手段とを備
   えたことを特徴とする統計的言語モデル生成装置。
6. 【請求項６】 上記第１の生成手段によって生成された
   サブワード単位Ｎ−ｇｒａｍモデルに基づいて、上記サ
   ブワード単位を抽出し、抽出したラベルを上記サブワー
   ド単位に付与することにより、サブワード単位当たり複
   数のラベル付きサブワード単位のデータを生成する第３
   の生成手段と、 上記テキストデータベースから抽出された単語と、上記
   第３の生成手段によって生成された複数のラベル付きサ
   ブワード単位のデータとに対して音素並びを付与するこ
   とにより単語辞書を生成する第４の生成手段とをさらに
   備えたことを特徴とする請求項５記載の統計的言語モデ
   ル生成装置。
7. 【請求項７】 入力される発声音声文の音声信号に基づ
   いて、所定の統計的言語モデルを用いて音声認識する音
   声認識手段を備えた音声認識装置において、上記音声認
   識手段は、請求項５又は６記載の統計的言語モデル生成
   装置によって生成された統計的言語モデルと、請求項６
   記載の第４の生成手段によって生成された単語辞書とを
   用いて音声認識することを特徴とする音声認識装置。
8. 【請求項８】 上記単語リストに対応する普通名詞の単
   語データとそれに対応する情報とを含むデータベースを
   記憶するデータベース記憶手段と、 請求項４又は７記載の音声認識装置から出力される音声
   認識結果の文字列をキーとして用いて、上記データベー
   ス記憶手段に記憶されたデータベースから検索して、一
   致する単語データに対応する情報を上記データベース記
   憶手段から読み出して出力する検索手段とを備えたこと
   を特徴とする情報検索処理装置。
9. 【請求項９】 上記情報検索処理装置はさらに、 上記検索手段から出力される情報に基づいて、所定の処
   理を実行する処理実行手段を備えたことを特徴とする請
   求項８記載の情報検索処理装置。
10. 【請求項１０】 かな文字列を入力する入力手段と、 漢字表記の複数の単語データを含む単語辞書を記憶する
    辞書記憶手段と、 上記辞書記憶手段に記憶された単語辞書を参照して、上
    記入力手段によって入力されたかな文字列と、上記単語
    辞書内の単語との間の単語照合を行い、一致したときに
    漢字表記の単語に変換して単語仮説の文字列として出力
    する一方、一致しないときにかな文字のまま単語仮説の
    文字列として出力する単語照合手段と、 上記単語照合手段から出力される単語仮説の文字列に対
    して、請求項１乃至３、５及び６のうちのいずれか１つ
    に記載の統計的言語モデル生成装置によって生成された
    統計的言語モデルを参照して尤度を演算して、演算され
    た尤度に基づいて上記単語仮説の文字列の絞り込みを行
    った後、絞り込み後の単語仮説の文字列をかな漢字変換
    後の文字列として出力する絞込手段とを備えたことを特
    徴とするかな漢字変換装置。