JP2003271187A - 音声認識装置、音声認識方法及び音声認識プログラム - Google Patents

Abstract

(57)【要約】 【課題】 未知語の検出を精度よく行い、さらに未知語
以外の部分の認識にも影響を及ぼさない未知語処理を実
現できる音声認識装置を提供する。 【解決手段】 単語の情報を記憶した認識辞書と、上記
認識辞書に記憶された各単語を学習した言語モデルと、
音韻連鎖の規則を記憶した音韻連鎖モデルを備え、上記
言語モデルと音韻連鎖モデルを用いた分析を行う認識部
と、音韻連鎖モデル重み記憶部と、上記音韻連鎖モデル
重み記憶部に記憶された値を変更する音韻連鎖モデル重
み変更部を備えることで、精度の高い未知語検出が可能
となる。さらに、上記言語モデルの重みを記憶する言語
モデル重み記憶部と、上記言語モデルと上記音韻連鎖モ
デルを用いた分析結果から上記言語モデル重み記憶部に
記憶された重みを変更する言語モデル重み変更部を備え
ることで、未知語検出時に言語的な制約を緩くでき、未
知語の後に続く単語も精度良く認識できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、発声された音声を
認識する音声認識装置に関するものである。

【０００２】

【従来の技術】音声認識技術はここ数年で広く利用され
るようになってきている。近年の計算機技術の発展に伴
い、単語音声認識だけでなく連続音声認識もＰＣ上のソ
フトウェアなどで利用可能になっている。

【０００３】音声認識においては、認識辞書に記憶され
ていない単語（未知語）をユーザが発声する可能性があ
る。連続音声認識における未知語への対応手法として
は、“連続音声認識における未知語の扱い”（信学技
報、ＳＰ９１−９６、Ｄｅｃ。１９９１）で述べられて
いるように音韻タイプライタを利用するものがある。音
韻タイプライタは、日本語としてありうる発声すべてを
認識できるように声の特徴をサブワードでモデル化した
ものであり、そのサブワードには音素がよく用いられ
る。

【０００４】以下、従来の、音韻タイプライタを用いた
未知語処理について説明する。図３は従来の、音韻タイ
プライタを用いた未知語処理の一例を表したブロック図
である。

【０００５】音声認識装置３００に入力された話者の音
声は、入力部３０１に入力され、ディジタル信号化され
る。ディジタル信号化された音声波形は、音響分析部３
０２に入力され、分析される。分析方法としては、２０
〜４０ｍｓｅｃの区間ごとに、比較的短時間の時間窓を
かけて、８〜１６ｍｓｅｃごとに窓をシフトしていく短
時間スペクトル分析の手法が使われることが多い。時間
窓によって切り出された音声波形は、切り出された時間
長を持つフレームと呼ばれる単位ごとの特徴ベクトルの
時系列に変換される。特徴ベクトルは、その時刻におけ
る音声スペクトルの特徴量を抽出したもので、通常１０
〜５０次元であり、メル周波数ケプストラム係数などが
広く用いられている。変換した特徴ベクトルを認識部３
０３へ出力する。

【０００６】音響モデル３０７には、認識単位ごとに用
意されたＨＭＭ（隠れマルコフモデル）が広く用いられ
ており、認識単位としては音素片が用いられることが多
い。ＨＭＭとは複数個の状態を持つ非決定性確率有限オ
ートマトンであり、非定常信号源を定常信号源の連結で
表す統計的信号源モデルとして用いられている。ＨＭＭ
は、遷移する状態の集まりとして表され、状態の遷移の
確率を表す遷移確率と、状態が遷移するときに観測ベク
トルの確率を出力する出力確率とからなる。音声認識に
用いられる、ＨＭＭで表現された音響モデルは、音韻の
性質をモデル化している。このＨＭＭでは、状態は、お
およそ音韻のイベント（閉鎖、破裂、摩擦、定常母音な
ど、安定な区間）に対応する。出力確率は、遷移に伴っ
て出力される信号の揺らぎの確率である。認識辞書の語
彙に含まれる各単語について、認識単位（音素片等）そ
れぞれに対応する状態の出力によって構成される系列
（以下ＨＭＭの出力系列と表記する）が、入力信号の系
列（それぞれ特徴ベクトルの時系列であることが多い）
と一致する確率を出力確率と遷移確率から求め、その値
が最大となる単語を認識結果とすることで、音声認識が
実現される。この場合、入力信号の系列は、すでに起き
た事象の観測データとして得られており、そのデータと
比較して、ＨＭＭの出力系列がどれだけもっともらしい
か、ということを求めている。すでに起きている事象
（入力信号の系列）を説明する仮説（ＨＭＭの出力系
列）の正しさを求めるために、確率ではなく尤度という
概念を用いて分析が行われる。ＨＭＭの状態系列の尤度
を計算するときは、尤度の積の代わりに対数尤度の和を
求めることが多い。こういった状態系列を求めるアルゴ
リズムとしてＶｉｔｅｒｂｉアルゴリズムが広く用いら
れている。連続音声認識の場合は、言語モデルによって
文章中の各単語のならびに文法的な制限が設けられてい
る。

【０００７】出力確率、遷移確率などのパラメータは、
対応する学習音声を与えてバウム−ウェルチアルゴリズ
ムと呼ばれるアルゴリズムなどであらかじめ学習されて
いる。以下は、認識単位が音素であるＨＭＭが音響モデ
ル３０７に記憶されているとする。

【０００８】認識辞書３０４には、認識可能な語彙の情
報が記憶されている。単語の表記、音素記号列が記憶さ
れている。

【０００９】言語モデル３０５には、認識辞書３０４に
含まれる語彙に基づいたｎ−ｇｒａｍモデルが広く用い
られている。ｎ−ｇｒａｍモデルとは、サンプルデータ
から統計的な手法によって確率推定を行う統計的言語モ
デルの一種であり、ｎ−ｇｒａｍモデルを用いた言語モ
デルの実装について、「音声認識システム」（オーム社
出版局）に詳しく記載されている。

【００１０】音韻連鎖モデル３０６には、日本語として
ありうる音韻連鎖の規則が記憶されている。音韻タイプ
ライタを利用した未知語処理においては、通常の連続音
声認識とともに、未知語検出用の音韻認識が並列に行わ
れる。音韻連鎖モデル３０６の実装としては、認識部３
０３の実装を共通化するために、上記言語モデル３０５
と同じデータ構造で記憶される事が多い。

【００１１】認識部３０３では、音響分析部３０２の出
力、音響モデル３０７、言語モデル３０５、音韻連鎖モ
デル３０６のそれぞれの情報を用いて音声認識処理を行
う。通常の連続認識処理については、上記「音声認識シ
ステム」（オーム社出版局）にその実現方法が書かれて
いる。ただし、ここでは認識処理において、探索は１パ
スフレーム同期ビームサーチで行われるとする。このと
き、各フレームで音韻タイプライタを用いた音韻認識も
並列に行われる。図４は認識部３０３における各フレー
ムでの処理をフローチャートで表したものである。以
下、図４にしたがってｉ番目のフレームでの認識処理に
ついて説明する。

【００１２】まず、ステップ４０１で、対応するフレー
ムにおいて、通常の認識処理をおこなう。具体的には、
音響分析部３０２の出力した特徴ベクトルから、音響モ
デル３０７と言語モデル３０５を用いて各仮説の尤度を
計算し、尤度の低い仮説を評価の対象からはずす（枝刈
り）処理を行う。尤度の計算方法、枝刈りについても上
記「音声認識システム」（オーム社出版局）に記載され
ている。さらに、各仮説の累積尤度を記憶しておく。例
えば、フレームｉに対応する累積尤度を配列Ｐ１［ｉ］
として、Ｐ１を仮説ごと別々に記憶する。

【００１３】次に、ステップ４０２で、言語モデル３０
５の代わりに音韻連鎖モデル３０６を用いてステップ４
０１と同様の処理を行う。ただし、ステップ４０１での
各仮説中の最大尤度を枝刈りするスコアの閾値とする。
なぜなら、言語モデル３０５を用いた認識の場合は言語
的制約があるため、日本語としてありうる音韻連鎖の可
能性がある音韻連鎖モデル３０６を用いた認識における
尤度のほうが最大値は高くなり、さらに未知語検出のた
めには音韻連鎖モデルを用いた認識の仮説はひとつ残っ
ていればよいためである。このとき、対応するフレーム
における音韻連鎖モデルを用いた場合の最大の累積尤度
を配列Ｐ２［ｉ］に記憶しておく。

【００１４】すべてのフレームについて上記の処理が終
了したら、もっともスコアの高い仮説に対応する文の各
単語について、それぞれの単語における最後のフレーム
（ここではｊ番目とする）の、音韻連鎖モデルを用いた
分析での最大累積尤度に上記音韻連鎖モデル重み記憶部
に記憶された値と言語モデル３０５を用いた分析での累
積尤度の差を求め、それをＳとして、各単語で記憶す
る。つまり、上記音韻連鎖モデル重み記憶部に記憶され
た値をαとすると、α×Ｐ２［ｊ］―Ｐ１［ｊ］＝Ｓで
ある。この値を各単語について求める。最後に、最もス
コアの高い仮説に対応する文の各単語の表記と、Ｓの値
を未知語区間検出部３０９に出力する。

【００１５】未知語区間検出部３０９は、認識部３０３
の出力を入力とする。入力された各単語におけるＳが０
より大きい単語を未知語として、その単語の表記を「未
知語」と変換した文字列を出力部３１０に出力する。こ
こで、音韻連鎖モデル重み記憶部３０８にはあらかじめ
騒音などの発話環境を考慮して適当に決定された音韻連
鎖モデル重みが記憶されている。

【００１６】出力部３１０は、ディスプレイなど、文字
列を出力できる装置であり、未知語区間検出部から出力
された文字列を出力する。

【００１７】上記の音韻連鎖モデル重みは、話者や発声
環境によって大きく変化するため、精度よく未知語の検
出を行うためには、それらの環境によって音韻連鎖モデ
ル重みを変化させる必要がある。環境の違いによらない
未知語の検出としては、特開平４−２５５９００号報に
見られる手法を用いることで、音韻タイプライタによる
分析と言語制約をもった分析での尤度から適切な音韻連
鎖モデル重みを求めるというものがある。

【００１８】

【発明が解決しようとする課題】しかしながら、上記従
来の技術で述べた方法では、適切な音韻連鎖モデル重み
が環境によって異なるという問題がある。それを解決す
るための特開平４−２５５９００号公報で見られる手法
においては、発声最後まで分析しなければ適切な音韻連
鎖モデル重みがわからないという欠点があり、フレーム
同期探索時などに未知語であるかどうかの情報がまった
くわからない。ｎ−ｇｒａｍなどの統計的言語モデルを
用いた音声認識では、未知語が発声された後の認識結果
はあまり信用できず、音韻タイプライタとの差が大きい
部分だけを未知語と認識しても、その後の部分に正しい
単語が結果として選ばれていない場合が多いので、未知
語以外の部分の認識に問題がある。

【００１９】そこで本発明の目的は、精度よく未知語の
検出を行い、未知語以外の部分の認識にも頑健な未知語
処理を実現できる音声認識装置を提供することにある。

【００２０】

【課題を解決するための手段】本発明は、単語を記憶し
た認識辞書と、上記認識辞書に記憶された単語をあらか
じめ学習した言語モデルと、認識対象言語においてあり
うる音韻連鎖の規則を記憶した音韻連鎖モデルとを有す
る音声認識装置において、上記言語モデルを用いた分析
と上記音韻連鎖モデルを用いた分析を行う認識部と、上
記音韻連鎖モデルを用いた分析結果に重みをかける値を
記憶する音韻連鎖モデル重み記憶部と、上記言語モデル
を用いた分析と上記音韻連鎖モデルを用いた分析の結果
を利用して上記音韻連鎖モデル重み記憶部に記憶された
値を変更する音韻連鎖モデル重み変更部と、を備えたこ
とを特徴とする。

【００２１】また、本発明は、上記言語モデルの重みを
記憶する言語モデル重み記憶部と、上記言語モデルを用
いた分析と上記音韻連鎖モデルを用いた分析との結果か
ら上記言語モデル重み記憶部に記憶された重みを変更す
る言語モデル重み変更部と、を備えたことを特徴とす
る。

【００２２】また、本発明は、上記言語モデル重み変更
部は、上記言語モデルの重みを上記認識部における上記
言語モデルを用いた分析と上記音韻連鎖モデルを用いた
分析で得られる尤度の差の値あるいは上記言語モデル重
み記憶部に記憶されている値の関数によって得られる値
に変更することを特徴とする。

【００２３】また、本発明は、上記音韻連鎖モデル重み
記憶部は、上記音韻連鎖モデル重みを上記認識部におけ
る上記言語モデルを用いた分析と上記音韻連鎖モデルを
用いた分析で得られる尤度の差の値あるいは上記音韻連
鎖モデル重み記憶部に記憶された値の関数によって得ら
れる値に変更することを特徴とする。

【００２４】また、本発明は、上記認識部は、尤度計算
時の探索において複数パスの探索を行い、二つ目以降の
パスでは、上記言語モデル重み変更部は上記言語モデル
の重み記憶部に記憶されている値を維持することを特徴
とする。

【００２５】また、本発明は、上記認識部は、尤度計算
時の探索において複数パスの探索を行い、二つ目以降の
パスでは、上記音韻連鎖モデル重み変更部は上記音韻連
鎖モデル重み記憶部に記憶されている値を維持すること
を特徴とする。

【００２６】また、本発明は、上記言語モデル重み記憶
部は、発声前の値を別に記憶し、上記言語モデル重み変
更部は、発声が終了したと判断されたときに、上記言語
モデル重み記憶部に記憶された値を発声前の値に変更す
ることを特徴とする。

【００２７】また、本発明は、上記音韻連鎖モデル重み
記憶部は、発声前の値を別に記憶し、上記音韻連鎖モデ
ル重み変更部は、発声が終了したと判断されたときに、
上記音韻連鎖モデル重み記憶部に記憶された値を発声前
の値に変更することを特徴とする。

【００２８】また、本発明は、上記言語モデル重み変更
部は、無音部分と判断される処理単位においては、上記
言語モデル重み記憶部に記憶された値を維持することを
特徴とする。

【００２９】また、本発明は、上記音韻連鎖モデル重み
変更部は、無音部分と判断される処理単位においては、
上記音韻連鎖モデル重み記憶部に記憶された値を維持す
ることを特徴とする。

【００３０】また、本発明は、単語を記憶した認識辞書
と、上記認識辞書に記憶された各単語をあらかじめ学習
した言語モデルと、認識対象言語においてありうる音韻
連鎖の規則を記憶した音韻連鎖モデルとを用いる音声認
識方法において、時間で分割された処理単位ごとに、上
記言語モデルを用いた分析と上記音韻連鎖モデルを用い
た分析を行い、それぞれの分析における最大尤度の値を
出力する認識手段と、上記音韻連鎖モデルを用いた分析
に重みをかける値を記憶する音韻連鎖モデル重み記憶手
段と、上記処理単位ごとに、上記言語モデルを用いた分
析と上記音韻連鎖モデルを用いた分析のそれぞれの最大
尤度の値を用いて上記音韻連鎖モデル重み記憶手段で記
憶した値を変更する音韻連鎖モデル重み変更手段と、を
備えたことを特徴とする。

【００３１】また、本発明は、上記言語モデルの重みを
記憶する言語モデル重み記憶手段と、上記処理単位ごと
に、上記言語モデルを用いた分析と上記音韻連鎖モデル
を用いた分析のそれぞれの最大尤度の値を用いて上記言
語モデル重み記憶手段で記憶した重みを変更する言語モ
デル重み変更手段と、を備えたことを特徴とする。

【００３２】また、本発明は、単語を記憶した認識辞書
と、上記認識辞書に記憶された各単語をあらかじめ学習
した言語モデルと、認識対象言語においてありうる音韻
連鎖の規則を記憶した音韻連鎖モデルとを有する音声認
識方法において、上記言語モデルを用いた分析と上記音
韻連鎖モデルを用いた分析を行う認識手段と、上記音韻
連鎖モデルを用いた分析結果に重みをかける値を記憶す
る音韻連鎖モデル重み記憶手段と、上記言語モデルを用
いた分析と上記音韻連鎖モデルを用いた分析の結果を利
用して上記音韻連鎖モデル重み記憶手段によって記憶さ
れた値を変更する音韻連鎖モデル重み変更手段と、を備
えたことを特徴とする。

【００３３】また、本発明は、上記言語モデルの重みを
記憶する言語モデル重み記憶手段と、上記言語モデルを
用いた分析と上記音韻連鎖モデルを用いた分析の結果か
ら上記言語モデル重み記憶手段によって記憶された重み
を変更する言語モデル重み変更手段と、を備えたことを
特徴とする。

【００３４】また、本発明は、単語の情報を記憶した認
識辞書と、上記認識辞書に記憶された各単語をあらかじ
め学習した言語モデルと、認識対象言語においてありう
る音韻連鎖の規則を記憶した音韻連鎖モデルとを用いる
音声認識プログラムであって、コンピュータを、上記言
語モデルを用いた分析と上記音韻連鎖モデルを用いた分
析を行う認識手段と、上記音韻連鎖モデルを用いた分析
結果に重みをかける値を記憶する音韻連鎖モデル重み記
憶手段と、上記言語モデルを用いた分析と上記音韻連鎖
モデルを用いた分析の結果を利用して上記音韻連鎖モデ
ル重み記憶手段によって記憶された値を変更する音韻連
鎖モデル重み変更手段として機能させるための音声認識
プログラムを提供する。

【００３５】また、本発明は、上記音声認識プログラム
において、コンピュータを、上記言語モデルの重みを記
憶する言語モデル重み記憶手段と、上記言語モデルを用
いた分析と上記音韻連鎖モデルを用いた分析の結果から
上記言語モデル重み記憶手段によって記憶された重みを
変更する言語モデル重み変更手段として機能させるため
の音声認識プログラムを提供する。

【００３６】

【発明の実施の形態】以下、本発明を実施例に基づき詳
細に説明する。

【００３７】図１は本発明による音声認識装置の一例を
表すブロック図である。この音声認識装置１００は、入
力部１０１、音響分析部１０２、認識部１０３、音響モ
デル１０７、認識辞書１０４、言語モデル１０５、音韻
連鎖モデル１０６、音韻連鎖モデル重み変更部１１０、
音韻連鎖モデル重み記憶部１１１、言語モデル重み変更
部１０８、言語モデル重み記憶部１０９、未知語区間検
出部１１２、出力部１１３で構成される。

【００３８】入力部１０１は、入力された音声をディジ
タル信号化する。

【００３９】音響分析部１０２は、入力されたディジタ
ル信号を特徴ベクトルの時系列に変換する。

【００４０】音響モデル１０７は、音素片ごとに用意さ
れたＨＭＭを用いて発声の音韻的特徴が記憶されてい
る。認識部１０３での２パス探索に対応するために、精
度が低いがより高速な認識を行うことのできるモデル
と、精度がより高いが低速で認識するモデルとの２つの
モデルをそれぞれ記憶している。

【００４１】認識辞書１０４には、認識可能な語彙の情
報として、単語の表記を表す文字列と音素記号列を表す
文字列が記憶されている。

【００４２】言語モデル１０５には、ｎ−ｇｒａｍモデ
ルによる統計的な言語情報が記憶されている。

【００４３】音韻連鎖モデル１０６には、日本語として
ありうる音韻連鎖の規則が、言語モデルと同様のデータ
構造で記憶されている。

【００４４】音韻連鎖モデル重み記憶部１１１には、認
識部における認識で使用する音韻連鎖モデル重みを記憶
しており、初期値としては１が記憶されている。音韻連
鎖モデル重みの使い方については後述する。

【００４５】言語モデル重み記憶部１０９には、認識部
における認識処理で使用する言語モデルの重みを記憶し
ており、初期値としては１が記憶されている。

【００４６】認識部１０３では、音響分析部１０２の出
力、音響モデル１０７、言語モデル１０５、音韻連鎖モ
デル１０６のそれぞれの情報を用いて音声認識処理を行
う。ここでは、認識部１０３は２パスで認識処理を行う
とし、どちらのパスでもフレーム同期ビームサーチを行
うとするが、１パス目では単純な音響モデルで高速化を
図りつつ候補を絞り、２パス目で高精度な音響モデルを
用いて精度の高い認識を行う。図２は認識部における１
パス目でのｉ番目のフレームの処理を表したフローチャ
ートである。以下、図２にしたがってｉ番目のフレーム
での認識処理について説明する。

【００４７】ステップ２０１において、対応するフレー
ムにおいて、音響モデル１０７と言語モデル１０５を用
いて従来の技術で述べた方法と同じように通常の認識処
理を行う。ここでも、フレームｉに対応する累積尤度を
配列Ｐ１［ｉ］として、尤度Ｐ１を仮説ごとに記憶す
る。

【００４８】次に、ステップ２０２で、言語モデル１０
５の代わりに音韻連鎖モデル１０６を用いてステップ２
０１と同様の処理を行う。このときステップ２０１の各
仮説の最大尤度を枝刈りするスコアの閾値とする。同様
に、対応するフレームにおける音韻連鎖モデルを用いた
場合の最大の累積尤度を配列Ｐ２［ｉ］として記憶して
おく。

【００４９】ステップ２０３において、無音部分かどう
かの判定を行う。音響モデル１０７において、無音に対
応するＨＭＭの状態が最も尤度が高いときに無音である
と判断する。無音だった場合はそのまま次へ進み、無音
でなかった場合はステップ２０４に進む。無音部分にお
いては、言語モデルを用いた認識において尤度の差は出
ないため、言語モデル重みの値や音韻連鎖モデル重みを
変更しても期待した効果は得られないためである。音韻
連鎖モデル重み変更部に変更の通知と、配列Ｐ２［ｉ］
の値と配列Ｐ１［ｉ］の値を出力する。

【００５０】ステップ２０５において、言語モデル重み
変更部に値を変更する通知を送るかどうかの判定を行
う。ここで、音韻連鎖モデル重み記憶部に記憶されてい
る値をαとすると、α×Ｐ２［ｉ］―Ｐ１［ｉ］が正の
値であるときは、ステップ２０６において、配列Ｐ２
［ｉ］の値と配列Ｐ１［ｉ］の値を、変更の通知ととも
に言語モデル重み変更部および音韻連鎖モデル重み記憶
部に出力する。そうでなければ次のフレームに移る。

【００５１】２パス目では高精度な音響モデルを用いる
以外はほぼ同様の処理を行うのであるが、２パス目では
言語モデル重み変更部、音韻連鎖モデル重み変更部への
変更通知を行わず、言語モデル重み変更部、音韻連鎖モ
デル重み変更部は前回の値を維持する。１パス目ですべ
ての入力フレームでの音韻連鎖モデルを用いた分析が終
わっているので、その発声すべての情報を用いることが
できるからである。

【００５２】また、今回の発声によって変更された言語
モデル重みの値および音韻連鎖モデル重みは、必ずしも
発声前の値に戻さなくてよい。携帯電話など、発声時の
騒音などの環境が特定されない機器へ応用する場合は、
発声前の値に戻すことで次回の発生で環境が大きく変わ
っている場合にも、今回の値を記憶したことによる悪影
響を防ぐことができる。逆に、家庭用コンピュータな
ど、発声時の環境がほぼ一定である機器へ応用する場合
は、発声前の状態に戻さず今回の発声によって変更され
た値を記憶しつづけることで、次回の発声においても適
切な値で認識処理を行うことが可能となる。

【００５３】すべてのフレームにおいて上記の処理を終
え、２パス目の処理も終えたら、未知語区間検出部１１
２に、尤度が最大の仮説と仮説の各単語の累積尤度の差
Ｓを出力する。

【００５４】音韻連鎖モデル重み変更部１１０では、認
識部１０３からの通知を受け取り、音韻連鎖モデル重み
記憶部に記憶されている値を変更する。ここで、音韻連
鎖モデルを用いた分析においては、認識辞書や言語モデ
ルによる言語的な制約を受けないため、得られる尤度が
大きくなる。音韻連鎖モデルを用いた分析と言語モデル
を用いた分析の尤度を比較する際に、発声が未知語でな
い部分でも、音韻連鎖モデルを用いた分析で得られた尤
度が大きくなってしまうことが多いため、重みを示す係
数（ペナルティ）は必ず１より小さい値に設定される。

【００５５】変更は、音韻連鎖モデル重み記憶部に記憶
されている値をαとすると、α＝（Ｐ２［ｉ］―Ｐ１
［ｉ］）／ｉとする。これは、環境の違いによる配列Ｐ
２［ｉ］と配列Ｐ１［ｉ］の尤度の差は、音響モデル１
０７と発声された音声の特徴の違いもあって大きくなる
ことが多いからである。

【００５６】言語モデル重み変更部１０８は、認識部１
０３からの通知にしたがって言語モデル重み記憶部に記
憶されている値を変更する。変更は、言語モデル重み記
憶部に記憶されている値をβとすると、β＝β×（（Ｐ
２［ｉ］―Ｐ１［ｉ］）／Ｐ２［ｉ］）とする。これ
は、配列Ｐ２［ｉ］と配列Ｐ１［ｉ］の値の差が大きい
ほどそのあとの言語モデルの数値が信用できなくなるた
めである。

【００５７】未知語区間検出部１１２では、認識部１０
３の出力を入力とし、入力された各単語における累積尤
度の差Ｓが０より大きい単語を未知語として、その単語
の表記を「未知語」と変換した文字列を出力部１１３に
出力する。

【００５８】出力部１１３は、ディスプレイなどの文字
列を出力できる装置が使用され、認識部１０３から出力
された文字列を出力する。 （実施例１）以下、「自由が丘に行く」という文章が発
声された場合の具体的な処理動作を示す。このとき、
「自由が丘」という単語は認識辞書１０４に含まれてい
ないものとする。

【００５９】まず、入力された音声は入力部１０１によ
ってディジタル信号化される。ディジタル信号化された
音声は短時間スペクトル分析の手法でフレーム単位に分
割され、各フレームでの音声は音響分析部１０２によっ
て特徴ベクトルの時系列に変換され、認識部１０３に出
力される。

【００６０】認識部１０３では、各フレームにおいて図
２のフローチャートに従って処理が行われる。

【００６１】まずステップ２０１で、 言語モデル１０
５と音響モデル１０７を用いて尤度Ｐ１の計算を行う。

【００６２】つぎにステップ２０２で、音韻連鎖モデル
１０６と音響モデル１０７を用いて尤度Ｐ２の計算を行
う。ここでは、「自由が丘」という単語は認識辞書１０
４に含まれていないため、尤度Ｐ１が最大となるのは認
識辞書１０４に含まれる別の単語、例えば「自営業」な
どとなる。「自由が丘」と「自営業」では音素の並びが
異なるために、「自営業」の尤度Ｐ１の値は認識辞書１
０４に含まれる単語の中では高いものの、認識語彙によ
る音素の並びの制約をうけない音韻連鎖モデル１０６を
用いて計算した尤度Ｐ２よりは低くなると考えられる。

【００６３】次に、ステップ２０３において無音部分か
どうかの判定を行い、無音だった場合には、そのまま次
のフレームの処理へ進み、無音でなかった場合はステッ
プ２０４へ進む。

【００６４】ステップ２０４においては、音韻連鎖モデ
ル重み変更部に重みの変更通知と、尤度Ｐ１および尤度
Ｐ２の値を出力する。適切な音韻連鎖モデル重みは、騒
音や残響などの周囲の環境によって大きく変わるため、
それまでの分析で得られた値をもとに適切な音韻連鎖モ
デル重みを設定するためである。

【００６５】次に、ステップ２０５で、言語モデルの重
みを変更するかどうかの判定を行う。α×Ｐ２［ｉ］―
Ｐ１［ｉ］が正の値であればステップ２０５で言語モデ
ルの重みを変更し、そうでなければなにもせずに次のフ
レームの処理に移る。２パス目でも高精度な音響モデル
を用いる以外はほぼ同様の処理を行うのであるが、２パ
ス目では言語モデル重み変更部、音韻連鎖モデル重み変
更部への変更通知を行わず、言語モデル重み変更部、音
韻連鎖モデル重み変更部は前回の値を維持する。また、
すべてのフレームでの処理が終了したら、言語モデル重
みの値と音韻連鎖モデル重みを発声前の値に戻す。

【００６６】言語モデル１０５にはｎ−ｇｒａｍモデル
による統計的な言語情報が記憶されているため、「自営
業に行く」という日本語としてありえない単語の並び
は、音響モデル１０７を用いて得られる尤度は高いもの
の、言語モデル１０５を用いて得られる尤度が低くなっ
てしまい、例えば「自営業である」、「自営業を営む」
などといった単語の並びの尤度のほうが高くなり、発声
における「に行く」の部分で認識誤りが生じてしまう。
しかしながら、ステップ２０５において言語モデルの重
みを変更することで言語的な制約を緩くして、「自営
業」のあとに、音響尤度の高い「に行く」といった単語
の並びが続くことを可能にすることができる。すべての
フレームにおいて上記の処理を終え、２パス目の処理も
終えたら、未知語区間検出部１１２に、尤度が最大の仮
説（この例では「自営業に行く」）と仮説の各単語の累
積尤度の差Ｓをそれぞれ出力する。言語モデルの重みを
変更しなかった場合は、尤度が最大の仮説は「自営業で
ある」などといった、日本語として正しい単語列になる
ことが多い。

【００６７】未知語区間検出部１１２では、認識部１０
３の出力である、「自営業に行く」という仮説と、「自
営業」、「に」、「行く」の各単語についての尤度の差
Ｓのそれぞれを入力とする。ここでは、各単語での累積
尤度の差Ｓが０より大きい単語を未知語と判定する。
「自由が丘」と「自営業」の音素の並びの違いから、
「自営業」では尤度Ｐ１と尤度Ｐ２の差が大きいので、
「自営業」が未知語と判定できる。音韻連鎖モデル重み
を変更しなかった場合は、発声環境により適切な音韻連
鎖モデル重みの設定が困難なため、「自営業」を未知語
と判定できなかったり、「に」や「行く」を未知語と判
定してしまうことがある。未知語区間検出部１１２で
は、「自営業」の部分を「未知語」と変換して出力部１
１３に出力し、出力部１１３はその結果をディスプレイ
などの表示装置に出力する。 （実施例２）以下さらに、本発明の音声認識方法を用い
た音声認識装置を単語音声認識装置として使用した場合
の例として、「自由が丘」という単語が発声された場合
の動作を示す。図５は本発明の音声認識方法を用いて、
単語認識を行う音声認識装置の例である。単語のみを対
象とした認識処理の場合は、ｎ−ｇｒａｍによる統計的
な言語情報は用いない点が異なっている。また、単語認
識では先ほどの文章の認識でよく用いられている複数パ
スの認識は行わないことも多い。ここでは１パスで処理
を行うとする。さらに、「自由が丘」という単語は認識
辞書５０４に含まれないものとする。

【００６８】まず、入力された音声は入力部５０１によ
ってディジタル信号化される。ディジタル信号化された
音声は短時間スペクトル分析の手法でフレーム単位に分
割され、各フレームでの音声は音響分析部５０２によっ
て特徴ベクトルの時系列に変換され、認識部５０３に出
力される。

【００６９】認識部５０３では、各フレームにおいて図
６のフローチャートに従って処理が行われる。

【００７０】まずステップ６０１で、音響モデル５０７
を用いて尤度Ｐ１の計算を行う。つぎにステップ６０２
で、音韻連鎖モデル５０６と音響モデル５０７を用いて
尤度Ｐ２の計算を行う。ここでは、「自由が丘」という
単語は認識辞書５０４に含まれないため、尤度Ｐ１が最
大となるのは認識辞書５０４に含まれる別の単語、例え
ば「自営業」などとなる。「自由が丘」と「自営業」で
は音素の並びが異なるために、「自営業」の尤度Ｐ１の
値は認識辞書５０４に含まれる単語の中では高いもの
の，認識語彙による音素の並びの制約をうけない音韻連
鎖モデル５０６を用いて計算した尤度Ｐ２よりは低くな
ることが多い。

【００７１】次に、ステップ６０３において無音部分か
どうかの判定を行い、無音だった場合、そのまま次のフ
レームの処理へ進み、無音でなかった場合はステップ６
０４に進む。

【００７２】次に、ステップ６０４において音韻連鎖モ
デル重み変更部に重みの変更通知と、尤度Ｐ１および尤
度Ｐ２の値を出力する。これは、適切な音韻連鎖モデル
重みは、騒音や残響などの周囲の環境によって大きく変
わるため、それまでの分析で得られた値をもとに適切な
音韻連鎖モデル重みを設定するためである。すべてのフ
レームでの処理が終了したら、音韻連鎖モデル重みを発
声前の値に戻す。

【００７３】未知語区間検出部５１２では、認識部５０
３の出力である「自営業」という候補と、「自営業」の
累積尤度の差Ｓのそれぞれを入力とする。ここでは、Ｓ
が０より大きい単語を未知語と判定する。「自由が丘」
と「自営業」の音素の並びの違いから、「自営業」では
尤度Ｐ１と尤度Ｐ２の差が大きいので、「自営業」が未
知語と判定できる。音韻連鎖モデル重みを変更しなかっ
た場合は、発声環境により適切な音韻連鎖モデル重みの
設定が困難なため「自営業」を未知語と判定できないこ
とがある。未知語区間検出部５１２では、「自営業」の
部分を「未知語」と変換して出力部５１３に出力し、出
力部５１３はその結果をディスプレイなどの表示装置に
出力する。

【００７４】

【発明の効果】以上のように、本発明によれば、音声認
識を行う際に、精度よく未知語の検出を行うことができ
る。また、未知語以外の部分の認識にも頑健な未知語処
理を実現することができる。

【図面の簡単な説明】

【図１】 本発明による音声認識装置の一例を示すブロ
ック図である。

【図２】 本発明による認識部の動作を示すフローチャ
ートである。

【図３】 従来の音声認識装置の一例を示すブロック図
である。

【図４】 従来の音声認識装置における認識部の動作を
表すフローチャートである。

【図５】 本発明による音声認識方法を用いて単語認識
を行う音声認識装置の一例を示すブロック図である。

【図６】 本発明による認識部の単語認識の際の動作を
示すフローチャートである。

【符号の説明】

１００、３００，５００ 音声認識装置 １０１、３０１、５０１ 入力部 １０２、３０２、５０２ 音響分析部 １０３、３０３、５０３ 認識部 １０４、３０４、５０４ 認識辞書 １０５、３０５ 言語モデル １０６、３０６、５０６ 音韻連鎖モデル １０７、３０７、５０７ 音響モデル １０８ 言語モデル重み変更部 １０９ 言語モデル重み記憶部 １１０、５１０ 音韻連鎖モデル重み変更部 １１１、３０８、５１１ 音韻連鎖モデル重み記憶部 １１２、３０９、５１２ 未知語区間検出部 １１３、３１０、５１３ 出力部

Claims (16)

【特許請求の範囲】
1. 【請求項１】 単語を記憶した認識辞書と、上記認識辞
   書に記憶された単語をあらかじめ学習した言語モデル
   と、認識対象言語においてありうる音韻連鎖の規則を記
   憶した音韻連鎖モデルとを有する音声認識装置におい
   て、 上記言語モデルを用いた分析と上記音韻連鎖モデルを用
   いた分析を行う認識部と、 上記音韻連鎖モデルを用いた分析結果に重みをかける値
   を記憶する音韻連鎖モデル重み記憶部と、 上記言語モデルを用いた分析と上記音韻連鎖モデルを用
   いた分析の結果を利用して上記音韻連鎖モデル重み記憶
   部に記憶された値を変更する音韻連鎖モデル重み変更部
   と、を備えたことを特徴とする音声認識装置。
2. 【請求項２】 上記言語モデルの重みを記憶する言語モ
   デル重み記憶部と、 上記言語モデルを用いた分析と上記音韻連鎖モデルを用
   いた分析との結果から上記言語モデル重み記憶部に記憶
   された重みを変更する言語モデル重み変更部と、を備え
   たことを特徴とする請求項１に記載の音声認識装置。
3. 【請求項３】 上記言語モデル重み変更部は、上記言語
   モデルの重みを上記認識部における上記言語モデルを用
   いた分析と上記音韻連鎖モデルを用いた分析で得られる
   尤度の差の値あるいは上記言語モデル重み記憶部に記憶
   されている値の関数によって得られる値に変更すること
   を特徴とする請求項１または請求項２に記載の音声認識
   装置。
4. 【請求項４】 上記音韻連鎖モデル重み記憶部は、上記
   音韻連鎖モデル重みを上記認識部における上記言語モデ
   ルを用いた分析と上記音韻連鎖モデルを用いた分析で得
   られる尤度の差の値あるいは上記音韻連鎖モデル重み記
   憶部に記憶された値の関数によって得られる値に変更す
   ることを特徴とする請求項１または請求項２に記載の音
   声認識装置。
5. 【請求項５】 上記認識部は、尤度計算時の探索におい
   て複数パスの探索を行い、二つ目以降のパスでは、上記
   言語モデル重み変更部は上記言語モデルの重み記憶部に
   記憶されている値を維持することを特徴とする請求項１
   または請求項２に記載の音声認識装置。
6. 【請求項６】 上記認識部は、尤度計算時の探索におい
   て複数パスの探索を行い、二つ目以降のパスでは、上記
   音韻連鎖モデル重み変更部は上記音韻連鎖モデル重み記
   憶部に記憶されている値を維持することを特徴とする請
   求項１または請求項２に記載の音声認識装置。
7. 【請求項７】 上記言語モデル重み記憶部は、発声前の
   値を別に記憶し、上記言語モデル重み変更部は、発声が
   終了したと判断されたときに、上記言語モデル重み記憶
   部に記憶された値を発声前の値に変更することを特徴と
   する請求項１または請求項２に記載の音声認識装置。
8. 【請求項８】 上記音韻連鎖モデル重み記憶部は、発声
   前の値を別に記憶し、上記音韻連鎖モデル重み変更部
   は、発声が終了したと判断されたときに、上記音韻連鎖
   モデル重み記憶部に記憶された値を発声前の値に変更す
   ることを特徴とする請求項１または請求項２に記載の音
   声認識装置。
9. 【請求項９】 上記言語モデル重み変更部は、無音部分
   と判断される処理単位においては、上記言語モデル重み
   記憶部に記憶された値を維持することを特徴とする請求
   項１または請求項２に記載の音声認識装置。
10. 【請求項１０】 上記音韻連鎖モデル重み変更部は、無
    音部分と判断される処理単位においては、上記音韻連鎖
    モデル重み記憶部に記憶された値を維持することを特徴
    とする請求項１または請求項２に記載の音声認識装置。
11. 【請求項１１】 単語を記憶した認識辞書と、上記認識
    辞書に記憶された各単語をあらかじめ学習した言語モデ
    ルと、認識対象言語においてありうる音韻連鎖の規則を
    記憶した音韻連鎖モデルとを用いる音声認識方法におい
    て、 時間で分割された処理単位ごとに、上記言語モデルを用
    いた分析と上記音韻連鎖モデルを用いた分析を行い、そ
    れぞれの分析における最大尤度の値を出力する認識手段
    と、 上記音韻連鎖モデルを用いた分析に重みをかける値を記
    憶する音韻連鎖モデル重み記憶手段と、 上記処理単位ごとに、上記言語モデルを用いた分析と上
    記音韻連鎖モデルを用いた分析のそれぞれの最大尤度の
    値を用いて上記音韻連鎖モデル重み記憶手段で記憶した
    値を変更する音韻連鎖モデル重み変更手段と、を備えた
    ことを特徴とする音声認識方法。
12. 【請求項１２】 上記言語モデルの重みを記憶する言語
    モデル重み記憶手段と、 上記処理単位ごとに、上記言語モデルを用いた分析と上
    記音韻連鎖モデルを用いた分析のそれぞれの最大尤度の
    値を用いて上記言語モデル重み記憶手段で記憶した重み
    を変更する言語モデル重み変更手段と、を備えたことを
    特徴とする請求項１１に記載の音声認識方法。
13. 【請求項１３】 単語を記憶した認識辞書と、上記認識
    辞書に記憶された各単語をあらかじめ学習した言語モデ
    ルと、認識対象言語においてありうる音韻連鎖の規則を
    記憶した音韻連鎖モデルとを有する音声認識方法におい
    て、 上記言語モデルを用いた分析と上記音韻連鎖モデルを用
    いた分析を行う認識手段と、 上記音韻連鎖モデルを用いた分析結果に重みをかける値
    を記憶する音韻連鎖モデル重み記憶手段と、 上記言語モデルを用いた分析と上記音韻連鎖モデルを用
    いた分析の結果を利用して上記音韻連鎖モデル重み記憶
    手段によって記憶された値を変更する音韻連鎖モデル重
    み変更手段と、を備えたことを特徴とする音声認識方
    法。
14. 【請求項１４】 上記言語モデルの重みを記憶する言語
    モデル重み記憶手段と、 上記言語モデルを用いた分析と上記音韻連鎖モデルを用
    いた分析の結果から上記言語モデル重み記憶手段によっ
    て記憶された重みを変更する言語モデル重み変更手段
    と、を備えたことを特徴とする請求項１３に記載の音声
    認識方法。
15. 【請求項１５】 単語の情報を記憶した認識辞書と、上
    記認識辞書に記憶された各単語をあらかじめ学習した言
    語モデルと、認識対象言語においてありうる音韻連鎖の
    規則を記憶した音韻連鎖モデルとを用いる音声認識プロ
    グラムであって、 コンピュータを、 上記言語モデルを用いた分析と上記音韻連鎖モデルを用
    いた分析を行う認識手段と、 上記音韻連鎖モデルを用いた分析結果に重みをかける値
    を記憶する音韻連鎖モデル重み記憶手段と、 上記言語モデルを用いた分析と上記音韻連鎖モデルを用
    いた分析の結果を利用して上記音韻連鎖モデル重み記憶
    手段によって記憶された値を変更する音韻連鎖モデル重
    み変更手段として機能させるための音声認識プログラ
    ム。
16. 【請求項１６】 コンピュータを、 上記言語モデルの重みを記憶する言語モデル重み記憶手
    段と、 上記言語モデルを用いた分析と上記音韻連鎖モデルを用
    いた分析の結果から上記言語モデル重み記憶手段によっ
    て記憶された重みを変更する言語モデル重み変更手段と
    して機能させるための、請求項１５に記載の音声認識プ
    ログラム。