JP2003140683A

JP2003140683A - 音声認識装置、音声認識方法および音声認識プログラム

Info

Publication number: JP2003140683A
Application number: JP2001338176A
Authority: JP
Inventors: Yuzo Maruta; 裕三丸田; Hirotaka Goi; 啓恭伍井; Yoshiharu Abe; 芳春阿部
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-11-02
Filing date: 2001-11-02
Publication date: 2003-05-16

Abstract

(57)【要約】【課題】間投詞を含んだ発声の場合には認識性能が劣
化してしまうという課題があった。【解決手段】音声をデジタル信号に変換する音声入力
手段１と、デジタル信号から発声区間のみを検出する音
声切り出し手段２と、発声区間から音響特徴ベクトルを
抽出する音響分析手段３と、音響モデル記憶手段４の音
響モデルを使って音響特徴ベクトルの最尤音節列を出力
する音節認識手段５と、差分モデル記憶手段８の差分モ
デルと言語モデル記憶手段９の言語モデルとを使って最
尤音節列の仮説を複数生成し、複数の仮説から最尤の認
識単語列を探索して認識結果として出力する単語列探索
手段７と、発声区間の音声パワーを各フレーム毎に計算
するパワー検出手段６と、間投詞を含む仮説について
は、間投詞に対応する音声パワーが減少している場合
に、その言語尤度を増加させる間投詞尤度増加手段１０
とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音声認識装置、
音声認識方法および音声認識プログラムに関するもので
ある。

【０００２】

【従来の技術】図１２は特開２００１−１３９８８公報
に開示された従来の音声認識装置の構成を示す図であ
る。図１２において、１０１は入力された信号を分析し
て発声区間を検出する発声区間検出部、１０２は発声区
間検出部１０１で検出された発声区間の音声信号を音響
分析することにより特徴ベクトルを抽出する特徴ベクト
ル抽出部、１０３は発声区間検出部１０１で検出された
発声区間の音声信号からこの音声信号のパワーを用いて
無音区間を検出する無音区間検出部、１０４は予め学習
された所定の各認識候補の標準特徴パターンが記憶され
ている標準特徴パターン記憶部である。

【０００３】また、図１２において、１０５はパターン
照合部であり、無音区間検出部１０３で検出された無音
区間情報を用いて、特徴ベクトル抽出部１０２で抽出さ
れた特徴ベクトル系列と、標準特徴パターン記憶部１０
４に記憶された各認識候補の標準特徴パターンとをＨＭ
Ｍを用いた照合方式で照合する。１０６はパターン照合
部１０５で得られる認識候補毎の照合結果をもとに認識
された発声内容を判定する認識結果判定部である。

【０００４】なお、図１２では、発声者が発声した音声
を入力してデジタルの電気信号（デジタル音声信号）に
変換するマイクロホン、Ａ／Ｄ（アナログ／デジタル）
変換器を含む音声入力部は省略されている。

【０００５】次に図１２の音声認識装置の処理概要につ
いて説明する。発声区間検出部１０１において検出され
た発声区間の音声信号は、予め定められた複数の周波数
帯域毎に特徴ベクトル抽出部１０２で周波数分析され、
特徴ベクトル系列（特徴ベクトル時系列）｛ｘｔ｝に変
換される。特徴ベクトル（特徴パラメータ）はフレーム
と呼ばれる固定の時間長を単位に求められる。

【０００６】音声認識に使用される代表的な特徴ベクト
ルとしては、バンドパスフィルタまたはフーリエ変換に
よって求めることができるパワースペクトラムや、ＬＰ
Ｃ（線形予測）分析によって求められるケプストラム係
数などがよく知られている。特徴ベクトル抽出部１０２
により抽出された特徴ベクトルの時系列は、パターン照
合部１０５へ送られる。

【０００７】一方、発声区間の音声信号は無音区間検出
部１０３にも送られ、特徴ベクトル系列のフレームと同
期して音声信号の短時間パワーから無音区間検出部１０
３で無音区間が検出される。図１３は無音区間検出部１
０３によって無音区間が検出された信号の様子を概念的
に表わす図である。図１３の横軸は時間、縦軸は信号の
短時間パワーであり、ＴＨは予め設定されているパワー
の閾値である。

【０００８】図１３に示すように、無音区間検出部１０
３では、各時刻ｔの短時間パワーの値Ｐｔとパワーの閾
値ＴＨが毎時刻比較され、Ｐｔ＜ＴＨとなる区間が無音
区間と判定される。このようにして得られた無音区間を
示す情報（無音区間情報）は、パターン照合部１０５へ
送られる。なお、ここで時刻ｔは、発声区間におけるｔ
番目のフレームを指す。

【０００９】パターン照合部１０５では、入力された特
徴ベクトル系列、無音区間情報および予め学習しておい
た標準特徴パターン（標準パターン）を用いて、パター
ン照合が行われる。標準特徴パターンは、所定の認識候
補（認識単位）毎にＨＭＭとして標準特徴パターン記憶
部１０４に予め記憶されている。認識の際には、このＨ
ＭＭをそのまま、あるいは組み合わせて用いる。

【００１０】図１４は照合に用いられるＨＭＭの構造を
表わす図である。ここで状態遷移のうち符号ｃが付され
た遷移はナル遷移であり、符号ａおよび符号ｂが付され
た遷移はそれぞれ通常の状態遷移および自己ループであ
る。なお、図１４のＨＭＭでは、ナル遷移は全ての状態
間に仮定しているが、ここに制約を設けてナル遷移が生
じる状態を制限することも可能である。

【００１１】パターン照合部１０５で適用される、図１
４の構造のＨＭＭを用いたパターン照合方式について図
１５のフローチャートを参照して次に説明する。ステッ
プＳＴ１０１では、入力された時刻ｔの信号、すなわち
ｔ番目のフレームの信号が発声区間であるか否かが、発
声区間検出部１０１での検出結果に基づいて判定され
る。時刻ｔの入力信号が発声区間の信号である場合（ス
テップＳＴ１０１でＹ）にはステップＳＴ１０２へ、発
声区間の信号でなければ（ステップＳＴ１０１でＮ）ス
テップＳＴ１０６へ進む。

【００１２】ステップＳＴ１０２では、無音区間検出部
１０３での検出結果に基づいて、入力された時刻ｔの信
号が無音区間の信号であるか否かが判定される。無音区
間の信号と判定された場合（ステップＳＴ１０２でＹ）
にはステップＳＴ１０７へ、有音区間の信号と判定され
た場合（ステップＳＴ１０２でＮ）にはステップＳＴ１
０３へ進む。

【００１３】ステップＳＴ１０３では、フラグ（ＦＬＡ
Ｇ）の値が評価される。フラグは０または１の値を取
り、時刻ｔ−１の信号（つまり１フレーム前の信号）が
無音区間に属していたか（ＦＬＡＧ＝０の場合）、有音
区間に属していたか（ＦＬＡＧ＝１の場合）をフラグは
示す。フラグの値が０の場合（ステップＳＴ１０３で
Ｙ）には時刻ｔが（時刻ｔ−１までの）無音区間から有
音期間に切り替わった（変化した）時刻であると判定さ
れて最終ステップＳＴ１０８へ進み、一方フラグの値が
１の場合（ステップＳＴ１０３でＮ）には無音区間が継
続していると判定されてステップＳＴ１０４へ進む。

【００１４】ステップＳＴ１０４では、図１４に示され
るＨＭＭにおいて、時刻ｔの信号に対する、ナル遷移を
除く全ての状態遷移確率および全ての分布の出力確率が
計算され、最適な遷移が決定される。決定後、ステップ
ＳＴ１０５へ進む。ステップＳＴ１０５では時刻ｔが次
の時刻ｔ＋１に設定され、ステップＳＴ１０１へ戻る。

【００１５】ステップＳＴ１０６では、図１４に示され
たＨＭＭにおいて、発声区間終了時刻ｔで照合スコアが
最大となる状態が各認識候補毎に選択され、その認識候
補毎の照合スコアが認識結果判定部１０６へ送られて処
理を終了する。ここで照合スコアとは、周知のように入
力音声信号の特徴ベクトル系列と標準特徴パターンとの
類似度または距離を表す評価値である。ステップＳＴ１
０７では、ステップＳＴ１０２で時刻ｔの信号が無音区
間の信号であると判定されたことを受け、前述したフラ
グの値を０に設定し、ステップＳＴ１０５へ進む。

【００１６】ステップＳＴ１０８では、時刻ｔの信号が
無音区間から有音区間へ切り替わった時刻であるとステ
ップＳＴ１０３で判定されたことを受け、図１４に示さ
れたＨＭＭにおいてナル遷移をまず行い、各状態におけ
る時刻ｔ−１における照合スコアを更新する。照合スコ
ア更新後、ナル遷移を除く全ての状態遷移確率および全
ての分布の出力確率が計算され、最適な遷移が決定され
る。決定後、ステップＳＴ１０９へ進む。

【００１７】ステップＳＴ１０９では、時刻ｔの信号が
有音区間の信号であるとステップＳＴ１０２で判定され
たことを受けて、前述したフラグの値を１に設定し、ス
テップＳＴ１０５へ進む。最終的に認識候補の照合スコ
アが計算され、認識結果判定部１０６において最大スコ
アをとる認識候補が認識結果として選択される。

【００１８】以上の処理により、検出した発声区間の音
声信号の短時間パワーから音声信号の無音区間を検出
し、その無音区間の特徴ベクトル系列をパターン照合の
対象外とすると共に、無音区間から有音区間へ変化する
時刻に相当する特徴ベクトル系列については、無音区間
の影響を考慮した照合方式として、ナル遷移を許すＨＭ
Ｍ照合方式を適用しているため、発声に対する認識候補
の照合において、無音区間の誤ったマッチングにより、
誤った認識候補の照合スコアが大きくなることを回避で
きる。その結果、照合スコアの精度が向上するので、認
識率の改善につながる。

【００１９】

【発明が解決しようとする課題】従来の音声認識装置は
以上のように構成されているので、無音区間の影響を考
慮しているものの、間投詞を含んだ発声の場合には認識
性能が劣化してしまうという課題があった。

【００２０】すなわち、比較的自由な発声に頻繁に存在
する「あー」や「うー」などの間投詞は、発声が曖昧で
他の単語に比べて弱く発声されることが多いので照合ス
コアに差がつきにくく、認識性能が劣化してしまうとい
う点については考慮がなされていない。

【００２１】また、比較的自由な発声では、読み上げ調
の発声よりも話速やピッチに変動が大きく、特に、文章
末で決まったような言い回し（例えば「〜ではないでし
ょうか」、「〜と思います」、「〜お願いします」な
ど）では話速が速くなり、発声がなまける場合がある。
このような発声では音声認識の精度が低下するが、この
問題についても考慮されていなかった。

【００２２】さらに、口語表現ではなまけや脱落が生じ
やすい単語列が存在し、これらを発声した場合には認識
性能が劣化するが、この問題についても考慮されていな
かった。

【００２３】この発明は上記のような課題を解決するた
めになされたもので、自由度の高い発話において間投詞
を含んだ発声の場合でも認識性能が劣化しない音声認識
装置、音声認識方法および音声認識プログラムを提供す
ることを目的とする。

【００２４】また、この発明は、話速やピッチに変動が
大きいような自由度の高い発話でも認識性能の劣化を抑
えることが可能な音声認識装置、音声認識方法および音
声認識プログラムを提供することを目的とする。

【００２５】さらに、この発明は、口語表現ではなまけ
や脱落が生じやすい単語列についても認識性能の劣化を
抑えることが可能な音声認識装置、音声認識方法および
音声認識プログラムを提供することを目的とする。

【００２６】

【課題を解決するための手段】この発明に係る音声認識
装置は、発声中のパワー変動またはピッチ変動に特徴を
持つ特定の単語列を含んだ仮説に関しては、仮説中にお
ける特定の単語列のパワー変動またはピッチ変動を検出
し、パワー変動またはピッチ変動の検出結果に応じてそ
の言語尤度を変化させるようにしたものである。

【００２７】この発明に係る音声認識装置は、単語変形
ルールを参照して、言語モデルから取得した単語連鎖を
変形して記憶するようにしたものである。

【００２８】この発明に係る音声認識装置は、発声区間
の音声パワーをフレーム毎に計算するパワー検出手段
と、最尤の仮説を探索する前に、間投詞を含んだ仮説に
ついては、間投詞に対応する音声パワーを参照してその
言語尤度を増加させる間投詞尤度増加手段とを備えるよ
うにしたものである。

【００２９】この発明に係る音声認識装置は、仮説に含
まれた間投詞の音声平均パワーと、間投詞前後の単語、
間投詞前後の文節または仮説全体のうちいずれか１つの
音声平均パワーとのパワー比を間投詞尤度増加手段が参
照し、パワー比が所定の閾値よりも小さい場合に、間投
詞を含んだ仮説の言語尤度を間投詞尤度増加手段が増加
させるようにしたものである。

【００３０】この発明に係る音声認識装置は、仮説に含
まれた間投詞中における母音の音声平均パワーと、間投
詞前後の単語中における母音、間投詞前後の文節中にお
ける母音または仮説全体中における母音のうちいずれか
１つの音声平均パワーとのパワー比を間投詞尤度増加手
段が参照し、パワー比が所定の閾値よりも小さい場合
に、仮説の言語尤度を間投詞尤度増加手段が増加させる
ようにしたものである。

【００３１】この発明に係る音声認識装置は、特定の言
い回しを記憶する特定の言い回しデータ記憶手段と、発
声区間の音声ピッチをフレーム毎に検出するピッチ検出
手段と、特定の言い回しを含んだ仮説については、特定
の言い回しに対応する音声ピッチを参照してその言語尤
度を増加させる仮説尤度増加手段とを備えるようにした
ものである。

【００３２】この発明に係る音声認識装置は、仮説中の
特定の言い回しに対応した音声ピッチの傾きを仮説尤度
増加手段が参照し、傾きが負でその絶対値が所定の閾値
の大きさよりも小さい場合に、仮説の言語尤度を仮説尤
度増加手段が増加させるようにしたものである。

【００３３】この発明に係る音声認識装置は、特定の言
い回しが仮説中の所定の位置にあり、仮説中の特定の言
い回しに対応した音声ピッチの傾きを仮説尤度増加手段
が参照し、傾きが負でその絶対値が所定の閾値の大きさ
よりも小さい場合に、仮説の言語尤度を仮説尤度増加手
段が増加させるようにしたものである。

【００３４】この発明に係る音声認識装置は、単語変形
ルールを記憶する単語変形ルール記憶手段と、単語変形
ルールを参照して、言語モデルから取得した単語連鎖を
変形して新規単語を作成するとともに、新規単語を言語
モデル記憶手段に追加する単語変形手段とを備えるよう
にしたものである。

【００３５】この発明に係る音声認識装置は、単語変形
ルールとして、単語変形事例の対応表を単語変形ルール
記憶手段が記憶するようにしたものである。

【００３６】この発明に係る音声認識装置は、言語モデ
ルから取得した単語連鎖のうち、所定の条件を満たすも
ののみ単語変形ルールを参照して単語変形手段が単語連
鎖を変形するようにしたものである。

【００３７】この発明に係る音声認識装置は、コーパス
に含まれる単語連鎖の出現頻度が所定数以上であること
を単語変形手段が所定の条件とするようにしたものであ
る。

【００３８】この発明に係る音声認識装置は、音響モデ
ル記憶手段の音響モデルを用いて音響特徴ベクトルの最
尤音節列を生成する音節認識手段と、音節列のまちがい
やすさをデータ化した差分モデルを記憶する差分モデル
記憶手段と、言語モデル記憶手段の言語モデルおよび差
分モデル記憶手段の差分モデルを用いて最尤音節列の仮
説を複数生成する単語列探索手段とから認識手段が構成
されるようにしたものである。

【００３９】この発明に係る音声認識方法は、発声中の
パワー変動またはピッチ変動に特徴を持つ特定の単語列
を含んだ仮説に関しては、仮説中における特定の単語列
のパワー変動またはピッチ変動を検出し、パワー変動ま
たはピッチ変動の検出結果に応じてその言語尤度を変化
させるようにしたものである。

【００４０】この発明に係る音声認識方法は、単語変形
ルールを参照して、言語モデルから取得した単語連鎖を
変形して記憶するようにしたものである。

【００４１】この発明に係る音声認識方法は、発声区間
の音声パワーをフレーム毎に計算するパワー検出ステッ
プと、最尤の仮説を探索する前に、間投詞を含んだ仮説
については、間投詞に対応する音声パワーを参照してそ
の言語尤度を増加させる間投詞尤度増加ステップとを備
えるようにしたものである。

【００４２】この発明に係る音声認識方法は、間投詞尤
度増加ステップでは、仮説に含まれた間投詞の音声平均
パワーと、間投詞前後の単語、間投詞前後の文節または
仮説全体のうちいずれか１つの音声平均パワーとのパワ
ー比を参照し、パワー比が所定の閾値よりも小さい場合
に、間投詞を含んだ仮説の言語尤度を増加させるように
したものである。

【００４３】この発明に係る音声認識方法は、間投詞尤
度増加ステップでは、仮説に含まれた間投詞中における
母音の音声平均パワーと、間投詞前後の単語中における
母音、間投詞前後の文節中における母音または仮説全体
中における母音のうちいずれか１つの音声平均パワーと
のパワー比を参照し、パワー比が所定の閾値よりも小さ
い場合に、仮説の言語尤度を増加させるようにしたもの
である。

【００４４】この発明に係る音声認識方法は、発声区間
の音声ピッチをフレーム毎に検出するピッチ検出ステッ
プと、特定の言い回しデータ記憶手段に記憶された特定
の言い回しを含んだ仮説については、特定の言い回しに
対応する音声ピッチを参照してその言語尤度を増加させ
る仮説尤度増加ステップとを備えるようにしたものであ
る。

【００４５】この発明に係る音声認識方法は、仮説尤度
増加ステップでは、仮説中の特定の言い回しに対応した
音声ピッチの傾きを参照し、傾きが負でその絶対値が所
定の閾値の大きさよりも小さい場合に、仮説の言語尤度
を増加させるようにしたものである。

【００４６】この発明に係る音声認識方法は、仮説尤度
増加ステップでは、特定の言い回しが仮説中の所定の位
置にあり、仮説中の特定の言い回しに対応した音声ピッ
チの傾きを参照し、傾きが負でその絶対値が所定の閾値
の大きさよりも小さい場合に、仮説の言語尤度を増加さ
せるようにしたものである。

【００４７】この発明に係る音声認識方法は、単語変形
ルール記憶手段に記憶された単語変形ルールを参照し
て、言語モデルから取得した単語連鎖を変形して新規単
語を作成するとともに、新規単語を言語モデル記憶ステ
ップに追加する単語変形ステップとを備えるようにした
ものである。

【００４８】この発明に係る音声認識方法は、単語変形
ステップでは、単語変形ルール記憶手段に単語変形ルー
ルとして記憶された単語変形事例の対応表を参照するよ
うにしたものである。

【００４９】この発明に係る音声認識方法は、単語変形
ステップでは、言語モデルから取得した単語連鎖のう
ち、所定の条件を満たすもののみ単語変形ルールを参照
して単語連鎖を変形するようにしたものである。

【００５０】この発明に係る音声認識方法は、単語変形
ステップでは、コーパスに含まれる単語連鎖の出現頻度
が所定数以上であることを所定の条件とするようにした
ものである。

【００５１】この発明に係る音声認識方法は、音響モデ
ル記憶手段の音響モデルを用いて音響特徴ベクトルの最
尤音節列を生成する音節認識ステップと、言語モデル記
憶手段の言語モデルおよび差分モデル記憶手段に記憶さ
れ、音節列のまちがいやすさをデータ化した差分モデル
を用いて最尤音節列の仮説を複数生成する単語列探索ス
テップとから認識ステップが構成されるようにしたもの
である。

【００５２】この発明に係る音声認識プログラムは、発
声中のパワー変動またはピッチ変動に特徴を持つ特定の
単語列を含んだ仮説に関しては、仮説中における特定の
単語列のパワー変動またはピッチ変動を検出し、パワー
変動またはピッチ変動の検出結果に応じてその言語尤度
を変化させるようにしたものである。

【００５３】この発明に係る音声認識プログラムは、単
語変形ルールを参照して、言語モデルから取得した単語
連鎖を変形して記憶するようにしたものである。

【００５４】この発明に係る音声認識プログラムは、発
声区間の音声パワーをフレーム毎に計算するパワー検出
手順と、最尤の仮説を探索する前に、間投詞を含んだ仮
説については、間投詞に対応する音声パワーを参照して
その言語尤度を増加させる間投詞尤度増加手順とを備え
るようにしたものである。

【００５５】この発明に係る音声認識プログラムは、間
投詞尤度増加手順では、仮説に含まれた間投詞の音声平
均パワーと、間投詞前後の単語、間投詞前後の文節また
は仮説全体のうちいずれか１つの音声平均パワーとのパ
ワー比を参照し、パワー比が所定の閾値よりも小さい場
合に、間投詞を含んだ仮説の言語尤度を増加させるよう
にしたものである。

【００５６】この発明に係る音声認識プログラムは、間
投詞尤度増加手順では、仮説に含まれた間投詞中におけ
る母音の音声平均パワーと、間投詞前後の単語中におけ
る母音、間投詞前後の文節中における母音または仮説全
体中における母音のうちいずれか１つの音声平均パワー
とのパワー比を参照し、パワー比が所定の閾値よりも小
さい場合に、仮説の言語尤度を増加させるようにしたも
のである。

【００５７】この発明に係る音声認識プログラムは、発
声区間の音声ピッチをフレーム毎に検出するピッチ検出
手順と、特定の言い回しデータ記憶手段に記憶された特
定の言い回しを含んだ仮説については、特定の言い回し
に対応する音声ピッチを参照してその言語尤度を増加さ
せる仮説尤度増加手順とを備えるようにしたものであ
る。

【００５８】この発明に係る音声認識プログラムは、仮
説尤度増加手順では、仮説中の特定の言い回しに対応し
た音声ピッチの傾きを参照し、傾きが負でその絶対値が
所定の閾値の大きさよりも小さい場合に、仮説の言語尤
度を増加させるようにしたものである。

【００５９】この発明に係る音声認識プログラムは、仮
説尤度増加手順では、特定の言い回しが仮説中の所定の
位置にあり、仮説中の特定の言い回しに対応した音声ピ
ッチの傾きを参照し、傾きが負でその絶対値が所定の閾
値の大きさよりも小さい場合に、仮説の言語尤度を増加
させるようにしたものである。

【００６０】この発明に係る音声認識プログラムは、単
語変形ルール記憶手段に記憶された単語変形ルールを参
照して、言語モデルから取得した単語連鎖を変形して新
規単語を作成するとともに、新規単語を言語モデル記憶
手順に追加する単語変形手順とを備えるようにしたもの
である。

【００６１】この発明に係る音声認識プログラムは、単
語変形手順では、単語変形ルール記憶手段に単語変形ル
ールとして記憶された単語変形事例の対応表を参照する
ようにしたものである。

【００６２】この発明に係る音声認識プログラムは、単
語変形手順では、言語モデルから取得した単語連鎖のう
ち、所定の条件を満たすもののみ単語変形ルールを参照
して単語連鎖を変形するようにしたものである。

【００６３】この発明に係る音声認識プログラムは、単
語変形手順では、コーパスに含まれる単語連鎖の出現頻
度が所定数以上であることを所定の条件とするようにし
たものである。

【００６４】この発明に係る音声認識プログラムは、音
響モデル記憶手段の音響モデルを用いて音響特徴ベクト
ルの最尤音節列を生成する音節認識手順と、言語モデル
記憶手段の言語モデルおよび差分モデル記憶手段に記憶
され、音節列のまちがいやすさをデータ化した差分モデ
ルを用いて最尤音節列の仮説を複数生成する単語列探索
手順とから認識手順が構成されるようにしたものであ
る。

【００６５】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。実施の形態１．図１はこの発明の実施の形態１による音
声認識装置の構成を示す図である。図１において、１は
取り込んだ音声をデジタル信号に変換するマイクなどの
音声入力手段、２は音声入力手段１が取り込んだ音声か
ら無音区間やノイズ区間を除き人間の発声している音声
データの範囲（発声区間）のみを検出する音声切り出し
手段、３は音声切り出し手段２が検出した音声データか
ら音声認識に適するような特徴（音響特徴ベクトル）を
抽出する音響分析手段である。

【００６６】また、図１において、４は音響モデルを記
憶する音響モデル記憶手段、５は音響分析手段３で抽出
した特徴と音響モデル記憶手段４の音響モデルとから尤
もらしい音節列（最尤音節列）を出力する音節認識手段
（第１段階認識手段、認識手段）、６は音声切り出し手
段２が切り出した音声データから音声の強弱を計算する
パワー検出手段、７は尤もらしい認識単語列を探索する
単語列探索手段（第２段階認識手段、認識手段）であ
る。

【００６７】さらに、図１において、８は音節列のまち
がいやすさ（「よ」は「お」と間違えやすいなど）をデ
ータ化した差分モデルを記憶する差分モデル記憶手段
（認識手段）、９はトライグラムなどの言語モデルを記
憶する言語モデル記憶手段、１０はパワーが低い部分で
間投詞が存在する仮説の言語尤度を増加させる間投詞尤
度増加手段である。

【００６８】次に動作について説明する。図２はこの発
明の実施の形態１による音声認識装置の動作を示すフロ
ーチャートである。なお、図２のステップＳＴ１〜ステ
ップＳＴ４は以下の引用文献１に基づいて説明する。

【００６９】引用文献１ ‘ＡＴｗｏ−ＳｔａｇｅＳｐｅｅｃｈＲｅｃｏｇ
ｎｉｔｉｏｎＭｅｔｈｏｄｗｉｔｈＡｎＥｒｒ
ｏｒＣｏｒｒｅｃｔｉｏｎＭｏｄｅｌ’，Ｙ．ａｂ
ｅ，Ｈ．Ｉｔｓｕｉ，Ｙ．Ｍａｒｕｔａ，Ｋ．Ｎａｋａ
ｊｉｍａ，ＩｎＰｒｏｃ．Ｅｕｒｏｓｐｅｅｃｈ’９
９，ｐｐ．４４３−４４６（１９９９）

【００７０】まず音声入力手段１は、入力された音声を
サンプリングしてデジタル信号に変換し、音声切り出し
手段２へ送付する。音声切り出し手段２は、音声切り出
し手段２から入力されたデジタル信号のうち、無音区間
やノイズ区間を除き、実際に音声である部分を切り出す
（ステップＳＴ１）。音響分析手段３は、音声切り出し
手段２が切り出した発声区間の音声データから、フレー
ムｔ毎に音声認識に適するような音響特徴ベクトル（例
えば周知であるメルケプストラムなどの特徴）を抽出す
る（ステップＳＴ２）。

【００７１】パワー検出手段６は音声データの短時間パ
ワーｐｏｗ（ｔ）を各フレーム毎に計算する（ステップ
ＳＴ３）。一方、音節認識手段５は、音響モデル記憶手
段４に記憶されている音響モデルと音響分析手段３が抽
出した音響特徴ベクトルとから音節認識処理を行い、最
適な認識音節列Ｘⁱ＝｛ｘ₁，ｘ₂，…，ｘ_i｝を出力
する（ステップＳＴ４）。ここでｘ_kは音節認識手段５
が出力する最小単位であり、通常は、“ａ”（あ）、
“ｋａ”（か）などの音節である。

【００７２】音節認識手段５が認識音節列Ｘ^ｉを出力す
る手続きについては、例えば文献２（中川聖一著「確率
モデルによる音声認識」電子情報通信学会、１９８８
年）の２０ページから２６ページに開示されている周知
のＯｎｅＰａｓｓＤＰアルゴリズムによって実現す
ることが可能である。このとき、最適な認識音節列Ｘⁱ
に対応して、各音節の開始時刻と終了時刻も確定する。

【００７３】単語列探索手段７は認識候補（以下仮説と
いう）である単語列Ｗ^k＝｛ｗ₁，ｗ₂，…，ｗ_k｝を
複数個作成する（ステップＳＴ５）。間投詞尤度増加手
段１０は単語列Ｗ^kとパワー情報とにしたがって以下の
式（１）で定義されるＰ０を計算する（ステップＳＴ
６）。単語列探索手段７はＰ０を最大にするような単語
列Ｗ^k＝｛ｗ₁，ｗ₂，…，ｗ_k｝を求める（ステップ
ＳＴ７）。

【００７４】Ｐ０＝Ｐ（Ｘⁱ｜Ｙ^m）ｆ（Ｐ（Ｗ^k），ｐｏｗ（ｔ））（１）

【００７５】式（１）において、Ｘ^ｉは音節認識手段５
が出力した音節列であり、Ｙ^mは単語列Ｗ^kを音節表記
した音節列である。最終的な認識結果として、不図示の
認識結果出力手段（認識手段。単語列探索手段７に含め
て考えても良い）は最大の値を与えるような単語列Ｗ^k
を出力する（ステップＳＴ８）。

【００７６】ここで、ステップＳＴ５〜ステップＳＴ８
をより詳細に説明する。Ｙ^m＝｛ｙ₁，ｙ₂，…，
ｙ_m｝は単語列Ｗ^kを音節表記した場合の音節表記列で
あるので、例えばＷ^k＝｛今日、は、晴れ、です｝とい
う単語列であれば、Ｙ^m＝｛ｋｊｏ，ｏ，ｗａ，ｈａ，
ｒｅ，ｄｅ，ｓｕ｝となる。この場合、ｗ₁＝“今
日”、ｗ₂＝“は”、ｗ₃＝“晴れ”、ｗ₄＝“で
す”、ｋ＝４，ｙ₁＝“ｋｊｏ”，ｙ₂＝“ｏ”，ｙ₃
＝“ｗａ”，ｙ₄＝“ｈａ”，ｙ₅＝“ｒｅ”，ｙ₆＝
“ｄｅ”，ｙ₇＝“ｓｕ”，ｍ＝７である。単語の音節
表記が確定していれば、Ｗ^kが定まるとＹ^mは一意に決
定する。

【００７７】式（１）において、Ｐ（Ｘⁱ｜Ｙ^m）は以
下のような意味をもっている。入力された発声が例えば
「今日は晴れです」であっても、一般的には音節認識結
果には誤りを含み得るので、音節認識手段５が出力する
音節列Ｘⁱは、例えばＸⁱ＝｛ｔｏ，ｏ，ｗａ，ａ，ｒ
ｅ，ｄｅ，ｅ，ｓｕ｝「とうはあれでえす」となる。Ｐ
（Ｘⁱ｜Ｙ^m）は、単語列仮説がＷ^k＝｛“今日”、
“は”、“晴れ”、“です”｝であったとき、“ｋｊ
ｏ，ｏ，ｗａ，ｈａ，ｒｅ，ｄｅ，ｓｕ”という音節列
が“ｔｏ，ｏ，ｗａ，ａ，ｒｅ，ｄｅ，ｅ，ｓｕ”とい
う認識音節列であるという条件付き確率を表わす。

【００７８】このような条件付き確率は混同行列（ｃｏ
ｎｆｕｓｉｏｎｍａｔｒｉｘ）と考えることができ、
具体的には引用文献１の式（６）で示されるように、前
もって学習データから学習することによって値を計算し
ておくことができる。

【００７９】一方、Ｐ（Ｗ^k）は言語モデルに基づく言
語尤度と呼ばれ、単語列Ｗ^k＝｛ｗ ₁，ｗ₂，…，
ｗ_k｝が出現する言語的な確率を表わす。言語モデル
は、一般には単語の連鎖に対する制約を記述したもので
ある。従来、言語モデルとしてはＮグラムモデルと呼ば
れる、単語Ｎ個の連鎖の出現する確率を記述するモデル
が一般に用いられている。Ｎとして大きな値をとると組
み合わせの数が膨大となるので、Ｎとしては２，３など
の値が通常用いられる。Ｎ＝２の場合にはバイグラム、
Ｎ＝３の場合にはトライグラムと呼ばれる。ここではト
ライグラムを例にとって説明する。

【００８０】直前の出現単語列がｗ₁，ｗ₂だったと
き、次の単語がｗ₃である条件付確率Ｐ（ｗ₃｜ｗ₁，
ｗ₂）をトライグラムの条件付確率と呼ぶ。この条件付
確率を全ての出現可能な単語列（ｗ₁，ｗ₂，ｗ₃）に
ついて保持したもの（または計算可能にしたもの）がト
ライグラム言語モデルである。この条件付確率は、ある
大きなデータベースにおいて実際に起きる事象をカウン
トすることによって通常得られる。言語モデル用のデー
タベースはコーパスと呼ばれる。新聞などがその用途に
しばしば用いられ、近年は数百万文から構成される大規
模コーパスがよく利用されている。

【００８１】例えばトライグラムの場合、条件付確率Ｐ
（ｗ₃｜ｗ₁，ｗ₂）は、もっとも単純には単語列（ｗ
₁，ｗ₂，ｗ₃）がコーパス内（例えば新聞）に出現す
る単語３連鎖のカウント数Ｎ（ｗ₁，ｗ₂，ｗ₃）を単
語列（ｗ₁，ｗ₂）がコーパス内に出現する単語２連鎖
のカウント数Ｎ（ｗ₁，ｗ₂）で割ることにより得られ
る。すなわち、次の式（２）のようになる。

【００８２】Ｐ（ｗ₃｜ｗ₁，ｗ₂）＝Ｎ（ｗ₁，ｗ₂，ｗ₃）／Ｎ（ｗ₁，ｗ₂）（２）

【００８３】トライグラムを用いると言語尤度Ｐ
（Ｗ^k）は式（３）のように表わすことができる。なお
式（３）において、＄は文頭または文末を表現する記号
である。

【００８４】Ｐ（Ｗ^k）＝Ｐ（ｗ₁，ｗ₂，…，ｗ_k）＝Ｐ（ｗ₁｜＄，＄）・Ｐ（ｗ₂｜＄，ｗ₁）・Ｐ（ｗ₃｜ｗ₁，ｗ₂）・… ・Ｐ（ｗ_k｜ｗ_k-2，ｗ_k-1）・Ｐ（＄｜ｗ_k-1，ｗ_k）・Ｐ（＄｜ｗ_k，＄）（３）

【００８５】ｆ（Ｐ（Ｗ^k），ｐｏｗ（ｔ））は、言語
モデルとパワー情報とから、パワーが低い部分で間投詞
が存在する仮説の言語尤度を増加させる関数である。以
下トライグラム言語モデルを用いて具体的に説明する。
図３は間投詞が存在する仮説の言語尤度を増加させる間
投詞尤度増加手段１０の動作を示すフローチャートであ
り、図４は間投詞尤度増加手段１０の動作を説明するた
めの図である。トライグラム言語モデルを用いた場合、
Ｐ（Ｗ^k）は式（３）のように分解できるので、ここで
はｆ（Ｐ（Ｗ^k），ｐｏｗ（ｔ））も式（４）のように
分解する。

【００８６】ｆ（Ｐ（Ｗ^k），ｐｏｗ（ｔ））＝ｆ（Ｐ（ｗ₁｜＄，＄），ｐｏｗ（ｔ））・ｆ（Ｐ（ｗ₂｜＄，ｗ₁），ｐｏｗ（ｔ））・… ・ｆ（Ｐ（ｗ_k｜ｗ_k-2，ｗ_k-1），ｐｏｗ（ｔ））・ｆ（Ｐ（＄｜ｗ_k，＄），ｐｏｗ（ｔ））（４）

【００８７】間投詞尤度増加手段１０は仮説内の各単語
ｗ_kの開始時刻ｔｓ_kと終了時刻ｔｅ_kとを最初に求め
る（ステップＳＴ９）。これは音節認識結果の出力にお
いて、各音節の開始時刻と終了時刻とが定まっているの
で、図４に示すように容易に求めることができる。い
ま、発声「今日はあのー晴れです」に対して、（誤りを
含んだ）音節認識結果がＸⁱ＝｛ｔｏ，ｏ，ｗａ，ａ，
ｎｏ，ｏ，ａ，ｒｅ，ｄｅ，ｅ，ｓｕ｝であったとす
る。単語列仮説が正解の場合、Ｗ^k＝“今日”、
“は”、“あのー”、“晴れ”、“です”、であってｋ
＝５であり、Ｙ^m＝“ｋｙｏ”，“ｏ”，“ｗａ”，
“ａ”，“ｎｏ”，“ｏ”，“ｈａ”，“ｒｅ”，“ｄ
ｅ”，“ｓｕ”でｍ＝１０である。

【００８８】次に間投詞尤度増加手段１０は各単語ｗ_k
に対応する時刻の始端ｔｓ_kと終端ｔｅ_kとを用いて、
単語ｗ_kの平均パワーを計算する（ステップＳＴ１
０）。単語ｗ_kの平均パワーＰａｖ_kは、式（５）のよ
うに定義される。

【００８９】Ｐａｖ_k＝（ｐｏｗ（ｔｓ_k）＋ｐｏｗ（ｔｓ_k＋１）＋…＋ｐｏｗ（ｔｅ_k））／（ｔｅ_k−ｔｓ_k＋１）（５）

【００９０】次に間投詞尤度増加手段１０は、各単語の
うち、間投詞である単語について上の平均パワーを参照
し、間投詞に対応する音声のパワーが減少していれば、
この仮説はより尤もらしいと判断して言語尤度を増加さ
せる（ステップＳＴ１１）。すなわち、式（６）で表さ
れる処理を行なう。

【００９１】ｆ（Ｐ（ｗ_k｜ｗ_k-2，ｗ_k-1），ｐｏｗ（ｔ））＝αＰ（ｗ_k｜ｗ_k-2，ｗ_k-1）ｗ_kが間投詞であり、Ｐａｖ_k＜β（Ｐａｖ_k-1＋Ｐａｖ_k+1）／２の場合ｆ（Ｐ（ｗ_k｜ｗ_k-2，ｗ_k-1），ｐｏｗ（ｔ））＝Ｐ（ｗ_k｜ｗ_k-2，ｗ_k-1）上記以外の場合（６）

【００９２】ここで、αは定数であり、α＞１である。
またβはパラメータである。α，βは実験的に最適な値
を選択する。なお、ｆ（Ｐ（＄｜ｗ_k-2，ｗ_k-1），ｐ
ｏｗ）≡Ｐ（＄｜ｗ_k-2，ｗ_k-1），ｆ（Ｐ（ｗ₁｜
＄，＄），ｐｏｗ）≡Ｐ（ｗ₁｜＄，＄）とする。

【００９３】この処理の意味は以下のようなものであ
る。すなわち、発声が「今日はあのー晴れです」という
ように間投詞を含む場合、一般には「あのー」の部分が
前後の発声より強調されることはなく、パワーが減少す
る。そこで仮説のうち、間投詞を含む仮説について、そ
の間投詞の位置とパワーの情報とが合致していれば、そ
の仮説は尤もらしさが大きくなったとして尤度を増加さ
せる。

【００９４】以上のようにして、間投詞尤度増加手段１
０は各認識仮説Ｗ^kに対してＰ０を計算し、その後は前
述したように単語列探索手段７が最大の値を与えるよう
なＷ ^kを求め、不図示の認識結果出力手段（認識手段。
単語列探索手段７に含めて考えても良い）は最終的な認
識結果として最大の値を与えるようなＷ^kを出力する
（ステップＳＴ７，ステップＳＴ８）。

【００９５】この例では、正解である仮説「今日はあの
ー晴れです」の尤度は増加し、一方正解でない仮説、例
えば「今日はあ脳晴れです」などの仮説の尤度は増加し
ない。結果として、正解である仮説の尤度が増加するの
で認識性能が向上する。

【００９６】以上のように、この実施の形態１によれ
ば、取り込んだ音声をデジタル信号に変換する音声入力
手段１と、音声入力手段１が変換したデジタル信号から
無音区間やノイズ区間を除いて発声区間のみを検出する
音声切り出し手段２と、発声区間から音響特徴ベクトル
を抽出する音響分析手段３と、音響モデル記憶手段４の
音響モデルを使って音響特徴ベクトルの最尤音節列を出
力する音節認識手段５と、差分モデル記憶手段８の差分
モデルと言語モデル記憶手段９の言語モデルとを使って
最尤音節列の仮説を複数生成するとともに、複数の仮説
から最尤の認識単語列を探索して認識結果として出力す
る単語列探索手段７と、発声区間の音声パワーを各フレ
ーム毎に計算するパワー検出手段６と、間投詞を含む仮
説については、間投詞に対応する音声パワーが減少して
いる場合に、その言語尤度を増加させる間投詞尤度増加
手段１０とを備えるようにしたので、間投詞の特徴であ
る発話の強弱の情報も参照するため、認識性能を向上で
きるという効果が得られる。

【００９７】なお、この実施の形態１（式（６））で
は、間投詞ｗ_kの前後の単語、すなわちｗ_k-1とｗ_k+1内
で平均したパワーＰａｖ_k-1，Ｐａｖ_k+1を用いたが、発
声全体で平均化したパワーを用いることも可能である。
この場合、発声全体の開始時刻と終了時刻とをそれぞれ
ｔｓ，ｔｅとすると、以下の式（７），式（８）のよう
になる。

【００９８】Ｐａｖ＝（ｐｏｗ（ｔｓ）＋ｐｏｗ（ｔｓ＋１）＋…＋ｐｏｗ（ｔｅ））／（ｔｅ−ｔｓ＋１）（７）ｆ（Ｐ（ｗ_k｜ｗ_k-2，ｗ_k-1），ｐｏｗ（ｔ））＝αＰ（ｗ_k｜ｗ_k-2，ｗ_k-1）ｗ_kが間投詞であり、Ｐａｖ_k＜βＰａｖの場合ｆ（Ｐ（ｗ_k｜ｗ_k-2，ｗ_k-1），ｐｏｗ（ｔ））＝Ｐ（ｗ_k｜ｗ_k-2，ｗ_k-1）上記以外の場合（８）

【００９９】また、この実施の形態１（式（６））で
は、間投詞ｗ_kの前後の単語ｗ_k-1，ｗ_k+1で平均した
パワーＰａｖ_k-1，Ｐａｖ_k+1を用いたが、前後の文節
の単位で平均したパワーを用いることも可能である。前
後の文節の単位を用いた場合には格助詞など短い単語が
存在しないため、パワー検出の信頼性が向上するという
利点がある。

【０１００】さらに、この実施の形態１（式（６））で
は、間投詞ｗ_kの前後の単語ｗ_k-1，ｗ_k+1で平均した
パワーＰａｖ_k-1，Ｐａｖ_k+1を用いたが、間投詞ｗ_k
のうちの母音に相当する部分の平均パワーと、前後の単
語ｗ_k-1，ｗ_k+1のうちの母音に相当する部分の平均パ
ワーとを用いることも可能である。この場合、パワー変
動の大きい子音が除かれ、パワーが安定している母音の
情報を用いるので、より精度が向上する利点がある。

【０１０１】さらに、この実施の形態１では、間投詞ｗ
_kのうちの母音に相当する部分の平均パワーと、前後の
文節のうちの母音に相当する部分の平均パワーとを用い
ることも可能である。この場合でもパワー変動の大きい
子音が除かれ、パワーが安定している母音の情報を用い
るので、より精度が向上する利点がある。もちろん、間
投詞ｗ_kのうちの母音に相当する部分の平均パワーと、
発声全体のうちの母音に相当する部分の平均パワーとを
用いても良い。

【０１０２】さらに、この実施の形態１では、引用文献
１による認識処理をもとに説明したが、その他の認識方
式、例えば文献３（李他、「日本音響学会１９９９年春
季研究発表会２−１−１２」）に採用されている認識方
式でも同様な処理が可能であることは言うまでもない。

【０１０３】実施の形態２．図５はこの発明の実施の形
態２による音声認識装置の構成を示す図である。図６は
特定の言い回しデータ記憶手段１２に記憶されている特
定の言い回しデータの例を示す図である。また図７はこ
の発明の実施の形態２による音声認識装置の動作を示す
フローチャートである。図５において、１１は音声のピ
ッチ（音の高低）を検出するピッチ検出手段、１２は特
定の言い回しデータ記憶手段、１３は仮説尤度増加手段
である。

【０１０４】次にこの実施の形態２の概略について説明
する。一般的に、自由な発声では、読み上げ調の発声よ
りも話速やピッチに変動が大きい。特に、文章末で決ま
ったような特定の言い回し（例えば「〜ではないでしょ
うか」、「〜と思います」、「〜お願いします」など）
では、話速が速くなり、発声がなまける場合がある。さ
らにその場合にはピッチが下がる場合が多い。

【０１０５】このような発声がなまけるような場合で
は、従来の音声認識装置では音声認識の精度が低下して
しまう。そこでこの実施の形態２では、発話の最後の方
でピッチが複数音節にまたがって下がっている場合、話
速が上がっている可能性が高く、特定の言い回しである
可能性が高いと判断し（例えば「〜ではないでしょう
か」、「〜と思います」、「〜お願いします」など）、
それらの特定の言い回しを含む認識単語候補列の尤度を
増加させ、認識性能を向上させるものである。

【０１０６】次に動作について説明する。ステップＳＴ
１〜ステップＳＴ２は実施の形態１と同様の動作なので
説明を省略する。次にピッチ検出手段１１は各フレーム
毎に音声のピッチＦ０（ｔ）を計算する（ステップＳＴ
１２）。ピッチの具体的な計算方法は、例えば文献４
（Ｌ．Ｒ．Ｒａｂｉｎｅｒ，Ｒ．Ｗ．Ｓｃｈａｆｅｒ
著、鈴木久喜訳「音声のディジタル信号処理（下）」コ
ロナ社、１９８３年）の１３５ページから１４０ページ
に開示されている。次のステップＳＴ４〜ステップＳＴ
５は実施の形態１と同様の動作なので説明を省略する。

【０１０７】仮説尤度増加手段１３は、Ｗ^kとピッチ情
報とにしたがって式（９）で定義されるＰ０を計算する
（ステップＳＴ１３）。単語列探索手段７はＰ０を最大
にするような単語列Ｗ^k＝｛ｗ₁，ｗ₂，…，ｗ_k｝を
求める（ステップＳＴ７）。不図示の認識結果出力手段
（認識手段。単語列探索手段７に含めて考えても良い）
は最終的な認識結果として最大の値を与えるようなＷ^k
を出力する（ステップＳＴ８）。

【０１０８】Ｐ０＝Ｐ（Ｘⁱ｜Ｙ^m）・Ｐ（Ｗ^k）・ｇ（Ｗ^k，Ｆ０（ｔ））（９）

【０１０９】ここで、ステップＳＴ１２〜ステップＳＴ
８をより詳細に説明する。ｇ（Ｗ^k，Ｆ０（ｔ））は、
特定の言い回しデータとピッチ情報Ｆ０（ｔ）とから、
上述したような、文章末で決まったような特定の言い回
しでの認識精度の劣化を防ぐために、仮説の言語尤度を
増加させる関数である。

【０１１０】図８は仮説の尤度を増加させる仮説尤度増
加手段１３の動作を示すフローチャートである。最初に
仮説尤度増加手段１３は、仮説内の各単語ｗ_kの開始時
刻ｔｓ_kと終了時刻ｔｅ_kとを求める（ステップＳＴ
９）。これは実施の形態１と同様なので詳細な説明は省
略する。

【０１１１】次に仮説尤度増加手段１３は、仮説の単語
列Ｗ^ｋの最後の方の部分単語列に、特定の言い回しに一
致するものがあるかどうかを調べる（ステップＳＴ１
４）。すなわち、ｗ_k-1ｗ_k，ｗ_k-2ｗ_k-1ｗ_k，ｗ
_k-3ｗ_k-2ｗ_k-1ｗ_k，…などについて、特定の言い回
しデータ記憶手段１２に記憶されている特定の言い回し
データに一致するものがあるかを調べる。

【０１１２】もしも、仮説の単語列Ｗ^kの最後の方の部
分単語列（これをＷとする）に特定の言い回しデータに
一致するものがある場合には、仮説尤度増加手段１３は
Ｗに対応する時刻の始端ｔｓｗと終端ｔｅｗとを用い
て、部分単語列Ｗのピッチの傾きＦａｖ_kを計算する
（ステップＳＴ１５）。ピッチＦ０（ｔ）の微分をＦ
０’（ｔ）とすると、部分単語列Ｗのピッチの傾きは、
式（１０）のように定義される。

【０１１３】Ｆａｖ_k ＝（Ｆ０’（ｔｓｗ）＋Ｆ０’（ｔｓｗ＋１）＋…＋Ｆ０’（ｔｅｗ））／（ｔｅｗ−ｔｓｗ＋１）（１０）

【０１１４】次に仮説尤度増加手段１３は、特定の言い
回しデータに部分単語列Ｗが一致しており、かつ発声の
最後でピッチＦ０が急激に下がっている場合に、その仮
説の尤度を増加させる（ステップＳＴ１６）。すなわ
ち、式（１１）のようにする。なお、ここでα，γは定
数であり、α＞１，γ＜０である。α，γは実験的に最
適な値を選択する。

【０１１５】ｇ（Ｗ^k，Ｆ０（ｔ））＝α Ｗ^kの最後の部分単語列Ｗが特定の言い回しに一致しておりＦａｖ_k＜γの場合ｇ（Ｗ^k，Ｆ０（ｔ））＝１上記以外の場合（１１）

【０１１６】次に図９に具体的な例を用いてこの処理を
説明する。図９は仮説尤度増加手段１３の動作を説明す
るための図である。ここでは、発声が「天気だと思いま
す」という場合を考える（「思います」は早口で発声す
る）。このとき、音節認識手段５は、尤もらしい音節列
「ｔｅ，Ｎ，ｋｉ，ｄａ，ｔｏ，ｍｏ，ｉ，ｍａ，ｓ
ｕ」（てんきだともいます）を出力する。ここでは、
「思います」が速く発声されているため、「おもいま
す」であるべきところを「もいます」と１音節脱落して
認識したとする。

【０１１７】単語列探索手段７は、差分モデルと言語モ
デルとから「ｔｅ，Ｎ，ｋｉ，ｄａ，ｔｏ，ｍｏ，ｉ，
ｍａ，ｓｕ」に対する認識候補単語列を作成する。例え
ば、「天気だ友います」と「天気だと思います」とが認
識候補単語列である。仮説「天気だと思います」の方で
は、差分モデルから、「おも」は「も」に間違える可能
性があるという情報を用いているので、仮説として存在
する。

【０１１８】仮説尤度増加手段１３は、特定の言い回し
データ記憶手段１２を参照して、仮説の単語列の後方に
ｗ₄ｗ₅＝「思います」という部分文字列が、特定の言
い回しに一致することを検出する。次に上述のように、
ピッチの傾きＦａｖ_kとｇ（Ｗ^k，Ｆ０（ｔ））とを計
算する。この場合、ｗ₄ｗ₅の部分でピッチＦ０が急激
に下がっているので式（１１）第１式の条件を満たし、
尤度が増加される。一方、正解でない仮説「天気だ友い
ます」の場合は、特定の言い回しに一致する部分単語列
がないので尤度は増加させない。最終的に仮説「天気だ
と思います」が尤度上有利になるので認識結果として出
力される。

【０１１９】以上のように、この実施の形態２によれ
ば、取り込んだ音声をデジタル信号に変換する音声入力
手段１と、音声入力手段１が変換したデジタル信号から
無音区間やノイズ区間を除いて発声区間のみを検出する
音声切り出し手段２と、発声区間から音響特徴ベクトル
を抽出する音響分析手段３と、音響モデル記憶手段４の
音響モデルを使って音響特徴ベクトルの最尤音節列を出
力する音節認識手段５と、差分モデル記憶手段８の差分
モデルと言語モデル記憶手段９の言語モデルとを使って
最尤音節列の仮説を複数生成するとともに、複数の仮説
から最尤の認識単語列を探索して認識結果として出力す
る単語列探索手段７と、発声区間の音声ピッチを各フレ
ーム毎に検出するピッチ検出手段１１と、特定の言い回
しデータを記憶する特定の言い回しデータ記憶手段１２
と、特定の言い回しデータ記憶手段１２中の特定の言い
回しデータが認識候補単語列に含まれている場合には、
特定の言い回しに対応する音声ピッチの傾きＦａｖ_kが
所定の閾値γ以下の場合に、その言語尤度を増加させる
仮説尤度増加手段１３とを備えるようにしたので、話速
が速くなって認識音節列が多少脱落しても、特定の言い
回しを含んでいれば尤度を増加させるので、認識性能を
向上できるという効果が得られる。

【０１２０】なお、以上では、「〜ではないでしょう
か」、「〜と思います」、「〜お願いします」などの文
章末における特定の言い回しについて説明してきたが、
例えば発声の文頭や途中に用いられる特定の言い回しに
ついてもこの実施の形態２を適用することが可能であ
り、発声中における特定の言い回しの位置が特に限定さ
れるものではない。また、仮説中における特定の言い回
しの位置（文頭や文章末）も考慮することにより、認識
性能をより向上できるようになる。

【０１２１】実施の形態３．図１０はこの発明の実施の
形態３による音声認識装置の構成を示す図であり、図１
１はこの発明の実施の形態３による音声認識装置の動作
を示すフローチャートである。図１０において、１４は
単語変形ルール記憶手段、１５は単語変形手段である。
この実施の形態３は、口語表現で頻出するなまけや脱落
が生じた単語列が発声されても、認識性能が劣化しない
音声認識装置を提供するものである。

【０１２２】次に動作について説明する。単語変形ルー
ル記憶手段１４は、例えば以下のような単語変形ルール
を持っておく。

【０１２３】（単語変形ルール１）２つの連続した母
音音節は片方を省略できる。（単語変形ルール２）単語列「ｔｏｙｕｕ（とい
う）」は「ｃｈｕｕ（ちゅう）」と変形する。

【０１２４】単語変形手段１５は、単語と単語の組み合
わせの情報とを言語モデル記憶手段９から取得する（ス
テップＳＴ１７）。具体的には、コーパス内でＮ
（ｗ₁，ｗ ₂，ｗ₃）＞０であるようなｗ₁−ｗ₂−ｗ
₃の組を単語の組み合わせ情報として取得する。

【０１２５】次に単語変形手段１５は、言語モデル記憶
手段９から取得した単語の組み合わせの情報から、単語
変形ルール記憶手段１４の単語変形ルールに合致するも
のがあれば、変形させたものを新しい単語として作成す
る（ステップＳＴ１８）。

【０１２６】例えば、「思い」、「ます」という単語の
組み合わせ「思います（ｏｍｏｉｍａｓｕ）」からは、
単語変形ルール１を適用して「思います（ｏｍｏｍａｓ
ｕ，読み：おもます、ｉを省略）」、「思います（ｏｍ
ｉｍａｓｕ，読み：おみます、ｏを省略）」という変形
を新しい単語として作成する。あるいは、「車という
（ｋｕｒｕｍａｔｏｙｕｕ）」という単語の組み合わせ
からは、「車という（ｋｕｒｕｍａｃｈｕｕ，読み：く
るまちゅう）」という変形を単語として作成する。いず
れも、かな漢字表記は同じで、読みが変形されている。

【０１２７】そして、単語変形手段１５は作成した新し
い単語を言語モデル記憶手段９に追加する（ステップＳ
Ｔ１９）。以降の認識処理は実施の形態１と同様なので
説明は省略する。

【０１２８】以上のように、この実施の形態３によれ
ば、単語変形ルール１，２を記憶する単語変形ルール記
憶手段１４と、単語変形ルール１，２を参照して、言語
モデル記憶手段９から取得した単語連鎖「思います（ｏ
ｍｏｉｍａｓｕ）」、「車という（ｋｕｒｕｍａｔｏｙ
ｕｕ）」を変形して新規単語「思います（ｏｍｏｍａｓ
ｕ）」、「思います（ｏｍｉｍａｓｕ）」、「車という
（ｋｕｒｕｍａｃｈｕｕ）」を作成するとともに、新規
単語「思います（ｏｍｏｍａｓｕ）」、「思います（ｏ
ｍｉｍａｓｕ）」、「車という（ｋｕｒｕｍａｃｈｕ
ｕ）」を言語モデル記憶手段９に追加する単語変形手段
１５とを備えるようにしたので、なまけや脱落が生じや
すい単語について、話速が速くなって発話のなまけや音
節の省略が起きても、認識性能を向上できるという効果
が得られる。

【０１２９】なお、単語変形ルール記憶手段１４が持っ
ている単語変形ルールは、もちろん上述したものに限ら
ず、単語変換規則のルールでも良いし、具体的な単語変
換の事例集でも良い。

【０１３０】また、単語変形手段１５は言語モデル記憶
手段９から取得した単語の組み合わせのうち所定の条件
を満たすもの、例えばコーパス中で頻度が高いものの
み、すなわちＮ（ｗ₁，ｗ₂，ｗ₃）＞ＴＨ（ＴＨは所
定閾値）であるようなｗ₁−ｗ ₂−ｗ₃のみを対象とし
て、単語変形ルールを適用させても良い。この場合、適
用させる単語の組み合わせを少なくすることができ、言
語モデルの規模を抑えることができるという効果が得ら
れる。

【０１３１】さらに、図１０の音声認識装置では、単語
変形ルール記憶手段１４，単語変形手段１５を実施の形
態１の音声認識装置（図１）に適用した構成としている
が、この実施の形態３はこれに限定されるものではな
く、実施の形態２の音声認識装置（図５）やその他の音
声認識装置にも適用可能である。

【０１３２】以上述べた実施の形態１〜実施の形態３
は、装置・方法に限定されるものではなく、ソフトウエ
ア（プログラム）によっても実現することが可能であ
り、同様の効果が得られる。加えて、このソフトウエア
は通信媒体を介してコンピュータにダウンロードされる
ものであっても構わない。もちろん、ソフトウエアによ
ってこの発明を実現する場合には、この発明の動作（方
法）を手順化してソフトウエアとし、このソフトウエア
をコンピュータに読取らせて実行させるようにすれば良
い。

【０１３３】

【発明の効果】以上のように、この発明によれば、発声
中のパワー変動またはピッチ変動に特徴を持つ特定の単
語列を含んだ仮説に関しては、仮説中における特定の単
語列のパワー変動またはピッチ変動を検出し、パワー変
動またはピッチ変動の検出結果に応じてその言語尤度を
変化させるようにしたので、発話の強弱や話速も参照し
て音声認識するようになり、認識性能を向上できるとい
う効果が得られる。

【０１３４】この発明によれば、単語変形ルールを参照
して、言語モデルから取得した単語連鎖を変形して記憶
するようにしたので、なまけや脱落が生じやすい単語に
ついて、話速が速くなって発話のなまけや音節の省略が
起きても、認識性能を向上できるという効果が得られ
る。

【０１３５】この発明によれば、発声区間の音声パワー
をフレーム毎に計算するパワー検出手段と、最尤の仮説
を探索する前に、間投詞を含んだ仮説については、間投
詞に対応する音声パワーを参照してその言語尤度を増加
させる間投詞尤度増加手段とを備えるようにしたので、
間投詞の特徴である発話の強弱の情報も参照するため、
認識性能を向上できるという効果が得られる。

【０１３６】この発明によれば、仮説に含まれた間投詞
の音声平均パワーと、間投詞前後の単語、間投詞前後の
文節または仮説全体のうちいずれか１つの音声平均パワ
ーとのパワー比を間投詞尤度増加手段が参照し、パワー
比が所定の閾値よりも小さい場合に、間投詞を含んだ仮
説の言語尤度を間投詞尤度増加手段が増加させるように
したので、間投詞の特徴である発話の強弱の情報も参照
するため、認識性能を向上できるという効果が得られ
る。

【０１３７】この発明によれば、仮説に含まれた間投詞
中における母音の音声平均パワーと、間投詞前後の単語
中における母音、間投詞前後の文節中における母音また
は仮説全体中における母音のうちいずれか１つの音声平
均パワーとのパワー比を間投詞尤度増加手段が参照し、
パワー比が所定の閾値よりも小さい場合に、仮説の言語
尤度を間投詞尤度増加手段が増加させるようにしたの
で、間投詞の特徴である発話の強弱の情報も参照するた
め、認識性能を向上できるという効果が得られ、パワー
変動の大きい子音が除かれ、パワーが安定している母音
の情報を用いるので、より精度を向上できるという効果
が得られる。

【０１３８】この発明によれば、特定の言い回しを記憶
する特定の言い回しデータ記憶手段と、発声区間の音声
ピッチをフレーム毎に検出するピッチ検出手段と、特定
の言い回しを含んだ仮説については、特定の言い回しに
対応する音声ピッチを参照してその言語尤度を増加させ
る仮説尤度増加手段とを備えるようにしたので、話速が
速くなって認識音節列が多少脱落しても、特定の言い回
しを含んでいれば尤度を増加させるので、認識性能を向
上できるという効果が得られる。

【０１３９】この発明によれば、仮説中の特定の言い回
しに対応した音声ピッチの傾きを仮説尤度増加手段が参
照し、傾きが負でその絶対値が所定の閾値の大きさより
も小さい場合に、仮説の言語尤度を仮説尤度増加手段が
増加させるようにしたので、話速が速くなって認識音節
列が多少脱落しても、特定の言い回しを含んでいれば尤
度を増加させるので、認識性能を向上できるという効果
が得られる。

【０１４０】この発明によれば、特定の言い回しが仮説
中の所定の位置にあり、仮説中の特定の言い回しに対応
した音声ピッチの傾きを仮説尤度増加手段が参照し、傾
きが負でその絶対値が所定の閾値の大きさよりも小さい
場合に、仮説の言語尤度を仮説尤度増加手段が増加させ
るようにしたので、話速が速くなって認識音節列が多少
脱落しても、特定の言い回しを含んでいれば尤度を増加
させるので、認識性能を向上できるという効果が得ら
れ、また、仮説中における特定の言い回しの位置も考慮
することにより、認識性能をより向上できるという効果
が得られる。

【０１４１】この発明によれば、単語変形ルールを記憶
する単語変形ルール記憶手段と、単語変形ルールを参照
して、言語モデルから取得した単語連鎖を変形して新規
単語を作成するとともに、新規単語を言語モデル記憶手
段に追加する単語変形手段とを備えるようにしたので、
なまけや脱落が生じやすい単語について、話速が速くな
って発話のなまけや音節の省略が起きても、認識性能を
向上できるという効果が得られる。

【０１４２】この発明によれば、単語変形ルールとし
て、単語変形事例の対応表を単語変形ルール記憶手段が
記憶するようにしたので、単語変形を容易に行なうこと
ができるという効果が得られる。

【０１４３】この発明によれば、言語モデルから取得し
た単語連鎖のうち、所定の条件を満たすもののみ単語変
形ルールを参照して単語変形手段が単語連鎖を変形する
ようにしたので、適用させる単語の組み合わせを少なく
することができ、言語モデルの規模を抑えることができ
るという効果が得られる。

【０１４４】この発明によれば、コーパスに含まれる単
語連鎖の出現頻度が所定数以上であることを単語変形手
段が所定の条件とするようにしたので、適用させる単語
の組み合わせを少なくすることができ、言語モデルの規
模を抑えることができるという効果が得られる。

【０１４５】この発明によれば、音響モデル記憶手段の
音響モデルを用いて音響特徴ベクトルの最尤音節列を生
成する音節認識手段と、音節列のまちがいやすさをデー
タ化した差分モデルを記憶する差分モデル記憶手段と、
言語モデル記憶手段の言語モデルおよび差分モデル記憶
手段の差分モデルを用いて最尤音節列の仮説を複数生成
する単語列探索手段とから認識手段が構成されるように
したので、認識処理における負担を分散できるという効
果が得られる。

【０１４６】この発明によれば、発声中のパワー変動ま
たはピッチ変動に特徴を持つ特定の単語列を含んだ仮説
に関しては、仮説中における特定の単語列のパワー変動
またはピッチ変動を検出し、パワー変動またはピッチ変
動の検出結果に応じてその言語尤度を変化させるように
したので、発話の強弱や話速も参照して音声認識するよ
うになり、認識性能を向上できるという効果が得られ
る。

【０１４７】この発明によれば、単語変形ルールを参照
して、言語モデルから取得した単語連鎖を変形して記憶
するようにしたので、なまけや脱落が生じやすい単語に
ついて、話速が速くなって発話のなまけや音節の省略が
起きても、認識性能を向上できるという効果が得られ
る。

【０１４８】この発明によれば、発声区間の音声パワー
をフレーム毎に計算するパワー検出ステップと、最尤の
仮説を探索する前に、間投詞を含んだ仮説については、
間投詞に対応する音声パワーを参照してその言語尤度を
増加させる間投詞尤度増加ステップとを備えるようにし
たので、間投詞の特徴である発話の強弱の情報も参照す
るため、認識性能を向上できるという効果が得られる。

【０１４９】この発明によれば、間投詞尤度増加ステッ
プでは、仮説に含まれた間投詞の音声平均パワーと、間
投詞前後の単語、間投詞前後の文節または仮説全体のう
ちいずれか１つの音声平均パワーとのパワー比を参照
し、パワー比が所定の閾値よりも小さい場合に、間投詞
を含んだ仮説の言語尤度を増加させるようにしたので、
間投詞の特徴である発話の強弱の情報も参照するため、
認識性能を向上できるという効果が得られる。

【０１５０】この発明によれば、間投詞尤度増加ステッ
プでは、仮説に含まれた間投詞中における母音の音声平
均パワーと、間投詞前後の単語中における母音、間投詞
前後の文節中における母音または仮説全体中における母
音のうちいずれか１つの音声平均パワーとのパワー比を
参照し、パワー比が所定の閾値よりも小さい場合に、仮
説の言語尤度を増加させるようにしたので、間投詞の特
徴である発話の強弱の情報も参照するため、認識性能を
向上できるという効果が得られ、パワー変動の大きい子
音が除かれ、パワーが安定している母音の情報を用いる
ので、より精度を向上できるという効果が得られる。

【０１５１】この発明によれば、発声区間の音声ピッチ
をフレーム毎に検出するピッチ検出ステップと、特定の
言い回しデータ記憶手段に記憶された特定の言い回しを
含んだ仮説については、特定の言い回しに対応する音声
ピッチを参照してその言語尤度を増加させる仮説尤度増
加ステップとを備えるようにしたので、話速が速くなっ
て認識音節列が多少脱落しても、特定の言い回しを含ん
でいれば尤度を増加させるので、認識性能を向上できる
という効果が得られる。

【０１５２】この発明によれば、仮説尤度増加ステップ
では、仮説中の特定の言い回しに対応した音声ピッチの
傾きを参照し、傾きが負でその絶対値が所定の閾値の大
きさよりも小さい場合に、仮説の言語尤度を増加させる
ようにしたので、話速が速くなって認識音節列が多少脱
落しても、特定の言い回しを含んでいれば尤度を増加さ
せるので、認識性能を向上できるという効果が得られ
る。

【０１５３】この発明によれば、仮説尤度増加ステップ
では、特定の言い回しが仮説中の所定の位置にあり、仮
説中の特定の言い回しに対応した音声ピッチの傾きを参
照し、傾きが負でその絶対値が所定の閾値の大きさより
も小さい場合に、仮説の言語尤度を増加させるようにし
たので、話速が速くなって認識音節列が多少脱落して
も、特定の言い回しを含んでいれば尤度を増加させるの
で、認識性能を向上できるという効果が得られ、また、
仮説中における特定の言い回しの位置も考慮することに
より、認識性能をより向上できるという効果が得られ
る。

【０１５４】この発明によれば、単語変形ルール記憶手
段に記憶された単語変形ルールを参照して、言語モデル
から取得した単語連鎖を変形して新規単語を作成すると
ともに、新規単語を言語モデル記憶ステップに追加する
単語変形ステップとを備えるようにしたので、なまけや
脱落が生じやすい単語について、話速が速くなって発話
のなまけや音節の省略が起きても、認識性能を向上でき
るという効果が得られる。

【０１５５】この発明によれば、単語変形ステップで
は、単語変形ルール記憶手段に単語変形ルールとして記
憶された単語変形事例の対応表を参照するようにしたの
で、単語変形を容易に行なうことができるという効果が
得られる。

【０１５６】この発明によれば、単語変形ステップで
は、言語モデルから取得した単語連鎖のうち、所定の条
件を満たすもののみ単語変形ルールを参照して単語連鎖
を変形するようにしたので、適用させる単語の組み合わ
せを少なくすることができ、言語モデルの規模を抑える
ことができるという効果が得られる。

【０１５７】この発明によれば、単語変形ステップで
は、コーパスに含まれる単語連鎖の出現頻度が所定数以
上であることを所定の条件とするようにしたので、適用
させる単語の組み合わせを少なくすることができ、言語
モデルの規模を抑えることができるという効果が得られ
る。

【０１５８】この発明によれば、音響モデル記憶手段の
音響モデルを用いて音響特徴ベクトルの最尤音節列を生
成する音節認識ステップと、言語モデル記憶手段の言語
モデルおよび差分モデル記憶手段に記憶され、音節列の
まちがいやすさをデータ化した差分モデルを用いて最尤
音節列の仮説を複数生成する単語列探索ステップとから
認識ステップが構成されるようにしたので、認識処理に
おける負担を分散できるという効果が得られる。

【０１５９】この発明によれば、発声中のパワー変動ま
たはピッチ変動に特徴を持つ特定の単語列を含んだ仮説
に関しては、仮説中における特定の単語列のパワー変動
またはピッチ変動を検出し、パワー変動またはピッチ変
動の検出結果に応じてその言語尤度を変化させるように
したので、発話の強弱や話速も参照して音声認識するよ
うになり、認識性能を向上できるという効果が得られ
る。

【０１６０】この発明によれば、単語変形ルールを参照
して、言語モデルから取得した単語連鎖を変形して記憶
するようにしたので、なまけや脱落が生じやすい単語に
ついて、話速が速くなって発話のなまけや音節の省略が
起きても、認識性能を向上できるという効果が得られ
る。

【０１６１】この発明によれば、発声区間の音声パワー
をフレーム毎に計算するパワー検出手順と、最尤の仮説
を探索する前に、間投詞を含んだ仮説については、間投
詞に対応する音声パワーを参照してその言語尤度を増加
させる間投詞尤度増加手順とを備えるようにしたので、
間投詞の特徴である発話の強弱の情報も参照するため、
認識性能を向上できるという効果が得られる。

【０１６２】この発明によれば、間投詞尤度増加手順で
は、仮説に含まれた間投詞の音声平均パワーと、間投詞
前後の単語、間投詞前後の文節または仮説全体のうちい
ずれか１つの音声平均パワーとのパワー比を参照し、パ
ワー比が所定の閾値よりも小さい場合に、間投詞を含ん
だ仮説の言語尤度を増加させるようにしたので、間投詞
の特徴である発話の強弱の情報も参照するため、認識性
能を向上できるという効果が得られる。

【０１６３】この発明によれば、間投詞尤度増加手順で
は、仮説に含まれた間投詞中における母音の音声平均パ
ワーと、間投詞前後の単語中における母音、間投詞前後
の文節中における母音または仮説全体中における母音の
うちいずれか１つの音声平均パワーとのパワー比を参照
し、パワー比が所定の閾値よりも小さい場合に、仮説の
言語尤度を増加させるようにしたので、間投詞の特徴で
ある発話の強弱の情報も参照するため、認識性能を向上
できるという効果が得られ、パワー変動の大きい子音が
除かれ、パワーが安定している母音の情報を用いるの
で、より精度を向上できるという効果が得られる。

【０１６４】この発明によれば、発声区間の音声ピッチ
をフレーム毎に検出するピッチ検出手順と、特定の言い
回しデータ記憶手段に記憶された特定の言い回しを含ん
だ仮説については、特定の言い回しに対応する音声ピッ
チを参照してその言語尤度を増加させる仮説尤度増加手
順とを備えるようにしたので、話速が速くなって認識音
節列が多少脱落しても、特定の言い回しを含んでいれば
尤度を増加させるので、認識性能を向上できるという効
果が得られる。

【０１６５】この発明によれば、仮説尤度増加手順で
は、仮説中の特定の言い回しに対応した音声ピッチの傾
きを参照し、傾きが負でその絶対値が所定の閾値の大き
さよりも小さい場合に、仮説の言語尤度を増加させるよ
うにしたので、話速が速くなって認識音節列が多少脱落
しても、特定の言い回しを含んでいれば尤度を増加させ
るので、認識性能を向上できるという効果が得られる。

【０１６６】この発明によれば、仮説尤度増加手順で
は、特定の言い回しが仮説中の所定の位置にあり、仮説
中の特定の言い回しに対応した音声ピッチの傾きを参照
し、傾きが負でその絶対値が所定の閾値の大きさよりも
小さい場合に、仮説の言語尤度を増加させるようにした
ので、話速が速くなって認識音節列が多少脱落しても、
特定の言い回しを含んでいれば尤度を増加させるので、
認識性能を向上できるという効果が得られ、また、仮説
中における特定の言い回しの位置も考慮することによ
り、認識性能をより向上できるという効果が得られる。

【０１６７】この発明によれば、単語変形ルール記憶手
段に記憶された単語変形ルールを参照して、言語モデル
から取得した単語連鎖を変形して新規単語を作成すると
ともに、新規単語を言語モデル記憶手順に追加する単語
変形手順とを備えるようにしたので、なまけや脱落が生
じやすい単語について、話速が速くなって発話のなまけ
や音節の省略が起きても、認識性能を向上できるという
効果が得られる。

【０１６８】この発明によれば、単語変形手順では、単
語変形ルール記憶手段に単語変形ルールとして記憶され
た単語変形事例の対応表を参照するようにしたので、単
語変形を容易に行なうことができるという効果が得られ
る。

【０１６９】この発明によれば、単語変形手順では、言
語モデルから取得した単語連鎖のうち、所定の条件を満
たすもののみ単語変形ルールを参照して単語連鎖を変形
するようにしたので、適用させる単語の組み合わせを少
なくすることができ、言語モデルの規模を抑えることが
できるという効果が得られる。

【０１７０】この発明によれば、単語変形手順では、コ
ーパスに含まれる単語連鎖の出現頻度が所定数以上であ
ることを所定の条件とするようにしたので、適用させる
単語の組み合わせを少なくすることができ、言語モデル
の規模を抑えることができるという効果が得られる。

【０１７１】この発明によれば、音響モデル記憶手段の
音響モデルを用いて音響特徴ベクトルの最尤音節列を生
成する音節認識手順と、言語モデル記憶手段の言語モデ
ルおよび差分モデル記憶手段に記憶され、音節列のまち
がいやすさをデータ化した差分モデルを用いて最尤音節
列の仮説を複数生成する単語列探索手順とから認識手順
が構成されるようにしたので、認識処理における負担を
分散できるという効果が得られる。

【図面の簡単な説明】

【図１】この発明の実施の形態１による音声認識装置
の構成を示す図である。

【図２】この発明の実施の形態１による音声認識装置
の動作を示すフローチャートである。

【図３】間投詞が存在する仮説の言語尤度を増加させ
る間投詞尤度増加手段の動作を示すフローチャートであ
る。

【図４】間投詞尤度増加手段の動作を説明するための
図である。

【図５】この発明の実施の形態２による音声認識装置
の構成を示す図である。

【図６】特定の言い回しデータ記憶手段に記憶されて
いる特定の言い回しデータの例を示す図である。

【図７】この発明の実施の形態２による音声認識装置
の動作を示すフローチャートである。

【図８】仮説の尤度を増加させる仮説尤度増加手段の
動作を示すフローチャートである。

【図９】仮説尤度増加手段の動作を説明するための図
である。

【図１０】この発明の実施の形態３による音声認識装
置の構成を示す図である。

【図１１】この発明の実施の形態３による音声認識装
置の動作を示すフローチャートである。

【図１２】特開２００１−１３９８８公報に開示され
た従来の音声認識装置の構成を示す図である。

【図１３】無音区間検出部によって無音区間が検出さ
れた信号の様子を概念的に表わす図である。

【図１４】照合に用いられるＨＭＭの構造を表わす図
である。

【図１５】図１４の構造のＨＭＭを用いたパターン照
合方式を説明するためのフローチャートである。

【符号の説明】

１音声入力手段、２音声切り出し手段、３音響分
析手段、４音響モデル記憶手段、５音節認識手段
（認識手段）、６パワー検出手段、７単語列探索手
段（認識手段）、８差分モデル記憶手段（認識手
段）、９言語モデル記憶手段、１０間投詞尤度増加
手段、１１ピッチ検出手段、１２特定の言い回しデ
ータ記憶手段、１３仮説尤度増加手段、１４単語変
形ルール記憶手段、１５単語変形手段。

───────────────────────────────────────────────────── フロントページの続き (72)発明者阿部芳春東京都千代田区丸の内二丁目２番３号三菱電機株式会社内Ｆターム(参考） 5D015 BB01 CC13 CC14 DD03 HH23

Claims

【特許請求の範囲】

【請求項１】発声を音響分析して上記発声の最尤音節
列を生成するとともに、上記最尤音節列から複数の仮説
を生成し、上記複数の仮説から最尤の仮説を選択して上
記発声の認識結果として出力する音声認識装置におい
て、上記発声中のパワー変動またはピッチ変動に特徴を持つ
特定の単語列を含んだ上記仮説に関しては、上記仮説中
における上記特定の単語列の上記パワー変動または上記
ピッチ変動を検出し、上記パワー変動または上記ピッチ
変動の検出結果に応じてその言語尤度を変化させること
を特徴とする音声認識装置。
【請求項２】発声を音響分析して上記発声の最尤音節
列を生成するとともに、上記最尤音節列から複数の仮説
を生成し、上記複数の仮説から最尤の仮説を選択して上
記発声の認識結果として出力する音声認識装置におい
て、単語変形ルールを参照して、言語モデルから取得した単
語連鎖を変形して記憶することを特徴とする音声認識装
置。
【請求項３】音声を取り込んでデジタルデータに変換
する音声入力手段と、上記デジタルデータから発声区間
のみを検出する音声切り出し手段と、上記発声区間をフ
レーム毎に音響分析して音響特徴ベクトルを抽出する音
響分析手段と、音響モデルを記憶する音響モデル記憶手
段と、言語モデルを記憶する言語モデル記憶手段と、上
記音響モデルおよび上記言語モデルを使って上記音響特
徴ベクトルの最尤音節列を出力するとともに、上記最尤
音節列に関する複数の仮説から最尤の仮説を探索する認
識手段とを備えた音声認識装置において、上記発声区間の音声パワーを上記フレーム毎に計算する
パワー検出手段と、上記最尤の仮説を探索する前に、間投詞を含んだ上記仮
説については、上記間投詞に対応する上記音声パワーを
参照してその言語尤度を増加させる間投詞尤度増加手段
とを備えることを特徴とする音声認識装置。
【請求項４】間投詞尤度増加手段は、仮説に含まれた間投詞の音声平均パワーと、上記間投詞
前後の単語、上記間投詞前後の文節または上記仮説全体
のうちいずれか１つの音声平均パワーとのパワー比を参
照し、上記パワー比が所定の閾値よりも小さい場合に、上記間
投詞を含んだ上記仮説の言語尤度を増加させることを特
徴とする請求項３記載の音声認識装置。
【請求項５】間投詞尤度増加手段は、仮説に含まれた間投詞中における母音の音声平均パワー
と、上記間投詞前後の単語中における母音、上記間投詞
前後の文節中における母音または上記仮説全体中におけ
る母音のうちいずれか１つの音声平均パワーとのパワー
比を参照し、上記パワー比が所定の閾値よりも小さい場合に、上記仮
説の言語尤度を増加させることを特徴とする請求項３記
載の音声認識装置。
【請求項６】音声を取り込んでデジタルデータに変換
する音声入力手段と、上記デジタルデータから発声区間
のみを検出する音声切り出し手段と、上記発声区間をフ
レーム毎に音響分析して音響特徴ベクトルを抽出する音
響分析手段と、音響モデルを記憶する音響モデル記憶手
段と、言語モデルを記憶する言語モデル記憶手段と、上
記音響モデルおよび上記言語モデルを使って上記音響特
徴ベクトルの最尤音節列を出力するとともに、上記最尤
音節列に関する複数の仮説から最尤の仮説を探索する認
識手段とを備えた音声認識装置において、特定の言い回しを記憶する特定の言い回しデータ記憶手
段と、上記発声区間の音声ピッチを上記フレーム毎に検出する
ピッチ検出手段と、上記特定の言い回しを含んだ上記仮説については、上記
特定の言い回しに対応する上記音声ピッチを参照してそ
の言語尤度を増加させる仮説尤度増加手段とを備えるこ
とを特徴とする音声認識装置。
【請求項７】仮説尤度増加手段は、仮説中の特定の言い回しに対応した音声ピッチの傾きを
参照し、上記傾きが負でその絶対値が所定の閾値の大き
さよりも小さい場合に、上記仮説の言語尤度を増加させ
ることを特徴とする請求項６記載の音声認識装置。
【請求項８】仮説尤度増加手段は、特定の言い回しが仮説中の所定の位置にあり、上記仮説
中の上記特定の言い回しに対応した音声ピッチの傾きを
参照し、上記傾きが負でその絶対値が所定の閾値の大き
さよりも小さい場合に、上記仮説の言語尤度を増加させ
ることを特徴とする請求項７記載の音声認識装置。
【請求項９】音声を取り込んでデジタルデータに変換
する音声入力手段と、上記デジタルデータから発声区間
のみを検出する音声切り出し手段と、上記発声区間をフ
レーム毎に音響分析して音響特徴ベクトルを抽出する音
響分析手段と、音響モデルを記憶する音響モデル記憶手
段と、言語モデルを記憶する言語モデル記憶手段と、上
記音響モデルおよび上記言語モデルを使って上記音響特
徴ベクトルの最尤音節列を出力するとともに、上記最尤
音節列に関する複数の仮説から最尤の仮説を探索する認
識手段とを備えた音声認識装置において、単語変形ルールを記憶する単語変形ルール記憶手段と、上記単語変形ルールを参照して、上記言語モデルから取
得した単語連鎖を変形して新規単語を作成するととも
に、上記新規単語を上記言語モデル記憶手段に追加する
単語変形手段とを備えることを特徴とする音声認識装
置。
【請求項１０】単語変形ルール記憶手段は、単語変形ルールとして、単語変形事例の対応表を記憶す
ることを特徴とする請求項９記載の音声認識装置。
【請求項１１】単語変形手段は、言語モデルから取得した単語連鎖のうち、所定の条件を
満たすもののみ単語変形ルールを参照して上記単語連鎖
を変形することを特徴とする請求項９記載の音声認識装
置。
【請求項１２】単語変形手段は、コーパスに含まれる単語連鎖の出現頻度が所定数以上で
あることを所定の条件とすることを特徴とする請求項１
１記載の音声認識装置。
【請求項１３】認識手段は、音響モデル記憶手段の音響モデルを用いて音響特徴ベク
トルの最尤音節列を生成する音節認識手段と、音節列のまちがいやすさをデータ化した差分モデルを記
憶する差分モデル記憶手段と、言語モデル記憶手段の言語モデルおよび上記差分モデル
記憶手段の上記差分モデルを用いて上記最尤音節列の仮
説を複数生成する単語列探索手段とから構成されること
を特徴とする請求項３，請求項６または請求項９のうち
のいずれか１項記載の音声認識装置。
【請求項１４】発声を音響分析して上記発声の最尤音
節列を生成するとともに、上記最尤音節列から複数の仮
説を生成し、上記複数の仮説から最尤の仮説を選択して
上記発声の認識結果として出力する音声認識方法におい
て、上記発声中のパワー変動またはピッチ変動に特徴を持つ
特定の単語列を含んだ上記仮説に関しては、上記仮説中
における上記特定の単語列の上記パワー変動または上記
ピッチ変動を検出し、上記パワー変動または上記ピッチ
変動の検出結果に応じてその言語尤度を変化させること
を特徴とする音声認識方法。
【請求項１５】発声を音響分析して上記発声の最尤音
節列を生成するとともに、上記最尤音節列から複数の仮
説を生成し、上記複数の仮説から最尤の仮説を選択して
上記発声の認識結果として出力する音声認識方法におい
て、単語変形ルールを参照して、言語モデルから取得した単
語連鎖を変形して記憶することを特徴とする音声認識方
法。
【請求項１６】音声を取り込んでデジタルデータに変
換する音声入力ステップと、上記デジタルデータから発
声区間のみを検出する音声切り出しステップと、上記発
声区間をフレーム毎に音響分析して音響特徴ベクトルを
抽出する音響分析ステップと、音響モデル記憶手段に記
憶された音響モデルと、言語モデル記憶手段に記憶され
た言語モデルとを使って上記音響特徴ベクトルの最尤音
節列を出力するとともに、上記最尤音節列に関する複数
の仮説から最尤の仮説を探索する認識ステップとを備え
た音声認識方法において、上記発声区間の音声パワーを上記フレーム毎に計算する
パワー検出ステップと、上記最尤の仮説を探索する前に、間投詞を含んだ上記仮
説については、上記間投詞に対応する上記音声パワーを
参照してその言語尤度を増加させる間投詞尤度増加ステ
ップとを備えることを特徴とする音声認識方法。
【請求項１７】間投詞尤度増加ステップでは、仮説に含まれた間投詞の音声平均パワーと、上記間投詞
前後の単語、上記間投詞前後の文節または上記仮説全体
のうちいずれか１つの音声平均パワーとのパワー比を参
照し、上記パワー比が所定の閾値よりも小さい場合に、上記間
投詞を含んだ上記仮説の言語尤度を増加させることを特
徴とする請求項１６記載の音声認識方法。
【請求項１８】間投詞尤度増加ステップでは、仮説に含まれた間投詞中における母音の音声平均パワー
と、上記間投詞前後の単語中における母音、上記間投詞
前後の文節中における母音または上記仮説全体中におけ
る母音のうちいずれか１つの音声平均パワーとのパワー
比を参照し、上記パワー比が所定の閾値よりも小さい場合に、上記仮
説の言語尤度を増加させることを特徴とする請求項１６
記載の音声認識方法。
【請求項１９】音声を取り込んでデジタルデータに変
換する音声入力ステップと、上記デジタルデータから発
声区間のみを検出する音声切り出しステップと、上記発
声区間をフレーム毎に音響分析して音響特徴ベクトルを
抽出する音響分析ステップと、音響モデル記憶手段に記
憶された音響モデルと、言語モデル記憶手段に記憶され
た言語モデルとを使って上記音響特徴ベクトルの最尤音
節列を出力するとともに、上記最尤音節列に関する複数
の仮説から最尤の仮説を探索する認識ステップとを備え
た音声認識方法において、上記発声区間の音声ピッチを上記フレーム毎に検出する
ピッチ検出ステップと、特定の言い回しデータ記憶手段に記憶された特定の言い
回しを含んだ上記仮説については、上記特定の言い回し
に対応する上記音声ピッチを参照してその言語尤度を増
加させる仮説尤度増加ステップとを備えることを特徴と
する音声認識方法。
【請求項２０】仮説尤度増加ステップでは、仮説中の特定の言い回しに対応した音声ピッチの傾きを
参照し、上記傾きが負でその絶対値が所定の閾値の大き
さよりも小さい場合に、上記仮説の言語尤度を増加させ
ることを特徴とする請求項１９記載の音声認識方法。
【請求項２１】仮説尤度増加ステップでは、特定の言い回しが仮説中の所定の位置にあり、上記仮説
中の上記特定の言い回しに対応した音声ピッチの傾きを
参照し、上記傾きが負でその絶対値が所定の閾値の大き
さよりも小さい場合に、上記仮説の言語尤度を増加させ
ることを特徴とする請求項２０記載の音声認識方法。
【請求項２２】音声を取り込んでデジタルデータに変
換する音声入力ステップと、上記デジタルデータから発
声区間のみを検出する音声切り出しステップと、上記発
声区間をフレーム毎に音響分析して音響特徴ベクトルを
抽出する音響分析ステップと、音響モデル記憶手段に記
憶された音響モデルと、言語モデル記憶手段に記憶され
た言語モデルとを使って上記音響特徴ベクトルの最尤音
節列を出力するとともに、上記最尤音節列に関する複数
の仮説から最尤の仮説を探索する認識ステップとを備え
た音声認識方法において、単語変形ルール記憶手段に記憶された単語変形ルールを
参照して、上記言語モデルから取得した単語連鎖を変形
して新規単語を作成するとともに、上記新規単語を上記
言語モデル記憶ステップに追加する単語変形ステップと
を備えることを特徴とする音声認識方法。
【請求項２３】単語変形ステップでは、単語変形ルール記憶手段に単語変形ルールとして記憶さ
れた単語変形事例の対応表を参照することを特徴とする
請求項２２記載の音声認識方法。
【請求項２４】単語変形ステップでは、言語モデルから取得した単語連鎖のうち、所定の条件を
満たすもののみ単語変形ルールを参照して上記単語連鎖
を変形することを特徴とする請求項２２記載の音声認識
方法。
【請求項２５】単語変形ステップでは、コーパスに含まれる単語連鎖の出現頻度が所定数以上で
あることを所定の条件とすることを特徴とする請求項２
４記載の音声認識方法。
【請求項２６】認識ステップでは、音響モデル記憶手段の音響モデルを用いて音響特徴ベク
トルの最尤音節列を生成する音節認識ステップと、言語モデル記憶手段の言語モデルおよび差分モデル記憶
手段に記憶され、音節列のまちがいやすさをデータ化し
た差分モデルを用いて上記最尤音節列の仮説を複数生成
する単語列探索ステップとから構成されることを特徴と
する請求項１６，請求項１９または請求項２２のうちの
いずれか１項記載の音声認識方法。
【請求項２７】発声を音響分析して上記発声の最尤音
節列を生成するとともに、上記最尤音節列から複数の仮
説を生成し、上記複数の仮説から最尤の仮説を選択して
上記発声の認識結果として出力する音声認識プログラム
において、上記発声中のパワー変動またはピッチ変動に特徴を持つ
特定の単語列を含んだ上記仮説に関しては、上記仮説中
における上記特定の単語列の上記パワー変動または上記
ピッチ変動を検出し、上記パワー変動または上記ピッチ
変動の検出結果に応じてその言語尤度を変化させること
を特徴とする音声認識プログラム。
【請求項２８】発声を音響分析して上記発声の最尤音
節列を生成するとともに、上記最尤音節列から複数の仮
説を生成し、上記複数の仮説から最尤の仮説を選択して
上記発声の認識結果として出力する音声認識プログラム
において、単語変形ルールを参照して、言語モデルから取得した単
語連鎖を変形して記憶することを特徴とする音声認識プ
ログラム。
【請求項２９】音声を取り込んでデジタルデータに変
換する音声入力手順と、上記デジタルデータから発声区
間のみを検出する音声切り出し手順と、上記発声区間を
フレーム毎に音響分析して音響特徴ベクトルを抽出する
音響分析手順と、音響モデル記憶手段に記憶された音響
モデルと、言語モデル記憶手段に記憶された言語モデル
とを使って上記音響特徴ベクトルの最尤音節列を出力す
るとともに、上記最尤音節列に関する複数の仮説から最
尤の仮説を探索する認識手順とを備えた音声認識プログ
ラムにおいて、上記発声区間の音声パワーを上記フレーム毎に計算する
パワー検出手順と、上記最尤の仮説を探索する前に、間投詞を含んだ上記仮
説については、上記間投詞に対応する上記音声パワーを
参照してその言語尤度を増加させる間投詞尤度増加手順
とを備えることを特徴とする音声認識プログラム。
【請求項３０】間投詞尤度増加手順では、仮説に含まれた間投詞の音声平均パワーと、上記間投詞
前後の単語、上記間投詞前後の文節または上記仮説全体
のうちいずれか１つの音声平均パワーとのパワー比を参
照し、上記パワー比が所定の閾値よりも小さい場合に、上記間
投詞を含んだ上記仮説の言語尤度を増加させることを特
徴とする請求項２９記載の音声認識プログラム。
【請求項３１】間投詞尤度増加手順では、仮説に含まれた間投詞中における母音の音声平均パワー
と、上記間投詞前後の単語中における母音、上記間投詞
前後の文節中における母音または上記仮説全体中におけ
る母音のうちいずれか１つの音声平均パワーとのパワー
比を参照し、上記パワー比が所定の閾値よりも小さい場合に、上記仮
説の言語尤度を増加させることを特徴とする請求項２９
記載の音声認識プログラム。
【請求項３２】音声を取り込んでデジタルデータに変
換する音声入力手順と、上記デジタルデータから発声区
間のみを検出する音声切り出し手順と、上記発声区間を
フレーム毎に音響分析して音響特徴ベクトルを抽出する
音響分析手順と、音響モデル記憶手段に記憶された音響
モデルと、言語モデル記憶手段に記憶された言語モデル
とを使って上記音響特徴ベクトルの最尤音節列を出力す
るとともに、上記最尤音節列に関する複数の仮説から最
尤の仮説を探索する認識手順とを備えた音声認識プログ
ラムにおいて、上記発声区間の音声ピッチを上記フレーム毎に検出する
ピッチ検出手順と、特定の言い回しデータ記憶手段に記憶された特定の言い
回しを含んだ上記仮説については、上記特定の言い回し
に対応する上記音声ピッチを参照してその言語尤度を増
加させる仮説尤度増加手順とを備えることを特徴とする
音声認識プログラム。
【請求項３３】仮説尤度増加手順では、仮説中の特定の言い回しに対応した音声ピッチの傾きを
参照し、上記傾きが負でその絶対値が所定の閾値の大き
さよりも小さい場合に、上記仮説の言語尤度を増加させ
ることを特徴とする請求項３２記載の音声認識プログラ
ム。
【請求項３４】仮説尤度増加手順では、特定の言い回しが仮説中の所定の位置にあり、上記仮説
中の上記特定の言い回しに対応した音声ピッチの傾きを
参照し、上記傾きが負でその絶対値が所定の閾値の大き
さよりも小さい場合に、上記仮説の言語尤度を増加させ
ることを特徴とする請求項３３記載の音声認識プログラ
ム。
【請求項３５】音声を取り込んでデジタルデータに変
換する音声入力手順と、上記デジタルデータから発声区
間のみを検出する音声切り出し手順と、上記発声区間を
フレーム毎に音響分析して音響特徴ベクトルを抽出する
音響分析手順と、音響モデル記憶手段に記憶された音響
モデルと、言語モデル記憶手段に記憶された言語モデル
とを使って上記音響特徴ベクトルの最尤音節列を出力す
るとともに、上記最尤音節列に関する複数の仮説から最
尤の仮説を探索する認識手順とを備えた音声認識プログ
ラムにおいて、単語変形ルール記憶手段に記憶された単語変形ルールを
参照して、上記言語モデルから取得した単語連鎖を変形
して新規単語を作成するとともに、上記新規単語を上記
言語モデル記憶手順に追加する単語変形手順とを備える
ことを特徴とする音声認識プログラム。
【請求項３６】単語変形手順では、単語変形ルール記憶手段に単語変形ルールとして記憶さ
れた単語変形事例の対応表を参照することを特徴とする
請求項３５記載の音声認識プログラム。
【請求項３７】単語変形手順では、言語モデルから取得した単語連鎖のうち、所定の条件を
満たすもののみ単語変形ルールを参照して上記単語連鎖
を変形することを特徴とする請求項３５記載の音声認識
プログラム。
【請求項３８】単語変形手順では、コーパスに含まれる単語連鎖の出現頻度が所定数以上で
あることを所定の条件とすることを特徴とする請求項３
７記載の音声認識プログラム。
【請求項３９】認識手順では、音響モデル記憶手段の音響モデルを用いて音響特徴ベク
トルの最尤音節列を生成する音節認識手順と、言語モデル記憶手段の言語モデルおよび差分モデル記憶
手段に記憶され、音節列のまちがいやすさをデータ化し
た差分モデルを用いて上記最尤音節列の仮説を複数生成
する単語列探索手順とから構成されることを特徴とする
請求項２９，請求項３２または請求項３５のうちのいず
れか１項記載の音声認識プログラム。