JP2003029781A - 音声認識システム - Google Patents

Abstract

(57)【要約】 【課題】 音声処理システムにおいて、音声認識結果の
出力を速くし、先読みありの認識処理が、先読みなしの
認識処理より大きくならないようにする。 【解決手段】 開示される音声認識システムは、音声を
特徴量に変換する音声分析部１と、連続音素認識結果の
仮説数の多寡に応じて特徴量をバッファ部６又は単語制
約あり音声認識部３へ送る先読み判断部２と、バッファ
部６への特徴量の入力が途絶えるか又は所定フレーム数
に達したとき、バッファ部６内の特徴量を先読み処理部
５へ伝達する先読み起動部４と、特徴量の連続区間の最
後、又は連続区間の最後から所定フレーム数分後の時点
から遡って先読みスコアを作成して特徴量とともに単語
制約あり音声認識部３へ送る先読み処理部５と、先読み
判断部２からの特徴量によって、又は先読み処理部５か
らの特徴量と先読みスコアとによって連続単語認識を行
う単語制約あり音声認識部３とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音声認識システ
ムに関し、特に、正解単語列探索を行う音声認識システ
ムに関する。

【０００２】

【従来の技術】従来、正解単語列探索を行う音声認識シ
ステムの一例として、逆向きの先読み探索を行う、下記
の音声認識システムが知られている。堀貴明,"大語彙連
続音声認識のための音素グラフに基づく仮説制限法の検
討"情報処理学会論文誌，vol40, No.4, p.1365-1373 (1
999)以下、この従来の、音声と逆向きの先読み探索を行
う音声認識システムについて説明する。

【０００３】音声は、１発声ごとに、ある時間間隔ごと
に、その時点での特徴抽出が行われる。この離散時点の
時間単位は、フレームと呼ばれる。この特徴抽出の処理
によって、音声特徴量ベクトルの時系列が生成され、爾
後の処理は、この音声特徴量ベクトルをフレームごとに
扱うことによって行われる。先読み処理部は、単語制約
を用いずに、発声末から任意のフレームの任意の認識単
位までのパターンマッチスコアの最良値を、発声と逆向
きのパターンマッチを行って計算し、計算されたそれぞ
れのパターンマッチスコアを、そのフレームのその認識
単位の先読みスコアとする。この先読み処理によれば、
フレーム数×認識単位数分の先読みスコアの計算結果
を、一度、音声パターンを処理するだけで効率的に作成
することができる。先読み処理が終了すると、その発声
の始めから、フレーム同期の単語制約ありの音声認識処
理を行う。あるフレームで、ある単語のパターンマッチ
が次の認識単位まで延びるときは、先読みスコアを一時
的に足し合わせて、その結果が所定閾値より低い場合に
は、そのパターンマッチを中止する。このように、先行
きのある認識単位を優先して処理することによって、単
語制約処理で発生する、最良スコアを与える仮説の取り
こぼしを減少させて、誤りを削減することができる。こ
れと同時に、不要なパターンマッチが減少するので、処
理速度向上の効果も得られる。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の、発声と逆向きの先読み探索を行う音声認識
システムには、次のような各種の問題点がある。第１の
課題は、発声が終了してからでないと、単語制約ありの
認識処理を開始することができないので、認識結果の出
力が、１発声の認識処理時間分遅れてしまうということ
である。第２の課題は、先読みスコアを使用することに
よって、単語制約ありの音声認識処理量が減少するが、
先読み分の処理の増加のために、先読み分の処理量が単
語制約ありの音声認識処理量を上回る場合には、全体の
音声認識処理時間が、逆に増大してしまうということで
ある。

【０００５】この発明は、上述の事情に鑑みてなされた
ものであって、１発声より短い時間幅で先読み処理と単
語制約ありの音声認識処理を行うことによって、上記第
１の課題の影響を小さくするとともに、さらに、先読み
処理を必要なときのみ行うことによって、上記第２の課
題をも解決できる、音声認識システムを提供することを
目的としている。

【０００６】

【課題を解決するための手段】上記課題を解決するた
め、請求項１記載の発明は音声値認識システムに係り、
発声に対して時間的に逆向きの先読み処理を行って、発
声を時間的に遡ったときの音響累積スコアである先読み
スコアを作成し、該先読みスコアを用いて探索仮説数を
削減しながら発声と同じ向きの音声認識処理を行う音声
認識システムにおいて、前記先読み処理を行うフレーム
区間長に上限を設けて、該先読み処理を行うフレーム区
間と、前記発声と同じ向きの音声認識処理のみを行うフ
レーム区間とを切り替えながら１発声分の音声認識処理
を行うようにしたことを特徴としている。

【０００７】また、請求項２記載の発明は、請求項１記
載の音声認識システムに係り、前記発声に対して時間的
に逆向きに行う先読み処理を、前記所定のフレーム区間
の最後尾よりも所定フレーム分さらに時間的に後方から
行うことを特徴としている。

【０００８】また、請求項３記載の発明は、請求項１記
載の音声認識システムに係り、当該発声のフレームに対
して時間的に前の発声から前記先読み処理が必要と判断
したか否かに応じて、前記先読みスコアを用いて発声と
同じ向きの音声認識処理を行い、又は先読みスコアを用
いないで発声と同じ向きの音声認識処理を行うことを特
徴としている。

【０００９】また、請求項４記載の発明は、請求項３記
載の音声認識システムに係り、前記先読み処理を行うか
否かを、発声と同じ向きの音声認識処理における前フレ
ームの処理量に応じて判断することを特徴としている。

【００１０】また、請求項５記載の発明は、請求項４記
載の音声認識システムに係り、前記先読み処理を、発声
と同じ向きの音声認識処理での前フレームの処理量が所
定閾値を上回ったときに行うことを特徴としている。

【００１１】また、請求項５記載の発明は、請求項４記
載の音声認識システムに係り、前記先読み処理を、発声
と同じ向きの音声認識処理での前フレームの仮説数が所
定閾値を上回ったときに行うことを特徴としている。

【００１２】また、請求項７記載の発明は、請求項３記
載の音声認識システムに係り、前記先読み処理を行うか
否かの判断を、音声入力に同期して連続音素認識を行っ
た結果に基づいて行うことを特徴としている。

【００１３】また、請求項８記載の発明は、請求項７記
載の音声認識システムに係り、前記先読み処理を行うか
否かの判断を、音声入力に同期して連続音素認識を行っ
たとき、各フレームでの最良仮説からある閾値までの間
にある仮説の数が、ある閾値を超えたか否かに応じて行
うことを特徴としている。

【００１４】また、請求項９記載の発明は、音声認識シ
ステムに係り、音声入力に同期して音声信号を時系列の
特徴量に変換する音声分析手段と、前記特徴量の入力に
同期してフレームごとの連続音素認識を行って、仮説数
が所定閾値を超えたとき入力特徴量をバッファ手段へ送
り、前記仮説数が前記閾値以下のとき入力特徴量を単語
制約あり音声認識手段へ送る先読み判断手段と、前記バ
ッファ手段への前記特徴量の入力を監視して、特徴量の
時間的に連続した入力が途絶えるか、又は特徴量の入力
が所定フレーム数の上限に達したとき、前記バッファ手
段内の特徴量の連続区間を先読み処理手段へ伝達する先
読み起動手段と、前記バッファ手段から特徴量の連続区
間が入力されたとき、該連続区間の最後の時点、又は前
記連続区間の最後から所定フレーム数分後の時点から時
間的に遡って先読みスコアを作成して、前記特徴量の連
続区間とともに単語制約あり音声認識手段へ送る先読み
処理手段と、前記先読み判断手段から入力された特徴量
を用いて連続単語認識を行い、又は前記先読み処理手段
から入力された先読みスコアつき特徴量に対して該先読
みスコアを用いて探索仮説数を削減しながら連続単語認
識を行って音声認識結果を作成する単語制約あり音声認
識手段とを備えたことを特徴としている。

【００１５】

【発明の実施の形態】本発明による音声認識システム
は、発声に対する先読みスコアを計算する先読みスコア
計算部として、必要に応じて先読みスコアを計算するか
否かを判断する先読み判断部と、あるフレーム区間を取
り出して先読み処理を行う先読み起動部とを設けたもの
である。この際、先読みスコア計算部が、ある発声のあ
るフレームの先読みスコアを計算するのは、先読み判断
部がそのフレームより時間的に前の発声から、必要があ
ると判断した場合に限られる。このようにすることによ
って、先読み分の処理の増加のために、先読み分の処理
量が単語制約ありの音声認識処理量を上回る場合には、
全体の音声認識処理時間が、逆に増大してしまうとい
う、上述した第２の課題の影響も小さくなることが期待
される。

【００１６】先読み起動部は、先読み判断部が先読みが
必要であると判断してとき、先読みが必要なフレーム区
間を検出して、その区間について先読み処理を起動す
る。この際のフレーム区間長にある上限を設けて、先読
み処理を行うフレーム区間と、単語制約ありの音声認識
を行うフレーム区間とに分割して切り替えることによっ
て、そのフレーム区間単位で認識処理を行うことが可能
になるので、発声が終了してからでないと、単語制約あ
りの認識処理を開始することができないので、認識結果
の出力が、１発声の認識処理時間分遅れてしまうとい
う、上述の第１の課題の影響を小さくすることが期待で
きる。単語制約あり音声認識部は、先読みスコア計算部
がすでに先読みスコアを計算したか、又は先読みスコア
の計算が必要でないと判断したフレームについて認識処
理を行う。先読みスコアが計算されているフレームで
は、それを用いて探索仮説数を少なくすることができ
る。

【００１７】以下、図面を参照して、この発明の実施の
形態について説明する。説明は、実施例を用いて具体的
に行う。 ◇第１実施例 図１は、この発明の一実施例である音声認識システムの
構成を示すブロック図である。この例の音声認識システ
ムは、図１に示すように、音声分析部１と、先読み判断
部２と、単語制約あり音声認識部３と、先読み起動部４
と、先読み処理部５と、バッファ部６とから概略構成さ
れている。

【００１８】音声分析部１は、入力音声信号を、時系列
の特徴量に変換する。先読み判断部２は、音声の時系列
特徴量の入力に同期して連続音素認識を行い、各フレー
ムにおいて、仮説数がある閾値を上回っていれば入力の
特徴量をバッファ部６へ送り、閾値以下であれば、単語
制約あり音声認識部３へ送る。この場合単語制約あり音
声認識部３は、先読み判断部２からの入力の時系列の特
徴量をフレーム順に処理して、音声認識結果を作成す
る。先読み起動部４は、バッファ部６への先読みなしと
判断された特徴量の入力が時間的に途絶えた場合、又は
入力が定められたフレーム数の上限に達した場合に、バ
ッファ内のその特徴量の連続区間を先読み処理部５へ伝
達する。先読み処理部５は、連続区間が先読み起動部４
から入力されたとき、その区間の最後、又は予め定めら
れたフレーム数後の時点から、時間を遡って先読み処理
を行って、先読みスコアをバッファ部６に記録する。バ
ッファ部６は、先読み処理時における、処理途中の情報
を一時的に保持するとともに、先読み処理部５の処理が
終了したとき、保持した情報を単語制約あり音声認識部
３へ送る。この場合単語制約あり音声認識部３は、バッ
ファ部６に記録されていた入力の時系列の特徴量を、対
応して記録されていた先読みスコアを用いて、フレーム
順に処理して、音声認識結果を作成する。

【００１９】以下、図１を参照して、この例の音声認識
システムの動作を説明する。音声入力があったとき、音
声分析部１は、音声入力に同期して音声を分析して時系
列の特徴量に変換して、先読み判断部２に入力する。こ
の場合の音声分析については、例えば、NTT-AT刊,"音声
認識の基礎（上)",p.85 に記述があり、当業者にとって
周知の技術なので、ここでは詳細な説明を省略する。

【００２０】先読み判断部２では、まず、時系列特徴量
の入力に同期して、音素音響モデルであるmonophone 音
響モデルを用いて、フレーム同期の連続音素認識を行
う。ここで、連続音素認識とは、１音素を１単語として
連続単語認識を行うものである。なお、連続音素認識に
は、右又は左の音素環境によって音素パターンを区別す
るdiphone 音響モデルや、左右両音素環境によって音素
パターンを区別するtriphone音響モデルを使用すること
もできる。また連続単語認識については、例えば、電子
情報通信学会刊,"確率モデルによる音声認識",p.106 ペ
ージに記載されており、当業者にとって周知の技術なの
で、詳細な説明を省略する。この場合、各フレームにお
いて、最良のスコアを与えるmonophone 音響モデルか
ら、あるスコア幅以内に収まる音素の数がある閾値を上
回れば、先読みありとして、そのフレームの入力の特徴
量をバッファ部６へ送る。一方、あるスコア幅以内に収
まる音素の数が、ある閾値以下の場合は、先読みなしと
して、そのフレームの入力の特徴量を、直接、単語制約
あり音声認識部３へ送り、これによって、音響的あいま
いさが大きいフレームについてのみ先読みを行う。な
お、後述する先読み処理部５の処理に応じて、バッファ
部６にあるフレームで特徴量を送った場合に、その後
も、ある定まったフレーム数分の特徴量を送り続けても
よい。

【００２１】先読み起動部４は、バッファ部６に特徴量
が入力されたとき、その後の入力を監視する。そして、
あるフレームで先読み判断部２が先読みなしと判断し
て、特徴量の時間的に連続した入力が途絶えるか、又は
定められたフレーム数の上限に達したとき、バッファ部
６内のその特徴量の連続区間を、先読み処理部５へ伝達
する。先読み処理部５は、連続区間が先読み起動部４か
ら入力されると、その区間の最後の時点、又はその区間
の最後からさらに予め定められたフレーム数後の時点か
ら、時間を遡って先読み処理を行う。後者の場合は、先
読み区間後半の先読みスコアの信頼性が向上する利点が
ある。

【００２２】以下、先読み処理を具体的に説明する。先
読み処理においては、先読みスコアを求めるフレーム区
間について、triphone認識単位を用いた連続音素認識
を、発声とは逆向きに行う。連続単語認識では、その開
始フレームから任意フレームの任意単語までの最良のス
コアを効率よく計算できることが当業者に周知であり、
この場合の連続音素認識でも、先読み開始フレームから
任意のフレームの任意のtriphoneまでの最良スコアをそ
れぞれ計算することができる。この最良スコアを、その
フレームでのそのtriphoneの先読みスコアとして、バッ
ファ部６に記録する。先読み処理が終了すると、先読み
起動部４から伝達された区間分の時系列の特徴量と先読
みスコアが、バッファ部６から単語制約あり音声認識部
３へ送られる。単語制約あり音声認識部３では、音声分
析部１から出力される時系列の特徴量を、時間的に早い
ものからフレーム順に処理して認識結果を作成する。時
系列の特徴量は、先読み判断部２から直接入力される場
合と、先読みスコアつきで、バッファ部６から入力され
る場合とがある。

【００２３】単語制約あり音声認識部３の、入力の時系
列特徴量に対する基本的な処理は連続単語認識である
が、連続単語認識については、前述のように、当業者に
とって周知の技術なので、詳細な説明は省略する。また
先読みスコアがある場合の処理の効率化については、コ
ンピューター・スピーチ・アンド・ラングイッジ誌（Co
mputer Speech and Language,2000,14,p.15-32) 掲載の
論文 "Look-ahead techniques for fast beam search"
に説明があるが、この発明とは直接関係しないので説明
を省略する。

【００２４】この発明によれば、以上のような構成をと
ることによって、発声の最後まで待たなくても、先読み
判断部２が、一旦、先読みの必要なしと判断すれば、そ
の時点から前の先読みスコア計算と単語制約あり音声認
識の処理が可能になり、前述の第１の課題の影響を縮減
することができる。また、先読み判断部２が、音響的あ
いまいさの有無をみて、先読みを行うか否かを判断する
ので、第２の課題の影響も小さくすることができる。

【００２５】◇第２実施例 以下、図１を参照して、この発明の第２実施例を説明す
る。この例におていは、図１に示す先読み判断部２が、
前フレームでの単語制約あり音声認識部３で処理した仮
説数がある閾値を超えたとき、先読みありと判断する。

【００２６】このようにすることによって、この例の音
声認識システムでは、先読み分の処理が、単語制約あり
音声認識処理を上回るため、認識処理時間が増加すると
いう、前述の第２の課題の影響を小さくすることができ
る。

【００２７】◇第３実施例 以下、図１を参照して、この発明の第３実施例を説明す
る。この例においては、図１に示す先読み判断部２が、
すべてのフレームについて先読みを行うように判断す
る。音声分析部１は、音声入力に同期して、音声を時系
列の特徴量に変換する。先読み判断部２は、すべての時
系列の特徴量をバッファ部６に送る。そして、先読み起
動部４は、先読み処理部５又は単語制約あり音声認識部
３に対して、定められたあるフレームおきに、以下の動
作を促す。１）先読み処理部５において、フレーム区間
の終わりから始めに向かって、先読みスコア計算を行
う。２）単語制約あり音声認識部３において、単語制約
ありの音声認識処理を行う。この例における、先読み判
断部２以外の動作は、第１実施例の場合と同様であっ
て、定められたフレーム間隔ごとに認識処理を行う。

【００２８】このようにすることによって、この例の音
声認識システムでは、前述した第１の課題である、認識
結果の出力の遅れを、認識処理のフレーム間隔分の時間
と、上述の１）の処理時間又は２）の処理時間との和ま
で小さくすることができる。ただし、前述した第２の課
題は解決されない。

【００２９】以上、この発明の実施例を図面により詳述
してきたが、具体的な構成はこの実施例に限られたもの
ではなく、この発明の要旨を逸脱しない範囲の設計の変
更等があってもこの発明に含まれる。例えば、この発明
において、先読み判断部２を省略することも可能であ
り、この場合は、ある定められたフレーム区間ごとに、
先読み処理と単語制約あり音声認識処理とを繰り返して
行うようにすればよい。

【００３０】

【発明の効果】以上説明したように、この発明の音声認
識システムによれば、発声の最後まで待たなくても、先
読み判断部が一旦、先読みの必要なしと判断した時点、
又は、先読み起動部において、定められたフレーム数の
上限に達した時点で、それより以前の先読みスコア計算
と、単語制約ありの音声認識の処理が可能になり、従っ
て、認識結果出力の遅延を小さくすることができる。ま
た、先読み判断部において、先読み探索を行うか否かの
判断を行うことによって、先読み処理を行わない方が処
理が速くなるようなフレームでは、先読みを行う機会が
少なくなるので、正味の音声認識時間を短縮することが
できる。

【図面の簡単な説明】

【図１】この発明の一実施例である音声認識システムの
構成を示すブロック図である。

【符号の説明】

１ 音声分析部（音声分析手段） ２ 先読み判断部（先読み判断部） ３ 単語制約あり音声認識部（単語制約あり音声認
識手段） ４ 先読み起動部（先読み起動手段） ５ 先読み処理部（先読み処理手段） ６ バッファ（バッファ手段）

Claims (9)

【特許請求の範囲】
1. 【請求項１】 発声に対して時間的に逆向きの先読み処
   理を行って、発声を時間的に遡ったときの音響累積スコ
   アである先読みスコアを作成し、該先読みスコアを用い
   て探索仮説数を削減しながら発声と同じ向きの音声認識
   処理を行う音声認識システムにおいて、 前記先読み処理を行うフレーム区間長に上限を設けて、
   該先読み処理を行うフレーム区間と、前記発声と同じ向
   きの音声認識処理のみを行うフレーム区間とを切り替え
   ながら１発声分の音声認識処理を行うようにしたことを
   特徴とする音声認識システム。
2. 【請求項２】 前記発声に対して時間的に逆向きに行う
   先読み処理を、前記所定のフレーム区間の最後尾よりも
   所定フレーム分さらに時間的に後方から行うことを特徴
   とする請求項１記載の音声認識システム。
3. 【請求項３】 当該発声のフレームに対して時間的に前
   の発声から前記先読み処理が必要と判断したか否かに応
   じて、前記先読みスコアを用いて発声と同じ向きの音声
   認識処理を行い、又は先読みスコアを用いないで発声と
   同じ向きの音声認識処理を行うことを特徴とする請求項
   １記載の音声認識システム。
4. 【請求項４】 前記先読み処理を行うか否かを、発声と
   同じ向きの音声認識処理における前フレームの処理量に
   応じて判断することを特徴とする請求項３記載の音声認
   識システム。
5. 【請求項５】 前記先読み処理を、発声と同じ向きの音
   声認識処理での前フレームの処理量が所定閾値を上回っ
   たときに行うことを特徴とする請求項４記載の音声認識
   システム。
6. 【請求項６】 前記先読み処理を、発声と同じ向きの音
   声認識処理での前フレームの仮説数が所定閾値を上回っ
   たときに行うことを特徴とする請求項４記載の音声認識
   システム。
7. 【請求項７】 前記先読み処理を行うか否かの判断を、
   音声入力に同期して連続音素認識を行った結果に基づい
   て行うことを特徴とする請求項３記載の音声認識システ
   ム。
8. 【請求項８】 前記先読み処理を行うか否かの判断を、
   音声入力に同期して連続音素認識を行ったとき、各フレ
   ームでの最良仮説からある閾値までの間にある仮説の数
   が、ある閾値を超えたか否かに応じて行うことを特徴と
   する請求項７記載の音声認識システム。
9. 【請求項９】 音声入力に同期して音声信号を時系列の
   特徴量に変換する音声分析手段と、 前記特徴量の入力に同期してフレームごとの連続音素認
   識を行って、仮説数が所定閾値を超えたとき入力特徴量
   をバッファ手段へ送り、前記仮説数が前記閾値以下のと
   き入力特徴量を単語制約あり音声認識手段へ送る先読み
   判断手段と、 前記バッファ手段への前記特徴量の入力を監視して、特
   徴量の時間的に連続した入力が途絶えるか、又は特徴量
   の入力が所定フレーム数の上限に達したとき、前記バッ
   ファ手段内の特徴量の連続区間を先読み処理手段へ伝達
   する先読み起動手段と、 前記バッファ手段から特徴量の連続区間が入力されたと
   き、該連続区間の最後の時点、又は前記連続区間の最後
   から所定フレーム数分後の時点から時間的に遡って先読
   みスコアを作成して、前記特徴量の連続区間とともに単
   語制約あり音声認識手段へ送る先読み処理手段と、 前記先読み判断手段から入力された特徴量を用いて連続
   単語認識を行い、又は前記先読み処理手段から入力され
   た先読みスコアつき特徴量に対して該先読みスコアを用
   いて探索仮説数を削減しながら連続単語認識を行って音
   声認識結果を作成する単語制約あり音声認識手段とを備
   えたことを特徴とする音声認識システム。