JP2003524218A

JP2003524218A - Ｔｅｓｐａｒパラメータでトレーニングされたｈｍｍを用いる発話処理

Info

Publication number: JP2003524218A
Application number: JP2001562483A
Authority: JP
Inventors: レジナルドアルフレッドキング，
Original assignee: ドメインダイナミックスリミテッド
Priority date: 2000-02-22
Filing date: 2001-02-22
Publication date: 2003-08-12
Also published as: GB0004095D0; WO2001063598A1; GB0104351D0; AU2001233924A1; US20030130846A1; GB2359651A; CA2400616A1; EP1257998A1; GB2359651B

Abstract

(57)【要約】本発明の信号モデリング方法は、統計的信号モデリングシステムに、決定論的モデリングシステムの出力を入力することにより、全体的演算オーバーヘッドの低減を実現する工程を包含する。また前記統計的信号モデリングシステムが、隠れマルコフモデリングシステム（ＨＭＭ）を含み、前記決定論的モデリングシステムが、波形整形記述子システム（ＷＳＤ）を含む。また前記ＷＳＤシステムが時間符号化および時間符号化信号処理および認識（ＴＥＳＰＡＲ）システムを含む。

Description

【発明の詳細な説明】

【０００１】（発明の分野）本発明は信号処理構成に関し、より具体的には、発話認識システム、言語識別
システムおよび発話検証（ｖｅｒｉｆｉｃａｔｉｏｎ）システムにおいて用いら
れる信号処理構成に関する。

【０００２】（発明の背景）信号処理の分野において、信号モデリングには２つのアプローチがあると考え
られ得る。第１のアプローチは決定論的（ｄｅｔｅｒｍｉｎｉｓｔｉｃ）アプロ
ーチとして公知であり、第２のアプローチは統計学的アプローチとして公知であ
る。

【０００３】決定論的モデリングは公知の物理成分によって信号を特徴付けすることを含む
。統計学的モデリングは、ガウスプロセス、ポアソンプロセスおよびマルコフプ
ロセスなどの確率論的プロセスを用いて、数個の物理成分によって完全に特徴付
けされるにはあまりに複雑すぎる現実の世界のイベントを特徴付ける。

【０００４】決定論的モデリングは、波形形状記述子（ＷａｖｅｆｏｒｍＳｈａｐｅＤ
ｅｓｃｒｉｐｔｏｒ）（ＷＳＤ）の使用を含み、ＷＳＤは次いで、時間符号化お
よび時間被符号化信号処理および認識（ＴｉｍｅＥｎｃｏｄｉｎｇａｎｄ
ＴｉｍｅＥｎｃｏｄｅｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇａｎｄＲ
ｅｃｏｇｎｉｔｉｏｎ）（ＴＥＳＰＡＲ）を含む。ＴＥＳＰＡＲは、英国特許明
細書第２０２０，５１７号および第２，２６８，６０９号、ならびに欧州特許明
細書第０１４１４９７号に記載されている。

【０００５】発話認識、言語識別および話者検証の分野において、特に、隠れマルコフモデ
ル（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ）（ＨＭＭ）として公知であるマ
ルコフプロセスを用いて統計学的信号モデリングを用いて、現実世界の信号を特
徴付けることが公知である。

【０００６】ＨＭＭを用いる主な利益は以下を含む。これらは、ａ）時間可変信号の特徴を捉える際のその有効性ｂ）未知の信号力学を統計学的にモデル化するその能力ｃ）マルコフプロセスの固有の統計学的特性に起因したその演算の容易さであ
る。

【０００７】ＨＭＭの使用のより詳細な開示は、Ｄ．Ｈ．ＫｉｌおよびＳ．Ｂ．Ｓｌｉｎに
よる「ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎａｎｄＰｒｅｄｉｃｔｉｏ
ｎｗｉｔｈａｐｐｌｉｃａｔｉｏｎｔｏＳｉｇｎａｌＣｈａｒａｃｔ
ｅｒｉｓａｔｉｏｎ」（ＡＩＰＰｒｅｓｓ、ＩＳＢＮ１−５６３９６−４７
７−５）に見られる。

【０００８】ＨＭＭを信号（特に、発話認識および話者検証で用いられる信号）を特徴付け
する際に用いると、比較的成功百分率を高くすることができるが、依然、より高
い成功百分率が必要である。

【０００９】このより高い成功百分率を達成する際の問題の１つは、上述の従来技術のアプ
ローチを改良できたとしても、演算オーバーヘッドが著しく増加するという問題
が生じる。

【００１０】したがって、本発明は、信号識別の成功百分率を向上させること、演算オーバ
ーヘッドを許容されないレベルにすることなく、ＨＭＭなどの統計学的モデリン
グプロセスを用いることに関する。

【００１１】ＨＭＭなどの上述の統計学的モデリングプロセスを利用する従来技術において
、統計学的モデリングプロセスに対する入力は、基本的に、周波数領域における
エネルギー密度スペクトルである。

【００１２】（発明の簡単な要旨）本発明によれば、信号モデリングの方法は、周波数領域内の統計学的信号モデ
リングシステムに、時間領域における決定論的モデリングシステムの出力を入力
することを含む。

【００１３】この構成によって、信号認識システム（通常、発話認識）の全体的な正確さは
、演算オーバーヘッドを許容され得ないレベルまで上げることなく向上する。

【００１４】本発明を実行する方法について、例示だけを目的として、添付の図面を参照し
て説明する。

【００１５】本発明は、発話認識システムに対するそのアプリケーションに関連して説明さ
れるが、言語識別および話し手確認を含む他の領域、すなわち、一般的な発話処
理におけるアプリケーションを有する。本発明は、さらに、一般的な信号処理を
含む他の分野におけるアプリケーションを有し得る。

【００１６】（図１）図１は、典型的な従来技術の構成を図によって示す。ここで、統計的モデリン
グプロセス（典型的には、隠れマルコフモデル（ＨｉｄｄｅｎＭａｒｋｏｖ
Ｍｏｄｅｌ）（ＨＭＭ）１００）を用いて、１１０において、短い間隔の発話入
力を処理する。

【００１７】統計的モデリングプロセス１００は、訓練段階によって、確率の値をすでにそ
の中に作成している。最適の組み合わせを得るために、１１０における発話入力
がこの確率の値と比較される。

【００１８】ＨＭＭ１００に対する入力は、周波数領域エネルギー密度スペクトル符号化構
成１２０から行われる。

【００１９】図１の従来技術の構成において、入力発話データは、分光写真のいくつかの形
式に変換される。すなわち、固定された時間間隔（典型的には、１０〜２０ｍｓ
）にセグメント化される。このような時間スライスのそれぞれのエネルギー密度
プロフィールは、多数の所定の固定周波数バンドにわたって計算される。

【００２０】通常使用されるＨＭＭの形式は、Ｎ状態の左右ＨＭＭモデル（ＮＳｔａｔｅ
ＬｅｆｔｔｏＲｉｇｈｔＨＭＭｍｏｄｅｌ）として公知の形式である
。スペクトルの時間スライスまたは「機能ベクトル（ｆｅａｔｕｒｅｖｅｃｔ
ｏｒ）」は、おおよそのフレーム速度において計算され、左右ＨＭＭモデルへと
通過する。その結果、音声入力に関連する一連の状態が示される。

【００２１】Ｎ状態の左右ＨＭＭモデルの利点は、明確に時間によって異なる特性を有する
信号を容易にモデリングするその能力である。

【００２２】１２０における周波数領域符号化は、典型的には、離散フーリエ変換を利用す
ることにより達成される。

【００２３】「エネルギー密度スペクトル」を介する信号の周波数領域表現（通常、信号の
「スペクトル」と呼ばれる）は、従来、信号の変化を表す主要な方法であった。
この方法は、いわゆる「フーリエ変換」（ＦＴ）を用い、デジタル領域において
、いわゆる「離散フーリエ変換」（ＤＦＴ）を用いる。

【００２４】信号の特徴づけおよびモデル化のためにフーリエ変換を使用することには制限
がある。例えば、無限数の異なる信号は、同じスペクトルを有し得る。このこと
は、図７に示す。

【００２５】この図面では、３つの異なる形状の信号が示されており、それらの各々は、同
じスぺクトルエネルギーを有する。すなわち、３つの曲線の各々の下の面積は、
実質的に同じである。

【００２６】よって、スぺクトログラム、および適切なフレームレートで計算された分光学
的特徴ベクトルの使用は、ＨＭＭで用いられるルーチン等の統計学的信号モデル
化ルーチンに関するいずれの信号の非常に制限された表現である。同様のことが
、全ての統計学的信号モデル化ルーチンについて言える。

【００２７】ＨＭＭに関する１つの欠点は、モデルパラメータの統計学的に有効な評価を容
易にするための多数のトレーニングデータに関する要件である。モデルサイズが
大きくなるにつれ、統計学的に粗いモデルを得るために必要なトレーニングデー
タの量が急速に増加する。一般に、ＨＭＭの質は、以下の実際的な考慮すべき事
項により制約される。

【００２８】１）通常、有限数の観測サンプルしか利用できない。

【００２９】２）モデルのサイズは、特徴付けが試みられる、物理的な減少に依存する。

【００３０】それゆえ、不十分なトレーニングサンプルに適応するためにモデルサイズを縮
小することにより、しばしば、受容できない大きなモデル化エラーが生じ得る。
不十分な数のトレーニングサンプルにより生じるモデル化エラーに対処するため
に、種々の方法が提案されてきたが、これらは、一般に、計算上のオーバーヘッ
ドの受容できないほどの増加を伴う。

【００３１】図１、および特に、統計学的なモデル化プロセス１００に関連する上記の説明
は、左ＨＭＭおよび右ＨＭＭに関するものであったが、他のバージョンのＨＭＭ
も用いられ得る。特に、いわゆる、エルゴードＨＭＭが利用可能であり得る。

【００３２】エルゴードＨＭＭモデル化プロセスを用いることにより、トレーニングデータ
は、複数倍の信号に分割され、ベクトル量子化が、観測シーケンス全体に実施さ
され、別個のクラスタまたは状態が見出される。このモデルは、各クラスタに該
当するトレーニングトークンに基づいて、観測統計値を導出し、観測確率密度が
、多変量のガウスモデル（ＭＶＧ）、またはガウス混合モデル（ＧＭＭ）のいず
れかとしてモデル化される。観測確率がいかにして特徴付けられるかに依存して
、状態がクラスタ中心、または複数のクラスタを含む混合物の中心から構成され
得る。ＭＶＧとＧＭＭとの間の選択は、観測モデルパラメータ数の増加によるＧ
ＭＭのモデル化の複雑性と、状態数の増加によるＭＶＧの計算上の複雑性との間
のトレードオフに依存する。

【００３３】いくつかの用途に対する状態遷移特性が柔軟であるため、エルゴードＨＭＭモ
デルは、左−右ＨＭＭと比較して、より高い計算コストで、所望の信号のよりロ
バストな評価を提供する傾向がある。この余分なコストが、エルゴードＨＭＭの
使用に不利に作用する要因である。

【００３４】よって、エルゴードＨＭＭが用いられるが、上述の関連する受容できない計算
上のオーバーヘッドのコストが増加しない場合、著しい利益が得られる。

【００３５】（図２）本発明による方法およびシステムでは、図１に示す公知の構成が、統計学的モ
デル化プロセス２００への入力が、通常、ＴＥＳＰＡＲとして知られる、時間領
域波形形状記述子（ＷＳＤ）符号化システムにより提供される、構成により置き
換えられる。

【００３６】ＴＥＳＰＡＲ符号化システムの詳細は、英国特許第２，０２０，５１７号明細
書で見られ、本明細書中において、この文書を参考のために援用する。

【００３７】時間符号化信号処理および識別（ＴＥＳＰＡＲ）符号化処理により、波形形状
既述子（ＷＳＤ）から導出される、信号モデル化データが生成される。ＷＳＤ符
号化により、同じエネルギーレベルを有する異なる波形形状が、図５に示す３つ
の波形が異なるＷＳＤデータ表現を有するように、異なる信号特性を生成する。

【００３８】よって、音声波形、および他の時間により変化する波形は、ＴＥＳＰＡＲＷ
ＳＤにより単純に特徴付けられ得る。

【００３９】ＴＥＳおよびＴＥＳＰＡＲの場合、波形形状は、持続時間，形状、および波形
のゼロ点間の大きさに関して定義付けされる。任意の所与の信号、例えば、音声
に関して、これらの形状は、標準形状のカタログに量子化されたベクトルであり
、全ての可能な個々の形状のライブラリを、音声に関する３０〜４０の入力のア
ルファベットに低減される。

【００４０】これを達成するために必要とされる処理能力は、スペクトログラムの単一のス
ぺクトルフレームの離散フーリエ変換（ＤＦＴ）を計算するために必要な能力よ
りも、数オーダー低い。

【００４１】ＴＥＳＰＡＲ形状記述子を使用すると、音響イベントのセグメンテーションが
容易に達成することができる。このことは、欧州特許明細書０３３８０３５によ
り詳細に記載される。欧州特許明細書０３３８０３５は本明細書中で参考として
援用される。

【００４２】本発明は、例えば、ＴＥＳＰＡＲ符号化構成２２０によって生成される行列が
トレーニングおよびロバストな認識の両方のための統計モデルリングプロセス（
ＨＭＭ）２００への入力のための理想のベクトルへ容易に変換され得る。

【００４３】行列は、ＳまたはＡまたはより高次のいわゆるＤＺ行列であり得る。

【００４４】ＳおよびＡに関する限り、これらは、例えば、Ｓｏ、Ｓｍ、Ｓａ、Ｓｂ．．．
などであり得、各ネットワークは、分類されるべき波形の斜めまたは直交の特徴
（すなわち、シンボル周波数、振幅、大きさ、持続時間など）を強調するように
生成される。ＤＺ行列を利用して、ピッチ不変データ表現も提供し得る。ピッチ
不変データ表現は、不特定話者連続および結合単語認識のためのＨＭＭに応答す
るのに特異的かつ格別に有利である。

【００４５】また、英国特許２，２６８，６０９（この書類を本明細書中で参考として援用
する）において示されるように、ＴＥＳＰＡＲデータは、すべての人工ニューラ
ルネットワーク（ＡＮＮ）アルゴリズムへの最適な入力を提供するために時変信
号を符号化するように理想的に適合化される。このように、波形形状記述子（Ｗ
ＳＤ）の一例としてのＴＥＳＰＡＲによって、追加のＡＮＮアルゴリズムを、例
えば、音声正規化、ノイズ低減、およびこれらならびに非線形モデルのためのパ
ラメータ推定において有効に使用することが可能となる。

【００４６】ＷＳＤデータに関連する非常に経済的なデータ構造によって、斜めまたは直交
データセットの多重並列分類を得ることができる。これらのデータセットは、Ｈ
ＭＭ分類器の性能を強化するために、例えば、単純な採決などのデータ融合アル
ゴリズムに並列に結合され得る。

【００４７】ＷＳＤを使用する音響信号のセグメンテーション（欧州特許明細書０３３８０
３５参照）は、ＨＭＭが常に入力信号を分類する能力を向上させる手段として信
号セグメンテーションを強化するための様相フィルタリングまたは媒体フィルタ
リングなどの種々の数値フィルタリングオプションポスト符号化によってさらに
強化され得る。

【００４８】（図３）図３において、ブロック３００は図１における１００と等価であり、かつブロ
ック３２０は図１における１２０と等価である。

【００４９】ブロック３００は、ＨＭＭであり、３２１によって入力されたデータをトレー
ニングすることによって構成され、最適な意味で所望の信号をモデリングするた
めの１セットのパラメータによって構成される。

【００５０】これらの最適化されたモデルパラメータのセットは、３０５で示され、そして
次いで最適状態シークエンス推定器３０６に入力され得る。最適状態シークエン
ス推定器３０６にはまた、目的のテストデータ３２２が入力される。

【００５１】３０５でのトレーニングデータ３２１のモデルパラメータへの変換を以下に記
載する。

【００５２】３２１でのトレーニングデータは、Ｎ個の異なる状態に分割され、そしてＮ個
の状態の１つに同様の統計的性質を有する観測ベクトルが割り当てられる。これ
は、３０１で生じる。

【００５３】Ｎクラスタを形成するために各状態についてベクトル定量を使用する。観測ト
ークンは、各クラスタに割り当てられ、そしてこれらは、Ｍモードのガウス混合
モデル（ＧＭＭ）における各モードの多変量ガウス確率密度を指示する。ＧＭＭ
のパラメータは、その特定の状態に割り当てられた観測トークンから推定される
。モデルパラメータは、イベントおよび遷移発生を計数することによって計算さ
れる。これもまた、３０１で生じる。

【００５４】トレーニング手順は、２つの別々の段階に分割されると考えられ得る。この２
つの段階は、３０１を参照してすでに記載された初期化および以下に記載する再
推定である。

【００５５】初期パラメータ推定プロセスは、信号統計の粗い推定を得るための、観測ベク
トル空間の分割工程およびトレーニングサンプル発生回数を計数する工程を含む
。最推定段階において、モデルパラメータは観測確率の値を最大化するために繰
り返し更新される。これは、所定の収束判定基準を満たすまで各繰り返しにおい
て観測確率を推定することによって達成される。これらの収束判定基準は図３の
３０４において示される。

【００５６】３０２および３０３の目的は、再推定手順を細分化することである。

【００５７】一般に、固定セットのトレーニング観測が与えられる場合、グローバル最大値
ポイントに収束する再推定解は、解析解がないので到達するのが非常に難しい。

【００５８】したがって、ローカル最大値の１つに収束するパラメータ推定を含む次善の解
を目指すことが公知である。これは、多くの方法で達成され得る。

【００５９】図３に示される構成において、再推定は、３０３において示されるＢａｕｍ−
Ｗｅｌｃｈアルゴリズムを一緒に伴うセグメントｋ手段（ＳＫＭ）によって有効
にされる。

【００６０】特定の反復の後、３０４における変換基準が満たされない場合、Ｂａｕｍ−Ｗ
ｅｌｃｈアルゴリズム３０３からの出力は、ＳＫＭアルゴリズム３０２およびボ
ーム−ウェルチアルゴリズム３０３を通じて再び供給されるべく３０７を介して
再利用される。出力が３０５に供給されるとき、３０４において所望の収束基準
が満たされるまでこの反復過程が継続される。

【００６１】上述の構成は公知であり、この構成の、関連する数学を含むより詳細な処理は
、刊行物ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＡｎｄＰｒｅｄｉｃｔｉ
ｏｎｗｉｔｈＡｐｐｌｉｃａｔｉｏｎｓｔｏＳｉｇｎａｌＣｈａｒａ
ｃｔｅｒｉｓａｔｉｏｎ（ＡＩＰＰｒｅｓｓ、ＡｍｅｒｉｃａｎＩｎｓｔｉ
ｔｕｔｅｏｆＰｈｙｓｉｃｓ出版）のＤａｖｉｄＨ．ＫｉｌおよびＦｒａ
ｎｃｅｓＢ．Ｓｋｉｎらによる「ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌｓ
」と題される第５章に見出され得る。

【００６２】３２２における最適状態のシーケンス評価器３０６へのテストデータ入力は、
３０５からのモデルパラメータと比較される。

【００６３】３０６において最も可能性の高い状態のシーケンスが評価され、監視シーケン
ス３２２およびモデルパラメータ３０５のセットに付与される。

【００６４】これは、動的計画法に基づくヴィテルビ復号アルゴリズムの使用によって達成
される。また、この構成は、従来技術から公知であり、これに関するさらなる詳
細は、ＫｉｌおよびＳｋｉｎらによる上述の刊行物に見出され得る。

【００６５】（図４）図４は、本発明による構成を開示する。図４に示され、参照番号４００および
参照番号４０１〜４０７によって識別される構成のその部分は、図３において３
００および参照番号３０１〜３０７で示される構成と同じである。従って、図３
において３００および図４において４００で示される構成は、隠れたマルコフモ
デル（ＨＭＭ）を含む。

【００６６】しかしながら、図３の、公知の周波数領域エネルギー密度スペクトル符号化入
力３２１、３２２は、時間領域波形整形記述子（ＷＳＤ）符号化構成４２０、４
２２と置き換えられる。

【００６７】（図６）図６の構成において、エルゴードＨＭＭ６００は、図２に２００で示されるユ
ニットに取って換わる。図６において、図２のユニット２２０は６２０と表され
る。

【００６８】前に示したように、本発明は、左右ＨＭＭと比較して、より高いエルゴードＨ
ＭＭ６００の計算費用が軽減されることを可能にし、従って、所望の信号のより
ロバストな評価を提供することができる限りは、エゴードＨＭＭに本来備わって
いる、左右ＨＭＭに対する優位性の結果として、このエゴードＨＭＭをより魅力
的にするという点で特に有用である。

【００６９】エゴードＨＭＭは、時には、完全接続されたＨＭＭと呼ばれる。これは、あら
ゆる状態が有限数の他のあらゆる状態によって達成され得るからである。その結
果、状態遷移マトリクスＡは、正の係数で完全にロードされる傾向がある。

【００７０】エゴードＨＭＭおよび左右ＨＭＭは、時間と監視ベクトル空間を別々に分ける
。

【００７１】左右ＨＭＭにおいて、トレーニングデータは、各時間セグメントが状態を構成
する複数の時間セグメントに分けられる。各状態についての監視の確率密度は、
各時間セグメントの一部である監視から引出され、通常、ガウスモデルに特徴づ
けられる。

【００７２】エルゴードＨＭＭとは逆に、トレーニングデータは、複数の時間セグメントに
分割されないが、その代わりに全監視シーケンスにおいてベクトルの量子化が実
行され、別個のクラスタまたは状態を見出す。

【００７３】両方のケースにおいて、エルゴードＨＭＭおよび左右ＨＭＭ、ＳＫＭおよびＢ
ａｕｍ−Ｗｅｌｃｈアルゴリズムは、図３との関連で既に示された目的で用いら
れる。

【００７４】（図７〜図１６）図７〜図１６を参照して、ＴＥＳＰＡＲ音声認識システムの例を説明する。こ
のようなシステムを、図２の参照符号２２０および図６の６２０に示す。

【００７５】時間符号化された発話は、発話波形符号化の形状をしている。この発話波形は
連続する真のゼロ（ｒｅａｌｚｅｒｏ）の間のセグメントに分解される。例と
して、図７は、ランダム発話波形を示し、矢印はゼロと交差する点を示す。この
波形の各セグメントについて、符号は単一のデジタルワードによって形成される
。このワードは、このセグメントの２つのパラメータ、つまりその量子化された
持続時間および形状、に由来する。持続時間の測定は簡単であり、図８は、各連
続するセグメント、２、３、６等の、各連続するセグメントについて量子化され
た持続時間を示す。

【００７６】形状記述（ｓｈａｐｅｄｅｓｃｒｉｐｔｉｏｎ）のための好適なストラテジ
ーは、波形のセグメント内における正の極小値または負の極大値の数に基づいて
、波形のセグメントを分類することであるが、他の形状記述もまた適切である。
これを図９において、０、０、１、２、０と示す。その後、これら２つのパラメ
ータはマトリクス状に複合されて、数字シンボルからなる固有のアルファベット
を生成する。図１０は、このようなアルファベットを示す。行に沿って、「Ｓ」
パラメータは極大値または極小値の数を示し、列に沿って、Ｄパラメータは量子
化された持続時間を示す。しかし、この自然に発生するアルファベットは、以下
の解析に基づいて簡略化されている。経済的符号化のために、このプロセスによ
って生成される、自然に発生する識別可能なシンボルの数は、非線形の様態でマ
ッピングされて、符号記述子（または波形記述子ＷＳＤ）のかなり小さな数（「
アルファベット」）を形成し得ることが音響上わかっており、時間符号化された
発話フォーマット内に生成されたそのような符号またはイベント記述子が、音声
認識（ＶｏｉｃｅＲｅｃｏｇｎｉｔｉｏｎ）のために用いられる。発話信号が
バンド制限型である場合（例えば３．５ｋＨｚに制限される場合）、より短いイ
ベントのいくつかは極大値または極小値を有し得ない。好適な実施形態において
、量子化は２０キロビットで実行される。サンプル、つまり３個の２０キロビッ
トのサンプルが、３．３ｋＨｚの場合の２分の１サイクルを示し、３０個の２０
キロビットのサンプルが、３００ＨＺの場合の２分の１サイクルを示す。

【００７７】時間符号化された発話フォーマットに関連する別の重要な局面は、低周波数帯
は高周波数帯ほど精密に量子化する必要がない点である。

【００７８】従って、図１０を参照すると、３つの異なる持続時間を有するが極大値および
極小値を有さない初めの３つのシンボル（１、２、および３）が同じ記述子（１
）を割り当てられ、シンボル６および７が同じ記述子（４）を割り当てられ、シ
ンボル８、９および１０が形状記述の無い同じ記述子（５）および１つの極大値
または極小値を有する記述子（６）を割り当てられている。従って、この例にお
いて、約２６個の記述子における発話の記述で終了する。

【００７９】これらの記述子が音声認識においてどのように使用されるかを説明する。一例
として、現時点で、所与の発話者によって話された単語を規定する記述子を考察
するのが適している。例えば、「ＳＩＸ」という単語について考える。図１４に
おいて、時間符号化された、所与の発話者によって話されたこの単語についての
発話シンボルストリームの一部を示す。これは、図１０に示すアルファベットを
利用して図１１および図１２を参照しつつ説明したエンコーダのようなエンコー
ダによって生成されるシンボルストリームを示す。

【００８０】図１４は、単語「ＳＩＸ」についてのシンボルストリームを示し、図１５は、
単語「ＳＩＸ」についての時間符号化された発話イベントの二次元化されたプロ
ットまたは「Ａ」マトリクスを示す。従って、第１の数２３９は、別の記述子（
１）が続く記述子（１）の合計数を示す。図１４において、「１」はそれぞれ記
述子（１）が続く記述子（２）の数を示し、「４」は（２）等が続く記述子（１
）の合計数を示す。

【００８１】このマトリクスは、単語または発話者を識別するために使用される基準の基本
セットを提供する。マトリクスを含むイベント間の多くの関係が、その単語の発
音における所定の変化に対する免疫がある。例えば、マトリクス内の最も重要な
イベントの位置は、その単語の長さを、「ＳＩＸ」（通常の発声）から、より長
く引き伸ばした様態での発声「ＳＩ．．ＩＸ」に変更することに対する免疫があ
る。それは単に、発声されたままの、時間符号化された発話イベントのプロフィ
ールに過ぎず、この場合、それは変化し、そして、他の関係が発話者を識別する
。

【００８２】ＴＥＳシンボルストリームが有利により高い次元のマトリクスへと形成されて
もよく、単純な二次元の「Ａ」マトリクスをここで説明したのは、単に説明を目
的としたものであることに留意されたい。

【００８３】図１１および図１２に、音声認識システムの流れ図を示す。

【００８４】マイクロフォンテープ記録または電話線からの発話の発声が、「ＩＮ」におい
て、フィルタを含む前処理ステージ１１０１に供給されて、例えば３００Ｈｚ〜
３．３ｋＨｚの信号のスペクトル内容を制限する。使用されるマイクロフォンの
特性に基づいて、偏微分／部分積分（ｐａｒｔｉａｌｉｎｔｅｇｒａｔｉｏｎ
）等のいくつかの追加の前処理を行って、入力された発話に所定のスペクトル内
容を与える必要があるかもしれない。ＡＣ結合ＤＣ除去もまた、発話を符号化（
ＴＥＳ符号化）する時間よりも前に要求され得る。

【００８５】図１２に、フィルタリングの後に、ＤＣ除去段１２０２と、一次反復フィルタ
１２０３と、周囲雑音に依存して、ＤＣ閾値を超える場合にのみ応答する周囲雑
音ＤＣ閾値感知段１２０４とがある、１つの構成を示す。

【００８６】その後、信号は、ＴＥＳ符号器１１０５に入る。ＴＥＳ符号器１１０５の一実
施形態を図１５に示す。図１５を参照すると、帯域が限定され、予備処理された
入力発話が、Ａ／Ｄ変換器１５０６、適切なロジックＲＺロジック１５０７、Ｒ
Ｚカウンタ１５０８、極値ロジック１５０９、ならびに正の最小値および負の最
大値カウンタ１５１０を介して、ＴＥＳシンボルストリームに変換される。プロ
グラマブル読み出し専用メモリ１５１１、および関連付けられたロジックは、図
１０のＴＥＳアルファベットを含むルックアップテーブルとして機能し、ａ）０
交差のカウント、ならびに、例えば、単語「ＳＩＸ」の一部分について図１４に
示したようなｂ）正の最小値および負の最大値によってアドレスされたことに応
答して、「ｎ」ビットのＴＥＳシンボルストリームを生成する。

【００８７】従って、図１０の符号化構造は、ＴＥＳ符号器１１０５のアーキテクチャにプ
ログラムされる。ＴＥＳ符号器は、図１０に示すＤＳ組合せを識別し、これらを
、適切に図１０に示すシンボルに変換し、符号器５の出力で出力し、その後、Ｔ
ＥＳシンボルストリームを形成する。

【００８８】クロック信号生成器１２は、ロジックを同期化する。

【００８９】ＴＥＳシンボルストリームから、この実施例においては、二次元「Ａ」マトリ
クスである、適切なマトリクス形状パターン抽出器１１３１（図１１）が作られ
る。Ａマトリクスは、形状パターン抽出器ボックス１１３１である。この場合、
抽出されるパターンまたは抽出される形状は、Ａマトリクスである。これは、Ｔ
ＥＳシンボルの二次元マトリクス表現である。単語「ＳＩＸ」の発話の終わりに
、形成された二次元のＡマトリクスは、以前に生成され、参照パターンブロック
１１２１に格納された参照パターンと比較される。この比較は、形状パターン比
較ブロック１１４１、テストパターンと比較されている後続の参照パターン、ま
たは、代替的に、参照パターンのシーケンスと比較されているテストパターンに
おいて行われ、いずれの参照パターンがテストパターンと最も良好に適合するか
決定される。この機能、および図１１のフローチャートにおいて、破線Ｌ内に示
す他の機能は、適切なコンピュータ上でリアルタイムに実行される。

【００９０】マトリクス構成１１３１の詳細なフローチャートを図１６に示す。図１６にお
いて、ボックス１６３４および１６３５は、発話シンボル変換または図１１のＴ
ＥＳ符号器１１０５に対応し、図１１の形状パターン抽出器またはマトリクスは
、図１６のボックス１６３２および１６３３に対応する。図１６のフローチャー
トは、以下に示すように動作する。

【００９１】１．入力サンプル［Ｘ_ｎ］であるとして、「中心が切り取られた」入力を定義
するｘ≠０の場合［ｎ’_ｎ］＝＝＋１（ただし、ｘ_ｎ＝０およびｘ’_ｎ−１＞０）＝−１（ただし、ｘ_ｎ＝０およびｘ’_ｎ−１＞０）２．「エポック」を、等号の連続的なサンプルとして定義する３．「差」［ｄ_ｎ］を定義するｄ_ｎ＝ｘ’_ｎ＝ｘ’_ｎ−１４．ｓｇｎ（ｄ_ｎ＋１）ｓｇｎ（ｄ_ｎ）≠ｅ＝正の記号が与えられたｓ_ｎ’０
の場合、値ｅで、ｎでの「極値」を定義する。

【００９２】５．極値のシーケンスから、絶対的な値の差が、定められた「変動誤差」より
小さい場合にその対を消去する。

【００９３】６．ＴＥＳ解析からの出力は、新たなエポックの第１のサンプルで発生する。
ＴＥＳ解析からの出力は、含まれているサンプル数および含まれている極値の数
からなる。

【００９４】７．両方の数が所与の範囲内である場合、ＴＥＳ数は、シンプルマッピングに
従って割り付けられる。これは、図１６のボックス１６３４「スクリーニング」
において行われる。

【００９５】８．極値の値が最大値を超える場合、この最大値が入力とされる。極値の値が
１未満である場合、イベントは、（［＋ｖｅ］変動誤差の値の範囲内で）背景雑
音から生じたと考えられ、遅延線がクリアされる。

【００９６】９．サンプル数が、許容される最大値よりも大きい場合にも、遅延線がクリア
される。

【００９７】１０．ＴＥＳ数は、リセット可能な遅延線に書き込まれる。遅延線がいっぱい
である場合、遅延された数が読み出され、入力／出力組合せが、Ｎ＝２まで蓄積
される。リセットされた後、遅延線は、ヒストグラムが更新される前に再蓄積さ
れる必要がある。

【００９８】１１．最も高い入力の割り当てられた数（「有効イベント」）は、ヒストグラ
ムから選択され、マトリクス座標と共に格納される。「Ａ」マトリクスのこの例
において、これらは、例えば、図１３を生成する二次元座標である。

【００９９】音声認識システムにおいて用いられる２６シンボルのアルファベットは、ディ
ジタル発話システム用に設計されている。アルファベットは、帯域幅が３００Ｈ
ｚ〜３．３ｋＨｚに制限された入力発話波形から、最小ビットレートのデジタル
出力を生成するように構成されている。バイトレートを節約するために、このア
ルファベットは、時間量子１、２および３の、３つの最短発話セグメントを単一
のＴＥＳシンボル「１」にマッピングする。これはデジタル発話処理にとっては
理にかなっているが、音声認識にとっては、通常声のない音と関連づけられる様
々な異なる短いシンボル分布を識別するために使用可能なオプションを減少させ
る。

【０１００】アルファベットおよびこの帯域幅の結果としてシンボル「１」が支配的である
ことは、より単純な距離による測定を用いて比較した場合に、いくつかの語間の
効果的な識別を制限する程度にマトリクス「Ａ」の分布を支配し得ると判断され
ている。これらの状況において、マトリクス「Ａ」から任意にシンボル「１」を
排除し且つシンボル「１」の組み合わせを排除することにより、より効果的な識
別が得られ得る。このことは、音声認識スコアを向上させるが、検査／比較を、
より低減された帯域幅２．２ｋＨｚ（０．３ｋＨｚ〜２．５ｋＨｚ）に関連づけ
られるイベントに、有効に限定する。あるいは好適には、ＴＥＳアルファベット
のサイズが増大してこれらのより短いイベントの記載を含み得る。

【０１０１】背景ノイズが大きい場合、別のＴＥＳアルファベット、例えば偽ゼロ（ＰＺ）
および補間ゼロ（ＩＺ）が好適に用いられ得る。

【０１０２】経済的な音声認識アルゴリズム手段として、Ａ／Ｄコンバータを必要とするこ
となく発話からＴＥＳシンボルストリームを生成する非常に単純なＴＥＳコンバ
ータが考えられ得る。この提案は、ゼロクロッシング検出器、クロック、カウン
タおよびロジックゲートを利用する。２つのゼロクロッシング検出器（ＺＣＤ）
が用いられ、うち一方が区別された発話信号に対して動作する。

【０１０３】ｄ／ｄｔ出力は単に、任意の特定された時間間隔に亘って、オリジナルの発話
信号内の最大値の数に関連するカウントを提供する。選択された時間間隔は、信
号ｖｉｚの実際のゼロ間の時間である。ＺＣＤの出力間のクロック期間数は、過
少識別された発話信号と関連づけられる。これらの数は対になり適切な論理で操
作されて、ＴＥＳシンボルストリームを提供し得る。

【図面の簡単な説明】

【図１】図１は、従来技術の信号処理構成を表す図である。

【図２】図２は、図１に類似するが、本発明による信号処理構成の本質的要素を示す図
である。

【図３】図３は、図１に示す従来技術の構成をより詳細に表す図である。

【図４】図４は、図３に類似するが、図２に示す構成をより詳細に示す図である。

【図５】図５は、同じスペクトルを有する３つの異なる波形を示す。

【図６】図６は、図２に類似するが、本発明の別の実施形態を示す図である。

【図７】図７は、ランダム発話の波形である。

【図８】図８は、図７の波形の各セグメントの量子化された継続期間を表す。

【図９】図９は、図７の波形の各セグメントにおいて生じる最大値または最小値を表す
。

【図１０】図１０は、本発明の実施形態において用いるために導き出されたシンボルアル
ファベットである。

【図１１】図１１は、本発明の実施形態による音声認識システムのフロー図である。

【図１２】図１２は、図１１の変形例を示す。

【図１３】図１３は、図１１および図１２のシステムにおいて生成されたＳＩＸという言
葉に関するシンボルストリームを示し、このンボルストリームは、左から右およ
び上から下に、いく列にも連続的に読まれる。

【図１４】図１４は、図１３のンボルストリームに関する２次元の「Ａ」マトリクスを示
す。

【図１５】図１５は、図１１のシステムのエンコーダ部分のブロック図を示す。

【図１６】図１６は、図１５のＡマトリクスを生成するためのフロー図を示す。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＢＺ，ＣＡ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ

Claims

【特許請求の範囲】

【請求項１】信号モデリング方法であって、統計的信号モデリングシステ
ムに、決定論的モデリングシステムの出力を入力することにより、全体的演算オ
ーバーヘッドの低減を実現する工程を包含する方法。
【請求項２】前記統計的信号モデリングシステムが、隠れマルコフモデリ
ングシステム（ＨＭＭ）を含む、請求項１に記載の方法。
【請求項３】前記決定論的モデリングシステムが、波形整形記述子システ
ム（ＷＳＤ）を含む、請求項１または２に記載の方法。
【請求項４】前記ＷＳＤシステムが時間符号化および時間符号化信号処理
および認識（ＴＥＳＰＡＲ）システムを含む、請求項３に記載の方法。
【請求項５】前記ＨＭＭが、Ｎ状態の左右ＨＭＭモデルである、請求項２
に記載の方法。
【請求項６】前記ＨＭＭが、エルゴードＨＭＭモデルである、請求項２に
記載の方法。
【請求項７】前記統計学的システムが、ガウス処理またはポアソン処理の
いずれかを用いる、請求項１に記載の方法。
【請求項８】前記ガウス処理が、多変量ガウス（ＭＶＧ）またはガウス混
合モデル（ＧＭＭ）のいずれかである、請求項７に記載の方法。
【請求項９】請求項１から８のいずれかに記載の方法を組み込んだ発話認
識システム。
【請求項１０】請求項１から８のいずれかに記載の方法を用いた言語識別
システム。
【請求項１１】請求項１から８のいずれかに記載の方法を用いた話し手検
証システム。
【請求項１２】実質的に、添付の図面を参照しながら上述され添付の図面
に示される、信号モデリング方法。
【請求項１３】実質的に、添付の図面を参照しながら上述され添付の図面
に示される、信号モデリングシステム。