JP2000200098A

JP2000200098A - 学習装置および学習方法、並びに認識装置および認識方法

Info

Publication number: JP2000200098A
Application number: JP11001789A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Norifumi Yoshihara; 典文吉原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-01-07
Filing date: 1999-01-07
Publication date: 2000-07-18
Also published as: US6718299B1

Abstract

(57)【要約】【課題】認識性能を向上させる。【解決手段】画像と音声の特徴パラメータを、固定の
正規化係数によって正規化して統合し、統合パラメータ
とした場合には、画像または音声の特徴パラメータそれ
ぞれが、図１７（Ａ）または図１７（Ｂ）に示すよう
に、ある時刻において顕著な特徴を有する場合であって
も、図１７（Ｃ）に示すように、画像と音声の特徴パラ
メータどうしが相殺しあって、それぞれの顕著な特徴が
失われることがある。そこで、図１７（Ｄ）に示すよう
に、画像と音声の時系列の特徴パラメータを、それぞれ
の特徴が失われない形で（最適な形で）統合して統合パ
ラメータとすることができる時系列の正規化係数を用い
て、統合パラメータが構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、学習装置および学
習方法、並びに認識装置および認識方法に関し、特に、
例えば、音声の認識を、発話された音声と、その発話が
なされたときの口唇の画像とに基づいて行う場合に、音
声と画像の特徴パラメータを、最適な形で扱うことがで
きるようにすることにより、認識性能を向上させること
ができるようにする学習装置および学習方法、並びに認
識装置および認識方法に関する。

【０００２】

【従来の技術】例えば、音声の認識は、その音声から、
特徴パラメータを抽出し、その特徴パラメータを、基準
となる標準パラメータ（標準パターン）と比較すること
で行われる。

【０００３】

【発明が解決しようとする課題】ところで、音声の認識
を、その音声のみに基づいて行う場合には、その認識率
を向上させるのに、ある程度の限界がある。そこで、音
声の認識を、その音声の他、発話を行っている話者の口
唇を撮影した画像などをも用いて行うことにより、その
認識率を向上させる方法が考えられる。

【０００４】そして、この場合、音声から抽出した特徴
パラメータと、口唇の画像から抽出した特徴パラメータ
とを統合（結合）して、いわば統合パラメータとし、こ
の統合パラメータを用いて、音声の認識を行うことが考
えられる。

【０００５】しかしながら、音声の特徴パラメータと、
画像の特徴パラメータとを、単に並べて（つなぎ合わせ
て）統合パラメータとし、認識を行う場合には、音声ま
たは画像のうちのいずれか一方の影響を強く受け、即
ち、いずれか一方の特徴パラメータの重みが大きく、認
識率の向上の妨げになるおそれがある。

【０００６】本発明は、このような状況に鑑みてなされ
たものであり、音声や画像などの異なる入力の特徴パラ
メータを、最適な形で扱うことができるようにし、これ
により、認識性能を向上させることができるようにする
ものである。

【０００７】

【課題を解決するための手段】本発明の学習装置は、所
定の学習用の正規化係数に基づいて、複数の入力データ
の特徴パラメータそれぞれを正規化する正規化手段と、
正規化された複数の特徴パラメータそれぞれについて、
所定の標準パラメータとの距離を算出する算出手段と、
距離に基づき、時系列の特徴パラメータそれぞれについ
て、認識時に用いる時系列の正規化係数を決定する決定
手段とを備えることを特徴とする。

【０００８】本発明の学習方法は、所定の学習用の正規
化係数に基づいて、複数の入力データの特徴パラメータ
それぞれを正規化し、正規化された複数の特徴パラメー
タそれぞれについて、所定の標準パラメータとの距離を
算出し、距離に基づき、時系列の特徴パラメータそれぞ
れについて、認識時に用いる時系列の正規化係数を決定
することを特徴とする。

【０００９】本発明の認識装置は、複数の入力データそ
れぞれの時系列の特徴パラメータを正規化するための認
識用の時系列の正規化係数を記憶している記憶手段と、
複数の入力データそれぞれの時系列の特徴パラメータ
を、認識用の時系列の正規化係数に基づいて正規化する
正規化手段と、正規化された複数の特徴パラメータを統
合し、統合パラメータとする統合手段と、統合パラメー
タに基づいて、所定の認識対象を認識する認識手段とを
備えることを特徴とする。

【００１０】本発明の認識方法は、複数の入力データそ
れぞれの時系列の特徴パラメータを、認識用の時系列の
正規化係数に基づいて正規化し、正規化された複数の特
徴パラメータを統合して、統合パラメータとし、統合パ
ラメータに基づいて、所定の認識対象を認識することを
特徴とする。

【００１１】本発明の学習装置においては、正規化手段
は、所定の学習用の正規化係数に基づいて、複数の入力
データの特徴パラメータそれぞれを正規化し、算出手段
は、正規化された複数の特徴パラメータそれぞれについ
て、所定の標準パラメータとの距離を算出するようにな
されている。決定手段は、距離に基づき、時系列の特徴
パラメータそれぞれについて、認識時に用いる時系列の
正規化係数を決定するようになされている。

【００１２】本発明の学習方法においては、所定の学習
用の正規化係数に基づいて、複数の入力データの特徴パ
ラメータそれぞれを正規化し、正規化された複数の特徴
パラメータそれぞれについて、所定の標準パラメータと
の距離を算出し、距離に基づき、時系列の特徴パラメー
タそれぞれについて、認識時に用いる時系列の正規化係
数を決定するようになされている。

【００１３】本発明の認識装置においては、記憶手段
は、複数の入力データそれぞれの時系列の特徴パラメー
タを正規化するための認識用の時系列の正規化係数を記
憶しており、正規化手段は、複数の入力データそれぞれ
の時系列の特徴パラメータを、認識用の時系列の正規化
係数に基づいて正規化するようになされている。統合手
段は、正規化された複数の特徴パラメータを統合して、
統合パラメータとし、認識手段は、統合パラメータに基
づいて、所定の認識対象を認識するようになされてい
る。

【００１４】本発明の認識方法においては、複数の入力
データそれぞれの時系列の特徴パラメータを、認識用の
時系列の正規化係数に基づいて正規化し、正規化された
複数の特徴パラメータを統合して、統合パラメータと
し、統合パラメータに基づいて、所定の認識対象を認識
するようになされている。

【００１５】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。

【００１６】即ち、請求項１に記載の学習装置は、複数
の入力データについて、それぞれの特徴を表す時系列の
特徴パラメータの正規化に用いる時系列の正規化係数を
求めるための学習を行う学習装置であって、所定の学習
用の正規化係数に基づいて、複数の入力データの特徴パ
ラメータそれぞれを正規化する正規化手段（例えば、図
１８に示すメディア間正規化部１２１など）と、正規化
された複数の特徴パラメータそれぞれについて、所定の
標準パラメータとの距離を算出する算出手段（例えば、
図１８に示すマッチング部１３１など）と、距離に基づ
き、時系列の特徴パラメータそれぞれについて、認識時
に用いる時系列の正規化係数を決定する決定手段（例え
ば、図１８に示す最適正規化係数検出部１０４など）と
を備えることを特徴とする。

【００１７】請求項６に記載の認識装置は、所定の認識
対象を、複数の入力データに基づいて認識する認識装置
であって、複数の入力データを処理することにより、そ
の複数の入力データそれぞれについて、時系列の特徴パ
ラメータを出力する処理手段（例えば、図２３に示すパ
ラメータ化回路１など）と、複数の入力データそれぞれ
の時系列の特徴パラメータを正規化するための認識用の
時系列の正規化係数を記憶している記憶手段（例えば、
図２４に示す距離推移モデル記憶部２６５など）と、複
数の入力データそれぞれの時系列の特徴パラメータを、
認識用の時系列の正規化係数に基づいて正規化する正規
化手段（例えば、図２４に示すメディア間正規化部２６
７など）と、正規化された複数の特徴パラメータを統合
し、統合パラメータとする統合手段（例えば、図２４に
示す統合パラメータ生成部２６８など）と、統合パラメ
ータに基づいて、所定の認識対象を認識する認識手段
（例えば、図２４に示す距離計算部６４など）とを備え
ることを特徴とする。

【００１８】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００１９】図１は、複数の入力データそれぞれの特徴
パラメータを統合した統合パラメータに基づいて音声認
識を行う音声認識装置の構成例を示している。

【００２０】この音声認識装置には、認識対象である、
ユーザが発話した音声である発話データの他、そのユー
ザが発話している口唇を撮影した画像のデータ（画像デ
ータ）、ユーザが発話した環境における雑音のデータ
（雑音データ）、その他のユーザの発話（音声）を認識
するのに役立ちうるデータ（例えば、ユーザが発話を行
っている場所を入力するボタンが装置に設けられている
場合において、そのボタンが操作されたときの、その操
作に対応する信号など）が、時系列に、順次入力される
ようになされており、これらのデータを必要に応じて考
慮して、発話データの認識が行われるようになされてい
る。

【００２１】即ち、パラメータ化回路１には、上述した
発話データ、口唇の画像データ、雑音データ、その他の
データ（ここでは、例えば、いずれもディジタルデータ
とする）が入力されるようになされている。そして、パ
ラメータ化回路１は、そこに入力される各種のデータそ
れぞれを処理するための信号処理部１１₁乃至１１_Nを有
しており、発話データ、口唇の画像データ、雑音デー
タ、その他のデータを、対応する信号処理部１１_n（ｎ
＝１，２，・・・，Ｎ：Ｎは、パラメータ化回路１に入
力可能な信号の数）において処理することにより、各デ
ータの特徴を表す特徴パラメータの抽出等を行うように
なされている。パラメータ化回路１で抽出された特徴パ
ラメータは、統合パラメータ生成回路２に供給されるよ
うになされている。

【００２２】ここで、図１の実施の形態では、信号処理
部１１₁，１１₂、または１１_Nそれぞれにおいて、口唇
の画像データ、発話データ、または雑音データが処理さ
れるようになされている。なお、発話データや雑音デー
タなどの音声（音響）データの特徴パラメータとして
は、例えば、線形予測係数や、ケプストラム係数、パワ
ー、線スペクトル対、ゼロクロスなどがある。また、口
唇の画像データの特徴パラメータとしては、例えば、そ
の口唇の形状を近似する楕円を規定するパラメータ（例
えば、楕円の長径と短径など）がある。

【００２３】統合パラメータ生成回路２は、メディア間
正規化部２１および統合パラメータ生成部２２で構成さ
れ、パラメータ化回路１からの各種の信号の特徴パラメ
ータを統合した統合パラメータを生成するようになされ
ている。

【００２４】即ち、メディア間正規化部２１は、パラメ
ータ化回路１からの各種の信号の特徴パラメータを、同
一の重み（スケール）で扱うことができるように正規化
し、統合パラメータ生成部２２に出力するようになされ
ている。統合パラメータ生成部２２は、メディア間正規
化部２１から供給される、各種の信号の、正規化された
特徴パラメータを統合する（つなぎ合わせる）ことによ
り、統合パラメータを生成し、マッチング回路３に出力
するようになされている。

【００２５】マッチング回路３は、統合パラメータと、
所定の標準パターン（認識対象のモデル）とのマッチン
グを行い、そのマッチング結果を、判定回路４に出力す
るようになされている。即ち、マッチング回路３は、こ
こでは、距離推移方式マッチング部３１および空間分布
方式マッチング部３２を有している。距離推移方式マッ
チング部３１は、後述する距離推移モデルを用いて、後
述する距離推移方式による統合パラメータのマッチング
を行い、そのマッチング結果を、判定回路４に出力する
ようになされている。空間分布方式マッチング部３２
は、後述する空間分布方式による統合パラメータのマッ
チングを行い、そのマッチング結果を、判定回路４に出
力するようになされている。

【００２６】判定回路４は、マッチング回路３の出力、
即ち、ここでは、距離推移方式マッチング部３１および
空間分布方式マッチング部３２におけるマッチング結果
に基づいて、ユーザの発話（音声）を認識し、その認識
結果としての、例えば、単語を出力するようになされて
いる。従って、ここでは単語を音声認識の対象としてい
るが、その他、例えば、音素などを、音声認識の対象と
することも可能である。

【００２７】次に、図２のフローチャートを参照して、
図１の音声認識装置の処理について説明する。

【００２８】音声認識装置では、発話データ、口唇の画
像データ、雑音データ等が入力されると、それらのデー
タが、パラメータ化回路１に供給される。

【００２９】パラメータ化回路１では、ステップＳ１に
おいて、発話データ、口唇の画像データ、雑音データ等
が処理され、それぞれのデータについて、特徴パラメー
タが抽出される。各データの特徴パラメータは、統合パ
ラメータ生成回路２に供給される。

【００３０】統合パラメータ生成回路２のメディア間正
規化部２１では、ステップＳ２において、パラメータ化
回路１からの各データの特徴パラメータが正規化され、
その正規化された特徴パラメータが、統合パラメータ生
成部２２に供給される。統合パラメータ生成部２２で
は、ステップＳ３において、メディア間正規化部２１か
らの各データの正規化された特徴パラメータが統合さ
れ、統合パラメータとされる。この統合パラメータは、
マッチング回路３の距離推移方式マッチング部３１およ
び空間分布方式マッチング部３２に供給される。

【００３１】距離推移方式マッチング部３１または空間
分布方式マッチング部３２では、ステップＳ４におい
て、統合パラメータ生成回路２からの統合パラメータの
マッチングが、距離推移方式または空間分布方式によっ
てそれぞれ行われ、それぞれのマッチング結果が、判定
回路４に供給される。判定回路４は、ステップＳ５にお
いて、マッチング回路３からのマッチング結果に基づ
き、発話データ（ユーザの発話）の認識を行い、その認
識結果（音声認識結果）を出力して、処理を終了する。

【００３２】次に、図１のメディア間正規化部２１にお
いては、上述したように、パラメータ化回路１からの各
種の信号の特徴パラメータが、同一の重みで扱うことが
できるように正規化されるが、この正規化は、各特徴パ
ラメータに、所定の正規化係数を乗算することで行われ
るようになされている。そして、その正規化係数は、所
定の学習（正規化係数学習処理）を行うことにより求め
られるようになされており、図３は、そのような学習を
行う学習装置の構成例を示している。

【００３３】なお、ここでは、説明を簡単にするため
に、異なる２つのメディアである画像と音声の特徴パラ
メータ（例えば、発話された音声の特徴パラメータと、
その発話時の口唇の画像の特徴パラメータなど）の重み
を同一にするための正規化係数を求める学習について説
明する。

【００３４】仮正規化部５１には、ベクトル量子化に用
いるコードブックを生成するためのコードベクトル学習
用パラメータ（コードブック生成用データ）としての、
画像の特徴パラメータＰ_i,jおよび音声の特徴パラメー
タＶ_i,jが供給されるようになされており、仮正規化部
５１は、正規化係数制御部５５からの正規化係数によっ
て、特徴パラメータＰ_i,jおよび音声の特徴パラメータ
Ｖ_i,jを、仮に正規化し、コードブック作成部５２に供
給するようになされている。即ち、本実施の形態では、
例えば、画像の特徴パラメータＰ_i,jの重みを基準と
し、その重みに、音声の特徴パラメータＶ_i,jの重みを
一致させるために、音声の特徴パラメータＶ_i,jに対し
て、正規化係数制御部５５からの正規化係数αが乗算さ
れる（この場合、画像の特徴パラメータＰ_i,jには、正
規化係数として１が乗算されると考えることができ
る）。

【００３５】ここで、特徴パラメータＰ_i,jおよびＶ_i,j
の行を表すサフィックスｉは、その特徴パラメータＰ
_i,j，Ｖ_i,jが抽出された時刻（フレーム）を表し、列を
表すサフィックスｊは、特徴パラメータＰ_i,j，Ｖ_i,jの
次数（次元）を表す（従って、（Ｐ_i,1，Ｐ_i,2，・・
・，Ｐ_i,L，Ｖ_i,1，Ｖ_i,2，・・・，Ｖ_i,M）が、ある時
刻ｉにおける特徴パラメータ（特徴ベクトル）であ
る）。また、図３では、特徴パラメータＰ_i,jにカッコ
付きのサフィックス（ｋ）を付して、Ｐ^(k) _i,jと示して
あるが、これは、ｋが異なれば、異なる学習用のデータ
から生成された特徴パラメータであることを表してい
る。Ｖ^(k) _i,jのサフィックス（ｋ）についても、同様で
ある。

【００３６】コードブック作成部５２は、仮の正規化が
なされた特徴パラメータとしてのコードベクトル学習用
パラメータＰ_i,jおよびＶ_i,jを用いて、ベクトル量子化
部５４におけるベクトル量子化に用いるコードブックを
生成（作成）し、ベクトル量子化部５４に供給するよう
になされている。

【００３７】ここで、コードブック作成部５２は、例え
ば、ＬＢＧ（Linde, Buzo, Gray）アルゴリズムにした
がって、コードブックを作成するようになされている
（但し、ＬＢＧアルゴリズム以外のアルゴリズムを採用
することも可能である）。

【００３８】ＬＢＧアルゴリズムは、いわばバッチ型学
習アルゴリズムで、学習サンプル（学習用データ）とし
ての特徴パラメータと、コードブックを構成するコード
ベクトル（代表ベクトル）（最初は、適当な初期値が与
えられる）との距離に対応して、特徴パラメータ空間を
最適分割するボロノイス分割、およびボロノイス分割に
より得られる、特徴パラメータ空間の各部分領域の重心
への、コードベクトルの更新を繰り返し行うことによ
り、コードブックのコードベクトルを、局所的に最適な
位置に収束させるようになっている。

【００３９】ここで、学習サンプルの集合をｘ_j（ｊ＝
０，１，・・・，Ｊ−１）と、コードベクトルの集合を
Ｙ＝｛ｙ₀，ｙ₁，・・・，ｙ_N-1｝と、それぞれすると
き、ボロノイス分割では、学習サンプルの集合ｘ_jが、
コードベクトルＹの集合によって、Ｎ個の部分集合Ｓ_i
（ｉ＝０，１，・・・，Ｎ−１）に分割される。即ち、
学習サンプルｘ_jとコードベクトルｙ_iとの間の距離をｄ
（ｘ_j，ｙ_i）と表した場合、ｉと等しくないｔ（ｔ＝
０，１，・・・，Ｎ−１）すべてについて、式ｄ（ｘ_j，ｙ_i）＜ｄ（ｘ_j，ｙ_t）・・・（１）が成り立つとき、学習サンプルｘ_jは、部分集合Ｓ_iに属
する（ｘ_j Ｓ_i）とされる。

【００４０】また、ベクトルｖ₀，ｖ₁，・・・，ｖ_M-1
についてのセントロイド（重心）Ｃ（ｖ₀，ｖ₁，・・
・，ｖ_M-1）を、式

【数１】・・・（２）で定義するとき、コードベクトルの更新では、コードベ
クトルｙ_iが、式ｙ_i＝Ｃ（｛Ｓ_i｝）・・・（３）にしたがって更新される。

【００４１】なお、式（２）の右辺ａｒｇｍｉｎ｛｝
は、｛｝内の値を最小にするベクトルｖを意味する。さ
らに、式（３）による、いわゆるクラスタリング手法
は、ｋ平均クラスタリング法（k-means法）と呼ばれ
る。また、ＬＢＧアルゴリズムについては、例えば、
「音声・画像工学」、中田和男、南敏著、昭晃堂、昭
和６２年の第２９ページ乃至第３１ページなどに、その
詳細が記載されている。

【００４２】ここで、図３の実施の形態において、コー
ドブック作成部５２が出力するコードブックの要素Ｓ
_i,jおよびＴ_i,jの行を表すサフィックスｉ，ｊは、コー
ド＃ｉに対応するコードベクトルのｊ番目の要素である
ことを表しており、従って、（Ｓ_i,1，Ｓ_i,2，・・・，
Ｓ_i,L，Ｔ_i,1，Ｔ_i,2，・・・，Ｔ_i,M）は、コード＃ｉ
に対応するコードベクトルを表す。また、コードベクト
ルの要素Ｓ_i,jまたはＴ_i,jは、画像または音声にそれぞ
れ対応している。

【００４３】仮正規化部５３には、正規化係数αの学習
のための正規化係数学習用パラメータとしての画像の特
徴パラメータＰ_i,jおよび音声の特徴パラメータＶ
_i,j（ここでは、コードベクトル学習用パラメータとは
異なる画像、音声から得られたものとする）が供給され
るようになされており、仮正規化部５３は、仮正規化部
５１と同様に、正規化係数制御部５５からの正規化係数
によって、特徴パラメータＰ_i,jおよび音声の特徴パラ
メータＶ_i,jを、仮に正規化し、ベクトル量子化部５４
に供給するようになされている。即ち、仮正規化部５３
は、正規化係数学習用パラメータとしての画像の特徴パ
ラメータＰ_i,jまたは音声の特徴パラメータＶ_i,jのうち
の音声の特徴パラメータＶ_i,jに対して、正規化係数制
御部５５からの正規化係数αを乗算し、ベクトル量子化
部５４に出力するようになされている。

【００４４】なお、仮正規化部５３には、正規化係数学
習用パラメータが複数セット供給されるようになされて
おり、仮正規化部５３では、その複数の正規化係数学習
用パラメータそれぞれについて、正規化が行われるよう
になされている。

【００４５】ベクトル量子化部５４は、コードブック作
成部５２からの最新のコードブックを用いて、仮正規化
部５３から供給される正規化された正規化係数学習用パ
ラメータをベクトル量子化し、そのベクトル量子化によ
る量子化誤差を、正規化係数制御部５５に供給するよう
になされている。

【００４６】即ち、ベクトル量子化部５４は、コードブ
ックのコードベクトルそれぞれ（標準パラメータ）と、
正規化された正規化係数学習用パラメータとの距離を、
画像と音声それぞれについて計算し、その距離のうちの
最も短いものを、量子化誤差として、正規化係数制御部
５５に供給するようになされている。つまり、正規化さ
れた正規化係数学習用パラメータのうちの画像の特徴パ
ラメータＰ_i,jと、コードベクトルのうちの画像に関す
る要素Ｓ_i,jからなるベクトルとの距離が算出され、そ
の距離の最も短いものが、画像についての量子化誤差と
して、正規化係数制御部５５に供給されるとともに、正
規化された正規化係数学習用パラメータのうちの音声の
特徴パラメータαＶ_i,jと、コードベクトルのうちの音
声に関する要素Ｔ_i,jからなるベクトルとの距離が算出
され、その距離の最も短いものが、音声についての量子
化誤差として、正規化係数制御部５５に供給されるよう
になされている。

【００４７】正規化係数制御部５５は、ベクトル量子化
部５４からの画像または音声についての量子化誤差をそ
れぞれ累積（積算）し、その累積値が等しくなるよう
に、仮正規化部５１および５３に供給する正規化係数α
を変更するようになされている。

【００４８】次に、図４のフローチャートを参照して、
図３の学習装置が行う処理（正規化係数学習処理）につ
いて説明する。

【００４９】図３の学習装置においては、まず最初に、
コードベクトル学習用パラメータまたは正規化係数学習
用パラメータが仮正規化部５１または５３にそれぞれ供
給されるとともに、正規化係数制御部５５から、正規化
係数αの所定の初期値が、仮正規化部５１および５３に
供給される。

【００５０】そして、ステップＳ２１において、仮正規
化部５１は、コードベクトル学習用パラメータのうち
の、音声の特徴パラメータＶ_i,jに対して、正規化係数
制御部５５からの正規化係数αを乗算し、これにより、
コードベクトル学習用パラメータを仮に正規化して、コ
ードブック作成部５２に供給する。

【００５１】コードブック作成部５２は、仮正規化部５
１から、正規化されたコードベクトル学習用パラメータ
を受信すると、ステップＳ２２において、そのコードベ
クトル学習用パラメータを用い、ＬＢＧアルゴリズムに
より、ベクトル量子化部５４がベクトル量子化を行うの
に用いるコードブックを作成し、ベクトル量子化部５４
に供給する。

【００５２】一方、仮正規化部５３では、ステップＳ２
３において、正規化係数学習用パラメータのうちの音声
の特徴パラメータＶ_i,jに対して、正規化係数制御部５
５からの正規化係数αを乗算し、これにより、正規化係
数学習用パラメータを仮に正規化して、ベクトル量子化
部５４に供給する。

【００５３】ベクトル量子化部５４は、コードブック作
成部５２から、最新のコードブックを受信するととも
に、仮正規化部５３から、最新の正規化された正規化係
数学習用パラメータを受信すると、ステップＳ２４にお
いて、仮正規化部５３からの正規化係数学習用パラメー
タを、コードブック作成部５２からのコードブックを用
いて、画像と音声それぞれについてベクトル量子化を行
い、それぞれの量子化誤差を、正規化係数制御部５５に
供給する。

【００５４】即ち、ステップＳ２４では、ベクトル量子
化部５４において、正規化された正規化係数学習用パラ
メータのうちの画像の特徴パラメータ（画像パラメー
タ）Ｐ_i,jと、コードベクトルのうちの画像に関する要
素Ｓ_i,jからなるベクトルとの距離が算出され、その距
離の最も短いものが、画像についての量子化誤差とし
て、正規化係数制御部５５に供給されるとともに、正規
化された正規化係数学習用パラメータのうちの音声の特
徴パラメータ（音声パラメータ）αＶ_i,jと、コードベ
クトルのうちの音声に関する要素Ｔ_i,jからなるベクト
ルとの距離が算出され、その距離の最も短いものが、音
声についての量子化誤差として、正規化係数制御部５５
に供給される。

【００５５】ここで、仮正規化部５３には、上述したよ
うに、複数の正規化係数学習用パラメータが供給される
ため、ベクトル量子化部５４にも、正規化された正規化
係数学習用パラメータが複数セット供給されるが、ベク
トル量子化部５４では、その複数の正規化された正規化
係数学習用パラメータそれぞれについて、順次、上述し
たような画像および音声についての量子化誤差が求めら
れ、正規化係数制御部５５に供給されるようになされて
いる。

【００５６】ステップＳ２４では、さらに、正規化係数
制御部５５において、ベクトル量子化部５４から供給さ
れる画像または音声についての量子化誤差がそれぞれ累
積され、それぞれの量子化誤差の累積値Ｄ_PまたはＤ_Vが
求められる。

【００５７】そして、ステップＳ２５に進み、正規化係
数制御部５５において、画像についての量子化誤差Ｄ_P
と音声についての量子化誤差Ｄ_Vとの差分の絶対値｜Ｄ_P
−Ｄ_V｜が最小であるかどうかが判定される。ステップ
Ｓ２５において、画像についての量子化誤差Ｄ_Pと音声
についての量子化誤差Ｄ_Vとの差分の絶対値｜Ｄ_P−Ｄ_V
｜が最小でないと判定された場合、ステップＳ２６に進
み、正規化係数制御部５５は、正規化係数αを変更し、
仮正規化部５１および５３に供給する。そして、ステッ
プＳ２１に戻り、以下、変更後の正規化係数αを用い
て、同様の処理が繰り返される。

【００５８】一方、ステップＳ２５において、画像につ
いての量子化誤差Ｄ_Pと音声についての量子化誤差Ｄ_Vと
の差分の絶対値｜Ｄ_P−Ｄ_V｜が最小であると判定された
場合、即ち、理想的には、画像についての量子化誤差Ｄ
_Pと音声についての量子化誤差Ｄ_Vとが同一となった場
合、ステップＳ２７に進み、正規化係数制御部５５は、
その最小の絶対値｜Ｄ_P−Ｄ_V｜が得られたときの正規化
係数αを、画像と音声の特徴パラメータを、同一の重み
で扱うことができるように正規化することのできるもの
として出力し、処理を終了する。

【００５９】以上のように、画像と音声の特徴パラメー
タからなる統合パラメータであるコードベクトル学習用
パラメータを正規化し、その正規化されたコードベクト
ル学習用パラメータを用いて、コードブックを生成する
一方、画像と音声の特徴パラメータからなる統合パラメ
ータである正規化係数学習用パラメータを仮に正規化
し、その正規化された正規化係数学習用パラメータのう
ちの画像または音声の特徴パラメータそれぞれについ
て、生成されたコードブックを用いてベクトル量子化を
行うことにより、量子化誤差（コードベクトルとの最小
の距離）の累積値を求め、その累積値どうしが等しくな
るように、正規化係数を変更するようにしたので、画像
と音声などといった異なるメディアの特徴パラメータ
を、同等の重みで扱うことができるように正規化を行う
ことができる正規化係数を求めることができる。

【００６０】その結果、例えば、音声から抽出した特徴
パラメータと、口唇の画像から抽出した特徴パラメータ
とを、正規化係数によって正規化し、さらに、それらを
統合して、統合パラメータとし、この統合パラメータを
用いて、音声の認識を行う場合においては、音声または
画像のうちのいずれか一方の影響を強く受けることによ
り、認識率の向上の妨げられることを防止することが可
能となる。

【００６１】さらに、統合パラメータを構成する各メデ
ィアの特徴パラメータが、認識率に与える影響の検証
を、容易に行うことが可能となる。

【００６２】なお、上述した場合においては、画像の特
徴パラメータの重みを基準とし（１とし）、音声の特徴
パラメータについて、その重みを、画像の特徴パラメー
タの重みと同一にするための正規化係数αが求められる
ため、図１のメディア間正規化部２１では、画像の特徴
パラメータについては、そのまま出力され、音声の特徴
パラメータについては、上述のようにして求められた正
規化係数αが乗算されることにより正規化されて出力さ
れる。

【００６３】さらに、図３の実施の形態では、画像と音
声の２種類の特徴パラメータの重みを同一にするための
正規化係数αを求める学習について説明したが、３種類
以上の特徴パラメータ、あるいは、画像や音声の他のメ
ディアの特徴パラメータの重みを同一にするための正規
化係数を求める学習も、同様に行うことが可能である。

【００６４】また、上述した正規化係数の学習方法は、
特徴パラメータの種類や次元に依存するものではないた
め、特徴パラメータの種類や次元に関係なく適用可能で
ある。

【００６５】さらに、上述した場合においては、画像の
特徴パラメータの重みを基準とし、音声の特徴パラメー
タについて、その重みを、画像の特徴パラメータの重み
と同一にするための正規化係数αを求めるようにした
が、音声と画像の特徴パラメータそれぞれについて、両
者の重みを同一にする正規化係数を求めるようにするこ
とも可能である。

【００６６】次に、図５は、図１の距離推移方式マッチ
ング部３１の構成例を示している。

【００６７】時間軸正規化部６１には、統合パラメータ
生成回路２（図１）から、例えば、ある単語が発話され
たときの統合パラメータが時系列に供給されるようにな
されており、時間軸正規化部６１は、その時系列の統合
パラメータの時間軸正規化を行うようになされている。

【００６８】即ち、ある単語が発話されたときの発話時
間をｔとすると、その単語の発話による統合パラメータ
のある要素の時間変化は、例えば、図６（Ａ）に示すよ
うになるが、図６（Ａ）における発話時間ｔは、同一人
による同一単語の発話であっても、発話ごとに変動す
る。そこで、時間軸正規化部６１は、発話時間ｔが、図
６（Ｂ）に示すように、一律に、時間Ｔ_Cとなるよう
に、時間軸正規化を行うようになされている。なお、例
えば、いま、図１の音声認識装置において、単誤認識を
行うものとすると、時間Ｔ_Cは、認識対象の単語を発話
したときの一般的な発話時間よりも十分長い時間に設定
されている。従って、時間軸正規化部６１では、図６
（Ａ）に示した時系列の統合パラメータが、いわば時間
軸方向に間延びしたように変更される。なお、時間軸正
規化の手法は、これに限定されるものではない。

【００６９】時間軸正規化後の統合パラメータは、時間
軸正規化部６１からベクトル量子化部６２に供給される
ようになされている。ベクトル量子化部６２は、コード
ブック記憶部６３に記憶されたコードブックを用いて、
時間軸正規化された時系列の統合パラメータを、順次、
ベクトル量子化し、そのベクトル量子化結果としてのコ
ード、即ち、統合パラメータとの距離が最も近いコード
ベクトルに対応するコードを、順次、距離計算部６４に
供給するようになされている。

【００７０】コードブック記憶部６３は、ベクトル量子
化部６２が統合パラメータのベクトル量子化に用いるコ
ードブックを記憶している。

【００７１】距離計算部６４は、距離推移モデル記憶部
６５に記憶されている、認識対象の単語の距離推移モデ
ルから、ベクトル量子化部６２が出力するコードの系列
が観測されるときの、コードベクトルとの距離を累積
し、その累積値を、ソート部６６に供給するようになさ
れている。

【００７２】距離推移モデル記憶部６５は、例えば、図
７に示すような、認識対象の単語の時系列の統合パラメ
ータ（標準系列）と、コードブック記憶部６３に記憶さ
れたコードブックの各コードベクトルとの間の距離の推
移を表す距離推移モデルを記憶している。即ち、距離推
移モデル記憶部６５は、図７に示したような距離推移モ
デルを、認識対象とされている単語それぞれについて記
憶している。

【００７３】なお、図７の実施の形態では、コードブッ
ク記憶部６３に記憶されたコードブックが、Ｊ＋１個の
コードベクトルＣ₀乃至Ｃ_Jを有するものとしてある。

【００７４】ソート部６６は、距離計算部６４から供給
される、認識対象の各単語の距離推移モデルについての
距離の累積値のうち、その値が小さいものから、上位Ｎ
個を選択し、統合パラメータと距離推移モデルとのマッ
チング結果として、判定回路４に出力するようになされ
ている。

【００７５】以上のように構成される距離推移方式マッ
チング部３１では、距離推移方式によるマッチングが行
われるようになされており、この距離推移方式によるマ
ッチング処理について、図８のフローチャートを参照し
て説明する。

【００７６】時間軸正規化部６１は、統合パラメータ生
成回路２から、ある単語の発話に対応する時系列の統合
パラメータを受信すると、ステップＳ３１において、そ
の時系列の統合パラメータを時間軸正規化し、ベクトル
量子化部６２に出力する。ベクトル量子化部６２では、
ステップＳ３２において、コードブック記憶部６３に記
憶されたコードブックを参照することで、時間軸正規化
部６１からの時系列の統合パラメータが、順次、ベクト
ル量子化され、そのベクトル量子化結果としての、統合
パラメータとの距離を最も短くするコードベクトルに対
応するコードの系列が、順次、距離計算部６４に供給さ
れる。

【００７７】距離計算部６４では、ステップＳ３３にお
いて、距離推移モデル記憶部６５に記憶されている、認
識対象の単語の距離推移モデルから、ベクトル量子化部
６２が出力するコードの系列が観測されるときの、各コ
ードに対応するコードベクトルとの距離が累積される。

【００７８】即ち、ベクトル量子化部６２が出力するコ
ードの系列のうち、時刻ｔのコードをｓ_t（ｔ＝０，
１，・・・，Ｔ_C）と表すと、距離計算部６４は、ベク
トル量子化部６２が最初に出力するコードｓ₀に対応す
るコードベクトルＣ_j（ｊ＝０，１，・・・，Ｊ）と
の、時刻＃０における距離を、距離推移モデルを参照す
ることで求める。具体的には、例えば、コードｓ₀に対
応するコードベクトルがＣ₀である場合には、図７にお
いて、コードベクトルＣ₀からの距離の推移を表してい
る曲線上の、時刻＃０における距離が求められる。

【００７９】さらに、距離計算部６４は、ベクトル量子
化部６２が２番目に出力するコードｓ₁に対応するコー
ドベクトルＣ_jとの、時刻＃１における距離を、距離推
移モデルを参照することで求める。以下、同様にして、
距離計算部６４は、ベクトル量子化部６２が最後に出力
するコードｓ_TCに対応するコードベクトルＣ_jとの、時
刻＃Ｔ_Cにおける距離までを、距離推移モデルを参照す
ることで、順次求めていき、それらの距離の累積値を計
算する。

【００８０】そして、距離計算部６４は、距離推移モデ
ル記憶部６５に記憶されたすべての距離推移モデルそれ
ぞれについて、距離の累積値を計算すると、それらの距
離の累積値を、ソート部６６に出力し、ステップＳ３４
に進む。

【００８１】ステップＳ３４では、ソート部６６におい
て、距離計算部６４からの、認識対象の各単語の距離推
移モデルについての距離の累積値のうち、その値が小さ
いものから、上位Ｎ個が選択され、ステップＳ３５に進
み、統合パラメータと距離推移モデルとのマッチング結
果として、判定回路４に出力され、処理を終了する。

【００８２】次に、図９は、図５の距離推移モデル記憶
部６５に記憶させる距離推移モデルを求める学習を行う
学習装置の構成例を示している。

【００８３】時間軸正規化部７１には、距離推移モデル
を求める学習を行うのに用いる時系列の学習用統合パラ
メータが供給されるようになされており、時間軸正規化
部７１は、図５の時間軸正規化部６１と同様に、学習用
統合パラメータを時間軸正規化し、距離計算部７２に供
給するようになされている。

【００８４】ここで、時間軸正規化部７１には、例え
ば、ある単語の距離推移モデルを求めるための時系列の
学習用統合パラメータが複数セット供給されるようにな
されており、時間軸正規化部７１は、その複数セットの
学習用統合パラメータそれぞれについて時間軸正規化を
行い、それらを１の学習用統合パラメータにまとめて出
力するようになされている。即ち、時間軸正規化部７１
には、例えば、図１０（Ａ）に示すように、ある単語に
ついて、継続時間が必ずしも同一でない複数（図１０に
おいては、Ｎ個）の学習用統合パラメータが供給される
ようになされており、時間軸正規化部７１は、その複数
の学習用統合パラメータの継続時間が、図１０（Ｂ）に
示すように、いずれも時間Ｔ_Cとなるように時間軸正規
化を行う。そして、時間軸正規化部７１は、図１０
（Ｃ）に示すように、時間軸正規化を行った複数の学習
用統合パラメータの、同一時刻のサンプル値どうしの、
例えば、平均値を計算し、その平均値を、各時刻におけ
るサンプル値とする１つの学習用統合パラメータを生成
する。

【００８５】なお、複数の学習用統合パラメータを、１
の学習用統合パラメータにまとめる方法は、これに限定
されるものではない。また、ある単語の距離推移モデル
を求めるための時系列の学習用統合パラメータが１セッ
トだけしか用意されていない場合には、時間軸正規化部
７１は、その１の学習用統合パラメータを時間軸正規化
して、そのまま出力するようになされている。

【００８６】距離計算部７２は、図１１に示すように、
コードブック記憶部７３に記憶されたコードブックの各
コードベクトルと、時間軸正規化部７１から供給される
時系列の学習用統合パラメータとの距離を、順次計算
し、その距離の推移、即ち、時間軸正規化された、時刻
＃０乃至＃Ｔ_Cまでの学習用統合パラメータと、各コー
ドベクトルとの距離の推移を、多項式表現化部７４に供
給するようになされている。

【００８７】コードブック記憶部７３は、図５のコード
ブック記憶部６３に記憶されているコードブックと同一
のコードブックを記憶している。

【００８８】多項式表現化部７４は、距離計算部７２か
ら供給されるコードベクトルとの間の距離の推移を近似
する多項式を求め、距離推移モデルとして出力するよう
になされている。即ち、多項式表現化部７４では、図１
１に示したような距離の推移が、図７に示したような多
項式で表される曲線で近似されるようになされている。

【００８９】次に、図１２のフローチャートを参照し
て、図９の学習装置の処理について説明する。

【００９０】時間軸正規化部７１に対しては、ある単語
の距離推移モデルを求めるための時系列の学習用統合パ
ラメータが複数セット供給され、時間軸正規化部７１
は、ステップＳ４１において、その複数セットの学習用
統合パラメータそれぞれについて時間軸正規化を行い、
それらを１の学習用統合パラメータにまとめて、距離計
算部７２に出力する。距離計算部７２は、ステップＳ４
２において、図１１に示したような、コードブック記憶
部７３に記憶されたコードブックの各コードベクトル
と、時間軸正規化部７１から供給される時系列の学習用
統合パラメータとの距離を、順次計算し、その距離の推
移を、多項式表現化部７４に供給する。

【００９１】多項式表現化部７４では、ステップＳ４３
において、距離計算部７２から供給される、学習用統合
パラメータ（標準系列）とコードベクトルとの間の距離
の推移を近似するＮ次の多項式が、例えば、最小二乗法
により求められる。

【００９２】即ち、時刻ｔにおける学習用統合パラメー
タと、コードベクトルＣ_jとの間の距離を近似するＮ次
の多項式ｆ_j（ｔ）は、次のように表すことができる。

【００９３】ｆ_j（ｔ）＝ａ_j0＋ａ_j1ｔ¹＋ａ_j2ｔ²＋・・・＋ａ_jNｔ^N ・・・（４）

【００９４】従って、距離計算部７２において求められ
た、時刻ｔにおける学習用統合パラメータと、コードベ
クトルＣ_jとの間の距離ｆ_j（ｔ）を用いて、次式を解く
ことで、最小二乗法により、式（４）を規定する係数ａ
_j0，ａ_j1，ａ_j2，・・・，ａ_jNを求めることができる。

【００９５】

【数２】・・・（５）

【００９６】多項式表現化部７４は、式（５）を、コー
ドベクトルＣ₀，Ｃ₁，・・・，Ｃ_Jそれぞれについて解
くことで、次式に示すような、学習用統合パラメータ
と、コードベクトルＣ₀，Ｃ₁，・・・，Ｃ_Jそれぞれと
の間の距離の推移を近似するＮ次の多項式ｆ_j（ｔ）を
規定する係数のセットＡを求める。

【００９７】

【数３】・・・（６）

【００９８】その後、ステップＳ４４に進み、多項式表
現化部７４において、式（６）の係数のセットＡで近似
される距離の推移と、図１１に示したような実際の距離
の推移との二乗誤差の、各コードベクトルＣ_jについて
の累積値が求められ、それが最小であるかどうかが判定
される。ステップＳ４４において、距離の推移の二乗誤
差の累積値が最小でないと判定された場合、ステップＳ
４５に進み、多項式表現化部７４において、式（４）に
示した多項式ｆ_j（ｔ）の次数Ｎが変更される。そし
て、ステップＳ４３に戻り、変更後の次数Ｎについて、
以下、同様の処理が繰り返される。

【００９９】また、ステップＳ４４において、距離の推
移の二乗誤差の累積値が最小であると判定された場合、
ステップＳ４６に進み、そのとき得られている多項式ｆ
_j（ｔ）を規定する係数のセットＡが、単語の距離推移
モデルとして出力され、処理を終了する。

【０１００】なお、以上の処理は、認識対象の各単語に
ついてそれぞれ行われる。

【０１０１】以上のように、時系列の学習用統合パラメ
ータについて、時間軸の正規化を行い、その時間軸正規
化された学習用統合パラメータ（標準系列）と、コード
ベクトルとの間の距離を算出し、その距離の推移を表す
距離推移モデルを求めるようにしたので、認識対象が有
する本来の状態数や状態遷移の形態に沿うモデルを得る
ことができる。従って、そのような距離推移モデルによ
れば、認識対象の定常状態や過渡状態が正確に表現さ
れ、その結果、認識率を向上させることができる。

【０１０２】また、距離の推移を、多項式で近似するよ
うにしたので、その多項式を規定する係数だけで、即
ち、少ないデータ量で、距離の推移を表現することがで
きる。

【０１０３】さらに、距離の推移を近似する多項式の次
数Ｎを、二乗誤差の累積値が最小になるように決定する
ようにしたので、その多項式により、精度良く、距離の
推移を表現することができる。

【０１０４】なお、図９では、統合パラメータを、学習
用のデータとして用いるようにしたが、単一の特徴パラ
メータで認識を行う場合には、その単一の特徴パラメー
タを、学習用のデータとして用いて、学習を行えば良
い。

【０１０５】また、上述した距離推移モデルの学習方法
は、特徴パラメータの種類や次元に依存するものではな
いため、特徴パラメータの種類や次元に関係なく適用可
能である。

【０１０６】さらに、上述の場合には、図１１に示した
ような実際の距離の推移を、図７に示したように多項式
で近似された距離推移モデルを用いてマッチングを行う
ようにしたが、マッチングは、図１１に示したような実
際の距離の推移をそのまま距離推移モデルとして用いて
行うことも可能である。

【０１０７】次に、図１３は、図１の空間分布方式マッ
チング部３２の構成例を示している。

【０１０８】ベクトル量子化部８１には、図１の統合パ
ラメータ生成回路２から統合パラメータが時系列に供給
されるようになされており、ベクトル量子化部８１は、
その時系列の統合パラメータを、コードブック記憶部８
２に記憶されたコードブックを用いてベクトル量子化
し、そのベクトル量子化結果としてのコードの系列を、
順次、カイ二乗検定部８３に供給するようになされてい
る。

【０１０９】コードブック記憶部８２は、ベクトル量子
化部８１におけるベクトル量子化に用いられるコードブ
ックを記憶している。なお、このコードブック記憶部８
２が記憶しているコードブックと、図５の距離推移方式
マッチング部３１が有するコードブック記憶部６３が記
憶しているコードブックとは、同一である必要はない。

【０１１０】カイ二乗検定部８３は、期待度数記憶部８
４を参照し、ベクトル量子化部８１からのコード系列の
空間分布が、認識対象の単語が発話されたときに得られ
るコード系列の空間分布に類似しているかどうか、即
ち、ベクトル量子化部８１に供給された統合パラメータ
が、認識対象の単語に対応するものであるかどうかの適
正さを、カイ二乗検定を行うことにより求め、ソート部
８５に供給するようになされている。

【０１１１】期待度数記憶部８４は、コードブック記憶
部８２に記憶されたコードブックのコードベクトルに対
応する各コードについて、認識対象の単語に対応する統
合パラメータが入力されたときに観測される（ベクトル
量子化部８１に供給されたときに、そこから出力され
る）期待度数を記憶している。

【０１１２】ソート部８５は、カイ二乗検定部８３から
供給される、入力された統合パラメータが認識対象の単
語に対応するものであるかどうかの適正さのうちの上位
Ｎ個を選択し、空間分布方式によるマッチング結果とし
て、判定回路４（図１）に出力するようになされてい
る。

【０１１３】以上のように構成される空間分布マッチン
グ部３２では、空間分布方式によるマッチングが行われ
るようになされており、この空間分布方式によるマッチ
ング処理について、図１４のフローチャートを参照して
説明する。

【０１１４】認識すべき統合パラメータは、時系列に、
ベクトル量子化部８１に供給され、ベクトル量子化部８
１は、ステップＳ５１において、時系列の統合パラメー
タを、順次ベクトル量子化し、そのベクトル量子化結果
としてのコードの系列を、カイ二乗検定部８３に供給す
る。

【０１１５】カイ二乗検定部８３では、ステップＳ５２
において、ベクトル量子化部８１からのコード系列の空
間分布が求められる。即ち、カイ二乗検定部８３は、ベ
クトル量子化部８１からのコード系列において、各コー
ドが観測される回数（以下、適宜、観測度数という）を
カウントする。そして、ステップＳ５３に進み、カイ二
乗検定部８３は、各コードの観測度数と、期待度数記憶
部８４に記憶された、認識対象の単語の発話がなされた
ときに観測されることが期待される各コードの回数であ
る期待度数とを用いてカイ二乗検定を行うことにより、
入力された統合パラメータについての各コードの観測度
数が、認識対象の単語についての各コードの期待度数に
類似している度合い（以下、適宜、類似度という）を求
め、ソート部８５に供給する。

【０１１６】即ち、カイ二乗検定部８３は、あるコード
＃ｊの観測度数をＦ_jと表すとともに、ある単語Ｗのあ
るコード＃ｊの期待度数をｆ_jと表すと、次式に示すχ²
（カイ二乗）を計算し、例えば、その逆数を、単語Ｗに
対する類似度として、ソート部８５に供給する。

【０１１７】

【数４】・・・（７）

【０１１８】なお、式（７）に示したχ²は、入力され
た統合パラメータについての各コードの観測度数が、認
識対象の単語についての各コードの期待度数に類似して
いるほど小さくなる。従って、その逆数である類似度
は、入力された統合パラメータについての各コードの観
測度数が、認識対象の単語についての各コードの期待度
数に類似しているほど大きくなる。

【０１１９】ソート部８５は、カイ二乗検定部８３か
ら、認識対象の単語すべてについての類似度を受信する
と、ステップＳ５４において、そのうちの類似度の高い
上位Ｎ個を選択し、ステップＳ５５に進み、空間分布方
式によるマッチング結果として、判定回路４に出力し
て、処理を終了する。

【０１２０】以上のような空間分布方式によるマッチン
グによれば、統合パラメータ空間における、入力された
統合パラメータの分布状態と、認識対象の単語の統合パ
ラメータの分布状態との類似性が、カイ二乗検定により
求められるため、その類似性は、入力された音声の時間
的変動に影響を受けない（入力された音声の時間（音声
区間の長さ）は、カイ二乗検定に用いる観測度数に影響
するが、各コードの観測度数それぞれが、音声区間の長
さに比例した値だけ増減すると予測されるため、カイ二
乗検定結果は影響を受けない）。従って、音声が有する
時間成分を考慮せずに認識を行うことができ、その結
果、認識率を向上させることが可能となる。

【０１２１】次に、図１５は、図１３の期待度数記憶部
８４に記憶されている認識対象の各単語についての各コ
ードの期待度数を求める学習を行う学習装置の構成例を
示している。

【０１２２】ベクトル量子化部９１には、認識対象の単
語について、期待度数の学習を行うための時系列の学習
用統合パラメータが供給されるようになされており、ベ
クトル量子化部９１は、時系列の学習用統合パラメータ
を、コードブック記憶部９２に記憶されたコードブック
を用いてベクトル量子化し、そのベクトル量子化結果と
してのコードの系列を、期待度数算出部９３に供給する
ようになされている。

【０１２３】コードブック記憶部９２は、図１３のコー
ドブック記憶部８２が記憶しているコードブックと同一
のコードブックを記憶している。

【０１２４】期待度数算出部９３は、ベクトル量子化部
９１からのコードの系列において、各コードが観測され
る回数をカウントするようになされている。

【０１２５】次に、図１６のフローチャートを参照し
て、図１５の学習装置の処理について説明する。

【０１２６】ベクトル量子化部９１には、認識対象の１
の単語について、例えば、複数の時系列の学習用統合パ
ラメータ（異なる話者が発話したり、同一の話者が複数
回発話して得られたもの）が供給されるようになされて
おり、ステップＳ６１では、その統合パラメータの数を
カウントするための変数ｉが、例えば、１に初期化さ
れ、ステップＳ６２に進む。

【０１２７】ステップＳ６２では、複数の学習用統合パ
ラメータのうちの最初の学習用統合パラメータが、ベク
トル量子化部９１に供給され、ベクトル量子化部９１に
おいて、その学習用統合パラメータがベクトル量子化さ
れる。そのベクトル量子化の結果得られるコードの系列
は、期待度数算出部９３に供給され、ステップＳ６３に
進む。

【０１２８】ステップＳ６３では、ベクトル量子化部９
１からのコードの系列において、各コードが観測される
回数が積算され、これにより各コードの観測度数が求め
られる。そして、ステップＳ６４に進み、まだ、次に処
理すべき学習用統合パラメータがあるかどうかが判定さ
れ、あると判定された場合、ステップＳ６５に進み、変
数ｉが１だけインクリメントされる。そして、ステップ
Ｓ６２に進み、その次に処理すべき学習用統合パラメー
タを対象に、同様の処理が繰り返される。即ち、これに
より、ある単語についての複数の学習用統合パラメータ
から観測される各コードの観測度数が積算されていく。

【０１２９】一方、ステップＳ６４において、次に処理
すべき学習用統合パラメータがないと判定された場合、
ステップＳ６６に進み、各コードの観測度数の積算値
が、例えば、変数ｉで除算され、即ち、ある単語につい
ての複数の学習用統合パラメータから観測される各コー
ドの観測度数の平均値が求められ、その各コードの観測
度数の平均値が、その単語についての各コードの期待度
数として出力されて、処理を終了する。

【０１３０】なお、図１６の処理は、認識対象の単語そ
れぞれについて行われる。

【０１３１】ところで、図１の音声認識装置では、上述
したように、画像と音声などといった異なるメディアの
特徴パラメータを、同等の重みで扱うことができるよう
に正規化を行うことができる正規化係数をあらかじめ求
めておき、その正規化係数によって正規化された特徴パ
ラメータを用いて統合パラメータを構成（生成）するよ
うにしたが、音声認識にあたって、そのような統合パラ
メータを用いることが、必ずしも適切でないこともあ
る。

【０１３２】即ち、図１の音声認識装置では、特徴パラ
メータが、固定の正規化係数によって正規化、さらには
統合されるため、例えば、画像または音声の特徴パラメ
ータそれぞれが、図１７（Ａ）または図１７（Ｂ）に示
すように、ある時刻において顕著な特徴を有する場合で
あっても、固定の正規化係数による統合がなされると、
その統合パラメータにおいては、図１７（Ｃ）に示すよ
うに、画像と音声の特徴パラメータどうしが、いわば相
殺しあって、それぞれの顕著な特徴が失われることがあ
る。なお、図１７においては、横軸が、時間を表してお
り、縦軸が、各時刻における特徴パラメータとの距離を
最短にする標準パターン（例えば、図５におけるコード
ブック記憶部６３に記憶されているコードブックのセン
トロイドベクトルなど）との距離の逆数を表している。

【０１３３】従って、認識率の向上のためには、図１７
（Ｄ）に示すように、複数の時系列の特徴パラメータ
を、それぞれの特徴が失われない形で（最適な形で）統
合して統合パラメータとするのが好ましい。そして、そ
のような統合パラメータを構成するには、各時刻におい
て、統合パラメータに、複数の時系列の特徴パラメータ
それぞれの特徴が反映されるような時系列の正規化係数
を用いる必要がある。

【０１３４】そこで、図１８は、そのような時系列の正
規化係数を求める学習を行う学習装置の一実施の形態の
構成例を示している。なお、以下では、説明を簡単にす
るために、画像（口唇の画像）と音声（発話データ）と
の２つの特徴パラメータから統合パラメータを構成する
ものとする。

【０１３５】パラメータ化回路１０１には、学習用の口
唇の画像データと、学習用の音声（発話）データとが入
力されるようになされており、そこでは、図１のパラメ
ータ化回路１と同様に、画像データおよび音声データの
特徴パラメータが抽出されるようになされている。即
ち、パラメータ化回路１０１は、口唇信号処理部１１１
₁および音声信号処理部１１１₂から構成されており、口
唇信号処理部１１１₁または音声信号処理部１１１₂は、
画像データまたは音声データを処理することにより、そ
れぞれの特徴パラメータを抽出し、メディア間正規化部
１２１に供給するようになされている。

【０１３６】メディア間正規化部１２１は、例えば、図
１のメディア間正規化部２１と同様に、図３の学習装置
によって得られた（固定の）正規化係数αを、学習用の
正規化係数として、その正規化係数に基づいて、パラメ
ータ化回路１０１からの画像または音声の時系列の特徴
パラメータそれぞれを正規化し、その正規化後の特徴パ
ラメータを、パラメータ次元正規化部１２２に供給する
ようになされている。なお、図１の実施の形態において
は、画像の特徴パラメータの重みを基準とし、その重み
に、音声の特徴パラメータの重みを一致させるために、
音声の特徴パラメータに対して、正規化係数αを乗算す
るようにしたが、図１８のメディア間正規化部１２１に
おいても、同様の正規化が行われるようになされてい
る。

【０１３７】パラメータ次元正規化部１２２は、メディ
ア間正規化部１２１からの画像および音声の特徴パラメ
ータの次元に関する正規化（以下、適宜、次元正規化と
いう）を行うようになされている。具体的には、パラメ
ータ次元正規化部１２２は、画像または音声の特徴パラ
メータの次元を、ＬまたはＭとするとき、それぞれの特
徴パラメータを、例えば、Ｌ^1/2またはＭ^1/2で除算する
ようになされている。なお、次元正規化の必要性につい
ては、後述する。

【０１３８】メディア間正規化部１２１で正規化係数に
よる正規化が行われ、パラメータ次元正規化部１２２で
次元に関する正規化が行われた画像および音声の特徴パ
ラメータは、マッチング部１３１に供給されるようにな
されている。マッチング部１３１は、画像または音声の
特徴パラメータそれぞれについて、標準パターンとの距
離を計算することにより、マッチングを行うようになさ
れている。即ち、マッチング部１３１は、例えば、距離
推移方式によるマッチングを、画像または音声の特徴パ
ラメータそれぞれについて行い、そのマッチング結果
を、最適正規化係数検出部１０４に供給するようになさ
れている。

【０１３９】最適正規化係数決定部１０４は、マッチン
グ部１３１からの画像または音声の特徴パラメータそれ
ぞれについてのマッチング結果に基づいて、各時刻ｔに
おいて、画像または音声の特徴パラメータの顕著な特徴
が統合パラメータに反映されるような正規化係数、即
ち、時系列の最適正規化係数α（ｔ）を求めるようにな
されている。

【０１４０】次に、図１９のフローチャートを参照し
て、図１８の学習装置の処理について説明する。

【０１４１】パラメータ化回路１０１には、ある学習対
象の単語（認識対象とする単語）についての学習用の口
唇の画像データおよび音声（発話）データが入力され
る。パラメータ化回路１０１では、ステップＳ７１にお
いて、そこに入力される画像データと音声データそれぞ
れから、特徴パラメータが抽出され、メディア間正規化
部１２１に供給される。メディア間正規化部１２１で
は、ステップＳ７２において、図３の学習装置によって
得られた（固定の）正規化係数αを、学習用の正規化係
数として、その正規化係数に基づいて、パラメータ化回
路１０１からの画像または音声の特徴パラメータそれぞ
れが、図１のメディア間正規化部２１における場合と同
様に正規化され、パラメータ次元正規化部１２２に供給
される。

【０１４２】パラメータ次元正規化部１２２では、ステ
ップＳ７４において、メディア間正規化部１２１からの
画像または音声の特徴パラメータそれぞれが次元正規化
され、マッチング部１３１に供給される。

【０１４３】そして、ステップＳ７４に進み、ある学習
対象の単語についての学習用の画像データおよび音声デ
ータの入力が終了したかどうかが判定され、まだ終了し
ていないと判定された場合、次に、学習用の画像データ
および音声データが入力されるのを待って、ステップＳ
７１に戻り、ステップＳ７１以下の処理を繰り返す。即
ち、これにより、マッチング部１３１には、ある学習対
象の単語についての学習用の画像および音声の特徴パラ
メータ（固定の正規化係数αによる正規化が行われ、さ
らに次元正規化が行われたもの）が、時系列に供給され
る。

【０１４４】また、ステップＳ７４において、ある学習
対象の単語についての学習用の画像データおよび音声デ
ータの入力が終了したと判定された場合、ステップＳ７
５に進み、マッチング部１３１において、時系列の画像
または音声の特徴パラメータそれぞれについて、各時刻
における標準パターンとの距離が、距離推移方式によっ
て計算され、その各時刻における距離の系列、即ち、時
系列の距離が、最適正規化係数検出部１０４に供給され
る。

【０１４５】最適正規化係数決定部１０４では、ステッ
プＳ７６において、マッチング部１３１からの画像また
は音声それぞれについての時系列の距離に基づいて、各
時刻ｔにおいて、画像または音声の特徴パラメータの顕
著な特徴が統合パラメータに反映されるような正規化係
数、即ち、時系列の最適正規化係数α（ｔ）が求めら
れ、処理を終了する。

【０１４６】なお、図１９の処理は、学習対象の単語そ
れぞれについて行われる。

【０１４７】次に、図２０は、図１８のマッチング部１
３１の構成例を示している。

【０１４８】パラメータ次元正規化部１２２からの、学
習対象の各単語についての学習用の画像および音声の時
系列の特徴パラメータは、テンポラルメモリ１６６に供
給されるようになされており、テンポラルメモリ１６６
では、その時系列の特徴パラメータが一時記憶される。

【０１４９】時間軸正規化部１６１では、テンポラルメ
モリ１６６に記憶された学習対象のある単語についての
画像および音声の時系列の特徴パラメータが読み出さ
れ、いずれも、図５の時間軸正規化部６１における場合
と同様に、時刻ｔが、０乃至Ｔ_Cの間の時系列の特徴パ
ラメータに、時間軸正規化される。この時間軸正規化さ
れた画像および音声の時系列の特徴パラメータは、ベク
トル量子化部１６２に供給される。

【０１５０】ベクトル量子化部１６２では、時間軸正規
化部１６１からの画像または音声の時系列の特徴パラメ
ータそれぞれが、図５のベクトル量子化部６２における
場合と同様にしてベクトル量子化される。即ち、コード
ブック記憶部１６３は、図５のコードブック記憶部６３
と同一のコードブックを記憶しており、ベクトル量子化
部１６２では、このコードブックに基づいて、画像また
は音声の時系列の特徴パラメータそれぞれがベクトル量
子化され、その結果得られる画像または音声のコードの
系列それぞれが距離計算部６４に供給される。

【０１５１】ここで、コードブック記憶部１６３は、図
５のコードブック記憶部６３と同一のコードブックを記
憶しているから、画像および音声の特徴パラメータを統
合した統合パラメータの空間におけるコードベクトルを
有するコードブックを記憶しているが、ベクトル量子化
部１６２では、画像または音声の特徴パラメータそれぞ
れについてベクトル量子化が行われる。即ち、ベクトル
量子化部１６２においては、画像については、統合パラ
メータの空間におけるコードベクトルの画像の要素のみ
に注目し、音声については、音声の要素のみに注目し
て、ベクトル量子化を行うようになされている。

【０１５２】具体的には、例えば、いま、図２１に示す
ように、横軸または縦軸に、それぞれ音声または画像の
特徴パラメータをとった統合パラメータの空間を考え、
このような統合パラメータの空間において、同図に示す
ようなコードベクトルＣ₀，Ｃ₁，Ｃ₂によって規定され
るコードブックが、コードブック記憶部１６３に記憶さ
れているものとする。この場合、同図において、Ｐ_Vま
たはＰ_Aでそれぞれ示す画像または音声の特徴パラメー
タが、ベクトル量子化部１６２に入力されると、ベクト
ル量子化部１６２は、画像の特徴パラメータＰ_Vについ
ては、コードベクトルの画像の要素のみに注目して、画
像の特徴パラメータＰ_Vと、コードベクトルＣ₀，Ｃ₁，
Ｃ₂それぞれとの距離を計算し、その距離の最も近いコ
ードベクトルを求める。従って、図２１の実施の形態で
は、縦軸方向の、画像の特徴パラメータＰ_Vとの距離を
最も短くするコードベクトルＣ₁が求められ、そのコー
ドベクトルＣ₁に対応するコードが、画像の特徴パラメ
ータＰ_Vのベクトル量子化結果として出力される。

【０１５３】また、ベクトル量子化部１６２は、音声の
特徴パラメータＰ_Aについては、コードベクトルの音声
の要素のみに注目して、音声の特徴パラメータＰ_Aと、
コードベクトルＣ₀，Ｃ₁，Ｃ₂それぞれとの距離を計算
し、その距離の最も近いコードベクトルを求める。従っ
て、図２１の実施の形態では、横軸方向の、音声の特徴
パラメータＰ_Aとの距離を最も短くするコードベクトル
Ｃ₀が求められ、そのコードベクトルＣ₀に対応するコー
ドが、音声の特徴パラメータＰ_Aのベクトル量子化結果
として出力される。

【０１５４】ここで、ベクトル量子化部１６２では、上
述のように、画像または音声それぞれについて、統合パ
ラメータの空間におけるコードベクトルの画像または音
声の要素のみに注目して、ベクトル量子化を行うことか
ら、画像または音声の特徴パラメータの次元の違いを吸
収するために、図１８のパラメータ次元正規化部１２２
において、画像または音声それぞれの特徴パラメータの
次元正規化を行うようにしている。なお、図１８のパラ
メータ次元正規化部１２２では、上述のように、特徴パ
ラメータを、その次元数の平方根で除算することによ
り、その次元正規化を行うこととしているが、これは、
統合パラメータの空間における特徴パラメータ（特徴ベ
クトル）の長さ（ノルム）（統合パラメータの空間にお
ける原点と、その空間における、特徴パラメータが表す
点との距離）を１にすることに等しい。

【０１５５】図２０に戻り、ベクトル量子化部１６２に
おいて得られる画像または音声それぞれの時系列の特徴
パラメータのベクトル量子化結果としてのコードの系列
は、距離計算部１６４に供給される。

【０１５６】距離計算部１６４では、距離推移モデル記
憶部１６５に記憶されている、学習対象の単語の距離推
移モデルから、ベクトル量子化部１６２が出力する各時
刻（時間軸正規化後の各時刻）におけるコードが観測さ
れるときの、そのコードに対応するコードベクトルとの
距離が求められる。

【０１５７】即ち、距離推移モデル記憶部１６５は、図
５の距離推移モデル記憶部６５と同様に、図７に示した
ような距離推移モデルを記憶している。そして、いま、
ベクトル量子化部１６２が出力する画像または音声につ
いてのコードの系列のうち、時刻ｔのコードをｓ
_V（ｔ）またはｓ_A（ｔ）（ｔ＝０，１，・・・，Ｔ_C）
とそれぞれ表すと、距離計算部１６４は、ベクトル量子
化部１６２が最初に出力するコードｓ_V（０）またはｓ_A
（０）に対応するコードベクトルそれぞれとの、時刻＃
０における距離を、学習対象の単語の距離推移モデルを
参照することで求める。具体的には、例えば、画像につ
いてのコードｓ_V（０）に対応するコードベクトルがＣ₀
である場合には、図７において、コードベクトルＣ₀か
らの距離の推移を表している曲線上の、時刻＃０におけ
る距離が求められ、また、音声についてのコードｓ
_A（０）に対応するコードベクトルがＣ₁である場合に
は、図７において、コードベクトルＣ₁からの距離の推
移を表している曲線上の、時刻＃０における距離が求め
られる。

【０１５８】さらに、距離計算部１６４は、ベクトル量
子化部１６２が２番目に出力する画像または音声につい
てのコードｓ_V（１）またはｓ_A（１）に対応するコード
ベクトルそれぞれとの、時刻＃１における距離を、距離
推移モデルを参照することで求める。即ち、例えば、画
像についてのコードｓ_V（１）に対応するコードベクト
ルがＣ₀である場合には、図７において、コードベクト
ルＣ₀からの距離の推移を表している曲線上の、時刻＃
１における距離が求められ、また、音声についてのコー
ドｓ_A（１）に対応するコードベクトルがＣ₁である場合
には、図７において、コードベクトルＣ₁からの距離の
推移を表している曲線上の、時刻＃１における距離が求
められる。

【０１５９】以下、同様にして、距離計算部１６４は、
ベクトル量子化部１６２が最後に出力する画像または音
声についてのコードｓ_V（Ｔ_C）またはｓ_A（Ｔ_C）に対応
するコードベクトルそれぞれとの、時刻＃Ｔ_Cにおける
距離までを、距離推移モデルを参照することで、順次求
めていき、その結果得られる画像または音声それぞれに
ついての距離の系列、即ち、時刻＃０乃至＃Ｔ_Cの各時
刻における画像または音声それぞれについての距離を出
力する。

【０１６０】この画像または音声それぞれについての距
離の系列は、上述したように、最適正規化係数決定部１
０４に供給される。

【０１６１】なお、マッチング部１３１では、テンポラ
ルメモリ１６６に記憶された学習対象の各単語について
の学習用の画像および音声の時系列の特徴パラメータの
すべてを対象に、上述の処理が行われ、これにより、学
習対象の各単語の、画像または音声それぞれについての
距離の系列が出力される。

【０１６２】次に、図２２は、図１８の最適正規化係数
決定部１０４の構成例を示している。

【０１６３】上述したようにして、マッチング部１３１
から出力される、ある学習対象の単語の、各時刻ｔにお
ける画像または音声それぞれについての距離ｄ_V（ｔ）
またはｄ_A（ｔ）は、比較部２０１に供給される。比較
部２０１では、各時刻ｔにおける、画像についての距離
ｄ_V（ｔ）と、音声についての距離ｄ_A（ｔ）とが比較さ
れ、その比較結果が、最適正規化係数出力部２０２に供
給される。

【０１６４】最適正規化係数出力部２０２は、比較部２
０１から供給される、画像についての距離ｄ_V（ｔ）と
音声についての距離ｄ_A（ｔ）との比較結果に基づい
て、各時刻ｔにおいて、学習対象の単語を認識するのに
最適な正規化係数（最適正規化係数）α（ｔ）が求めら
れる（決定される）。

【０１６５】即ち、最適正規化係数出力部２０２は、画
像についての距離ｄ_V（ｔ）と音声についての距離ｄ
_A（ｔ）との差の絶対値｜ｄ_V（ｔ）−ｄ_A（ｔ）｜が所
定の閾値εより大きい場合（従って、画像についての距
離ｄ_V（ｔ）と音声についての距離ｄ_A（ｔ）との間に大
きな差がある場合）、画像についての距離ｄ_V（ｔ）と
音声についての距離ｄ_A（ｔ）とのうち、画像について
の距離ｄ_V（ｔ）の方が小さいときには０を、音声につ
いての距離ｄ_A（ｔ）の方が小さいときには無限大を、
それぞれ最適正規化係数α（ｔ）として出力する。

【０１６６】また、最適正規化係数出力部２０２は、画
像についての距離ｄ_V（ｔ）と音声についての距離ｄ
_A（ｔ）との差の絶対値｜ｄ_V（ｔ）−ｄ_A（ｔ）｜が所
定の閾値ε以下の場合（従って、画像についての距離ｄ
_V（ｔ）と音声についての距離ｄ_A（ｔ）とがほぼ等しい
場合）、学習用の正規化係数αを、最適正規化係数α
（ｔ）として出力する。

【０１６７】ここで、画像についての距離ｄ_V（ｔ）の
方が小さい場合には、画像の特徴パラメータに顕著な特
徴があり、従って、画像の特徴パラメータの重みを大き
くした方が、認識率を向上させることができる。同様
に、音声についての距離ｄ_A（ｔ）の方が小さい場合に
は、音声の特徴パラメータに顕著な特徴があり、従っ
て、音声の特徴パラメータの重みを大ききした方が、認
識率を向上させることができる。そこで、画像について
の距離ｄ_V（ｔ）、または音声についての距離ｄ_A（ｔ）
の方が小さい場合には、最適正規化係数α（ｔ）を、そ
れぞれ０または無限大とするようになされている。

【０１６８】即ち、本実施の形態では、画像および音声
の特徴パラメータの正規化は、上述したように、音声の
特徴パラメータについてのみ、正規化係数が乗算される
ことにより行われ、画像の特徴パラメータと、正規化係
数が乗算された音声の特徴パラメータとで統合パラメー
タが構成されるようになされている。従って、最適正規
化係数α（ｔ）が０の場合（画像の特徴パラメータに顕
著な特徴がある場合）には、音声の特徴パラメータは０
となり、その結果、統合パラメータは、実質的に、顕著
な特徴がある画像の特徴パラメータのみから構成される
ことになる。また、最適正規化係数α（ｔ）が無限大の
場合（音声の特徴パラメータに顕著な特徴がある場合）
には、音声の特徴パラメータは、画像の特徴パラメータ
に比較して莫大な値となり、その結果、統合パラメータ
は、実質的に、顕著な特徴がある音声の特徴パラメータ
のみから構成されることになる。なお、最適正規化係数
α（ｔ）が無限大の場合の統合パラメータは、実際は、
その最適化係数α（ｔ）が、音声の特徴パラメータに乗
算されるのではなく、画像の特徴パラメータが０とされ
ることにより構成される（最適正規化係数α（ｔ）を無
限大にするとは、ここでは、このように、画像の特徴パ
ラメータを０とすることを意味している）。

【０１６９】一方、画像についての距離ｄ_V（ｔ）と、
音声についての距離ｄ_A（ｔ）とがほぼ等しい場合に
は、画像および音声の特徴パラメータのいずれにも、そ
れほど顕著な特徴がなく、従って、画像および音声の特
徴パラメータの重みを同一にした方が、認識率を向上さ
せることができる。そこで、この場合、最適正規化係数
α（ｔ）を、学習用の正規化係数（図３の学習装置で求
められた正規化係数α）とするようになされている。

【０１７０】最適正規化係数出力部２０２では、以上の
ようにして、各時刻ｔにおいて、学習用の正規化係数、
０、または無限大のうちのいずれかが、学習対象の単語
を認識するのに最適な正規化係数（最適正規化係数）α
（ｔ）として出力される。

【０１７１】次に、図２３は、上述のような時系列の最
適正規化係数α（ｔ）を用いて音声の認識を行う音声認
識装置の一実施の形態の構成例を示している。なお、図
中、図１における場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。また、図２３の実施の形態においては、説明を簡
単にするため、上述したように、口唇の画像データと、
発話された音声データだけが入力されるようになされて
いるが、図１の実施の形態における場合と同様に、その
他の各種のデータを入力するようにすることも可能であ
る。

【０１７２】パラメータ化回路１には、図１で説明した
ように、ユーザがある単語を発話したときの音声データ
と口唇の画像データとが供給される。パラメータ化回路
１では、そこに入力される画像または音声データから、
それぞれの特徴パラメータが抽出され、マッチング回路
２１３に時系列に供給される。マッチング回路２１３で
は、画像または音声の時系列の特徴パラメータが、時系
列の最適正規化係数で正規化され、さらに統合されるこ
とにより、統合パラメータとされる。そして、マッチン
グ回路２１３は、統合パラメータに基づいて、図１８の
マッチング部１３１と同様のマッチング、即ち、本実施
の形態では、距離推移方式によるマッチングを行い、そ
のマッチング結果を、判定回路４に出力する。判定回路
４では、マッチング回路２１３の出力に基づいて、ユー
ザの発話の音声認識結果が求められて出力される。

【０１７３】次に、図２４は、図２３のマッチング回路
２１３の構成例を示している。なお、図中、図５の距離
推移マッチング部３１と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。即ち、マッチング回路２１３は、距離推移モデル
記憶部６５に替えて、距離推移モデル記憶部２６５が設
けられ、時間軸正規化部６１とベクトル量子化部６２と
の間に、メディア間正規化部２６７および統合パラメー
タ生成部２６８が新たに設けられている他は、距離推移
方式マッチング部３１と同様に構成されている。

【０１７４】距離推移モデル記憶部２６５は、距離推移
モデル記憶部６５と同様に、認識対象とされている単語
それぞれについて、図７に示したような距離推移モデル
を記憶している他、図２５に示すように、各単語につい
て、各時刻（時間軸正規化後の各時刻）ｔにおける最適
正規化係数α（ｔ）（図１８の学習装置で求められたも
の）も記憶している。

【０１７５】メディア間正規化部２６７は、時間軸正規
化部６１が出力する画像および音声の各時刻における特
徴パラメータを、距離推移モデル記憶部２６５に記憶さ
れた対応する時刻の最適正規化係数α（ｔ）によって正
規化し、統合パラメータ生成部２６８に供給するように
なされている。即ち、時間軸正規化部６１には、図２３
のパラメータ化回路１が出力する画像および音声の時系
列の特徴パラメータが供給されるようになされており、
そこでは、その画像および音声それぞれの時系列の特徴
パラメータについて、図６で説明したような時間軸正規
化が行われるようになされている。この時間軸正規化の
画像および音声の時系列の特徴パラメータは、いずれも
メディア間正規化部２６７に供給されるようになされて
おり、メディア間正規化部２６７は、このようにして時
間軸正規化部６１が出力する画像および音声の各時刻に
おける特徴パラメータを、距離推移モデル記憶部２６５
に記憶された対応する時刻の最適正規化係数α（ｔ）に
よって正規化し、統合パラメータ生成部２６８に供給す
るようになされている。

【０１７６】統合パラメータ生成部２６８は、図１の統
合パラメータ生成部２２と同様に、メディア間正規化部
２６７が出力する画像および音声の特徴パラメータを統
合することにより、統合パラメータとし、ベクトル量子
化部６２に出力するようになされている。

【０１７７】次に、図２６のフローチャートを参照し
て、図２４のマッチング回路２１３の処理について説明
する。

【０１７８】ユーザが、ある単語を発話することによっ
て、パラメータ化回路１（図２３）が出力する画像およ
び音声の時系列の特徴パラメータは、時間軸正規化部６
１に供給される。時間軸正規化部６１では、ステップＳ
８１において、その画像および音声それぞれの時系列の
特徴パラメータが時間軸正規化され、メディア間正規化
部２６７に供給される。

【０１７９】その後、ステップＳ８２において、時間軸
正規化後の時刻をカウントするための変数ｔが０に初期
化され、ステップＳ８３に進み、メディア間正規化部２
６７において、距離推移モデル記憶部２６５に記憶され
た各距離推移モデルについて、時刻ｔにおける最適正規
化係数を用いて、時刻ｔにおける画像および音声の特徴
パラメータが正規化される。即ち、メディア間正規化部
２６７では、距離推移モデル記憶部２６５に記憶された
各距離推移モデルについての時刻ｔにおける最適正規化
係数α（ｔ）が、時刻ｔにおける音声の特徴パラメータ
に乗算され、時刻ｔにおける画像の特徴パラメータとと
もに、統合パラメータ生成部２６８に出力される。

【０１８０】統合パラメータ生成部２６８では、メディ
ア間正規化部２６７からの画像および音声の特徴パラメ
ータが統合されることにより統合パラメータとされ、ベ
クトル量子化部６２に供給される。即ち、メディア間正
規化部２６７からは、各距離推移モデルについての時刻
ｔにおける最適正規化係数α（ｔ）によって正規化され
た画像および音声の特徴パラメータが出力されるので、
統合パラメータ生成部２６８でも、各距離推移モデルに
ついての統合パラメータ（各距離推移モデルとともに記
憶されている最適正規化係数α（ｔ）によって正規化さ
れた画像および音声の特徴パラメータから構成される統
合パラメータ）が構成され、ベクトル量子化部６２に供
給される。

【０１８１】ベクトル量子化部６２は、統合パラメータ
生成部２６８からの各距離推移モデルについての統合パ
ラメータを、コードブック記憶部６３に記憶されたコー
ドブック６３を用いてベクトル量子化し、そのベクトル
量子化結果としてのコードを出力する。この各距離推移
モデルについてのコードは、距離計算部６４に供給され
る。

【０１８２】距離計算部６４では、ベクトル量子化部６
２からの各距離推移モデルについてのコードが、各距離
推移モデルの時刻ｔにおいて観測されるときのコードベ
クトルとの距離が求められ、既に求められている各距離
推移モデルについての距離に累積加算される。

【０１８３】そして、ステップＳ８５に進み、時刻ｔ
が、時間軸正規化後の終わりの時刻Ｔ_Cに等しいかどう
かが判定され、等しくないと判定された場合、ステップ
Ｓ８６に進み、時刻ｔが１だけインクリメントされる。
そして、ステップＳ８３に戻り、そのインクリメント後
の時刻ｔについて、同様の処理が行われる。

【０１８４】また、ステップＳ８５において、時刻ｔが
時刻Ｔ_Cに等しいと判定された場合、距離計算部６４
は、距離推移モデル記憶部２６５に記憶された各距離推
移モデルについて得られた距離の累積値を、ソート部６
６に出力し、ステップＳ８７に進む。

【０１８５】ステップＳ８７では、ソート部６６におい
て、距離計算部６４からの、認識対象の各単語の距離推
移モデルについての距離の累積値のうち、その値が小さ
いものから、上位Ｎ個が選択され、ステップＳ８８に進
み、統合パラメータと距離推移モデルとのマッチング結
果として、判定回路４（図２３）に出力され、処理を終
了する。

【０１８６】以上のように、各時刻において、統合パラ
メータに、画像と音声の時系列の特徴パラメータそれぞ
れの特徴が反映されるような時系列の最適正規化係数α
（ｔ）を用いて、画像および音声の特徴パラメータを正
規化して統合パラメータを構成するようにしたので、音
声の認識率を向上させることができる。

【０１８７】以上、本発明を適用した音声認識装置につ
いて説明したが、本発明は、その他、例えば、話者や、
画像その他を認識する装置などにも適用可能である。

【０１８８】なお、本実施の形態では、説明を簡単にす
るために、画像と音声の２種類の特徴パラメータについ
ての最適正規化係数α（ｔ）を求めるようにしたが、３
種類以上の特徴パラメータ、あるいは、画像や音声の他
のメディアの特徴パラメータについての時系列の最適正
規化係数を求めることも可能である。ある。

【０１８９】また、時系列の最適正規化係数の学習方法
は、固定の正規化係数の学習と同様に、特徴パラメータ
の種類や次元に依存するものではないため、特徴パラメ
ータの種類や次元に関係なく適用可能である。

【０１９０】さらに、上述した場合においては、音声の
特徴パラメータに乗算する時系列の最適正規化係数α
（ｔ）を求めるようにしたが、その他、画像または音声
の特徴パラメータそれぞれに乗算する形の時系列の最適
正規化係数を求めるようにすることも可能である。

【０１９１】また、時系列の最適正規化係数を学習する
図１８の学習装置では、マッチング部１３１において距
離推移方式によるマッチングを行わせるようにしたが、
マッチングの手法は、これに限定されるものではない。

【０１９２】さらに、時系列の最適正規化係数を用いて
音声認識を行う図２３の音声認識装置では、マッチング
回路２１３において距離推移方式のみによるマッチング
を行うようにしたが、マッチング回路２１３には、距離
推移方式によるマッチングとともに、例えば、図１にお
ける場合と同様に、空間分布方式によるマッチングを行
わせるようにすることも可能である。そして、この場
合、空間分布方式によるマッチングにおいても、時系列
の最適正規化係数を用いて得られる統合パラメータを用
いるようにすることが可能である。

【０１９３】また、本実施の形態では、図１８の学習装
置において、各時刻ｔにおいて、０、無限大、学習用の
正規化係数αの３値のうちのいずれかを、最適正規化係
数α（ｔ）として出力するようにしたが、最適正規化係
数α（ｔ）のとり得る値は、このような３値に限定され
るものではない。即ち、学習用の正規化係数として、図
３の学習装置によって得られた固定の正規化係数αだけ
でなく、各値の正規化係数α₀，α₁，α₂，・・・，α_N
を用意しておき、メディア間正規化部１２１において、
その各値の正規化係数α₀，α₁，α₂，・・・，α_Nによ
って、画像および音声の特徴パラメータを正規化して統
合パラメータを構成し、その中で、学習用の単語との距
離を最も短くする正規化係数を、最適正規化係数α
（ｔ）とすることも可能である。この場合、最適正規化
係数α（ｔ）の学習に時間を要することとなるが、認識
に要する時間には影響はない（従って、学習の時間のみ
長くなるが、学習の時間のみが長時間となることは、音
声認識にあたって特に問題にならない）。

【０１９４】

【発明の効果】以上の如く、本発明の学習装置および学
習方法によれば、所定の学習用の正規化係数に基づい
て、複数の入力データの特徴パラメータそれぞれが正規
化され、正規化された複数の特徴パラメータそれぞれに
ついて、所定の標準パラメータとの距離が算出される。
そして、その距離に基づき、時系列の特徴パラメータそ
れぞれについて、認識時に用いる時系列の正規化係数が
決定される。従って、時系列の特徴パラメータの各時刻
において認識に最適な正規化係数を得ることが可能とな
る。

【０１９５】本発明の認識装置および認識方法によれ
ば、複数の入力データそれぞれの時系列の特徴パラメー
タが、認識用の時系列の正規化係数に基づいて正規化さ
れ、その正規化された複数の特徴パラメータが統合され
て、統合パラメータとされる。そして、その統合パラメ
ータに基づいて、所定の認識対象が認識される。従っ
て、認識率を向上させることが可能となる。

【図面の簡単な説明】

【図１】統合パラメータを用いて音声認識を行う音声認
識装置の構成例を示すブロック図である。

【図２】図１の音声認識装置の処理を説明するためのフ
ローチャートである。

【図３】図１のメディア間正規化部２１が用いる正規化
係数の学習を行う学習装置の構成例を示すブロック図で
ある。

【図４】図３の学習装置の処理を説明するためのフロー
チャートである。

【図５】図１の距離推移方式マッチング部３１の構成例
を示すブロック図である。

【図６】図５の時間軸正規化部６１の処理を説明するた
めの図である。

【図７】図５の距離推移モデル記憶部６５に記憶されて
いる距離推移モデルを説明するための図である。

【図８】図５の距離推移方式マッチング部３１の処理を
説明するためのフローチャートである。

【図９】距離推移モデルを求める学習を行う学習装置の
構成例を示すブロック図である。

【図１０】図９の時間軸正規化部７１の処理を説明する
ための図である。

【図１１】図９の距離計算部７２が出力する距離の推移
を示す図である。

【図１２】図９の学習装置の処理を説明するためのフロ
ーチャートである。

【図１３】図１の空間分布方式マッチング部３２の構成
例を示すブロック図である。

【図１４】図１３の空間分布方式マッチング部３２の処
理を説明するためのフローチャートである。

【図１５】図１３の期待度数記憶部８４に記憶されてい
る期待度数を求める学習を行う学習装置の構成例を示す
ブロック図である。

【図１６】図１５の学習装置の処理を説明するためのフ
ローチャートである。

【図１７】画像と音声の特徴パラメータを、それぞれの
特徴が失われない形で統合した統合パラメータを説明す
るための図である。

【図１８】本発明を適用した学習装置の一実施の形態の
構成例を示すブロック図である。

【図１９】図１８の学習装置の処理を説明するためのフ
ローチャートである。

【図２０】図１８のマッチング部１３１の構成例を示す
ブロック図である。

【図２１】図２０のベクトル量子化部１６２の処理を説
明するための図である。

【図２２】図１８の最適正規化係数決定部１０４の構成
例を示すブロック図である。

【図２３】本発明を適用した音声認識装置の一実施の形
態の構成例を示すブロック図である。

【図２４】図２３のマッチング回路２１３の構成例を示
すブロック図である。

【図２５】図２４の距離推移モデル記憶部２６５の記憶
内容を説明するための図である。

【図２６】図２４のマッチング回路２１３の処理を説明
するためのフローチャートである。

【符号の説明】

１パラメータ化回路，２統合パラメータ生成回
路，３マッチング回路，４判定回路，１１₁
乃至１１_N 処理部，２１メディア間正規化部，
２２統合パラメータ生成部，３１距離推移方式マ
ッチング部，３２空間分布方式マッチング部，５１
仮正規化部，５２コードブック作成部，５３
仮正規化部，５４ベクトル量子化部，５５正規
化係数制御部，６１時間軸正規化部，６２ベク
トル量子化部，６３コードブック記憶部，６４
距離計算部，６５距離推移モデル記憶部，６６
ソート部，７１時間軸正規化部，７２距離計算
部，７３コードブック記憶部，７４多項式表現
化部，８１ベクトル量子化部，８２コードブッ
ク記憶部，８３カイ二乗検定部，８４期待度数
記憶部，８５ソート部，９１ベクトル量子化
部，９２コードブック記憶部，９３期待度数算
出部，１０１パラメータ化回路，１０４最適正
規化係数決定部，１１１₁ 口唇信号処理部，１１１₂
音声信号処理部，１２１メディア間正規化部，
１２２パラメータ次元正規化部，１３１マッチン
グ部，１６１時間軸正規化部，１６２ベクトル量
子化部，１６３コードブック記憶部，１６４距
離計算部，１６５距離推移モデル記憶部，１６６
テンポラルメモリ，２０１比較部，２０２最適
正規化係数出力部，２１３マッチング回路，２６５
距離推移モデル記憶部，２６７メディア間正規化
部，２６８統合パラメータ生成部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5D015 EE01 FF05 GG05 LL07 9A001 BB02 BB03 BB04 EE05 EZ02 FF10 GZ05 HH07 HH16 HH17 HH23 KK37 KK46

Claims

【特許請求の範囲】

【請求項１】複数の入力データについて、それぞれの
特徴を表す時系列の特徴パラメータの正規化に用いる時
系列の正規化係数を求めるための学習を行う学習装置で
あって、所定の学習用の正規化係数に基づいて、前記複数の入力
データの特徴パラメータそれぞれを正規化する正規化手
段と、正規化された複数の前記特徴パラメータそれぞれについ
て、所定の標準パラメータとの距離を算出する算出手段
と、前記距離に基づき、時系列の前記特徴パラメータそれぞ
れについて、認識時に用いる時系列の前記正規化係数を
決定する決定手段とを備えることを特徴とする学習装
置。
【請求項２】前記正規化手段は、複数の前記特徴パラ
メータのうちの任意の１つについての前記標準パラメー
タとの距離と、他の任意の１つについての前記標準パラ
メータとの距離とを等しくする前記学習用の正規化係数
に基づいて、複数の前記特徴パラメータそれぞれを正規
化することを特徴とする請求項１に記載の学習装置。
【請求項３】前記決定手段は、前記学習用の正規化係
数、０、または無限大のうちのいずれかを、認識時に用
いる前記正規化係数として決定することを特徴とする請
求項２に記載の学習装置。
【請求項４】前記複数の入力データは、少なくとも画
像と音声のデータを含むことを特徴とする請求項１に記
載の学習装置。
【請求項５】複数の入力データについて、それぞれの
特徴を表す時系列の特徴パラメータの正規化に用いる時
系列の正規化係数を求めるための学習を行う学習方法で
あって、所定の学習用の正規化係数に基づいて、前記複数の入力
データの特徴パラメータそれぞれを正規化し、正規化された複数の前記特徴パラメータそれぞれについ
て、所定の標準パラメータとの距離を算出し、前記距離に基づき、時系列の前記特徴パラメータそれぞ
れについて、認識時に用いる時系列の前記正規化係数を
決定することを特徴とする学習方法。
【請求項６】所定の認識対象を、複数の入力データに
基づいて認識する認識装置であって、前記複数の入力データを処理することにより、その複数
の入力データそれぞれについて、時系列の特徴パラメー
タを出力する処理手段と、前記複数の入力データそれぞれの時系列の特徴パラメー
タを正規化するための認識用の時系列の正規化係数を記
憶している記憶手段と、前記複数の入力データそれぞれの時系列の特徴パラメー
タを、前記認識用の時系列の正規化係数に基づいて正規
化する正規化手段と、正規化された複数の特徴パラメータを統合し、統合パラ
メータとする統合手段と、前記統合パラメータに基づいて、前記所定の認識対象を
認識する認識手段とを備えることを特徴とする認識装
置。
【請求項７】前記認識用の時系列の正規化係数は、学習用の正規化係数に基づいて、学習用の複数の入力デ
ータの特徴パラメータそれぞれを正規化し、正規化された学習用の複数の前記特徴パラメータそれぞ
れについて、所定の標準パラメータとの距離を算出し、前記距離に基づき、学習用の時系列の前記特徴パラメー
タそれぞれについて、認識用の時系列の前記正規化係数
を決定することにより得られたものであることを特徴と
する請求項６に記載の認識装置。
【請求項８】前記学習用の正規化係数は、複数の前記
特徴パラメータのうちの任意の１つについての前記標準
パラメータとの距離と、他の任意の１つについての前記
標準パラメータとの距離とを等しくするものであること
を特徴とする請求項７に記載の認識装置。
【請求項９】前記認識用の正規化係数は、前記学習用
の正規化係数、０、または無限大のうちのいずれかであ
ることを特徴とする請求項８に記載の認識装置。
【請求項１０】前記複数の入力データは、少なくとも
画像と音声のデータを含むことを特徴とする請求項６に
記載の認識装置。
【請求項１１】前記認識手段は、前記音声を認識する
ことを特徴とする請求項１０に記載の認識装置。
【請求項１２】所定の認識対象を、複数の入力データ
に基づいて認識する認識方法であって、前記複数の入力データを処理することにより、その複数
の入力データそれぞれについて、時系列の特徴パラメー
タを出力し、前記複数の入力データそれぞれの時系列の特徴パラメー
タを、認識用の時系列の正規化係数に基づいて正規化
し、正規化された複数の特徴パラメータを統合して、統合パ
ラメータとし、前記統合パラメータに基づいて、前記所定の認識対象を
認識することを特徴とする認識方法。