JP2005092465A - データ認識装置 - Google Patents

Abstract

【課題】 例えば時系列に連続性をもって変化する動画像等のデータから、所定の部分の認識を短時間で認識できるようにし、実時間の処理を可能とする。
【解決手段】 時系列に変化する処理対象データから、予め定められた認識対象データ部分を第１番目から第ｎ番目まで順次特定するデータ認識装置であって、処理対象データから、所定の処理パラメータを用いて認識対象データ部分を探索処理し、少なくとも、第ｉ番目（１≦ｉ＜ｎ）の認識対象データ部分を特定したときの処理パラメータを、認識関係情報として記憶部２に記憶しておき、制御部１が、この記憶されている認識関係情報を、第ｉ＋１番目の認識対象データ部分の探索処理における処理パラメータの決定に利用する。
【選択図】 図１

Description

本発明は、画像や音声などの処理対象データから、予め設定された参照データに対応する認識対象データ部分を認識するデータ認識装置に関する。

物体や人物の顔など、認識の対象となった画像を、当該画像を参照データとして用いて認識する処理は、原理的には処理対象となった画像データと、予め保存された上記参照データとの類似度を演算する処理によって実現できる。

しかし、現実の認識対象である画像は、その向き、距離、証明等の環境条件によって大きく変化する。このため、これらの画像の自由度に応じた膨大な数の参照データを保持しておく必要があり、これらとの演算量もまた、膨大なものとなって、実現は困難なものである。

そこで、処理対象となった画像データに含まれる、認証対象の画像の候補を、予め定められた位置、傾き、大きさ等に幾何学的に変換する「正規化」処理を行っておくことで、比較の対象である参照データの数を少なくするとともに、それに係る演算量も低減できる。

ここで正規化の処理方法としては、処理対象の画像データから所定特徴点を抽出し、予め用意された正規化画像の形状モデルに当該特徴点を当てはめる方法が知られている。ここで特徴点は、エッジオペレータを用いる方法が一般的であるが、人物の顔のように表面形状が滑らかなものでは、明瞭なエッジが得られるとは限らなくなり、また、エッジ自体、証明条件の影響を大きく受けやすいので、妥当でないことが多い。

これに対して、非特許文献１には、処理対象となった画像データの濃淡パターンに基づいて直接的に、正規化後の画像からのずれを検出し、その検出結果を用いて正規化の処理を行う技術が開示されている。
Rotation Invariant NeuralNetwork-Based Face Detection, H.A. Rowley, S. Baluja, and T. Kanade,Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,1998, pp.38-44 特開２００２−２６９５４６号公報

しかしながら、上記非特許文献１に開示の技術を利用するには、例えば傾きを表す角を、すべての角度方向に対して正確に推定する必要がある。すなわち、この非特許文献１に記載の技術を利用するには、多数の学習サンプルを用意する必要があって、学習にかかる処理負荷が大きくなる。

さらに、非特許文献１には、処理対象の画像の変形自由度として画像面内の回転のみが開示されているが、現実の画像の変形自由度にはさらに、深さ方向の回転、大きさ、位置、照明などの多数の自由度が存在するので、上記学習の負荷は、さらに大きいものとなって、現実的な時間内に学習処理を完了することが困難になる。

この事情は、動画像など、時間変化を伴うデータを処理の対象とする場合に、さらに問題となる。例えば動画像から顔部分を実時間に検出する処理としてフレーム間の情報を用いる技術が、特許文献１に開示されている。この特許文献１に記載の技術は、動画を構成する静止画フレームの一つから顔が一旦検出されると、引き続くフレームに対しては、当該検出された顔の位置から平行移動及び回転を施した２次元顔画像を生成して、その画像を参照データとしてマッチングを行うことにしている。

しかしながらこの方法では、顔の移動、回転、大きさといった全自由度に対して参照データを生成しなければ、マッチングによって顔を認識し続けることができない。そこで、この顔認識のために、上記非特許文献１に開示されているような、従来の顔認識処理を行うとすれば、仮に学習が完了できるとしても、すべての自由度について変形した後の画像と、当該学習の結果として得られた参照データとを比較しなければならず、処理負荷が過大なものとなり、動画像から実時間で顔を認識するといった処理は、事実上、実現不能なものであった。

本発明は上記実情に鑑みて為されたもので、認識の対象について変形の自由度が大きい場合にも、正規化のためのデータを、合理的な時間内に学習獲得できる認識装置を提供することを、その目的の一つとする。

また、本発明の別の目的は、動画像など、時系列に連続性をもって変化するデータから、所定の部分を、実時間で認識できる認識装置を提供することである。

上記従来例の問題点を解決するための本発明は、時系列に変化する処理対象データから、予め定められた認識対象データ部分を第１番目から第ｎ番目まで順次特定するデータ認識装置であって、前記処理対象データから、所定の処理パラメータを用いて認識対象データ部分を探索処理する手段と、少なくとも、第ｉ番目（１≦ｉ＜ｎ）の認識対象データ部分を特定したときの、前記処理パラメータを、認識関係情報として記憶する手段と、を含み、前記記憶されている認識関係情報が、第ｉ＋１番目の認識対象データ部分の前記探索処理における前記処理パラメータの決定に利用されることを特徴としている。

また、上記従来例の問題点を解決するための本発明は、時系列に変化する処理対象データから、予め定められた認識対象データ部分を断続的に特定するデータ認識装置であって、前記処理対象データの少なくとも一部を注目部分として特定する手段と、予め設定された参照データを用いて定義される所定の演算ルールによって、前記注目部分と、前記参照データとの間の類似度を演算する演算手段と、当該類似度に基づいて、前記注目部分が認識対象データ部分であるか否かを判断する認識手段と、前記認識手段により、認識対象データ部分が特定されたときに、前記演算ルールに関する情報と、前記注目部分を特定する情報と、のうち少なくとも一方の情報を記憶する記憶手段と、を含み、前記記憶手段に記憶される情報が、次の前記類似度の演算又は、注目部分の特定の少なくとも一方の処理に供されることを特徴としている。

ここで前記演算手段は、前記注目部分と前記参照データとの類似度を演算する際に、（１）前記注目部分と前記参照データとの類似度を仮演算し、（２）前記仮演算の結果に基づき、前記注目部分を、予め定められた少なくとも一つの変形自由度で変形処理して、当該変形処理後の注目部分を新たな注目部分として設定する、（１），（２）の処理を、前記仮演算された類似度が、予め定められた条件を満足するか、繰り返し回数が所定回数を越えるまで繰り返して行い、前記仮演算された類似度が予め定められた条件を満足した場合に、前記認識手段が、当該仮演算された類似度に基づき、前記注目部分が認識対象データ部分であるか否かを判断し、前記記憶手段が記憶する情報には、前記演算ルールに関する情報として、前記変形処理の内容を特定する情報が含まれることとしてもよい。

さらに前記演算手段は、前記（２）の処理における変形処理を行う際に、前記注目部分を、互いに異なる少なくとも一つの変形自由度で変形処理して、複数の変形処理結果を得ておき、前記複数の変形処理結果のうち、所定の選択ルールに基づいて、一つの変形処理結果を選択し、当該選択した変形処理結果としての、変形処理後の注目部分を新たな注目部分として設定する、こととしてもよい。

また、上記従来例の問題点を解決するための本発明は、時系列に変化する一連の処理対象データについて、少なくとも一部の処理対象データ内において予め定められた認識対象データ部分を特定するデータ認識装置であって、前記一連の処理対象データのうち、一つの処理対象データを選択する手段と、前記選択された処理対象データの少なくとも一部を注目部分として特定する手段と、予め設定された参照データを用いて定義される所定の演算ルールによって、前記注目部分と、前記参照データとの間の類似度を演算する演算手段と、当該類似度に基づいて、前記注目部分が認識対象データ部分であるか否かを判断する認識手段と、前記認識手段により、認識対象データ部分が特定されたときに、前記演算ルールに関する情報と、前記注目部分を特定する情報と、のうち少なくとも一方の情報を記憶する記憶手段と、を含み、前記記憶手段に記憶される情報が、次に選択される処理対象データ内の注目部分に対する前記類似度の演算又は、次に選択される処理対象データ内の注目部分の特定の少なくとも一方の処理に供されることを特徴としている。

さらに、上記従来例の問題点を解決するための本発明は、時系列に変化する処理対象データから、予め定められた認識対象データ部分を第１番目から第ｎ番目まで順次特定するデータ認識方法であって、記憶手段を備えたコンピュータを用い、前記処理対象データから、所定の処理パラメータを用いて認識対象データ部分を探索処理する工程と、少なくとも、第ｉ番目（１≦ｉ＜ｎ）の認識対象データ部分を特定したときの、前記処理パラメータを、認識関係情報として、前記記憶手段に記憶する工程と、を実行させ、前記記憶されている認識関係情報が、第ｉ＋１番目の認識対象データ部分の前記探索処理における前記処理パラメータの決定に利用されることを特徴とする。

さらに、上記従来例の問題点を解決するための本発明は、時系列に変化する処理対象データから、予め定められた認識対象データ部分を断続的に特定するデータ認識方法であって、前記処理対象データの少なくとも一部を注目部分として特定する工程と、予め設定された参照データを用いて定義される所定の演算ルールによって、前記注目部分と、前記参照データとの間の類似度を演算する工程と、当該類似度に基づいて、前記注目部分が認識対象データ部分であるか否かを判断する工程と、前記認識対象データ部分が特定されたときに、前記演算ルールに関する情報と、前記注目部分を特定する情報と、のうち少なくとも一方の情報を、記憶手段に記憶する工程と、を含み、前記記憶手段に記憶される情報が、次の前記類似度の演算又は、注目部分の特定の少なくとも一方の処理に供されることを特徴としている。

さらに、上記従来例の問題点を解決するための本発明は、時系列に変化する処理対象データから、予め定められた認識対象データ部分を第１番目から第ｎ番目まで順次特定するデータ認識プログラムであって、コンピュータに、前記処理対象データから、所定の処理パラメータを用いて認識対象データ部分を探索処理する手順と、少なくとも、第ｉ番目（１≦ｉ＜ｎ）の認識対象データ部分を特定したときの、前記処理パラメータを、認識関係情報として、前記記憶手段に記憶する手順と、前記記憶されている認識関係情報に基づき、第ｉ＋１番目の認識対象データ部分の前記探索処理における前記処理パラメータを決定する手順と、を実行させることを特徴としている。

さらに、上記従来例の問題点を解決するための本発明は、時系列に変化する処理対象データから、予め定められた認識対象データ部分を断続的に特定するデータ認識プログラムであって、コンピュータに、前記処理対象データの少なくとも一部を注目部分として特定する手順と、予め設定された参照データを用いて定義される所定の演算ルールによって、前記注目部分と、前記参照データとの間の類似度を演算する手順と、当該類似度に基づいて、前記注目部分が認識対象データ部分であるか否かを判断する手順と、前記認識対象データ部分が特定されたときに、前記演算ルールに関する情報と、前記注目部分を特定する情報と、のうち少なくとも一方の情報を、記憶する手順と、を実行させ、前記記憶される情報を、次の前記類似度の演算又は、注目部分の特定の少なくとも一方の処理に供されるよう、前記コンピュータを制御することを特徴としている。

以下、本発明の実施の形態に係る認識装置について、図面を参照ながら詳細に説明する。本実施の形態のデータ認識装置は、図１に示すように、制御部１と、記憶部２と、入出力部３とを含んで構成されている。制御部１は、記憶部２に格納されているプログラムに従って動作し、時系列に変化する処理対象データから、予め定められた認識対象データ部分を断続的に特定する処理を行っている。この処理の具体的内容については、後に述べる。

記憶部２は、制御部１によって実行されるプログラムを格納したコンピュータ可読な記録媒体である。また、この記憶部２は、制御部１における処理の過程で生成される種々の情報を格納する、ワークメモリとしても動作する。

入出力部３は、外部の装置から入力されるデータ（時系列に変化する処理対象データ）を制御部１に出力する。また、この入出力部３は、制御部１から入力される指示に従って、種々の情報を外部の装置に出力する。

次に、制御部１によって行われる処理の内容について説明する。ここでは動画像データの中から人間の顔を認識対象として特定する処理を例として説明する。この処理は、機能的には、図２に示すように、認識条件設定部１１と、認識処理部１２と、記憶処理部１３とを含んで構成される。

認識条件設定部１１は、記憶部２に格納された以前の認識処理に関する情報（認識処理関係情報）に基づいて、処理パラメータを生成し、この生成した処理パラメータを認識処理部１２に対して出力する。認識処理部１２は、認識条件設定部１１から入力された処理パラメータを用い、処理対象となった画像データ中から認識の対象となった顔部分（認識対象部分）を特定する。記憶処理部１３は、認識処理部１２において顔部分が認識されたときに、当該顔の位置、大きさ、角度などの処理パラメータに相当する情報を、認識処理関係情報として記憶部２に格納する。

［認識処理部の例］
ここで認識処理部１２の具体的構成の例について説明する。この認識処理部１２は、本実施の形態の装置に用いるだけでなく、他の処理においても利用可能な汎用のものであり、具体的には、次に例示するような構成を有している。

図３は、認識処理部１２の機能ブロック図である。同図に示すように、認識処理部１２は、画像入力部２１と、画像保持部２２と、類似度計算部２３と、判定部２４と、複数の画像変形度推定部２５（２５−１〜２５−ｎ）と、複数の画像変形部２６（２６−１〜２６−ｎ）と、画像変形調停部２７とを具備して構成される。この認識処理部１２は、汎用のものであり、本実施の形態の装置に用いる際の設定等については、後から説明する。

画像入力部２１は、処理の対象となる画像データを受け入れるもので、例えば、ＣＣＤカメラ等の外部装置から入出力部１３を介して入力される画像データを画像保持部２２に出力する。画像保持部２２は、画像入力部２１から入力された処理対象の画像データを記憶部２に格納して保持する。この画像データは、例えば画像データを構成する各画素の輝度を成分とし、画素数の次元を持つベクトルパターンとして保持される。保持された画像データは画像変形部２６により適宜変形され、変形された画像データは再び画像保持部２２に保持される。

類似度計算部２３は、画像保持部２２に保持された画像データと、参照データとしてのテンプレート画像との類似度を計算する。類似度は、画像保持部２２に保持された画像データとテンプレート画像の間のユークリッド距離、すなわち対応する画素の輝度の差の２乗和の平方根や、複数のテンプレート画像の分布を近似した部分空間と、画像保持部２２に保持された画像データとの距離などを用いて表すことができる。例えば、これらの距離の逆数を類似度とすれば、これらの距離が小さいほど類似度が大きいことになる。また、類似度計算部２３は、後述する推定誤差評価部３４と兼ねることもできる。

判定部２４は、類似度計算部２３によって計算された類似度を予め定められた閾値と比較し、類似度が閾値より大きい場合に対象物が参照物と同一であると判定する。

画像変形度推定部２５（２５−１〜２５−ｎ）のそれぞれは、互いに異なる画像変形の自由度に対応して設けられており、その各々は、対応する自由度に関して、画像保持部２２に保持された画像が、テンプレート画像からどれくらい変形しているかを推定する。ここで画像変形の自由度としては、例えば、位置の移動、回転、拡大縮小などが挙げられる。またこの画像変形度推定部２５は、推定した画像変形の精度も評価して出力する。この画像変形度推定部２５の動作については、後に詳しく述べる。

画像変形部２６（２６−１〜２６−ｎ）のそれぞれは、画像変形度推定部２５（２５−１〜２５−ｎ）と１対１に対応して設けられ、画像保持部２２に保持された画像を変形してテンプレート画像に近づける処理を行う。この画像変形部２６の画像変形操作の自由度は、それぞれ対応した画像変形度推定部２５の画像変形自由度と同じであり、変形操作量は対応した画像変形度推定部２５からの画像変形度推定値とその精度に応じて決められる。変形操作量は画像変形度推定値に減速因子を乗じた値とする。減速因子は推定値誤差が「０」のとき「１」で、推定値誤差が大きくなるにつれ「０」に近づくようにする。画像変形操作の方向は画像保持部２２に保持された画像がテンプレートに近づく方向とする。すなわち推定誤差が小さいほど少ない画像操作で画像保持部２２に保持された画像がテンプレート画像に近づくことになる。

具体的に、この画像変形部２６は、処理対象となった画像データのうちから一部矩形内の画像部分を注目部分として画定し、当該画定した注目部分の画像を上記自由度で変形する。この際、画像変形部２６は、例えば上記注目部分を画定する矩形を、上記自由度で変形することで、当該矩形によって画定される注目部分に対応する画像を変形してもよい。すなわち、処理対象となった画像データを原画像として、そこからの画像の取り出し方を上記自由度で変更してもよい。また、注目部分として原画像から抽出された画像部分に対して、上記自由度に対応する画像処理を行い、注目部分に対応する画像を変形してもよい。さらに、これらを組み合せて、画定のための矩形と、それによって抽出される画像との双方を変形することとしてもよい。

画像変形調停部２７は、画像変形部２６のそれぞれによる画像操作を調停する。調停は各画像変形度推定部２５が出力する画像変形度推定値の推定値誤差によってなされ、この値が小さい順に（すなわち推定値誤差の小さい順に）、Ｎ（Ｎは「１」以上の整数）個の画像変形度推定部２５に対応する画像変形部２６だけを動作させる。また、画像変形調停部２７は、上記Ｎ個の画像変形度推定部２５のうち、出力する画像変形推定値が一定値以下であるものについては、それに対応する画像変形部２６は動作させないこととしてもよい。ここで上記整数Ｎは、予め定めておいてもよいし、予め定めたしきい値より小さい推定値誤差を出力している画像変形度推定部２５の数としておいてもよい。

次に、画像変形度推定部２５の構成について詳しく説明する。図４は、画像変形度推定部２５の具体的な構成を示した図である。同図に示すように、画像変形度推定部２５は、それぞれ、特徴パターン生成部３１と部分空間射影計算部３２と変形度推定部３３と推定誤差評価部３４とを具備して構成される。

特徴パターン生成部３１は、画像保持部２２から画像データを表すベクトルパターンを読出して、これから予め定められた変換により特徴パターンを生成する。この変換の方法は、例えば、ベクトルパターンに対してフーリエ変換やウェーブレット変換を行う方法や、有限個の基底ベクトルにベクトルパターンを射影する方法などがある。ここで射影先となる基底ベクトルは、多数の任意の画像データを主成分解析して得た、固有値の大きいベクトルの組として求め得る。

部分空間射影計算部３２は、予め学習して獲得された、参照データの特徴パターンの分布を近似する部分空間を特定する情報を保持しており、特徴パターン生成部３１から特徴パターンが入力されたとき、この特徴パターンを上記部分空間に射影し、その射影の部分空間上の座標系における座標値を出力する。ここで特徴パターンの部分空間への射影ベクトルとは、特徴パターンともっとも距離が近くなる部分空間上の点と定義する。実世界での特徴パターンの変動は非常に複雑なため、その変動を近似するためには、部分空間は、非線形空間であることが好ましい。

このような非線形の部分空間は、例えば、図５に示すような、オートエンコーダと呼ばれるニューラルネットによって表現することが可能である。オートエンコーダは多層パーセプトロンの一種であり、図５のように入力層４１のニューロン数ｎと出力層４２のニューロン数ｎとは同じであり、中間層４３のニューロン数は入力層４１のニューロン数ｎより少なくなっている。そして入力層４１に入力された値に対し、それと同じ値を教師信号として出力層４２のニューロンに与え、恒等写像を実現するように各シナプス結合の重みを学習させる。学習は通常のバックプロパゲーション法で行うことができる。

こうして学習されたオートエンコーダの出力層４２の出力は、図６に示すように、入力を表すｎ次元空間内で学習サンプル５１の分布を近似する非線形部分空間５２を構成し、オートエンコーダの中間層４３のニューロンの出力は、非線形部分空間５２上の座標系５４での座標成分に対応する。従って、特徴パターン５３を学習後のオートエンコーダに入力した時の出力層４２の出力は、特徴パターン５３の非線形部分空間５２への射影５５となり、中間層４３のニューロンの出力５４がその射影ベクトルを非線形部分空間５２上の座標系で表したものとなる。

変形度推定部３３は、この部分空間射影計算部３２が出力する特徴パターンの部分空間への射影と、画像変形度との間の関係を予め学習している。変形度推定部３３は、この学習結果を用いて、部分空間への射影値から画像変形度を求めて出力する。部分空間への射影と画像変形度の関係は、例えば、部分空間が中間層４３のニューロン数が「２」のオートエンコーダで表され、自由度が回転の場合、図７に示すような関係となる。

図７は、中間層４３の２つのニューロンの出力を２次元にプロットしたものであり、その軌跡は画像の回転角に応じて閉曲線を描いている。この閉曲線上の点と画像の回転角は１対１に対応しているため、中間層４３の２つのニューロンの出力から画像の回転角を推定することができる。このような中間層４３のニューロンの出力と画像変形度の関係は、変形度推定部３３中に近似関数として保存してもよいし、ルックアップテーブルとしてメモリ（不図示）に保存してもよい。この場合、変形度推定部３３は、この保存された関係に基づいて画像変形度を求める。

推定誤差評価部３４は、特徴パターン５３と非線形部分空間５２との距離ｄ（図６を参照）を計算し、この距離ｄを変形度推定部３３において推定された画像変形度の精度として出力する。ここで特徴パターン５３と非線形部分空間５２との距離とは特徴パターン５３とその非線形部分空間５２上への射影ベクトル５５のユークリッド距離であり、例えば、非線形部分空間５２がオートエンコーダで表現されている場合、オートエンコーダの入力と出力の間のユークリッド距離で表すことができる。なお、特徴ベクトル５３と非線形部分空間５２との距離が小さいほど、特徴ベクトル５３が非線形部分空間５２によって良く近似できているとみなせるため、画像変形度の精度としてｄを用いることは妥当である。もちろん、距離ｄの代わりに、この距離ｄに関する任意の単調増加関数を用いても構わない。

次に、図３に示した認識処理部１２を学習させるための学習サンプルについて説明する。以下では簡単のため、認識の対象となる画像は、その傾きと観測者の視野内での位置は変化するが、観測者からの距離は変化しないとする。すなわち、認識の対象となる画像の変形の自由度は例えば画像面内の回転と画像面内の移動のみが許されるとする。なお、この簡単化は説明のためであって、実際にはこの他の自由度を許すことも可能である。

この認識処理部１２の例では、各変形自由度に対して一つの画像変形度推定部２５を設ける。従ってここでは上記簡単化された画像の変形の自由度に対応して、２つの画像変形度推定部２５を用意し、そのうち第１の画像変形度推定部２５−１には画像面内の回転を、第２の画像変形度推定部２５−２には画像面内の移動を担当させる。

第１の画像変形度推定部２５−１のための学習サンプルは、観測者の視野の中央に位置し、正立した状態となっている対象についての複数の画像を用意し、これらに対してそれぞれ回転およびシフトを施した複数の画像であり、回転角は図８（ａ）のように例えば−１８０度から１８０度までの一様乱数で変化させ、シフト量は図８（ａ）のように縦方向および横方向に例えば幅６ピクセルのガウス分布の乱数で変化させることとすればよい。サンプル数は例えば１０００画像用意する。

同様に、第２の画像変形度推定部２５−２のための学習サンプルは、観測者の視野の中央に位置し、正立した状態となっている対象についての複数の画像を用意し、これらに対し回転およびシフトを施した複数の画像であり、その回転角は図８（ｂ）のように例えば幅１０度のガウス分布の乱数で変化させ、シフト量は図８（ｂ）のように縦方向および横方向に例えば−６ピクセルから６ピクセルまでの一様乱数で変化させることとすればよい。サンプル数は、例えば１０００画像用意する。

このように、ここで示した認識処理部１２によれば、認識したい画像変形の自由度につき、ほぼ同数の学習サンプルを用意すればよく、図９に示すように、学習サンプル数は画像変形の自由度と比例関係にある。なお、この図９に併せて示すように、従来技術によると、認識したい画像変形の自由度すべての組み合わせに対して学習サンプルを用意する必要があるため、学習サンプル数は画像変形の自由度に対して級数的に増大する。つまり、この認識処理部１２によれば、特に画像変形の自由度が多くなった場合に、学習サンプルが従来技術のものに比べて少なくすみ、学習時間も短時間となる。また、学習サンプルが多いほど学習サンプルの分布を近似する部分空間を表現するリソース（例えば、オートエンコーダの場合では、中間層のニューロン数やシナプスの数）も増大し、それにつれて認識時の演算時間も増大するので、この認識処理部１２はリソースの削減や認識時間の短縮の効果もある。

［学習時動作］
次に、図３に示した認識処理部１２の学習時の動作を説明する。図１０は、認識処理部１２の学習時の動作の流れを示すフローチャートである。

学習処理は、第１の画像変形度推定部２５−１と第２の画像変形度推定部２５−２に対して独立に行うことができ、学習の処理の内容は略同様であるため、ここでは第１の画像変形度推定部２５−１の学習について説明する。

まず制御部１が、第１の画像変形度推定部２５−１のオートエンコーダを初期設定する（ステップ１０１）。初期設定は、入力層および出力層のニューロン数を特徴パターンの次元数に設定し、第３層のニューロン数を画像回転の自由度である「２」に設定する。第２層および第４層のニューロン数は、特徴パターンの次元数以上に設定する。さらに各シナプスの重みを乱数によって初期化する。

次に、例えば、２７×２７画素の学習サンプル（サンプル画像データ）を画像入力部２１に入力し、これを各画素の輝度値を成分とする７２９次元のベクトルの形で画像保持部２２に保持する（ステップ１０２）。続いて、画像保持部２２に保持されたサンプル画像データを制御部１が読出して、特徴パターン生成部２１−１の処理を行い、予め定められた次元数、例えば５０次元の線形部分空間に、サンプル画像データを射影し、５０次元の特徴パターンに変換する（ステップ１０３）。ここで、予め定められた線形部分空間は、例えば、多数の任意の２７×２７画素のサンプル画像データを主成分解析して得られた上位５０個の固有ベクトルを基底とする部分空間とすればよい。この部分空間への射影は、ベクトルの大きさをほぼ保ったまま情報量を圧縮する効果がある。

次に、制御部１は、特徴パターンをオートエンコーダに入力し、同時にオートエンコーダの教師信号として与える。そして広く知られたバックプロパゲーション法によってオートエンコーダの出力と教師信号の２乗誤差が少なくなるように各シナプスの重みを更新することで、部分空間の学習を行う（ステップ１０４）。そして、オートエンコーダの出力と教師信号の２乗誤差を全学習サンプルにわたって平均し、この値が規定値より小さくなったかを判断し（ステップ１０５）、小さくなっていない場合は（ＮＯの場合は）ステップ１０２に戻って処理を続ける。また、ステップ１０５で小さくなっていれば（ＹＥＳならば）、ステップ１０６に進む。これにより、オートエンコーダの出力と教師信号の２乗誤差を全学習サンプルにわたって平均した値が規定値より小さくなるまで学習が継続される。部分空間の学習が収束し、２乗誤差が規定値より小さくなった場合、つまりステップ１０５でＹＥＳとなった場合は、ステップ１０６に進んで画像変形度推定部２５−１の学習を行う。

画像変形度推定部２５−１の学習では、再び学習サンプルを入力し（ステップ１０６）、学習サンプルを特徴パターンに変換し（ステップ１０７）、特徴パターンをオートエンコーダに入力して射影値の計算を行う（ステップ１０８）。そして、オートエンコーダの中間層の２つのニューロンの出力を画像変形度推定部２５−１に入力するとともに、学習サンプルを生成する際に施した回転の角度も同時に入力し（ステップ１０９）、画像変形度推定部２５−１の学習結果として中間層の２つのニューロンの出力に対する回転の角度のルックアップテーブルを作成する（ステップ１１０）。以上の処理を全学習サンプルに対して行い（ステップ１１１でＮＯ）、全学習サンプルに対して処理が終了すると（ステップ１１１でＹＥＳ）、学習を完了する。

なお、ここでは、画像変形度推定部２５をそれぞれ独立に学習させる場合について説明したが、各画像変形度推定部２５を互いに関連させて学習を行わせることができる。この学習方法としては、例えば、学習サンプルを全ての画像変形度推定部２５に入力し、最良の結果（距離が最小）を得た画像変形度推定部２５にのみ学習を行わせ、これを繰り返すようにする。

［認識処理時の動作］
次に、図３に示した認識処理部１２の認識時の動作を説明する。図１１および図１２は、認識処理部１２の認識時の動作の流れを示すフローチャートである。

認識処理では、まず、処理対象となる画像データ（例えばｍ×ｎ画素）が画像入力部２１に入力され、画像保持部２２が、各画素の輝度値を成分とするｍ×ｎ次元のベクトルの形でこの画像データを記憶部２に保持させる（ステップ２０１）。また、制御部１は、画像操作数を数えるカウンタｊの値を「０」に初期化するとともに、画像データのうち注目領域とする部分（例えば参照データと同じ２７×２７画素の矩形領域）を画定する情報を初期化し（初期化処理；ステップ２０２）、次にカウンタｊの値をインクリメントする（ステップ２０３）。

制御部１は、次に、画像保持部２２によって記憶部２に保持された画像データを読み出し、第１の特徴パターン生成部３１−１の処理として、当該読出した画像データを、予め定められた例えば５０次元の線形部分空間に射影して、５０次元の特徴パターンを得る（ステップ２０４Ａ）。そして、この特徴パターンに基づいて第１の部分空間射影計算部３２−１の処理を行って、特徴パターンの部分空間への射影値および特徴パターンと部分空間との距離の計算が行われ（ステップ２０５Ａ）、第１の変形度推定部３３−１において特徴パターンの部分空間への射影値から画像の回転角が推定され（ステップ２０６Ａ）。また、第１の推定誤差評価部３４−１において特徴パターンと部分空間との距離から回転角の推定誤差が計算される（ステップ２０７Ａ）。

一方、このステップ２０４Ａ乃至２０７Ａの処理とは別に、記憶部２に保持された画像データが、制御部１によって読出され、第２の特徴パターン生成部３１−２の処理として、予め定められた例えば５０次元の線形部分空間に射影され、５０次元の特徴パターンに変換される（ステップ２０４Ｂ）。そして、この特徴パターンに基づいて、第２の部分空間射影計算部３２−２の処理により、特徴パターンの部分空間への射影値および特徴パターンと部分空間との距離の計算が行われ（ステップ２０５Ｂ）、第２の変形度推定部３３−２において特徴パターンの部分空間への射影値から画像のシフト量が推定される（ステップ２０６Ｂ）。また、第２の推定誤差評価部３４−２において特徴パターンと部分空間との距離からシフト量の推定誤差が計算される（ステップ２０７Ｂ）。

ここでステップ２０４Ａから２０７Ａの処理と、ステップ２０４Ｂから２０７Ｂの処理とは、並列して処理されてもよいし、順次処理されてもよい。

次に、画像変形調停部２７が、第１の推定誤差評価部３４−１において計算された回転角の推定誤差と第２の推定誤差評価部３４−２において計算されたシフト量の推定誤差とを比較する。比較の結果、回転角の推定誤差の方が小さかった場合には（ステップ２０８でＮＯ）、画像変形調停部２７の処理により、第１の画像変形部２６−１が記憶部２に格納された画像データを当該画像が正立する方向に回転させる（ステップ２０９）。一方、シフト量の推定誤差の方が小さかった場合には（ステップ２０８でＹＥＳ）、画像変形調停部２７の処理により、第２の画像変形部２６−２が記憶部２に格納された画像データを当該画像が中央に位置する方向にシフトさせる（ステップ２１０）。すなわち、処理対象となった画像データのうち注目領域とする部分を画定する座標情報を、回転又はシフトすることにより、当該注目領域内の画像データに対して変形を行うのである。なお、この時、回転角またはシフト量の推定値が既定値以下の場合（正規化画像に近い場合）には、その自由度に関する変形は行わず、他方の変形を優先させてもよい。

次に、類似度計算部２３が記憶部２に格納された画像データと参照データである画像との類似度を計算する（ステップ２１１）。そして、この類似度が予め設定した閾値を越えた場合（ステップ２１２でＹＥＳ）、処理対象の画像データが参照データに一致すると判定し（ステップ２１３）、認識処理を終了する。

一方、類似度が閾値以下の場合には（ステップ２１２でＮＯ）、画像操作回数が規定回数以下、つまり、カウンタの値ｊが規定回数以下であれば（ステップ２１４でＮＯ）、ステップ２０３に移行して記憶部２の画像データ（回転若しくはシフト済みのもの）に対して再び同様の処理を行う。画像操作回数が規定回数を超えた場合には（ステップ２１４でＹＥＳ）、処理対象となっている画像データが参照データと異なるものであると判定し（ステップ２１５）、認識処理を終了する。

図１３は、図１１および図１２を参照して説明した処理を角度−１８０度、縦横にそれぞれ６ビットシフトした、人間の「目」の画像２種類に対して行った場合に、記憶部２に保持された画像の変形の様子を示したものである。また、図１４は、同様の認識処理を８サンプルに対して行ったときの画像の角度および中央からのずれの推移をグラフ化したものである。いずれの図からも入力に対し、画像の回転およびシフトを繰り返し、数回の操作で正立して中央に位置する画像が得られていることがわかる。

以上の説明では、画像変形部２６が２つの場合について説明したが、３つ以上でも同様の手順で認識処理を行うことができる。画像データにおける対象の変形の自由度としては、深さ方向の回転、照明の変化による変形の他、顔の表情、個人差を表すような任意の変形が可能である。

また、変形度の累積値を用いて対象の正規化後の状態からのずれを表現でき、対象の置かれた状態の認識も可能である。

以上に説明した例により、対象の置かれた環境が大きく変化しても対象を認識可能な画像認識装置を現実的なリソースで実現でき、かつ少ない学習サンプルで容易に学習可能となる。

［本実施の形態における認識処理］
ここで説明した、第１の例に係る認識処理部１２を利用する場合、制御部１は、記憶処理部１３の処理として、次のような処理を行うこととなる。すなわち、処理対象の画像データが参照データに一致すると判定したとき（ステップ２１３）に、記憶処理部１３は、処理対象となった画像データに対して行った変形操作の内容を表す情報として、回転角とシフト量との累算値（ここでの例では、回転とシフトだけであるので、注目領域として原画像中で画定している矩形形状を特定する座標情報としている）を認識関係情報として記憶部２に格納する。

なお、注目領域を画定する情報以外の情報を、認識関係情報とする場合には次のようにする。すなわち、すでに述べたように画像変形調停部２７は、回転とシフトとの各自由度に対応して為された画像変形のうち一つを選択的に適用することになっている。そこで画像変形調停部２７は、ここで選択的に適用した回転又はシフト（少なくとも１つの自由度に係る、互いに異なる変形処理のいずれか）に対応する変形量（ここでは回転角又はシフト量）の累算値を生成しておき、これを認識関係情報とすればよい。

本実施の形態において制御部１は、処理対象となった動画像を構成する各静止画（フレーム）について時系列の順序（時間順、あるいはその逆順）に、認識処理部１２の処理を繰返し行う。その際、各フレーム内の注目部分に対して行われた変形操作の内容が、認識関係情報として記憶処理部１３によって記憶部２に格納されるのである。

そして、認識条件設定部１１が、それまでに処理されたフレームに関して当該記憶部２に格納された認識関係情報に基づき、処理パラメータを生成し、認識処理部１２に対して出力する。ここでは、認識関係情報は、以前のフレームで顔部分が認識された注目領域を特定する情報である。認識条件設定部１１は、例えば直前のフレームにおける当該情報を、認識処理部１２に対してそのまま出力する。この場合、認識処理部１２は、ステップ２０１によって保持した画像データに対し、ステップ２０２の初期化処理において、注目領域を画定する情報を初期化する際、認識条件設定部１１から入力される情報をそのまま、今回のフレームにおける注目領域を画定する情報の初期値として設定する。

このように、本実施の形態では、次のフレームの処理に対する処理パラメータの初期値が提供される。例えば、あるフレームで、顔が認識されると、次のフレームでは、その認識の状態（顔の位置（シフトに対応）や顔の平面内の傾き（回転に対応））を利用して、認識を開始するのである。

なお、認識条件設定部１１は、直前のフレームにおける認識関係情報（０次近似）だけでなく、現在処理しようとしているフレームより前の複数のフレームにおける認識関係情報に基づく外挿処理（ｎ次近似）を行って次のフレームの処理に関する処理パラメータを定めてもよい。

また、ここでは認識関係情報として、処理対象の画像データのうち、注目領域を画定する情報を用いているので、当該情報に基づいて次のフレームにおける注目領域の初期化を行っているが、例えば、画像データの少なくとも一部についての画像処理のパラメータの累算値が認識関係情報となっている場合、次のフレームにおける当該一部について、当該パラメータの累算値に相当する画像処理を行うことで初期化を行ってもよい。

［認識処理部の例２］
なお、部分空間への射影、変形度推定、推定誤差評価の処理は、ここまでで説明したものに限られるものではない。そこで以下、これらの処理の変形例について述べる。すなわち認識装置の別の構成は、図３に示した第１の例に係るものと同様であり、また、制御部１によって行われる処理も、図４に示したものと略同様であるが、部分空間射影計算部３２、変形度推定部３３、および推定誤差評価部３４における処理などが異なる。ここでは、これら部分空間射影計算部３２、変形度推定部３３、および推定誤差評価部３４での処理を中心として説明し、他の部分についての詳細な説明は省略する。

ここでの部分空間射影計算部３２は、参照データの特徴パターンの分布を近似する部分空間を特定する情報を予め学習獲得している。実世界での特徴ベクトルの変動は非常に複雑なため、その変動を近似するためには、部分空間が非線形空間であることが好ましい。しかしながらここでは、特徴パターンの表される空間における非線形の部分空間を学習する代わりに、特徴パターンを予め定められた非線形写像によって、特徴パターン空間より高次元の空間に写像し、写像された高次元の空間における部分空間（線形空間）によって特徴パターン空間における非線形部分空間を近似的に表現している。

この場合、部分空間射影計算部３２は、入力された対象の画像の特徴パターンについて、その特徴パターンを非線形写像によって高次元空間に写像し、高次元空間での上記線形部分空間へ射影し、その射影の線形部分空間上の座標系における座標値を出力する。ここで射影ベクトルとは、特徴パターンの非線形写像と最も距離が近くなる線形部分空間上の点と定義する。また、部分空間射影計算部３２は、特徴パターンの非線形写像と線形部分空間との距離を計算して出力する。

次に、上述の射影値および部分空間との距離を求める方法について詳しく説明する。特徴パターンをｄ次元のベクトルｘとし、このベクトルｘをｄΦ次元の高次元空間Ｆに写像する非線形写像をΦとすると、次の（１）式が成り立つ。

高次元空間のｍ次元の線形部分空間は予め学習によって求められており、その基底ベクトルをΦ１,...,Φｍとすると、特徴パターンの非線形写像の線形部分空間への射影値α１,...,αｍは、（２）式に示すように特徴パターンの非線形写像と線形部分空間上の点との距離Ｌを最小にするα１,...,αｍとして求められる。また、その時のＬの値の平方根が特徴パターンの非線形写像と線形部分空間との距離となる。

しかしながら、一般的に特徴パターン空間における強い非線形性を表現するためには、高次元空間の次元数は非常に高いものとなり、（２）式の計算を現実的な時間内に完了することは困難である。そこでこの認識処理部１２の第２の例では、いわゆるカーネル法を用いることができるような非線形写像Φとしての写像を選択的に採用する。これにより現実的な計算量で（２）式を計算できるようになる。具体的には、非線形写像Φを予め定められたカーネル関数と関連するように選択する。ここでカーネル関数とは、次の（３）式で表される特徴パターン空間で定義された関数である。ここで、φ１(ｘ),...,φｄΦ(ｘ)をカーネル関数の固有関数、λ１,...,λｄΦをその固有値と呼ぶ。

なお、カーネル関数としては、（４）式に示すガウシアンカーネルや（５）式に示す多項式カーネルなどがある。

こうして選択される非線形写像Φは、固有関数と固有値を用いて、例えば次の（６）式で表されるものになる。さらに、高次元空間の線形部分空間のｍ個の基底ベクトルがｄ次元の特徴パターン空間の任意のｍ個のベクトルｘ１,...,ｘｍ（以下、「プレイメージ」と呼ぶ）の非線形写像Φ(ｘ１),...,Φ(ｘｎ)のベクトルとなるように線形部分空間に制約を与える。

（３）式の関係を用いると（２）式は、（７）式のように表すことができる。（７）式は、高次元空間のベクトル演算を陽に含まないため、計算が容易になっている。（７）式を最小とするα１,...,αｍは、Ｌの微分を０とするα１,...,αｍとして求められ、（８）式に示すようになる。ここで行列Ｋは、Ｋ(ｘｉ,ｘｊ)をｉ行ｊ列成分とする行列である。またＬの最小値は、このα１,...,αｍを（７）式に代入することにって求められる。

次に、線形部分空間の基底ベクトルの学習則について説明する。線形部分空間の基底ベクトルは必ずプレイメージを持つと仮定しているため、学習則は基底ベクトル自体でなくプレイメージの学習則となる。プレイメージの学習則は射影値α１,...,αｍを求めた後、（７）式を最も減少させる方向Δｘｉにプレイメージｘｉを動かすことになる。Δｘｉは、いわゆる最急降下法で得られ、（９）式に示すようになる。

ここで、ηは学習係数であり、正の定数である。

は、非線形写像によって高次元空間に埋め込まれる多様体の計量テンソルであり、（９）式中の計量テンソルは、高次元空間での最急勾配の方向を特徴パターン空間での最急勾配の方向へと修正する意味を持っている。

もカーネル関数を用いて（１０）式のように表すことができる。（１０）式は、基本的には高次元空間での線形最適化問題なので、非線形の最適化と異なり収束性が良く、短時間で学習することができる。

次に、変形度推定部３３について説明する。変形度推定部３３は、部分空間射影計算部３２から出力された特徴ベクトルの部分空間への射影と画像変形度の関係が予め学習されており、これを用いて部分空間への射影値から画像変形度を求めて出力する。部分空間への射影と画像変形度の関係は、例えば、自由度が回転の場合、図１５に示すような関係となる。図１５では、任意の射影成分を対象物の角度に対してプロットしたものであるが、各成分は、特定の角度にもっとも強く反応し、角度が変化するにつれて反応が弱くなっている。基底の番号ｉとその基底への射影成分が最大となる画像変形度θ(ｉ)の組はルックアップテーブルとして変形度推定部３３に保存される。そして画像変形度はθ(ｉ)の値を部分空間射影計算部３２からの入力α１,...,αｍを用いて、例えば、加重平均することにより、（１１）式のように求められる。

推定誤差評価部３４は（７）式によって特徴パターンの非線形写像と線形部分空間との距離の２乗であるＬを計算し、変形度推定部３３において推定された画像変形度の精度として出力する。Ｌが小さいほど特徴パターンが良く近似できているとみなせるため、画像変形度の精度としてＬを用いることは妥当である。もちろんＬに関する任意の単調増加関数を用いても構わない。

なお、この第２の例において学習に要するサンプル、認識処理部１２の学習手順および認識手順、並びに本実施の形態における利用例は第１の例に係るものと同様であるため、説明は省略する。

［認識処理部の第３の例］
さらに、ここでの認識処理部１２は、画像データだけでなく、音声データについて、例えば、「あ」に対応する音声など、特定の音声を認識する装置として実現することもできる。そこで次に、音声データについての認識を行う場合を例として、認識処理部１２の第３の例について説明する。この例における認識処理部１２の構成は、図３に示した第１の例の認識処理部１２の構成における「画像」を「音声」と読み替えたものとなる。

したがって、第１の例と異なるのは実際には、入力パターンの表現方法と入力パターンの変形方法だけであるので、これを図１６を用いて説明する。入力された音声は、一定の時間間隔でサンプリングされ、時間に関して離散化された表現と、フーリエ窓で指定された時間領域でフーリエ変換された二つの周波数表現として保持される。保持された入力に対して、ここでは二つのパターン変形部とそれらに対応したパターン変形度推定部を有する。

第１のパターン変形部は周波数表現に対して変形を行い、周波数をシフトさせる。一方、第２のパターン変形部は時間表現に対して変形を行い、パターンを時間軸方向に伸長させる。以上の二つのパターン変形部を有することにより、発生時の声の高さの変動と発生のスピードの変動に対応することができる。なお、学習や認識手順については第１の例と同じであるのでここでの詳細な説明を省略する。

以上の各例では、画像および音声に係る認識について説明したが、認識の対象となるデータとしてはこれらに限らず、味覚、嗅覚、触覚など、特徴パターンとして表現できるあらゆる情報に関して適用可能である。また、画像に対しても色の判定を行う場合に適用したり、音声に対しても単語を対象としたり、楽器等から発せられる音を対象としたりする場合に適用することができる。

この音声のようなデータでは、動画像データと異なって予めフレームに区切られていないが、探索用のウインドウを設定すれば、本実施の形態の処理を行い得る。すなわち、探索用ウインドウのサイズ、（時間的）位置等を上記画像データの場合の認識関係情報に含めることで、同様の処理を実現できる。

［動作］
次に、本実施の形態に係るデータ認識装置の動作について説明する。以下の例では、動画像データから顔部分を認識する場合を例として説明する。本実施の形態のデータ認識装置の制御部１がまず、フレームをカウントする変数Ｆを「０」にリセットする（ステップ３０１）。そして、入出力部３を介して入力される動画像データのＦ番目のフレームの画像データの全域を対象として所定の方法で顔部分を検出する処理を行う（ステップ３０２）。この処理は、エントロピー等の量を利用した簡便な方法で顔候補部分を特定し、当該特定した顔候補部分を対象として、学習により獲得したデータベースを利用した顔検出を行うこととするなど、さまざまな処理を利用できる。

制御部１は、このステップ３０２において顔部分が検出されたか否かを調べ（ステップ３０３）、顔が検出されなければ（Ｎｏならば）、Ｆをインクリメントし（ステップ３０４）、ステップ３０２に戻って処理を続ける。つまり、顔部分が特定されるまで、フレームを順次探索する。

また、ステップ３０３において顔部分が検出されたと判断されたときには、Ｆをインクリメントし（ステップ３０５）、ステップ３０２又は後に説明するステップ３０７の認識処理において、前回認識されたときの顔部分の位置、サイズ、傾き等を特定する情報を取得し、当該取得した情報を認識関係情報として、認識処理の条件を設定する（ステップ３０６）。

そして制御部１は、当該前回の顔部分の位置、サイズ、傾き等によって画定される領域（注目領域）から、認識の処理を開始し、ここから例えばシフト（位置に関する自由度に相当する）や回転など、各自由度に対応する変形を行いながら、変形後の注目領域内に顔部分があるか否かを判断して、顔の検出処理を遂行する（ステップ３０７）。

そして制御部１は、ステップ３０７にて顔が認識され、検出されたか否かを調べ（ステップ３０８）、検出されたならば（Ｙｅｓならば）、ステップ３０５に戻って処理を続ける。

すなわち各フレームから顔部分が連続的に認識されている限り、制御部１は、前回の認識の際の条件を始点として次のフレーム内で顔部分を認識する処理を行う。

一方、ステップ３０８において、顔が検出されなかったと判断されたならば（Ｎｏならば）、認識条件の更新回数を調べ、予め定めた回数（既定回数）だけ後に説明するステップ３１０の処理を行ったか否かを調べる（ステップ３０９）。ここで、既定回数繰返していなければ（Ｎｏならば）、認識条件を所定の方法で更新して（ステップ３１０）、ステップ３０７に戻って処理を続ける。

なお、このステップ３１０の処理としては、例えば、ステップ３０７における認識処理での顔部分の探索範囲を拡大するよう、処理パラメータを設定する処理などがある。

一方、ステップ３０９において、所定回数繰返した後であれば（Ｙｅｓならば）、ステップ３０２へと移行して、再度、全領域を対象とした顔検出処理を行うようにする。

［実施形態の効果等］
本実施の形態のように構成することで、例えば動画像データから顔部分を連続的に認識する場合に、探索の開始時の条件を、それより前の探索処理の結果（いわば処理の履歴）に基づいて決定することで、実際に探索を行う範囲を狭め、かつ個々の探索は、通常と同様の処理によって行われるため、従来のようにマッチング度の局所的な変化を利用する場合に比べ、顔でない領域を誤って顔部分と判断してしまうことが防止される。つまり、本実施の形態では、動画像データを構成する各静止画に含まれる顔部分の位置等、正規化に利用される情報を、処理中のフレーム以前のフレームでの正規化の結果に基づいて決定するのである。これによって、正規化の処理負荷を軽減し、時系列に連続性をもって変化する動画像等のデータから、所定の部分の認識を短時間で認識できるようにし、実時間の処理を可能とする。

なお、ここでは認識処理部１２に対して学習を行わせる際のサンプルについて、図８に示すように、回転角について−１８０度から１８０度まで、シフト量について、６ピクセルの幅で、等というように設定しているが、例えば動画の各フレーム間の経過時間が比較的短い場合など、人間の顔の動きは、回転やシフトなどの自由度のいずれか一つについて、極めて微小に変化するだけであると仮定してもよい場合がある。かかる場合は、学習サンプルの分布をより狭めてもよい。このような分布は、例えば処理対象となるデータ内での、認識対象部分の時間間隔に応じて決定できる。例えば動画像を処理対象とする場合、そのフレーム間時間（コマ数）に基づいて決定することとしてもよい。すなわち、これにより認識の対象について変形の自由度が大きい場合にも、正規化のためのデータを、合理的な時間内に学習獲得できるようになる。

本発明の実施の形態に係るデータ認識装置の構成例を表すブロック図である。 本発明の実施の形態に係るデータ認識装置の処理例を表す機能ブロック図である。 認識処理部の機能的な構成を示すブロック図である。 画像変形度推定部の構成例を示した図である。 オートエンコーダの概要を説明するための図である。 非線形部分空間を説明するための図である。 部分空間への射影値と画像の回転角の関係を示した図である。 学習サンプルの分布を示した図である。 第一の例における学習サンプル数を従来例と比較した図である。 認識処理部の学習時の動作の流れを示すフローチャートである。 認識処理部の認識時の動作の流れを示すフローチャート（１）である。 認識処理部の認識時の動作の流れを示すフローチャート（２）である。 記憶部に保持された画像の変形の様子を示した図である。 認識処理を８サンプルに対して行ったときの画像の角度および中央からのずれの推移をグラフ化した図である。 認識処理の第二の例における特定の射影値と画像の回転角の関係を示した図である。 認識処理の第三の例における入力音声の変形方法を示した図である。 本発明の実施の形態に係るデータ認識装置の動作例を表すフローチャート図である。

符号の説明

１ 制御部、２ 記憶部、３ 入出力部、１１ 認識条件設定部、１２ 認識処理部、１３ 記憶処理部、２１ 画像入力部、２２ 画像保持部、２３ 類似度計算部、２４ 判定部、２５ 画像変形度推定部、２６ 画像変形部、２７ 画像変形調停部、３１ 特徴パターン生成部、３２ 部分空間射影計算部、３３ 変形度推定部、３４ 推定誤差評価部、４１ 入力層、４２ 出力層、４３ 中間層、５１ 学習サンプル、５２ 非線形部分空間、５３ 特徴パターン、５４ 非線形部分空間上の座標系、５５ 射影ベクトル。

Claims (9)

1. 時系列に変化する処理対象データから、予め定められた認識対象データ部分を第１番目から第ｎ番目まで順次特定するデータ認識装置であって、
   前記処理対象データから、所定の処理パラメータを用いて認識対象データ部分を探索処理する手段と、
   少なくとも、第ｉ番目（１≦ｉ＜ｎ）の認識対象データ部分を特定したときの、前記処理パラメータを、認識関係情報として記憶する手段と、
   を含み、
   前記記憶されている認識関係情報が、第ｉ＋１番目の認識対象データ部分の前記探索処理における前記処理パラメータの決定に利用される
   ことを特徴とするデータ認識装置。
2. 時系列に変化する処理対象データから、予め定められた認識対象データ部分を断続的に特定するデータ認識装置であって、
   前記処理対象データの少なくとも一部を注目部分として特定する手段と、
   予め設定された参照データを用いて定義される所定の演算ルールによって、前記注目部分と、前記参照データとの間の類似度を演算する演算手段と、
   当該類似度に基づいて、前記注目部分が認識対象データ部分であるか否かを判断する認識手段と、
   前記認識手段により、認識対象データ部分が特定されたときに、前記演算ルールに関する情報と、前記注目部分を特定する情報と、のうち少なくとも一方の情報を記憶する記憶手段と、
   を含み、
   前記記憶手段に記憶される情報が、次の前記類似度の演算又は、注目部分の特定の少なくとも一方の処理に供されることを特徴とするデータ認識装置。
3. 請求項２に記載のデータ認識装置において、
   前記演算手段は、前記注目部分と前記参照データとの類似度を演算する際に、
   （１）前記注目部分と前記参照データとの類似度を仮演算し、
   （２）前記仮演算の結果に基づき、前記注目部分を、予め定められた少なくとも一つの変形自由度で変形処理して、当該変形処理後の注目部分を新たな注目部分として設定する、
   （１），（２）の処理を、前記仮演算された類似度が、予め定められた条件を満足するか、繰り返し回数が所定回数を越えるまで繰り返して行い、
   前記仮演算された類似度が予め定められた条件を満足した場合に、前記認識手段が、当該仮演算された類似度に基づき、前記注目部分が認識対象データ部分であるか否かを判断し、
   前記記憶手段が記憶する情報には、前記演算ルールに関する情報として、前記変形処理の内容を特定する情報が含まれることを特徴とするデータ認識装置。
4. 請求項３に記載のデータ認識装置において、
   前記演算手段は、
   前記（２）の処理における変形処理を行う際に、
   前記注目部分を、互いに異なる少なくとも一つの変形自由度で変形処理して、複数の変形処理結果を得ておき、
   前記複数の変形処理結果のうち、所定の選択ルールに基づいて、一つの変形処理結果を選択し、
   当該選択した変形処理結果としての、変形処理後の注目部分を新たな注目部分として設定する、
   ことを特徴とするデータ認識装置。
5. 時系列に変化する一連の処理対象データについて、少なくとも一部の処理対象データ内において予め定められた認識対象データ部分を特定するデータ認識装置であって、
   前記一連の処理対象データのうち、一つの処理対象データを選択する手段と、
   前記選択された処理対象データの少なくとも一部を注目部分として特定する手段と、
   予め設定された参照データを用いて定義される所定の演算ルールによって、前記注目部分と、前記参照データとの間の類似度を演算する演算手段と、
   当該類似度に基づいて、前記注目部分が認識対象データ部分であるか否かを判断する認識手段と、
   前記認識手段により、認識対象データ部分が特定されたときに、前記演算ルールに関する情報と、前記注目部分を特定する情報と、のうち少なくとも一方の情報を記憶する記憶手段と、
   を含み、
   前記記憶手段に記憶される情報が、次に選択される処理対象データ内の注目部分に対する前記類似度の演算又は、次に選択される処理対象データ内の注目部分の特定の少なくとも一方の処理に供されることを特徴とするデータ認識装置。
6. 記憶手段を備えたコンピュータを用い、時系列に変化する処理対象データから、予め定められた認識対象データ部分を第１番目から第ｎ番目まで順次特定するデータ認識方法であって、
   前記処理対象データから、所定の処理パラメータを用いて認識対象データ部分を探索処理する工程と、
   少なくとも、第ｉ番目（１≦ｉ＜ｎ）の認識対象データ部分を特定したときの、前記処理パラメータを、認識関係情報として、前記記憶手段に記憶する工程と、
   を含み、
   前記記憶されている認識関係情報が、第ｉ＋１番目の認識対象データ部分の前記探索処理における前記処理パラメータの決定に利用される
   ことを特徴とするデータ認識方法。
7. 時系列に変化する処理対象データから、予め定められた認識対象データ部分を断続的に特定するデータ認識方法であって、
   前記処理対象データの少なくとも一部を注目部分として特定する工程と、
   予め設定された参照データを用いて定義される所定の演算ルールによって、前記注目部分と、前記参照データとの間の類似度を演算する工程と、
   当該類似度に基づいて、前記注目部分が認識対象データ部分であるか否かを判断する工程と、
   前記認識対象データ部分が特定されたときに、前記演算ルールに関する情報と、前記注目部分を特定する情報と、のうち少なくとも一方の情報を、記憶手段に記憶する工程と、
   を含み、
   前記記憶手段に記憶される情報が、次の前記類似度の演算又は、注目部分の特定の少なくとも一方の処理に供されることを特徴とするデータ認識方法。
8. 時系列に変化する処理対象データから、予め定められた認識対象データ部分を第１番目から第ｎ番目まで順次特定するデータ認識プログラムであって、コンピュータに、
   前記処理対象データから、所定の処理パラメータを用いて認識対象データ部分を探索処理する手順と、
   少なくとも、第ｉ番目（１≦ｉ＜ｎ）の認識対象データ部分を特定したときの、前記処理パラメータを、認識関係情報として、前記記憶手段に記憶する手順と、
   前記記憶されている認識関係情報に基づき、第ｉ＋１番目の認識対象データ部分の前記探索処理における前記処理パラメータを決定する手順と、
   を実行させることを特徴とするデータ認識プログラム。
9. 時系列に変化する処理対象データから、予め定められた認識対象データ部分を断続的に特定するデータ認識プログラムであって、コンピュータに、
   前記処理対象データの少なくとも一部を注目部分として特定する手順と、
   予め設定された参照データを用いて定義される所定の演算ルールによって、前記注目部分と、前記参照データとの間の類似度を演算する手順と、
   当該類似度に基づいて、前記注目部分が認識対象データ部分であるか否かを判断する手順と、
   前記認識対象データ部分が特定されたときに、前記演算ルールに関する情報と、前記注目部分を特定する情報と、のうち少なくとも一方の情報を、記憶する手順と、
   を実行させ、前記記憶される情報を、次の前記類似度の演算又は、注目部分の特定の少なくとも一方の処理に供されるよう、前記コンピュータを制御することを特徴とするデータ認識プログラム。
   

Images