JP2011197934A

JP2011197934A - 情報処理装置および方法、並びにプログラム

Info

Publication number: JP2011197934A
Application number: JP2010063057A
Authority: JP
Inventors: Masaru Suzuki; 優鈴木; Shinichiro Gomi; 信一郎五味
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-03-18
Filing date: 2010-03-18
Publication date: 2011-10-06

Abstract

【課題】パターン認識の精度を下げずに、より少ない演算量で次元削減を行う。
【解決手段】優先度算出部３３は、予めクラスが識別された所定のパターンについての特徴ベクトルの特徴次元毎に、パターン認識に特徴次元が寄与する度合を示す優先度を算出し、特徴次元選択部３４は、優先度算出部３３によって算出された優先度に基づいて、特徴次元を選択し、特徴次元抽出部３５は、所定のパターンについての特徴ベクトルから、特徴次元選択部３４によって選択された特徴次元を抽出することで、所定のパターンについての低次元特徴ベクトルを生成する。本発明は、例えば、画像認識を行う情報処理装置に適用することができる。
【選択図】図１

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、パターン認識の精度を下げずに、より少ない演算量で次元削減を行うことができるようにする情報処理装置および方法、並びにプログラムに関する。

文字や顔などの画像の判定に用いられるパターン認識において、入力パターンから、パターン認識に有効な特徴次元の特徴ベクトルを抽出することで、特徴ベクトルの次元を削減することが行われている（例えば、特許文献１参照）。

特開２００９−１４０５１３号公報

しかしながら、特許文献１の手法においては、１つの入力パターンについての特徴ベクトルを特徴量毎に分解した部分ベクトルのそれぞれについて、次元の削減を行っているので、パターン認識に有効な特徴次元（特徴量）をより確実に選択することが困難であった。

また、特許文献１の手法でも行われているように、線形変換により特徴空間を射影することで、特徴ベクトルの次元を削減（圧縮）することが一般的になされているが、これは、煩雑な行列演算を伴うため、演算量が多くなってしまう。

本発明は、このような状況に鑑みてなされたものであり、パターン認識の精度を下げずに、より少ない演算量で次元削減を行うことができるようにするものである。

本発明の一側面の情報処理装置は、入力パターンのパターン認識を行う情報処理装置であって、予めクラスが識別された所定のパターンについての特徴ベクトルの特徴次元毎に、パターン認識に前記特徴次元が寄与する度合を示す優先度を算出する優先度算出手段と、前記優先度算出手段によって算出された前記優先度に基づいて、前記特徴次元を選択する特徴次元選択手段と、前記所定のパターンについての前記特徴ベクトルから、前記特徴次元選択手段によって選択された前記特徴次元を抽出することで、前記所定のパターンについての前記低次元特徴ベクトルを生成する特徴次元抽出手段とを備える。

前記情報処理装置には、前記所定のパターンのクラス間の分離の度合を示す分離度を、前記特徴次元毎に算出する分離度算出手段をさらに設け、前記優先度算出手段には、前記特徴次元毎の前記分離度に基づいて、前記優先度を算出させることができる。

前記情報処理装置には、前記所定のパターンから特徴量を抽出することにより、前記所定のパターンについての前記特徴ベクトルを生成する特徴ベクトル生成手段をさらに設け、前記優先度算出手段には、前記特徴次元毎の前記分離度と、前記特徴ベクトル生成手段によって前記所定のパターンについての前記特徴ベクトルが生成される際の、前記特徴次元毎の演算コストの低さを示す低コスト度とに基づいて、前記優先度を算出させることができる。

前記情報処理装置には、前記特徴次元抽出手段によって生成された、前記所定のパターンについての前記低次元特徴ベクトルに基づいて機械学習を行う学習手段と、前記学習手段の機械学習において得られたパラメータを用いて、前記特徴次元選択手段によって選択された前記特徴次元が抽出された、前記入力パターンについての前記低次元特徴ベクトルに基づいて、前記入力パターンのクラスを識別する識別手段とをさらに設けることができる。

前記情報処理装置には、前記特徴次元選択手段によって選択された前記特徴次元が抽出された、前記入力パターンについての前記低次元特徴ベクトルを生成する入力パターン特徴ベクトル生成手段をさらに設け、前記識別手段には、前記学習手段の機械学習において得られたパラメータを用いて、前記入力パターン特徴ベクトル生成手段によって生成された、前記入力パターンについての前記低次元特徴ベクトルに基づいて、前記入力パターンのクラスを識別させることができる。

前記特徴ベクトル生成手段には、前記入力パターンについての前記特徴ベクトルを生成させ、前記特徴次元抽出手段には、前記特徴ベクトル生成手段によって生成された前記入力パターンについての前記特徴ベクトルから、前記特徴次元選択手段によって選択された前記特徴次元を抽出することで、前記入力パターンについての前記低次元特徴ベクトルを生成させ、前記識別手段には、前記学習手段の機械学習において得られたパラメータを用いて、前記特徴次元抽出手段によって生成された、前記入力パターンについての前記低次元特徴ベクトルに基づいて、前記入力パターンのクラスを識別させることができる。

前記情報処理装置には、パターン認識によって識別される前記入力パターンのクラスが３以上の場合、前記識別手段によって所定の２クラス間で識別された前記クラスにおいて、最も前記入力パターンのクラスらしいものを決定するクラス決定手段をさらに設けることができる。

前記情報処理装置には、パターン認識によって識別される前記入力パターンのクラスが３以上の場合、前記分離度算出手段によって所定の２クラス間毎に算出される前記特徴次元毎の前記分離度から、前記特徴次元毎の代表分離度を決定する代表分離度決定手段をさらに設けることができる。

前記特徴次元選択手段には、所定の閾値より大きい値の前記優先度に対応する前記特徴次元を選択させることができる。

前記特徴次元選択手段には、値の大きい方から所定数の前記優先度に対応する前記特徴次元を選択させることができる。

前記特徴次元選択手段には、前記特徴次元毎の前記優先度を、全ての前記特徴次元の前記優先度の総和で正規化し、前記優先度が正規化された正規化優先度を、値の大きい方から順次累積加算し、累積値が所定の閾値を超えたときの、前記正規化優先度に対応する前記特徴次元を選択させることができる。

前記特徴次元選択手段には、値の大きい方から所定数の前記優先度に対応する前記特徴次元が抽出された、前記所定のパターンについての前記低次元特徴ベクトルに基づいて、前記所定のパターンのクラスを識別し、クラスが識別されたときの識別率が所定の閾値を超えたときの、前記所定のパターンについての前記低次元特徴ベクトルの前記特徴次元を選択させることができる。

本発明の一側面の情報処理方法は、入力パターンのパターン認識を行う情報処理装置の情報処理方法であって、予めクラスが識別された所定のパターンについての特徴ベクトルの特徴次元毎に、パターン認識に前記特徴次元が寄与する度合を示す優先度を算出する優先度算出ステップと、前記優先度算出ステップの処理によって算出された前記優先度に基づいて、前記特徴次元を選択する特徴次元選択ステップと、前記所定のパターンについての前記特徴ベクトルから、前記特徴次元選択ステップの処理によって選択された前記特徴次元を抽出することで、前記所定のパターンについての前記低次元特徴ベクトルを生成する特徴次元抽出ステップと含む。

本発明の一側面のプログラムは、入力パターンのパターン認識をコンピュータに実行させるプログラムであって、予めクラスが識別された所定のパターンについての特徴ベクトルの特徴次元毎に、パターン認識に前記特徴次元が寄与する度合を示す優先度を算出する優先度算出ステップと、前記優先度算出ステップの処理によって算出された前記優先度に基づいて、前記特徴次元を選択する特徴次元選択ステップと、前記所定のパターンについての前記特徴ベクトルから、前記特徴次元選択ステップの処理によって選択された前記特徴次元を抽出することで、前記所定のパターンについての前記低次元特徴ベクトルを生成する特徴次元抽出ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、予めクラスが識別された所定のパターンについての特徴ベクトルの特徴次元毎に、パターン認識に特徴次元が寄与する度合を示す優先度が算出され、算出された優先度に基づいて、特徴次元が選択され、所定のパターンについての特徴ベクトルから、選択された特徴次元を抽出することで、所定のパターンについての低次元特徴ベクトルが生成される。

本発明の一側面によれば、パターン認識の精度を下げずに、より少ない演算量で次元削減を行うことが可能となる。

本発明を適用した学習装置およびパターン認識装置の一実施の形態の機能構成例を示すブロック図である。分離度について説明する図である。特徴次元選択部の機能構成例を示すブロック図である。学習処理について説明するフローチャートである。分離度の算出について説明する図である。 CPU占有時間と低コスト度との関係を示す図である。使用メモリ量と低コスト度との関係を示す図である。特徴次元選択処理について説明するフローチャートである。パターン認識処理について説明するフローチャートである。特徴次元選択部の他の機能構成例を示すブロック図である。図１０の特徴次元選択部の特徴次元選択処理について説明するフローチャートである。特徴次元選択部のさらに他の機能構成例を示すブロック図である。図１２の特徴次元選択部の特徴次元選択処理について説明するフローチャートである。特徴次元選択部のさらに他の機能構成例を示すブロック図である。図１４の特徴次元選択部の特徴次元選択処理について説明するフローチャートである。本発明を適用した情報処理装置の一実施の形態の機能構成例を示すブロック図である。図１６の情報処理装置のパターン認識処理について説明するフローチャートである。学習装置およびパターン認識装置の他の機能構成例を示すブロック図である。３クラスに識別された学習用パターンについて、特徴次元を選択する例について説明する図である。３クラスに識別された学習用パターンについて、特徴次元を選択する例について説明する図である。３クラスに識別された学習用パターンについて、特徴次元を選択する例について説明する図である。３クラスに識別された学習用パターンについて、特徴次元を選択する例について説明する図である。図１８のパターン認識装置のパターン認識処理について説明するフローチャートである。学習装置およびパターン認識装置のさらに他の機能構成例を示すブロック図である。３クラスに識別された学習用パターンについて、分離度を算出する例について説明する図である。図２４の学習装置の学習処理について説明するフローチャートである。コンピュータのハードウェアの構成例を示すブロック図である。

以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（２クラス識別の例について）
２．第２の実施の形態（２クラス識別の他の例について）
３．第３の実施の形態（３クラス識別の例について）
４．第４の実施の形態（３クラス識別の他の例について）

＜１．第１の実施の形態＞
［学習装置およびパターン認識装置の機能構成例について］
図１は、本発明を適用した学習装置およびパターン認識装置の一実施の形態の機能構成例を示している。

図１の学習装置１１は、予めクラスがわかっている、複数の学習用パターンについての特徴ベクトルから、パターン認識に寄与する度合の大きい（パターン認識に有効な）特徴次元を抽出する。そして、学習装置１１は、抽出の結果得られる、次元削減された低次元特徴ベクトルに基づいて、学習用パターンのクラスについての機械学習を行う。ここで、パターン認識に寄与する度合を示す指標を、以下、優先度という。優先度の高い特徴次元ほどパターン認識に有効とされ、優先度の低い特徴次元ほどパターン認識に有効とされない。すなわち、優先度の低い特徴次元ほど、次元削減の対象とされる。

図１のパターン認識装置１２は、パターン認識の対象となる評価用パターンについての、優先度に応じた低次元特徴ベクトルに基づいて、学習装置１１における機械学習において得られたパラメータを用いて、評価用パターンのクラスを識別する。

なお、学習用パターンおよび評価用パターンは、例えば、パターン認識装置１２が顔認識や文字認識などの画像認識を行う場合には、画像データとされ、パターン認識装置１２が音声認識を行う場合には、音声データとされる。

図１に示されるように、学習装置１１は、特徴ベクトル生成部３１、分離度算出部３２、優先度算出部３３、特徴次元選択部３４、特徴次元抽出部３５、および機械学習部３６から構成される。また、パターン認識装置１２は、特徴ベクトル生成部３７および識別部３８から構成される。

特徴ベクトル生成部３１は、予めクラスがわかっている、入力された複数の学習用パターンから特徴量を抽出することで、各学習用パターンについての特徴ベクトルを生成し、分離度算出部３２および特徴次元抽出部３５に供給する。

分離度算出部３２は、特徴ベクトル生成部３１からの特徴ベクトルの特徴次元毎に、各学習用パターンのクラス間の分離（分類）の度合を示す分離度を算出し、特徴次元を表す情報とともに優先度算出部３３に供給する。

ここで、図２を参照して、分離度について、より具体的に説明する。

図２には、特徴次元１乃至３からなる３次元空間における、クラスＡおよびクラスＢの学習用パターンについての特徴ベクトルの分布が示されている。図２の３次元空間においては、クラスＡの特徴ベクトルは黒丸印で、クラスＢの特徴ベクトルはバツ印で示されている。

また、図２において、特徴次元１乃至３のそれぞれの次元を表す軸上には、それぞれの次元についての特徴ベクトルの分布を表す分布曲線が示されている。実線で示される分布曲線は、それぞれの次元についてのクラスＡの特徴ベクトルの分布を示しており、破線で示される分布曲線は、それぞれの次元についてのクラスＢの特徴ベクトルの分布を示している。

図２の分布曲線によれば、特徴次元１については、クラスＡの特徴ベクトルの分布と、クラスＢの特徴ベクトルの分布とは、大きく重なっており、特徴次元２については、クラスＡの特徴ベクトルの分布と、クラスＢの特徴ベクトルの分布とは、全く重なっていない。また、特徴次元３については、クラスＡの特徴ベクトルの分布と、クラスＢの特徴ベクトルの分布とは、特徴次元１ほどではないが、やや重なっている。

図２の例においては、特徴次元１乃至３それぞれの、クラスＡ−クラスＢ間の分離度は、各クラスの特徴ベクトルの分布の重なり具合で表わされ、分布が全く重なっていない特徴次元２の分離度が最も高く、分布が大きく重なっている特徴次元１の分離度が最も低いとされる。また、特徴次元３の分離度は、特徴次元１および特徴次元２の分離度の中間とされる。

図１に戻り、優先度算出部３３は、分離度算出部３２からの特徴次元毎の分離度と、特徴ベクトル生成部３１によって特徴ベクトルが生成される際の、特徴次元毎の演算コストの低さを示す低コスト度とに基づいて、優先度を算出する。優先度算出部３３は、算出した優先度を、特徴次元を表す情報とともに特徴次元選択部３４に供給する。低コスト度は、特徴ベクトル生成部３１による特徴量毎の抽出処理における演算コストに応じて、予め決められている。なお、演算コストは、特徴ベクトル生成部３１による特徴量抽出処理において必要な積和演算の回数や物理メモリ量、CPU（Central Processing Unit）占有時間等に基づいて定義することができる。

特徴次元選択部３４は、優先度算出部３３からの特徴次元毎の優先度に基づいて、所定の特徴次元を選択し、選択された特徴次元（以下、適宜、選択特徴次元という）を表す情報を、特徴次元抽出部３５に供給する。また、特徴次元選択部３４は、選択特徴次元を表す情報を、必要に応じて、パターン認識装置１２にも供給する。

［特徴次元選択部の機能構成例について］
ここで、図３を参照して、特徴次元選択部３４の機能構成例について説明する。

図３の特徴次元選択部３４は、閾値処理部５１および選択部５２を備えている。

閾値処理部５１は、優先度算出部３３からの特徴次元毎の優先度に対して閾値処理を施し、その結果を選択部５２に供給する。

選択部５２は、閾値処理部５１からの閾値処理の結果に基づいて、所定の閾値より大きい値の優先度に対応する特徴次元（選択特徴次元）を表す情報を、特徴次元抽出部３５に供給する。

図１に戻り、特徴次元抽出部３５は、特徴次元選択部３４からの選択特徴次元を表す情報に基づいて、特徴ベクトル生成部３１からの特徴ベクトルから、選択特徴次元を抽出することで、次元削減された低次元特徴ベクトルを生成する。特徴次元抽出部３５は、生成した低次元特徴ベクトルを、機械学習部３６に供給する。

機械学習部３６は、特徴次元抽出部３５からの低次元特徴ベクトルに基づいて、所定の学習アルゴリズムにより機械学習を行う。機械学習部３６は、機械学習において得られた、パターン認識に用いられる識別パラメータを、必要に応じで、パターン認識装置１２に供給する。

特徴ベクトル生成部３７は、パターン認識の対象となる評価用パターンが入力されると、学習装置１１の特徴次元選択部３４から供給された選択特徴次元を表す情報に基づいて、選択特徴次元に対応する特徴量を評価用パターンから抽出する。これにより、特徴ベクトル生成部３７は、評価用パターンについての低次元特徴ベクトルを生成し、識別部３８に供給する。

識別部３８は、特徴ベクトル生成部３７からの、評価用パターンについての低次元特徴ベクトルと、学習装置１１の機械学習部３６からの識別パラメータとに基づいて、評価用パターンのクラスを識別（分類）し、その識別結果を、接続されている外部の装置等に供給する。

［学習装置の学習処理について］
次に、図４のフローチャートを参照して、図１の学習装置１１の学習処理について説明する。なお、図４の学習処理において、学習用パターンは、予めクラスＡとクラスＢとに識別されることがわかっているものとする。

ステップＳ１１において、特徴ベクトル生成部３１は、入力された複数の学習用パターンからＮ種類の特徴量を抽出し、数値化することで、各学習用パターンについてのＮ次元特徴ベクトルを生成し、分離度算出部３２および特徴次元抽出部３５に供給する。例えば、学習用パターンが画像データである場合には、特徴ベクトル生成部３１は、学習用パターンから、画像の色に関する色情報や、エッジに関するエッジ情報などを特徴量として抽出し、数値化する。

ステップＳ１２において、分離度算出部３２は、特徴ベクトル生成部３１からのＮ次元特徴ベクトルの特徴次元毎に、分離度S₁乃至S_Nを算出し、各特徴次元を表す情報である特徴IDとともに優先度算出部３３に供給する。

具体的には、分離度算出部３２は、特徴ベクトル生成部３１からのＮ次元特徴ベクトルを、図５に示されるように、クラスＡの特徴ベクトルX_A1乃至X_Akと、クラスＢの特徴ベクトルX_B1乃至X_Bpとに区分する。特徴ベクトルX_A1乃至X_AkおよびX_B1乃至X_Bpは、それぞれＮ個の成分（特徴次元）を有している。分離度算出部３２は、クラスＡの特徴ベクトルX_A1乃至X_Akと、クラスＢの特徴ベクトルX_B1乃至X_Bpとについて、Ｎ個の特徴次元毎に、分離度S₁乃至S_Nとして、クラス内分散に対するクラス間分散の値を算出する。

なお、ここでは、分離度として、クラス内分散に対するクラス間分散の値を算出するようにしたが、これに限らず、各学習用パターンのクラス間の分離（分類）の度合を示すものであればよい。例えば、分離度として、特徴次元毎の、クラスＡとクラスＢとの分類における最小平均誤り率であるベイズ誤り率を用いてもよいし、特徴次元毎に、クラスＡとクラスＢについて、適度な幅の階級を設定したヒストグラム間の相違の度合（相違度）を用いるようにしてもよい。

また、例えば、第１の分離度として、特徴次元毎にクラス内分散に対するクラス間分散の値を算出し、第２の分離度として、特徴次元毎にベイズ誤り率を算出し、第１の分離度と第２の分離度とに基づいて、１つの分離度を算出するなど、上述した指標を相補的に用いて、１つの分離度を算出するようにしてもよい。

さらに、例えば、Ｎ個の特徴次元を、３などの所定数のグループにグループ分けし、分離度として、第１のグループの特徴次元についてはクラス内分散に対するクラス間分散の値を算出し、第２のグループの特徴次元についてはベイズ誤り率を算出し、第３のグループの特徴次元についてはヒストグラム間の相違度を算出するようにしてもよい。

図４のフローチャートに戻り、ステップＳ１３において、優先度算出部３３は、分離度算出部３２からの特徴次元毎のＮ個の分離度と、特徴ベクトル生成部３１による特徴量毎の特徴量抽出処理における演算コストに応じて予め決められている低コスト度とに基づいて、優先度を算出する。

ここで、図６，７を参照して、低コスト度の例について説明する。

図６は、CPU占有時間と、CPU占有時間に基づいて決められる低コスト度との関係を示している。

図６に示されるように、CPU占有時間に基づいて決められる低コスト度C_CPUは、基本的には、CPU占有時間が増大する程、下がるように設定される。但し、CPU占有時間がある値より小さいときには、低コスト度C_CPUは一定の値をとり、CPU占有時間が他のある値を超えると、低コスト度C_CPUは０となるように設定される。

図７は、使用メモリ量と、使用メモリ量に基づいて決められる低コスト度との関係を示している。

図７に示されるように、使用メモリ量に基づいて決められる低コスト度C_MEMは、基本的には、使用メモリ量が増大する程、下がるように設定される。但し、使用メモリ量がある値より小さいときには、低コスト度C_MEMは一定の値をとり、使用メモリ量が他のある値を超えると、低コスト度C_MEMは０となるように設定される。

特徴ベクトル生成部３１による特徴量抽出処理で行われる演算においては、CPU占有時間や使用メモリ量は、特徴量毎に異なるので、低コスト度C_CPUや低コスト度C_MEMは特徴量毎に決められる。

例えば、Ｎ種類の特徴量毎の、CPU占有時間に基づいて決められる低コスト度C_CPUi（但し、i=1,2,…,N）は、低コスト度C_CPU1=5.3、C_CPU2=2.3、…、C_CPUN=1.2等と与えられる。

また、例えば、Ｎ種類の特徴量毎の、使用メモリ量に基づいて決められる低コスト度C_MEMiは、低コスト度C_MEM1=3.2、C_MEM2=4.5、…、C_MEMN=2.2等と与えられる。

ここで、Ｎ種類の特徴量毎の低コスト度を、低コスト度C_i=C_CPUi+C_MEMiで表わすものとすると、低コスト度C₁，C₂，…，C_Nは、低コスト度C₁=C_CPU1+C_MEM1=5.3+3.2=8.5、低コスト度C₂=C_CPU2+C_MEM2=2.3+4.5=6.8、…、低コスト度C_N=C_CPUN+C_MEMN=1.2+2.2=3.4と与えられる。

なお、図６，７において、低コスト度は、CPU占有時間および使用メモリ量に対して線形的に変化（減少）するように設定されるものとしたが、非線形的に減少するようにしてもよく、また、非連続的に減少するようにしてもよい。

また、低コスト度C_iは、低コスト度C_CPUiとC_MEMiとの和で表わすものとしたが、例えば、低コスト度C_CPUiとC_MEMiとの積で表わされるようにしてもよいし、所定の重み係数ｗ（０≦ｗ≦１）を用いて、C_i=wC_CPUi+(1-w)C_MEMiで表わされるようにしてもよい。

優先度算出部３３は、以上のようにして与えられる特徴量（特徴次元）毎の低コスト度C₁乃至C_Nと、特徴次元毎の分離度S₁乃至S_Nとに基づいて、以下の式（１）で示される優先度P₁乃至P_Nを算出する。

なお、式（１）において、値ｊは、１乃至Ｎの値をとる。すなわち、式（１）は、優先度P₁乃至P_Nは、各特徴次元の低コスト度および分離度それぞれを、全ての特徴次元の低コスト度および分離度の総和で正規化したものの積であることを示している。

なお、優先度P₁乃至P_Nは、それぞれの総和で正規化された各特徴次元の低コスト度および分離度と、分離度についての所定の重み係数α（０≦α≦１）とを用いて、以下の式（２）で与えられるようにしてもよい。

また、優先度P₁乃至P_Nは、上述したように、特徴次元毎の低コスト度と分離度とから算出されるものにしたが、例えば、特徴ベクトル生成部３１による特徴量毎の特徴量抽出処理を実行する抽出処理機構の製造コストに基づいて決められる指標を優先度に含むようにしてもよいし、この指標を、低コスト度または分離度のいずれか一方と代替するようにしてもよい。

優先度算出部３３は、算出した優先度を、特徴次元を表す特徴IDとともに特徴次元選択部３４に供給する。

図４のフローチャートに戻り、特徴次元選択部３４は、優先度算出部３３からの、Ｎ個の特徴次元毎の優先度P₁乃至P_Nに基づいて、特徴次元選択処理を実行し、ｎ個（ｎ≦Ｎ）の特徴次元を選択する。選択された特徴次元（選択特徴次元）を表すｎ個の特徴IDは、特徴次元抽出部３５に供給される。

［特徴次元選択部の特徴次元選択処理について］
ここで、図８のフローチャートを参照して、図４のフローチャートのステップＳ１４における特徴次元選択処理について説明する。

ステップＳ３１において、閾値処理部５１は、優先度算出部３３からの、Ｎ個の特徴次元のうちの特徴次元１の優先度P₁の値が、所定の閾値Tsより大きいか否かを判定する。

ステップＳ３１において、特徴次元１の優先度P₁の値が所定の閾値Tsより大きいと判定された場合、処理はステップＳ３２に進み、選択部５２は、優先度P₁に対応する特徴次元１を選択特徴次元に選択し、その特徴次元１を表す特徴IDを、特徴次元抽出部３５に供給する。また、選択部５２は、その特徴IDを、内部に備える図示せぬ記憶領域に記憶する。

一方、ステップＳ３１において、特徴次元１の優先度P₁の値が所定の閾値Tsより大きくないと判定された場合、処理はステップＳ３３に進み、選択部５２は、優先度P₁に対応する特徴次元１を選択特徴次元に選択しない。この場合、その特徴次元１を表す特徴IDは、特徴次元抽出部３５に供給されない。

ステップＳ３４において、閾値処理部５１は、全ての優先度について処理したか否かを判定する。

上述した説明では、特徴次元１の優先度P₁について処理しただけであるので、全ての優先度について処理していないと判定され、処理はステップＳ３１に戻る。以降、特徴次元２の優先度P₂についての処理、特徴次元３の優先度P₃についての処理、・・・が繰り返される。

そして、特徴次元Ｎの優先度P_Nについての処理が実行されると、ステップＳ３４においては、全ての優先度について処理されたと判定され、処理は、図４のフローチャートのステップＳ１４に戻る。

以上のようにして、所定の閾値Tsより値の大きい優先度に対応するｎ個の特徴次元を表すｎ個の特徴IDが、特徴次元抽出部３５に供給される。

図４のフローチャートに戻り、ステップＳ１４の後、ステップＳ１５において、特徴次元抽出部３５は、特徴次元選択部３４からのｎ個の特徴IDに基づいて、特徴ベクトル生成部３１からの特徴ベクトルから、特徴次元選択部３４によって選択された選択特徴次元を抽出する。これにより、優先度に基づいて選択された選択特徴次元からなる、次元削減されたｎ次元特徴ベクトルが生成される。特徴次元抽出部３５は、生成したｎ次元特徴ベクトルを機械学習部３６に供給する。

ステップＳ１６において、機械学習部３６は、特徴次元抽出部３５からのｎ次元特徴ベクトルに基づいて、所定の学習アルゴリズムにより機械学習を行う。機械学習部３６は、機械学習において得られた、後述するパターン認識処理に用いられる識別パラメータを、内部に備える図示せぬ記憶領域に記憶する。

以上の処理によれば、学習用パターンについてのＮ次元特徴ベクトルを、所定の閾値Tsより値の大きい優先度に対応する特徴次元からなるｎ次元特徴ベクトルに次元削減することができる。特に、クラス間の分離の度合を示す分離度が大きい特徴次元が選択されるので、クラス分類に有効でない特徴次元は削減され、また、低コスト度の大きい特徴次元が選択されるので、演算コストの高い特徴次元は削減される。したがって、学習用パターンについての特徴ベクトルに対して、行列演算等の煩雑な演算を行うことなく、パターン認識の精度を下げずに、より少ない演算量で次元削減を行うことが可能となる。

［パターン認識装置のパターン認識処理について］
次に、図９のフローチャートを参照して、図１のパターン認識装置１２のパターン認識処理について説明する。パターン認識処理は、例えば、パターン認識装置１２が学習装置１１に接続されることで、学習装置１１に記憶されている特徴IDおよび識別パラメータが、パターン認識装置１２に供給され、さらに、パターン認識の対象となる評価用パターンが入力されると開始される。

ステップＳ５１において、特徴ベクトル生成部３７は、学習装置１１の特徴次元選択部３４からのｎ個の特徴IDに基づいて、対応する特徴量（選択特徴次元）を、入力された評価用パターンから抽出する。これにより、特徴ベクトル生成部３７は、評価用パターンについてのｎ次元特徴ベクトルを生成し、識別部３８に供給する。

ステップＳ５２において、識別部３８は、特徴ベクトル生成部３７からの、評価用パターンについてのｎ次元特徴ベクトルと、学習装置１１の機械学習部３６からの識別パラメータとに基づいて、評価用パターンのクラスを識別し、その識別結果を、接続されている外部の装置等に供給する。識別部３８による評価用パターンのクラス識別（分類）においては、例えば、SVM（Support Vector Machine、サポートベクタマシン）等による非線形識別手法が用いられてもよいし、他の線形識別手法が用いられてもよい。

以上の処理によれば、評価用パターンについての、次元削減されたｎ次元特徴ベクトルに基づいて、評価用パターンのクラスを識別することができる。すなわち、評価用パターンについて、パターン識別に有効な特徴次元からなる特徴ベクトルが生成されるので、パターン認識の精度を下げずに、より少ない演算量で、評価用パターンのパターン認識を行うことが可能となる。

以上においては、特徴次元選択処理において、所定の閾値Tsより大きい値の優先度に対応する特徴次元が選択される処理について説明したが、他の基準を満たす優先度に対応する特徴次元が選択されるようにしてもよい。

［特徴次元選択部の他の機能構成例について］
まず、図１０を参照して、値の大きい方から所定数の優先度に対応する特徴次元を選択するようにした特徴次元選択部３４の機能構成例について説明する。

図１０の特徴次元選択部３４は、ソート部７１および選択部７２を備えている。

ソート部７１は、優先度算出部３３からの特徴次元毎の優先度を降順にソートし、選択部７２に供給する。

選択部７２は、ソート部７１からの降順にソートされた優先度において、値の大きい方から所定数の優先度に対応する特徴次元を表す情報を、特徴次元抽出部３５に供給する。

［他の特徴次元選択部の特徴次元選択処理について］
ここで、図１１のフローチャートを参照して、図１０の特徴次元選択部３４によって実行される、図４のフローチャートのステップＳ１４における特徴次元選択処理について説明する。

ステップＳ７１において、ソート部７１は、優先度算出部３３からの、特徴次元毎の優先度を降順にソートし、選択部７２に供給する。

ステップＳ７２において、選択部７２は、ソート部７１からの降順にソートされた優先度において、上位ｎ個の優先度に対応する特徴次元を選択特徴次元に選択し、その特徴次元を表すｎ個の特徴IDを、特徴次元抽出部３５に供給する。

以上のようにして、Ｎ個の優先度において、上位ｎ個の優先度に対応する特徴次元を表すｎ個の特徴IDが、特徴次元抽出部３５に供給される。

［特徴次元選択部のさらに他の機能構成例について］
次に、図１２を参照して、特徴次元毎の優先度を、全ての特徴次元の優先度の総和で正規化し、優先度が正規化された正規化優先度を、値の大きい方から順次累積加算し、累積値が所定の閾値を超えたときの、正規化優先度に対応する特徴次元を選択するようにした特徴次元選択部３４の機能構成例について説明する。

図１２の特徴次元選択部３４は、正規化部９１、ソート部９２、累積加算部９３、閾値処理部９４、および選択部９５を備えている。

正規化部９１は、優先度算出部３３からの特徴次元毎の各優先度を、全ての特徴次元の優先度の総和で正規化し、正規化された正規化優先度をソート部９２に供給する。

ソート部９２は、正規化部９１からの正規化優先度を降順にソートし、累積加算部９３に供給する。

累積加算部９３は、ソート部９２により降順にソートされた正規化優先度を、上位から累積加算する。

閾値処理部９４は、累積加算部９３によって累積加算された累積値に対して閾値処理を施し、その結果を選択部９５に供給する。

選択部９５は、閾値処理部９４からの閾値処理の結果に基づいて、累積値が所定の閾値を超えたときの、正規化優先度に対応する特徴次元を表す情報を、特徴次元抽出部３５に供給する。

［さらに他の特徴次元選択部の特徴次元選択処理について］
ここで、図１３のフローチャートを参照して、図１２の特徴次元選択部３４によって実行される、図４のフローチャートのステップＳ１４における特徴次元選択処理について説明する。

ステップＳ９１において、正規化部９１は、優先度算出部３３からの特徴次元毎の各優先度を、全ての特徴次元の優先度の総和で正規化し、特徴次元毎の正規化優先度をソート部９２に供給する。

ステップＳ９２において、ソート部９２は、正規化部９１からの、特徴次元毎の正規化優先度を降順にソートし、累積加算部９３に供給する。

ステップＳ９３において、累積加算部９３は、ソート部９２により降順にソートされた正規化優先度を、上位から累積加算する。なお、１回目のステップＳ９３においては、累積加算部９３は、降順にソートされた正規化優先度のうち、最も大きい値の（最上位の）正規化優先度を、そのまま閾値処理部９４に供給する。

ステップＳ９４において、閾値処理部９４は、累積加算部９３からの、正規化優先度が累積加算された累積値が、所定の閾値Taより大きいか否かを判定する。

１回目のステップＳ９４において、累積加算部９３からの最上位の正規化優先度が、所定の閾値Taより大きくないと判定された場合、処理はステップＳ９３に戻る。２回目のステップＳ９３において、累積加算部９３は、最上位の正規化優先度と、２番目に大きい値の正規化優先度とを加算し、閾値処理部９４に供給する。そして、２回目のステップＳ９４において、最上位の正規化優先度と、２番目に大きい正規化優先度との加算値が、所定の閾値Taより大きいか否かが判定され、大きくないと判定された場合、処理は再びステップＳ９３に戻る。

このような処理が、ｎ回繰り返され、ｎ回目のステップＳ９４において、累積加算部９３からの、正規化優先度が累積加算された累積値が、所定の閾値Taより大きいと判定された場合、処理はステップＳ９５に進む。

ステップＳ９５において、選択部９５は、累積値が所定の閾値Taを超えたときの、ｎ個の正規化優先度に対応する特徴次元を選択特徴次元に選択し、その特徴次元を表す特徴IDを、特徴次元抽出部３５に供給する。

以上のようにして、所定の閾値Taより値の大きい累積値となるまでに累積加算されたｎ個の正規化優先度に対応する特徴次元を表す、ｎ個の特徴IDが、特徴次元抽出部３５に供給される。

［特徴次元選択部のさらに他の機能構成例について］
次に、図１４を参照して、値の大きい方から所定数の優先度に対応する特徴次元が抽出された、学習用パターンについての低次元特徴ベクトルに基づいて、学習用パターンのクラスを識別し、クラスが識別されたときの識別率が所定の閾値を超えたときの、学習用パターンについての低次元特徴ベクトルの特徴次元を選択するようにした特徴次元選択部３４の機能構成例について説明する。なお、図１４に示される特徴次元選択部３４には、特徴ベクトル生成部３１から、学習用パターンについての特徴ベクトルが供給される。

図１４の特徴次元選択部３４は、ソート部１１１、選択部１１２、識別部１１３、閾値処理部１１４、および決定部１１５を備えている。

ソート部１１１は、優先度算出部３３からの特徴次元毎の優先度を降順にソートし、選択部１１２に供給する。

選択部１１２は、ソート部１１１により降順にソートされた優先度を上位から順に選択し、選択された優先度に対応する特徴次元を表す情報を、識別部１１３に供給する。

識別部１１３は、選択部１１２からの特徴次元を表す情報に基づいて、特徴ベクトル生成部３１からの、学習用パターンについての特徴ベクトルの次元を削減し、得られた特徴ベクトルに基づいて、学習用パターンのクラスを識別する。すなわち、識別部１１３は、学習用パターンについての特徴ベクトルに対して、K-fold Cross Validation法により、逐一パターン認識処理を行う。識別部１１３は、クラス識別における識別率を、閾値処理部１１４に供給する。識別部１１３による学習用パターンのクラス識別（分類）においては、例えば、SVM等による非線形識別手法が用いられてもよいし、他の線形識別手法が用いられてもよい。

閾値処理部１１４は、識別部１１３によるクラス識別における識別率に対して閾値処理を施し、その結果を選択部１１２または決定部１１５に供給する。

決定部１１５は、閾値処理部１１４からの閾値処理の結果に基づいて、選択部１１２によって選択された優先度に対応する特徴次元を表す情報を、特徴次元抽出部３５に供給する。

［さらに他の特徴次元選択部の特徴次元選択処理について］
ここで、図１５のフローチャートを参照して、図１４の特徴次元選択部３４によって実行される、図４のフローチャートのステップＳ１４における特徴次元選択処理について説明する。

ステップＳ１１１において、ソート部１１１は、優先度算出部３３からの特徴次元毎の優先度を降順にソートし、選択部１１２に供給する。

ステップＳ１１２において、選択部１１２は、ソート部１１１により降順にソートされた優先度から、最上位の優先度に対応する特徴次元を選択し、その特徴次元を表す特徴IDを、識別部１１３に供給する。

ステップＳ１１３において、識別部１１３は、選択部１１２からの特徴IDに基づいて、特徴ベクトル生成部３１からの、学習用パターンについての特徴ベクトルの次元を削減し、得られた特徴ベクトルに基づいて、学習用パターンのクラスを識別する。１回目のステップＳ１１３においては、１次元の特徴ベクトルが得られ、学習用パターンのクラスが識別される。識別部１１３は、このときの識別率を、特徴IDとともに閾値処理部１１４に供給する。

ステップＳ１１４において、閾値処理部１１４は、識別部１１３からの識別率が、所定の閾値Taccより大きいか否かを判定する。

１回目のステップＳ１１４において、最上位の正規化優先度が、所定の閾値Taccより大きくないと判定された場合、処理はステップＳ１１５に進む。

ステップＳ１１５において、選択部１１２は、降順にソートされた優先度から、２番目に大きい値の優先度に対応する特徴次元を選択し、その特徴次元を表す特徴IDを、識別部１１３に供給し、処理はステップＳ１１３に戻る。２回目のステップＳ１１３においては、識別部１１３は、最上位の優先度と２番目に大きい値の優先度とに対応する特徴次元の特徴IDに基づいて、学習用パターンについての特徴ベクトルの次元を削減し、得られた２次元特徴ベクトルに基づいて、学習用パターンのクラスを識別する。識別部１１３は、このときの識別率を、特徴IDとともに閾値処理部１１４に供給する。

このような処理が、ｎ回繰り返され、ｎ回目のステップＳ１１４において、識別部１１３からの識別率が、所定の閾値Taccより大きいと判定された場合、処理はステップＳ１１６に進む。

ステップＳ１１６において、決定部１１５は、識別率が所定の閾値Taccを超えたときの、ｎ個の優先度に対応する特徴次元を選択特徴次元として、選択特徴次元を表す特徴IDを、特徴次元抽出部３５に供給する。

以上のようにして、所定の閾値Taccより値の大きい識別率となる学習用パターンについてのｎ次元特徴ベクトルの特徴次元を表す、ｎ個の特徴IDが、特徴次元抽出部３５に供給される。

以上の処理によれば、分離度や低コスト度に応じた優先度に基づいて、パターン認識に有効な特徴次元を選択することができるので、学習用パターンについてのＮ次元特徴ベクトルをｎ次元特徴ベクトルに次元削減することができる。特に、クラス間の分離の度合を示す分離度が大きい特徴次元が選択されるので、クラス分類に有効でない特徴次元は削減され、また、低コスト度の大きい特徴次元が選択されるので、演算コストの高い特徴次元は削減される。したがって、学習用パターンについての特徴ベクトルに対して、行列演算等の煩雑な演算を行うことなく、パターン認識の精度を下げずに、より少ない演算量で次元削減を行うことが可能となる。

また、これにより、評価用パターンについての、次元削減されたｎ次元特徴ベクトルに基づいて、評価用パターンのクラスを識別することができる。すなわち、評価用パターンについて、パターン認識に有効な特徴次元からなる特徴ベクトルが生成されるので、パターン認識の精度を下げずに、より少ない演算量で、評価用パターンのパターン認識を行うことが可能となる。

なお、以上においては、学習装置１１とパターン認識装置１２とは、別個に構成されるものとして説明したが、学習装置１１とパターン認識装置１２とが一体に構成されるようにしてもよい。以下においては、学習装置１１とパターン認識装置１２とが一体に構成される例について説明する。

＜２．第２の実施の形態＞
［情報処理装置の機能構成例について］
図１６は、図１の学習装置１１とパターン認識装置１２とが一体にされた情報処理装置の機能構成例を示している。

なお、図１６の情報処理装置２１１において、図１の学習装置１１およびパターン認識装置１２に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図１の学習装置１１とパターン認識装置１２とを一体として見た場合、図１６の情報処理装置２１１において、図１の学習装置１１およびパターン認識装置１２と異なるのは、特徴ベクトル生成部３１および特徴ベクトル生成部３７に代わって特徴ベクトル生成部２３１を設け、特徴次元抽出部３５に代わって特徴次元抽出部２３２を設けた点である。

図１６の特徴ベクトル生成部２３１は、図１の特徴ベクトル生成部３１と同様の機能に加え、入力された評価用パターンから特徴量を抽出することで、評価用パターンについての特徴ベクトルを生成し、特徴次元抽出部２３２に供給する。

特徴次元抽出部２３２は、図１の特徴次元抽出部３５と同様の機能に加え、特徴次元選択部３４からの選択特徴次元を表す情報に基づいて、特徴ベクトル生成部２３１からの評価用パターンについての特徴ベクトルから、選択特徴次元を抽出する。これにより、特徴次元抽出部２３２は、次元削減された低次元特徴ベクトルを生成し、識別部３８に供給する。

次に、図１６の情報処理装置２１１の学習処理およびパターン認識処理について説明するが、情報処理装置２１１においては、学習処理は、図４のフローチャートを参照して説明した、図１の学習装置１１による学習処理と同様にして行われるので、その説明は省略する。

したがって、図１６の情報処理装置２１１の構成によれば、学習用パターンについてのＮ次元特徴ベクトルを、優先度に基づいて選択された特徴次元からなるｎ次元特徴ベクトルに次元削減することができる。特に、クラス間の分離の度合を示す分離度が大きい特徴次元が選択されるので、クラス分類に有効でない特徴次元は削減され、また、低コスト度の大きい特徴次元が選択されるので、演算コストの高い特徴次元は削減される。したがって、学習用パターンについての特徴ベクトルに対して、行列演算等の煩雑な演算を行うことなく、パターン認識の精度を下げずに、より少ない演算量で次元削減を行うことが可能となる。

［情報処理装置のパターン認識処理について］
次に、図１７のフローチャートを参照して、図１６の情報処理装置２１１のパターン認識処理について説明する。図１７のパターン認識処理は、パターン認識の対象となる評価用パターンが入力されると開始される。

ステップＳ２５１において、特徴ベクトル生成部２３１は、入力された評価用パターンからＮ種類の特徴量を抽出し、数値化することで、評価用パターンについてのＮ次元特徴ベクトルを生成し、特徴次元抽出部２３２に供給する。

ステップＳ２５２において、特徴次元抽出部２３２は、特徴次元選択部３４からの特徴IDに基づいて、特徴ベクトル生成部２３１からの評価用パターンについての特徴ベクトルから、選択特徴次元を抽出する。これにより、優先度に基づいて選択された選択特徴次元からなる、次元削減されたｎ次元特徴ベクトルが生成される。特徴次元抽出部３５は、生成したｎ次元特徴ベクトルを、識別部３８に供給する。

ステップＳ２５３において、識別部３８は、特徴次元抽出部２３２からの、評価用パターンについてのｎ次元特徴ベクトルと、機械学習部３６に記憶されている識別パラメータとに基づいて、評価用パターンのクラスを識別し、その識別結果を、接続されている外部の装置等に供給する。

以上の処理によれば、評価用パターンの特徴ベクトルについての、次元削減されたｎ次元特徴ベクトルに基づいて、評価用パターンのクラスを識別することができる。すなわち、評価用パターンについて、パターン認識に有効な特徴次元からなる特徴ベクトルが生成されるので、パターン認識の精度を下げずに、より少ない演算量で、評価用パターンのパターン認識を行うことが可能となる。

また、図１で示されるように、学習装置１１とパターン認識装置１２とが別個に構成される場合では、予め、製造メーカ側で学習装置１１に対して学習処理を実行させ、その結果に基づいて、ユーザがパターン認識装置１２に対してパターン認識処理を実行させる。この場合、パターン認識処理におけるクラス識別の性能は、製造メーカ側での学習処理に依存してしまう。

しかしながら、学習装置１１とパターン認識装置１２とが一体に構成された、図１６で示される情報処理装置２１１によれば、ユーザが、学習用パターンを用いて情報処理装置２１１に学習処理を行わせることができるので、パターン認識処理におけるクラス識別の性能を、ユーザが改善することができるようになる。

以上においては、学習用パターンが予めクラスＡとクラスＢの２クラスに識別されている場合に、評価用パターンのパターン認識を行う例について説明してきたが、以下においては、学習用パターンが予め３以上のクラスに識別されている場合に、評価用パターンのパターン認識を行う例について説明する。

＜３．第３の実施の形態＞
［学習装置およびパターン認識装置の他の構成例について］
図１８は、３以上のクラスのパターンについて学習する学習装置、および、３以上のクラスのパターン認識を行うパターン認識装置の機能構成例を示している。

なお、図１８の学習装置３１１およびパターン認識装置３１２において、図１の学習装置１１およびパターン認識装置１２に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図１８の学習装置３１１およびパターン認識装置３１２において、図１の学習装置１１およびパターン認識装置１２と異なるのは、パターン認識装置３１２に識別結果集約部３３１を新たに設けた点である。

ここで、図１９乃至図２２を参照して、図１８の学習装置３１１が、予め３クラスに識別されている学習用パターンについて、特徴次元を選択する例について説明する。図１９乃至図２２においては、クラスＡ，Ｂ，Ｃの３クラスに予め識別されている学習用パターンについての５次元特徴ベクトルとして、クラスＡの特徴ベクトルX_A1乃至X_Ak、クラスＢの特徴ベクトルX_B1乃至X_Bp、およびクラスＣの特徴ベクトルX_C1乃至X_Cqが示されている。

学習パターンが予め３以上のクラスに識別（分類）されている場合、学習装置３１１は、３以上のクラスのうちの２クラス間について、上述で説明した学習処理を行うことで、特徴次元を選択する。

すなわち、まず、図１９の右側に示されるように、クラスＡ，Ｂ，Ｃの３クラスのうち、クラスＡとクラスＢとの間について、特徴次元１乃至５の特徴次元毎に、分離度が算出され、優先度が算出され、優先度に基づいて特徴次元が選択される。図１９の例では、クラスＡの特徴ベクトルおよびクラスＢの特徴ベクトルにおいて、枠で囲まれている特徴次元３が選択特徴次元として選択されている。

次に、図２０の右側に示されるように、クラスＡ，Ｂ，Ｃの３クラスのうち、クラスＢとクラスＣとの間について、特徴次元１乃至５の特徴次元毎に、分離度が算出され、優先度が算出され、優先度に基づいて特徴次元が選択される。図２０の例では、クラスＢの特徴ベクトルおよびクラスＣの特徴ベクトルにおいて、枠で囲まれている特徴次元１，３が選択特徴次元として選択されている。

そして、図２１の右側に示されるように、クラスＡ，Ｂ，Ｃの３クラスのうち、クラスＣとクラスＡとの間について、特徴次元１乃至５の特徴次元毎に、分離度が算出され、優先度が算出され、優先度に基づいて特徴次元が選択される。図２１の例では、クラスＣの特徴ベクトルおよびクラスＡの特徴ベクトルにおいて、枠で囲まれている特徴次元１，５が選択特徴次元として選択されている。

なお、図２２に示されるように、図１９乃至図２１の例で選択特徴次元として選択されなかった特徴次元２，４は、クラスＡ，Ｂ，Ｃのパターン認識には不要であるとされる。

すなわち、図１９乃至図２２の例では、クラスＡとクラスＢの間についての学習処理によって特徴次元３が、クラスＢとクラスＣの間についての学習処理によって特徴次元１，３が、クラスＢとクラスＣの間についての学習処理によって特徴次元１，５が、選択特徴次元として選択されている。

このような場合、図１８のパターン認識装置３１２において、特徴ベクトル生成部３７は、評価用パターンについての特徴ベクトルに対して、クラスＡとクラスＢの間についての識別のために、特徴次元３からなる１次元特徴ベクトルを生成し、識別部３８に供給する。識別部３８は、特徴ベクトル生成部３７からの１次元特徴ベクトルに基づいて、評価用パターンを、クラスＡとクラスＢのいずれかに識別し、その識別結果を識別結果集約部３３１に供給する。

また、特徴ベクトル生成部３７は、評価用パターンについての特徴ベクトルに対して、クラスＢとクラスＣの間についての識別のために、特徴次元１，３からなる２次元特徴ベクトルを生成し、識別部３８に供給する。識別部３８は、特徴ベクトル生成部３７からの２次元特徴ベクトルに基づいて、評価用パターンを、クラスＢとクラスＣのいずれかに識別し、その識別結果を識別結果集約部３３１に供給する。

さらに、特徴ベクトル生成部３７は、評価用パターンについての特徴ベクトルに対して、クラスＣとクラスＡの間についての識別のために、特徴次元１，５からなる２次元特徴ベクトルを生成し、識別部３８に供給する。識別部３８は、特徴ベクトル生成部３７からの２次元特徴ベクトルに基づいて、評価用パターンを、クラスＣとクラスＡのいずれかに識別し、その識別結果を識別結果集約部３３１に供給する。

そして、識別結果集約部３３１は、識別部３８によって識別された評価用パターンのクラスにおいて、最も評価用パターンのクラスらしいものを決定する。

例えば、識別部３８によって、評価用パターンは、クラスＡとクラスＢではクラスＡに識別され、クラスＢとクラスＣではクラスＢに識別され、クラスＣとクラスＡではクラスＡに識別された場合、識別結果集約部３３１は、各識別結果について多数決処理を行う。

この場合、識別結果集約部３３１は、クラスＡに２票、クラスＢに１票、クラスＣに０票を投じているので、クラスＡを、最も評価用パターンのクラスらしいものと決定する。

なお、ｍクラスのパターン認識を行う場合には、評価用パターン１つあたり_mC₂個のクラスが識別結果として得られ、識別結果集約部３３１は、_mC₂個のクラスに対して多数決処理を行うことで、最も評価用パターンのクラスらしいものを決定する。

次に、図１８の学習装置３１１の学習処理およびパターン認識装置３１２のパターン認識処理について説明するが、学習装置３１１の学習処理においては、図４のフローチャートを参照して説明した、図１の学習装置１１による学習処理と同様の処理が、３以上のクラスのうちの２クラス間のそれぞれについて行われるだけであるので、その説明は省略する。

したがって、図１８の学習装置３１１の構成によれば、学習用パターンが予め３以上のクラスに識別（分類）されている場合であっても、学習用パターンについての特徴ベクトルを、優先度に基づいて選択された特徴次元からなる低次元特徴ベクトルに次元削減することができる。特に、クラス間の分離の度合を示す分離度が大きい特徴次元が選択されるので、クラス分類に有効でない特徴次元は削減され、また、低コスト度の大きい特徴次元が選択されるので、演算コストの高い特徴次元は削減される。したがって、学習用パターンについての特徴ベクトルに対して、行列演算等の煩雑な演算を行うことなく、パターン認識の精度を下げずに、より少ない演算量で次元削減を行うことが可能となる。

［パターン認識装置のパターン認識処理について］
次に、図２３のフローチャートを参照して、図１８のパターン認識装置３１２のパターン認識処理について説明する。図２３のパターン認識処理は、例えば、パターン認識装置３１２が学習装置３１１に接続されることで、学習装置３１１に記憶されている特徴IDおよび識別パラメータが、パターン認識装置３１２に供給され、さらに、パターン認識の対象となる評価用パターンが入力されると開始される。

ステップＳ３５１において、特徴ベクトル生成部３７は、学習装置３１１の特徴次元選択部３４からの、所定の２クラス間についての特徴IDに基づいて、対応する特徴量（選択特徴次元）を、入力された評価用パターンから抽出する。これにより、特徴ベクトル生成部３７は、所定の２クラス間毎に、評価用パターンについての低次元特徴ベクトルを生成し、識別部３８に供給する。

ステップＳ３５２において、識別部３８は、特徴ベクトル生成部３７から供給された、評価用パターンについての、所定の２クラス間毎の低次元特徴ベクトルと、学習装置１１の機械学習部３６からの識別パラメータとに基づいて、所定の２クラス間毎に、評価用パターンのクラスを識別し、その識別結果を、識別結果集約部３３１に供給する。

ステップ３５３において、識別結果集約部３３１は、識別部３８によって識別された評価用パターンのクラスにおいて、最も評価用パターンのクラスらしいものを決定する。

以上の処理によれば、評価用パターンを３以上のクラスのいずれかに識別（分類）する場合であっても、評価用パターンについての、次元削減された低次元特徴ベクトルに基づいて、評価用パターンのクラスを識別することができる。すなわち、評価用パターンについて、パターン認識に有効な特徴次元からなる特徴ベクトルが生成されるので、パターン認識の精度を下げずに、より少ない演算量で、評価用パターンのパターン認識を行うことが可能となる。

なお、以上においては、図１８に示されるように、学習処理３１１とパターン認識装置３１２とが別個に構成される場合の処理について説明したが、図１６で説明した情報処理装置２１１において、識別部３８の後に識別結果集約部３３１を備えるようにすることで、同様の効果を得ることができる。

また、以上においては、３以上のクラスのうちの所定の２クラスの組み合わせについてクラスを識別する、いわゆるOne-versus-One方式について説明したが、所定の１クラス（単独クラス）と他の全クラスとについてクラスを識別する、いわゆるOne-versus-All方式を適用するようにしてもよい。

例えば、クラスＡとクラスＢ，Ｃとの間、クラスＢとクラスＣ，Ａとの間、クラスＣとクラスＡ，Ｂとの間のそれぞれについて、評価用パターンのクラスを識別するようにし、それぞれの組み合わせについての尤度のうち、最も大きい尤度となる組み合わせにおいて識別された単独クラスを、評価用パターンのクラスとすることができる。

以上においては、学習用パターンが予め３以上のクラスに識別されている場合に、所定の２クラスの組み合わせ毎に、特徴次元を選択するようにしたが、どの２クラスの組み合わせであっても、同一の特徴次元を選択させるようにもできる。

＜４．第４の実施の形態＞
［学習装置およびパターン認識装置のさらに他の構成例について］
図２４は、３以上のクラスのパターンについて学習する学習装置、および、３以上のクラスのパターン認識を行うパターン認識装置の他の機能構成例を示している。

なお、図２４の学習装置４１１およびパターン認識装置４１２において、図１の学習装置１１およびパターン認識装置１２に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２４の学習装置４１１およびパターン認識装置４１２において、図１の学習装置１１およびパターン認識装置１２と異なるのは、学習装置４１１において代表分離度決定部４３１を新たに設けた点である。

学習装置４１１は、学習パターンが予め３以上のクラスに識別（分類）されている場合、３以上のクラスのうちの２クラス間について、図１を参照して説明した学習装置１１と同様に、分離度を算出する。

ここで、図２５を参照して、図２４の学習装置４１１が、予め３クラスに識別された学習用パターンについて、分離度を算出する例について説明する。図２５においては、クラスＡ，Ｂ，Ｃの３クラスに予め識別された学習用パターンについての５次元特徴ベクトルに基づいて算出された、所定の２クラスの組み合わせについての、特徴次元毎の分離度が示されている。より具体的には、図２５において、クラスＡ−クラスＢ間についての分離度は黒丸印で、クラスＢ−クラスＣ間についての分離度は黒四角印で、クラスＣ−クラスＡ間についての分離度は黒三角印で、それぞれ特徴次元毎に示されている。なお、図２５において縦軸は分離度を示している。

このようにして、図２４の分離度算出部３２は、所定の２クラスの組み合わせについて、特徴次元毎に分離度を算出する。

なお、ｍクラスに識別された学習用パターンについて分離度を算出する場合、所定の２クラスの組み合わせは_mC₂通りあるので、分離度算出部３２は、特徴次元毎に_mC₂個の分離度を算出する。

そして、代表分離度決定部４３１は、分離度算出部３２からの、所定の２クラス間毎に算出された特徴次元毎の分離度から、特徴次元毎の分離度の代表値である代表分離度を１つ決定し、優先度算出部３３に供給する。

より具体的には、例えば、代表分離度決定部４３１は、特徴次元毎に、図２５においてバツ印で示される、２クラス間毎に算出された３個の分離度の平均値を算出し、特徴次元毎の分離度の平均値を、代表分離度として優先度算出部３３に供給する。

なお、優先度算出部３３は、代表分離度決定部４３１からの特徴次元毎の代表分離度と、低コスト度とに基づいて、優先度を算出する。

次に、図２４の学習装置４１１の学習処理およびパターン認識装置４１２のパターン認識処理について説明する。

［学習装置の学習処理について］
まず、図２６のフローチャートを参照して、図２４の学習装置４１１の学習処理について説明する。

なお、図２６のフローチャートのステップＳ４１１およびＳ４１２の処理は、図４のフローチャートのステップＳ１１およびＳ１２の処理が、３以上のクラスのうちの２クラス間のそれぞれについて行われるだけであるので、その説明は省略する。

ステップＳ４１３において、代表分離度決定部４３１は、分離度算出部３２からの、２クラス間毎に算出された特徴次元毎の分離度から、特徴次元毎の代表分離度を１つ決定し、優先度算出部３３に供給する。

ステップＳ４１４において、優先度算出部３３は、代表分離度決定部４３１からの特徴次元毎の代表分離度と低コスト度から、各特徴次元についての優先度を算出する。

図２６のフローチャートのステップＳ４１５乃至Ｓ４１７の処理は、図４のフローチャートのステップＳ１４乃至Ｓ１６の処理と基本的に同様であるので、その説明は省略する。

以上の処理によれば、学習用パターンが予め３以上のクラスに識別（分類）されている場合であっても、学習用パターンについての特徴ベクトルを、優先度に基づいて選択された特徴次元からなる低次元特徴ベクトルに次元削減することができる。特に、クラス間の分離の度合を示す分離度が大きい特徴次元が選択されるので、クラス分類に有効でない特徴次元は削減され、また、低コスト度の大きい特徴次元が選択されるので、演算コストの高い特徴次元は削減される。したがって、学習用パターンについての特徴ベクトルに対して、行列演算等の煩雑な演算を行うことなく、パターン認識の精度を下げずに、より少ない演算量で次元削減を行うことが可能となる。

また、以上の処理によれば、特徴次元毎に、所定の２クラスの組み合わせについて算出された分離度が、特徴次元毎に１つの代表分離度に決定されるので、所定の２クラスの組み合わせ毎に異なる特徴次元を選択する必要がなく、より一層少ない演算量で次元削減を行うことができる。

なお、上述した説明においては、特徴次元毎の分離度の平均値を代表分離度とするようにしたが、これに限らず、例えば、特徴次元毎の分離度の最大値や中央値等を代表分離度とするようにしてもよい。さらに、特徴次元毎の分離度の平均値と、特徴次元毎の分離度の中央値との積を代表分離度とするようにしてもよい。

また、例えば、クラスＡ，Ｂ，Ｃの３クラスに対して、クラスＡ−クラスＢ間についての分離度と、クラスＣ−クラスＡ間についての分離度とに対して所定の重み係数を乗じた上で、上述したように代表分離度を決定することで、クラスＡの識別精度を上げるようにすることなどもできる。

次に、図２４のパターン認識装置４１２のパターン認識処理について説明するが、パターン認識装置４１２のパターン認識処理は、図９のフローチャートを参照して説明した、図１のパターン認識装置１２によるパターン認識処理と基本的に同様である。

すなわち、パターン認識装置４１２のパターン認識処理においては、学習装置４１１の特徴次元選択部３４からの特徴IDが１種類となるので、ステップＳ５１においては、図２３のフローチャートのステップＳ３５１における処理と異なり、評価用パターン１つについて生成される低次元特徴ベクトルは１つ（１種類）となる。

このように、図２４のパターン認識装置４１２の構成によれば、評価用パターンが３以上のクラスに識別（分類）される場合であっても、評価用パターンについての、次元削減された低次元特徴ベクトルに基づいて、評価用パターンのクラスを識別することができる。すなわち、評価用パターンについて、パターン認識に有効な特徴次元からなる特徴ベクトルが生成されるので、パターン認識の精度を下げずに、より少ない演算量で、評価用パターンのパターン認識を行うことが可能となる。

また、評価用パターンに１つについて生成される低次元特徴ベクトルは１つでよいので、より一層少ない演算量で、評価用パターンのパターン認識を行うことが可能となる。

なお、以上においては、図２４に示されるように、学習処理４１１とパターン認識装置４１２とが別個に構成される場合の処理について説明したが、図１６で説明した情報処理装置２１１において、分離度算出部３２と優先度算出部３３の間に代表分離度決定部４３１を備えるようにすることで、同様の効果を得ることができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１学習装置，１２パターン認識装置，３１特徴ベクトル生成部，３２分離度算出部，３３優先度算出部，３４特徴次元選択部，３５特徴次元抽出部，３６機械学習部，３７特徴ベクトル生成部，３８識別部，５１閾値処理部，５２選択部，７１ソート部，７２選択部，９１正規化部，９２ソート部，９３累積加算部，９４閾値処理部，９５選択部，１１１ソート部，１１２選択部，１１３識別部，１１４閾値処理部，１１５決定部，２１１情報処理装置，２３１特徴ベクトル生成部，２３２特徴次元抽出部，３１１学習装置，３１２パターン認識装置，３３１識別結果集約部，４１１学習装置，４１２パターン認識装置，４３１代表分離度決定部

Claims

入力パターンのパターン認識を行う情報処理装置において、
予めクラスが識別された所定のパターンについての特徴ベクトルの特徴次元毎に、パターン認識に前記特徴次元が寄与する度合を示す優先度を算出する優先度算出手段と、
前記優先度算出手段によって算出された前記優先度に基づいて、前記特徴次元を選択する特徴次元選択手段と、
前記所定のパターンについての前記特徴ベクトルから、前記特徴次元選択手段によって選択された前記特徴次元を抽出することで、前記所定のパターンについての前記低次元特徴ベクトルを生成する特徴次元抽出手段と
を備える情報処理装置。
前記所定のパターンのクラス間の分離の度合を示す分離度を、前記特徴次元毎に算出する分離度算出手段をさらに備え、
前記優先度算出手段は、前記特徴次元毎の前記分離度に基づいて、前記優先度を算出する
請求項１に記載の情報処理装置。
前記所定のパターンから特徴量を抽出することにより、前記所定のパターンについての前記特徴ベクトルを生成する特徴ベクトル生成手段をさらに備え、
前記優先度算出手段は、前記特徴次元毎の前記分離度と、前記特徴ベクトル生成手段によって前記所定のパターンについての前記特徴ベクトルが生成される際の、前記特徴次元毎の演算コストの低さを示す低コスト度とに基づいて、前記優先度を算出する
請求項２に記載の情報処理装置。
前記特徴次元抽出手段によって生成された、前記所定のパターンについての前記低次元特徴ベクトルに基づいて機械学習を行う学習手段と、
前記学習手段の機械学習において得られたパラメータを用いて、前記特徴次元選択手段によって選択された前記特徴次元が抽出された、前記入力パターンについての前記低次元特徴ベクトルに基づいて、前記入力パターンのクラスを識別する識別手段とをさらに備える
請求項３に記載の情報処理装置。
前記特徴次元選択手段によって選択された前記特徴次元が抽出された、前記入力パターンについての前記低次元特徴ベクトルを生成する入力パターン特徴ベクトル生成手段をさらに備え、
前記識別手段は、前記学習手段の機械学習において得られたパラメータを用いて、前記入力パターン特徴ベクトル生成手段によって生成された、前記入力パターンについての前記低次元特徴ベクトルに基づいて、前記入力パターンのクラスを識別する
請求項４に記載の情報処理装置。
前記特徴ベクトル生成手段は、前記入力パターンについての前記特徴ベクトルを生成し、
前記特徴次元抽出手段は、前記特徴ベクトル生成手段によって生成された前記入力パターンについての前記特徴ベクトルから、前記特徴次元選択手段によって選択された前記特徴次元を抽出することで、前記入力パターンについての前記低次元特徴ベクトルを生成し、
前記識別手段は、前記学習手段の機械学習において得られたパラメータを用いて、前記特徴次元抽出手段によって生成された、前記入力パターンについての前記低次元特徴ベクトルに基づいて、前記入力パターンのクラスを識別する
請求項４に記載の情報処理装置。
パターン認識によって識別される前記入力パターンのクラスが３以上の場合、前記識別手段によって所定の２クラス間で識別された前記クラスにおいて、最も前記入力パターンのクラスらしいものを決定するクラス決定手段をさらに備える
請求項４に記載の情報処理装置。
パターン認識によって識別される前記入力パターンのクラスが３以上の場合、前記分離度算出手段によって所定の２クラス間毎に算出される前記特徴次元毎の前記分離度から、前記特徴次元毎の代表分離度を決定する代表分離度決定手段をさらに備える
請求項７に記載の情報処理装置。
前記特徴次元選択手段は、所定の閾値より大きい値の前記優先度に対応する前記特徴次元を選択する
請求項１に記載の情報処理装置。
前記特徴次元選択手段は、値の大きい方から所定数の前記優先度に対応する前記特徴次元を選択する
請求項１に記載の情報処理装置。
前記特徴次元選択手段は、前記特徴次元毎の前記優先度を、全ての前記特徴次元の前記優先度の総和で正規化し、前記優先度が正規化された正規化優先度を、値の大きい方から順次累積加算し、累積値が所定の閾値を超えたときの、前記正規化優先度に対応する前記特徴次元を選択する
請求項１に記載の情報処理装置。
前記特徴次元選択手段は、値の大きい方から所定数の前記優先度に対応する前記特徴次元が抽出された、前記所定のパターンについての前記低次元特徴ベクトルに基づいて、前記所定のパターンのクラスを識別し、クラスが識別されたときの識別率が所定の閾値を超えたときの、前記所定のパターンについての前記低次元特徴ベクトルの前記特徴次元を選択する
請求項１に記載の情報処理装置。
入力パターンのパターン認識を行う情報処理装置の情報処理方法において、
予めクラスが識別された所定のパターンについての特徴ベクトルの特徴次元毎に、パターン認識に前記特徴次元が寄与する度合を示す優先度を算出する優先度算出ステップと、
前記優先度算出ステップの処理によって算出された前記優先度に基づいて、前記特徴次元を選択する特徴次元選択ステップと、
前記所定のパターンについての前記特徴ベクトルから、前記特徴次元選択ステップの処理によって選択された前記特徴次元を抽出することで、前記所定のパターンについての前記低次元特徴ベクトルを生成する特徴次元抽出ステップと
を含む情報処理方法。
入力パターンのパターン認識をコンピュータに実行させるプログラムにおいて、
予めクラスが識別された所定のパターンについての特徴ベクトルの特徴次元毎に、パターン認識に前記特徴次元が寄与する度合を示す優先度を算出する優先度算出ステップと、
前記優先度算出ステップの処理によって算出された前記優先度に基づいて、前記特徴次元を選択する特徴次元選択ステップと、
前記所定のパターンについての前記特徴ベクトルから、前記特徴次元選択ステップの処理によって選択された前記特徴次元を抽出することで、前記所定のパターンについての前記低次元特徴ベクトルを生成する特徴次元抽出ステップと
を含む処理をコンピュータに実行させるプログラム。