JP2014010778A - 認識モデル学習装置、認識装置、方法、及びプログラム - Google Patents

Abstract

【課題】認識対象データの次元数に比べて、認識したいクラス数が少ない場合でも、従来の判別分析の手法よりも認識精度を向上させる。
【解決手段】クラス特性抽出部１２１が、複数の学習用データから、クラス毎の学習用データの平均ベクトルｕ_ｃ、平均ベクトルｕ_ｃを基準としたクラス毎の分散共分散行列Σ_ｃ、及び特徴空間の原点を基準としたクラス毎の分布の広がりを表すクラス毎の自己相関行列Γ_ｃとその固有ベクトルψ_ｉｋとを計算し、クラス間特性抽出部１２２が、ｕ_ｃ及びΣ_ｃを用いた級間分散行列Σ_Ｂと、ψ_ｉｋ同士の関係を表現する行列Σ_Ｂ２とからなる新しい級間分散行列Σ_Ｂｎｅｗを計算し、固有ベクトル計算部１２３が、Σ_ｃを用いて級内分散行列Σ_Ｗを計算し、Σ_Ｂｎｅｗに関する一般化固有値問題を解くことにより、変換写像Ａを計算し、特徴抽出部１３が、変換写像Ａを全学習用データに乗算することにより、低次元の学習用特徴ベクトルを抽出する。
【選択図】図２

Description

本発明は、認識モデル学習装置、認識装置、方法、及びプログラムに係り、特に、画像、音声等のパターン認識技術や医療診断データの自動診断技術などの高次元のデータを認識するための認識モデル学習装置、認識装置、方法、及びプログラムに関する。

画像や音声などの認識技術においては、高次元のデータを認識率を下げることなく低次元に圧縮する特徴抽出の技術が広く用いられている。

よく用いられるのが主成分分析等のデータの分布を自乗誤差最小の意味合いで最適近似する方法であるが、応用によっては認識すべきクラスが事前に明確に定義されており、この場合にはクラス間の分散を最大化し、クラス内の分散を最小化するという判別分析の方法がよく用いられる（例えば、非特許文献１参照）。

判別分析は通常以下の様に定式化される。あるクラスｃに属するｎ_ｃ個のＤ次元データＸ_ｃ＝｛ベクトルｘ_１，・・・，ベクトルｘ_ｎｃ｝が与えられたとき、クラス毎の平均ベクトルｕ_ｃ、及び下記（１）式に示すクラス毎の分散共分散行列Σ_ｃから、下記（２）式に示すクラス毎の分布の状態を表現する情報である級内分散行列Σ_Ｗ、及び下記（３）式に示す各クラスがどの様に分布しているかを表現する情報である級間分散行列Σ_Ｂを考え、級間分散行列を最大化し、級内分散行列を最小化する様なＤ次元データＸ_ｃの低次元空間への写像を求める。

ただし、ここでＣはクラス数、ベクトルｕはサンプル全体の平均である。なお、数式内では記号上部に→を付することでベクトルを表している。

この最適化問題は、下記（４）式の一般化固有値問題に帰着される。この一般化固有値問題はＪａｃｏｂｉ法などの既知の方法で数値的に解くことができる。ただし、Ａは固有ベクトル、λは固有値である。

ここで得られる固有ベクトルＡが特徴抽出のための変換写像となる。Ｄ次元データ（ベクトルｘ）は、下記（５）式に示すように、ｄ＜Ｄである低次元ベクトルξに変換され、学習や認識等の処理で用いられる。このように高次元データを低次元化して、演算量の少ない学習及び認識装置が実現することができる。

田中豊、垂水共之編、「統計解析ハンドブック」、共立出版、１９９５

しかしながら、上記のような変換写像では、（３）式から明らかなように、級間分散行列Σ_ＢのランクはＣ−１以下となる。そのため、例えば、認識したい入力データ（認識対象データ）が１０００次元あるいはそれ以上の場合でも、認識すべきクラスが正常または異常のような２クラス問題であれば、認識対象データから（ｄ＝１）次元の特徴しか抽出されない。このように認識対象データの次元数に比べて、認識したいクラス数が極端に少ない場合には、特徴空間における各クラスの分布の構造によっては認識率の低下を招く場合がある、という問題があった。

この問題は、主に級間分散行列を計算する際に、クラス毎の平均値のみでクラス毎の分布を特徴づけること、及び級内分散行列を計算する際に、全てのクラス毎の分散共分散行列を平均してしまうこと、つまり、各クラス全ての分布が同一であると仮定していることに原因がある。

一般に、パターン認識などの多クラス識別問題では、各クラスの物理的な性質のために、特徴空間における各クラスの分布の構造は大きく異なる場合が多い。例えば、文字パターン認識において、手書き数字の「１」は単なる縦線であるために、その特徴データは大きな分散を持たないが、「２」の場合は、筆記開始の位置やループの有無のために、特徴データは大きな分散を持つことが多い。また、病気の診断においては、健康体から採取したデータは比較的分散が小さいが、病気の場合には、採取したデータに大きな分散が生じることが知られている。

本発明は上記問題点に鑑みてなされたものであり、認識対象データの次元数に比べて、認識したいクラス数が少ない場合でも、従来の判別分析の手法よりも認識精度を向上させることができる認識モデル学習装置、認識装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の認識モデル学習装置は、複数のクラスのいずれに属するかを示すラベルが付与された高次元の複数の学習用データに基づいて、特徴空間における原点を基準としたクラス毎の分布の広がりを表す特徴を含むクラス毎の特性から得られるクラス間の分散を最大化し、かつ前記複数の学習用データの各々を該学習用データよりも低次元の空間へ写像するための変換写像を計算する変換写像計算手段と、前記複数の学習用データの各々に、前記変換写像計算手段により計算された変換写像を乗算して、前記学習用データよりも低次元に変換された学習用特徴データの各々を抽出する学習用特徴抽出手段と、前記学習用特徴抽出手段により抽出された学習用特徴データの各々と、該学習用特徴データの各々に対応する学習用データに付与された前記ラベルの各々との対応付けに基づいて、いずれのクラスに属するかが未知の高次元の認識対象データが属するクラスを認識するための認識モデルを学習する学習手段と、を含んで構成されている。

本発明の認識モデル学習装置によれば、変換写像計算手段が、複数のクラスのいずれに属するかを示すラベルが付与された高次元の複数の学習用データに基づいて、特徴空間における原点を基準としたクラス毎の分布の広がりを表す特徴を含むクラス毎の特性から得られるクラス間の分散を最大化し、かつ複数の学習用データの各々を学習用データよりも低次元の空間へ写像するための変換写像を計算する。そして、学習用特徴抽出手段が、複数の学習用データの各々に、変換写像計算手段により計算された変換写像を乗算して、学習用データよりも低次元に変換された学習用特徴データの各々を抽出し、学習手段が、学習用特徴抽出手段により抽出された学習用特徴データの各々と、学習用特徴データの各々に対応する学習用データに付与されたラベルの各々との対応付けに基づいて、いずれのクラスに属するかが未知の高次元の認識対象データが属するクラスを認識するための認識モデルを学習する。

このように、特徴空間における原点を基準としたクラス毎の分布の広がりを表す特徴を含むクラス毎の特性、すなわち従来の判別分析の手法よりも詳細な情報を含むクラス毎の特性から得られるクラス間の分散を最大化するような変換写像を用いて特徴データを抽出するため、認識対象データの次元数に比べて、認識したいクラス数が少ない場合でも、従来の判別分析の手法よりも認識精度を向上させることができる認識モデルを学習することができる。

また、前記変換写像計算手段は、前記特徴空間における前記学習用データのクラス毎の平均、該クラス毎の平均を基準としたクラス毎の分散共分散行列、及び前記原点を基準としたクラス毎の分布の広がりを表す特徴であるクラス毎の自己相関行列に基づいて、前記平均及び前記分散共分散行列による第１級間分散行列と、前記自己相関行列の固有ベクトル同士の関係を示す第２級間分散行列とで表される新級間分散行列を、前記クラス間の分散を表す行列として計算することができる。クラス毎の自己相関行列を用いることで、原点から見た分布の広がりの方向をクラス毎の分布の情報として持つことができるため、認識精度の高い認識モデルを学習することができる。

また、本発明の認識装置は、前記認識対象データに、上記の認識モデル学習装置により計算された変換写像を乗算して、該認識対象データよりも低次元に変換された認識対象特徴データを抽出する認識用特徴抽出手段と、上記の認識モデル学習装置により学習された認識モデル、及び前記認識用特徴抽出手段により抽出された認識対象特徴データを用いて、前記認識対象データが属するクラスを認識する認識手段と、を含んで構成されている。

本発明の認識装置によれば、認識用特徴抽出手段が、認識対象データに、上記の認識モデル学習装置により計算された変換写像を乗算して、認識対象データよりも低次元に変換された認識対象特徴データを抽出し、認識手段が、上記の認識モデル学習装置により学習された認識モデル、及び認識用特徴抽出手段により抽出された認識対象特徴データを用いて、認識対象データが属するクラスを認識する。これにより、認識対象データの次元数に比べて、認識したいクラス数が少ない場合でも、従来の判別分析の手法よりも認識精度を向上させることができる。

また、本発明の認識モデル学習方法は、変換写像計算手段と、学習用特徴抽出手段と、学習手段とを含む認識モデル学習装置における認識モデル学習方法であって、前記変換写像計算手段が、複数のクラスのいずれに属するかを示すラベルが付与された高次元の複数の学習用データに基づいて、特徴空間における原点を基準としたクラス毎の分布の広がりを表す特徴を含むクラス毎の特性から得られるクラス間の分散を最大化し、かつ前記複数の学習用データの各々を該学習用データよりも低次元の空間へ写像するための変換写像を計算し、前記学習用特徴抽出手段が、前記複数の学習用データの各々に、前記変換写像計算手段により計算された変換写像を乗算して、前記学習用データよりも低次元に変換された学習用特徴データの各々を抽出し、前記学習手段が、前記学習用特徴抽出手段により抽出された学習用特徴データの各々と、該学習用特徴データの各々に対応する学習用データに付与された前記ラベルの各々との対応付けに基づいて、いずれのクラスに属するかが未知の高次元の認識対象データが属するクラスを認識するための認識モデルを学習する方法である。

また、本発明の認識モデル学習方法において、前記変換写像計算手段は、前記特徴空間における前記学習用データのクラス毎の平均、該クラス毎の平均を基準としたクラス毎の分散共分散行列、及び前記原点を基準としたクラス毎の分布の広がりを表す特徴であるクラス毎の自己相関行列に基づいて、前記平均及び前記分散共分散行列による第１級間分散行列と、前記自己相関行列の固有ベクトル同士の関係を示す第２級間分散行列とで表される新級間分散行列を、前記クラス間の分散を表す行列として計算することができる。

また、本発明の認識方法は、認識用特徴抽出手段と、認識手段とを含む認識装置における認識方法であって、前記認識用特徴抽出手段が、前記認識対象データに、上記の認識モデル学習方法により計算された変換写像を乗算して、該認識対象データよりも低次元に変換された認識対象特徴データを抽出し、前記認識手段が、上記の認識モデル学習方法により学習された認識モデル、及び前記認識用特徴抽出手段により抽出された認識対象特徴データを用いて、前記認識対象データが属するクラスを認識する方法である。

また、本発明の認識モデル学習プログラムは、コンピュータを、上記の認識モデル学習装置を構成する各手段として機能させるためのプログラムである。

また、本発明の認識プログラムは、コンピュータを、上記の認識装置を構成する各手段として機能させるためのプログラムである。

以上説明したように、本発明の認識モデル学習装置、認識装置、方法、及びプログラムによれば、特徴空間における原点を基準としたクラス毎の分布の広がりを表す特徴を含むクラス毎の特性、すなわち従来の判別分析の手法よりも詳細な情報を含むクラス毎の特性から得られるクラス間の分散を最大化するような変換写像を用いて特徴データを抽出するため、認識対象データの次元数に比べて、認識したいクラス数が少ない場合でも、従来の判別分析の手法よりも認識精度を向上させることができる、という効果が得られる。

本実施の形態の原理を説明するための概念図である。 本実施の形態のパターン認識装置の構成を示すブロック図である。 本実施の形態における学習処理ルーチンの内容を示すフローチャートである。 本実施の形態における認識処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本実施の形態の原理＞
まず、本実施の形態の原理について説明する。

図１（ａ）に示すように、各クラスの共分散行列が同じかまたは近い構造を持つ場合には、判別分析で作られる判別軸は、各クラスの平均値の差分ベクトルに近いものとなり、低次元の特徴で効率の良い判別が実現される。

しかし、同図（ｂ）に示すように、各クラスの共分散構造が異なる場合には、各クラス間の平均ベクトルの差分ベクトルが、必ずしも良い判別軸を与えるとは限らない。

そこで、本実施の形態では、特徴空間における各クラスの分布を記述する統計量として、クラス毎の自己相関行列の固有ベクトルψ_ｉｊを用いる。ここで、ｉはクラスを表すインデックス、ｊは固有値の降順で与えられる番号である。概念的には、ψ_ｉｊは特徴空間の原点から見た各クラスの分布の広がりを表しており、同（ｂ）に示すように、各クラスの平均から離れた部分の分布を記述する。ただし、同図（ｂ）はあくまで説明のための概念図であり、正確にはψ_ｉｊ同士は直交するものである。

このように、クラス毎のデータの平均値以外に、クラス毎の自己相関行列の固有ベクトルψ_ｉｊを特徴空間における各クラスの分布を記述する統計量として用いることにより、認識したいクラス数が少ない場合でも、高次元の特徴抽出を可能にし、高い認識精度を実現することができる。

＜本実施の形態の構成＞
本実施の形態では、オフラインで手書き入力された数字を示すデータが、いずれのクラス（０〜９）に属するかを判別することにより、手書き入力された数字のパターン認識を行うパターン認識装置に本発明を適用した例について説明する。

本実施の形態に係るパターン認識装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する学習処理及び認識処理を含むパターン認識処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備え、オペレーティングシステム（ＯＳ）を搭載したコンピュータで構成されており、ＣＰＵがパターン認識処理ルーチンを実行するためのプログラムを、内部記憶装置であるＲＯＭから読み込んで実行することにより形成される。

このコンピュータは、機能的には、図２に示すように、学習部１と認識部２とを含んだ構成で表すことができる。

まず、学習部１について説明する。学習部１は、さらに、入力部１１と変換写像計算部１２と、特徴抽出部１３と、認識モデル学習部１４とを含んだ構成で表すことができる。

入力部１１は、既知のキーボード、マウス、記憶装置などの入力器により入力された複数の学習用データを受け付ける。ここでは、学習用データとして、ＭＮＩＳＴ手書き数字データを用いる。通常、オフラインの手書き数字認識系では、文字画像は２次元配列の画素毎にインクの濃淡を表現した数値が格納されたデータとなる。認識のための方式は各種存在するが、ここでは画素の数値をそのまま用いる方式を仮定して説明する。１文字に相当する文字画像はｎ×ｎ画素の配列に格納されているとすると、１つの学習用データはｎ^２次元のベクトルとして扱うことができる。ＭＮＩＳＴデータセットの場合は、１文字に相当する文字画像は２８×２８画素なので、１つの学習用データは７８４次元のベクトルとなる。また、各学習用データには、その学習用データ（文字画像）がどのクラスに属するかを示すラベルが付与されている。すなわち、学習用データは、７８４次元の特徴ベクトルとクラスを示すラベルとで構成されている。

入力部１１では、上記のように構成された複数の学習用データＸ＝｛Ｘ_ｃ１，Ｘ_ｃ２，・・・，Ｘ_ｃｎｃ｝を受け付ける。

変換写像計算部１２は、入力部１１により受け付けた学習用データＸを低次元に変換した特徴を抽出するための変換写像を計算する。変換写像計算部１２は、さらに、クラス特性抽出部１２１と、クラス間特性抽出部１２２と、固有ベクトル計算部１２３とを含んだ構成で表すことができる。

クラス特性抽出部１２１は、クラス毎の学習用データの平均ベクトルｕ_ｃ、平均ベクトルｕ_ｃを基準としたクラス毎の分布の広がりを表す分散共分散行列Σ_ｃ、及び下記（６）式に示す特徴空間の原点を基準としたクラス毎の分布の広がりを表すクラス毎の自己相関行列Γ_ｃとその固有ベクトルψ_ｉｋとを計算する。ψ_ｉｋは原点から見たクラス毎の分布の主要な広がりの方向を表す。

クラス間特性抽出部１２２は、クラス特性抽出部１２１で計算された平均ベクトルｕ_ｃ及び分散共分散行列Σ_ｃを用いて、（２）式に示す級間分散行列Σ_Ｂを計算する。また、クラス特性抽出部１２１で計算された固有ベクトルψ_ｉｋ同士の関係を表現する下記（７）式に示す行列Σ_Ｂ２を計算する。

ここで、ｄ_ｕは使用する自己相関行列の固有ベクトルの数である。これを最大化することにより、クラス毎の広がりを考慮した級間分散行列が実現される。従って、クラス間特性抽出部１２２は、クラス間の分散を表す行列として、下記（８）式に示す最大化すべき新しい級間分散行列Σ_Ｂｎｅｗを計算する。

固有ベクトル計算部１２３は、クラス特性抽出部１２１で計算された分散共分散行列Σ_ｃを用いて、（３）式に示す級内分散行列Σ_Ｗを計算し、下記（９）式に示す一般化固有値問題を解くことにより、固有ベクトルＡを計算する。この固有ベクトルＡが変換写像計算部１２から出力される変換写像Ａとなる。

特徴抽出部１３は、変換写像計算部１２から出力された変換写像Ａを、全学習用データに乗算することにより、ｄ＜Ｄである低次元の学習用特徴ベクトルΞ＝｛ベクトルξ_１，ベクトルξ_２，・・・，ベクトルξ_ｎｃ｝を抽出する。

認識モデル学習部１４は、特徴抽出部１３で抽出された学習用特徴ベクトルΞを用いて、認識対象等に応じた適切な認識モデルの学習を行う。ここでは、認識モデルとして、１−最近接識別器（１−ＮＮ）を仮定する。１−ＮＮは全ての学習用データを記憶する方式であるので、ここでは、抽出された学習用特徴ベクトルΞの各々と、学習用特徴ベクトルの各々に対応する学習用データに付与されたクラスを示すラベルの各々とのペアの全てを、認識モデルを表すパラメータとして格納部１５に格納し、学習のための計算は行わない。

格納部１５には、変換写像計算部１２で計算された変換写像及び認識モデル学習部１４で機械学習された認識モデルを表すパラメータが格納される。ここでは、変換写像Ａ及び全学習用特徴ベクトルΞ＝｛ベクトルξ_１，ベクトルξ_２，・・・，ベクトルξ_ｎｃ｝が格納部１５に格納される。

次に、認識部２について説明する。認識部２は、さらに、入力部２１と、特徴抽出部２２と、クラス判別部２３と、出力部２４とを含んだ構成で表すことができる。

入力部２１は、学習部１の入力部１１と同様に、既知のキーボード、マウス、記憶装置などの入力器により入力された認識対象データ（ベクトルｘ）を受け付ける。認識対象データ（ベクトルｘ）は、クラスを示すラベルが付与されていない点、すなわち認識対象データがいずれのクラスに属するかが未知である点を除いて、学習用データと同様である。

特徴抽出部２２は、格納部１５から変換写像Ａを読み出し、入力部２１で受け付けた認識対象データ（ベクトルｘ）に乗算することにより、ｄ＜Ｄである低次元の認識用特徴ベクトルξを抽出する。

クラス判別部２３は、認識モデル学習部１４の機械学習に応じた手法により、特徴抽出部２２で抽出された認識用特徴ベクトルξがいずれのクラスに属するかを判別する。ここでは、１−ＮＮによるクラス判別処理が行われる。具体的には、クラス判別部２３は、格納部１５から認識モデルを表すパラメータである全学習用特徴ベクトルΞ＝｛ベクトルξ_１，ベクトルξ_２，・・・，ベクトルξ_ｎｃ｝とクラスを示すラベルとのペアを読み出し、全学習用特徴ベクトルΞの各々と認識用特徴ベクトルξとのユークリッド距離を計算し、認識用特徴ベクトルξとのユークリッド距離が最も近かった学習用特徴ベクトルとペアのラベルが示すクラスを、認識用特徴ベクトルξが属するクラスとして判別する。

出力部２４は、クラス判別部２３で判別されたクラスを、認識対象データ（ベクトルｘ）のパターン認識結果として出力する。

＜本実施の形態の作用＞
次に、本実施の形態のパターン認識装置１０の作用について説明する。まず、学習部１において図３に示す学習処理ルーチンが実行されて、変換写像及び認識モデルを表すパラメータが格納部１５に格納される。次に、認識部２において、格納部１５に格納された情報を用いて、図４に示す認識処理ルーチンが実行される。以下、各処理について詳細に説明する。

まず、学習処理ルーチンでは、ステップ１００で、入力部１１が、複数の学習用データＸ＝｛Ｘ_ｃ１，Ｘ_ｃ２，・・・，Ｘ_ｃｎｃ｝を受け付ける。

次に、ステップ１０２で、クラス特性抽出部１２１が、上記ステップ１００で受け付けられた複数の学習用データＸから、クラス毎の学習用データの平均ベクトルｕ_ｃ、平均ベクトルｕ_ｃを基準としたクラス毎の分布の広がりを表す分散共分散行列Σ_ｃ、及び特徴空間の原点を基準としたクラス毎の分布の広がりを表すクラス毎の自己相関行列Γ_ｃとその固有ベクトルψ_ｉｋとを計算する。

次に、ステップ１０４で、クラス間特性抽出部１２２が、上記ステップ１０２で計算された平均ベクトルｕ_ｃ及び分散共分散行列Σ_ｃを用いて、級間分散行列Σ_Ｂを計算し、上記ステップ１０２で計算された固有ベクトルψ_ｉｋ同士の関係を表現する行列Σ_Ｂ２を計算し、クラス間の分散を表す行列として、級間分散行列Σ_Ｂと行列Σ_Ｂ２との和で表される新しい級間分散行列Σ_Ｂｎｅｗを計算する。

次に、ステップ１０６で、固有ベクトル計算部１２３が、上記ステップ１０２で計算された分散共分散行列Σ_ｃを用いて級内分散行列Σ_Ｗを計算し、上記ステップ１０４で計算された新しい級間分散行列Σ_Ｂｎｅｗに関する一般化固有値問題を解くことにより、固有ベクトルＡを計算する。固有ベクトル計算部１２３は、固有ベクトルＡを変換写像Ａとして後段の処理へ受け渡すと共に、格納部１５へ格納する。

次に、ステップ１０８で、特徴抽出部１３が、上記ステップ１０６で計算された変換写像Ａを、全学習用データに乗算することにより、ｄ＜Ｄである低次元の学習用特徴ベクトルΞ＝｛ベクトルξ_１，ベクトルξ_２，・・・，ベクトルξ_ｎｃ｝を抽出する。

次に、ステップ１１０で、認識モデル学習部１４が、上記ステップ１０８で抽出された学習用特徴ベクトルΞの各々と、学習用特徴ベクトルの各々に対応する学習用データに付与されたクラスを示すラベルの各々とのペアを、認識モデルを表すパラメータとして格納部１５に格納して、学習処理ルーチンを終了する。

次に、認識処理ルーチンでは、ステップ２００で、入力部２１が、認識対象データ（ベクトルｘ）を受け付ける。

次に、ステップ２０２で、特徴抽出部２２が、格納部１５から変換写像Ａを読み出し、上記ステップ２００で受け付けた認識対象データ（ベクトルｘ）に乗算することにより、ｄ＜Ｄである低次元の認識用特徴ベクトルξを抽出する。

次に、ステップ２０４で、クラス判別部２３が、格納部１５から認識モデルを表すパラメータである全学習用特徴ベクトルΞ＝｛ベクトルξ_１，ベクトルξ_２，・・・，ベクトルξ_ｎｃ｝とクラスを示すラベルとのペアを読み出し、全学習用特徴ベクトルΞの各々と認識用特徴ベクトルξとのユークリッド距離を計算し、認識用特徴ベクトルξとのユークリッド距離が最も近かった学習用特徴ベクトルとペアのラベルが示すクラスを、認識用特徴ベクトルξが属するクラスとして判別する。

次に、ステップ２０６で、出力部２４が、上記ステップ２０４で判別されたクラスを、認識対象データ（ベクトルｘ）のパターン認識結果として出力して、認識処理ルーチンを終了する。

以上説明したように、本実施の形態のパターン認識装置によれば、クラス毎の学習用データの平均値以外に、クラス毎の自己相関行列の固有ベクトルψ_ｉｊを特徴空間における各クラスの分布を記述する統計量として用いることで、従来の判別分析の手法より詳細な情報を含むクラス毎の特性からクラス間の分散を表す行列を計算し、この行列を最大化する固有ベクトルを変換写像として計算するため、認識対象データの次元数に比べて、認識したいクラス数が少ない場合でも、従来の判別分析の手法よりも高性能な認識を可能にする。

ここで、下記表１にＭＮＩＳＴデータセットを学習用データとして用いた数字のパターン認識実験の結果を示す。数字は０〜９の１０クラス判別の問題であるため、従来の判別分析では９次元の特徴しか抽出されないのに対し、本実施の形態では、７７次元の特徴が抽出され、認識率が大幅に上がっていることがわかる。

なお、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記実施の形態では、文字画像を表す高次元データから数字のパターンを認識する場合について説明したが、高次元の音声データから音声認識を行うような認識装置にも適用可能である。

また、上記実施の形態では、学習部と認識部とを同一のコンピュータで構成する場合について説明したが、別々のコンピュータで構成するようにしてもよい。

また、本願明細書中において、プログラムが予めインストールされている実施の形態として説明したが、外部の記憶装置や記録媒体等に格納されたプログラムを随時読み込んで、またインターネットを介してダウンロードして実行するようにしてもよい。また、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１ 学習部
２ 認識部
１０ パターン認識装置
１１ 入力部（学習部）
１２ 変換写像計算部
１３ 特徴抽出部（学習部）
１４ 認識モデル学習部
１５ 格納部
２１ 入力部（認識部）
２２ 特徴抽出部（認識部）
２３ クラス判別部
２４ 出力部
１２１ クラス特性抽出部
１２２ クラス間特性抽出部
１２３ 固有ベクトル計算部

Claims (8)

1. 複数のクラスのいずれに属するかを示すラベルが付与された高次元の複数の学習用データに基づいて、特徴空間における原点を基準としたクラス毎の分布の広がりを表す特徴を含むクラス毎の特性から得られるクラス間の分散を最大化し、かつ前記複数の学習用データの各々を該学習用データよりも低次元の空間へ写像するための変換写像を計算する変換写像計算手段と、
   前記複数の学習用データの各々に、前記変換写像計算手段により計算された変換写像を乗算して、前記学習用データよりも低次元に変換された学習用特徴データの各々を抽出する学習用特徴抽出手段と、
   前記学習用特徴抽出手段により抽出された学習用特徴データの各々と、該学習用特徴データの各々に対応する学習用データに付与された前記ラベルの各々との対応付けに基づいて、いずれのクラスに属するかが未知の高次元の認識対象データが属するクラスを認識するための認識モデルを学習する学習手段と、
   を含む認識モデル学習装置。
2. 前記変換写像計算手段は、前記特徴空間における前記学習用データのクラス毎の平均、該クラス毎の平均を基準としたクラス毎の分散共分散行列、及び前記原点を基準としたクラス毎の分布の広がりを表す特徴であるクラス毎の自己相関行列に基づいて、前記平均及び前記分散共分散行列による第１級間分散行列と、前記自己相関行列の固有ベクトル同士の関係を示す第２級間分散行列とで表される新級間分散行列を、前記クラス間の分散を表す行列として計算する請求項１記載の認識モデル学習装置。
3. 前記認識対象データに、請求項１または請求項２記載の認識モデル学習装置により計算された変換写像を乗算して、該認識対象データよりも低次元に変換された認識対象特徴データを抽出する認識用特徴抽出手段と、
   請求項１または請求項２記載の認識モデル学習装置により学習された認識モデル、及び前記認識用特徴抽出手段により抽出された認識対象特徴データを用いて、前記認識対象データが属するクラスを認識する認識手段と、
   を含む認識装置。
4. 変換写像計算手段と、学習用特徴抽出手段と、学習手段とを含む認識モデル学習装置における認識モデル学習方法であって、
   前記変換写像計算手段が、複数のクラスのいずれに属するかを示すラベルが付与された高次元の複数の学習用データに基づいて、特徴空間における原点を基準としたクラス毎の分布の広がりを表す特徴を含むクラス毎の特性から得られるクラス間の分散を最大化し、かつ前記複数の学習用データの各々を該学習用データよりも低次元の空間へ写像するための変換写像を計算し、
   前記学習用特徴抽出手段が、前記複数の学習用データの各々に、前記変換写像計算手段により計算された変換写像を乗算して、前記学習用データよりも低次元に変換された学習用特徴データの各々を抽出し、
   前記学習手段が、前記学習用特徴抽出手段により抽出された学習用特徴データの各々と、該学習用特徴データの各々に対応する学習用データに付与された前記ラベルの各々との対応付けに基づいて、いずれのクラスに属するかが未知の高次元の認識対象データが属するクラスを認識するための認識モデルを学習する
   認識モデル学習方法。
5. 前記変換写像計算手段は、前記特徴空間における前記学習用データのクラス毎の平均、該クラス毎の平均を基準としたクラス毎の分散共分散行列、及び前記原点を基準としたクラス毎の分布の広がりを表す特徴であるクラス毎の自己相関行列に基づいて、前記平均及び前記分散共分散行列による第１級間分散行列と、前記自己相関行列の固有ベクトル同士の関係を示す第２級間分散行列とで表される新級間分散行列を、前記クラス間の分散を表す行列として計算する請求項４記載の認識モデル学習方法。
6. 認識用特徴抽出手段と、認識手段とを含む認識装置における認識方法であって、
   前記認識用特徴抽出手段が、前記認識対象データに、請求項４または請求項５記載の認識モデル学習方法により計算された変換写像を乗算して、該認識対象データよりも低次元に変換された認識対象特徴データを抽出し、
   前記認識手段が、請求項４または請求項５記載の認識モデル学習方法により学習された認識モデル、及び前記認識用特徴抽出手段により抽出された認識対象特徴データを用いて、前記認識対象データが属するクラスを認識する
   認識方法。
7. コンピュータを、請求項１または請求項２記載の認識モデル学習装置を構成する各手段として機能させるための認識モデル学習プログラム。
8. コンピュータを、請求項３記載の認識装置を構成する各手段として機能させるための認識プログラム。