JP2011008634A - パターン認識用辞書生成装置、パターン認識装置、及びパターン認識用辞書生成方法 - Google Patents

Abstract

【課題】パターン認識処理において、認識処理の精度を保ち、かつ、高速化することを目的とする。
【解決手段】パターン認識用辞書生成装置は、パターン入力部と、ｎ次元特徴を抽出する特徴抽出部と、ｍ次元特徴にｎ次元特徴を変換する特徴選択関数を生成し、特徴選択用辞書として記憶媒体に格納する特徴選択辞書生成部と、パターンの類似度を算出するための詳細識別関数を生成し、識別用辞書として記憶媒体に格納する識別関数生成部と、ｎ次元特徴空間の部分空間で、かつ、ｍ次元特徴空間の部分空間であるＬ次元特徴空間上のＬ次元特徴にｍ次元特徴を変換する大分類特徴選択関数を生成し、詳細識別関数をＬ次元特徴空間上の関数として変換することによって大分類識別関数を生成し、大分類特徴選択関数を特徴選択用辞書として記憶媒体に格納し、大分類識別関数を識別用辞書として記憶媒体に格納する識別関数主要部分抽出部と、を備える。
【選択図】図４

Description

本発明は、パターン認識装置に関し、特に認識の高速化のための大分類手法に関する。

パターン認識装置は、入力パターンを認識し、その所属カテゴリを判定する装置である。パターンとしては、画像データや音声データなどが挙げられる。例えば、文字認識の場合には、パターンは画像である。カテゴリは、識別対象となるパターンの類別である。例えば、文字認識において、数字認識の場合のカテゴリは「０」〜「９」の１０字種、漢字認識の場合のカテゴリは数千字種となる。

パターン認識装置が文字認識装置の場合、文字認識装置は、入力画像中の文字が予め設定された字種（カテゴリ）のうち、どの字種（カテゴリ）に該当するかを判定し、判定結果を出力する。

パターン認識装置が実行する処理は、学習フェーズと認識フェーズとから構成される。

学習フェーズでは、パターン認識装置が、学習用パターンＤＢ（データベース）を用いて特徴選択用辞書と識別用辞書とを作成する。

具体的には、学習フェーズでは、大分類識別関数と詳細識別関数とが生成され、生成された詳細識別関数と大分類識別関数とが識別用辞書に格納される。大分類識別関数は、正解候補を大雑把に絞るために用いる関数である。詳細識別関数は、絞り込まれた正解候補の類似度を算出するための関数である。

詳細識別関数の生成アルゴリズムとしては、最近傍法、パーセプトロン、改良投影距離法、修正二次識別、一般学習ベクトル量子化、多項式ネットワーク、及びサポートベクトルマシンなどがある（例えば、非特許文献１、非特許文献２参照）。

大分類識別関数を生成するアルゴリズムとしては、詳細識別関数よりも精度は劣るが高速な識別関数を用いる方法と、識別するカテゴリの数を減らして大分類を行う方法とがある。

高速な識別関数を用いる方法としては、例えば、線型識別関数などの計算量が少ない識別関数を大分類用に用いる方法である。前述した方法は、計算量が少ない識別関数を用いる点を除いて、詳細識別関数を生成するアルゴリズムと同様である。

識別するカテゴリの数を減らして大分類を行う方法は、認識対象のカテゴリをいくつかにまとめたり、分布をクラスタ化したりすることで行われる。例えば、アルファベットの認識で、特徴空間上で近い文字種（「Ｉ」と「ｌ」、又は「Ｋ」と「ｋ」など）を同一カテゴリとして扱うなどの方法がある。

より具体的には、大分類識別関数を生成するアルゴリズムとして、線型判別関数を用いた手法（例えば、非特許文献１参照）や、一般学習ベクトル量子化を用いたクラスタリング手法（例えば、特許文献１参照）などが使われる。

認識フェーズでは、パターン認識装置が、作成された特徴選択用辞書と識別用辞書とを用いて、入力パターンを認識する。認識フェーズでは、大分類識別処理と詳細識別処理とが実行される。

まず、大分類識別処理が実行される目的について説明する。

大分類識別処理は、詳細識別関数を用いた詳細識別処理よりも粗い識別処理を高速に行い、全カテゴリの中から正解カテゴリとなる候補を絞るための処理である。

詳細識別処理のみが実行される場合、パターン認識装置は、全カテゴリに対して処理を実行する必要がある。しかし、前述の方法では、例えば、数千カテゴリ以上を認識対象とする漢字認識などでは、処理時間が莫大となる。そのため、パターン認識装置は、大分類識別処理と、詳細識別処理との二段階の識別処理を実行することによって処理を高速化する。

大分類識別処理では、正解候補が大雑把に絞り込まれる。例えば、漢字認識では、大分類識別処理を実行することによって、正解候補が数十個から数百個程度に絞られる。詳細分類では、絞られた正解候補カテゴリの各々に対する類似度が、詳細識別関数を用いて算出される。

パターン認識では、認識処理の高速化のため、まず、高速に計算できる大分類識別関数を用いて、正解候補カテゴリを絞る粗い識別処理が実行される。その後、正解候補カテゴリに対して詳細識別関数を用いて、正解候補カテゴリの各々に対する入力パターンの類似度が算出され、最終的な認識結果が出力される。

従来の大分類識別処理及び詳細識別処理の方法として、テンプレート方式を用いた大分類方法がある。

前述の方法では大分類識別処理のために、予め学習用パターンＤＢを用いた学習によって、特徴空間上に１個又は複数個のカテゴリを代表する代表ベクトルを複数個用意しておく。

認識フェーズ時には、パターン認識装置が、代表ベクトルと入力パターンとの距離を算出し、入力パターンとの距離が近い代表ベクトルが代表するカテゴリ群に含まれるカテゴリを正解候補カテゴリとする。パターン認識装置は、前述のようにして算出された正解候補カテゴリの各々に対して、詳細識別処理を実行する。前述の場合、通常、詳細識別処理にもテンプレート方式の方法が用いられる。すなわち、予め、各カテゴリを代表する代表ベクトルを学習によって作成しておき、認識フェーズ時には、パターン認識装置が、入力パターンと代表ベクトルとの距離から入力パターンと各々のカテゴリとの類似度を算出する。

特許第３４７５８８６号明細書

Mohammed Cheriet, Nawwaf Kharma, Cheng lin Liu, and Ching Suen. Character Recognition Systems: A Guide for Students and Practitioners. Wiley-Interscience, 2007. 石井健一郎, 上田修功, 前田英作, 村瀬洋. パターン認識. オーム社出版局. Liu, C. L., Sako, H., Fujisawa, H. Performance evaluation of pattern classifier for handwritten character recognition, International Journal of Document Analysis and Recognition, Vol.4, No.3, pp.191-204.

しかし、テンプレート方式を用いた大分類識別処理は、精度上の問題がある。特に、手書き文字認識においてテンプレート方式を用いた大分類識別処理が実行された場合、テンプレート方式を用いた認識精度は、ニューラルネットワークやサポートベクトルマシンを用いた認識精度よりも低いことが実験によって確認されている（例えば、非特許文献３参照）。

また、大分類識別処理のみにテンプレート方式を用い、詳細識別処理は他の学習アルゴリズムを用いる場合、学習アルゴリズム及び認識アルゴリズムが大分類識別処理と詳細識別処理とで異なることになるため、構成が煩雑になるという実装上の問題がある。

また、従来の大分類識別処理及び詳細識別処理の方法として、大分類識別処理では線型関数などの精度は劣るが計算量が少ない大分類識別関数を用い、詳細識別処理は精度が高い識別関数を用いる方法がある。前述の方法を用いた場合も、同様に、大分類識別関数の精度上の問題と、大分類識別処理及び詳細識別処理で学習アルゴリズムが二重になるという構成上の煩雑さの問題とがある。

本発明の代表的な一例を示せば、以下の通りである。プロセッサと、前記プロセッサに接続された記憶媒体とを備えるパターン認識用辞書生成装置であって、前記記憶媒体には、複数の学習用のパターンから構成される学習用パターンデータベースが格納され、前記パターン認識用辞書生成装置は、前記学習用パターンデータベースから、各々の前記学習用のパターンを一つのカテゴリとして取得するパターン入力部と、前記取得されたカテゴリ毎にｎ次元特徴を抽出する特徴抽出部と、前記抽出されたｎ次元特徴を用いて、前記ｎ次元以下の次元であるｍ次元特徴に前記ｎ次元特徴を変換する特徴選択関数を生成し、前記生成された特徴選択関数を特徴選択用辞書として前記記憶媒体に格納する特徴選択辞書生成部と、前記特徴選択関数を用いて、前記抽出されたｎ次元特徴を前記ｍ次元特徴に変換する特徴選択部と、前記変換されたｍ次元特徴を用いて、各カテゴリに対する認識対象のパターンの類似度を算出するためのｍ次元特徴空間上の詳細識別関数を生成し、前記生成された詳細識別関数を識別用辞書として前記記憶媒体に格納する識別関数生成部と、前記ｍ次元以下の次元であり、前記ｎ次元特徴空間の部分空間で、かつ、前記ｍ次元特徴空間の部分空間であるＬ次元特徴空間上のＬ次元特徴に前記ｍ次元特徴を変換する大分類特徴選択関数を生成し、前記詳細識別関数を前記Ｌ次元特徴空間上の関数として変換することによって前記Ｌ次元特徴空間上で各カテゴリに対する前記認証対象のパターンの類似度を算出するための大分類識別関数を生成し、前記生成された大分類特徴選択関数を前記特徴選択用辞書として前記記憶媒体に格納し、前記生成された大分類識別関数を前記識別用辞書として前記記憶媒体に格納する識別関数主要部分抽出部と、を備えることを特徴とする。

Ｌ次元特徴空間上の関数として算出された大分類識別関数を詳細識別関数に用いることによって、パターン認識の処理の精度を保ち、かつ、高速化することができる。また、大分類識別関数は、詳細識別関数から生成されるため、大分類処理と詳細分類処理との学習アルゴリズムの構成を容易にすることができる。

本発明の第１の実施形態のパターン認識装置の構成の一例を示すブロック図である。 本発明の第１の実施形態のパターン認識装置における学習フェーズの処理を実行するモジュールとＤＢ（データベース）の構成を説明するフローチャートである。 本発明の第１の実施形態のパターン認識装置における認識フェーズの処理を実行するモジュールとＤＢ（データベース）の構成を説明するフローチャートである。 本発明の第１の実施形態の識別関数主要部分抽出部が実行する処理を説明するフローチャートである。 本発明の第１の実施形態の文字認識における特徴抽出部が実行する処理の一例を説明するフローチャートである。 従来のパターン認識装置における学習フェーズの処理を説明するフローチャートである。 従来のパターン認識装置における認識フェーズの処理を説明するフローチャートである。 従来のパターン認識装置の一連の処理の流れを示すフローチャートである。

まず従来技術について説明する。

従来の学習フェーズにおける処理を実行するモジュールとＤＢ（データベース）の構成図を図６に示し、従来の認識フェーズにおける処理を実行するモジュールとＤＢの構成図を図７に示す。学習フェーズと認識フェーズとをまとめると、図８に示す構成となる。

図６は、従来のパターン認識装置における学習フェーズの処理を説明するフローチャートである。

パターン入力部２０１は、学習用パターンＤＢ２０７からパターンを取得し、取得されたパターンを特徴抽出部２０２に出力する。

特徴抽出部２０２は、入力されたパターンからｎ次元ベクトルを抽出する。以下、特徴抽出部２０２で抽出されるｎ次元ベクトルをｎ次元特徴とよぶ。

抽出されたｎ次元特徴は、特徴選択辞書生成部２０３と特徴選択部２０４とに出力される。

特徴抽出部２０２が実行する処理によって、パターン認識の対象のデータが音声又は画像であっても、入力されたパターンはｎ次元ベクトルとして表現される。したがってパターン認識装置は、パターンの種類に関わらず同一の処理を適用することができる。

以降の特徴選択辞書生成部２０３は、特徴選択用辞書２０８を生成するために複数のパターンのｎ次元特徴を必要とする場合がある。この場合、ｎ次元特徴が必要となるたびにパターン入力部２０１及び特徴抽出部２０２が処理を実行し、必要なｎ次元特徴を抽出してもよい。

また、パターン入力部２０１及び特徴抽出部２０２が予め全ての学習用パターンについて処理を実行してｎ次元特徴に変換し、当該ｎ次元特徴を外部記憶装置１０７（図１参照）などに格納しておき、特徴選択辞書生成部２０３が必要となるたびに外部記憶装置１０７からｎ次元特徴を取得する方法でもよい。

特徴選択辞書生成部２０３は、ｎ次元特徴をｍ次元特徴（ｍ≦ｎ）に変換するための変換関数を生成し、生成された変換関数を特徴選択用辞書２０８に格納する。

例えば、ｎ次元特徴をｘ、ｍ次元特徴をｙと表すと、変換関数ｆは、ｙ＝ｆ（ｘ）と表される。変換を線型変換に限定した場合、ｍ×ｎ行列Ｙを用いて、ｙ＝Ｙｘと表すことができる。また、カテゴリ毎に異なる変換関数を用いてｎ次元特徴をｍ次元特徴に変換する場合もある。この場合、カテゴリｋのｍ次元特徴ｙｋは、カテゴリｋの変換関数ｆｋを用いて、ｙｋ＝ｆｋ（ｘ）と表される。この場合、特徴選択辞書生成部２０３は、変換関数ｆ又はカテゴリ毎の変換関数ｆｋを生成し、生成された変換関数ｆ又はｆｋを特徴選択用辞書２０８に格納する。

変換関数を生成する方法としては、主成分分析法や線型判別法などを用いる方法が考えられる。特徴選択の目的は、ｎ次元特徴から識別処理において有効な成分を抽出し、ｎ次元特徴の次元数を削減することによって、認識処理の高速化と高精度化とを実現するためである。

特徴選択部２０４は、特徴選択用辞書２０８に格納されている変換関数を用いて、ｎ次元特徴をｍ次元特徴に変換する。変換関数をｆとすると、ｎ次元特徴ｘに対してｍ次元特徴ｙは、ｙ＝ｆ（ｘ）と表される。また、カテゴリ毎に異なる変換を行う場合、カテゴリ毎のｍ次元特徴ｙｋは、ｙｋ＝ｆｋ（ｘ）と表される。変換されたｍ次元特徴は、識別用辞書生成部２０５に出力される。

以降の識別用辞書生成部２０５は、識別用辞書２０９を生成するために複数のパターンのｍ次元特徴を必要とする場合がある。この場合、ｍ次元特徴が必要となるたびにパターン入力部２０１、特徴抽出部２０２及び特徴選択部２０４が処理を実行し、識別用辞書生成部２０５が必要なｍ次元特徴を取得してもよい。

また、パターン入力部２０１、特徴抽出部２０２及び特徴選択部２０４が予め全ての学習用パターンについて処理を実行してｍ次元特徴に変換し、当該ｍ次元特徴を外部記憶装置１０７（図１参照）などに格納しておき、識別用辞書生成部２０５は必要となるたびに外部記憶装置１０７からｍ次元特徴を取得する方法であってもよい。

識別用辞書生成部２０５は、詳細識別関数を生成する処理と大分類識別関数を生成する処理との２つの処理から構成される。

詳細識別関数を生成する処理では、学習用パターンＤＢ２０７に格納されたパターンから生成されたｍ次元特徴と、当該ｍ次元特徴が所属カテゴリを示すラベルの集合とを用いて、詳細識別関数が生成される。

また、大分類識別関数を生成する処理では、同様に、学習用パターンＤＢ２０７に格納されたパターンから生成されたｍ次元特徴と、当該ｍ次元特徴が所属カテゴリを示すラベルの集合とを用いて、詳細識別関数が生成される。生成された詳細識別関数と大分類識別関数とは識別用辞書２０９に記憶される。

まず、詳細識別関数を生成する処理について説明する。当該処理では、学習用パターンＤＢ２０７を用いて詳細識別関数が生成され、生成された詳細識別関数は識別用辞書２０９に格納される。

詳細識別関数はカテゴリ毎に存在する。カテゴリｋの詳細識別関数ｕｋは、パターンのカテゴリｋに対する類似度を算出するための関数である。パターンのカテゴリｋに対する類似度は、ｕｋ（ｙ）で算出される。また、カテゴリ毎に異なるｍ次元特徴ｙｋが抽出された場合、パターンのカテゴリｋに対する類似度は、ｕｋ（ｙｋ）で算出される。

詳細識別関数の生成アルゴリズムは、最近傍法、パーセプトロン、改良投影距離法、修正二次識別、一般学習ベクトル量子化、多項式ネットワーク、及びサポートベクトルマシンなどがある（例えば、非特許文献１、非特許文献２参照）。

次に、大分類識別関数を生成する処理について説明する。当該処理では、学習用パターンＤＢ２０７を用いて大分類識別関数が生成され、生成された大分類識別関数は識別用辞書２０９に格納される。

まず、大分類識別処理を実行する目的について説明する。

大分類識別関数は、詳細識別関数を用いた詳細識別処理よりも粗い識別処理を高速に行い、全カテゴリの中から正解カテゴリとなる候補を絞るためのものである。

詳細識別関数のみが実行される場合、パターン認識装置は、全カテゴリに対してパターンの各々のカテゴリに対する類似度を、詳細識別関数ｕｋ（ｙ）又はｕｋ（ｙｋ）を用いて算出しなければならない。

しかし、前述した方法では、例えば、数千カテゴリ以上を認識対象とする漢字認識などでは、処理時間が莫大となる。そのため、大分類識別処理及び詳細識別処理の二段階の処理によって識別処理を高速化する。大分類識別処理では、正解候補が大雑把に絞り込まれる。

大分類識別関数を生成するアルゴリズムとしては、詳細識別関数よりも精度は劣るが高速な識別関数を用いる方法と、識別するカテゴリの数を減らして大分類を行う方法とがある。

高速な識別関数を用いる方法としては、例えば、線型識別関数などの計算量が少ない識別関数を大分類用に用いる方法である。前述した方法は、計算量が少ない識別関数を用いる点を除いて、詳細識別関数の生成アルゴリズムと同様である。

識別するカテゴリの数を減らして大分類を行う方法は、複数のカテゴリをまとめて一つのカテゴリとして扱い識別対象となるカテゴリ数を減らしたり、分布をクラスタ化したりすることで行われる。例えば、アルファベットの認識で、特徴空間上で近い文字種（「Ｉ」と「ｌ」、又は「Ｋ」と「ｋ」など）を同一カテゴリとして扱うなどの方法がある。

大分類識別関数には、詳細識別関数とは異なる特徴空間が用いられる場合がある。前述の場合、大分類識別処理用の特徴選択関数が生成され、生成された大分類識別処理用の特徴選択関数が特徴選択用辞書２０８に格納される。大分類識別処理に用いられる特徴をｚ、変換関数をｇと表すと、大分類識別処理に用いられる特徴はｚ＝ｇ（ｘ）と算出される。大分類カテゴリｃの大分類識別関数をｖｃと表すと、カテゴリｃに対する類似度は、大分類識別関数ｖｃ（ｚ）によって算出される。

図７は、従来のパターン認識装置における認識フェーズの処理を説明するフローチャートである。

パターン入力部２０１は、認識対象パターンＤＢ３０４からパターンを取得し、取得されたパターンを特徴抽出部２０２に出力する。

特徴抽出部２０２は、入力されたパターンからｎ次元特徴を抽出し、抽出されたｎ次元特徴を特徴選択部２０４に出力する。

特徴選択部２０４は、特徴選択用辞書２０８に格納されている変換関数を用いて、ｎ次元特徴をｍ次元特徴に変換する。ｍ次元特徴ｙは、変換関数ｆを用いてｙ＝ｆ（ｘ）と表される。カテゴリ毎に異なる変換が行われる場合、カテゴリｋのｍ次元特徴ｙｋは、変換関数ｆｋを用いてｙｋ＝ｆｋ（ｘ）と表される。変換されたｍ次元特徴は、大分類識別部３０１に出力される。

また、大分類識別処理において、詳細識別処理とは異なる特徴ｚが用いられる場合、大分類用の特徴選択関数ｇを用いてｚ＝ｇ（ｘ）が算出され、大分類識別部３０１に出力される。カテゴリ毎に異なる特徴が用られる場合、大分類カテゴリｃ毎に特徴ｚｃ＝ｇｃ（ｘ）が算出され、算出された特徴ｚｃが大分類識別部３０１に出力される。

大分類識別部３０１は、識別用辞書２０９に格納されている大分類識別関数を用いて、入力されたパターンが所属する正解カテゴリの候補を算出し、ｍ次元特徴と正解カテゴリ候補とを詳細識別部３０２に出力する。

詳細識別部３０２は、識別用辞書２０９に格納されている詳細識別関数を用いて、正解候補カテゴリに対する、入力されたパターンの類似度を算出し、算出された類似度を認識結果出力部３０３に出力する。

認識結果出力部３０３は、正解候補カテゴリに対する類似度を用いて、最終的な認識結果を出力する。

通常、最も類似度が高いカテゴリを認識結果として出力する。なお、類似度が二番目以降のカテゴリも、二位候補、三位候補、などとして出力する場合もある。

また、類似度が指定閾値よりも小さい場合、どのカテゴリにも該当しないとして、棄却する場合がある。例えば、数字認識の場合に、漢字が入力された場合などが該当する。また、類似度の第一位と第二位との差が指定閾値よりも小さい場合には、どちらのカテゴリであるかを判定することが難しいとして、棄却する場合がある。例えば、アルファベットの「Ｉ」や「ｌ」と数字の「１」など、フォントによっては識別し難いため、棄却する。

ここで、「棄却する」は、入力されたパターンに対して該当するカテゴリが無い旨を示す情報を出力する等が考えられる。

大分類識別部３０１と詳細識別部３０２とにおいて、大分類識別処理と詳細識別処理との二段階の識別処理を実行する目的は、識別処理の高速化である。まず、粗い識別処理によって大雑把に正解候補を絞り、絞られた正解候補に対して詳細な識別処理を実行する。

大分類識別処理に用いられる大分類識別関数は、高速に計算できること、及び大分類識別関数によって算出される正解候補カテゴリの中に正解カテゴリが高精度で含まれることが要求される。

大分類識別処理に用いられる大分類識別関数の作成には、線型判別関数を用いたもの（例えば、非特許文献１参照）や、一般学習ベクトル量子化を用いたクラスタリング手法（例えば、特許文献１参照）などが使われる。

パターン認識では、認識処理の高速化のため、まず、高速に計算できる大分類識別関数によって、正解候補カテゴリを絞る粗い識別処理が実行される。その後、正解候補カテゴリに対して詳細識別関数を用いて、正解候補カテゴリの各々に対する入力パターンの類似度が算出され、最終的な認識結果が出力される。

従来の大分類識別処理及び詳細識別処理の方法として、テンプレート方式を用いた大分類方法がある。

前述の方法では大分類識別処理のために、予め学習用パターンＤＢを用いた学習によって、特徴空間上に１個又は複数個のカテゴリを代表する代表ベクトルを複数個用意しておく。

認識フェーズ時には、パターン認識装置は、代表ベクトルと入力パターンとの距離を算出し、入力パターンとの距離が近い代表ベクトルが代表するカテゴリ群に含まれるカテゴリを正解候補カテゴリとする。前述のようにして算出された正解候補カテゴリの各々に対して詳細識別処理が実行される。この場合、通常、詳細識別処理にもテンプレート方式の方法が用いられる。すなわち、予め、各カテゴリを代表する代表ベクトルを学習によって作成しておき、認識フェーズ時には、パターン認識装置が、入力パターンと代表ベクトルとの距離から入力パターンと各々のカテゴリとの類似度を算出する。

図８は、従来のパターン認識装置の一連の処理の流れを示すフローチャートである。各モジュールが実行する処理は、図６及び図７と同一であるため説明を省略する。

（第１の実施形態）
本発明のパターン認識装置の実施例について、図表を参照しながら説明する。

図１は、本発明の第１の実施形態のパターン認識装置の構成の一例を示すブロック図である。

パターン認識装置１０１は、入力装置１０２、表示装置１０３、パターン取得装置１０４、通信装置１０５、演算装置（ＣＰＵ）１０６、及び外部記憶装置１０７を備える。

入力装置１０２は、演算装置（ＣＰＵ）１０６で実行されるプログラムの制御、その他接続機器の制御のために実行されるコマンド等を入力するための装置である。入力装置１０２は、例えば、コマンド等を入力するためのキーボードやマウス等である。

表示装置１０３は、処理内容を表示するディスプレイ等の装置である。

パターン取得装置１０４は、スキャナやマイク等のパターンを取得するための装置である。取得されたパターンは、外部記憶装置１０７等に格納されてもよい。

通信装置１０５は、ＰＣやサーバ等の外部機器との間でデータのやりとりを行うために用いられる装置である。通信装置１０５は、外部機器から送信される実行コマンドの取得、外部機器から画像や音声などのパターンを取得する。また、通信装置１０５は、パターン認識装置１０１において実行される処理の内容を外部機器に送信する。

演算装置（ＣＰＵ）１０６は、外部記憶装置１０７に格納されるプログラム等を実行し、認識処理を実行する装置である。例えば、演算装置（ＣＰＵ）１０６は、学習用パターンＤＢ２０７（図２参照）を用いて特徴選択用辞書５０３（図２参照）及び識別用辞書５０４（図２参照）を作成し、また、特徴選択用辞書５０３（図２参照）と識別用辞書５０４（図２参照）を用いての認識対象パターンの認識処理等を実行する。

外部記憶装置１０７は、ＨＤＤ及びメモリ等の外部記憶装置である。外部記憶装置１０７には、学習用パターンＤＢ２０７（図２参照）、認識対象パターンＤＢ３０４（図３参照）、特徴選択用辞書５０３（図２参照）及び識別用辞書５０４（図２参照）が格納される。また、外部記憶装置１０７は、演算装置（ＣＰＵ）１０６が処理を実行するためのプログラム（モジュール）を格納し、また、演算装置（ＣＰＵ）１０６が実行する処理の処理結果等を一時的に格納する。

なお、パターン認識装置１０１は、入力装置１０２、表示装置１０３、パターン取得装置１０４、又は通信装置１０５を備えていなくてもよい。

パターン認識装置１０１が入力装置１０２を備えていない場合、通信装置１０５を用いて外部機器から処理の開始を指示する方法、又は、時刻指定等によって処理を自動的に実行する方法を用いることが考えられる。

パターン認識装置１０１が表示装置１０３を備えていない場合、通信装置１０５を用いて外部機器に処理結果を送信する方法、又は、外部記憶装置１０７に処理結果を格納する方法が考えられる。

処理を実行するモジュールへの出力及び入力は、外部記憶装置１０７を介して行ってもよい。例えば、処理を実行するモジュールを処理部１及び処理部２とする場合、処理部１で実行された処理結果を処理部２が入力として受け取る場合、処理部１が処理結果を外部記憶装置１０７に格納しておき、処理部２が外部記憶装置１０７に格納されている処理結果を入力として取得してもよい。

ユーザは、入力装置１０２を用いて処理を実行するモジュールを制御する。また、処理の実行結果は、表示装置１０３を介して表示される。

次に、本発明の実施形態におけるパターン認識装置１０１が実行する処理について説明する。

パターン認識装置１０１が実行する処理は、学習フェーズと認識フェーズから構成される。学習フェーズでは、学習用パターンＤＢ２０７（図２参照）を用いて特徴選択用辞書５０３（図２参照）と識別用辞書５０４（図２参照）とが作成される。認識フェーズでは、特徴選択用辞書５０３（図２参照）と識別用辞書５０４（図２参照）とを用いて、入力パターンが認識される。

図２は、本発明の第１の実施形態のパターン認識装置１０１における学習フェーズの処理を実行するモジュールとＤＢ（データベース）の構成を説明するフローチャートである。図３は、本発明の第１の実施形態のパターン認識装置１０１における認識フェーズの処理を実行するモジュールとＤＢ（データベース）の構成を説明するフローチャートである。

なお、パターン認識装置１０１は、学習フェーズにおける処理を実行する装置（認識辞書生成装置）と認識フェーズにおける処理を実行する装置（認識装置）とから構成されていてもよい。その場合、認識辞書生成装置は、図２に示すモジュールを備え、学習用パターンＤＢ２０７を用いて特徴選択用辞書５０３と識別用辞書５０４とを生成する。また、認識装置は、図３に示すモジュールを備え、認識辞書生成装置によって生成された特徴選択辞書５０３と識別用辞書５０４とを用いて、入力パターンを認識する。

本発明では、従来の課題を解決するため、学習フェーズにおいて、大分類用特徴変換関数と大分類識別関数とをそれぞれ特徴選択用辞書５０３と識別用辞書５０４とに出力する識別関数主要部分抽出部５０２を、パターン認識装置１０１が備えることに特徴がある。

また、本発明は、認識フェーズにおいて、学習フェーズで生成された特徴選択用辞書５０３を用いて大分類用の特徴を生成する大分類特徴選択部６０１、識別用辞書５０４を用いて大分類識別処理を実行する大分類識別部６０２、大分類識別処理で取得された正解候補カテゴリに対して、詳細な識別処理を実行する詳細識別部６０３を、パターン認識装置１０１が備えることに特徴がある。

より具体的には、本発明では、詳細分類識別関数を低次元の部分特徴空間に制限して生成された関数が大分類識別関数として用いられる。当該低次元の部分特徴空間は、詳細分類用の識別関数の振る舞いをよく記述するように選択される。したがって、本発明における大分類識別関数は、詳細分類識別関数を近似したものとみなすことができる。

本発明では、任意の学習アルゴリズムによって作成された詳細分類用の識別関数から大分類識別関数が作成されるため、パターン認識装置１０１は、精度が高い識別関数を用いることで、認識精度を向上させることができる。また、本発明における大分類識別関数は、詳細分類用の識別関数を部分特徴空間に制限したものであるため、大分類識別処理と詳細識別処理とで学習アルゴリズムが異なるという構成の煩雑さも回避できる。

以下では、各フェーズの処理について図２を用いて説明する。まず、学習フェーズについて説明する。

パターン認識装置１０１は、学習フェーズのモジュール及びＤＢとして、パターン入力部２０１、特徴抽出部２０２、特徴選択辞書生成部２０３、特徴選択部２０４、識別関数生成部５０１、識別関数主要部分抽出部５０２、学習用パターンＤＢ２０７、特徴選択用辞書５０３、及び識別用辞書５０４を備える。

学習フェーズでは、パターン認識装置１０１は、学習用パターンＤＢ２０７を用いて、認識フェーズで用いる特徴選択用辞書５０３と識別用辞書５０４とを生成する。

学習用パターンＤＢ２０７は、学習用に予め作成され、所属カテゴリを示す正解ラベルが付与されたパターンをの集合である。学習用のパターンは、パターン取得装置１０４などを用いて作成される。

パターンは、例えば、画像データや音声データなどである。パターンの個数は、通常数十個以上であり、数千万個となる場合もある。例えば、漢字認識の場合、数千万個以上のパターンが格納される学習用パターンＤＢ２０７が学習用に用いられる。

正解ラベルは、例えば、認識対象のカテゴリの各々に番号を対応させて表現してもよいし、文字認識の場合には、ＥＵＣコード、ＪＩＳコード又はＳＪＩＳコードなどの文字コードを用いてもよい。後述する処理では、処理中のパターンの正解ラベルが分かるように、パターンと正解ラベルとの対応関係が失われないようにしておく。例えば、パターンのヘッダ部分に、当該パターンが所属カテゴリを示すラベルを記録しておくなどとすればよい。

なお、学習用パターンＤＢ２０７、特徴選択用辞書５０３及び識別用辞書５０４は、外部記憶装置１０７によって実現される。

パターン入力部２０１は、学習用パターンＤＢ２０７から学習用に用いるパターンを取得し、取得されたパターンを特徴抽出部２０２に出力する。

特徴抽出部２０２は、パターン入力部２０１から入力された各パターンから認識に有効な成分としてｎ次元ベクトルを抽出する。このとき生成されるｎ次元ベクトルをｎ次元特徴とよぶ。これによって、各パターンは、ｎ次元特徴として表現される。抽出されたｎ次元特徴は、特徴選択辞書生成部２０３及び特徴選択部２０４に出力される。

以降の特徴選択辞書生成部２０３は、特徴選択用辞書５０３を生成するために複数のパターンのｎ次元特徴を必要とする場合がある。この場合、ｎ次元特徴が必要となるたびにパターン入力部２０１及び特徴抽出部２０２が処理を実行し、特徴選択辞書生成部２０３が必要なｎ次元特徴を取得してもよい。

また、パターン入力部２０１及び特徴抽出部２０２が予め全ての学習用パターンについて処理してｎ次元特徴に変換し、当該ｎ次元特徴を外部記憶装置１０７などに格納しておき、特徴選択辞書生成部２０３が必要となるたびに外部記憶装置１０７からｎ次元特徴を取得する方法であってもよい。

特徴抽出部２０２が処理を実行することによってパターンは、ｎ次元特徴として表現される。この処理によって、入力されたデータが音声であっても画像であっても、パターンはｎ次元ベクトル値として表現されるため、パターン認識装置１０１は、パターンの種類に関わらず同一の処理を適用することができる。

ここで、例として、文字認識における特徴抽出部２０２の処理について説明する。

図５は、本発明の第１の実施形態の文字認識における特徴抽出部２０２が実行する処理の一例を説明するフローチャートである。

入力ステップ８０１では、特徴抽出部２０２が、パターン入力部２０１から出力された画像を取り込む。

前処理ステップ８０２では、特徴抽出部２０２が、取り込まれた入力画像に対してノイズ除去及びぼかし処理等を実行し、文字認識に障害となる要因となるノイズ及びかすれ等を除去する。例えば、ノイズ除去処理では、ある閾値以下の大きさの孤立点が除去される。

正規化ステップ８０３では、特徴抽出部２０２が、前処理が実行された画像の各々を予め指定された固定サイズの画像に変換する。当該処理によって、様々なサイズの入力画像の大きさを揃えることができ、画像サイズに依存する処理を統一することができる。

正規化法には、線型正規化法、非線型正規化法、又はモーメント正規化法などがある（非特許文献１参照）。例えば、入力画像が２値画像の場合、線型正規化法では、文字部分を示す黒画素を囲む最小の矩形によって囲まれる部分画像を固定サイズの画像に拡大又は縮小することで正規化画像が生成される。

文字特徴抽出ステップ８０４では、特徴抽出部２０２が、正規化によって生成された画像をｎ次元特徴に変換する。

一例として、最も簡単な画素特徴抽出について説明する。画素特徴抽出では、各画素の画素値を特徴として用いる。例えば、入力画像が縦横２０×２０のグレー画像で、各画素の画素値が０〜２５５の整数値で表現されている場合、画素数は４００となり、抽出される特徴は４００次元特徴となる。４００次元特徴の各成分は、入力画像の０〜２５５の画素値である。

出力ステップ８０５では、特徴抽出部２０２が、変換されたｎ次元特徴を特徴選択辞書生成部２０３及び特徴選択部２０４に出力する。

以上が、文字認識における特徴抽出部２０２の処理の一例である。

図２の説明に戻る。

特徴選択辞書生成部２０３は、後述する特徴選択部２０４がｎ次元特徴からｍ次元特徴を抽出するために用いられる特徴選択用辞書を生成する。

ここで、まず、ｎ次元特徴からｍ次元特徴を抽出する理由について説明する。

特徴抽出部２０２が抽出したｎ次元特徴からｍ次元特徴を抽出する目的は、認識処理の高精度化と高速化とを実現するためである。

まず、高速化について説明する。パターン認識装置１０１が学習又は認識するの時に要する計算量は、少なくとも次元数のべき乗のオーダーとなる。

例えば、ｎ×ｎの共分散行列が用いられる計算においては、ｎの二乗のオーダーの計算量を要する。また、識別関数の次数がｓの場合、識別関数の計算にｓ乗のオーダーの計算量を要する。

したがって、計算量を抑えるためには、識別処理への寄与が低い特徴成分を削減し、次元数を削減することが必要となる。また、次元数が大きくなると、互いに相関の高い特徴が混入する割合が大きくなり、計算量に見合った効果が得られない。そのため、相関が高い特徴を統合することによって、計算量を削減することが有効である。

次に、高精度化について説明する。パターン認識装置１０１が高次元空間において有限個の学習パターンから識別関数を生成する場合、次元数を高くすると精度の低下を招く。これは、次元数の増加に応じて識別関数の推定パラメータ数が増大し、有限個の学習パターンを用いたパラメータの推定が、統計的に信頼性の低くなるためである。したがって、識別処理への寄与が小さい特徴を取り除き、特徴の次元数を適度に小さくする方が、認識処理の高精度化に有効である。

前述した理由によって、ｎ次元特徴がｍ次元特徴に変換される。

特徴選択辞書生成部２０３は、特徴抽出部２０２によって生成された学習パターンのｎ次元特徴を用いて、ｎ次元特徴をｍ次元特徴に変換する変換関数を生成する。生成された変換関数は、特徴選択用辞書５０３に格納される。線型変換である場合変換関数は行列で表される。

変換関数の生成には、例えば、主成分分析や線型判別法などが用いられる。ｍ次元特徴への変換は、カテゴリ毎に異なる関数で行われる場合もある。その場合、カテゴリ毎に変換関数が作成される。

ここで、一例として、主成分分析による特徴選択関数の生成について説明する。主成分分析では、まず、特徴選択辞書生成部２０３が学習パターンの分布の共分散行列を算出する。次に、特徴選択辞書生成部２０３は、共分散行列の固有値の大きい順にｍ個の固有ベクトルを選択し、ｎ次元特徴を各々の固有ベクトルに射影したｍ個の特徴を成分とするｍ次元特徴を選択する。ｍ個の固有ベクトルをｐｉ(ｉ＝１、…ｍ)とおくと、ｍ次元特徴ｙの第ｉ成分ｙｉは、ｘとｐｉとの内積ｙｉ＝ｘ・ｐｉによって与えられる。したがって、主成分分析を用いて生成される変換関数は、ｍ個の固有ベクトルを行ベクトルとするｍ×ｎ行列Ｙで表される。具体的には、ｎ次元特徴をｘ、ｍ次元特徴をｙと表すと、変換行列Ｙはｙ＝Ｙｘと表される。

特徴選択部２０４は、特徴選択用辞書５０３に格納される変換関数を用いて、ｎ次元特徴をｍ次元特徴に変換する。変換後のｍ次元特徴は、識別関数生成部５０１に出力される。ｎ次元特徴をｘ＝（ｘ１，ｘ２，…，ｘｎ）、変換後のｍ次元特徴をｙ＝（ｙ１，ｙ２，…，ｙｍ）とおくと、変換関数は、以下のように表される。
ｙ１＝ｆ１（ｘ１,ｘ２,…,ｘｎ）
ｙ２＝ｆ２（ｘ１,ｘ２,…,ｘｎ）
・・・・・・・・・・・・・・・・・
ｙｍ＝ｆｍ（ｘ１,ｘ２,…,ｘｎ）
また、線型変換である場合、ｍ×ｎの変換行列Ｙを用いてｙ＝Ｙｘと表される。

また、カテゴリ毎に異なる変換が実行される場合、特徴選択部２０４は、カテゴリ毎に作成された変換関数を用いて、カテゴリｋのｍ次元特徴ｙｋ＝（ｙｋ１,ｙｋ２,…,ｙｋｍ）を算出する。カテゴリｋの変換関数は、以下のように表される。
ｙｋ１＝ｆｋ１（ｘ１,ｘ２,…,ｘｎ）
ｙｋ２＝ｆｋ２（ｘ１,ｘ２,…,ｘｎ）
・・・・・・・・・・・・・・・・・
ｙｋｍ＝ｆｋｍ（ｘ１,ｘ２,…,ｘｎ）
線型変換である場合、ｍ×ｎの変換行列Ｙｋを用いてｙｋ＝Ｙｋｘと表される。

以降の識別関数生成部５０１及び識別関数主要部分抽出部５０２は、詳細識別関数及び大分類識別関数を生成するために複数のパターンのｍ次元特徴を必要とする場合がある。

この場合、ｍ次元特徴が必要となるたびにパターン入力部２０１、特徴抽出部２０２及び特徴選択部２０４が処理を実行して、識別関数生成部５０１及び識別関数主要部分抽出部５０２が必要なｍ次元特徴を取得してもよい。

また、パターン入力部２０１、特徴抽出部２０２及び特徴選択部２０４が予め全ての学習用パターンについて処理を実行してｍ次元特徴に変換し、当該ｍ次元特徴を外部記憶装置１０７などに格納しておき、識別関数生成部５０１及び識別関数主要部分抽出部５０２が必要となるたびに外部記憶装置１０７から取得する方法であってもよい。

識別関数生成部５０１は、ｍ次元特徴を取得し、カテゴリｋに対する認識対象のパターンの類似度を計算するための詳細識別関数ｕｋ（ｘ）を生成する。生成された詳細識別関数は、識別関数主要部分抽出部５０２に出力され、また、識別用辞書５０４に格納される。

詳細識別関数ｕｋ（ｘ）は、表記を統一するためにｘの関数として表記したが、実際には、ｍ次元特徴ｙ又はｙｋに依存する関数である。すなわち、任意の関数ｈを用いて詳細識別関数は、ｕｋ（ｘ）＝ｈｋ（ｙ）＝ｈｋ（ｆ（ｘ））、又は、ｕｋ（ｘ）＝ｈｋ（ｙｋ）＝ｈｋ（ｆｋ（ｘ））と表すことができる。パターンのカテゴリｋに対する詳細識別関数は、ｍ次元特徴ｙを用いて、ｕｋ（ｘ）＝ｈｋ（ｙ）と表される。

特徴選択部２０４がカテゴリ毎に異なるｍ次元特徴ｙｋを生成した場合、識別関数生成部５０１は、詳細識別関数は、ｕｋ（ｘ）＝ｈｋ（ｙｋ）と表される。

詳細識別関数の生成に用いられるアルゴリズムには、最近傍法、パーセプトロン、改良投影距離法、修正二次識別、一般学習ベクトル量子化、多項式ネットワーク、又はサポートベクトルマシンなどがある。

識別関数主要部分抽出部５０２は、詳細識別関数をＬ次元部分特徴空間に制限した大分類識別関数ｖｋを生成し、生成された大分類識別関数ｖｋを識別用辞書５０４に格納する。また、識別関数主要部分抽出部５０２は、ｎ次元特徴をＬ次元部分特徴空間上のＬ次元特徴ｚに変換するための大分類用特徴変換関数ｇを生成し、生成された大分類用特徴変換関数ｇを特徴選択用辞書５０３に出力する。

なお、Ｌ次元部分空間は、ｎ次元特徴空間の部分空間でもあり、かつ、ｍ次元特徴空間の部分空間でもある。

本発明は、識別関数主要部分抽出部５０２に特徴がある。識別関数主要部分抽出部５０２での処理の詳細は、後述する。

以上が、学習フェーズの処理の説明である。次に、認識フェーズについて図３を用いて説明する。

パターン認識装置１０１は、認識フェーズのモジュールとＤＢとして、パターン入力部２０１、特徴抽出部２０２、大分類特徴選択部６０１、大分類識別部６０２、特徴選択部２０４、詳細識別部６０３、認識結果出力部３０３、認識対象パターンＤＢ３０４、特徴選択用辞書５０３、及び識別用辞書５０４を備える。

パターン入力部２０１は、認識対象パターンを取得し、取得された認識対象パターンを特徴抽出部２０２に出力する。認識対象パターンは、予め認識対象パターンＤＢ３０４に格納しておき、認識対象パターンＤＢ３０４から取り込んでもよいし、パターン取得装置１０４又は通信装置１０５から直接取り込んでもよい。なお、認識対象パターンＤＢ３０４は、例えば、外部記憶装置１０７等が考えられる。

特徴抽出部２０２は、パターン入力部２０１によって入力されたパターンからｎ次元特徴を抽出する。特徴抽出部２０２がパターンからｎ次元特徴を抽出する処理は、学習フェーズと同一である。抽出されたｎ次元特徴は、大分類特徴選択部６０１と特徴選択部２０４とに出力される。

大分類特徴選択部６０１は、特徴選択用辞書５０３に格納されている大分類用変換関数ｇを用いて、ｎ次元特徴をＬ次元特徴ｚに変換する。ここで、ｎ次元特徴ｘと大分類用変換関数ｇとを用いると、Ｌ次元特徴ｚはｚ＝ｇ（ｘ）と表される。変換されたＬ次元特徴は、大分類識別部６０２に出力される。

大分類識別部６０２は、識別用辞書５０４に格納されている大分類識別関数ｖｋを用いてパターンの各カテゴリに対する粗い類似度を算出する。さらに、大分類識別部６０２は、算出された類似度を用いて、類似度が高いカテゴリを正解候補カテゴリとして算出する。なお、正解候補カテゴリは、ユーザによって指定された数だけ算出される。例えば、数千カテゴリの字種を認識対象とする漢字認識の場合、正解候補は数十カテゴリ程度に絞られる。

大分類識別部６０２は、正解候補カテゴリを特徴選択部２０４に出力する。なお、大分類識別部６０２が実行する処理の詳細は、後述する。

特徴選択部２０４は、特徴選択用辞書５０３に格納されている変換関数ｆを用いて、ｎ次元特徴をｍ次元特徴に変換する。ｎ次元特徴をｍ次元特徴に変換する処理は、学習フェーズと同一である。カテゴリ毎に異なるｍ次元特徴が抽出される場合、大分類識別部６０２が実行した処理で得られた正解候補カテゴリ毎にｍ次元特徴に変換される。変換されたｍ次元特徴は、詳細識別部６０３に出力される。また、正解候補カテゴリも詳細識別部６０３に出力される。

詳細識別部６０３は、詳細識別関数を用いて、正解候補カテゴリに対する認証対象パターンの類似度を算出する。算出された正解候補カテゴリに対する類似度は、認識結果出力部３０３に出力される。詳細識別部６０３が実行する処理の詳細は、後述する。

認識結果出力部３０３は、算出された正解候補カテゴリに対する認証対象パターンの類似度を用いて、最終的な認識結果を出力する。通常、認識結果出力部３０３は、最も類似度が高いカテゴリを認識結果として出力する。

また、認識結果出力部３０３は、類似度が二番目以降のカテゴリも、二位候補、三位候補、などとして出力する場合もある。

また、類似度が指定閾値よりも小さい場合、認識結果出力部３０３は、どのカテゴリにも該当しないとして、棄却する場合がある。例えば、数字認識の場合に、漢字が入力された場合などが該当する。

また、類似度の第一位と第二位との差が指定閾値よりも小さい場合、認識結果出力部３０３は、どちらのカテゴリであるか判定することが難しいとして、棄却する場合がある。例えば、アルファベットの「Ｉ」や「ｌ」と数字の「１」など、フォントによっては識別することが難しいため、どのカテゴリであるかが判定できない。

認識結果は、表示装置１０３に表示され、通信装置１０５を用いて外部に送信され、又は、外部記憶装置１０７に出力される。

以下では、本発明の特徴である、識別関数主要部分抽出部５０２と、大分類特徴選択部６０１、大分類識別部６０２、及び詳細識別部６０３が実行する処理の詳細について説明する。

まず、識別関数主要部分抽出部５０２が大分類識別関数ｖｋと大分類用特徴変換関数とを生成する方法について説明する。

以下の説明では、特徴選択部２０４がカテゴリ毎に異なるｍ次元特徴ｙｋを抽出した場合について説明する。なお、特徴選択部２０４がカテゴリに依存しないｍ次元特徴ｙを抽出した場合、識別関数主要部分抽出部５０２は、ｙｋをｙに置き換えて同一の処理を実行すればよい。

また、本実施形態における条件として、特徴選択部２０４は、線型関数による変換ｙｋ＝Ｙｋｘによりｎ次元特徴をｍ次元特徴に変換するものとし、詳細識別関数は［数１］に示すような二次以下の関数とする。

まず、識別関数主要部分抽出部５０２が実行する処理の概要を説明した後に、図４に示す各々の処理について説明する。

識別関数主要部分抽出部５０２は、詳細識別関数ｕｋ（ｘ）をＬ次元部分特徴空間に制限した大分類識別関数ｖｋ（ｘ）を生成する。本実施形態では、大分類識別関数ｖｋ（ｘ）として、詳細識別関数ｕｋ（ｘ）をよく近似し、高速に計算できるものが生成される。

識別関数主要部分抽出部５０２は、まず、各々のカテゴリの詳細識別関数ｕｋ（ｘ）を特徴づける特徴軸を選定し、次に、それぞれの選定された特徴軸の重要度を設定する。

次に、識別関数主要部分抽出部５０２は、重要度に基づいて特徴軸を統合する主要軸を算出する。最後に、識別関数主要部分抽出部５０２は、詳細識別関数ｕｋ（ｘ）を主要軸に制限した関数を生成し、当該関数を大分類識別関数ｖｋとして出力する。

［数１］に示した詳細識別関数から分かるように、二次の識別関数の計算量は、特徴空間の次元数ｍの二乗のオーダーである（［数１］の項数は次元数ｍの二乗のオーダーである）。したがって、特徴空間の次元数を制限することによって、詳細識別関数の計算量を抑えることができる。

詳細分類識別関数の依存領域をＬ次元部分特徴空間に制限された大分類識別関数は、詳細分類識別関数よりも高速に計算することができる。本実施形態では、詳細分類識別関数をｍ次元特徴空間のＬ次元部分特徴空間に制限された関数を大分類識別関数とする方法について説明する。

まず、［数１］に示す詳細識別関数を変形する。ここで、行列Ｗｋ及びベクトルｗｋを、それぞれ［数２］及び［数３］で定義する。

［数２］、［数３］及び［数４］を用いて、［数１］は［数５］のように変形される。

Ｗｋは対称行列であるため、任意のユニタリ行列Ｐｋが存在し、ＷｋはＰｋを用いて［数６］に示すように対角化することができる。ここで、対角成分は、［数７］に示すように、対角成分の絶対値が大きい順に並ぶようなＰｋが用いられる。

Ｐｋはユニタリ行列であるため、［数５］は［数８］のように変形できる。

さらに、変換関数ｙｋ＝Ｙｋｘを用いると、ｕｋ（ｙｋ）をｘの関数として表現しなおすことができ、［数８］は［数９］に示すように表現される。

行列ＰｋＹｋの行ベクトルを［数１０］に示すようにｑｋｉ（ｉ＝１、…、ｍ）の転置とおき、また、Ｐｋｗｋを［数１１］のようにおくと、識別関数主要部分抽出部５０２は、［数９］は［数１２］のように変形される。

すなわち、Ｗｋを対角化する行列Ｐｋを求めることができれば、［数１］は、［数６］、［数１０］及び［数１１］を用いて、［数１２］のように変形される。なお、Ｗｋから行列Ｐｋを求めるには、対称行列Ｗｋの固有値問題を解けばよい。

本実施形態では、詳細識別関数ｕｋを特徴づける特徴軸としてｑｋｉが用いられる。

次に、各特徴軸ｑｋｉの重要度ｈｋｉが設定される。重要度の決め方には様々な方法が考えられるが、最も簡単な方法は、［数１７］に示すように特徴軸ｑｋｉを含む項の係数の大きさを重要度として決定する方法が考えられる。

次に、選定された特徴軸を統合する主要軸の算出方法について説明する。

ここでは、統合軸としてｎ次元ベクトルａが選択された場合を考える。このとき、特徴軸ｑｋｉのベクトルａへの射影長は、内積ａ・ｑｋｉで与えられる。

内積の値が大きいほど、ベクトルａへの統合によって失われる特徴軸ｑｋｉの情報量が少ないと考えられる。したがって、［数１８］に示すように、内積の値に特徴軸の重要度をかけたものの合計が大きいほど、ベクトルａへの統合によって失われる特徴軸方向の情報量が少ないといえる。

ここで、Ｋはカテゴリ数である。本実施形態では、［数１８］に示すような量が大きいベクトルａが主要軸として選択される。

さらに、［数１８］は、［数１９］のように変形される。

ここで、［数１９］の式変形の結果の括弧内を［数２０］のような行列Ｑと定義する。

行列Ｑは、ｎ×ｎの対称行列である。したがって、行列Ｑの固有値を大きい順にｄ１≧ｄ２≧…ｄｎとし、各々の固有値に対応する正規化された固有ベクトルをｕ１、ｕ２、…ｕｎとした場合、ユニタリ行列Ｕを［数２２］のようにおくと、行列Ｑは［数２１］のように対角化できる。

［数１９］は、［数２１］を用いて［数２３］のように変形される。

ここで、ｄｉは、複数の特徴軸を一つの主要軸に統合した場合の評価値となる。ｄｉの値が大きいほど、複数の特徴軸をより統合していることを示す。

ｕ１、ｕ２、…ｕｎは正規直交系であるから、［数２３］から、［数１８］の値が最も大きくなる主要軸は、最大固有値に対応する固有ベクトルａ＝ｕ１となる。以下、二番目の主要軸は二番目の固有値に対応する固有ベクトルａ＝ｕ２となり、三番目の主要軸は三番目の固有値に対応する固有ベクトルａ＝ｕ３となり、また、Ｌ番目の主要軸は行列ＱのＬ番目に大きい固有値に対応する固有ベクトルｕＬとなる。

最後に、詳細識別関数を主要軸に制限した大分類識別関数を求める。ｎ次元特徴ｘをｊ番目の主要軸ｕｊに制限したベクトルは、［数２４］に示すように変形される。

［数１２］に示す詳細識別関数のベクトルｘを［数２４］に示す制限ベクトルで置き換えると、［数２５］のように変形される。

ここで、［数２６］、［数２７］、［数２８］及び［数２９］のようにおくと、［数２５］は、［数３０］のように変形される。

したがって、大分類識別関数は［数３０］のようになり、［数３１］を用いるとｚ＝ＵＬ（ｘ）と表される。

したがって、大分類用の特徴選択に用いられる変換関数は、［数３１］となる。

以上で説明した式を用いて、識別関数主要部分抽出部５０２は、［数３０］に示すような大分類識別関数ｖｋと、［数３１］に示すような大分類用特徴変換関数ＵＬとを生成することができる。

以下、識別関数主要部分抽出部５０２が実行する処理の詳細を説明する。

図４は、本発明の第１の実施形態の識別関数主要部分抽出部５０２が実行する処理を説明するフローチャートである。

識別関数入力ステップ７０１では、識別関数主要部分抽出部５０２が、識別関数生成部５０１から詳細識別関数を取得する。

特徴軸選定ステップ７０２では、識別関数主要部分抽出部５０２が、主要軸算出の基準となる特徴軸を選択する。

具体的には、識別関数主要部分抽出部５０２は、［数１］に示す詳細識別関数を［数１２］のようにに変形する。当該変形は、対称行列Ｗｋを［数２］のように定義し、Ｗｋの固有ベクトルを行ベクトルとする行列Ｐｋを求め、［数６］、［数１０］及び［数１１］を用いて得られる。

識別関数主要部分抽出部５０２は、ｑｋｉを特徴軸として選択する。

軸重要度設定ステップ７０３では、識別関数主要部分抽出部５０２が、特徴軸と詳細識別関数とを用いて各特徴軸の重要度を算出する。

最も簡単な特徴軸の重要度を算出方法としては、特徴軸ｑｋｉの重要度ｈｋｉを［数１７］のように定義する方法である。重要度の定義方法は様々考えられ、他のいくつかの例について後述する。

主要軸算出ステップ７０４では、識別関数主要部分抽出部５０２が、算出された重要度及び特徴軸を用いて特徴軸を統合し、Ｌ個の主要軸を算出する。

具体的には、Ｌ個の主要軸は、［数２０］に示すｎ×ｎ行列Ｑの固有値が大きい上位Ｌ個の正規化された固有ベクトルｕ１、ｕ２、…、ｕＬとして算出される。

大分類識別関数生成ステップ７０５では、識別関数主要部分抽出部５０２が、主要軸と詳細識別関数とを用いて、Ｌ個の固有ベクトルｕ１、ｕ２、…、ｕＬによって生成されるＬ次元特徴空間に詳細識別関数を制限した大分類識別関数を生成する。

具体的には、大分類識別関数は、［数２６］、［数２７］、［数２８］及び［数２９］を用いて［数３０］のように与えられる。また、大分類用の特徴選択関数は、［数３１］のように与えられる。

出力ステップ７０６では、識別関数主要部分抽出部５０２が、大分類識別関数用の特徴選択関数［数３１］を特徴選択用辞書５０３に格納し、また、大分類識別関数［数３０］を識別用辞書５０４に格納する。

以上が、識別関数主要部分抽出部５０２が実行する処理の詳細の説明である。

次に、認識フェーズの大分類特徴選択部６０１、大分類識別部６０２、及び詳細識別部６０３が実行する処理について説明する。

大分類特徴選択部６０１は、特徴選択用辞書５０３に格納されている大分類識別関数用の特徴選択関数［数３１］を用いてＬ次元特徴ｚ［数２９］を抽出し、大分類識別部６０２に出力する。

大分類識別部６０２は、識別用辞書５０４に格納されている大分類識別関数［数３０］を用いて類似度を算出する。大分類識別部６０２は、算出された類似度に基づいて、類似度が高い順にユーザによって指定された個数分の正解候補カテゴリを算出する。算出された正解候補カテゴリは、特徴選択部２０４に出力される。

詳細識別部６０３は、特徴選択用辞書５０３に格納されている詳細識別関数ｕｋ（ｘ）を用いて、正解候補カテゴリに対する類似度を算出し、算出された正解候補カテゴリに対する類似度を認識結果出力部３０３に出力する。

以下、軸重要度設定ステップ７０３において、特徴軸の重要度を設定する方法の例について説明する。

例１
特徴軸ｑｋｉの重要度を、［数１２］の係数λｋｉｉとζｋｉの絶対値の大きさであるとして、［数１７］のように定義する。

例２
［数１２］において、係数λｋｉｉと係数ζｋｉとの次数の違いを考慮して、［数３２］のように特徴軸ｑｋｉの重要度を定義する。

例３
特徴軸ｑｋｉの重要度を決める場合に、係数λｋｉｉとζｋｉだけでなく、ｑｋｉ方向のｘの変動量ｑｋｉ・ｘの大きさのスケールも考慮に入れる。変動量のスケールは、ｑｋｉ方向のｘの分散値によって算出される。

学習パターンをＮ個とし、平均ベクトルｍを［数３３］とすると、ｘｉ（ｉ＝１、…、Ｎ）の分布の共分散行列Σは、［数３４］で与えられる。

ｑｋｉ方向のｘの分散値ｖｋｉは、［数３５］によって算出できる。

これよって、特徴軸ｑｋｉの重要度は、例えば、［数３６］で定義する。また、［数３７］又は［数３８］等で、特徴軸ｑｋｉの重要度を定義する方法も考えられる。

例４
識別関数［数１２］を、［数３９］に示すように特徴軸ｑｋｉに制限した部分の値の分散値を重要度として定義する方法が考えられる。分散値σｋｉは、［数４０］を用いて［数４１］のように与えられる。重要度は、ｈｋｉ＝σｋｉと定義する。

（第２の実施形態）
第１の実施形態では、［数１２］に示すように識別関数を二次以下の関数と仮定し、また、特徴選択関数を線型関数と仮定した。第２の実施形態では、特徴選択関数ｆ（ｘ）又はｆｋ（ｘ）は、線型関数に限定されない。なお、第２の実施形態についても、識別関数は二次以下の関数と仮定する。

第２の実施形態におけるパターン認識装置１０１の構成、及び、各モジュールが実行する処理は、第１の実施形態と同一であるため説明を省略する。以下、第１の実施形態との差異を中心に説明する。

第２の実施形態では、学習フェーズにおける識別関数主要部分抽出部５０２が実行する処理、並びに、認識フェーズにおける大分類特徴選択部６０１、大分類識別部６０２及び詳細識別部６０３のそれぞれが実行する処理が異なる。

以下、第２の実施形態における識別関数主要部分抽出部５０２、大分類特徴選択部６０１、大分類識別部６０２及び詳細識別部６０３について説明する。

まず、学習フェーズにおける識別関数主要部分抽出部５０２の処理について説明する。

識別関数主要部分抽出部５０２が実行する処理は、図４と同一であるが、具体的な処理が異なる。

識別関数入力ステップ７０１では、識別関数主要部分抽出部５０２が、識別関数生成部５０１から詳細識別関数を取得する。

特徴軸選定ステップ７０２では、識別関数主要部分抽出部５０２が、主要軸選択の基準となる特徴軸を選択する。

具体的には、識別関数主要部分抽出部５０２は、［数１］に示す詳細識別関数を［数４５］のようにに変形する。

当該変形は、対称行列Ｗｋを［数２］のように定義し、Ｗｋの固有ベクトルを行ベクトルとする行列Ｐｋを求め、［数６］、［数４４］及び［数１１］を用いて得られる。

識別関数主要部分抽出部５０２は、ｑｋｉを特徴軸として選択する。第１の実施形態では、ｑｋｉはｎ次元ベクトルであったが、第２の実施形態ではｍ次元ベクトルである。

軸重要度設定ステップ７０３では、識別関数主要部分抽出部５０２が、特徴軸と詳細識別関数とを用いて、各特徴軸の重要度を算出する。

重要度の算出方法は様々考えられるが、例えば、第１の実施形態で示した方法を用いることができる。この場合、ｘはｙで置き換えられる。

主要軸算出ステップ７０４では、識別関数主要部分抽出部５０２が、算出された重要度及び特徴軸を用いて特徴軸を統合し、Ｌ個の主要軸を算出する。

具体的には、Ｌ個の主要軸は、［数２０］に示すｍ×ｍ行列の固有値が大きい上位Ｌ個の正規化された固有ベクトルｕ１、ｕ２、…、ｕＬとして得られる。なお、第１の実施形態では、［数２０］に示す行列はｎ×ｎ行列であり、ｕｉはｎ次元ベクトルであったのに対し、第２の実施形態では、［数２０］に示す行列はｍ×ｍ行列であり、ｕｉはｍ次元ベクトルである。

大分類識別関数生成ステップ７０５では、識別関数主要部分抽出部５０２が、主要軸と詳細識別関数とを用いて、Ｌ個の固有ベクトルｕ１、ｕ２、…、ｕＬによって生成されるＬ次元特徴空間に詳細識別関数を制限した大分類識別関数を生成する。

具体的には、大分類識別関数は、［数２６］、［数２７］、［数２８］及び［数４６］を用いて［数３０］のように与えられる。また、大分類識別関数用の特徴選択関数は、［数３１］のように与えられる。

出力ステップ７０６では、識別関数主要部分抽出部５０２が、大分類用の特徴選択関数［数３１］を特徴選択用辞書５０３に格納し、また、大分類識別関数［数３０］を識別用辞書５０４に格納する。

次に、認識フェーズの大分類特徴選択部６０１、大分類識別部６０２及び詳細識別部６０３が実行する処理について説明する。

大分類特徴選択部６０１は、特徴選択用辞書５０３に格納されている大分類用の特徴選択関数［数３１］を用いてＬ次元特徴ｚ［数４６］を抽出し、大分類識別部６０２に出力する。

大分類識別部６０２は、識別用辞書５０４に格納されている大分類識別関数［数３０］を用いて類似度を算出する。大分類識別部６０２は、算出された類似度ｖｋ（ｘ）に基づいて、類似度が高い順にユーザによって指定された個数分の正解候補カテゴリを算出する。算出された正解候補カテゴリは、特徴選択部２０４に出力される。

詳細識別部６０３は、特徴選択用辞書５０３に格納されている詳細識別関数ｕｋ（ｘ）を用いて正解候補カテゴリに対する類似度を算出し、算出された正解候補カテゴリに対する類似度を認識結果出力部３０３に出力する。

（第３の実施形態）
第１の実施形態では、［数１２］に示すように識別関数を二次以下の関数と仮定し、また、特徴選択関数を線型関数と仮定した。第３の実施形態では、識別関数が二次以下の関数に限定されない場合について説明する。なお、第３の実施形態についても、特徴選択関数は線型関数と仮定する。

第３の実施形態におけるパターン認識装置１０１の構成、及び、各モジュールが実行する処理は、第１の実施形態と同一であるため説明を省略する。以下、第１の実施形態との差異を中心に説明する。

第３の実施形態では、学習フェーズにおける識別関数主要部分抽出部５０２が実行する処理、並びに、認識フェーズにおける大分類特徴選択部６０１、大分類識別部６０２及び詳細識別部６０３のそれぞれが実行する処理が異なる。

以下、第３の実施形態における識別関数主要部分抽出部５０２、大分類特徴選択部６０１、大分類識別部６０２及び詳細識別部６０３について説明する。

まず、学習フェーズにおける識別関数主要部分抽出部５０２の処理について説明する。

識別関数主要部分抽出部５０２が実行する処理は、図４と同一であるが、具体的な処理が異なる。

識別関数入力ステップ７０１では、識別関数主要部分抽出部５０２が、識別関数生成部５０１から詳細識別関数を取得する。

特徴軸選定ステップ７０２では、識別関数主要部分抽出部５０２が、主要軸選択の基準となる特徴軸を選択する。

具体的には、識別関数主要部分抽出部５０２は、ユーザによって指定される個数だけランダムなｍ次元ベクトルを特徴軸として選択する。ここでは、特徴軸は、Ｍ個選択されるベクトルとし、ａｋｉ（ｉ＝１、…、Ｍ）と表す。

軸重要度設定ステップ７０３では、識別関数主要部分抽出部５０２が、特徴軸と詳細識別関数とを用いて、各特徴軸の重要度を算出する。

重要度の算出方法は、次のようなものが考えられる。以下、ｍ次元特徴がカテゴリｋに依存しない場合、ｍ次元特徴ｙｋ、及び変換関数Ｙの添え字を省いたものを考えればよい。

まず、ｍ次元ベクトルａｋｉをｎ次元特徴空間での表現に直す。Ａｋを［数４７］のように定義し、ＡｋＹｋを［数４８］のようにおく。

このとき、ベクトルｑｋｉがａｋｉのｎ次元特徴空間での表現である。

特徴軸ｑｋｉ方向の識別関数の値の分散値を重要度とする。［数４７］に示す関数ｕｋｉは、詳細識別関数をｑｋｉ軸に制限したものである。具体的には、Ｎ個の学習パターンをｘｉとおくと、この関数の値の分散値σｋｉは、［数４０］を用いて［数４１］によって算出される。これを重要度としてｈｋｉ＝σｋｉとすればよい。

主要軸算出ステップ７０４では、識別関数主要部分抽出部５０２が、算出された重要度及び特徴軸を用いて特徴軸を統合し、Ｌ個の主要軸を算出する。

具体的には、Ｌ個の主要軸は、［数２０］に示すｎ×ｎ行列の固有値が大きい上位Ｌ個の固有ベクトルｕ１、ｕ２、…、ｕＬとして得られる。

大分類識別関数生成ステップ７０５では、識別関数主要部分抽出部５０２が、主要軸と詳細識別関数とを用いて、Ｌ個の固有ベクトルｕ１、ｕ２、…、ｕＬによって生成されるＬ次元特徴空間に詳細識別関数を制限した大分類識別関数として生成する。

具体的には、大分類識別関数は、［数５０］に示すように生成される。

また、大分類識別関数用の特徴選択関数は、［数３１］の行列ＵＬを用いて、［数５３］に示すような行列によって与えられる。

出力ステップ７０６では、識別関数主要部分抽出部５０２が、大分類用の特徴選択関数［数５３］を特徴選択用辞書５０３に格納し、また、大分類識別関数［数５０］を識別用辞書５０４に格納する。

次に、認識フェーズの大分類特徴選択部６０１、大分類識別部６０２及び詳細識別部６０３が実行する処理について説明する。

大分類特徴選択部６０１は、特徴選択用辞書５０３に格納されている大分類用の特徴選択関数［数５３］を用いてＬ次元特徴ｚ［数４６］を抽出し、大分類識別部６０２に出力する。

大分類識別部６０２は、識別用辞書５０４に格納されている大分類識別関数［数５０］を用いて類似度を算出する。大分類識別部６０２は、算出された類似度ｖｋ（ｘ）に基づいて、類似度が高い順にユーザによって指定された個数分の正解候補カテゴリを算出する。算出された正解候補カテゴリは、特徴選択部２０４に出力される。

詳細識別部６０３は、特徴選択用辞書５０３に格納されている識別関数ｕｋ（ｘ）を用いて正解候補カテゴリに対する類似度を算出し、算出された正解候補カテゴリに対する類似度を認識結果出力部３０３に出力する。

（第４の実施形態）
第１の実施形態では、［数１２］に示すように識別関数を二次以下の関数と仮定し、また、特徴選択関数を線型関数と仮定した。第４の実施形態では、識別関数が二次以下の関数に限定されない場合について説明する。さらに、第４の実施形態では、特徴選択関数は線型関数に限定されない。

第４の実施形態におけるパターン認識装置１０１の構成、及び、各モジュールが実行する処理は、第１の実施形態と同一であるため説明を省略する。以下、第１の実施形態との差異を中心に説明する。

第４の実施形態では、学習フェーズにおける識別関数主要部分抽出部５０２が実行する処理、並びに、認識フェーズにおける大分類特徴選択部６０１、大分類識別部６０２及び詳細識別部６０３のそれぞれが実行する処理が異なる。

以下、第４の実施形態における識別関数主要部分抽出部５０２、大分類特徴選択部６０１、大分類識別部６０２及び詳細識別部６０３について説明する。

まず、学習フェーズにおける識別関数主要部分抽出部５０２の処理について説明する。

識別関数主要部分抽出部５０２が実行する処理は、図４と同一であるが、具体的な処理が異なる。

識別関数入力ステップ７０１では、識別関数主要部分抽出部５０２が、識別関数生成部５０１から詳細識別関数を取得する。

特徴軸選定ステップ７０２では、識別関数主要部分抽出部５０２が、主要軸選択の基準となる特徴軸を選択する。

具体的には、識別関数主要部分抽出部５０２が、ユーザによって指定される個数だけランダムなｍ次元ベクトルを特徴軸としてに選択する。ここでは、盗聴軸は、Ｍ個選択されるベクトルとし、ａｋｉ（ｉ＝１、…、Ｍ）と表す。

軸重要度設定ステップ７０３では、識別関数主要部分抽出部５０２が、特徴軸と詳細識別関数とを用いて、各特徴軸の重要度を算出する。

重要度の算出方法は次のようなものが考えられる。以下、ｍ次元特徴がカテゴリｋに依存しない場合、ｍ次元特徴ｙｋ、及び変換関数Ｙの添え字を省いたものを考えればよい。

特徴軸ｑｋｉ方向の識別関数の値の分散値を重要度にとる。［数５１］に示す関数ｕｋｉは、詳細識別関数をｑｋｉ軸に制限したものである。

具体的には、Ｎ個の学習パターンをｘｉとおくと、この関数の値の分散値σｋｉは、［数５１］を用いて［数５２］によって算出される。これを重要度としてｈｋｉ＝σｋｉとすればよい。

主要軸算出ステップ７０４では、識別関数主要部分抽出部５０２が、算出された重要度及び特徴軸を用いて特徴軸を統合し、Ｌ個の主要軸を選定する。

具体的には、Ｌ個の主要軸は、［数２０］に示すｍ×ｍ行列の固有値が大きい上位Ｌ個の固有ベクトルｕ１、ｕ２、…、ｕＬとして得られる。

その後、識別関数主要部分抽出部５０２は大分類識別関数生成ステップ７０５に進む。

大分類識別関数生成ステップ７０５では、識別関数主要部分抽出部５０２が、主要軸と詳細識別関数とを用いて、Ｌ個の固有ベクトルｕ１、ｕ２、…、ｕＬによって生成されるＬ次元特徴空間に詳細識別関数を制限した大分類識別関数として生成する。

具体的には、大分類識別関数は、［数５２］のように与えられる。また、大分類識別関数用の特徴選択関数は、［数３１］の行列によって与えられる。

出力ステップ７０６では、識別関数主要部分抽出部５０２が、大分類用の特徴選択関数［数３１］を特徴選択用辞書５０３に格納し、また、大分類識別関数［数５２］を識別用辞書５０４に格納する。

次に、認識フェーズの大分類特徴選択部６０１、大分類識別部６０２及び詳細識別部６０３が実行する処理について説明する。

大分類特徴選択部６０１は、特徴選択用辞書５０３に格納されている大分類用の特徴選択関数［数３１］を用いてＬ次元特徴ｚ［数４６］を抽出し、大分類識別部６０２に出力する。

大分類識別部６０２は、識別用辞書５０４に格納されている大分類識別関数［数５２］用いて類似度を算出する。大分類識別部６０２は、算出された類似度ｖｋ（ｘ）に基づいて、類似度が高い順にユーザによって指定された個数分の正解候補カテゴリを算出する。算出された正解候補カテゴリは、特徴選択部２０４に出力される。

詳細識別部６０３は、特徴選択用辞書５０３に格納されている識別関数ｕｋ（ｘ）を用いて正解候補カテゴリに対する類似度を算出し、算出された正解候補カテゴリに対する類似度を認識結果出力部に出力する。

本発明の一形態によれば、大分類識別関数が詳細識別関数の制限関数として生成されるため、認識処理の精度を保ち、かつ、高速化できる。

また、本発明における大分類識別関数は、詳細識別関数の制限関数として生成されるため、大分類識別処理と詳細識別処理とで別々の学習アルゴリズムを用いる必要がない。したがって、構成の煩雑さを回避できる。

また、本発明の一形態によれば、任意の学習アルゴリズムによって作成された詳細識別関数から大分類識別関数が生成されるため、精度が高い詳細識別関数を用いることで、認識精度を向上させることができる。

１０１ パターン認識装置
１０２ 入力装置
１０３ 表示装置
１０４ パターン取得装置
１０５ 通信装置
１０６ 演算装置（ＣＰＵ）
１０７ 外部記憶装置（ＨＤＤ、メモリ）
２０１ パターン入力部
２０２ 特徴抽出部
２０３ 特徴選択辞書生成部
２０４ 特徴選択部
２０５ 識別用辞書生成部
２０７ 学習用パターンＤＢ
２０８ 特徴選択用辞書
２０９ 識別用辞書
３０１ 大分類識別部
３０２ 詳細識別部
３０３ 認識結果出力部
３０４ 認識対象パターンＤＢ
５０１ 識別関数生成部
５０２ 識別関数主要部分抽出部
５０３ 特徴選択用辞書
５０４ 識別用辞書
６０１ 大分類特徴選択部
６０２ 大分類識別部
６０３ 詳細識別部
７０１ 識別関数入力ステップ
７０２ 特徴軸選定ステップ
７０３ 軸重要度設定ステップ
７０４ 主要軸算出ステップ
７０５ 大分類識別関数生成ステップ
７０６ 出力ステップ
８０１ 入力ステップ
８０２ 前処理ステップ
８０３ 正規化ステップ
８０４ 文字特徴抽出ステップ
８０５ 出力ステップ

Claims (24)

1. プロセッサと、前記プロセッサに接続された記憶媒体とを備えるパターン認識用辞書生成装置であって、
   前記記憶媒体には、複数の学習用のパターンから構成される学習用パターンデータベースが格納され、
   前記パターン認識用辞書生成装置は、
   前記学習用パターンデータベースから、各々の前記学習用のパターンを一つのカテゴリとして取得するパターン入力部と、
   前記取得されたカテゴリ毎にｎ次元特徴を抽出する特徴抽出部と、
   前記抽出されたｎ次元特徴を用いて、前記ｎ次元以下の次元であるｍ次元特徴に前記ｎ次元特徴を変換する特徴選択関数を生成し、前記生成された特徴選択関数を特徴選択用辞書として前記記憶媒体に格納する特徴選択辞書生成部と、
   前記特徴選択関数を用いて、前記抽出されたｎ次元特徴を前記ｍ次元特徴に変換する特徴選択部と、
   前記変換されたｍ次元特徴を用いて、各カテゴリに対する認識対象のパターンの類似度を算出するためのｍ次元特徴空間上の詳細識別関数を生成し、前記生成された詳細識別関数を識別用辞書として前記記憶媒体に格納する識別関数生成部と、
   前記ｍ次元以下の次元であり、前記ｎ次元特徴空間の部分空間で、かつ、前記ｍ次元特徴空間の部分空間であるＬ次元特徴空間上のＬ次元特徴に前記ｍ次元特徴を変換する大分類特徴選択関数を生成し、前記詳細識別関数を前記Ｌ次元特徴空間上の関数として変換することによって前記Ｌ次元特徴空間上で各カテゴリに対する前記認証対象のパターンの類似度を算出するための大分類識別関数を生成し、前記生成された大分類特徴選択関数を前記特徴選択用辞書として前記記憶媒体に格納し、前記生成された大分類識別関数を前記識別用辞書として前記記憶媒体に格納する識別関数主要部分抽出部と、
   を備えることを特徴とするパターン認識用辞書生成装置。
2. 前記識別関数主要部分抽出部は、
   前記詳細関数を取得する詳細識別関数取得ステップを実行し、
   前記取得された詳細識別関数を用いて、前記ｎ次元特徴空間から特徴軸をＭ個選択する特徴軸選定ステップを実行し、
   前記特徴軸の重要度を算出する軸重要度決定ステップを実行し、
   前記特徴軸を統合して、Ｌ個の主要軸を算出する主要軸算出ステップを実行し、
   前記主要軸が生成する前記Ｌ次元特徴空間上の関数として前記詳細識別関数を変換することによって前記大分類識別関数を生成する大分類識別関数生成ステップを実行することを特徴とする請求項１に記載のパターン認識用辞書生成装置。
3. 前記特徴選択関数は線形関数であり、前記ｎ次元特徴ｘに対する前記詳細識別関数ｕｋ（ｘ）は数１に示す２次以下の多項式関数であって、
   前記特徴軸選定ステップは、
   前記識別関数主要部分抽出部が、前記ｎ次元特徴又は前記ｍ次元特徴ｙを用いて、前記詳細識別関数ｕｋ（ｘ）を数２又は数３に示すように変形して得られるベクトルｑｋｉを特徴軸として選択するステップを含み、
   軸重要度決定ステップは、
   前記識別関数主要部分抽出部が、数２又は数３における係数λｋｉｉ及び係数ζｋｉの関数ｈｋｉを用いて特徴軸ｑｋｉの重要度を設定するステップを含むことを特徴とする請求項２に記載のパターン認識用辞書生成装置。
   

   

   

   
4. 前記主要軸算出ステップは、
   前記識別関数主要部分抽出部が、前記特徴軸ｑｋｉと前記軸重要度ｈｋｉとから生成される数４に示す行列Ｑの固有値を算出するステップと、
   前記識別関数主要部分抽出部が、前記行列Ｑの固有ベクトルのうち、前記算出された固有値が大きいものから順に前記固有ベクトルをＬ個選択し、前記選択された固有ベクトルを主要軸として算出するステップと、を含むことを特徴とする請求項３に記載のパターン認識用辞書生成装置。
   

   
5. パターン認識用辞書生成装置は、ユーザがパターン認識用辞書生成装置を操作するための入力部を備え、
   前記特徴軸選定ステップは、前記識別関数主要部分抽出部が、ランダムにＭ個の任意ベクトルを前記特徴軸として選択するステップ、又は、前記ユーザからの指示に基づいてＭ個のベクトルを前記特徴軸として選択するステップ、を含むことを特徴とする請求項２に記載のパターン認識用辞書生成装置。
6. 前記軸重要度決定ステップは、前記識別関数主要部分抽出部が、Ｎ個の前記学習用のパターンｘｉに対する前記詳細識別関数を、前記特徴軸ｑｋｉが生成するＭ次元空間上の関数として変形された関数ｄ（ｘｉ）を算出し、前記算出された関数ｄ（ｘｉ）の分散値σの関数として前記軸重要度ｈを算出することを特徴とする請求項２に記載のパターン認識用辞書生成装置。
7. プロセッサと、前記プロセッサに接続された記憶媒体とを備えるパターン認識装置であって、
   前記記憶媒体は、
   複数の認識対象のパターンから構成される認識対象パターンデータベースと、
   前記認識対象パターンから抽出されたｎ次元特徴を、前記ｎ次元以下の次元であるｍ次元特徴に変換する特徴選択関数、及び、前記ｍ次元以下の次元であり、前記ｎ次元特徴空間の部分空間で、かつ、前記ｍ次元特徴空間の部分空間であるＬ次元特徴空間上のＬ次元特徴に前記ｍ次元特徴を変換する大分類特徴選択関数を格納する特徴選択用辞書と、
   正解候補パターンに対する前記認識対象のパターンの類似度を算出するためのｍ次元特徴空間上の詳細識別関数、及び、前記詳細識別関数を前記Ｌ次元特徴空間上の関数として変換され、前記Ｌ次元特徴空間上で各正解候補に対する前記認識対象のパターンの類似度を算出するための大分類識別関数を格納する識別用辞書と、
   を格納し、
   前記パターン認識装置は、
   前記認識対象パターンデータベースから前記認識対象のパターンを取得するパターン入力部と、
   前記取得された認識対象のパターンのｎ次元特徴を抽出する特徴抽出部と、
   前記大分類特徴選択関数を用いて、前記抽出されたｎ次元特徴を前記Ｌ次元特徴に変換する大分類特徴選択部と、
   前記変換されたＬ次元特徴と前記大分類識別関数とを用いて、前記正解候補パターンに対する前記認識対象のパターンの類似度を算出し、一以上の前記正解候補パターンを選択する大分類識別部と、
   前記特徴選択関数を用いて、前記ｎ次元特徴を前記ｍ次元特徴に変換する特徴選択部と、
   前記詳細識別関数と前記変換されたｍ次元特徴とを用いて、前記選択された正解候補パターンに対する前記認識対象のパターンの類似度を算出する詳細識別部と、
   前記算出された類似度に基づいて、前記認識対象パターンに対する認識結果を出力する認識結果出力部と、
   を備えることを特徴とするパターン認識装置。
8. 前記大分類識別関数は、
   前記詳細関数を取得する詳細識別関数取得ステップを実行し、
   前記取得された詳細識別関数を用いて、前記ｎ次元特徴空間から特徴軸をＭ個選択する特徴軸選定ステップを実行し、
   前記特徴軸の重要度を算出する軸重要度決定ステップを実行し、
   前記特徴軸を統合して、Ｌ個の主要軸を算出する主要軸算出ステップを実行し、
   前記主要軸が生成する前記Ｌ次元特徴空間上の関数として前記詳細識別関数を変換することによって前記大分類識別関数を生成する大分類識別関数生成ステップを実行することによって生成されることを特徴とする請求項７に記載のパターン認識装置。
9. 前記特徴選択関数は線形関数であり、前記ｎ次元特徴ｘに対する前記詳細識別関数ｕｋ（ｘ）は数５に示す２次以下の多項式関数であって、
   前記特徴軸選定ステップでは、前記ｎ次元特徴又は前記ｍ次元特徴ｙを用いて、前記詳細識別関数ｕｋ（ｘ）を数６又は数７に示すように変形して得られるベクトルｑｋｉを特徴軸として選択され、
   軸重要度決定ステップでは、数６又は数７における係数λｋｉｉ及び係数ζｋｉの関数ｈｋｉを用いて特徴軸ｑｋｉの重要度が設定されることを特徴とする請求項８に記載のパターン認識装置。
   

   

   

   
10. 前記主要軸算出ステップでは、前記特徴軸ｑｋｉと前記軸重要度ｈｋｉとから生成される数８に示す行列Ｑの固有値が算出され、前記行列Ｑの固有ベクトルのうち、前記算出された固有値が大きいものから順に前記固有ベクトルがＬ個選択され、前記選択された固有ベクトルが主要軸として算出されることを特徴とする請求項９に記載のパターン認識装置。
    

    
11. 前記特徴軸選定ステップでは、前記特徴軸としてＭ個の任意ベクトルがランダムに選択され、又は、予め設定された指示に基づいてＭ個のベクトルが前記特徴軸として選択されることを特徴とする請求項８に記載のパターン認識装置。
12. 前記軸重要度決定ステップでは、Ｎ個の前記パターンｘｉに対する前記詳細識別関数が、前記特徴軸ｑｋｉが生成するＭ次元空間上の関数として変形された関数ｄ（ｘｉ）として算出され、前記算出された関数ｄ（ｘｉ）の分散値σの関数として前記軸重要度ｈが算出されることを特徴とする請求項８に記載のパターン認識装置。
13. プロセッサと、前記プロセッサに接続された記憶媒体とを備えるパターン認識装置であって、
    前記記憶媒体には、複数の学習用のパターンから構成される学習用パターンデータベースと、複数の認識対象のパターンから構成される認識対象パターンデータベースとが格納され、
    前記パターン認識用辞書生成装置は、
    前記学習用パターンデータベースから、各々の前記学習用のパターンを一つのカテゴリとして取得し、又は、前記認識対象パターンデータベースから前記認識対象のパターンを取得するパターン入力部と、
    前記取得されたカテゴリ毎にｎ次元特徴を抽出し、前記取得された認識対象のパターンのｎ次元特徴を抽出する特徴抽出部と、
    前記抽出されたｎ次元特徴を用いて、前記ｎ次元特徴を、前記ｎ次元以下の次元であるｍ次元特徴に変換する特徴選択関数を生成し、前記生成された特徴選択関数を特徴選択用辞書として前記記憶媒体に格納する特徴選択辞書生成部と、
    前記特徴選択関数を用いて、前記ｎ次元特徴を前記ｍ次元特徴に変換する特徴選択部と、
    前記変換されたｍ次元特徴を用いて、各カテゴリに対するパターンの類似度を算出するためのｍ次元特徴空間上の詳細識別関数を生成し、前記生成された詳細識別関数を識別用辞書として前記記憶媒体に格納する識別関数生成部と、
    前記ｍ次元特徴を、前記ｍ次元以下の次元であり、前記ｎ次元特徴空間の部分空間で、かつ、前記ｍ次元特徴空間の部分空間であるＬ次元特徴空間上のＬ次元特徴に変換する大分類特徴選択関数を生成し、前記詳細識別関数を前記Ｌ次元特徴空間上の関数として変換され、前記Ｌ次元特徴空間上で各カテゴリに対する前記パターンの類似度を算出するための大分類識別関数を生成し、前記生成された大分類特徴選択関数を前記特徴選択用辞書として前記記憶媒体に格納し、前記生成された大分類識別関数を前記識別用辞書として前記記憶媒体に格納する識別関数主要部分抽出部と、
    前記大分類特徴選択関数を用いて、前記抽出されたｎ次元特徴を前記Ｌ次元特徴に変換する大分類特徴選択部と、
    前記変換されたＬ次元特徴と前記大分類識別関数とを用いて、前記各カテゴリに対する前記認識対象のパターンの類似度を算出し、一以上の正解候補パターンを選択する大分類識別部と、
    前記特徴選択関数を用いて、前記ｎ次元特徴を前記ｍ次元特徴に変換する特徴選択部と、
    前記詳細識別関数と前記変換されたｍ次元特徴とを用いて、前記選択させた正解候補パターンに対する前記認識対象のパターンの類似度を算出する詳細識別部と、
    前記算出された類似度に基づいて、前記認識対象パターンに対する認識結果を出力する認識結果出力部と、
    を備えることを特徴とするパターン認識装置。
14. 前記識別関数主要部分抽出部は、
    前記詳細関数を取得する詳細識別関数取得ステップを実行し、
    前記取得された詳細識別関数を用いて、前記ｎ次元特徴空間から特徴軸をＭ個選択する特徴軸選定ステップを実行し、
    前記特徴軸の重要度を算出する軸重要度決定ステップを実行し、
    前記特徴軸を統合して、Ｌ個の主要軸を算出する主要軸算出ステップを実行し、
    前記主要軸が生成する前記Ｌ次元特徴空間上の関数として前記詳細識別関数を変換することによって前記大分類識別関数を生成する大分類識別関数生成ステップを実行することを特徴とする請求項１３に記載のパターン認識用辞書生成装置。
15. 前記特徴選択関数は線形関数であり、前記ｎ次元特徴ｘに対する前記詳細識別関数ｕｋ（ｘ）は数９に示す２次以下の多項式関数であって、
    前記特徴軸選定ステップは、
    前記識別関数主要部分抽出部が、前記ｎ次元特徴又は前記ｍ次元特徴ｙを用いて、前記詳細識別関数ｕｋ（ｘ）を数１０又は数１１に示すように変形して得られるベクトルｑｋｉを特徴軸として選択するステップを含み、
    軸重要度決定ステップは、
    前記識別関数主要部分抽出部が、数１０又は数１１における係数λｋｉｉ及び係数ζｋｉの関数ｈｋｉを用いて特徴軸ｑｋｉの重要度を設定するステップを含むことを特徴とする請求項１４に記載のパターン認識装置。
    

    

    

    
16. 前記主要軸算出ステップは、
    前記識別関数主要部分抽出部が、前記特徴軸ｑｋｉと前記軸重要度ｈｋｉとから生成される数１２に示す行列Ｑの固有値を算出するステップと、
    前記識別関数主要部分抽出部が、前記行列Ｑの固有ベクトルのうち、前記算出された固有値が大きいものから順に、前記固有ベクトルをＬ個選択し、前記選択された固有ベクトルを主要軸として算出するステップと、を含むことを特徴とする請求項１５に記載のパターン認識装置。
    

    
17. パターン認識用辞書生成装置は、ユーザがパターン認識用辞書生成装置を操作するための入力部を備え、
    前記特徴軸選定ステップは、前記識別関数主要部分抽出部が、ランダムにＭ個の任意ベクトルを前記特徴軸として選択するステップ、又は、前記ユーザから指示に基づいてＭ個のベクトルを前記特徴軸として選択するステップ、を含むことを特徴とする請求項１４に記載のパターン認識装置。
18. 前記軸重要度決定ステップは、前記識別関数主要部分抽出部が、Ｎ個の前記学習用のパターンｘｉに対する前記詳細識別関数を、前記特徴軸ｑｋｉが生成するＭ次元空間上の関数として変形された関数ｄ（ｘｉ）を算出し、前記算出された関数ｄ（ｘｉ）の分散値σの関数として前記軸重要度ｈを算出することを特徴とする請求項２に記載のパターン認識用辞書生成装置。
19. プロセッサと、前記プロセッサに接続された記憶媒体とを備えるパターン認識用辞書生成装置におけるパターン認識用辞書生成方法であって、
    前記記憶媒体には、複数の学習用のパターンから構成される学習用パターンデータベースが格納され、
    前記方法は、
    前記パターン認識用辞書生成装置が、前記学習用パターンデータベースから、各々の前記学習用のパターンを一つのカテゴリとして取得する第１のステップと、
    前記パターン認識用辞書生成装置が、前記取得されたカテゴリ毎にｎ次元特徴を抽出する第２のステップと、
    前記パターン認識用辞書生成装置が、前記抽出されたｎ次元特徴を用いて、前記ｎ次元以下の次元であるｍ次元特徴に前記ｎ次元特徴を変換する特徴選択関数を生成し、前記生成された特徴選択関数を特徴選択用辞書として前記記憶媒体に格納する第３のステップと、
    前記パターン認識用辞書生成装置が、前記特徴選択関数を用いて、前記抽出されたｎ次元特徴を前記ｍ次元特徴に変換する第４のステップと、
    前記パターン認識用辞書生成装置が、前記変換されたｍ次元特徴を用いて、各カテゴリに対する認識対象のパターンの類似度を算出するためのｍ次元特徴空間上の詳細識別関数を生成し、前記生成された詳細識別関数を識別用辞書として前記記憶媒体に格納する第５のステップと、
    前記パターン認識用辞書生成装置が、前記ｍ次元以下の次元であり、前記ｎ次元特徴空間の部分空間で、かつ、前記ｍ次元特徴空間の部分空間であるＬ次元特徴空間上のＬ次元特徴に前記ｍ次元特徴を変換する大分類特徴選択関数を生成し、前記詳細識別関数を前記Ｌ次元特徴空間上の関数として変換することによって前記Ｌ次元特徴空間上で各カテゴリに対する前記パターンの類似度を算出するための大分類識別関数を生成し、前記生成された大分類特徴選択関数を前記特徴選択用辞書として前記記憶媒体に格納し、前記生成された大分類識別関数を前記識別用辞書として前記記憶媒体に格納する第６のステップと、
    を含むことを特徴とするパターン認識用辞書生成方法。
20. 前記第６のステップは、
    前記パターン認識用辞書生成装置が、前記詳細関数を取得する詳細識別関数取得ステップと、
    前記パターン認識用辞書生成装置が、前記取得された詳細識別関数を用いて、前記ｎ次元特徴空間から特徴軸をＭ個選択する特徴軸選定ステップと、
    前記パターン認識用辞書生成装置が、前記特徴軸の重要度を算出する軸重要度決定ステップと、
    前記パターン認識用辞書生成装置が、前記特徴軸を統合して、Ｌ個の主要軸を算出する主要軸算出ステップと、
    前記パターン認識用辞書生成装置が、前記主要軸が生成する前記Ｌ次元特徴空間上の関数として前記詳細識別関数を変換することによって前記大分類識別関数を生成する大分類識別関数生成ステップと、
    を含むことを特徴とする請求項１９に記載のパターン認識用辞書生成方法。
21. 前記特徴選択関数は線形関数であり、前記ｎ次元特徴ｘに対する前記詳細識別関数ｕｋ（ｘ）は数１３に示す２次以下の多項式関数であって、
    前記特徴軸選定ステップは、
    パターン認識用辞書生成装置が、前記ｎ次元特徴又は前記ｍ次元特徴ｙを用いて、前記詳細識別関数ｕｋ（ｘ）を数１４又は数１５に示すように変形して得られるベクトルｑｋｉを特徴軸として選択するステップを含み、
    軸重要度決定ステップは、
    パターン認識用辞書生成装置が、数１４又は数１５における係数λｋｉｉ及び係数ζｋｉの関数ｈｋｉを用いて特徴軸ｑｋｉの重要度を設定するステップを含むことを特徴とする請求項２０に記載のパターン認識用辞書生成方法。
    

    

    

    
22. 前記主要軸算出ステップは、
    前記識別関数主要部分抽出部が、前記特徴軸ｑｋｉと前記軸重要度ｈｋｉとから生成される数１６に示す行列Ｑの固有値を算出するステップと、
    前記識別関数主要部分抽出部が、前記行列Ｑの固有ベクトルのうち、前記算出された固有値が大きいものから順に前記固有ベクトルをＬ個選択し、前記選択された固有ベクトルを主要軸として算出するステップと、を含むことを特徴とする請求項２１に記載のパターン認識用辞書生成方法。
    

    
23. パターン認識用辞書生成装置は、ユーザがパターン認識用辞書生成装置を操作するための入力部を備え、
    前記特徴軸選定ステップは、パターン認識用辞書生成装置が、ランダムにＭ個の任意ベクトルを前記特徴軸として選択するステップ、又は、前記ユーザから指示に基づいてＭ個のベクトルを前記特徴軸として選択するステップ、を含むことを特徴とする請求項２０に記載のパターン認識用辞書生成方法。
24. 前記軸重要度決定ステップは、前記識別関数主要部分抽出部が、Ｎ個の前記学習用のパターンｘｉに対する前記詳細識別関数を、前記特徴軸ｑｋｉが生成するＭ次元空間上の関数として変形された関数ｄ（ｘｉ）を算出するステップと、前記算出された関数ｄ（ｘｉ）の分散値σの関数として前記軸重要度ｈを算出するステップと、含むをことを特徴とする請求項２０に記載のパターン認識用辞書生成方法。

Images