JP2001184509A - パターン認識装置及び方法並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】主成分分析等に基づいて大分類を行う従来の認
識装置と比べ、より高精度なパターン認識装置の提供。 【解決手段】詳細識別用辞書１０４中のｎ次元参照パタ
ーンと、学習パターンから抽出したｎ次元特徴とから、
現在の特徴選択辞書１０６に基づき、ｍ（ｍ＜ｎ）次元
参照パターン及びｍ次元特徴を抽出した後、学習パター
ンと同一カテゴリに属するｍ次元参照パターンのうち、
前記ｍ次元特徴との距離が最も近い参照パターンを参照
パターンＡとして抽出し、学習パターンと異なるカテゴ
リに属するｍ次元参照パターンのうち、前記ｍ次元特徴
との距離がもっとも近い参照パターンを参照パターンＢ
として抽出し、前記ｍ次元特徴と前記参照パターンＡと
の距離がより近づき、更に前記ｍ次元特徴と前記参照パ
ターンＢとの距離がより遠ざかるように前記特徴選択辞
書１０６を修正する特徴選択辞書修正部１０８を備えた
構成とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は文字認識、音声認識
等を行うためのパターン認識装置に関し、特に大分類部
を備えたパターン認識装置及び方法並びに記録媒体に関
する。

【０００２】

【従来の技術】文字認識・音声認識において、統計的パ
ターン認識手法を用いたパターン認識は、一般に、学習
フェーズと認識フェーズとから構成される。

【０００３】学習フェーズでは、各学習パターンから数
十〜数千次元の特徴量を抽出した後、この特徴空間にお
ける認識対象カテゴリの分布やカテゴリ境界の位置を学
習する。学習結果は、識別用辞書として保存される。

【０００４】認識フェーズでは、入力パターンから同様
の手順で抽出した特徴量を識別手法によって上記識別用
辞書と照合し、識別結果を出力する。

【０００５】識別手法の例としては、従来より、 ・最近傍識別法、 ・単純類似度法、 ・混合類似度法、 ・部分空間法、 ・疑似ベイズ識別法、 など各種手法が知られている。

【０００６】このような識別手法は、比較的構築が容易
な上、優れた識別性能を実現できることから、頻繁に認
識装置に利用されている。しかしながら、扱う特徴量が
高次元であるため、程度の差はあっても、計算コストが
高い（多量の計算を要する）、という問題点がある。

【０００７】そこで、計算量を削減するための手法とし
て、特徴選択により、特徴の次元数を削減して認識する
手法や、詳細識別の前に大分類を行う方法などが提案さ
れている。

【０００８】特徴選択により、次元数を削減して識別す
る手法の代表例としては、 ・主成分分析、もしくは正準判別分析によって特徴次元
数を削減する手法（電子情報通信学会論文誌Vol.J78-D-
II No.11 pp.1627-1638、以下「文献ａ」という）、 ・分散比と分散の両方を特徴選択の基準としたＦＫＬ法
によって次元削減し識別を行う手法（電子情報通信学会
論文誌Vol.J80-D-II No.1 pp.73-80、以下「文献ｂ」と
いう）や、 ・特徴選択のための辞書及び認識用辞書を学習により同
時に学習する手法（特開平９−２４５１２５号公報、以
下「文献ｃ」という）などが知られている。

【０００９】上記文献ａ、文献ｂに記載されている手法
では、まず、各学習パターンから抽出したｎ次元特徴に
対して、主成分分析や正準判別分析、もしくはこれらを
組み合わせた「ＦＫＬ法」と呼ばれる分析を施して、特
徴選択辞書を作成し、これに基づいてｎ次元の原特徴を
ｍ（ｍ≦ｎ）次元特徴に変換する。

【００１０】そして変換後のｍ次元特徴空間におけるカ
テゴリ分布もしくはカテゴリ境界を学習し識別用辞書を
作成する。

【００１１】認識時は、入力パターンに対して同様の特
徴抽出及び特徴選択を施して抽出したｍ次元特徴と識別
用辞書を照合し認識を行う。

【００１２】上記文献ｃに記載されている方法は、ｍ次
元特徴の集合からなる識別用辞書だけでなく、ｎ次元特
徴からｍ次元特徴を選択するための特徴選択辞書も同時
に学習によって作成する。

【００１３】主成分分析や正準判別分析によって求めら
れる固有ベクトルを用いて変換されたｍ次元特徴空間は
識別に関して最適な空間であるとは限らないが、上記文
献ｃの方法によれば、より識別に適した特徴選択辞書及
び詳細識別用辞書を構築できる可能性がある。

【００１４】但し、上記文献ｃによれば、原特徴量256
次元からｍ＝16次元の特徴を選択して、部分空間法によ
り認識した場合と、おおむね同等の認識性能であること
が記載されており、16次元よりも高次の部分空間で認識
した場合に比べ認識性能が低下していると考えられる。
すなわち、この手法は、認識性能よりも、認識速度に重
きを置いたものであるといえる。

【００１５】一方、低次元空間で大分類を行う手法の例
としては、原特徴を数次元毎に平均化して集約し、得ら
れた低次元の特徴を用いて大分類する場合が多い。

【００１６】前記の特徴選択による次元圧縮手法が、ｎ
次元の原特徴からｍ次元特徴を選択するために、ｍ×ｎ
回の積和演算を要するのに対し、この方法では、ｎ回の
加算演算とｍ回の除算によって次元を圧縮可能なので、
ｍ次元特徴を高速に抽出できるといった利点がある。

【００１７】しかし、この特徴選択方法は、認識性能の
低下を招きやすいため、より認識性能を上げるには、主
成分分析や正準判別分析によって特徴選択を行い大分類
する（以下「手法ｄ」という）のがよい。

【００１８】この手法ｄは、文献ａ及び文献ｂ等に代表
される手法に比べ、一般的に、速度は遅いが、認識性能
は同等以上の性能を実現できる。

【００１９】なお、部分空間法によってパターン認識を
行う際に使用する認識辞書を学習により生成する従来の
手法として、例えば特開平１０−３０１９１７号公報に
は、入力ベクトルと同じカテゴリに属する部分空間群の
中から、入力ベクトルとの距離が最小となる第１の部分
空間を求めるとともに、入力ベクトルと異なるカテゴリ
に属する部分空間群の中から、入力ベクトルとの間の距
離が最小となる第２の部分空間を求め、第１辞書修正手
段は、第１の部分空間が入力ベクトルに近づくように、
第１の部分空間の原点の位置ベクトル、基底ベクトルを
修正し、第２辞書修正手段は、第２の部分空間が入力ベ
クトルに遠ざかるように、第２の部分空間の原点の位置
ベクトル、基底ベクトルを修正することで、学習パター
ンに対する誤認識率を低減する認識辞書学習方法及び装
置が提案されている。しかしながら、上記特開平１０−
３０１９１７号公報に記載された方法及び装置は、特徴
選択により、特徴の次元数を削減して認識するための手
段を提供することを課題としたものではない。

【００２０】

【発明が解決しようとする課題】上記したことから、原
特徴を用いて実現できる認識性能を維持しつつ、認識速
度を向上するには、上記手法ｄが最も有効である、と思
料される。

【００２１】しかしながら、上記手法ｄを用いた場合で
も、選択する次元数の低下に伴って認識性能が低下する
傾向がある。その１つの原因は、主成分分析や正準判別
分析によって選択される特徴軸が、必ずしも大分類に最
適ではない、ことによる。

【００２２】まず、主成分分析を用いる場合の問題点に
ついて、図１０を参照して説明する。図１０は、２次元
原特徴空間に存在する３種類のカテゴリに属するデータ
の分布を示す図である。

【００２３】データ分布範囲１００１、１００２、１０
０３は、それぞれカテゴリＡ、Ｂ、Ｃに属するデータの
分布範囲を示す。特徴軸１００４は、本データに対して
主成分分析により選択される特徴軸（第１主軸）を示
す。

【００２４】主成分分析によって２次元特徴を１次元特
徴に変換するというのは、図１０においては、２次元特
徴空間中の各パターンを、特徴軸１００４上に投影する
ことに等しい。

【００２５】そこで、２次元特徴空間におけるカテゴリ
Ａ、Ｂ、Ｃの各２次元参照パターンを特徴軸１００４上
に投影した１次元の参照パターンをそれぞれ１次元参照
パターン１００６、１００８、１００９とする。

【００２６】また、カテゴリＡに属するパターン１００
５を特徴軸１００４上に投影した１次元のパターンを１
次元パターン１００７とする。

【００２７】すると、図１０からも明らかなように、こ
の１次元特徴空間において、大分類を行い２つの候補カ
テゴリを抽出する場合を考えると、正解であるカテゴリ
Ａに属する１次元参照パターン１００６は３つの１次元
参照パターンのうち１次元パターン１００７から最も離
れた位置にあることから、大分類の候補として選出され
ない。

【００２８】つまり、３つのカテゴリはＹ軸方向に良好
に分離しているにもかかわらず、主成分分析によって得
られる特徴軸上では、大分類が必ずしもうまく行えな
い、ということがわかる。

【００２９】また判別分析を用いる場合の問題点として
は、 １）各カテゴリのデータ分布が正規分布であることを仮
定しているが、特徴空間における音声パターンや文字パ
ターンの分布形状は一般的に正規分布ではない、 ２）識別に有効な特徴が最大（識別対象カテゴリ数−
１）個しか得られない、といった点が挙げられる。

【００３０】例えば手書数字１０カテゴリを認識する場
合には、最大９個の特徴しか選択できないため、特徴選
択の手法としては、現在ではあまり使用されていない。

【００３１】したがって本発明は、上記問題点に鑑みて
なされたものであって、その目的は、主成分分析や判別
分析に基づいて大分類を行う認識装置と比べ、大分類に
用いる特徴次元数及び候補数を同条件とした場合に、よ
り高い認識精度を実現可能な認識装置パターン認識装置
及び方法並びに記録媒体を提供することにある。これ以
外の本発明の目的、特徴、利点等は、以下の説明から当
業者には直ちに明らかとされるであろう。

【００３２】

【課題を解決するための手段】前記目的を達成する本発
明は、入力パターンから１次特徴としてｎ次元の特徴を
抽出する特徴抽出部と、前記１次特徴をｍ次元（ｍ＜
ｎ）の特徴に変換する関数を記憶する特徴選択辞書と、
前記特徴選択辞書に記憶される関数に基づき、２次特徴
として前記１次特徴からｍ次元の特徴を抽出する特徴選
択部と、前記１次特徴に基づく認識用に予め作成してあ
る詳細識別用辞書と、前記詳細識別用辞書中に含まれる
各々の詳細識別用参照パターンを前記特徴選択辞書に記
憶されている関数に基づいてｍ次元の大分類用参照パタ
ーンに変換し記憶する大分類辞書作成部と、前記大分類
用参照パターンの中から前記特徴選択部で抽出した２次
特徴との距離が近い上位Ｋ個の大分類用参照パターンを
抽出し、これらに対応する前記詳細識別用参照パターン
を特定する情報を出力する大分類部と、前記大分類部の
出力情報によって特定されるＫ個の前記詳細識別用参照
パターンと前記特徴抽出部が抽出した１次特徴とを照合
して、照合結果を出力する詳細識別部と、前記照合結果
を加工してメモリやディスプレイなどに出力する認識結
果出力部と、前記特徴選択辞書に記憶される関数の学習
時には、前記大分類用参照パターン中に含まれる正解カ
テゴリの参照パターンのうち、学習パターンから抽出し
た前記２次特徴との距離が最も近い大分類用参照パター
ンを参照パターンＡとして抽出し、さらに前記大分類用
参照パターン中に含まれる不正解カテゴリの参照パター
ンのうち、前記２次特徴との距離が最も近い大分類用参
照パターンを参照パターンＢとして抽出した後、前記２
次特徴と前記参照パターンＡとの距離がより近づき、更
に前記２次特徴と前記参照パターンＢとの距離がより遠
ざかるように前記特徴選択関数を修正する特徴選択辞書
修正部を備えることを特徴とする。

【００３３】また本発明は、入力パターンから１次特徴
としてｎ次元の特徴を抽出する特徴抽出部と、前記１次
特徴をｍ次元（ｍ＜ｎ）の特徴に変換する関数を記憶す
る特徴選択辞書と、前記特徴選択辞書に記憶される関数
に基づき、２次特徴として前記１次特徴からｍ次元の特
徴を抽出する特徴選択部と、前記１次特徴に基づき認識
用に予め作成してある詳細識別用辞書と、前記詳細識別
用辞書中に含まれる各々の詳細識別用参照パターンを前
記特徴選択辞書に記憶されている関数に基づいてｍ次元
の大分類用参照パターンに変換し記憶する大分類辞書作
成部と、前記大分類用参照パターンの中から前記特徴選
択部で抽出した２次特徴との類似度が大きい上位Ｋ個の
大分類用参照パターンを抽出し、これらに対応する前記
詳細識別用参照パターンを特定する情報を出力する大分
類部と、前記大分類部の出力情報によって特定されるＫ
個の前記詳細識別用参照パターンと前記特徴抽出部が抽
出した１次特徴とを照合して、照合結果を出力する詳細
識別部と、前記詳細識別部の出力を加工してメモリやデ
ィスプレイなどに出力する認識結果出力部と、前記特徴
選択辞書に記憶される特徴選択関数の学習時には、前記
大分類用参照パターン中に含まれる正解カテゴリの参照
パターンのうち、学習パターンから抽出した前記２次特
徴との類似度が最も高い大分類用参照パターンを参照パ
ターンＡとして抽出し、さらに前記大分類用参照パター
ン中に含まれる不正解カテゴリの参照パターンのうち、
前記２次特徴との類似度が最も高い大分類用参照パター
ンを参照パターンＢとして抽出した後、前記２次特徴と
前記参照パターンＡとの類似度が増大し、更に前記２次
特徴と前記参照パターンＢとの類似度がより減少するよ
うに前記特徴選択関数を修正する特徴選択辞書修正部を
備えることを特徴とする。

【００３４】本発明に係る方法は、入力パターンの１次
特徴をｍ次元（但し、ｍ＜ｎ）の特徴に変換するための
特徴選択情報を記憶する特徴選択辞書と、入力パターン
の１次特徴に基づく認識のために予め作成されている詳
細識別用参照パターンをカテゴリ毎に記憶する詳細識別
用辞書と、を記憶する記憶手段と、備え、データ処理装
置が、特徴抽出部と、特徴選択部と、大分類辞書作成部
と、大分類部と、詳細識別部と、認識結果出力部と、特
徴選択辞書修正部と、を備えたパターン認識装置のパタ
ーン認識方法であって、学習フェーズが、（ａ）前記特
徴抽出部において、入力パターンから１次特徴としてｎ
次元の特徴を抽出するステップと、（ｂ）前記特徴選択
部において、前記特徴選択辞書に記憶される関数に基づ
き、２次特徴として前記１次特徴からｍ次元の特徴を抽
出するステップと、（ｃ）前記大分類辞書作成部におい
て、前記詳細識別用辞書中に含まれる各々の詳細識別用
参照パターンを、前記特徴選択辞書に記憶されている関
数に基づいて、ｍ次元の大分類用参照パターンに変換し
記憶するステップと、（ｄ）前記大分類部において、前
記大分類用参照パターンの中から前記特徴選択部で抽出
した２次特徴との距離が近い上位の所定個数（Ｋ個）の
大分類用参照パターンを抽出し、これらに対応する前記
詳細識別用参照パターンを特定する情報を出力するステ
ップと、（ｅ）前記詳細識別部において、前記大分類処
理の出力情報によって特定される所定個数（Ｋ個）の前
記詳細識別用参照パターンと、前記特徴抽出処理で抽出
された１次特徴と、を照合して、照合結果を出力するス
テップと、（ｆ）前記照合結果を加工して記憶装置又は
出力装置に出力する認識結果出力処理と、（ｇ）前記特
徴選択辞書修正部において、前記特徴選択辞書に記憶さ
れる関数の学習時には、前記大分類用参照パターン中に
含まれる参照パターンのうち、学習パターンと同一のカ
テゴリに属し、且つ、学習パターンから抽出した前記２
次特徴との距離が最も近い大分類用参照パターンを第１
の参照パターンとして抽出し、さらに前記大分類用参照
パターン中に含まれる参照パターンのうち、学習パター
ンと同一でないカテゴリに属し、且つ前記２次特徴との
距離が最も近い大分類用参照パターンを第２の参照パタ
ーンとして抽出し、前記２次特徴と第１の前記参照パタ
ーンとの距離がより近づくとともに、前記２次特徴と前
記第２の参照パターンとの距離がより遠ざかるように、
前記特徴選択辞書の情報を修正するステップと、を含
む。

【００３５】

【発明の実施の形態】本発明の実施の形態について説明
する。まず図９を参照して、本発明の原理・作用につい
て説明する。図９は、２次元の原特徴空間上に３つのカ
テゴリ（カテゴリＡ，Ｂ，Ｃ）のデータが分布している
様子を示す図である。

【００３６】本発明においては、２次元空間におけるカ
テゴリＡ、Ｂ、Ｃの参照パターンを現在の特徴選択辞書
（図１の１０６）により特徴選択して、１次元の参照パ
ターンに変換したものを、１次元参照パターン９０４、
９０５、９０６とし、カテゴリＡに属する１つの学習パ
ターン９０１を同じ特徴選択辞書（１０６）により変換
して得た１次元特徴を１次元特徴９１０とする。

【００３７】すると、この時点では、１次元特徴９１０
はカテゴリＢの１次元参照パターン９０５と最も距離が
近く、正解カテゴリであるカテゴリＡの１次元参照パタ
ーン９０４とは距離が最も離れている。

【００３８】従って、この特徴選択辞書（１０６）を用
いて２候補を抽出する大分類を行っても、カテゴリＡは
候補として、選ばれない。

【００３９】そこで、特徴選択辞書修正部（図１の１０
８）は、正解カテゴリの１次元参照パターン９０４と１
次元特徴９１０との距離をより近づけ、更に１次元参照
パターン９０４に最も近い不正解カテゴリの参照パター
ン９０５と１次元特徴との距離がより離れるように特徴
選択辞書（１０６）を修正する。

【００４０】図９に示す例では、このような特徴選択辞
書（１０６）の修正を行うと特徴軸が右に回転する。

【００４１】そこで得られた特徴選択辞書（１０６）に
基づいて、１次元参照パターン及び１次元特徴を再度計
算し直す。

【００４２】新たな特徴軸が特徴軸９０３であるとすれ
ば、本軸上では、学習パターンを投影した１次元特徴９
０８が正解カテゴリの１次元参照パターン９０７に最も
近くなり、正しく大分類の候補として選出されるように
なっている。

【００４３】このような作用により、特徴選択辞書修正
部（１０８）を持たない構成の装置に比べ、認識率を向
上することができる。

【００４４】本発明に係る方法は、その好ましい一実施
の形態において、図１を参照すると入力パターンの１次
特徴をｍ次元（但し、ｍ＜ｎ）の特徴に変換するための
特徴選択情報を記憶する特徴選択辞書（１０６）と、入
力パターンの１次特徴に基づく認識のために予め作成さ
れている詳細識別用参照パターンをカテゴリ毎に記憶す
る詳細識別用辞書（１０４）とを備え、詳細識別用辞書
（１０４）中のｎ次元の参照パターンと、学習パターン
から抽出されたｎ次元特徴とから、特徴選択辞書（１０
６）の内容に基づき、ｍ（ｍ＜ｎ）次元参照パターンと
ｍ次元特徴とを抽出し、学習パターンと同一カテゴリに
属するｍ次元参照パターンのうち、前記ｍ次元特徴との
距離が最も近い参照パターンを、第１の参照パターンと
して抽出し、学習パターンと異なるカテゴリに属するｍ
次元参照パターンのうち、前記ｍ次元特徴との距離が最
も近い参照パターンを第２の参照パターンとして抽出
し、前記ｍ次元特徴と前記第１の参照パターンとの距離
がより近づくとともに、更に前記ｍ次元特徴と前記第２
の参照パターンとの距離がより遠ざかるように特徴選択
辞書（１０６）の内容を更新する。

【００４５】本発明のパターン認識装置は、その好まし
い一実施の形態において、データ入力部（１０１）から
入力されたパターンから１次特徴としてｎ次元の特徴を
抽出する特徴抽出部（１０２）と、１次特徴をｍ次元
（但し、ｍ＜ｎ）の特徴に変換する関数（特徴選択情
報）を記憶する特徴選択辞書（１０６）と、特徴選択辞
書（１０６）に記憶される情報に基づき、２次特徴とし
て前記１次特徴からｍ次元の特徴を抽出する特徴選択部
（１０３）と、１次特徴に基づく認識用に予め作成され
ている詳細識別用参照パターンを記憶する詳細識別用辞
書（１０４）と、詳細識別用辞書（１０４）中に含まれ
る各々の詳細識別用参照パターンを、特徴選択辞書（１
０６）に記憶されている関数（特徴選択情報）に基づい
て、ｍ次元の大分類用参照パターンに変換し記憶する大
分類辞書作成部（１０５）と、大分類用参照パターンの
中から特徴選択部（１０３）で抽出した２次特徴との距
離が近い上位の所定個数（Ｋ個）の大分類用参照パター
ンを抽出し、これらに対応する詳細識別用参照パターン
を特定する情報を出力する大分類部（１０７）と、大分
類部（１０７）の出力情報によって特定される所定個数
（Ｋ個）の前記詳細識別用参照パターンと、前記特徴抽
出部が抽出した１次特徴と、を照合して、照合結果を出
力する詳細識別部（１０９）と、照合結果を加工して記
憶装置又は出力装置に出力する認識結果出力部（１１
０）と、特徴選択辞書（１０６）に記憶される関数（特
徴選択情報）の学習時には、前記大分類用参照パターン
中に含まれる参照パターンのうち、学習パターンと同一
のカテゴリ（以下、「正解カテゴリ」という）に属し、
且つ、学習パターンから抽出した前記２次特徴との距離
が最も近い大分類用参照パターンを参照パターン（Ａ）
として抽出し、さらに前記大分類用参照パターン中に含
まれる参照パターンのうち、学習パターンと同一でない
カテゴリ（以下、「不正解カテゴリ」という）に属し、
且つ前記２次特徴との距離が最も近い大分類用参照パタ
ーンを参照パターン（Ｂ）として抽出した後、前記２次
特徴と前記参照パターン（Ａ）との距離がより近づき、
更に前記２次特徴と前記参照パターン（Ｂ）との距離が
より遠ざかるように、前特徴選択辞書（１０６）を修正
する特徴選択辞書修正部（１０８）と、を備える。

【００４６】本発明のパターン認識装置は、その一実施
の形態において、上記した特徴抽出部（１０２）と、特
徴選択部（１０３）と、大分類辞書作成部（１０５）
と、大分類部（１０７）と、詳細識別部（１０９）と、
認識結果出力部（１１０）と、特徴選択辞書修正部（１
０８）の上記各部における処理は、コンピュータ上で実
行されるプログラムにより実現される。この場合、該プ
ログラムを記録した記録媒体（半導体メモリ、ＦＤ（フ
ロッピディスク）、ＣＤ−ＲＯＭ、ＭＴ（磁気テー
プ）、ＤＶＤ（digital versatile disk））等の各種
媒体を、もしくは、通信媒体を介して、該媒体の読み出
し装置及びインタフェースを介してコンピュータに読み
出し、実行形式のプログラムをコンピュータの主記憶に
ロードして実行することで、本発明を実施することがで
きる。

【００４７】より詳細には、本発明に係る、プログラム
を記録した記録媒体は、その一実施の形態において、パ
ターン認識装置において、入力パターンの１次特徴（ｎ
次元）をｍ次元（但し、ｍはｎより小の正整数）の特徴
に変換する関数を記憶する特徴選択辞書と、前記１次特
徴に基づく認識用に予め作成されている詳細識別用参照
パターンを記憶する詳細識別用辞書と、を記憶する記憶
装置を備え、（ａ）入力パターンから１次特徴としてｎ
次元の特徴を抽出する特徴抽出処理と、（ｂ）前記特徴
選択辞書に記憶される関数に基づき、２次特徴として前
記１次特徴からｍ次元の特徴を抽出する特徴選択処理
と、（ｃ）前記詳細識別用辞書中に含まれる各々の詳細
識別用参照パターンを、前記特徴選択辞書に記憶されて
いる関数に基づいて、ｍ次元の大分類用参照パターンに
変換し記憶する大分類辞書作成処理と、（ｄ）前記大分
類用参照パターンの中から前記特徴選択部で抽出した２
次特徴との距離が近い上位の所定個数（Ｋ個）の大分類
用参照パターンを抽出し、これらに対応する前記詳細識
別用参照パターンを特定する情報を出力する大分類処理
と、（ｅ）前記大分類処理の出力情報によって特定され
る所定個数（Ｋ個）の前記詳細識別用参照パターンと、
前記特徴抽出処理で抽出された１次特徴と、を照合し
て、照合結果を出力する詳細識別処理と、（ｆ）前記照
合結果を加工して記憶装置又は出力装置に出力する認識
結果出力処理と、（ｇ）前記特徴選択辞書に記憶される
関数の学習時には、前記大分類用参照パターン中に含ま
れる参照パターンのうち、学習パターンと同一のカテゴ
リ（以下、「正解カテゴリ」という）に属し、且つ、学
習パターンから抽出した前記２次特徴との距離が最も近
い大分類用参照パターンを参照パターン（Ａ）として抽
出し、さらに前記大分類用参照パターン中に含まれる参
照パターンのうち、学習パターンと同一でないカテゴリ
（以下、「不正解カテゴリ」という）に属し、且つ前記
２次特徴との距離が最も近い大分類用参照パターンを参
照パターン（Ｂ）として抽出し、前記２次特徴と前記参
照パターン（Ａ）との距離がより近づき、更に前記２次
特徴と前記参照パターン（Ｂ）との距離がより遠ざかる
ように、前記特徴選択辞書の関数を修正する特徴選択辞
書修正処理と、の前記（ａ）乃至（ｇ）の各処理を、パ
ターン認識装置を構成するコンピュータで実行させるた
めのプログラムを保持している。

【００４８】

【実施例】上記した本発明の実施の形態について更に詳
細に説明すべく、本発明の実施例について図面を参照し
て以下に説明する。

【００４９】図１は、本発明のパターン認識装置の第１
の実施例の構成を示す図である。図１を参照すると、こ
のパターン認識装置は、データ入力部１０１と、特徴抽
出部１０２と、特徴選択部１０３と、大分類部１０４
と、特徴選択辞書修正部１０５と、特徴選択辞書１０６
と、詳細識別用辞書１０７と、大分類辞書作成部１０８
と、詳細識別部１０９と、認識結果出力部１１０と、を
備えて構成されている。

【００５０】データ入力部１０１は、認識対象であるデ
ータを取り込んで特徴抽出部１０２に出力する。認識対
象のデータとしては、例えば画像データや音声データな
どが挙げられる。

【００５１】特徴抽出部１０２は、データ入力部１０１
から入力されたデータから認識に有効なｎ次元特徴を抽
出し、特徴選択部１０３及び詳細識別部１０９に出力す
る。

【００５２】特徴選択部１０３は、特徴選択辞書１０６
を参照して、特徴抽出部１０２が出力するｎ次元特徴を
ｍ次元特徴に変換し、これを大分類部１０４及び特徴選
択辞書修正部１０５に出力する。

【００５３】詳細識別用辞書１０４は、予めなんらかの
学習方法によって構築されている詳細識別用の辞書であ
り、カテゴリコード及び参照パターン番号を付加したｎ
次元参照パターンの集合である。

【００５４】大分類辞書作成部１０５は、詳細識別用辞
書１０４に格納されている各ｎ次元参照パターンを特徴
選択辞書１０６に基づいて大分類用のｍ次元参照パター
ンに変換する処理部である。各ｎ次元参照パターンとこ
れを変換して得た各ｍ次元参照パターンとの対応関係が
わかるように、両者には同一の参照パターン番号を付加
する。

【００５５】特徴選択辞書１０６は、特徴選択のための
関数を記述した辞書である。線形変換による特徴選択に
限る場合は、変換行列（ｍ×ｎ行列）の各要素値を格納
すれば良い。

【００５６】大分類部１０７は、大分類辞書作成部１０
５が出力するｍ次元参照パターンの集合の中から、特徴
選択部１０３が出力するｍ次元特徴パターンとの一致度
が高いパターンをＫ個抽出し、その参照パターン番号を
出力する処理部である。一致度の評価は、ｍ次元空間に
おける特徴パターンと参照パターンとの距離に基づいて
も良いし、または類似度に基づいても良い。

【００５７】本実施例では、ユークリッド距離の２乗に
基づいて一致度を定義するものとする。

【００５８】詳細識別部１０９は、大分類部１０７が出
力する参照パターン番号に対応するｎ次元参照パターン
の中から特徴抽出部１０２が出力するｎ次元特徴パター
ンに近いものを抽出し、そのカテゴリコード及び認識評
価値を出力する。具体的な識別アルゴリズムとしては、
最近傍識別、単純類似度識別、疑似ベイズ識別など各種
手法があり、任意の手法が用いられる。実施例では、最
近傍識別器を用いた例を示す。

【００５９】認識結果出力部１１０は、詳細識別部１０
９が出力したカテゴリコード及び認識評価値を加工し
て、メモリやディスプレイ等に出力する。

【００６０】特徴選択辞書修正部１０８は、学習フェー
ズのみ実行される処理部であり、正解カテゴリの参照パ
ターンが大分類部１０７においてより候補に残りやすく
なるように、特徴選択辞書１０６を修正する処理部であ
る。

【００６１】次に、図１に示した本発明の第１の実施例
の動作について説明する。

【００６２】ここでは、理解をより容易にするために、
本発明を手書数字認識装置に応用した例について具体的
に説明する。また、この手書数字認識装置は、特徴選択
辞書の学習を行う学習フェーズと、完成した特徴選択辞
書を用いて入力データを次々と認識する認識フェーズか
ら構成されるため、各フェーズ毎に動作を説明する。

【００６３】まず学習フェーズの動作の一例について図
２を参照して説明する。図２は、学習フェーズの大きな
処理の流れを示すフローチャートである。この学習は、
いわゆる逐次学習である。

【００６４】まず、学習サイクル数及び学習するパター
ン数を設定する（ステップＳ２０１）。

【００６５】更に、特徴選択辞書１０６の初期化を行う
（ステップＳ２０２）。初期値は、例えば主成分分析に
よって設定する。すなわち、全学習パターンから抽出し
たｎ次元特徴からその共分散行列を作成し、その固有値
のうち大きい順にｍ個を選出して、これに対する固有ベ
クトルｍ組を初期値とすればよい。学習サイクル数とは
全学習パターンに対する学習作業を１サイクルと数えた
ときに、その作業を何回繰り返すかを指定する変数であ
る。

【００６６】次に、次サイクル数を記憶するカウンタLC
を１に初期化する（ステップＳ２０３）。

【００６７】この後、学習サイクル数が規定回数を越え
ているかをチェックし（ステップＳ２０４）、越えてい
れば学習を終了し、規定回数以下の場合には以下の処理
を行う。

【００６８】まず次パターン番号を記憶するカウンタPN
を１に初期化し（ステップＳ２０５）、学習パターン数
が規定数を超えたかをチェックする（ステップＳ２０
６）。

【００６９】越えていれば次サイクル数を数えるカウン
タLCを１増加させ、ステップＳ２０２に戻る。規定回数
以下であれば学習パターンを１つ読み込み、修正量を計
算して特徴選択辞書の修正を行う（ステップＳ２０
７）。

【００７０】修正が終了したら次パターンを記憶するカ
ウンタPNを１増加させ、ステップＳ２０６に戻る。

【００７１】これにより、各学習パターンに対して、学
習サイクル回の修正手続きが実行され、学習フェーズは
終了する。

【００７２】次に、学習フェーズにおける特徴選択辞書
修正について詳細に説明する。この処理は、本発明の主
たる特徴をなす処理である。

【００７３】まず学習パターンがデータ入力部１０１に
入力され、特徴抽出部１０２に出力される。学習パター
ンはあらかじめ切り出された文字画像で、２値画像でも
多値画像でもよい。

【００７４】特徴抽出部１０２はデータ入力部１０１が
出力する学習パターンから文字認識に有効なｎ次元特徴
を抽出する。文字認識に有効な特徴としては、例えば局
所方向指数ヒストグラム、拡張セル特徴、外郭方向寄与
度特徴などが知られており、各特徴を用いた場合のｎの
値は、概ね６４〜１１７６次元ぐらいが良好とされてい
る。

【００７５】特徴選択部１０３は、特徴抽出部１０２が
抽出したｎ次元特徴を、特徴選択辞書１０６を参照して
ｍ次元特徴に変換する。

【００７６】ｎ次元の特徴値をそれぞれx1,x2,...,xn、
ｍ次元の特徴値をそれぞれy1,y2,...,ym、特徴選択のた
めのｍ個の関数をf1,f2,...,fm、とすれば、特徴選択部
１０３で行う演算は以下のように記述できる。

【００７７】 y1=f1(x1,x2,....,xn) y2=f2(x1,x2,....,xn) ..................... ym=fm(x1,x2,....,xn)

【００７８】また特徴選択部１０３の特徴選択方法を線
形変換とすれば、ｎ次元特徴、ｍ次元特徴をそれぞれベ
クトル X= (x1, x2, x3, ...., xn)^T、 ベクトルY=(y1, y2, y3, ...., yn)^T、 特徴選択をｍ＊ｎ行列、

【００７９】で表現すると、特徴選択部１０３で行う演
算は、 Ｙ＝ＺＸ と簡潔に表すことができる。但し、ここで記号Ｔは転置
を表す。

【００８０】詳細識別用辞書１０４は、予め学習してあ
る詳細識別部用の辞書であり、本発明においては変化し
ない。

【００８１】具体例としては、図３に示すようなカテゴ
リコード情報及び参照パターン番号情報を付加したｎ次
元参照パターンの集合により表現することができる。

【００８２】図３において、カテゴリコード３０１は、
文字のカテゴリを示す数値であり、ここではASCIIコー
ドを用いた例を示している。この他にもJISコードやEUC
コード、SJISコードなどを用いることが可能であるが、
JISコード、EUCコード、SJISコードなどを用いる場合は
２バイトの領域を要する。

【００８３】参照パターン番号３０２は、詳細識別用参
照パターンと、これを特徴選択して得た大分類用参照パ
ターンとを対応づけるための番号であり、参照パターン
の登録順序に従って１番から順番に番号付けすればよ
い。参照パターン番号を格納する領域の大きさは、参照
パターン数が２５５以下であれば１バイトで十分である
が、参照パターン数が多い場合はそれ以上の記憶領域を
用意する。

【００８４】ｎ次元参照パターン３０３は特徴値を順番
に格納しており、各要素を１バイトで表現したとすると
ｎバイトの領域を要する。

【００８５】また図３では、参照パターンの最終位置を
示すため、最終参照パターンの直後のカテゴリコード３
０４及び参照パターン番号３０５に値−１を設定してい
るが、別の方法としては、詳細識別用辞書１０４内に参
照パターン数を保持する別の記憶領域を設けてもよい。

【００８６】大分類辞書作成部１０５は、特徴選択辞書
１０６を参照して、詳細識別用辞書１０４中の各ｎ次元
参照パターンを特徴選択部１０３と同様の演算によりｍ
次元参照パターンに変換し対応付けて記憶する。

【００８７】詳細識別用辞書１０４中のｎ次元参照パタ
ーンと大分類辞書作成部１０５が記憶するｍ次元参照パ
ターンとは１対１に対応する。

【００８８】特徴選択部１０３が出力するｍ次元特徴
と、大分類辞書作成部１０５が記憶するｍ次元参照パタ
ーンが算出されたら、次に、特徴選択辞書修正部１０８
が起動される。

【００８９】特徴選択辞書修正部１０８の動作について
図１３を参照して説明する。図１３は、簡単のため、原
特徴を２次元とし、特徴選択後の次元数を１次元とした
場合について示している。

【００９０】２次元空間上に３種類のカテゴリ１３０７
〜１３０９に属するパターンが存在する。また、カテゴ
リ毎に、２つのｎ次元参照パターン１３０１〜１３０６
が設定され、各参照パターンは現在の特徴選択部１０３
によってｍ次元参照パターン１３１１〜１３１６に変換
される。

【００９１】またカテゴリ１３０７に属する学習パター
ン１３１０は特徴選択によって１次元学習パターン１３
１７に変換される。

【００９２】まず最初のステップとして、ｍ次元参照パ
ターンの中からｍ次元特徴パターンに距離の近いパター
ンを２つ抽出する。但し、２つのうち一方の参照パター
ンは、入力された学習パターンと同一カテゴリに属する
ものであり、もし学習パターンと同じカテゴリコードを
持つｍ次元参照パターンが複数ある場合には、ｍ次元特
徴との距離が最も近いものを選択する。

【００９３】図１３では、１次元参照パターン１３１２
がこれに該当する。また、もう一方のｍ次元参照パター
ンは、入力された学習パターンと異なるカテゴリに属す
るｍ次元参照パターンのうち、ｍ次元特徴に最も距離が
近いものとする。図１３では１次元参照パターン１３１
３がこれに該当する。

【００９４】距離は、例えばユークリッド距離の２乗、
すなわち、 d(Y, Pi) = ‖(Y − Pi) ‖²= ‖(ZX − ZRi) ‖²

【００９５】で定義する。但し、Piは参照パターン番号
iのｍ次元参照パターン、Ｒiは参照パターン番号ｉのｎ
次元参照パターンを示す。

【００９６】抽出した２つの参照パターンのうち、学習
パターンと同カテゴリに属するｍ次元参照パターンの番
号をc1、異カテゴリに属するｍ次元参照パターン番号を
c2とすれば、ｍ次元特徴パターンと各参照パターンとの
距離は、それぞれ、 d1=d(Y, Rc1), d2=d(Y, Rc2) となる。

【００９７】さて特徴選択辞書の修正は、学習パターン
から抽出したｍ次元パターンと参照パターンRc1との距
離がより近くなり、学習パターンから抽出したｍ次元パ
ターンと参照パターンRc2との距離がより遠くなるよう
に実行される。特徴選択辞書Ｚの変化による距離ｄの最
大変化方向は、次式（２）で与えられる。

【００９８】

【００９９】このため、学習パターンから抽出したｍ次
元パターンと参照パターンRc1との距離１３１８をより
近くするには、

【０１００】

【０１０１】なる値を、もともとの特徴選択辞書Ｚから
減じればよい。

【０１０２】一方、学習パターンから抽出したｍ次元パ
ターンと参照パターンRc2との距離１３１９をより遠く
するためには、

【０１０３】

【０１０４】なる値を、もともとの特徴選択辞書Ｚに加
算すればよい。但し、ここでｔは学習サイクル、ε1
(t), ε2(t)は修正量を調節するための関数である。従
って、両修正量を加算して、最終的に、以下の修正式
（５）を得る。

【０１０５】

【０１０６】この修正により、特徴選択辞書を逐次修正
すれば、既に述べたように特徴選択軸が徐々に識別に適
した方向に変化して正解カテゴリの参照パターンが大分
類部にて上位候補に上がりやすくなり、次元数ｍを比較
的小さくしても認識性能を高めることができる。

【０１０７】特徴選択辞書修正部１０８は、上記修正量
に基づき、特徴選択辞書１０６を修正する。

【０１０８】また、上記修正式において、ε1(t), ε2
(t)の値は、１／ｔに比例することが理論的に望ましい
が、実応用においては、定数としても差し支えない。

【０１０９】次に、本発明の一実施例における、認識フ
ェーズの動作について、図４を用いて説明する。図４
は、本発明の一実施例における認識フェーズのフローチ
ャートを示す図である。

【０１１０】認識フェーズでは、初期化（ステップＳ４
０１）、各入力データについて入力（ステップＳ４０
２）、特徴抽出（ステップＳ４０３）、特徴選択（ステ
ップＳ４０４）、大分類（ステップＳ４０５）、詳細分
類（ステップＳ４０６）、結果出力（ステップＳ４０
７）を順に行う。以下それぞれの処理について具体的に
説明する。

【０１１１】まず認識に先立って初期化（ステップＳ４
０１）が行われる。初期化では、大分類辞書作成部１０
５が起動され、学習フェーズによって作成された特徴選
択辞書１０６と詳細識別用辞書１０４を参照して、ｍ次
元参照パターンを作成し記憶する。

【０１１２】学習フェーズでは学習パターン毎に大分類
辞書作成部１０５が起動されたが、認識フェーズでは初
期化にて一度だけ起動される。よって、認識中大分類用
参照パターンは変化しない。

【０１１３】入力ステップ（ステップＳ４０２）では、
認識対象のパターンを１パターンずつ読み込む。

【０１１４】特徴抽出部１０２における特徴抽出ステッ
プ（ステップＳ４０３）、及び、特徴選択部１０３にお
ける特徴選択ステップ（ステップＳ４０４）が実行され
る。これらの処理内容は、入力データが学習パターンで
はなく、識別対象パターンであることを除いて、学習フ
ェーズと全く変わらない。

【０１１５】続いて大分類ステップ（ステップ４０５）
は、大分類部１０７により、実行される。大分類部１０
７は、大分類用辞書作成部１０５が抽出したｍ次元参照
パターンの中からｍ次元特徴パターンに距離が近いもの
を上位Ｋ個だけ抽出し、その参照パターン番号を詳細識
別部１０９に出力する。この際、抽出されたＫ個の参照
パターンが属するカテゴリは互いに同一でも異なってい
てもかまわない。

【０１１６】詳細識別部１０９は、大分類部１０７が出
力する参照パターン番号に対応するｎ次元参照パターン
を詳細識別用辞書１０４の中から抽出して、その中から
特徴抽出部１０２が出力するｎ次元特徴パターンに近い
距離のものを出力する。距離はユークリッド距離などで
定義すればよい。

【０１１７】認識結果出力部１１０は、詳細識別部１０
９が出力する認識結果を加工して、メモリや画面などに
出力する。

【０１１８】以上の構成により、実際に構築した手書英
数字カナ認識装置の認識実験結果について示す。

【０１１９】実験に用いた認識対象のカテゴリ数は８２
種、入力パターン数（評価パターン数）は約８万５千パ
ターン、特徴は輪郭線の傾きを局所領域毎／方向毎に集
約した特徴（４００次元）、詳細識別用辞書は一般化学
習ベクトル量子化法により各カテゴリ毎に１０個の参照
ベクトルを作成し、マルチテンプレート辞書を構築し
た。

【０１２０】大分類部、詳細識別部で用いた識別アルゴ
リズムは共にユークリッド距離に基づく最近傍識別アル
ゴリズムである。

【０１２１】図５に、実験結果の一例を示す。図５に
は、４つの異なる認識手順による認識率、及び処理時間
が示されている。

【０１２２】・１段目は、大分類を行わずに４００次元
特徴パターンを用いて直接識別を行った場合の認識性能
を示し、 ・２段目は、４００次元の特徴パターンを４次元毎に集
約し１００次元の特徴パターンを構成して大分類を行
い、４００次元特徴を用いて詳細分類を行った場合の認
識性能を示し、 ・３段目は、４００次元の特徴パターンから主成分分析
により１５次元の特徴パターンを選択して大分類を行
い、４００次元特徴を用いて詳細分類を行った場合の認
識性能を示している。

【０１２３】・４段目は、本発明に基づいて、特徴選択
辞書を学習して１５次元特徴空間にて大分類を行った
後、４００次元特徴空間において詳細識別を行った場合
の性能を示す。

【０１２４】認識装置では、４００次元特徴パターンを
直接用いた識別時と、ほぼ同等の認識精度を維持し、且
つ認識時間が１／９程度に低減されていることがわか
る。

【０１２５】一方、３段目に示した主成分分析を用いて
次元圧縮した場合は性能が１段目の方法よりも低下して
いることがわかる。

【０１２６】追加実験の結果、主成分分析を用いた場合
は、少なくとも２５次元以上の特徴を選択しないと同等
の認識性能を実現できなかった。

【０１２７】また本発明は、２段目に示した１００次元
特徴で大分類する手法と比較して、認識率及び認識時間
の両面において優位であることも、図５からわかる。

【０１２８】図６は、本発明の一実施例による認識装置
において、特徴選択辞書の学習フェーズにおける学習サ
イクル数と認識性能の関係を示す図である。

【０１２９】特徴選択辞書の初期値は、主成分分析によ
り作成した。

【０１３０】図６から、学習を行うことによって認識性
能が徐々に向上し、学習サイクル数１２回程度で大分類
無しの場合とほぼ同程度の認識性能を実現していること
がわかる。

【０１３１】以上の実施例では、大分類部、大分類辞書
作成部、詳細分類部とも、距離尺度によって分類／識別
処理を行う例を示したが、これらは、類似度を尺度とし
てもよい。

【０１３２】大分類部、及び大分類辞書作成部が類似度
に基づく場合には、同様に、類似度を特徴選択辞書Ｚで
偏微分した値を、ε1(t), ε2(t)倍した後、これをもと
の特徴選択辞書Ｚに加算／減算することにより、類似度
をより増大／減少させることができる。

【０１３３】次に本発明の第２の実施例について、図７
を参照して説明する。本発明の第２の実施例は、前記実
施例と相違して、特徴選択辞書修正部７０８が、更に詳
細識別部７０９の出力も参照して修正量を算出する。

【０１３４】本発明の第２の実施例について、図１２を
参照して、説明する。ｎ次元参照パターン１２０１、１
２０２は、カテゴリＤに属する参照パターンを示し、ｎ
次元参照パターン１２０３、１２０４はカテゴリＥに属
する参照パターンを示し、ｎ次元参照パターン１２０
５、１２０６はカテゴリＦに属する参照パターンを示
す。

【０１３５】また、これを現在の特徴選択辞書によって
特徴軸１２０８上に投影したｍ次元参照パターンをそれ
ぞれｍ次元参照パターン１２１１〜１２１６とする。

【０１３６】ここで、学習パターンから抽出したｎ次元
特徴をｎ次元特徴１２０７とすると、前記第１の実施例
では、１次元参照パターン１２１２及び１次元参照パタ
ーン１２１３を抽出し、辞書の修正量を決定している。

【０１３７】しかしながら、詳細識別用辞書１０４が、
１つのカテゴリに対し複数の参照パターンを含むマルチ
テンプレート辞書である場合、ｎ次元特徴空間において
入力パターンから抽出したｎ次元特徴の最近傍にある正
解カテゴリの参照パターンが、ｍ次元特徴空間において
入力パターンから得たｍ次元特徴の最近傍にある正解カ
テゴリの参照パターンと対応するとは限らない。

【０１３８】実際に、図１２に示す例の場合、２次元特
徴空間において、ｎ次元特徴１２０７の最近傍にあるｎ
次元参照パターン１２０１は、１次元特徴１２１７の最
近傍にある１次元参照パターン１２１２とは対応しな
い。

【０１３９】そこで、詳細識別時に最も入力パターンと
の距離が近い参照パターンがより大分類の候補として選
出されるようにするためには、１次元参照パターン１２
１２とｍ次元特徴１２１７が近づくように特徴選択辞書
７０６を修正するのでなく、１次元参照パターン１２１
１と、ｍ次元特徴１２１７とが近づくように、特徴選択
辞書７０６を修正すればよい。

【０１４０】そこで、ｎ次元特徴空間において、入力パ
ターンと同じカテゴリに属し、且つ入力パターンから得
たｎ次元特徴ベクトルに最も距離が近いｎ次元参照パタ
ーンの番号をc1´とすれば、特徴選択辞書修正部７０７
における修正手続きを、次式（６）と定義することがで
きる。

【０１４１】

【０１４２】図１１は、本発明の第２の実施例の処理手
順を示すフローチャートである。図１１を参照すると、
本発明の第２の実施例においては、最初に、詳細識別部
７−９による参照パターンRc1´の抽出を、全学習パタ
ーンに対して行う（ステップＳ１１０２）。このとき、
詳細識別部７０９は、大分類部の出力とは無関係に動作
し、学習パターンと同カテゴリに属する詳細識別用辞書
７０４中の全参照パターンから、最も距離が近いものを
抽出し記憶する。

【０１４３】これにより、全学習パターンに対して正解
カテゴリの参照パターン番号c1´が抽出できるので、以
降の修正ステップ（ステップＳ１１０７）では、異カテ
ゴリの参照パターン番号c2を決定すれば、前述の修正を
行うことが可能となる。

【０１４４】図８は、本発明の第２の実施例に従って構
成された認識装置による認識性能及び認識時間を示す図
である。なお、実験条件は、図６に示した場合と同じで
ある。

【０１４５】図８から、本発明の第２の実施例が、前記
第１の実施例と同等の認識性能を達成していることがわ
かる。

【０１４６】

【発明の効果】以上説明したように本発明によれば、主
成分分析等によって生成した特徴選択辞書を用いて大分
類を行う認識手法に比べ、高い認識性能を実現すること
ができる、という効果を奏する。

【０１４７】その理由は、本発明においては、正解カテ
ゴリに対応する参照ベクトルが大分類の候補として選択
されやすくなるように特徴選択辞書を逐次学習する手段
を具備しているためである。

【０１４８】また、本発明によれば、別の捉え方をすれ
ば、主成分分析等によって生成した特徴選択辞書を用い
て大分類を行う認識手法よりも、大分類に用いる特徴の
次元数をより少なくしても同等の認識性能を実現するこ
とができ、認識速度を向上することができる、という効
果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施例の構成を示す図である。

【図２】本発明の第１の実施例における学習フェーズの
処理手順を示す流れ図である。

【図３】本発明の第１の実施例における詳細識別用辞書
の具体例を示す図である。

【図４】本発明の第１の実施例における認識フェーズの
処理手順を示す流れ図である。

【図５】本発明の第１の実施例を適用した認識装置によ
る手書英数字カナの認識実験結果を示す図である。

【図６】本発明の第１の実施例を適用した認識装置にお
ける学習回数と認識性能の関係を示す図である。

【図７】本発明の第２の実施例の構成を示す図である。

【図８】本発明の第２の実施例を適用した認識装置によ
る手書英数字カナの認識実験結果を示す図である。

【図９】本発明を説明するための図であり、特徴選択辞
書の修正により大分類の候補が変わる様子を説明するた
めの図である。

【図１０】２次元空間における３つのカテゴリに属する
データの分布例と、これに対する主成分分析により得ら
れる第１主軸の例を示す図である。

【図１１】本発明の第２の実施例における学習フェーズ
の処理手順を示す流れ図である。

【図１２】本発明の第２の実施例を説明するための図で
あり、特徴選択辞書の修正に用いられる参照パターンを
示す図である。

【図１３】本発明の実施例における特徴選択辞書の修正
を説明するための図である。

【符号の説明】

１０１ データ入力部 １０２ 特徴抽出部 １０３ 特徴選択部 １０４ 詳細識別用辞書 １０５ 大分類辞書作成部 １０６ 特徴選択辞書 １０７ 大分類部 １０８ 特徴選択辞書修正部 １０９ 詳細識別部 １１０ 認識結果出力部 ３０１ 参照ベクトル番号 ３０２ カテゴリコード ３０３ ｎ次元特徴 ６０１ 第１の実施例による認識性能と学習回数の関係 ６０２ 大分類を行わない場合の認識性能 ７０１ データ入力部 ７０２ 特徴抽出部 ７０３ 特徴選択部 ７０４ 詳細識別用辞書 ７０５ 大分類辞書作成部 ７０６ 特徴選択辞書 ７０７ 大分類部 ７０８ 特徴選択辞書修正部 ７０９ 詳細識別部 ７１０ 認識結果出力部 ９０１ 学習パターンから抽出した２次元特徴 ９０２ 現在の特徴選択辞書により定まる特徴軸 ９０３ 特徴選択辞書修正後の特徴軸 ９０４ 現在の特徴選択辞書によって得られるカテゴリ
Ａの１次元参照パターン ９０５ 現在の特徴選択辞書によって得られるカテゴリ
Ｂの１次元参照パターン ９０６ 現在の特徴選択辞書によって得られるカテゴリ
Ｃの１次元参照パターン ９０７ 特徴選択辞書修正後のカテゴリＡの１次元参照
パターン ９０８ 特徴選択辞書修正後の１次元特徴 ９０９ 特徴選択辞書修正後のカテゴリＢの１次元参照
パターン ９１０ 現在の特徴選択辞書によって得られる１次元特
徴 １００１ ２次元特徴空間におけるカテゴリＡの分布範
囲 １００２ ２次元特徴空間におけるカテゴリＢの分布範
囲 １００３ ２次元特徴空間におけるカテゴリＣの分布範
囲 １００４ 現在の特徴選択辞書によって定まる特徴軸 １００５ 学習パターンから抽出した２次元特徴 １００６ 特徴選択辞書に基づいて得られるカテゴリＡ
の１次元参照パターン １００７ 学習パターンから抽出した２次元特徴を特徴
選択辞書に基づいて変換し得た１次元特徴 １００８ 特徴選択辞書に基づいて得られるカテゴリＢ
の１次元参照パターン １００９ 特徴選択辞書に基づいて得られるカテゴリＣ
の１次元参照パターン １２０１、１２０２ カテゴリＤの２次元参照パターン １２０３、１２０４ カテゴリＥの２次元参照パターン １２０５、１２０６ カテゴリＦの２次元参照パターン １２０７ 学習パターンから抽出した２次元特徴 １２０８ 特徴選択辞書によって定められる特徴軸 １２１１、１２１２ カテゴリＤの２次元参照パターン
を特徴選択辞書に基づいて特徴軸に投影して得た１次元
参照パターン １２１３、１２１４ カテゴリＥの２次元参照パターン
を特徴選択辞書に基づいて特徴軸に投影して得た１次元
参照パターン １２１５、１２１６ カテゴリＦの２次元参照パターン
を特徴選択辞書に基づいて特徴軸に投影して得た１次元
参照パターン １３０１、１３０２ カテゴリ１３０７に属する２つの
ｎ次元参照パターン １３０３、１３０４ カテゴリ１３０８に属する２つの
ｎ次元参照パターン １３０５、１３０６ カテゴリ１３０９に属する２つの
ｎ次元参照パターン １３０７、１３０８、１３０９ カテゴリ １３１０ 学習パターン（２次元） １３１１、１３１２ ｎ次元参照パターン１３０１、１
３０２を特徴選択して得たｍ次元参照パターン １３１３、１３１４ ｎ次元参照パターン１３０３、１
３０４を特徴選択して得たｍ次元参照パターン １３１５、１３１６ ｎ次元参照パターン１３０５、１
３０６を特徴選択して得たｍ次元参照パターン １３１７ 学習パターン１３１０を特徴選択して得た１
次元学習パターン １３１８ １次元学習パターン１３１７と参照パターン
Ｒ_C1との距離 １３１９ １次元学習パターン１３１７と参照パターン
Ｒ_C2との距離

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B064 DA05 DA09 DA13 DA27 5D015 GG04 HH03 5L096 BA16 BA17 HA09 JA11 JA14 JA22 KA04

Claims (16)

【特許請求の範囲】
1. 【請求項１】入力パターンから１次特徴としてｎ次元の
   特徴を抽出する特徴抽出部と、 前記１次特徴をｍ次元（但し、ｍ＜ｎ）の特徴に変換す
   る関数を記憶する特徴選択辞書と、 前記特徴選択辞書に記憶される関数に基づき、２次特徴
   として前記１次特徴からｍ次元の特徴を抽出する特徴選
   択部と、 前記１次特徴に基づく認識用に予め作成されている詳細
   識別用参照パターンを記憶する詳細識別用辞書と、 前記詳細識別用辞書中に含まれる各々の詳細識別用参照
   パターンを、前記特徴選択辞書に記憶されている関数に
   基づいて、ｍ次元の大分類用参照パターンに変換し記憶
   する大分類辞書作成部と、 前記大分類用参照パターンの中から前記特徴選択部で抽
   出した２次特徴との距離が近い上位の所定個数（Ｋ個）
   の大分類用参照パターンを抽出し、これらに対応する前
   記詳細識別用参照パターンを特定する情報を出力する大
   分類部と、 前記大分類部の出力情報によって特定される所定個数
   （Ｋ個）の前記詳細識別用参照パターンと、前記特徴抽
   出部が抽出した１次特徴と、を照合して、照合結果を出
   力する詳細識別部と、 前記照合結果を加工して記憶装置又は出力装置に出力す
   る認識結果出力部と、 前記特徴選択辞書に記憶される関数の学習時には、前記
   大分類用参照パターン中に含まれる参照パターンのう
   ち、学習パターンと同一のカテゴリ（以下、「正解カテ
   ゴリ」という）に属し、且つ、学習パターンから抽出し
   た前記２次特徴との距離が最も近い大分類用参照パター
   ンを参照パターン（Ａ）として抽出し、 さらに前記大分類用参照パターン中に含まれる参照パタ
   ーンのうち、学習パターンと同一でないカテゴリ（以
   下、「不正解カテゴリ」という）に属し、且つ前記２次
   特徴との距離が最も近い大分類用参照パターンを参照パ
   ターン（Ｂ）として抽出した後、前記２次特徴と前記参
   照パターン（Ａ）との距離がより近づき、更に前記２次
   特徴と前記参照パターン（Ｂ）との距離がより遠ざかる
   ように、前記特徴選択関数を修正する特徴選択辞書修正
   部と、 を備える、ことを特徴とするパターン認識装置。
2. 【請求項２】入力パターンから１次特徴としてｎ次元の
   特徴を抽出する特徴抽出部と、 前記１次特徴をｍ次元（但し、ｍ＜ｎ）の特徴に変換す
   る関数を記憶する特徴選択辞書と、 前記特徴選択辞書に記憶される関数に基づき、２次特徴
   として前記１次特徴からｍ次元の特徴を抽出する特徴選
   択部と、 前記１次特徴に基づく認識用に予め作成されている詳細
   識別用参照パターンを記憶する詳細識別用辞書と、 前記詳細識別用辞書中に含まれる各々の詳細識別用参照
   パターンを前記特徴選択辞書に記憶されている関数に基
   づいてｍ次元の大分類用参照パターンに変換し記憶する
   大分類辞書作成部と、 前記大分類用参照パターンの中から前記特徴選択部で抽
   出した２次特徴との類似度が大きい上位所定個数（Ｋ
   個）の大分類用参照パターンを抽出し、これらに対応す
   る前記詳細識別用参照パターンを特定する情報を出力す
   る大分類部と、 前記大分類部の出力情報によって特定される所定個数
   （Ｋ個）の前記詳細識別用参照パターンと前記特徴抽出
   部が抽出した１次特徴とを照合して、照合結果を出力す
   る詳細識別部と、 前記詳細識別部の出力を加工して出力する認識結果出力
   部と、 前記特徴選択辞書に記憶される特徴選択関数の学習時に
   は、前記大分類用参照パターン中に含まれる正解カテゴ
   リの参照パターンのうち、学習パターンから抽出した前
   記２次特徴との類似度が最も高い大分類用参照パターン
   を参照パターン（Ａ）として抽出し、 さらに前記大分類用参照パターン中に含まれる不正解カ
   テゴリの参照パターンのうち、前記２次特徴との類似度
   が最も高い大分類用参照パターンを参照パターン（Ｂ）
   として抽出した後、前記２次特徴と前記参照パターン
   （Ａ）との類似度より増大し、更に前記２次特徴と前記
   参照パターン（Ｂ）との類似度がより減少するように、
   前記特徴選択関数を修正する特徴選択辞書修正部と、 を備える、ことを、特徴とするパターン認識装置。
3. 【請求項３】入力パターンからｎ次元の特徴ベクトルを
   抽出する特徴抽出部と、 前記ｎ次元特徴ベクトルからｍ次元特徴ベクトル（但
   し、ｍ＜ｎ）を選択するための情報を格納する特徴選択
   辞書と、 前記特徴選択辞書を参照して前記特徴抽出部が抽出した
   ｎ次元特徴ベクトルから大分類用のｍ次元特徴ベクトル
   を抽出する特徴選択部と、 ｎ次元参照ベクトルの集合からなる詳細識別用辞書と、 前記詳細識別用辞書を前記特徴選択辞書に基づいてｍ次
   元参照ベクトルの集合を抽出する大分類辞書作成部と、 前記特徴選択部で抽出したｍ次元特徴ベクトルと前記大
   分類辞書作成部が抽出したｍ次元参照ベクトルとを照合
   し、前記ｍ次元特徴ベクトルとの距離が近い順に上位Ｋ
   個の前記ｍ次元参照ベクトルの番号を候補参照ベクトル
   番号として抽出する大分類部と、 前記大分類部にて抽出した候補参照ベクトル番号に対応
   する前記詳細識別用辞書中の所定個数（Ｋ個）のｎ次元
   参照ベクトルと前記特徴抽出部にて抽出したｎ次元特徴
   ベクトルとを照合して照合結果を出力する詳細識別部
   と、 前記詳細識別部の出力結果に基づいて認識結果を出力す
   る認識結果出力部と、 特徴選択辞書の学習時には、前記ｍ次元参照ベクトル中
   に含まれる正解カテゴリの参照ベクトルのうち、学習パ
   ターンから抽出した前記ｍ次元特徴ベクトルとの距離が
   最も近いｍ次元参照ベクトルを参照ベクトル（Ａ）とし
   て抽出し、さらに前記ｍ次元参照ベクトル中に含まれる
   不正解カテゴリの参照ベクトルのうち、前記ｍ次元特徴
   ベクトルとの距離が最も近いｍ次元参照ベクトルを参照
   ベクトル（Ｂ）として抽出した後、前記ｍ次元特徴ベク
   トルと前記参照ベクトル（Ａ）との距離がより近づき、
   更に前記ｍ次元特徴ベクトルと前記参照ベクトル（Ｂ）
   との距離がより遠ざかるように、前記特徴選択辞書を修
   正する特徴選択辞書修正部と、 を備える、ことを特徴とするパターン認識装置。
4. 【請求項４】入力パターンからｎ次元の特徴ベクトルを
   抽出する特徴抽出部と、 ｎ次元特徴ベクトルからｍ次元特徴ベクトル（但し、ｍ
   ＜ｎ）を選択するための情報を格納する特徴選択辞書
   と、 前記特徴選択辞書を参照して前記特徴抽出部が抽出した
   ｎ次元特徴ベクトルから大分類用のｍ次元特徴ベクトル
   を抽出する特徴選択部と、 ｎ次元参照ベクトルの集合からなる詳細識別用辞書と、 前記詳細識別用辞書を前記特徴選択辞書に基づいてｍ次
   元参照ベクトルの集合を抽出する大分類辞書作成部と、 前記特徴選択部で抽出したｍ次元特徴ベクトルと前記大
   分類辞書作成部が抽出したｍ次元参照ベクトルとを照合
   し、前記ｍ次元特徴ベクトルとの類似度が大きい順に上
   位所定個数（Ｋ個）の前記ｍ次元参照ベクトルの番号を
   候補参照ベクトル番号として抽出する大分類部と、 前記大分類部にて抽出した候補参照ベクトル番号に対応
   する前記詳細識別用辞書中の所定個数（Ｋ個）のｎ次元
   参照ベクトルと前記特徴抽出部にて抽出したｎ次元特徴
   ベクトルとを照合して照合結果を出力する詳細識別部
   と、 前記詳細識別部の出力結果に基づいて認識結果を出力す
   る認識結果出力部と、 特徴選択辞書の学習時には、前記ｍ次元参照ベクトル中
   に含まれる正解カテゴリの参照ベクトルのうち、学習パ
   ターンから抽出した前記ｍ次元特徴ベクトルとの類似度
   が最も大きいｍ次元参照ベクトルを参照ベクトル（Ａ）
   として抽出し、さらに前記ｍ次元参照ベクトル中に含ま
   れる不正解カテゴリの参照ベクトルのうち、前記ｍ次元
   特徴ベクトルとの類似度が最も大きいｍ次元参照ベクト
   ルを、参照ベクトル（Ｂ）として抽出した後、前記ｍ次
   元特徴ベクトルと前記参照ベクトル（Ａ）との類似度が
   より増大し、更に前記ｍ次元特徴ベクトルと前記参照ベ
   クトル（Ｂ）との類似度がより減少するように、前記特
   徴選択辞書を修正する特徴選択辞書修正部と、 を備える、ことを特徴とするパターン認識装置。
5. 【請求項５】入力パターンからｎ次元の特徴ベクトルを
   抽出する特徴抽出部と、 ｎ次元特徴ベクトルからｍ次元特徴ベクトル（但し、ｍ
   ＜ｎ）を選択するための情報を格納する特徴選択辞書
   と、 前記特徴選択辞書を参照して前記特徴抽出部が抽出した
   ｎ次元特徴ベクトルから大分類用のｍ次元特徴ベクトル
   を抽出する特徴選択部と、 ｎ次元参照ベクトルの集合からなる詳細識別用辞書と、 前記詳細識別用辞書を前記特徴選択辞書に基づいてｍ次
   元参照ベクトルの集合を抽出する大分類辞書作成部と、 前記特徴選択部で抽出したｍ次元特徴ベクトルと前記大
   分類辞書作成部が抽出したｍ次元参照ベクトルとを照合
   し、前記ｍ次元特徴ベクトルとの距離が近い順に上位所
   定個数（Ｋ個）の前記ｍ次元参照ベクトルの番号を候補
   参照ベクトル番号として抽出する大分類部と、 前記大分類部にて抽出した候補参照ベクトル番号に対応
   する前記詳細識別用辞書中の所定個数（Ｋ個）のｎ次元
   参照ベクトルと前記特徴抽出部にて抽出したｎ次元特徴
   ベクトルとを照合して照合結果を出力する詳細識別部
   と、 前記詳細識別部の出力結果に基づいて認識結果を出力す
   る認識結果出力部と、 特徴選択辞書の学習時には、前記詳細識別用辞書中に含
   まれる正解カテゴリのｎ次元参照ベクトルのうち、学習
   パターンから抽出した前記ｎ次元特徴ベクトルとの距離
   が最も近いｎ次元参照ベクトルを選び出し、これに対応
   するｍ次元参照ベクトルを参照ベクトル（Ｃ）として抽
   出し、さらにｍ次元参照ベクトル中の不正解ｍ次元参照
   ベクトルのうち、前記ｍ次元特徴ベクトルとの距離が最
   も近いｍ次元参照ベクトルを参照ベクトル（Ｂ）として
   抽出し、前記ｍ次元特徴ベクトルと前記ｍ次元参照ベク
   トル（Ｃ）との距離がより近づき、更に前記ｍ次元特徴
   ベクトルと前記ｍ次元参照ベクトル（Ｂ）との距離がよ
   り遠ざかるように、前記特徴選択関数を修正する特徴選
   択辞書修正部と、 を備える、ことを特徴とするパターン認識装置。
6. 【請求項６】入力パターンからｎ次元の特徴ベクトルを
   抽出する特徴抽出部と、 ｎ次元特徴ベクトルからｍ次元特徴ベクトル（但し、ｍ
   ＜ｎ）を選択するための情報を格納する特徴選択辞書
   と、 前記特徴選択辞書を参照して前記特徴抽出部が抽出した
   ｎ次元特徴ベクトルから大分類用のｍ次元特徴ベクトル
   を抽出する特徴選択部と、 ｎ次元参照ベクトルの集合からなる詳細識別用辞書と、 前記詳細識別用辞書を前記特徴選択辞書に基づいてｍ次
   元参照ベクトルの集合を抽出する大分類辞書作成部と、 前記特徴選択部で抽出したｍ次元特徴ベクトルと前記大
   分類辞書作成部が抽出したｍ次元参照ベクトルとを照合
   し、前記ｍ次元特徴ベクトルとの類似度が大きい順に上
   位所定個数（Ｋ個）の前記ｍ次元参照ベクトルの番号を
   候補参照ベクトル番号として抽出する大分類部と、 前記大分類部にて抽出した候補参照ベクトル番号に対応
   する前記詳細識別用辞書中の所定個数（Ｋ個）のｎ次元
   参照ベクトルと前記特徴抽出部にて抽出したｎ次元特徴
   ベクトルとを照合して照合結果を出力する詳細識別部
   と、 前記詳細識別部の出力結果に基づいて認識結果を出力す
   る認識結果出力部と、 特徴選択辞書の学習時には、前記詳細識別用辞書中に含
   まれる正解カテゴリのｎ次元参照ベクトルのうち、学習
   パターンから抽出した前記ｎ次元特徴ベクトルとの類似
   度が最も大きいｎ次元参照ベクトルを選び出し、これに
   対応するｍ次元参照ベクトルを参照ベクトル（Ｃ）とし
   て抽出し、さらにｍ次元参照ベクトル中の不正解ｍ次元
   参照ベクトルのうち、前記ｍ次元特徴ベクトルとの類似
   度が最も大きいｍ次元参照ベクトルを参照ベクトル
   （Ｂ）として抽出し、前記ｍ次元特徴ベクトルと前記参
   照ベクトル（Ｃ）との類似度がより増大し、更に前記ｍ
   次元特徴ベクトルと前記参照ベクトル（Ｂ）との類似度
   がより減少するように、前記特徴選択関数を修正する特
   徴選択辞書修正部と、 を備える、ことを特徴とするパターン認識装置。
7. 【請求項７】入力パターンの１次特徴をｍ次元（但し、
   ｍ＜ｎ）の特徴に変換するための特徴選択情報を記憶す
   る特徴選択辞書と、 入力パターンの１次特徴に基づく認識のために予め学習
   により作成されている詳細識別用参照パターンをカテゴ
   リ毎に記憶する詳細識別用辞書と、を記憶する記憶手段
   を備え、 前記詳細識別用辞書中のｎ次元の参照パターンと、学習
   パターンから抽出されたｎ次元特徴とから、前記特徴選
   択辞書の内容に基づき、ｍ次元参照パターンとｍ次元特
   徴とを抽出する手段と、 前記学習パターンと同一カテゴリに属するｍ次元参照パ
   ターンのうち、前記ｍ次元特徴との距離が最も近い参照
   パターンを、第１の参照パターンとして抽出する手段
   と、 前記学習パターンと異なるカテゴリに属するｍ次元参照
   パターンのうち、前記ｍ次元特徴との距離が最も近い参
   照パターンを第２の参照パターンとして抽出する手段
   と、 前記ｍ次元特徴と前記第１の参照パターンとの距離がよ
   り近づくとともに、前記ｍ次元特徴と前記第２の参照パ
   ターンとの距離がより遠ざかるように、前記特徴選択辞
   書の内容を修正する手段と、 を備えた、ことを特徴とするパターン認識装置。
8. 【請求項８】パターン認識装置において、 入力パターンの１次特徴（ｎ次元）をｍ次元（但し、ｍ
   はｎより小の正整数）の特徴に変換する関数を記憶する
   特徴選択辞書と、 前記１次特徴に基づく認識用に予め作成されている詳細
   識別用参照パターンを記憶する詳細識別用辞書と、を記
   憶する記憶装置を備え、 （ａ）入力パターンから１次特徴としてｎ次元の特徴を
   抽出する特徴抽出処理と、 （ｂ）前記特徴選択辞書に記憶される関数に基づき、２
   次特徴として前記１次特徴からｍ次元の特徴を抽出する
   特徴選択処理と、 （ｃ）前記詳細識別用辞書中に含まれる各々の詳細識別
   用参照パターンを、前記特徴選択辞書に記憶されている
   関数に基づいて、ｍ次元の大分類用参照パターンに変換
   し記憶する大分類辞書作成処理と、 （ｄ）前記大分類用参照パターンの中から前記特徴選択
   部で抽出した２次特徴との距離が近い上位の所定個数
   （Ｋ個）の大分類用参照パターンを抽出し、これらに対
   応する前記詳細識別用参照パターンを特定する情報を出
   力する大分類処理と、 （ｅ）前記大分類処理の出力情報によって特定される所
   定個数（Ｋ個）の前記詳細識別用参照パターンと、前記
   特徴抽出処理で抽出された１次特徴と、を照合して、照
   合結果を出力する詳細識別処理と、 （ｆ）前記照合結果を加工して記憶装置又は出力装置に
   出力する認識結果出力処理と、 （ｇ）前記特徴選択辞書に記憶される関数の学習時に
   は、前記大分類用参照パターン中に含まれる参照パター
   ンのうち、学習パターンと同一のカテゴリ（以下、「正
   解カテゴリ」という）に属し、且つ、学習パターンから
   抽出した前記２次特徴との距離が最も近い大分類用参照
   パターンを参照パターン（Ａ）として抽出し、さらに前
   記大分類用参照パターン中に含まれる参照パターンのう
   ち、学習パターンと同一でないカテゴリ（以下、「不正
   解カテゴリ」という）に属し、且つ前記２次特徴との距
   離が最も近い大分類用参照パターンを参照パターン
   （Ｂ）として抽出し、前記２次特徴と前記参照パターン
   （Ａ）との距離がより近づき、更に前記２次特徴と前記
   参照パターン（Ｂ）との距離がより遠ざかるように、前
   記特徴選択辞書の関数を修正する特徴選択辞書修正処理
   と、 の前記（ａ）乃至（ｇ）の各処理を前記パターン認識装
   置を構成するコンピュータで実行させるためのプログラ
   ムを記録した記録媒体。
9. 【請求項９】パターン認識装置において、 入力パターンの１次特徴（ｎ次元）をｍ次元（但し、ｍ
   はｎより小の正整数）の特徴に変換する関数を記憶する
   特徴選択辞書と、 前記１次特徴に基づく認識用に予め作成されている詳細
   識別用参照パターンを記憶する詳細識別用辞書と、を記
   憶する記憶装置を備え、 （ａ）入力パターンから１次特徴としてｎ次元の特徴を
   抽出する特徴抽出処理と、 （ｂ）前記特徴選択辞書に記憶される関数に基づき２次
   特徴として前記１次特徴からｍ次元の特徴を抽出する特
   徴選択処理と、 （ｃ）前記詳細識別用辞書中に含まれる各々の詳細識別
   用参照パターンを前記特徴選択辞書に記憶されている関
   数に基づいてｍ次元の大分類用参照パターンに変換し記
   憶する大分類辞書作成処理と、 （ｄ）前記大分類用参照パターンの中から前記特徴選択
   処理で抽出された２次特徴との類似度が大きい上位所定
   個数（Ｋ個）の大分類用参照パターンを抽出し、これら
   に対応する前記詳細識別用参照パターンを特定する情報
   を出力する大分類処理と、 （ｅ）前記大分類部の出力情報によって特定される所定
   個数（Ｋ個）の前記詳細識別用参照パターンと前記特徴
   抽出部が抽出した１次特徴とを照合して、照合結果を出
   力する詳細識別処理と、 （ｆ）前記詳細識別部の出力を加工して記憶装置又は出
   力装置に出力する認識結果出力処理と、 （ｇ）前記特徴選択辞書に記憶される特徴選択関数の学
   習時には、前記大分類用参照パターン中に含まれる正解
   カテゴリの参照パターンのうち、学習パターンから抽出
   した前記２次特徴との類似度が最も高い大分類用参照パ
   ターンを参照パターン（Ａ）として抽出し、 さらに前記大分類用参照パターン中に含まれる不正解カ
   テゴリの参照パターンのうち、前記２次特徴との類似度
   が最も高い大分類用参照パターンを参照パターン（Ｂ）
   として抽出した後、前記２次特徴と前記参照パターン
   （Ａ）との類似度より増大し、更に前記２次特徴と前記
   参照パターン（Ｂ）との類似度がより減少するように、
   前記特徴選択辞書の関数を修正する特徴選択辞書修正処
   理と、 の前記（ａ）乃至（ｇ）の各処理を前記パターン認識装
   置を構成するコンピュータで実行させるためのプログラ
   ムを記録した録媒体。
10. 【請求項１０】パターン認識装置において、 入力パターンの１次特徴（ｎ次元特徴ベクトル）からｍ
    次元特徴ベクトル（但し、ｍはｎより小の正整数）を選
    択するための情報を格納する特徴選択辞書と、 ｎ次元参照ベクトルの集合からなる詳細識別用辞書と、
    を記憶する記憶装置を備え、 （ａ）入力パターンからｎ次元の特徴ベクトルを抽出す
    る特徴抽出処理と、 （ｂ）前記特徴選択辞書を参照して前記特徴抽出処理で
    抽出されたｎ次元特徴ベクトルから大分類用のｍ次元特
    徴ベクトルを抽出する特徴選択処理と、 （ｃ）前記詳細識別用辞書から前記特徴選択辞書に基づ
    いてｍ次元参照ベクトルの集合を抽出する大分類辞書作
    成処理と、 （ｄ）前記特徴選択処理で抽出したｍ次元特徴ベクトル
    と前記大分類辞書作成処理で抽出されたｍ次元参照ベク
    トルとを照合し、前記ｍ次元特徴ベクトルとの距離が近
    い順に上位所定個数（Ｋ個）の前記ｍ次元参照ベクトル
    の番号を候補参照ベクトル番号として抽出する大分類処
    理と、 （ｅ）前記大分類処理にて抽出された候補参照ベクトル
    番号に対応する前記詳細識別用辞書中の所定個数（Ｋ
    個）のｎ次元参照ベクトルと前記特徴抽出部にて抽出し
    たｎ次元特徴ベクトルとを照合して照合結果を出力する
    詳細識別処理と、 （ｆ）前記詳細識別処理の出力結果に基づいて認識結果
    を記憶装置又は出力装置に出力する認識結果出力処理
    と、 （ｇ）特徴選択辞書の学習時には、前記ｍ次元参照ベク
    トル中に含まれる正解カテゴリの参照ベクトルのうち、
    学習パターンから抽出した前記ｍ次元特徴ベクトルとの
    距離が最も近いｍ次元参照ベクトルを参照ベクトル
    （Ａ）として抽出し、さらに前記ｍ次元参照ベクトル中
    に含まれる不正解カテゴリの参照ベクトルのうち、前記
    ｍ次元特徴ベクトルとの距離が最も近いｍ次元参照ベク
    トルを参照ベクトル（Ｂ）として抽出した後、前記ｍ次
    元特徴ベクトルと前記参照ベクトル（Ａ）との距離がよ
    り近づき、更に前記ｍ次元特徴ベクトルと前記参照ベク
    トル（Ｂ）との距離がより遠ざかるように、前記特徴選
    択辞書を修正する特徴選択辞書修正処理と、 の前記（ａ）乃至（ｇ）の各処理を前記パターン認識装
    置を構成するコンピュータで実行させるためのプログラ
    ムを記録した記録媒体。
11. 【請求項１１】パターン認識装置において、 入力パターンの１次特徴（ｎ次元特徴ベクトル）からｍ
    次元特徴ベクトル（但し、ｍはｎより小の正整数）を選
    択するための情報を格納する特徴選択辞書と、 ｎ次元参照ベクトルの集合からなる詳細識別用辞書と、
    を記憶する記憶装置を備え、 （ａ）入力パターンからｎ次元の特徴ベクトルを抽出す
    る特徴抽出処理と、 （ｂ）前記特徴選択辞書を参照して前記特徴抽出処理で
    抽出されたｎ次元特徴ベクトルから大分類用のｍ次元特
    徴ベクトルを抽出する特徴選択処理と、 （ｃ）前記詳細識別用辞書を前記特徴選択辞書に基づい
    てｍ次元参照ベクトルの集合を抽出する大分類辞書作成
    処理と、 （ｄ）前記特徴選択処理で抽出されたｍ次元特徴ベクト
    ルと前記大分類辞書作成処理で抽出されたｍ次元参照ベ
    クトルとを照合し、前記ｍ次元特徴ベクトルとの類似度
    が大きい順に上位所定個数（Ｋ個）の前記ｍ次元参照ベ
    クトルの番号を候補参照ベクトル番号として抽出する大
    分類処理と、 （ｅ）前記大分類処理で抽出された候補参照ベクトル番
    号に対応する前記詳細識別用辞書中の所定個数（Ｋ個）
    のｎ次元参照ベクトルと前記特徴抽出処理にて抽出され
    たｎ次元特徴ベクトルとを照合して照合結果を出力する
    詳細識別処理と、 （ｆ）前記詳細識別処理の出力結果に基づいて認識結果
    を出力する認識結果出力処理と、 （ｇ）特徴選択辞書の学習時には、前記ｍ次元参照ベク
    トル中に含まれる正解カテゴリの参照ベクトルのうち、
    学習パターンから抽出した前記ｍ次元特徴ベクトルとの
    類似度が最も大きいｍ次元参照ベクトルを参照ベクトル
    （Ａ）として抽出し、さらに前記ｍ次元参照ベクトル中
    に含まれる不正解カテゴリの参照ベクトルのうち、前記
    ｍ次元特徴ベクトルとの類似度が最も大きいｍ次元参照
    ベクトルを、参照ベクトル（Ｂ）として抽出した後、前
    記ｍ次元特徴ベクトルと前記参照ベクトル（Ａ）との類
    似度がより増大し、更に前記ｍ次元特徴ベクトルと前記
    参照ベクトル（Ｂ）との類似度がより減少するように、
    前記特徴選択辞書を修正する特徴選択辞書修正処理と、 の前記（ａ）乃至（ｇ）の各処理を前記パターン認識装
    置を構成するコンピュータで実行させるためのプログラ
    ムを記録した記録媒体。
12. 【請求項１２】パターン認識装置において、 入力パターンの１次特徴（ｎ次元特徴ベクトル）からｍ
    次元特徴ベクトル（但し、ｍはｎより小の正整数）を選
    択するための情報を格納する特徴選択辞書と、 ｎ次元参照ベクトルの集合からなる詳細識別用辞書と、
    を記憶する記憶装置を備え、 （ａ）入力パターンからｎ次元の特徴ベクトルを抽出す
    る特徴抽出処理と、 （ｂ）前記特徴選択辞書を参照して前記特徴抽出処理で
    抽出されたｎ次元特徴ベクトルから大分類用のｍ次元特
    徴ベクトルを抽出する特徴選択処理と、 （ｃ）前記詳細識別用辞書から前記特徴選択辞書に基づ
    いてｍ次元参照ベクトルの集合を抽出する大分類辞書作
    成処理と、 （ｄ）前記特徴選択処理で抽出されたｍ次元特徴ベクト
    ルと前記大分類辞書作成部で抽出されたｍ次元参照ベク
    トルとを照合し、前記ｍ次元特徴ベクトルとの距離が近
    い順に上位所定個数（Ｋ個）の前記ｍ次元参照ベクトル
    の番号を候補参照ベクトル番号として抽出する大分類処
    理と、 （ｅ）前記大分類処理にて抽出された候補参照ベクトル
    番号に対応する前記詳細識別用辞書中の所定個数（Ｋ
    個）のｎ次元参照ベクトルと前記特徴抽出処理にて抽出
    したｎ次元特徴ベクトルとを照合して照合結果を出力す
    る詳細識別処理と、 （ｆ）前記詳細識別処理の出力結果に基づいて認識結果
    を出力する認識結果出力処理と、 （ｇ）前記特徴選択辞書の学習時には、前記詳細識別用
    辞書中に含まれる正解カテゴリのｎ次元参照ベクトルの
    うち、学習パターンから抽出した前記ｎ次元特徴ベクト
    ルとの距離が最も近いｎ次元参照ベクトルを選び出し、
    これに対応するｍ次元参照ベクトルを参照ベクトル
    （Ｃ）として抽出し、さらにｍ次元参照ベクトル中の不
    正解ｍ次元参照ベクトルのうち、前記ｍ次元特徴ベクト
    ルとの距離が最も近いｍ次元参照ベクトルを参照ベクト
    ル（Ｂ）として抽出し、前記ｍ次元特徴ベクトルと前記
    ｍ次元参照ベクトル（Ｃ）との距離がより近づき、更に
    前記ｍ次元特徴ベクトルと前記ｍ次元参照ベクトル
    （Ｂ）との距離がより遠ざかるように、前記特徴選択辞
    書の関数を修正する特徴選択辞書修正処理と、 の前記（ａ）乃至（ｇ）の各処理を前記パターン認識装
    置を構成するコンピュータで実行させるためのプログラ
    ムを記録した記録媒体。
13. 【請求項１３】パターン認識装置において、 入力パターンの１次特徴（ｎ次元特徴ベクトル）からｍ
    次元特徴ベクトル（但し、ｍはｎより小の正整数）を選
    択するための情報を格納する特徴選択辞書と、ｎ次元参
    照ベクトルの集合からなる詳細識別用辞書と、を記憶す
    る記憶装置を備え、 （ａ）入力パターンからｎ次元の特徴ベクトルを抽出す
    る特徴抽出処理と、 （ｂ）前記特徴選択辞書を参照して前記特徴抽出処理で
    抽出されたｎ次元特徴ベクトルから大分類用のｍ次元特
    徴ベクトルを抽出する特徴選択処理と、 （ｃ）前記詳細識別用辞書から前記特徴選択辞書に基づ
    いてｍ次元参照ベクトルの集合を抽出する大分類辞書作
    成処理と、 （ｄ）前記特徴選択処理で抽出したｍ次元特徴ベクトル
    と前記大分類辞書作成処理で抽出されたｍ次元参照ベク
    トルとを照合し、前記ｍ次元特徴ベクトルとの類似度が
    大きい順に上位所定個数（Ｋ個）の前記ｍ次元参照ベク
    トルの番号を候補参照ベクトル番号として抽出する大分
    類処理と、 （ｅ）前記大分類処理にて抽出した候補参照ベクトル番
    号に対応する前記詳細識別用辞書中の所定個数（Ｋ個）
    のｎ次元参照ベクトルと前記特徴抽出処理にて抽出した
    ｎ次元特徴ベクトルとを照合して照合結果を出力する詳
    細識別処理と、 （ｆ）前記詳細識別処理の出力結果に基づいて認識結果
    を出力する認識結果出力処理と、 （ｇ）前記特徴選択辞書の学習時には、前記詳細識別用
    辞書中に含まれる正解カテゴリのｎ次元参照ベクトルの
    うち、学習パターンから抽出した前記ｎ次元特徴ベクト
    ルとの類似度が最も大きいｎ次元参照ベクトルを選び出
    し、これに対応するｍ次元参照ベクトルを参照ベクトル
    （Ｃ）として抽出し、さらにｍ次元参照ベクトル中の不
    正解ｍ次元参照ベクトルのうち、前記ｍ次元特徴ベクト
    ルとの類似度が最も大きいｍ次元参照ベクトルを参照ベ
    クトル（Ｂ）として抽出し、前記ｍ次元特徴ベクトルと
    前記参照ベクトル（Ｃ）との類似度がより増大し、更に
    前記ｍ次元特徴ベクトルと前記参照ベクトル（Ｂ）との
    類似度がより減少するように、前記特徴選択辞書の関数
    を修正する特徴選択辞書修正処理と、 の前記（ａ）乃至（ｇ）の各処理を前記パターン認識装
    置を構成するコンピュータで実行させるためのプログラ
    ムを記録した記録媒体。
14. 【請求項１４】入力パターンの１次特徴をｍ次元（但
    し、ｍ＜ｎ）の特徴に変換するための特徴選択情報を記
    憶する特徴選択辞書と、 入力パターンの１次特徴に基づく認識のために予め作成
    されている詳細識別用参照パターンをカテゴリ毎に記憶
    する詳細識別用辞書と、を記憶する記憶手段を備え、 前記詳細識別用辞書中のｎ次元の参照パターンと、学習
    パターンから抽出されたｎ次元特徴とから、前記特徴選
    択辞書の内容に基づき、ｍ次元参照パターンとｍ次元特
    徴とを抽出し、 前記学習パターンと同一カテゴリに属するｍ次元参照パ
    ターンのうち、前記ｍ次元特徴との距離が最も近い参照
    パターンを、第１の参照パターンとして抽出し、 前記学習パターンと異なるカテゴリに属するｍ次元参照
    パターンのうち、前記ｍ次元特徴との距離が最も近い参
    照パターンを第２の参照パターンとして抽出し、 前記ｍ次元特徴と前記第１の参照パターンとの距離がよ
    り近づくとともに、更に前記ｍ次元特徴と前記第２の参
    照パターンとの距離がより遠ざかるように前記特徴選択
    辞書の内容を更新する、ことを特徴とするパターン認識
    方法。
15. 【請求項１５】入力パターンの１次特徴をｍ次元（但
    し、ｍ＜ｎ）の特徴に変換するための特徴選択情報を記
    憶する特徴選択辞書と、入力パターンの１次特徴に基づ
    く認識のために予め作成されている詳細識別用参照パタ
    ーンをカテゴリ毎に記憶する詳細識別用辞書と、を記憶
    する記憶手段を備え、 データ処理装置が、特徴抽出部と、特徴選択部と、大分
    類辞書作成部と、大分類部と、詳細識別部と、認識結果
    出力部と、特徴選択辞書修正部と、を備えたパターン認
    識装置のパターン認識方法であって、 学習フェーズが、 （ａ）前記特徴抽出部において、入力パターンから１次
    特徴としてｎ次元の特徴を抽出するステップと、 （ｂ）前記特徴選択部において、前記特徴選択辞書に記
    憶される関数に基づき、２次特徴として前記１次特徴か
    らｍ次元の特徴を抽出するステップと、 （ｃ）前記大分類辞書作成部において、前記詳細識別用
    辞書中に含まれる各々の詳細識別用参照パターンを、前
    記特徴選択辞書に記憶されている関数に基づいて、ｍ次
    元の大分類用参照パターンに変換し記憶するステップ
    と、 （ｄ）前記大分類部において、前記大分類用参照パター
    ンの中から前記特徴選択部で抽出した２次特徴との距離
    が近い上位の所定個数（Ｋ個）の大分類用参照パターン
    を抽出し、これらに対応する前記詳細識別用参照パター
    ンを特定する情報を出力するステップと、 （ｅ）前記詳細識別部において、前記大分類処理の出力
    情報によって特定される所定個数（Ｋ個）の前記詳細識
    別用参照パターンと、前記特徴抽出処理で抽出された１
    次特徴と、を照合して、照合結果を出力するステップ
    と、 （ｆ）前記照合結果を加工して記憶装置又は出力装置に
    出力する認識結果出力処理と、 （ｇ）前記特徴選択辞書修正部において、前記特徴選択
    辞書に記憶される関数の学習時には、前記大分類用参照
    パターン中に含まれる参照パターンのうち、学習パター
    ンと同一のカテゴリに属し、且つ、学習パターンから抽
    出した前記２次特徴との距離が最も近い大分類用参照パ
    ターンを第１の参照パターンとして抽出し、さらに前記
    大分類用参照パターン中に含まれる参照パターンのう
    ち、学習パターンと同一でないカテゴリに属し、且つ前
    記２次特徴との距離が最も近い大分類用参照パターンを
    第２の参照パターンとして抽出し、前記２次特徴と第１
    の前記参照パターンとの距離がより近づくとともに、前
    記２次特徴と前記第２の参照パターンとの距離がより遠
    ざかるように、前記特徴選択辞書の情報を修正するステ
    ップと、 を含むことを特徴とするパターン認識方法。
16. 【請求項１６】認識フェーズでは、 （ｈ）初期化処理として、前記大分類辞書作成部におい
    て、前記学習フェーズによって予め作成された前記特徴
    選択辞書と前記詳細識別用辞書を参照してｍ次元参照パ
    ターンを作成し記憶し、 （ｉ）認識対象のパターンを読み込み、入力パターンか
    ら１次特徴としてｎ次元の特徴を前記特徴抽出部で抽出
    し、 （ｊ）前記特徴選択部において、前記特徴選択辞書に記
    憶される関数に基づき、２次特徴として前記１次特徴か
    らｍ次元の特徴パターンを抽出し、 （ｋ）前記大分類部では、前記詳細識別用辞書中に含ま
    れる各々の詳細識別用参照パターンを、前記特徴選択辞
    書に記憶されている関数に基づいてｍ次元の大分類用参
    照パターンを抽出し記憶する大分類用辞書作成部で抽出
    されたｍ次元参照パターンの中から前記ｍ次元特徴パタ
    ーンに距離が近いものを所定個数抽出して、その参照パ
    ターン情報を前記詳細識別部に出力し、 （ｌ）前記詳細識別部において、前記大分類部が出力す
    る参照パターン番号に対応するｎ次元参照パターンを前
    記詳細識別用辞書の中から抽出して、その中から特徴抽
    出部が出力するｎ次元特徴パターンに近い距離のものを
    出力し、 （ｍ）前記認識結果出力部において、前記詳細識別部が
    出力する認識結果を加工して出力装置に出力する、こと
    を特徴とする請求項１５記載のパターン認識方法。