JP2002259911A - パターン認識装置、パターン認識方法及びプログラム - Google Patents
パターン認識装置、パターン認識方法及びプログラムInfo
- Publication number
- JP2002259911A JP2002259911A JP2001058107A JP2001058107A JP2002259911A JP 2002259911 A JP2002259911 A JP 2002259911A JP 2001058107 A JP2001058107 A JP 2001058107A JP 2001058107 A JP2001058107 A JP 2001058107A JP 2002259911 A JP2002259911 A JP 2002259911A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- dimensional
- pattern
- learning
- dimensional feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 高精度のパターン認識を実現する。
【解決手段】 特徴抽出部１０２は入力パターン又は学
習パターンからｎ次元特徴を抽出する。特徴選択部１０
３は、非線形関数によってｎ次元特徴からｈ次元特徴を
選択する第１次特徴変換部１１０と、線形関数もしくは
非線形関数によってｈ次元特徴からｍ次元特徴を選択す
る第２次特徴変換部１１１とからなる。認識辞書１０６
はｍ次元参照パターンの集合からなる。識別部１０５
は、ｍ次元参照パターンと入力パターンのｍ次元特徴と
を照合して入力パターンの認識結果を出力する。認識辞
書修正部１０８は、辞書学習時に認識辞書１０６を修正
し、特徴選択辞書修正部１０９は、辞書学習時に特徴選
択辞書を修正する。
習パターンからｎ次元特徴を抽出する。特徴選択部１０
３は、非線形関数によってｎ次元特徴からｈ次元特徴を
選択する第１次特徴変換部１１０と、線形関数もしくは
非線形関数によってｈ次元特徴からｍ次元特徴を選択す
る第２次特徴変換部１１１とからなる。認識辞書１０６
はｍ次元参照パターンの集合からなる。識別部１０５
は、ｍ次元参照パターンと入力パターンのｍ次元特徴と
を照合して入力パターンの認識結果を出力する。認識辞
書修正部１０８は、辞書学習時に認識辞書１０６を修正
し、特徴選択辞書修正部１０９は、辞書学習時に特徴選
択辞書を修正する。
Description
【０００１】
【発明の属する技術分野】本発明は、文字認識、音声認
識等を行うためのパターン認識装置、パターン認識方法
及びプログラムに関するものである。
識等を行うためのパターン認識装置、パターン認識方法
及びプログラムに関するものである。
【０００２】
【従来の技術】従来より、パターン認識装置は、認識対
象となる入力パターンから特徴ベクトルを選択する特徴
選択部と、選択された特徴ベクトルと予め用意された参
照ベクトルとを照合してパターン認識を行う識別部とを
有していた。従来のパターン認識装置では、この特徴選
択部と識別部とを独立に設計することが多かったが、近
年これらを同時に学習させることにより、より少ない計
算量で同等以上のパターン認識性能を実現した報告例が
ある。
象となる入力パターンから特徴ベクトルを選択する特徴
選択部と、選択された特徴ベクトルと予め用意された参
照ベクトルとを照合してパターン認識を行う識別部とを
有していた。従来のパターン認識装置では、この特徴選
択部と識別部とを独立に設計することが多かったが、近
年これらを同時に学習させることにより、より少ない計
算量で同等以上のパターン認識性能を実現した報告例が
ある。
【０００３】例えば、特開平９−２４５１２５号公報
（以下、文献（イ）と呼ぶ）に開示されたパターン認識
装置によれば、入力パターンから抽出した原特徴の次元
数をｎ、このｎ次元特徴から選択した特徴の次元数をｍ
とすると、ｎ次元特徴からｍ次元特徴への線形変換のた
めの特徴変換辞書であるｍ×ｎ行列の各係数と、認識の
ための参照ベクトルとを最急降下法を用いて同時に学習
させることにより、部分空間法よりも遙かに少ない計算
量で同等以上の認識性能を実現することができる。
（以下、文献（イ）と呼ぶ）に開示されたパターン認識
装置によれば、入力パターンから抽出した原特徴の次元
数をｎ、このｎ次元特徴から選択した特徴の次元数をｍ
とすると、ｎ次元特徴からｍ次元特徴への線形変換のた
めの特徴変換辞書であるｍ×ｎ行列の各係数と、認識の
ための参照ベクトルとを最急降下法を用いて同時に学習
させることにより、部分空間法よりも遙かに少ない計算
量で同等以上の認識性能を実現することができる。
【０００４】また、ほぼ同様の手法を手書き漢字認識に
適用し、認識性能の向上を確認した例（以下、文献
（ロ）と呼ぶ）が、電子情報通信学会英論文誌１９９９
年３月号６８７〜６９２頁（FEATURE TRANSFORMATION W
ITH GENERALIZED LEARNING VECTOR QUANTIZATION FOR H
AND-WRITTEN CHINESE CHARACTER RECOGNITION, IEICE T
RANS. INF. & SYST., VOL.E82-D, NO.3, pp.687-692, M
ARCH 1999 ）で報告されている。
適用し、認識性能の向上を確認した例（以下、文献
（ロ）と呼ぶ）が、電子情報通信学会英論文誌１９９９
年３月号６８７〜６９２頁（FEATURE TRANSFORMATION W
ITH GENERALIZED LEARNING VECTOR QUANTIZATION FOR H
AND-WRITTEN CHINESE CHARACTER RECOGNITION, IEICE T
RANS. INF. & SYST., VOL.E82-D, NO.3, pp.687-692, M
ARCH 1999 ）で報告されている。
【０００５】
【発明が解決しようとする課題】しかしながら、参照パ
ターンと特徴選択辞書とを同時に修正する機能を持った
従来のパターン認識装置では、ｎ次元特徴からｍ次元特
徴への特徴選択を実行する特徴選択部において線形変換
を用いる方法しか開示されておらず、このことが更なる
認識精度向上を妨げる要因となっていた。本発明は、上
記課題を解決するためになされたもので、特徴選択部の
特徴選択機能を非線形変換に拡張することにより、より
少ない次元数の特徴で高い認識精度を実現可能なパター
ン認識装置、パターン認識方法及びプログラムを提供す
ることを目的とする。
ターンと特徴選択辞書とを同時に修正する機能を持った
従来のパターン認識装置では、ｎ次元特徴からｍ次元特
徴への特徴選択を実行する特徴選択部において線形変換
を用いる方法しか開示されておらず、このことが更なる
認識精度向上を妨げる要因となっていた。本発明は、上
記課題を解決するためになされたもので、特徴選択部の
特徴選択機能を非線形変換に拡張することにより、より
少ない次元数の特徴で高い認識精度を実現可能なパター
ン認識装置、パターン認識方法及びプログラムを提供す
ることを目的とする。
【０００６】
【課題を解決するための手段】本発明のパターン認識装
置は、認識対象となる入力パターン又は辞書学習のため
の学習パターンからｎ（ｎは正の整数）次元特徴を抽出
する特徴抽出部（１０２）と、特徴選択のための関数が
記述された特徴選択辞書（１０４）と、前記抽出された
ｎ次元特徴から前記特徴選択辞書に基づいてｍ（ｍは正
の整数、ｍ＜ｎ）次元特徴を選択する特徴選択部（１０
３）と、パターン認識のために予め用意されたｍ次元参
照パターンの集合からなる認識辞書（１０６）と、前記
ｍ次元参照パターンと前記入力パターンのｍ次元特徴と
を照合して、前記入力パターンの認識結果を出力する識
別部（１０５）とを有し、前記特徴選択部は、非線形な
入出力応答を有するｈ（ｈは正の整数）個の微分可能な
関数によって前記ｎ次元特徴からｈ次元特徴を選択する
第１次特徴変換部（１１０）と、微分可能なｍ個の線形
関数もしくは非線形関数によって前記ｈ次元特徴から前
記ｍ次元特徴を選択する第２次特徴変換部（１１１）と
からなり、前記特徴選択辞書は、前記第１次特徴変換部
で必要とされる非線形関数が記述された第１の特徴変換
係数集合（１１２）と、前記第２次特徴変換部で必要と
される線形関数もしくは非線形関数が記述された第２の
特徴変換係数集合（１１３）とからなるものである。入
力パターン及び学習パターンとしては、例えば文字パタ
ーンがある。また、本発明のパターン認識装置は、辞書
学習時に前記認識辞書を修正する認識辞書修正部（１０
８）と、辞書学習時に前記特徴選択辞書を修正する特徴
選択辞書修正部（１０９）とを有し、前記認識辞書修正
部は、前記学習パターンのｍ次元特徴と前記ｍ次元参照
パターンとを照合し、前記学習パターンと同じカテゴリ
に属するｍ次元参照パターンと前記学習パターンのｍ次
元特徴との距離が減少し、かつ前記学習パターンと異な
るカテゴリに属するｍ次元参照パターンのうち前記ｍ次
元特徴の最近傍に存在するｍ次元参照パターンと前記学
習パターンのｍ次元特徴との距離が増加するように前記
認識辞書を修正し、前記特徴選択辞書修正部は、前記学
習パターンと同じカテゴリに属するｍ次元参照パターン
と前記学習パターンのｍ次元特徴との距離が減少し、か
つ前記学習パターンと異なるカテゴリに属するｍ次元参
照パターンと前記学習パターンのｍ次元特徴との距離が
増加するように前記第１の特徴変換係数集合及び前記第
２の特徴変換係数集合を修正するものである。
置は、認識対象となる入力パターン又は辞書学習のため
の学習パターンからｎ（ｎは正の整数）次元特徴を抽出
する特徴抽出部（１０２）と、特徴選択のための関数が
記述された特徴選択辞書（１０４）と、前記抽出された
ｎ次元特徴から前記特徴選択辞書に基づいてｍ（ｍは正
の整数、ｍ＜ｎ）次元特徴を選択する特徴選択部（１０
３）と、パターン認識のために予め用意されたｍ次元参
照パターンの集合からなる認識辞書（１０６）と、前記
ｍ次元参照パターンと前記入力パターンのｍ次元特徴と
を照合して、前記入力パターンの認識結果を出力する識
別部（１０５）とを有し、前記特徴選択部は、非線形な
入出力応答を有するｈ（ｈは正の整数）個の微分可能な
関数によって前記ｎ次元特徴からｈ次元特徴を選択する
第１次特徴変換部（１１０）と、微分可能なｍ個の線形
関数もしくは非線形関数によって前記ｈ次元特徴から前
記ｍ次元特徴を選択する第２次特徴変換部（１１１）と
からなり、前記特徴選択辞書は、前記第１次特徴変換部
で必要とされる非線形関数が記述された第１の特徴変換
係数集合（１１２）と、前記第２次特徴変換部で必要と
される線形関数もしくは非線形関数が記述された第２の
特徴変換係数集合（１１３）とからなるものである。入
力パターン及び学習パターンとしては、例えば文字パタ
ーンがある。また、本発明のパターン認識装置は、辞書
学習時に前記認識辞書を修正する認識辞書修正部（１０
８）と、辞書学習時に前記特徴選択辞書を修正する特徴
選択辞書修正部（１０９）とを有し、前記認識辞書修正
部は、前記学習パターンのｍ次元特徴と前記ｍ次元参照
パターンとを照合し、前記学習パターンと同じカテゴリ
に属するｍ次元参照パターンと前記学習パターンのｍ次
元特徴との距離が減少し、かつ前記学習パターンと異な
るカテゴリに属するｍ次元参照パターンのうち前記ｍ次
元特徴の最近傍に存在するｍ次元参照パターンと前記学
習パターンのｍ次元特徴との距離が増加するように前記
認識辞書を修正し、前記特徴選択辞書修正部は、前記学
習パターンと同じカテゴリに属するｍ次元参照パターン
と前記学習パターンのｍ次元特徴との距離が減少し、か
つ前記学習パターンと異なるカテゴリに属するｍ次元参
照パターンと前記学習パターンのｍ次元特徴との距離が
増加するように前記第１の特徴変換係数集合及び前記第
２の特徴変換係数集合を修正するものである。
【０００７】また、本発明のパターン認識装置の１構成
例において、前記特徴選択部の第１次特徴変換部は、前
記ｎ次元特徴と前記第１の特徴変換係数集合との積和演
算を行う第１の積和演算部と、この第１の積和演算部の
出力を非線形な入出力応答特性を有する単調関数によっ
て変換する非線形変換部とからなり、前記特徴選択部の
第２次特徴変換部は、前記ｈ次元特徴と前記第２の特徴
変換係数集合との積和演算を行う第２の積和演算部から
なるものである。また、本発明のパターン認識装置の１
構成例において、前記特徴選択辞書修正部は、前記学習
パターンから抽出される前記ｎ次元特徴を主成分分析も
しくは正準判別分析して得られる軸のなかからｈ個を抽
出して前記第１の特徴変換係数集合の初期値とし、前記
学習パターンから抽出される前記ｍ次元特徴のｋ次元目
の値ｘk （ｋ＝１，２，３，．．．，ｍ）と前記ｈ次元
特徴のｋ次元目の値ｚk との関係がｘk＝ｚkとなるよう
な係数を前記第２の特徴変換係数集合の初期値とし、前
記認識辞書修正部は、前記学習パターンから抽出される
ｎ次元特徴の平均値をカテゴリ毎に求め、この平均値を
前記第１の特徴変換係数集合の初期値を用いてｈ次元に
変換し、このｈ次元に変換した値を前記第２の特徴変換
係数集合の初期値を用いてｍ次元に変換した値を各カテ
ゴリの前記ｍ次元参照パターンの初期値とするものであ
る。
例において、前記特徴選択部の第１次特徴変換部は、前
記ｎ次元特徴と前記第１の特徴変換係数集合との積和演
算を行う第１の積和演算部と、この第１の積和演算部の
出力を非線形な入出力応答特性を有する単調関数によっ
て変換する非線形変換部とからなり、前記特徴選択部の
第２次特徴変換部は、前記ｈ次元特徴と前記第２の特徴
変換係数集合との積和演算を行う第２の積和演算部から
なるものである。また、本発明のパターン認識装置の１
構成例において、前記特徴選択辞書修正部は、前記学習
パターンから抽出される前記ｎ次元特徴を主成分分析も
しくは正準判別分析して得られる軸のなかからｈ個を抽
出して前記第１の特徴変換係数集合の初期値とし、前記
学習パターンから抽出される前記ｍ次元特徴のｋ次元目
の値ｘk （ｋ＝１，２，３，．．．，ｍ）と前記ｈ次元
特徴のｋ次元目の値ｚk との関係がｘk＝ｚkとなるよう
な係数を前記第２の特徴変換係数集合の初期値とし、前
記認識辞書修正部は、前記学習パターンから抽出される
ｎ次元特徴の平均値をカテゴリ毎に求め、この平均値を
前記第１の特徴変換係数集合の初期値を用いてｈ次元に
変換し、このｈ次元に変換した値を前記第２の特徴変換
係数集合の初期値を用いてｍ次元に変換した値を各カテ
ゴリの前記ｍ次元参照パターンの初期値とするものであ
る。
【０００８】また、本発明のパターン認識方法は、辞書
学習時に、辞書学習のための学習パターンからｎ（ｎは
正の整数）次元特徴を抽出する学習パターン特徴抽出手
順（Ｓ５０２）と、非線形な入出力応答を有するｈ（ｈ
は正の整数）個の微分可能な非線形関数が記述された第
１の特徴変換係数集合に基づいて、前記学習パターンの
ｎ次元特徴からｈ次元特徴を選択する学習パターンｈ次
元特徴選択手順（Ｓ５０３）と、微分可能なｍ個の線形
関数もしくは非線形関数が記述された第２の特徴変換係
数集合に基づいて、前記学習パターンのｈ次元特徴から
ｍ（ｍは正の整数、ｍ＜ｎ）次元特徴を選択する学習パ
ターンｍ次元特徴選択手順（Ｓ５０４）と、前記ｍ次元
特徴とパターン認識のために予め用意された認識辞書中
のｍ次元参照パターンとを照合し、前記学習パターンと
同じカテゴリに属するｍ次元参照パターンと前記ｍ次元
特徴との距離が減少し、かつ前記学習パターンと異なる
カテゴリに属するｍ次元参照パターンのうち前記ｍ次元
特徴の最近傍に存在するｍ次元参照パターンと前記ｍ次
元特徴との距離が増加するように前記認識辞書を修正す
る認識辞書修正手順（Ｓ５０５）と、前記学習パターン
と同じカテゴリに属するｍ次元参照パターンと前記ｍ次
元特徴との距離が減少し、かつ前記学習パターンと異な
るカテゴリに属するｍ次元参照パターンと前記ｍ次元特
徴との距離が増加するように前記第１の特徴変換係数集
合及び前記第２の特徴変換係数集合を修正する特徴選択
辞書修正手順（Ｓ５０６）とを実行するようにしたもの
である。また、本発明のパターン認識方法は、パターン
認識時に、認識対象となる入力パターンからｎ次元特徴
を抽出する入力パターン特徴抽出手順（Ｓ９０４）と、
非線形な入出力応答を有するｈ個の微分可能な非線形関
数が記述された第１の特徴変換係数集合に基づいて、前
記入力パターンのｎ次元特徴からｈ次元特徴を選択する
入力パターンｈ次元特徴選択手順（Ｓ９０５）と、微分
可能なｍ個の線形関数もしくは非線形関数が記述された
第２の特徴変換係数集合に基づいて、前記入力パターン
のｈ次元特徴からｍ次元特徴を選択する入力パターンｍ
次元特徴選択手順（Ｓ９０６）と、パターン認識のため
に予め用意されたｍ次元参照パターンの集合からなる認
識辞書と前記入力パターンのｍ次元特徴とを照合して認
識結果を出力する識別手順（Ｓ９０７，Ｓ９０８）とを
実行するようにしたものである。
学習時に、辞書学習のための学習パターンからｎ（ｎは
正の整数）次元特徴を抽出する学習パターン特徴抽出手
順（Ｓ５０２）と、非線形な入出力応答を有するｈ（ｈ
は正の整数）個の微分可能な非線形関数が記述された第
１の特徴変換係数集合に基づいて、前記学習パターンの
ｎ次元特徴からｈ次元特徴を選択する学習パターンｈ次
元特徴選択手順（Ｓ５０３）と、微分可能なｍ個の線形
関数もしくは非線形関数が記述された第２の特徴変換係
数集合に基づいて、前記学習パターンのｈ次元特徴から
ｍ（ｍは正の整数、ｍ＜ｎ）次元特徴を選択する学習パ
ターンｍ次元特徴選択手順（Ｓ５０４）と、前記ｍ次元
特徴とパターン認識のために予め用意された認識辞書中
のｍ次元参照パターンとを照合し、前記学習パターンと
同じカテゴリに属するｍ次元参照パターンと前記ｍ次元
特徴との距離が減少し、かつ前記学習パターンと異なる
カテゴリに属するｍ次元参照パターンのうち前記ｍ次元
特徴の最近傍に存在するｍ次元参照パターンと前記ｍ次
元特徴との距離が増加するように前記認識辞書を修正す
る認識辞書修正手順（Ｓ５０５）と、前記学習パターン
と同じカテゴリに属するｍ次元参照パターンと前記ｍ次
元特徴との距離が減少し、かつ前記学習パターンと異な
るカテゴリに属するｍ次元参照パターンと前記ｍ次元特
徴との距離が増加するように前記第１の特徴変換係数集
合及び前記第２の特徴変換係数集合を修正する特徴選択
辞書修正手順（Ｓ５０６）とを実行するようにしたもの
である。また、本発明のパターン認識方法は、パターン
認識時に、認識対象となる入力パターンからｎ次元特徴
を抽出する入力パターン特徴抽出手順（Ｓ９０４）と、
非線形な入出力応答を有するｈ個の微分可能な非線形関
数が記述された第１の特徴変換係数集合に基づいて、前
記入力パターンのｎ次元特徴からｈ次元特徴を選択する
入力パターンｈ次元特徴選択手順（Ｓ９０５）と、微分
可能なｍ個の線形関数もしくは非線形関数が記述された
第２の特徴変換係数集合に基づいて、前記入力パターン
のｈ次元特徴からｍ次元特徴を選択する入力パターンｍ
次元特徴選択手順（Ｓ９０６）と、パターン認識のため
に予め用意されたｍ次元参照パターンの集合からなる認
識辞書と前記入力パターンのｍ次元特徴とを照合して認
識結果を出力する識別手順（Ｓ９０７，Ｓ９０８）とを
実行するようにしたものである。
【０００９】また、本発明のパターン認識方法の１構成
例として、前記学習パターンｈ次元特徴選択手順及び前
記入力パターンｈ次元特徴選択手順は、前記第１の特徴
変換係数集合を構成するｈ組の変換係数と前記ｎ次元特
徴との積和演算をそれぞれ行い、その各出力を非線形な
入出力応答特性を有する単調関数によって変換して前記
ｈ次元特徴を選択し、前記学習パターンｍ次元特徴選択
手順及び前記入力パターンｍ次元特徴選択手順は、前記
第２の特徴変換係数集合を構成するｍ組の変換係数と前
記ｈ次元特徴との積和演算をそれぞれ行って前記ｍ次元
特徴を選択するようにしたものである。また、本発明の
パターン認識方法の１構成例は、前記学習パターンから
抽出される前記ｎ次元特徴を主成分分析もしくは正準判
別分析して得られる軸のなかからｈ個を抽出して前記第
１の特徴変換係数集合の初期値とし、前記学習パターン
から抽出される前記ｍ次元特徴のｋ次元目の値ｘk （ｋ
＝１，２，３，．．．，ｍ）と前記ｈ次元特徴のｋ次元
目の値ｚk との関係がｘk＝ｚkとなるような係数を前記
第２の特徴変換係数集合の初期値とし、前記学習パター
ンから抽出されるｎ次元特徴の平均値をカテゴリ毎に求
め、この平均値を前記第１の特徴変換係数集合の初期値
を用いてｈ次元に変換し、このｈ次元に変換した値を前
記第２の特徴変換係数集合の初期値を用いてｍ次元に変
換した値を各カテゴリの参照パターンの初期値とするも
のである。
例として、前記学習パターンｈ次元特徴選択手順及び前
記入力パターンｈ次元特徴選択手順は、前記第１の特徴
変換係数集合を構成するｈ組の変換係数と前記ｎ次元特
徴との積和演算をそれぞれ行い、その各出力を非線形な
入出力応答特性を有する単調関数によって変換して前記
ｈ次元特徴を選択し、前記学習パターンｍ次元特徴選択
手順及び前記入力パターンｍ次元特徴選択手順は、前記
第２の特徴変換係数集合を構成するｍ組の変換係数と前
記ｈ次元特徴との積和演算をそれぞれ行って前記ｍ次元
特徴を選択するようにしたものである。また、本発明の
パターン認識方法の１構成例は、前記学習パターンから
抽出される前記ｎ次元特徴を主成分分析もしくは正準判
別分析して得られる軸のなかからｈ個を抽出して前記第
１の特徴変換係数集合の初期値とし、前記学習パターン
から抽出される前記ｍ次元特徴のｋ次元目の値ｘk （ｋ
＝１，２，３，．．．，ｍ）と前記ｈ次元特徴のｋ次元
目の値ｚk との関係がｘk＝ｚkとなるような係数を前記
第２の特徴変換係数集合の初期値とし、前記学習パター
ンから抽出されるｎ次元特徴の平均値をカテゴリ毎に求
め、この平均値を前記第１の特徴変換係数集合の初期値
を用いてｈ次元に変換し、このｈ次元に変換した値を前
記第２の特徴変換係数集合の初期値を用いてｍ次元に変
換した値を各カテゴリの参照パターンの初期値とするも
のである。
【００１０】また、本発明のパターン認識プログラム
は、辞書学習時に、辞書学習のための学習パターンから
ｎ（ｎは正の整数）次元特徴を抽出する学習パターン特
徴抽出手順（Ｓ５０２）と、非線形な入出力応答を有す
るｈ（ｈは正の整数）個の微分可能な非線形関数が記述
された第１の特徴変換係数集合に基づいて、前記学習パ
ターンのｎ次元特徴からｈ次元特徴を選択する学習パタ
ーンｈ次元特徴選択手順（Ｓ５０３）と、微分可能なｍ
個の線形関数もしくは非線形関数が記述された第２の特
徴変換係数集合に基づいて、前記学習パターンのｈ次元
特徴からｍ（ｍは正の整数、ｍ＜ｎ）次元特徴を選択す
る学習パターンｍ次元特徴選択手順（Ｓ５０４）と、前
記ｍ次元特徴とパターン認識のために予め用意された認
識辞書中のｍ次元参照パターンとを照合し、前記学習パ
ターンと同じカテゴリに属するｍ次元参照パターンと前
記ｍ次元特徴との距離が減少し、かつ前記学習パターン
と異なるカテゴリに属するｍ次元参照パターンのうち前
記ｍ次元特徴の最近傍に存在するｍ次元参照パターンと
前記ｍ次元特徴との距離が増加するように前記認識辞書
を修正する認識辞書修正手順（Ｓ５０５）と、前記学習
パターンと同じカテゴリに属するｍ次元参照パターンと
前記ｍ次元特徴との距離が減少し、かつ前記学習パター
ンと異なるカテゴリに属するｍ次元参照パターンと前記
ｍ次元特徴との距離が増加するように前記第１の特徴変
換係数集合及び前記第２の特徴変換係数集合を修正する
特徴選択辞書修正手順（Ｓ５０６）とをコンピュータに
実行させるようにしたものである。また、本発明のパタ
ーン認識プログラムは、パターン認識時に、認識対象と
なる入力パターンからｎ次元特徴を抽出する入力パター
ン特徴抽出手順（Ｓ９０４）と、非線形な入出力応答を
有するｈ個の微分可能な非線形関数が記述された第１の
特徴変換係数集合に基づいて、前記入力パターンのｎ次
元特徴からｈ次元特徴を選択する入力パターンｈ次元特
徴選択手順（Ｓ９０５）と、微分可能なｍ個の線形関数
もしくは非線形関数が記述された第２の特徴変換係数集
合に基づいて、前記入力パターンのｈ次元特徴からｍ次
元特徴を選択する入力パターンｍ次元特徴選択手順（Ｓ
９０６）と、パターン認識のために予め用意されたｍ次
元参照パターンの集合からなる認識辞書と前記入力パタ
ーンのｍ次元特徴とを照合して認識結果を出力する識別
手順（Ｓ９０７，Ｓ９０８）とをコンピュータに実行さ
せるようにしたものである。
は、辞書学習時に、辞書学習のための学習パターンから
ｎ（ｎは正の整数）次元特徴を抽出する学習パターン特
徴抽出手順（Ｓ５０２）と、非線形な入出力応答を有す
るｈ（ｈは正の整数）個の微分可能な非線形関数が記述
された第１の特徴変換係数集合に基づいて、前記学習パ
ターンのｎ次元特徴からｈ次元特徴を選択する学習パタ
ーンｈ次元特徴選択手順（Ｓ５０３）と、微分可能なｍ
個の線形関数もしくは非線形関数が記述された第２の特
徴変換係数集合に基づいて、前記学習パターンのｈ次元
特徴からｍ（ｍは正の整数、ｍ＜ｎ）次元特徴を選択す
る学習パターンｍ次元特徴選択手順（Ｓ５０４）と、前
記ｍ次元特徴とパターン認識のために予め用意された認
識辞書中のｍ次元参照パターンとを照合し、前記学習パ
ターンと同じカテゴリに属するｍ次元参照パターンと前
記ｍ次元特徴との距離が減少し、かつ前記学習パターン
と異なるカテゴリに属するｍ次元参照パターンのうち前
記ｍ次元特徴の最近傍に存在するｍ次元参照パターンと
前記ｍ次元特徴との距離が増加するように前記認識辞書
を修正する認識辞書修正手順（Ｓ５０５）と、前記学習
パターンと同じカテゴリに属するｍ次元参照パターンと
前記ｍ次元特徴との距離が減少し、かつ前記学習パター
ンと異なるカテゴリに属するｍ次元参照パターンと前記
ｍ次元特徴との距離が増加するように前記第１の特徴変
換係数集合及び前記第２の特徴変換係数集合を修正する
特徴選択辞書修正手順（Ｓ５０６）とをコンピュータに
実行させるようにしたものである。また、本発明のパタ
ーン認識プログラムは、パターン認識時に、認識対象と
なる入力パターンからｎ次元特徴を抽出する入力パター
ン特徴抽出手順（Ｓ９０４）と、非線形な入出力応答を
有するｈ個の微分可能な非線形関数が記述された第１の
特徴変換係数集合に基づいて、前記入力パターンのｎ次
元特徴からｈ次元特徴を選択する入力パターンｈ次元特
徴選択手順（Ｓ９０５）と、微分可能なｍ個の線形関数
もしくは非線形関数が記述された第２の特徴変換係数集
合に基づいて、前記入力パターンのｈ次元特徴からｍ次
元特徴を選択する入力パターンｍ次元特徴選択手順（Ｓ
９０６）と、パターン認識のために予め用意されたｍ次
元参照パターンの集合からなる認識辞書と前記入力パタ
ーンのｍ次元特徴とを照合して認識結果を出力する識別
手順（Ｓ９０７，Ｓ９０８）とをコンピュータに実行さ
せるようにしたものである。
【００１１】また、本発明のパターン認識プログラムの
１構成例において、前記学習パターンｈ次元特徴選択手
順及び前記入力パターンｈ次元特徴選択手順は、前記第
１の特徴変換係数集合を構成するｈ組の変換係数と前記
ｎ次元特徴との積和演算をそれぞれ行い、その各出力を
非線形な入出力応答特性を有する単調関数によって変換
して前記ｈ次元特徴を選択し、前記学習パターンｍ次元
特徴選択手順及び前記入力パターンｍ次元特徴選択手順
は、前記第２の特徴変換係数集合を構成するｍ組の変換
係数と前記ｈ次元特徴との積和演算をそれぞれ行って前
記ｍ次元特徴を選択するものである。また、本発明のパ
ターン認識プログラムの１構成例は、前記学習パターン
から抽出される前記ｎ次元特徴を主成分分析もしくは正
準判別分析して得られる軸のなかからｈ個を抽出して前
記第１の特徴変換係数集合の初期値とし、前記学習パタ
ーンから抽出される前記ｍ次元特徴のｋ次元目の値ｘk
（ｋ＝１，２，３，．．．，ｍ）と前記ｈ次元特徴のｋ
次元目の値ｚk との関係がｘk＝ｚkとなるような係数を
前記第２の特徴変換係数集合の初期値とし、前記学習パ
ターンから抽出されるｎ次元特徴の平均値をカテゴリ毎
に求め、この平均値を前記第１の特徴変換係数集合の初
期値を用いてｈ次元に変換し、このｈ次元に変換した値
を前記第２の特徴変換係数集合の初期値を用いてｍ次元
に変換した値を各カテゴリの参照パターンの初期値とす
るようにしたものである。
１構成例において、前記学習パターンｈ次元特徴選択手
順及び前記入力パターンｈ次元特徴選択手順は、前記第
１の特徴変換係数集合を構成するｈ組の変換係数と前記
ｎ次元特徴との積和演算をそれぞれ行い、その各出力を
非線形な入出力応答特性を有する単調関数によって変換
して前記ｈ次元特徴を選択し、前記学習パターンｍ次元
特徴選択手順及び前記入力パターンｍ次元特徴選択手順
は、前記第２の特徴変換係数集合を構成するｍ組の変換
係数と前記ｈ次元特徴との積和演算をそれぞれ行って前
記ｍ次元特徴を選択するものである。また、本発明のパ
ターン認識プログラムの１構成例は、前記学習パターン
から抽出される前記ｎ次元特徴を主成分分析もしくは正
準判別分析して得られる軸のなかからｈ個を抽出して前
記第１の特徴変換係数集合の初期値とし、前記学習パタ
ーンから抽出される前記ｍ次元特徴のｋ次元目の値ｘk
（ｋ＝１，２，３，．．．，ｍ）と前記ｈ次元特徴のｋ
次元目の値ｚk との関係がｘk＝ｚkとなるような係数を
前記第２の特徴変換係数集合の初期値とし、前記学習パ
ターンから抽出されるｎ次元特徴の平均値をカテゴリ毎
に求め、この平均値を前記第１の特徴変換係数集合の初
期値を用いてｈ次元に変換し、このｈ次元に変換した値
を前記第２の特徴変換係数集合の初期値を用いてｍ次元
に変換した値を各カテゴリの参照パターンの初期値とす
るようにしたものである。
【００１２】
【発明の実施の形態】［実施の形態の１］以下、本発明
の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の第１の実施形態にかかるパターン認識
装置の構成を示すブロック図である。図１に示すパター
ン認識装置は、データ入力部１０１、特徴抽出部１０
２、特徴選択部１０３、特徴選択辞書１０４、識別部１
０５、認識辞書１０６、認識結果出力部１０７、認識辞
書修正部１０８及び特徴選択辞書修正部１０９から構成
される。
の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の第１の実施形態にかかるパターン認識
装置の構成を示すブロック図である。図１に示すパター
ン認識装置は、データ入力部１０１、特徴抽出部１０
２、特徴選択部１０３、特徴選択辞書１０４、識別部１
０５、認識辞書１０６、認識結果出力部１０７、認識辞
書修正部１０８及び特徴選択辞書修正部１０９から構成
される。
【００１３】データ入力部１０１は、認識対象であるデ
ータを取り込んで特徴抽出部１０２に出力する。認識対
象のデータとしては、例えば画像データや音声データな
どが挙げられる。特徴抽出部１０２は、データ入力部１
０１より入力されたデータ（入力パターン又は学習パタ
ーン）から認識に有効なｎ（ｎは正の整数）次元の特徴
を抽出して、特徴選択部１０３に出力する。本実施の形
態では、ｎ次元の特徴はベクトル形式で表現されるもの
とし、特徴抽出部１０２はｎ次元特徴ベクトルを出力す
るものとする。
ータを取り込んで特徴抽出部１０２に出力する。認識対
象のデータとしては、例えば画像データや音声データな
どが挙げられる。特徴抽出部１０２は、データ入力部１
０１より入力されたデータ（入力パターン又は学習パタ
ーン）から認識に有効なｎ（ｎは正の整数）次元の特徴
を抽出して、特徴選択部１０３に出力する。本実施の形
態では、ｎ次元の特徴はベクトル形式で表現されるもの
とし、特徴抽出部１０２はｎ次元特徴ベクトルを出力す
るものとする。
【００１４】特徴選択部１０３は、第１次特徴変換部１
１０と第２次特徴変換部１１１とからなる。特徴選択部
１０３は、特徴選択辞書１０４を参照して、特徴抽出部
１０２から入力されたｎ次元特徴ベクトルをｍ（ｍは正
の整数、ｍ＜ｎ）次元特徴ベクトルに変換し、特徴選択
辞書１０４及び認識辞書１０６を用いて入力パターンを
認識する認識モード時は、変換後のｍ次元特徴ベクトル
を識別部１０７へ出力し、特徴選択辞書１０４及び認識
辞書１０６を修正する学習モード時は、変換後のｍ次元
特徴ベクトルを認識辞書修正部１０８へ出力する。
１０と第２次特徴変換部１１１とからなる。特徴選択部
１０３は、特徴選択辞書１０４を参照して、特徴抽出部
１０２から入力されたｎ次元特徴ベクトルをｍ（ｍは正
の整数、ｍ＜ｎ）次元特徴ベクトルに変換し、特徴選択
辞書１０４及び認識辞書１０６を用いて入力パターンを
認識する認識モード時は、変換後のｍ次元特徴ベクトル
を識別部１０７へ出力し、特徴選択辞書１０４及び認識
辞書１０６を修正する学習モード時は、変換後のｍ次元
特徴ベクトルを認識辞書修正部１０８へ出力する。
【００１５】第１次特徴変換部１１０は、特徴選択辞書
１０４に含まれる第１の特徴変換係数集合１１２を参照
して、ｎ次元特徴ベクトルをｈ（ｈは正の整数）次元特
徴ベクトルに非線形変換する処理部である。第２次特徴
変換部１１１は、特徴選択辞書１０４に含まれる第２の
特徴変換係数集合１１３を参照して、第１次特徴変換部
１１０から出力されたｈ次元特徴ベクトルをｍ次元特徴
ベクトルに線形変換する処理部である。本実施の形態で
は、第１次特徴変換部１１０の非線形変換処理を次式に
より定義する。
１０４に含まれる第１の特徴変換係数集合１１２を参照
して、ｎ次元特徴ベクトルをｈ（ｈは正の整数）次元特
徴ベクトルに非線形変換する処理部である。第２次特徴
変換部１１１は、特徴選択辞書１０４に含まれる第２の
特徴変換係数集合１１３を参照して、第１次特徴変換部
１１０から出力されたｈ次元特徴ベクトルをｍ次元特徴
ベクトルに線形変換する処理部である。本実施の形態で
は、第１次特徴変換部１１０の非線形変換処理を次式に
より定義する。
【００１６】
【数１】
【００１７】また、第２次特徴変換部１１１の線形変換
処理を次式により定義する。
処理を次式により定義する。
【００１８】
【数２】
【００１９】ここで、ｗ(1) ji は第１の特徴変換係数集
合１１２に該当し、ｗ(2) kj は第２の特徴変換係数集合
１１３に該当する。また、関数ｇはシグモイド関数を表
すものとする。Ｘi はｎ次元特徴Ｘのｉ次元目の値、ｚ
j はｈ次元特徴ｚのｊ次元目の値、ｘk はｍ次元特徴ｘ
のｋ次元目の値である。
合１１２に該当し、ｗ(2) kj は第２の特徴変換係数集合
１１３に該当する。また、関数ｇはシグモイド関数を表
すものとする。Ｘi はｎ次元特徴Ｘのｉ次元目の値、ｚ
j はｈ次元特徴ｚのｊ次元目の値、ｘk はｍ次元特徴ｘ
のｋ次元目の値である。
【００２０】特徴選択辞書１０４は、特徴選択のための
関数が記述された辞書であり、第１の特徴変換係数集合
１１２と第２の特徴変換係数集合１１３とからなる。特
徴選択辞書１０４は、特徴選択辞書修正部１０９によっ
て学習モード時にのみ修正される。第１の特徴変換係数
集合１１２は、式（１）中のパラメータｗ(1) ji を構成
要素とし、第２の特徴変換係数集合１１３は、式（２）
中のパラメータｗ(2) k j を構成要素とする。
関数が記述された辞書であり、第１の特徴変換係数集合
１１２と第２の特徴変換係数集合１１３とからなる。特
徴選択辞書１０４は、特徴選択辞書修正部１０９によっ
て学習モード時にのみ修正される。第１の特徴変換係数
集合１１２は、式（１）中のパラメータｗ(1) ji を構成
要素とし、第２の特徴変換係数集合１１３は、式（２）
中のパラメータｗ(2) k j を構成要素とする。
【００２１】識別部１０５は、認識モード時のみ動作
し、特徴選択部１０３から出力されたｍ次元特徴ベクト
ルと認識辞書１０６中のｍ次元参照ベクトル（参照パタ
ーン）とを照合し、ｍ次元特徴ベクトルとｍ次元参照ベ
クトルとの距離に基づいて、ｍ次元参照ベクトルの中か
ら認識候補を出力する。
し、特徴選択部１０３から出力されたｍ次元特徴ベクト
ルと認識辞書１０６中のｍ次元参照ベクトル（参照パタ
ーン）とを照合し、ｍ次元特徴ベクトルとｍ次元参照ベ
クトルとの距離に基づいて、ｍ次元参照ベクトルの中か
ら認識候補を出力する。
【００２２】認識辞書１０６は、予め用意されたｍ次元
参照ベクトルの集合が記述された辞書であり、学習モー
ド時には認識辞書修正部１０８によって修正される。認
識結果出力部１０７は、識別部１０５から入力された認
識候補のカテゴリコード（例えばＡＳＣＩＩコード）や
距離値を図示しない記憶装置に記憶させたり、ディスプ
レイ装置に表示させたりする。
参照ベクトルの集合が記述された辞書であり、学習モー
ド時には認識辞書修正部１０８によって修正される。認
識結果出力部１０７は、識別部１０５から入力された認
識候補のカテゴリコード（例えばＡＳＣＩＩコード）や
距離値を図示しない記憶装置に記憶させたり、ディスプ
レイ装置に表示させたりする。
【００２３】認識辞書修正部１０８は、学習モード時に
のみ動作し、特徴選択部１０３から出力されたｍ次元特
徴ベクトルと認識辞書１０６中のｍ次元参照ベクトルと
を照合し、入力パターンと同じカテゴリに属するｍ次元
参照ベクトルｒc と、入力パターンと異なるカテゴリに
属するｍ次元参照ベクトルのうちｍ次元特徴ベクトルの
最近傍に存在する参照ベクトルｒe とを抽出して、ｍ次
元参照ベクトルｒc とｍ次元特徴ベクトルとの距離ｄ
c 、及びｍ次元参照ベクトルｒe とｍ次元特徴ベクトル
との距離ｄe を計算する。そして、認識辞書修正部１０
８は、距離ｄc が減少し、かつ距離ｄe が増大するよう
に以下の修正式により認識辞書１０６を修正する。
のみ動作し、特徴選択部１０３から出力されたｍ次元特
徴ベクトルと認識辞書１０６中のｍ次元参照ベクトルと
を照合し、入力パターンと同じカテゴリに属するｍ次元
参照ベクトルｒc と、入力パターンと異なるカテゴリに
属するｍ次元参照ベクトルのうちｍ次元特徴ベクトルの
最近傍に存在する参照ベクトルｒe とを抽出して、ｍ次
元参照ベクトルｒc とｍ次元特徴ベクトルとの距離ｄ
c 、及びｍ次元参照ベクトルｒe とｍ次元特徴ベクトル
との距離ｄe を計算する。そして、認識辞書修正部１０
８は、距離ｄc が減少し、かつ距離ｄe が増大するよう
に以下の修正式により認識辞書１０６を修正する。
【００２４】
【数３】
【００２５】
【数４】
【００２６】また、認識辞書修正部１０８は、ｍ次元参
照ベクトルｒc，ｒe及びｍ次元参照ベクトルｒc，ｒeと
ｍ次元特徴ベクトルとの距離ｄc，ｄeを特徴選択辞書修
正部１０９へ出力する。特徴選択辞書修正部１０９は、
認識辞書修正部１０８によって抽出されたｍ次元参照ベ
クトルｒc，ｒe及びｍ次元参照ベクトルｒc，ｒeとｍ次
元特徴ベクトルとの距離ｄc，ｄeに基づいて、特徴選択
辞書１０４を修正する。本実施の形態では、認識辞書修
正部１０８は、以下の修正式によって特徴選択辞書１０
４の第１の特徴変換係数集合１１２（ｗ(1) ji ）及び第
２の特徴変換係数集合１１３（ｗ(2) kj ）を修正する。
照ベクトルｒc，ｒe及びｍ次元参照ベクトルｒc，ｒeと
ｍ次元特徴ベクトルとの距離ｄc，ｄeを特徴選択辞書修
正部１０９へ出力する。特徴選択辞書修正部１０９は、
認識辞書修正部１０８によって抽出されたｍ次元参照ベ
クトルｒc，ｒe及びｍ次元参照ベクトルｒc，ｒeとｍ次
元特徴ベクトルとの距離ｄc，ｄeに基づいて、特徴選択
辞書１０４を修正する。本実施の形態では、認識辞書修
正部１０８は、以下の修正式によって特徴選択辞書１０
４の第１の特徴変換係数集合１１２（ｗ(1) ji ）及び第
２の特徴変換係数集合１１３（ｗ(2) kj ）を修正する。
【００２７】
【数５】
【００２８】
【数６】
【００２９】ここで、図１のパターン認識装置を用いた
パターン認識方法の原理について図２を用いて説明す
る。図２（ａ）はｎ次元特徴空間におけるデータ分布
を、図２（ｂ）は現時刻におけるｈ次元特徴空間におけ
るデータ分布を、図２（ｃ）は特徴変換係数集合１１
２，１１３の修正を行った後のｈ次元特徴空間における
データ分布を示す。
パターン認識方法の原理について図２を用いて説明す
る。図２（ａ）はｎ次元特徴空間におけるデータ分布
を、図２（ｂ）は現時刻におけるｈ次元特徴空間におけ
るデータ分布を、図２（ｃ）は特徴変換係数集合１１
２，１１３の修正を行った後のｈ次元特徴空間における
データ分布を示す。
【００３０】図２において、３０１，３０２はｎ次元特
徴軸、３０３はｎ次元特徴空間のカテゴリＡに属するデ
ータが分布する領域、３０４は同空間のカテゴリＢに属
するデータが分布する領域、３０５はｈ次元特徴空間の
カテゴリＡに属するデータが分布する領域、３０６はカ
テゴリＢに属するデータが分布する領域、３０７はカテ
ゴリＡに属する学習パターン、３１１，３１２はｈ次元
特徴軸、３１３は現時刻におけるｍ次元特徴軸、３１４
は修正後のｍ次元特徴軸、３１５，３１６は修正後のｈ
次元特徴軸、３１７はｍ次元特徴軸３１４に写像された
カテゴリＡの学習パターン、３１８はｍ次元特徴軸３１
４に写像されたカテゴリＡの参照パターンである。
徴軸、３０３はｎ次元特徴空間のカテゴリＡに属するデ
ータが分布する領域、３０４は同空間のカテゴリＢに属
するデータが分布する領域、３０５はｈ次元特徴空間の
カテゴリＡに属するデータが分布する領域、３０６はカ
テゴリＢに属するデータが分布する領域、３０７はカテ
ゴリＡに属する学習パターン、３１１，３１２はｈ次元
特徴軸、３１３は現時刻におけるｍ次元特徴軸、３１４
は修正後のｍ次元特徴軸、３１５，３１６は修正後のｈ
次元特徴軸、３１７はｍ次元特徴軸３１４に写像された
カテゴリＡの学習パターン、３１８はｍ次元特徴軸３１
４に写像されたカテゴリＡの参照パターンである。
【００３１】ｎ，ｈ，ｍの値は独立して設定することが
可能であるが（ただし、ｍ＜ｎ）、図２では、理解を容
易にするためにｎ＝２、ｈ＝２、ｍ＝１の場合を例にと
って図示している。軸３０１及び軸３０２は、ｎ次元特
徴空間を構成する２次元の軸であり、このｎ次元特徴空
間中にカテゴリＡに属するデータが分布３０３の領域に
存在し、カテゴリＢに属するデータが分布３０４の領域
に存在する。
可能であるが（ただし、ｍ＜ｎ）、図２では、理解を容
易にするためにｎ＝２、ｈ＝２、ｍ＝１の場合を例にと
って図示している。軸３０１及び軸３０２は、ｎ次元特
徴空間を構成する２次元の軸であり、このｎ次元特徴空
間中にカテゴリＡに属するデータが分布３０３の領域に
存在し、カテゴリＢに属するデータが分布３０４の領域
に存在する。
【００３２】図２（ｂ）は、ｎ次元特徴空間を非線形に
変換して得た、軸３１１及び軸３１２によって構成され
る現時刻のｈ次元特徴空間を示している。ｈ次元特徴空
間上ではカテゴリＡのデータは分布３０５の領域に写像
され、カテゴリＢのデータは分布３０６の領域に写像さ
れているものとする。さらに、カテゴリＡに属する学習
パターン３０７を現時刻のｍ（＝１）次元特徴軸３１３
上に写像した点をｍ次元パターン３１０とし、カテゴリ
Ａ，Ｂの参照パターンをそれぞれｍ次元参照パターン３
０８，３０９とする。
変換して得た、軸３１１及び軸３１２によって構成され
る現時刻のｈ次元特徴空間を示している。ｈ次元特徴空
間上ではカテゴリＡのデータは分布３０５の領域に写像
され、カテゴリＢのデータは分布３０６の領域に写像さ
れているものとする。さらに、カテゴリＡに属する学習
パターン３０７を現時刻のｍ（＝１）次元特徴軸３１３
上に写像した点をｍ次元パターン３１０とし、カテゴリ
Ａ，Ｂの参照パターンをそれぞれｍ次元参照パターン３
０８，３０９とする。
【００３３】図２（ｂ）に示す状況の場合、学習パター
ン３１０は、カテゴリＡの参照パターン３０８よりもカ
テゴリＢの参照パターン３０９により近いため、カテゴ
リＢに誤識別されてしまう。本発明の学習モードでは、
このような状況において、正解カテゴリの参照パターン
と学習パターンとの距離が減少し、不正解であるカテゴ
リの参照パターンと学習パターンとの距離が増大するよ
うに、第１の特徴変換係数集合１１２（ｗ(1) ji ）及び
第２の特徴変換係数集合１１３（ｗ(2) kj ）が修正され
る。
ン３１０は、カテゴリＡの参照パターン３０８よりもカ
テゴリＢの参照パターン３０９により近いため、カテゴ
リＢに誤識別されてしまう。本発明の学習モードでは、
このような状況において、正解カテゴリの参照パターン
と学習パターンとの距離が減少し、不正解であるカテゴ
リの参照パターンと学習パターンとの距離が増大するよ
うに、第１の特徴変換係数集合１１２（ｗ(1) ji ）及び
第２の特徴変換係数集合１１３（ｗ(2) kj ）が修正され
る。
【００３４】まず、第２の特徴変換係数集合１１３の修
正について述べる。図２（ｂ）において、第２の特徴変
換係数集合１１３を修正することは、ｍ次元特徴軸３１
３が移動することに相当する。第２の特徴変換係数集合
１１３の機能を簡単のために線形変換であると仮定すれ
ば、図２（ｂ）に示す状況において、ｍ次元特徴軸３１
３は、正解カテゴリの参照パターンと学習パターンとの
距離が減少し、不正解カテゴリの参照パターンと学習パ
ターンとの距離が増大するように原点を中心として右回
りに若干回転し、新たなｍ次元特徴軸３１４へと変化す
る（図２（ｃ））。
正について述べる。図２（ｂ）において、第２の特徴変
換係数集合１１３を修正することは、ｍ次元特徴軸３１
３が移動することに相当する。第２の特徴変換係数集合
１１３の機能を簡単のために線形変換であると仮定すれ
ば、図２（ｂ）に示す状況において、ｍ次元特徴軸３１
３は、正解カテゴリの参照パターンと学習パターンとの
距離が減少し、不正解カテゴリの参照パターンと学習パ
ターンとの距離が増大するように原点を中心として右回
りに若干回転し、新たなｍ次元特徴軸３１４へと変化す
る（図２（ｃ））。
【００３５】次に、第１の特徴変換係数集合１１２の修
正について述べる。図２（ｂ）において、第１の特徴変
換係数集合１１２を修正することは、ｈ次元特徴軸３１
１，３１２を変化させることに相当する。たとえば、第
１次特徴変換部１１０により特徴軸３１１，３１２の局
所的伸縮が可能であるならば、正解カテゴリの参照パタ
ーンと学習パターンとの距離が減少し、不正解であるカ
テゴリの参照パターンと学習パターンとの距離が増大す
るように特徴軸３１２を局所的に引き延ばし、新たなｈ
次元特徴軸３１５，３１６を得る。
正について述べる。図２（ｂ）において、第１の特徴変
換係数集合１１２を修正することは、ｈ次元特徴軸３１
１，３１２を変化させることに相当する。たとえば、第
１次特徴変換部１１０により特徴軸３１１，３１２の局
所的伸縮が可能であるならば、正解カテゴリの参照パタ
ーンと学習パターンとの距離が減少し、不正解であるカ
テゴリの参照パターンと学習パターンとの距離が増大す
るように特徴軸３１２を局所的に引き延ばし、新たなｈ
次元特徴軸３１５，３１６を得る。
【００３６】これにより、第１の特徴変換係数集合１１
２及び第２の特徴変換係数集合１１３を修正した後の、
ｈ次元特徴空間におけるパターンの分布及びｍ次元特徴
軸は図２（ｃ）に示す状態となる。ｍ次元特徴軸３１４
上では、ｍ次元特徴軸３１４に写像されたカテゴリＡの
学習パターン３１７が、正解カテゴリＡの参照パターン
３１８に接近し、正しく識別されるように変化してい
る。
２及び第２の特徴変換係数集合１１３を修正した後の、
ｈ次元特徴空間におけるパターンの分布及びｍ次元特徴
軸は図２（ｃ）に示す状態となる。ｍ次元特徴軸３１４
上では、ｍ次元特徴軸３１４に写像されたカテゴリＡの
学習パターン３１７が、正解カテゴリＡの参照パターン
３１８に接近し、正しく識別されるように変化してい
る。
【００３７】以上の説明はｎ＝ｈ＝２、ｍ＝１の場合を
例にあげたが、ｍが２以上である場合やｎまたはｈが３
以上である場合も軸の数が増えるだけで、全く同じ原理
で動作する。したがって、このような修正を各学習パタ
ーンに対して繰り返し適用することにより、従来法では
抽出不能だったｍ次元特徴空間が得られることとなり、
従来法よりも優れたパターン認識装置を構成することが
できる。
例にあげたが、ｍが２以上である場合やｎまたはｈが３
以上である場合も軸の数が増えるだけで、全く同じ原理
で動作する。したがって、このような修正を各学習パタ
ーンに対して繰り返し適用することにより、従来法では
抽出不能だったｍ次元特徴空間が得られることとなり、
従来法よりも優れたパターン認識装置を構成することが
できる。
【００３８】そして、第１の特徴変換係数集合１１２、
第２の特徴変換係数集合１１３及び認識辞書１０６中の
参照パターン（参照ベクトル）は、具体的に以下の方法
によって修正することが可能である。入力パターンから
抽出したｎ次元特徴をＸ＝｛Ｘ1，Ｘ2，Ｘ3，．．．，
Ｘn｝、バイアスのための入力Ｘ0（＝１） 、ｈ次元特
徴をｚ＝｛ｚ1，ｚ2，ｚ3，．．．，ｚh｝、ｍ次元特徴
をｘ＝｛ｘ1，ｘ2，ｘ3，．．．，ｘm｝とし、ｎ次元特
徴Ｘからｈ次元特徴ｚのｊ次元目の値ｚj を抽出する非
線形関数ｆ(1) jを次式のように表す。
第２の特徴変換係数集合１１３及び認識辞書１０６中の
参照パターン（参照ベクトル）は、具体的に以下の方法
によって修正することが可能である。入力パターンから
抽出したｎ次元特徴をＸ＝｛Ｘ1，Ｘ2，Ｘ3，．．．，
Ｘn｝、バイアスのための入力Ｘ0（＝１） 、ｈ次元特
徴をｚ＝｛ｚ1，ｚ2，ｚ3，．．．，ｚh｝、ｍ次元特徴
をｘ＝｛ｘ1，ｘ2，ｘ3，．．．，ｘm｝とし、ｎ次元特
徴Ｘからｈ次元特徴ｚのｊ次元目の値ｚj を抽出する非
線形関数ｆ(1) jを次式のように表す。
【００３９】
【数７】
【００４０】同様に、ｈ次元特徴ｚからｍ次元特徴ｘの
ｋ次元目の値ｘk を抽出する線形関数もしくは非線形関
数ｆ(2) kを次式のように表す。
ｋ次元目の値ｘk を抽出する線形関数もしくは非線形関
数ｆ(2) kを次式のように表す。
【００４１】
【数８】
【００４２】ここで、Λ(1) jは関数ｆ(1) jに用いられる
パラメータの集合を示し、Λ(2) kは関数ｆ(2) kに用いら
れるパラメータの集合を示す。Ｘi，ｚj，ｘk の依存関
係を図に示すと図３のような２層の関係になる。
パラメータの集合を示し、Λ(2) kは関数ｆ(2) kに用いら
れるパラメータの集合を示す。Ｘi，ｚj，ｘk の依存関
係を図に示すと図３のような２層の関係になる。
【００４３】さて、ここで正解カテゴリに対応するｍ次
元参照パターンｒc ＝｛ｒc,1，ｒc ,2，
ｒc,3，．．．．ｒc,m｝とｍ次元特徴ｘ＝｛ｘ1，ｘ2，
ｘ3，．．．，ｘm｝との距離ｄc と、正解カテゴリ以外
のカテゴリに対応するｍ次元参照パターンｒ e ＝｛ｒ
e,1，ｒe,2，ｒe,3，．．．．ｒe,m｝とｍ次元特徴ｘと
の距離ｄe をそれぞれユークリッド距離の２乗、すなわ
ち次式のように定義する。
元参照パターンｒc ＝｛ｒc,1，ｒc ,2，
ｒc,3，．．．．ｒc,m｝とｍ次元特徴ｘ＝｛ｘ1，ｘ2，
ｘ3，．．．，ｘm｝との距離ｄc と、正解カテゴリ以外
のカテゴリに対応するｍ次元参照パターンｒ e ＝｛ｒ
e,1，ｒe,2，ｒe,3，．．．．ｒe,m｝とｍ次元特徴ｘと
の距離ｄe をそれぞれユークリッド距離の２乗、すなわ
ち次式のように定義する。
【００４４】
【数９】
【００４５】このとき、今着目している入力パターンに
対する認識の確実性をより高めるためには、入力パター
ンから抽出したｍ次元特徴ｘと正解カテゴリのｍ次元参
照パターンｒc との距離ｄc が現在よりも小さくなり、
かつｍ次元特徴ｘと不正解カテゴリに属するｍ次元参照
パターンｒe との距離ｄe が現在よりも大きくなればよ
い。
対する認識の確実性をより高めるためには、入力パター
ンから抽出したｍ次元特徴ｘと正解カテゴリのｍ次元参
照パターンｒc との距離ｄc が現在よりも小さくなり、
かつｍ次元特徴ｘと不正解カテゴリに属するｍ次元参照
パターンｒe との距離ｄe が現在よりも大きくなればよ
い。
【００４６】まず、ｍ次元参照パターンｒc，ｒeの修正
方法について述べる。距離ｄc を減少させ、距離ｄe を
増大させるには、各距離ｄc，ｄeをｍ次元参照パターン
ｒc，ｒeで偏微分し、ｍ次元参照パターンｒc を負の勾
配方向に、ｍ次元参照パターンｒe を正の勾配方向に修
正すればよい。距離ｄc，ｄeの偏微分は次式により与え
られる。
方法について述べる。距離ｄc を減少させ、距離ｄe を
増大させるには、各距離ｄc，ｄeをｍ次元参照パターン
ｒc，ｒeで偏微分し、ｍ次元参照パターンｒc を負の勾
配方向に、ｍ次元参照パターンｒe を正の勾配方向に修
正すればよい。距離ｄc，ｄeの偏微分は次式により与え
られる。
【００４７】
【数１０】
【００４８】したがって、以下の修正式によりｍ次元参
照パターンｒc，ｒeを修正することができる。
照パターンｒc，ｒeを修正することができる。
【００４９】
【数１１】
【００５０】ただし、式（１１）において、学習係数ε
1（ｔ） は小さな正の実数値をとり、時間の経過ととも
に０に収束するよう制御される。次に、第２の特徴変換
係数集合Λ(2) kの修正方法について述べる。Λ(2) kの変
化に対する距離ｄc，ｄeの変化はチェインルールを用い
て次式のように表される。
1（ｔ） は小さな正の実数値をとり、時間の経過ととも
に０に収束するよう制御される。次に、第２の特徴変換
係数集合Λ(2) kの修正方法について述べる。Λ(2) kの変
化に対する距離ｄc，ｄeの変化はチェインルールを用い
て次式のように表される。
【００５１】
【数１２】
【００５２】
【数１３】
【００５３】式（１２）、式（１３）の右辺はいずれも
微分可能なので、これら２つの式を統合して以下の式に
よりΛ(2) kを修正することが可能である。
微分可能なので、これら２つの式を統合して以下の式に
よりΛ(2) kを修正することが可能である。
【００５４】
【数１４】
【００５５】式（１４）において学習係数ε2（ｔ） は
小さな正の実数値をとる。最後に、第１の特徴変換係数
集合Λ(1) jの修正方法について述べる。図２からわかる
ように、Λ(1) jの変化はｈ次元特徴ｚのｊ次元目の値ｚ
j に影響を与え、ｚj の変化はｍ次元特徴ｘのｋ次元目
の値ｘk （ｋ＝１，２，３，．．，ｍ）に影響を与え
る。よって、第１の特徴変換係数集合Λ(1) jに対する距
離ｄc，ｄeの偏微分はチェインルールを用いて次式のよ
うに表される。
小さな正の実数値をとる。最後に、第１の特徴変換係数
集合Λ(1) jの修正方法について述べる。図２からわかる
ように、Λ(1) jの変化はｈ次元特徴ｚのｊ次元目の値ｚ
j に影響を与え、ｚj の変化はｍ次元特徴ｘのｋ次元目
の値ｘk （ｋ＝１，２，３，．．，ｍ）に影響を与え
る。よって、第１の特徴変換係数集合Λ(1) jに対する距
離ｄc，ｄeの偏微分はチェインルールを用いて次式のよ
うに表される。
【００５６】
【数１５】
【００５７】
【数１６】
【００５８】式（１５）、式（１６）の右辺はいずれも
微分可能なので、これら２つの式を統合して以下の式に
よりΛ(1) jを修正することが可能である。
微分可能なので、これら２つの式を統合して以下の式に
よりΛ(1) jを修正することが可能である。
【００５９】
【数１７】
【００６０】式（１７）において学習係数ε3（ｔ） は
小さな正の実数値をとる。以上の修正式に基づいて、ｍ
次元参照パターンｒc，ｒe、第１の特徴変換係数集合Λ
(1) j及び第２の特徴変換係数集合Λ(2) kを修正すること
により、入力パターンから抽出したｍ次元特徴ｘと正解
カテゴリのｍ次元参照パターンｒc との距離ｄc を減少
させ、かつｍ次元特徴ｘと不正解カテゴリのｍ次元参照
パターンｒe との距離ｄe を増大させることができ、高
い認識精度を有するパターン認識装置を構成することが
できる。
小さな正の実数値をとる。以上の修正式に基づいて、ｍ
次元参照パターンｒc，ｒe、第１の特徴変換係数集合Λ
(1) j及び第２の特徴変換係数集合Λ(2) kを修正すること
により、入力パターンから抽出したｍ次元特徴ｘと正解
カテゴリのｍ次元参照パターンｒc との距離ｄc を減少
させ、かつｍ次元特徴ｘと不正解カテゴリのｍ次元参照
パターンｒe との距離ｄe を増大させることができ、高
い認識精度を有するパターン認識装置を構成することが
できる。
【００６１】また、上記のパラメータ修正は、最急降下
法の原理に基づいているため、学習結果がパラメータの
初期値に依存する。そこで、最急降下をできるだけ認識
精度の高いパラメータから開始することにより、学習後
の認識精度がより高くなるものと期待できる。つまり、
参照パターン及び第１，２の特徴変換係数集合の初期値
には、ある程度の認識が可能な値を使用することが望ま
しい。今、第１次特徴変換部１１０による変換を次式で
定義する。
法の原理に基づいているため、学習結果がパラメータの
初期値に依存する。そこで、最急降下をできるだけ認識
精度の高いパラメータから開始することにより、学習後
の認識精度がより高くなるものと期待できる。つまり、
参照パターン及び第１，２の特徴変換係数集合の初期値
には、ある程度の認識が可能な値を使用することが望ま
しい。今、第１次特徴変換部１１０による変換を次式で
定義する。
【００６２】
【数１８】
【００６３】また、第２次特徴変換部１１１による変換
を次式で定義する。
を次式で定義する。
【００６４】
【数１９】
【００６５】式（１８）、式（１９）において、関数ｇ
は単調な非線形関数（シグモイド関数）である。ｗ(1)
ji は第１の特徴変換係数集合１１２（Λ(1) j）を構成
するパラメータ（集合の要素）、ｗ(2) kj は第２の特徴
変換係数集合１１３（Λ(2) k）を構成するパラメータで
ある。
は単調な非線形関数（シグモイド関数）である。ｗ(1)
ji は第１の特徴変換係数集合１１２（Λ(1) j）を構成
するパラメータ（集合の要素）、ｗ(2) kj は第２の特徴
変換係数集合１１３（Λ(2) k）を構成するパラメータで
ある。
【００６６】この場合、学習パターンを主成分分析もし
くは正準判別分析して得られるｈ個の軸をφ1 ＝
｛φ11，φ12，．．．．，φ1n｝，φ2 ＝｛φ21，
φ22，．．．．，φ2n｝，．．．．，φh ＝｛φh1，φ
h2，．．．．，φhn｝，φj0＝０（ｊ＝１，２，
３，．．．，ｈ）として、第１の特徴変換係数集合１１
２（Λ(1) j）のパラメータｗ(1) ji を次式で定義する。
くは正準判別分析して得られるｈ個の軸をφ1 ＝
｛φ11，φ12，．．．．，φ1n｝，φ2 ＝｛φ21，
φ22，．．．．，φ2n｝，．．．．，φh ＝｛φh1，φ
h2，．．．．，φhn｝，φj0＝０（ｊ＝１，２，
３，．．．，ｈ）として、第１の特徴変換係数集合１１
２（Λ(1) j）のパラメータｗ(1) ji を次式で定義する。
【００６７】
【数２０】
【００６８】また、第２の特徴変換係数集合１１３（Λ
(2) k）のパラメータｗ(2) kj を次式で定義する。
(2) k）のパラメータｗ(2) kj を次式で定義する。
【００６９】
【数２１】
【００７０】式（２１）において、δはクロネッカーの
デルタを示す。式（２０）、式（２１）のように定義す
ると、第１次特徴変換部１１０は、入力パターンから抽
出されたｎ次元特徴をｈ個の主成分軸もしくは正準判別
軸に投影した値を非線形関数ｇで変換したｈ次元の値を
抽出していると解釈することができる。また、第２次特
徴変換部１１１は、ｈ次元の値の中からｍ個を単純に抜
き出しているものと解釈することができる。
デルタを示す。式（２０）、式（２１）のように定義す
ると、第１次特徴変換部１１０は、入力パターンから抽
出されたｎ次元特徴をｈ個の主成分軸もしくは正準判別
軸に投影した値を非線形関数ｇで変換したｈ次元の値を
抽出していると解釈することができる。また、第２次特
徴変換部１１１は、ｈ次元の値の中からｍ個を単純に抜
き出しているものと解釈することができる。
【００７１】主成分分析で得られる軸はパターンを近似
する上で最良の軸であり、正準判別軸はパターンを識別
する上で良好な軸である。よって、第２次特徴変換部１
１１の出力であるｍ次元特徴空間は、単調な非線形関数
ｇにより多少伸縮されているものの、ある程度識別に適
した特徴であると考えられる。
する上で最良の軸であり、正準判別軸はパターンを識別
する上で良好な軸である。よって、第２次特徴変換部１
１１の出力であるｍ次元特徴空間は、単調な非線形関数
ｇにより多少伸縮されているものの、ある程度識別に適
した特徴であると考えられる。
【００７２】そして、学習パターンからカテゴリ毎に抽
出したｎ次元の平均ベクトルを上記変換によってｍ次元
参照ベクトルとすれば、ｍ次元特徴空間においても平均
ベクトルの周囲に同カテゴリのパターンが分布すること
になる。したがって、本実施の形態の初期設定法を用い
れば、初期状態のパラメータである程度の識別が可能で
あり、この値をもとに学習を開始すれば、乱数によって
初期化する場合などに比べ、優れたパターン認識装置を
構築できる可能性が高まる。
出したｎ次元の平均ベクトルを上記変換によってｍ次元
参照ベクトルとすれば、ｍ次元特徴空間においても平均
ベクトルの周囲に同カテゴリのパターンが分布すること
になる。したがって、本実施の形態の初期設定法を用い
れば、初期状態のパラメータである程度の識別が可能で
あり、この値をもとに学習を開始すれば、乱数によって
初期化する場合などに比べ、優れたパターン認識装置を
構築できる可能性が高まる。
【００７３】次に、図１のパターン認識装置における動
作例を説明する。パターン認識装置の動作モードとして
は、特徴選択辞書１０４及び認識辞書１０６を修正する
学習モードと、学習モードによって構築された辞書１０
４，１０６を用いて入力パターンを次々と認識する認識
モードの２つのモードがある。
作例を説明する。パターン認識装置の動作モードとして
は、特徴選択辞書１０４及び認識辞書１０６を修正する
学習モードと、学習モードによって構築された辞書１０
４，１０６を用いて入力パターンを次々と認識する認識
モードの２つのモードがある。
【００７４】まず、学習モードの動作例について図４を
参照しつつ説明する。図４は学習モードのフローチャー
トを示す図である。本学習はいわゆる逐次学習であり、
認識辞書修正部１０８、特徴選択辞書修正部１０９は、
最初に認識辞書１０６及び特徴選択辞書１０４の初期化
を行う（図４ステップＳ４０１）。
参照しつつ説明する。図４は学習モードのフローチャー
トを示す図である。本学習はいわゆる逐次学習であり、
認識辞書修正部１０８、特徴選択辞書修正部１０９は、
最初に認識辞書１０６及び特徴選択辞書１０４の初期化
を行う（図４ステップＳ４０１）。
【００７５】特徴選択辞書修正部１０９は、学習パター
ンから抽出したｎ次元特徴ベクトルに関する主成分軸ｈ
個もしくは正準判別軸ｈ個をφ1 ＝｛φ11，
φ12，．．．．，φ1n｝、φ2 ＝｛φ21，
φ22，．．．．，φ2n｝、．．．．、φh ＝｛φh1，φ
h2，．．．．，φhn｝で表すとすると、特徴選択辞書１
０４の第１の特徴変換係数集合１１２のパラメータｗ
(1) ji を次式により初期化する。
ンから抽出したｎ次元特徴ベクトルに関する主成分軸ｈ
個もしくは正準判別軸ｈ個をφ1 ＝｛φ11，
φ12，．．．．，φ1n｝、φ2 ＝｛φ21，
φ22，．．．．，φ2n｝、．．．．、φh ＝｛φh1，φ
h2，．．．．，φhn｝で表すとすると、特徴選択辞書１
０４の第１の特徴変換係数集合１１２のパラメータｗ
(1) ji を次式により初期化する。
【００７６】
【数２２】
【００７７】また、特徴選択辞書修正部１０９は、特徴
選択辞書１０４の第２の特徴変換係数集合１１３のパラ
メータｗ(2) kj を次式により修正する。
選択辞書１０４の第２の特徴変換係数集合１１３のパラ
メータｗ(2) kj を次式により修正する。
【００７８】
【数２３】
【００７９】仮に、認識対象のカテゴリ数Ｃ＞次元数ｍ
が成立するならば、第１の特徴変換係数集合１１２（ｗ
(1) ji ）を正準判別分析で求めることができるが、そう
でない場合は主成分分析を用いるのがよい。
が成立するならば、第１の特徴変換係数集合１１２（ｗ
(1) ji ）を正準判別分析で求めることができるが、そう
でない場合は主成分分析を用いるのがよい。
【００８０】次に、認識辞書修正部１０８及び特徴選択
辞書修正部１０９は、学習サイクル数及び学習パターン
数を設定する（ステップＳ４０２）。学習サイクル数と
は全学習パターンに対する学習作業を１サイクルと数え
たときに、その作業を何回繰り返すかを指定する変数で
ある。
辞書修正部１０９は、学習サイクル数及び学習パターン
数を設定する（ステップＳ４０２）。学習サイクル数と
は全学習パターンに対する学習作業を１サイクルと数え
たときに、その作業を何回繰り返すかを指定する変数で
ある。
【００８１】次に、認識辞書修正部１０８及び特徴選択
辞書修正部１０９は、次学習サイクル数を記憶するカウ
ンタＬＣの値を１に初期化する（ステップＳ４０３）。
この後、カウンタＬＣが示す学習サイクル数が規定回数
を超えたか否かをチェックし（ステップＳ４０４）、規
定回数を超えたならば（ステップＳ４０４においてＮ
Ｏ）、学習を終了する。カウンタＬＣが示す学習サイク
ル数が規定回数以下の場合（ステップＳ４０４において
ＹＥＳ）は、以下の処理を行う。
辞書修正部１０９は、次学習サイクル数を記憶するカウ
ンタＬＣの値を１に初期化する（ステップＳ４０３）。
この後、カウンタＬＣが示す学習サイクル数が規定回数
を超えたか否かをチェックし（ステップＳ４０４）、規
定回数を超えたならば（ステップＳ４０４においてＮ
Ｏ）、学習を終了する。カウンタＬＣが示す学習サイク
ル数が規定回数以下の場合（ステップＳ４０４において
ＹＥＳ）は、以下の処理を行う。
【００８２】まず、認識辞書修正部１０８及び特徴選択
辞書修正部１０９は、次学習パターンの番号を記憶する
カウンタＰＮの値を１に初期化し（ステップＳ４０
５）、カウンタＰＮが示す学習パターン数が規定数を超
えたか否かをチェックする（ステップＳ４０６）。規定
数を超えたならば（ステップＳ４０６においてＮＯ）、
次学習サイクル数を数えるカウンタＬＣの値を１増加さ
せ（ステップＳ４０８）、ステップＳ４０４に戻る。
辞書修正部１０９は、次学習パターンの番号を記憶する
カウンタＰＮの値を１に初期化し（ステップＳ４０
５）、カウンタＰＮが示す学習パターン数が規定数を超
えたか否かをチェックする（ステップＳ４０６）。規定
数を超えたならば（ステップＳ４０６においてＮＯ）、
次学習サイクル数を数えるカウンタＬＣの値を１増加さ
せ（ステップＳ４０８）、ステップＳ４０４に戻る。
【００８３】カウンタＰＮが示す学習パターン数が規定
数以下であれば（ステップＳ４０６においてＹＥＳ）、
ＰＮ番目の学習パターンを１つ読み込んで特徴ベクトル
を抽出し、参照ベクトルとの照合結果に基づいて認識辞
書１０６及び特徴選択辞書１０４の修正を行う（ステッ
プＳ４０７）。
数以下であれば（ステップＳ４０６においてＹＥＳ）、
ＰＮ番目の学習パターンを１つ読み込んで特徴ベクトル
を抽出し、参照ベクトルとの照合結果に基づいて認識辞
書１０６及び特徴選択辞書１０４の修正を行う（ステッ
プＳ４０７）。
【００８４】修正終了後、認識辞書修正部１０８及び特
徴選択辞書修正部１０９は、次学習パターン番号を記憶
するカウンタＰＮの値を１増加させ（ステップＳ４０
９）、ステップＳ４０６に戻る。以上の手続きにより、
各学習パターンに対してステップＳ４０２で設定した回
数の修正手続きが実行され、修正手続きの実行後、学習
モードは終了する。
徴選択辞書修正部１０９は、次学習パターン番号を記憶
するカウンタＰＮの値を１増加させ（ステップＳ４０
９）、ステップＳ４０６に戻る。以上の手続きにより、
各学習パターンに対してステップＳ４０２で設定した回
数の修正手続きが実行され、修正手続きの実行後、学習
モードは終了する。
【００８５】以上が学習モード時の概略手順であるが、
ここで学習モードにおける要の処理である辞書修正ステ
ップ（ステップＳ４０７）について図５を参照しつつ更
に詳細に説明する。辞書修正ステップでは、入力データ
読み込み（ステップＳ５０１）、特徴抽出（ステップＳ
５０２）、ｈ次元特徴選択（ステップＳ５０３）、ｍ次
元特徴選択（ステップＳ５０４）、認識辞書の修正（ス
テップＳ５０５）、特徴選択辞書の修正（ステップＳ５
０６）の各ステップが実行される。
ここで学習モードにおける要の処理である辞書修正ステ
ップ（ステップＳ４０７）について図５を参照しつつ更
に詳細に説明する。辞書修正ステップでは、入力データ
読み込み（ステップＳ５０１）、特徴抽出（ステップＳ
５０２）、ｈ次元特徴選択（ステップＳ５０３）、ｍ次
元特徴選択（ステップＳ５０４）、認識辞書の修正（ス
テップＳ５０５）、特徴選択辞書の修正（ステップＳ５
０６）の各ステップが実行される。
【００８６】以下、それぞれの処理について具体的に説
明する。まず、データ入力部１０１が読み込んだ学習パ
ターンは、特徴抽出部１０２に入力され（図５ステップ
Ｓ５０１）、特徴抽出部１０２によってｎ次元の特徴ベ
クトルが抽出される（ステップＳ５０２）。
明する。まず、データ入力部１０１が読み込んだ学習パ
ターンは、特徴抽出部１０２に入力され（図５ステップ
Ｓ５０１）、特徴抽出部１０２によってｎ次元の特徴ベ
クトルが抽出される（ステップＳ５０２）。
【００８７】第１次特徴変換部１１０は、現時刻におけ
る第１の特徴変換係数集合１１２に基づいてｎ次元特徴
ベクトルからｈ次元特徴ベクトルを抽出し（ステップＳ
５０３）、続いて第２次特徴変換部１１１は、現時刻に
おける第２の特徴変換係数集合１１３に基づいてｈ次元
特徴ベクトルからｍ次元特徴ベクトルを抽出する（ステ
ップＳ５０４）。
る第１の特徴変換係数集合１１２に基づいてｎ次元特徴
ベクトルからｈ次元特徴ベクトルを抽出し（ステップＳ
５０３）、続いて第２次特徴変換部１１１は、現時刻に
おける第２の特徴変換係数集合１１３に基づいてｈ次元
特徴ベクトルからｍ次元特徴ベクトルを抽出する（ステ
ップＳ５０４）。
【００８８】認識辞書修正部１０８は、特徴選択部１０
３から出力されたｍ次元特徴ベクトルと認識辞書１０６
中のｍ次元参照ベクトルとを照合し、このｍ次元特徴ベ
クトルの最近傍に存在する不正解カテゴリのｍ次元参照
ベクトルｒe と、正解カテゴリのｍ次元参照ベクトルｒ
c とを抽出して、ｍ次元参照ベクトルｒc とｍ次元特徴
ベクトルとの距離ｄc が減少し、かつｍ次元参照ベクト
ルｒe とｍ次元特徴ベクトルとの距離ｄe が増大するよ
うに認識辞書１０６を最急降下法によって修正する（ス
テップＳ５０５）。
３から出力されたｍ次元特徴ベクトルと認識辞書１０６
中のｍ次元参照ベクトルとを照合し、このｍ次元特徴ベ
クトルの最近傍に存在する不正解カテゴリのｍ次元参照
ベクトルｒe と、正解カテゴリのｍ次元参照ベクトルｒ
c とを抽出して、ｍ次元参照ベクトルｒc とｍ次元特徴
ベクトルとの距離ｄc が減少し、かつｍ次元参照ベクト
ルｒe とｍ次元特徴ベクトルとの距離ｄe が増大するよ
うに認識辞書１０６を最急降下法によって修正する（ス
テップＳ５０５）。
【００８９】そして、特徴選択辞書修正部１０９は、ス
テップＳ５０５で抽出された情報を利用して、ｍ次元参
照ベクトルｒc とｍ次元特徴ベクトルとの距離ｄc が減
少し、かつｍ次元参照ベクトルｒe とｍ次元特徴ベクト
ルとの距離ｄe が増大するように特徴選択辞書１０４を
修正する（ステップＳ５０６）。
テップＳ５０５で抽出された情報を利用して、ｍ次元参
照ベクトルｒc とｍ次元特徴ベクトルとの距離ｄc が減
少し、かつｍ次元参照ベクトルｒe とｍ次元特徴ベクト
ルとの距離ｄe が増大するように特徴選択辞書１０４を
修正する（ステップＳ５０６）。
【００９０】以上のような修正によって、パターン認識
にとってより好適なｍ次元特徴及び認識辞書が構成され
ることとなり、より認識精度の高いパターン認識装置を
構築することが可能となる。
にとってより好適なｍ次元特徴及び認識辞書が構成され
ることとなり、より認識精度の高いパターン認識装置を
構築することが可能となる。
【００９１】次に、認識モードの動作について図６を用
いて説明する。図６は認識モードのフローチャートを示
す図である。認識モードでは、認識辞書１０６及び特徴
選択辞書１０４の初期化（ステップＳ９０１）、各入力
パターン読み込み（ステップＳ９０２，Ｓ９０３）、特
徴抽出（ステップＳ９０４）、ｈ次元特徴選択（ステッ
プＳ９０５）、ｍ次元特徴選択（ステップＳ９０６）、
識別（ステップＳ９０７）、結果出力（ステップＳ９０
８）の各ステップが実行される。
いて説明する。図６は認識モードのフローチャートを示
す図である。認識モードでは、認識辞書１０６及び特徴
選択辞書１０４の初期化（ステップＳ９０１）、各入力
パターン読み込み（ステップＳ９０２，Ｓ９０３）、特
徴抽出（ステップＳ９０４）、ｈ次元特徴選択（ステッ
プＳ９０５）、ｍ次元特徴選択（ステップＳ９０６）、
識別（ステップＳ９０７）、結果出力（ステップＳ９０
８）の各ステップが実行される。
【００９２】以下、それぞれの処理について具体的に説
明する。まず、学習モードで生成した認識辞書１０６及
び特徴選択辞書１０４を読み込む（ステップＳ９０
１）。次に、データ入力部１０１は、入力パターンを読
み込む（ステップＳ９０２）。特徴抽出部１０２は、デ
ータ入力部１０１における入力パターン読み込みが終了
して、データ入力部１０１から入力パターンが出力され
た場合（ステップＳ９０３においてＹＥＳ）、この入力
パターンからｎ次元特徴ベクトルを抽出して、特徴選択
部１０３に出力する（ステップＳ９０４）。
明する。まず、学習モードで生成した認識辞書１０６及
び特徴選択辞書１０４を読み込む（ステップＳ９０
１）。次に、データ入力部１０１は、入力パターンを読
み込む（ステップＳ９０２）。特徴抽出部１０２は、デ
ータ入力部１０１における入力パターン読み込みが終了
して、データ入力部１０１から入力パターンが出力され
た場合（ステップＳ９０３においてＹＥＳ）、この入力
パターンからｎ次元特徴ベクトルを抽出して、特徴選択
部１０３に出力する（ステップＳ９０４）。
【００９３】特徴選択部１０３の第１次特徴変換部１１
０は、特徴選択辞書１０４の第１の特徴変換係数集合１
１２に基づいてｎ次元特徴ベクトルからｈ次元特徴ベク
トルを選択する（ステップＳ９０５）。また、特徴選択
部１０３の第２次特徴変換部１１１は、特徴選択辞書１
０４の第２の特徴変換係数集合１１３に基づいてｈ次元
特徴ベクトルからｍ次元特徴ベクトルを選択する（ステ
ップＳ９０６）。
０は、特徴選択辞書１０４の第１の特徴変換係数集合１
１２に基づいてｎ次元特徴ベクトルからｈ次元特徴ベク
トルを選択する（ステップＳ９０５）。また、特徴選択
部１０３の第２次特徴変換部１１１は、特徴選択辞書１
０４の第２の特徴変換係数集合１１３に基づいてｈ次元
特徴ベクトルからｍ次元特徴ベクトルを選択する（ステ
ップＳ９０６）。
【００９４】識別部１０５は、認識辞書１０６に格納さ
れたｍ次元参照ベクトルのうちｍ次元特徴ベクトルとの
距離が近いものを認識候補とし、これらの認識候補のう
ち距離が近いものから順にＣ個抽出する（ステップＳ９
０７）。そして、識別部１０５は、抽出した各認識候補
が属するカテゴリの番号であるカテゴリコードと、これ
ら認識候補とｍ次元特徴ベクトルとの距離を認識結果出
力部１０７に出力する。
れたｍ次元参照ベクトルのうちｍ次元特徴ベクトルとの
距離が近いものを認識候補とし、これらの認識候補のう
ち距離が近いものから順にＣ個抽出する（ステップＳ９
０７）。そして、識別部１０５は、抽出した各認識候補
が属するカテゴリの番号であるカテゴリコードと、これ
ら認識候補とｍ次元特徴ベクトルとの距離を認識結果出
力部１０７に出力する。
【００９５】認識結果出力部１０７は、識別部１０５か
ら入力された認識候補のカテゴリコードや距離値を図示
しない記憶装置に記憶させたり、ディスプレイ装置に表
示させたりする（ステップＳ９０８）。ステップＳ９０
８の終了後、読み込みステップＳ９０２に戻って、入力
パターンがなくなるまでステップＳ９０２〜Ｓ９０８の
処理を繰り返す。
ら入力された認識候補のカテゴリコードや距離値を図示
しない記憶装置に記憶させたり、ディスプレイ装置に表
示させたりする（ステップＳ９０８）。ステップＳ９０
８の終了後、読み込みステップＳ９０２に戻って、入力
パターンがなくなるまでステップＳ９０２〜Ｓ９０８の
処理を繰り返す。
【００９６】本実施の形態のパターン認識方法によっ
て、図７に示すような２次元平面上に分布する２つのカ
テゴリの入力パターンの識別実験を行った結果について
説明する。図７において、６０１はカテゴリＡのデー
タ、６０２はカテゴリＢのデータを示す。
て、図７に示すような２次元平面上に分布する２つのカ
テゴリの入力パターンの識別実験を行った結果について
説明する。図７において、６０１はカテゴリＡのデー
タ、６０２はカテゴリＢのデータを示す。
【００９７】カテゴリＡの入力パターンについては、
（ｘ，ｙ）＝（１００ｃｏｓθ，１００ｓｉｎθ）を満
たす２次元データを０≦θ≦π／２の範囲でランダムに
１０００個発生させ、カテゴリＢの入力パターンについ
ても同様に（ｘ，ｙ）＝（８５ｃｏｓθ，８５ｓｉｎ
θ）を満たすデータ１０００個を発生させた後、ｘ，ｙ
座標値の平均値が０，分散が１になるように正規化した
データを各カテゴリのデータとした。
（ｘ，ｙ）＝（１００ｃｏｓθ，１００ｓｉｎθ）を満
たす２次元データを０≦θ≦π／２の範囲でランダムに
１０００個発生させ、カテゴリＢの入力パターンについ
ても同様に（ｘ，ｙ）＝（８５ｃｏｓθ，８５ｓｉｎ
θ）を満たすデータ１０００個を発生させた後、ｘ，ｙ
座標値の平均値が０，分散が１になるように正規化した
データを各カテゴリのデータとした。
【００９８】このような入力パターンを、従来法である
線形な特徴選択機能を持つ手法と、本実施の形態のパタ
ーン認識方法を用いて学習し、１次元軸上で識別する実
験を行った。参照ベクトルの数はいずれも１個／カテゴ
リとした。また、本実施の形態の第１次特徴変換部１１
０が出力する特徴の次元数ｈを２とし、第２次特徴変換
部１１１による変換を線形変換とした。識別実験の結果
を表１に示す。
線形な特徴選択機能を持つ手法と、本実施の形態のパタ
ーン認識方法を用いて学習し、１次元軸上で識別する実
験を行った。参照ベクトルの数はいずれも１個／カテゴ
リとした。また、本実施の形態の第１次特徴変換部１１
０が出力する特徴の次元数ｈを２とし、第２次特徴変換
部１１１による変換を線形変換とした。識別実験の結果
を表１に示す。
【００９９】
【表１】
【０１００】本実験の結果、線形な特徴選択機能を持つ
従来の方法では１３．７５％（２０００件中２７５件）
誤識別したのに対し、本実施の形態のパターン認識方法
では誤識別が０件となった。このとき、本実施の形態の
第１次特徴変換部１１０が出力する２次元の特徴によっ
て形成される２次元平面上でのデータ分布を図８に示
す。
従来の方法では１３．７５％（２０００件中２７５件）
誤識別したのに対し、本実施の形態のパターン認識方法
では誤識別が０件となった。このとき、本実施の形態の
第１次特徴変換部１１０が出力する２次元の特徴によっ
て形成される２次元平面上でのデータ分布を図８に示
す。
【０１０１】図８において、８０１はカテゴリＡのデー
タ、８０２はカテゴリＢのデータを示す。図８から、原
特徴空間（ｎ＝２）では線形分離不能であったデータが
第１次特徴変換部１１０によって線形分離可能な空間に
非線形に変換され、認識性能が向上したことがわかる。
タ、８０２はカテゴリＢのデータを示す。図８から、原
特徴空間（ｎ＝２）では線形分離不能であったデータが
第１次特徴変換部１１０によって線形分離可能な空間に
非線形に変換され、認識性能が向上したことがわかる。
【０１０２】以上の実施の形態では、正解カテゴリのｍ
次元参照ベクトルを１つであると仮定していたが、１つ
のカテゴリに複数のｍ次元参照ベクトルが存在してもよ
い。１つのカテゴリに複数のｍ次元参照ベクトルが存在
する場合、ｍ次元参照ベクトルｒc は入力パターンから
抽出したｍ次元特徴ベクトルの最近傍に存在する正解カ
テゴリの参照ベクトルとすればよい。
次元参照ベクトルを１つであると仮定していたが、１つ
のカテゴリに複数のｍ次元参照ベクトルが存在してもよ
い。１つのカテゴリに複数のｍ次元参照ベクトルが存在
する場合、ｍ次元参照ベクトルｒc は入力パターンから
抽出したｍ次元特徴ベクトルの最近傍に存在する正解カ
テゴリの参照ベクトルとすればよい。
【０１０３】また、ｍ次元参照ベクトルの初期値は、学
習パターンに対してｋ−ｍｅａｎｓクラスタリングなど
で抽出した複数の代表ベクトルを、本実施の形態で示し
た特徴変換係数集合１１２，１１３の初期値を用いてｍ
次元に変換したベクトルを用いればよい。
習パターンに対してｋ−ｍｅａｎｓクラスタリングなど
で抽出した複数の代表ベクトルを、本実施の形態で示し
た特徴変換係数集合１１２，１１３の初期値を用いてｍ
次元に変換したベクトルを用いればよい。
【０１０４】また、本実施の形態では、学習モード時に
おけるｍ次元参照ベクトルとｍ次元特徴ベクトルとの照
合を認識辞書修正部１０８にて行うものとしたが、特徴
選択辞書修正部１０９で行ってもよい。この場合は、特
徴選択辞書修正部１０９で抽出した情報を認識辞書修正
部１０８に出力すればよい。
おけるｍ次元参照ベクトルとｍ次元特徴ベクトルとの照
合を認識辞書修正部１０８にて行うものとしたが、特徴
選択辞書修正部１０９で行ってもよい。この場合は、特
徴選択辞書修正部１０９で抽出した情報を認識辞書修正
部１０８に出力すればよい。
【０１０５】さらに、本実施の形態では、特徴選択部１
０３を第１次特徴変換部１１０と第２次特徴変換部１１
１とから構成されるものとしたが、第１次特徴変換部１
１０と同様の機能を有する処理部を第１次特徴変換部と
第２次特徴変換部の間に１個以上追加してもよく、同様
の方法によって従来法よりも優れたパターン認識装置を
構築することができる。
０３を第１次特徴変換部１１０と第２次特徴変換部１１
１とから構成されるものとしたが、第１次特徴変換部１
１０と同様の機能を有する処理部を第１次特徴変換部と
第２次特徴変換部の間に１個以上追加してもよく、同様
の方法によって従来法よりも優れたパターン認識装置を
構築することができる。
【０１０６】また、本実施の形態において、パターン認
識装置はコンピュータによって実現することができる。
このコンピュータは、中央処理装置（ＣＰＵ）と、リー
ドオンリメモリ（ＲＯＭ）と、ランダムアクセスメモリ
（ＲＡＭ）と、表示装置やキーボード、外部記憶装置と
のインタフェースをとるための回路などを備えた周知の
構成のものでよい。
識装置はコンピュータによって実現することができる。
このコンピュータは、中央処理装置（ＣＰＵ）と、リー
ドオンリメモリ（ＲＯＭ）と、ランダムアクセスメモリ
（ＲＡＭ）と、表示装置やキーボード、外部記憶装置と
のインタフェースをとるための回路などを備えた周知の
構成のものでよい。
【０１０７】ＣＰＵは、ＲＯＭ若しくはＲＡＭに記憶さ
れたプログラム、又はキーボードから入力されたコマン
ドに従って処理を実行する。また、ＣＰＵは、外部記憶
装置にデータを書き込んだり、外部記憶装置からデータ
を読み出したりすることができる。
れたプログラム、又はキーボードから入力されたコマン
ドに従って処理を実行する。また、ＣＰＵは、外部記憶
装置にデータを書き込んだり、外部記憶装置からデータ
を読み出したりすることができる。
【０１０８】このようなコンピュータにおいて、本発明
のパターン認識方法を実現させるためのパターン認識プ
ログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、Ｄ
ＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録され
た状態で提供される。この記録媒体を外部記憶装置に挿
入すると、記録媒体に書き込まれたプログラムが読み取
られ、コンピュータに転送される。そして、ＣＰＵは、
読み込んだプログラムをＲＡＭ等に書き込む。しかる後
に、ＣＰＵは、図４〜図６で説明した前述の処理を実行
する。
のパターン認識方法を実現させるためのパターン認識プ
ログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、Ｄ
ＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録され
た状態で提供される。この記録媒体を外部記憶装置に挿
入すると、記録媒体に書き込まれたプログラムが読み取
られ、コンピュータに転送される。そして、ＣＰＵは、
読み込んだプログラムをＲＡＭ等に書き込む。しかる後
に、ＣＰＵは、図４〜図６で説明した前述の処理を実行
する。
【０１０９】
【発明の効果】本発明によれば、ｎ次元特徴からｍ次元
特徴を選択する特徴選択部の特徴選択機能を非線形変換
に拡張し、非線形変換を行うための特徴選択辞書（第
１、第２の特徴変換係数集合）と認識のための識別辞書
とを学習プロセスによって同時に最適化することが可能
であるため、従来法よりもより少ない次元数の特徴を用
いて高精度なパターン認識を実現することができる。
特徴を選択する特徴選択部の特徴選択機能を非線形変換
に拡張し、非線形変換を行うための特徴選択辞書（第
１、第２の特徴変換係数集合）と認識のための識別辞書
とを学習プロセスによって同時に最適化することが可能
であるため、従来法よりもより少ない次元数の特徴を用
いて高精度なパターン認識を実現することができる。
【０１１０】また、学習パターンのｎ次元特徴を分析し
て得られる軸のなかからｈ個を抽出して第１の特徴変換
係数集合の初期値とし、学習パターンのｍ次元特徴のｋ
次元目の値ｘk とｈ次元特徴のｋ次元目の値ｚk との関
係がｘk＝ｚkとなるような係数を第２の特徴変換係数集
合の初期値とし、学習パターンのｎ次元特徴の平均値を
カテゴリ毎に求め、この平均値を第１の特徴変換係数集
合の初期値を用いてｈ次元に変換し、このｈ次元に変換
した値を第２の特徴変換係数集合の初期値を用いてｍ次
元に変換した値を各カテゴリのｍ次元参照パターンの初
期値とすることにより、ｍ次元参照パターン及び第１、
第２の特徴変換係数集合の初期値をある程度のパターン
認識が可能な値に設定可能であるため、乱数などで初期
値設定を行う場合に比べて、良好な初期値設定を行うこ
とができる。
て得られる軸のなかからｈ個を抽出して第１の特徴変換
係数集合の初期値とし、学習パターンのｍ次元特徴のｋ
次元目の値ｘk とｈ次元特徴のｋ次元目の値ｚk との関
係がｘk＝ｚkとなるような係数を第２の特徴変換係数集
合の初期値とし、学習パターンのｎ次元特徴の平均値を
カテゴリ毎に求め、この平均値を第１の特徴変換係数集
合の初期値を用いてｈ次元に変換し、このｈ次元に変換
した値を第２の特徴変換係数集合の初期値を用いてｍ次
元に変換した値を各カテゴリのｍ次元参照パターンの初
期値とすることにより、ｍ次元参照パターン及び第１、
第２の特徴変換係数集合の初期値をある程度のパターン
認識が可能な値に設定可能であるため、乱数などで初期
値設定を行う場合に比べて、良好な初期値設定を行うこ
とができる。
【図１】 本発明の第１の実施形態にかかるパターン認
識装置の構成を示すブロック図である。
識装置の構成を示すブロック図である。
【図２】 特徴選択部における特徴の関連をネットワー
クによって模式化した図である。
クによって模式化した図である。
【図３】 ｎ次元特徴、ｈ次元特徴及びｍ次元特徴の依
存関係を示す図である。
存関係を示す図である。
【図４】 本発明の第１の実施形態における学習モード
のフローチャートを示す図である。
のフローチャートを示す図である。
【図５】 学習モード時における辞書修正のフローチャ
ートを示す図である。
ートを示す図である。
【図６】 本発明の第１の実施形態における認識モード
のフローチャートを示す図である。
のフローチャートを示す図である。
【図７】 本発明の第１の実施形態において認識実験に
用いた人工データの分布を示す図である。
用いた人工データの分布を示す図である。
【図８】 認識実験において本発明の第１次特徴変換部
によって出力された２つの特徴が構成する空間に入力デ
ータを写像した図である。
によって出力された２つの特徴が構成する空間に入力デ
ータを写像した図である。
１０１…データ入力部、１０２…特徴抽出部、１０３…
特徴選択部、１０４…特徴選択辞書、１０５…識別部、
１０６…認識辞書、１０７…認識結果出力部、１０８…
特徴選択辞書修正部、１０９…認識辞書修正部、１１０
…第１次特徴変換部、１１１…第２次特徴変換部、１１
２…第１の特徴変換係数集合、１１３…第２の特徴変換
係数集合、Ｘ…ｎ次元特徴、ｚ…ｈ次元特徴、ｘ…ｍ次
元特徴。
特徴選択部、１０４…特徴選択辞書、１０５…識別部、
１０６…認識辞書、１０７…認識結果出力部、１０８…
特徴選択辞書修正部、１０９…認識辞書修正部、１１０
…第１次特徴変換部、１１１…第２次特徴変換部、１１
２…第１の特徴変換係数集合、１１３…第２の特徴変換
係数集合、Ｘ…ｎ次元特徴、ｚ…ｈ次元特徴、ｘ…ｍ次
元特徴。
Claims (12)
- 【請求項１】 認識対象となる入力パターン又は辞書学
習のための学習パターンからｎ（ｎは正の整数）次元特
徴を抽出する特徴抽出部と、 特徴選択のための関数が記述された特徴選択辞書と、 前記抽出されたｎ次元特徴から前記特徴選択辞書に基づ
いてｍ（ｍは正の整数、ｍ＜ｎ）次元特徴を選択する特
徴選択部と、 パターン認識のために予め用意されたｍ次元参照パター
ンの集合からなる認識辞書と、 前記ｍ次元参照パターンと前記入力パターンのｍ次元特
徴とを照合して、前記入力パターンの認識結果を出力す
る識別部とを有し、 前記特徴選択部は、非線形な入出力応答を有するｈ（ｈ
は正の整数）個の微分可能な関数によって前記ｎ次元特
徴からｈ次元特徴を選択する第１次特徴変換部と、微分
可能なｍ個の線形関数もしくは非線形関数によって前記
ｈ次元特徴から前記ｍ次元特徴を選択する第２次特徴変
換部とからなり、 前記特徴選択辞書は、前記第１次特徴変換部で必要とさ
れる非線形関数が記述された第１の特徴変換係数集合
と、前記第２次特徴変換部で必要とされる線形関数もし
くは非線形関数が記述された第２の特徴変換係数集合と
からなることを特徴とするパターン認識装置。 - 【請求項２】 請求項１記載のパターン認識装置におい
て、 辞書学習時に前記認識辞書を修正する認識辞書修正部
と、 辞書学習時に前記特徴選択辞書を修正する特徴選択辞書
修正部とを有し、 前記認識辞書修正部は、前記学習パターンのｍ次元特徴
と前記ｍ次元参照パターンとを照合し、前記学習パター
ンと同じカテゴリに属するｍ次元参照パターンと前記学
習パターンのｍ次元特徴との距離が減少し、かつ前記学
習パターンと異なるカテゴリに属するｍ次元参照パター
ンのうち前記ｍ次元特徴の最近傍に存在するｍ次元参照
パターンと前記学習パターンのｍ次元特徴との距離が増
加するように前記認識辞書を修正し、 前記特徴選択辞書修正部は、前記学習パターンと同じカ
テゴリに属するｍ次元参照パターンと前記学習パターン
のｍ次元特徴との距離が減少し、かつ前記学習パターン
と異なるカテゴリに属するｍ次元参照パターンと前記学
習パターンのｍ次元特徴との距離が増加するように前記
第１の特徴変換係数集合及び前記第２の特徴変換係数集
合を修正することを特徴とするパターン認識装置。 - 【請求項３】 請求項１記載のパターン認識装置におい
て、 前記特徴選択部の第１次特徴変換部は、前記ｎ次元特徴
と前記第１の特徴変換係数集合との積和演算を行う第１
の積和演算部と、この第１の積和演算部の出力を非線形
な入出力応答特性を有する単調関数によって変換する非
線形変換部とからなり、 前記特徴選択部の第２次特徴変換部は、前記ｈ次元特徴
と前記第２の特徴変換係数集合との積和演算を行う第２
の積和演算部からなることを特徴とするパターン認識装
置。 - 【請求項４】 請求項２記載のパターン認識装置におい
て、 前記特徴選択辞書修正部は、前記学習パターンから抽出
される前記ｎ次元特徴を主成分分析もしくは正準判別分
析して得られる軸のなかからｈ個を抽出して前記第１の
特徴変換係数集合の初期値とし、前記学習パターンから
抽出される前記ｍ次元特徴のｋ次元目の値ｘk （ｋ＝
１，２，３，．．．，ｍ）と前記ｈ次元特徴のｋ次元目
の値ｚk との関係がｘk＝ｚkとなるような係数を前記第
２の特徴変換係数集合の初期値とし、 前記認識辞書修正部は、前記学習パターンから抽出され
るｎ次元特徴の平均値をカテゴリ毎に求め、この平均値
を前記第１の特徴変換係数集合の初期値を用いてｈ次元
に変換し、このｈ次元に変換した値を前記第２の特徴変
換係数集合の初期値を用いてｍ次元に変換した値を各カ
テゴリの前記ｍ次元参照パターンの初期値とすることを
特徴としたパターン認識装置。 - 【請求項５】 辞書学習時に、 辞書学習のための学習パターンからｎ（ｎは正の整数）
次元特徴を抽出する学習パターン特徴抽出手順と、 非線形な入出力応答を有するｈ（ｈは正の整数）個の微
分可能な非線形関数が記述された第１の特徴変換係数集
合に基づいて、前記学習パターンのｎ次元特徴からｈ次
元特徴を選択する学習パターンｈ次元特徴選択手順と、 微分可能なｍ個の線形関数もしくは非線形関数が記述さ
れた第２の特徴変換係数集合に基づいて、前記学習パタ
ーンのｈ次元特徴からｍ（ｍは正の整数、ｍ＜ｎ）次元
特徴を選択する学習パターンｍ次元特徴選択手順と、 前記ｍ次元特徴とパターン認識のために予め用意された
認識辞書中のｍ次元参照パターンとを照合し、前記学習
パターンと同じカテゴリに属するｍ次元参照パターンと
前記ｍ次元特徴との距離が減少し、かつ前記学習パター
ンと異なるカテゴリに属するｍ次元参照パターンのうち
前記ｍ次元特徴の最近傍に存在するｍ次元参照パターン
と前記ｍ次元特徴との距離が増加するように前記認識辞
書を修正する認識辞書修正手順と、 前記学習パターンと同じカテゴリに属するｍ次元参照パ
ターンと前記ｍ次元特徴との距離が減少し、かつ前記学
習パターンと異なるカテゴリに属するｍ次元参照パター
ンと前記ｍ次元特徴との距離が増加するように前記第１
の特徴変換係数集合及び前記第２の特徴変換係数集合を
修正する特徴選択辞書修正手順とを実行することを特徴
とするパターン認識方法。 - 【請求項６】 請求項５記載のパターン認識方法におい
て、 パターン認識時に、 認識対象となる入力パターンからｎ次元特徴を抽出する
入力パターン特徴抽出手順と、 非線形な入出力応答を有するｈ個の微分可能な非線形関
数が記述された第１の特徴変換係数集合に基づいて、前
記入力パターンのｎ次元特徴からｈ次元特徴を選択する
入力パターンｈ次元特徴選択手順と、 微分可能なｍ個の線形関数もしくは非線形関数が記述さ
れた第２の特徴変換係数集合に基づいて、前記入力パタ
ーンのｈ次元特徴からｍ次元特徴を選択する入力パター
ンｍ次元特徴選択手順と、 パターン認識のために予め用意されたｍ次元参照パター
ンの集合からなる認識辞書と前記入力パターンのｍ次元
特徴とを照合して認識結果を出力する識別手順とを実行
することを特徴とするパターン認識方法。 - 【請求項７】 請求項６記載のパターン認識方法におい
て、 前記学習パターンｈ次元特徴選択手順及び前記入力パタ
ーンｈ次元特徴選択手順は、前記第１の特徴変換係数集
合を構成するｈ組の変換係数と前記ｎ次元特徴との積和
演算をそれぞれ行い、その各出力を非線形な入出力応答
特性を有する単調関数によって変換して前記ｈ次元特徴
を選択し、 前記学習パターンｍ次元特徴選択手順及び前記入力パタ
ーンｍ次元特徴選択手順は、前記第２の特徴変換係数集
合を構成するｍ組の変換係数と前記ｈ次元特徴との積和
演算をそれぞれ行って前記ｍ次元特徴を選択することを
特徴とするパターン認識方法。 - 【請求項８】 請求項５記載のパターン認識方法におい
て、 前記学習パターンから抽出される前記ｎ次元特徴を主成
分分析もしくは正準判別分析して得られる軸のなかから
ｈ個を抽出して前記第１の特徴変換係数集合の初期値と
し、前記学習パターンから抽出される前記ｍ次元特徴の
ｋ次元目の値ｘ k （ｋ＝１，２，３，．．．，ｍ）と前
記ｈ次元特徴のｋ次元目の値ｚk との関係がｘk＝ｚkと
なるような係数を前記第２の特徴変換係数集合の初期値
とし、前記学習パターンから抽出されるｎ次元特徴の平
均値をカテゴリ毎に求め、この平均値を前記第１の特徴
変換係数集合の初期値を用いてｈ次元に変換し、このｈ
次元に変換した値を前記第２の特徴変換係数集合の初期
値を用いてｍ次元に変換した値を各カテゴリの参照パタ
ーンの初期値とすることを特徴としたパターン認識方
法。 - 【請求項９】 辞書学習時に、 辞書学習のための学習パターンからｎ（ｎは正の整数）
次元特徴を抽出する学習パターン特徴抽出手順と、 非線形な入出力応答を有するｈ（ｈは正の整数）個の微
分可能な非線形関数が記述された第１の特徴変換係数集
合に基づいて、前記学習パターンのｎ次元特徴からｈ次
元特徴を選択する学習パターンｈ次元特徴選択手順と、 微分可能なｍ個の線形関数もしくは非線形関数が記述さ
れた第２の特徴変換係数集合に基づいて、前記学習パタ
ーンのｈ次元特徴からｍ（ｍは正の整数、ｍ＜ｎ）次元
特徴を選択する学習パターンｍ次元特徴選択手順と、 前記ｍ次元特徴とパターン認識のために予め用意された
認識辞書中のｍ次元参照パターンとを照合し、前記学習
パターンと同じカテゴリに属するｍ次元参照パターンと
前記ｍ次元特徴との距離が減少し、かつ前記学習パター
ンと異なるカテゴリに属するｍ次元参照パターンのうち
前記ｍ次元特徴の最近傍に存在するｍ次元参照パターン
と前記ｍ次元特徴との距離が増加するように前記認識辞
書を修正する認識辞書修正手順と、 前記学習パターンと同じカテゴリに属するｍ次元参照パ
ターンと前記ｍ次元特徴との距離が減少し、かつ前記学
習パターンと異なるカテゴリに属するｍ次元参照パター
ンと前記ｍ次元特徴との距離が増加するように前記第１
の特徴変換係数集合及び前記第２の特徴変換係数集合を
修正する特徴選択辞書修正手順とをコンピュータに実行
させるためのパターン認識プログラム。 - 【請求項１０】 請求項９記載のパターン認識プログラ
ムにおいて、 パターン認識時に、 認識対象となる入力パターンからｎ次元特徴を抽出する
入力パターン特徴抽出手順と、 非線形な入出力応答を有するｈ個の微分可能な非線形関
数が記述された第１の特徴変換係数集合に基づいて、前
記入力パターンのｎ次元特徴からｈ次元特徴を選択する
入力パターンｈ次元特徴選択手順と、 微分可能なｍ個の線形関数もしくは非線形関数が記述さ
れた第２の特徴変換係数集合に基づいて、前記入力パタ
ーンのｈ次元特徴からｍ次元特徴を選択する入力パター
ンｍ次元特徴選択手順と、 パターン認識のために予め用意されたｍ次元参照パター
ンの集合からなる認識辞書と前記入力パターンのｍ次元
特徴とを照合して認識結果を出力する識別手順とをコン
ピュータに実行させるためのパターン認識プログラム。 - 【請求項１１】 請求項１０記載のパターン認識プログ
ラムにおいて、 前記学習パターンｈ次元特徴選択手順及び前記入力パタ
ーンｈ次元特徴選択手順は、前記第１の特徴変換係数集
合を構成するｈ組の変換係数と前記ｎ次元特徴との積和
演算をそれぞれ行い、その各出力を非線形な入出力応答
特性を有する単調関数によって変換して前記ｈ次元特徴
を選択し、 前記学習パターンｍ次元特徴選択手順及び前記入力パタ
ーンｍ次元特徴選択手順は、前記第２の特徴変換係数集
合を構成するｍ組の変換係数と前記ｈ次元特徴との積和
演算をそれぞれ行って前記ｍ次元特徴を選択することを
特徴とするパターン認識プログラム。 - 【請求項１２】 請求項９記載のパターン認識プログラ
ムにおいて、 前記学習パターンから抽出される前記ｎ次元特徴を主成
分分析もしくは正準判別分析して得られる軸のなかから
ｈ個を抽出して前記第１の特徴変換係数集合の初期値と
し、前記学習パターンから抽出される前記ｍ次元特徴の
ｋ次元目の値ｘ k （ｋ＝１，２，３，．．．，ｍ）と前
記ｈ次元特徴のｋ次元目の値ｚk との関係がｘk＝ｚkと
なるような係数を前記第２の特徴変換係数集合の初期値
とし、前記学習パターンから抽出されるｎ次元特徴の平
均値をカテゴリ毎に求め、この平均値を前記第１の特徴
変換係数集合の初期値を用いてｈ次元に変換し、このｈ
次元に変換した値を前記第２の特徴変換係数集合の初期
値を用いてｍ次元に変換した値を各カテゴリの参照パタ
ーンの初期値とすることを特徴としたパターン認識プロ
グラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001058107A JP4701518B2 (ja) | 2001-03-02 | 2001-03-02 | パターン認識装置、パターン認識方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001058107A JP4701518B2 (ja) | 2001-03-02 | 2001-03-02 | パターン認識装置、パターン認識方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002259911A true JP2002259911A (ja) | 2002-09-13 |
| JP4701518B2 JP4701518B2 (ja) | 2011-06-15 |
Family
ID=18917886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001058107A Expired - Fee Related JP4701518B2 (ja) | 2001-03-02 | 2001-03-02 | パターン認識装置、パターン認識方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4701518B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009282940A (ja) * | 2008-05-26 | 2009-12-03 | Toshiba Corp | パターン認識パラメータ学習装置、パターン認識装置、パターン認識パラメータ学習方法 |
| JP2010182013A (ja) * | 2009-02-04 | 2010-08-19 | Toshiba Corp | 線形変換行列算出装置、その方法、及び、そのプログラム |
| US8943005B2 (en) | 2009-11-12 | 2015-01-27 | Kabushiki Kaisha Toshiba | Metric learning apparatus |
| WO2016098495A1 (ja) * | 2014-12-15 | 2016-06-23 | 株式会社Ｓｃｒｅｅｎホールディングス | 画像分類装置および画像分類方法 |
| JP2021101390A (ja) * | 2017-10-13 | 2021-07-08 | 日本電気株式会社 | 生体認証装置及び生体認証方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63177285A (ja) * | 1987-01-17 | 1988-07-21 | Nippon Telegr & Teleph Corp <Ntt> | 文字認識処理装置 |
| JPH01267789A (ja) * | 1988-04-19 | 1989-10-25 | Nec Corp | 認識辞書作成機能を備えた文字認識装置 |
| JPH09245125A (ja) * | 1996-03-06 | 1997-09-19 | Toshiba Corp | パターン認識装置及び同装置における辞書修正方法 |
-
2001
- 2001-03-02 JP JP2001058107A patent/JP4701518B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63177285A (ja) * | 1987-01-17 | 1988-07-21 | Nippon Telegr & Teleph Corp <Ntt> | 文字認識処理装置 |
| JPH01267789A (ja) * | 1988-04-19 | 1989-10-25 | Nec Corp | 認識辞書作成機能を備えた文字認識装置 |
| JPH09245125A (ja) * | 1996-03-06 | 1997-09-19 | Toshiba Corp | パターン認識装置及び同装置における辞書修正方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009282940A (ja) * | 2008-05-26 | 2009-12-03 | Toshiba Corp | パターン認識パラメータ学習装置、パターン認識装置、パターン認識パラメータ学習方法 |
| JP2010182013A (ja) * | 2009-02-04 | 2010-08-19 | Toshiba Corp | 線形変換行列算出装置、その方法、及び、そのプログラム |
| US8943005B2 (en) | 2009-11-12 | 2015-01-27 | Kabushiki Kaisha Toshiba | Metric learning apparatus |
| WO2016098495A1 (ja) * | 2014-12-15 | 2016-06-23 | 株式会社Ｓｃｒｅｅｎホールディングス | 画像分類装置および画像分類方法 |
| JP2016115115A (ja) * | 2014-12-15 | 2016-06-23 | 株式会社Ｓｃｒｅｅｎホールディングス | 画像分類装置および画像分類方法 |
| TWI601098B (zh) * | 2014-12-15 | 2017-10-01 | 思可林集團股份有限公司 | 影像分類裝置及影像分類方法 |
| JP2021101390A (ja) * | 2017-10-13 | 2021-07-08 | 日本電気株式会社 | 生体認証装置及び生体認証方法 |
| JP7143915B2 (ja) | 2017-10-13 | 2022-09-29 | 日本電気株式会社 | 生体認証装置及び生体認証方法 |
| US11776302B2 (en) | 2017-10-13 | 2023-10-03 | Nec Corporation | Biometric recognition apparatus and biometric recognition method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4701518B2 (ja) | 2011-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yu et al. | Learning image representations from the pixel level via hierarchical sparse coding | |
| Yang et al. | Multilayer extreme learning machine with subnetwork nodes for representation learning | |
| EP0539749B1 (en) | Handwriting recognition system and method | |
| US6424746B1 (en) | Figure classifying method, figure classifying system, feature extracting method for figure classification, method for producing table for figure classification, information recording medium, method for evaluating degree of similarity or degree of difference between figures, figure normalizing method, and method for determining correspondence between figures | |
| Laaksonen | Subspace classifiers in recognition of handwritten digits | |
| US7593566B2 (en) | Data recognition device | |
| Laparra et al. | Principal polynomial analysis | |
| KR100494261B1 (ko) | 패턴 인식 장치 및 방법 | |
| KR100370220B1 (ko) | 직선 기반의 영상 정합 방법 | |
| JP3475886B2 (ja) | パターン認識装置及び方法並びに記録媒体 | |
| Arafat et al. | Two stream deep neural network for sequence-based Urdu ligature recognition | |
| JP4701518B2 (ja) | パターン認識装置、パターン認識方法及びプログラム | |
| CN109032383B (zh) | 基于手写识别的输入方法 | |
| JP4834693B2 (ja) | パターン認識パラメータ学習装置、パターン認識装置、パターン認識パラメータ学習方法 | |
| JPH09245125A (ja) | パターン認識装置及び同装置における辞書修正方法 | |
| JP5030235B2 (ja) | パターン認識装置及びパターン認識方法 | |
| CN112560712A (zh) | 基于时间增强图卷积网络的行为识别方法、装置及介质 | |
| Jain et al. | Learning graph quantization | |
| Zoizou et al. | A study of feature extraction for Arabic calligraphy characters recognition | |
| JP7561379B2 (ja) | 学習装置、学習方法及びプログラム | |
| An et al. | Independent Gabor analysis of multiscale total variation-based quotient image | |
| Hosseinzadeh et al. | Voting among virtually generated versions of a classification problem | |
| JP3249676B2 (ja) | パターン認識辞書作成方法 | |
| JP3019911B2 (ja) | パタン認識方法 | |
| Sýkora | State-space dimensionality reduction in Markov decision processes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4701518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |