JP2002190025A - パターン識別方法および装置 - Google Patents
パターン識別方法および装置Info
- Publication number
- JP2002190025A JP2002190025A JP2000390459A JP2000390459A JP2002190025A JP 2002190025 A JP2002190025 A JP 2002190025A JP 2000390459 A JP2000390459 A JP 2000390459A JP 2000390459 A JP2000390459 A JP 2000390459A JP 2002190025 A JP2002190025 A JP 2002190025A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- subspace
- category
- mapping
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 44
- 239000013598 vector Substances 0.000 claims abstract description 98
- 230000006870 function Effects 0.000 claims abstract description 58
- 238000002945 steepest descent method Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 9
- 238000003909 pattern recognition Methods 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 パターン認識時の計算量を減少させ、学習サ
ンプルの増加や変更にも柔軟に適応する。 【解決手段】 各カテゴリの部分空間の基底ベクトルお
よびカーネル関数について予め学習しておく。識別すべ
きパターンデータを入力し（Ｓ１０１）、入力パターン
の、各カテゴリの非線形部分空間への射影ａｉを、例え
ば、最急降下法により決定する（Ｓ１０２）。決定した
射影ａｉに基づいて、カーネル関数の性質から、各カテ
ゴリに関連するユークリッド距離すなわち判定値Ｅを計
算し、閾値と比較する（Ｓ１０３）。判定値Ｅが閾値以
下のカテゴリが存在する場合は、判定値Ｅがもっとも小
さいカテゴリが識別結果として出力される（Ｓ１０
４）。判定値Ｅが閾値以下のカテゴリが存在しない場合
は、教師信号を入力して追学習を行う（Ｓ１０５）。
ンプルの増加や変更にも柔軟に適応する。 【解決手段】 各カテゴリの部分空間の基底ベクトルお
よびカーネル関数について予め学習しておく。識別すべ
きパターンデータを入力し（Ｓ１０１）、入力パターン
の、各カテゴリの非線形部分空間への射影ａｉを、例え
ば、最急降下法により決定する（Ｓ１０２）。決定した
射影ａｉに基づいて、カーネル関数の性質から、各カテ
ゴリに関連するユークリッド距離すなわち判定値Ｅを計
算し、閾値と比較する（Ｓ１０３）。判定値Ｅが閾値以
下のカテゴリが存在する場合は、判定値Ｅがもっとも小
さいカテゴリが識別結果として出力される（Ｓ１０
４）。判定値Ｅが閾値以下のカテゴリが存在しない場合
は、教師信号を入力して追学習を行う（Ｓ１０５）。
Description
【０００１】
【発明の属する技術分野】本発明は、入力された画像等
のデータが、複数のカテゴリのいずれに属するかを、計
算機を利用して判断するパターン識別技術に関する。
のデータが、複数のカテゴリのいずれに属するかを、計
算機を利用して判断するパターン識別技術に関する。
【０００２】
【従来の技術】従来、計算機を利用したパターン識別方
法が提案されてきている。例えば、画像センサで取得し
た人間の顔のイメージなどを分析して、その画像のどの
部分が目や鼻にあたるか等を判別しカテゴリ分けを行
い、カテゴリに分類されて予め記憶されていた複数の画
像と比較して、その画像が誰の顔にあたるのか判別を行
う、といった研究が行われている。
法が提案されてきている。例えば、画像センサで取得し
た人間の顔のイメージなどを分析して、その画像のどの
部分が目や鼻にあたるか等を判別しカテゴリ分けを行
い、カテゴリに分類されて予め記憶されていた複数の画
像と比較して、その画像が誰の顔にあたるのか判別を行
う、といった研究が行われている。
【０００３】パターンの識別方法として、部分空間法が
よく知られている。部分空間法では、複数のカテゴリ毎
に部分空間を定め、未知のパターンがどの部分空間に最
も関係するかを算出することで、未知のパターンの属す
るカテゴリを判別するものである。部分空間法ではカテ
ゴリが多い場合、パターンが低次元だと識別精度が低下
し、また、非線形性のパターン分布を有する場合の識別
精度も低い。
よく知られている。部分空間法では、複数のカテゴリ毎
に部分空間を定め、未知のパターンがどの部分空間に最
も関係するかを算出することで、未知のパターンの属す
るカテゴリを判別するものである。部分空間法ではカテ
ゴリが多い場合、パターンが低次元だと識別精度が低下
し、また、非線形性のパターン分布を有する場合の識別
精度も低い。
【０００４】別の識別方式としては、サポートベクトル
マシン（ＳＶＭ）法が知られている。ＳＶＭ法では、カ
ーネル関数を導入することにより、低次元のパターンを
高次元化し、非線形のパターン分布に対しても識別を可
能とする。しかし、適用されるカテゴリ数は２つしかな
く、また計算量も膨大である。
マシン（ＳＶＭ）法が知られている。ＳＶＭ法では、カ
ーネル関数を導入することにより、低次元のパターンを
高次元化し、非線形のパターン分布に対しても識別を可
能とする。しかし、適用されるカテゴリ数は２つしかな
く、また計算量も膨大である。
【０００５】最近、部分空間法の長所およびＳＶＭ法の
長所を生かして組み合わせる方法として、カーネル非線
形部分空間法が提案されている（特開２０００−９０２
７４号公報）。カーネル非線形部分空間法では、被認識
パターンをＳＶＭ法のようにカーネル関数によって定義
可能な非線型変換を利用して高次元非線型空間に写像す
ることでパターンの高次元化を実現し、その高次元非線
型空間上で部分空間法を適用することによってパターン
識別を行う。
長所を生かして組み合わせる方法として、カーネル非線
形部分空間法が提案されている（特開２０００−９０２
７４号公報）。カーネル非線形部分空間法では、被認識
パターンをＳＶＭ法のようにカーネル関数によって定義
可能な非線型変換を利用して高次元非線型空間に写像す
ることでパターンの高次元化を実現し、その高次元非線
型空間上で部分空間法を適用することによってパターン
識別を行う。
【０００６】
【発明が解決しようとする課題】このカーネル非線形部
分空間法では、各カテゴリｉの部分空間を定義するた
め、全ての学習サンプルの非線形空間への写像の線形結
合により、基底ベクトルを作成している。ここでは、未
知の入力パターンがカテゴリに属するかどうかを判断す
るための評価値を算出する方法として、被認識パターン
を各カテゴリに対応する高次元非線型空間の部分空間へ
射影したときの射影成分を利用する方法が開示されてい
る。この部分空間は、低次元ベクトルである学習サンプ
ルを用いた基底ベクトルを線形結合して規定されたもの
であるため、入力パターンの識別のためにこの射影成分
を求めるときには、カーネル関数を用いた低次元ベクト
ルの演算のみで算出することが可能である。
分空間法では、各カテゴリｉの部分空間を定義するた
め、全ての学習サンプルの非線形空間への写像の線形結
合により、基底ベクトルを作成している。ここでは、未
知の入力パターンがカテゴリに属するかどうかを判断す
るための評価値を算出する方法として、被認識パターン
を各カテゴリに対応する高次元非線型空間の部分空間へ
射影したときの射影成分を利用する方法が開示されてい
る。この部分空間は、低次元ベクトルである学習サンプ
ルを用いた基底ベクトルを線形結合して規定されたもの
であるため、入力パターンの識別のためにこの射影成分
を求めるときには、カーネル関数を用いた低次元ベクト
ルの演算のみで算出することが可能である。
【０００７】しかしながらその演算は、被認識パターン
と全学習サンプルとのカーネル演算と、全学習サンプル
数を次元数とする内積演算からなり、学習サンプル数が
増大した場合、計算量が学習サンプル数に比例して増大
してしまう。さらに、カーネル計算のためには全学習サ
ンプルを保存しておく必要があるために、多量の記憶領
域を必要とするという問題点があった。
と全学習サンプルとのカーネル演算と、全学習サンプル
数を次元数とする内積演算からなり、学習サンプル数が
増大した場合、計算量が学習サンプル数に比例して増大
してしまう。さらに、カーネル計算のためには全学習サ
ンプルを保存しておく必要があるために、多量の記憶領
域を必要とするという問題点があった。
【０００８】また、学習工程は、学習サンプル同士のカ
ーネル演算結果を成分とするカーネル行列の特異値分解
によって行われるため、新たに学習サンプルを追加した
場合、これまでの学習サンプルも使用して、再度学習を
やり直して、部分空間を構成する基底ベクトルの線形結
合の重みを再計算しなおさなければならないという問題
点がある。
ーネル演算結果を成分とするカーネル行列の特異値分解
によって行われるため、新たに学習サンプルを追加した
場合、これまでの学習サンプルも使用して、再度学習を
やり直して、部分空間を構成する基底ベクトルの線形結
合の重みを再計算しなおさなければならないという問題
点がある。
【０００９】また、カーネル関数は認識対象により予め
選択しておく必要があり、学習により適応的に変更する
ことができず、識別精度が向上しないという問題点があ
る。
選択しておく必要があり、学習により適応的に変更する
ことができず、識別精度が向上しないという問題点があ
る。
【００１０】本発明では、パターン識別時の計算量を減
少させ、あるいは、学習サンプルの増加や変更にも柔軟
に適応することが可能なパターン技術を提供することを
目的とする。
少させ、あるいは、学習サンプルの増加や変更にも柔軟
に適応することが可能なパターン技術を提供することを
目的とする。
【００１１】
【課題を解決するための手段】本発明の１つの側面によ
れば、上記目的を達成するために、パターン識別方法に
おいて：入力空間において少なくとも１つの学習サンプ
ルに適合された一組のベクトルをカーネル関数で定義さ
れる非線形空間へそれぞれ写像して得た一組のベクトル
を、パターンを分類するカテゴリ毎に定められる、前記
非線形空間における部分空間を構成する一組の基底ベク
トルとして、対応する組の前記基底ベクトルの線形結合
により表される複数の前記部分空間と、未知の入力パタ
ーンの前記非線形空間における写像との関係を表す評価
値を算出する評価値算出ステップと；前記評価値に基づ
いて前記未知の入力パターンの属するカテゴリを識別す
るカテゴリ識別ステップとを実行するようにしている。
れば、上記目的を達成するために、パターン識別方法に
おいて：入力空間において少なくとも１つの学習サンプ
ルに適合された一組のベクトルをカーネル関数で定義さ
れる非線形空間へそれぞれ写像して得た一組のベクトル
を、パターンを分類するカテゴリ毎に定められる、前記
非線形空間における部分空間を構成する一組の基底ベク
トルとして、対応する組の前記基底ベクトルの線形結合
により表される複数の前記部分空間と、未知の入力パタ
ーンの前記非線形空間における写像との関係を表す評価
値を算出する評価値算出ステップと；前記評価値に基づ
いて前記未知の入力パターンの属するカテゴリを識別す
るカテゴリ識別ステップとを実行するようにしている。
【００１２】この構成においては、入力空間において学
習サンプルに適合するベクトル（以下ではプレイメージ
あるいはプレイメージ・ベクトルとも呼ぶ）をカーネル
空間で定義される非線形空間へ写像したベクトルを、非
線形空間を構成する基底ベクトルとして用いているた
め、すでに学習サンプルの特徴を含んだプレイメージ・
ベクトルが入力空間で用意されていることとなる。した
がって、未知の入力パターンとの関係を示す評価値を算
出する際には、プレイメージ・ベクトルの非線形空間へ
の写像から求められる基底ベクトルを用いて、未知パタ
ーンと部分空間の関連性を算出することが可能となるの
で、学習サンプル数の増加によって計算量が増大すると
いうことが防止できる。
習サンプルに適合するベクトル（以下ではプレイメージ
あるいはプレイメージ・ベクトルとも呼ぶ）をカーネル
空間で定義される非線形空間へ写像したベクトルを、非
線形空間を構成する基底ベクトルとして用いているた
め、すでに学習サンプルの特徴を含んだプレイメージ・
ベクトルが入力空間で用意されていることとなる。した
がって、未知の入力パターンとの関係を示す評価値を算
出する際には、プレイメージ・ベクトルの非線形空間へ
の写像から求められる基底ベクトルを用いて、未知パタ
ーンと部分空間の関連性を算出することが可能となるの
で、学習サンプル数の増加によって計算量が増大すると
いうことが防止できる。
【００１３】なお、「適合する」という用語は「近似す
る」あるいは「代表する」という意味も内包する。
る」あるいは「代表する」という意味も内包する。
【００１４】また、本発明の他の側面によれば、上述の
目的を達成するために、パターン識別に用いる部分空間
を構成する基底ベクトルの学習方法において：カーネル
関数で定義される非線形空間への学習パターンの各々の
写像に対して、前記学習パターンが分類されるカテゴリ
に対応する部分空間であって、入力空間の一組のベクト
ルの前記非線形空間への写像によりそれぞれ生成される
一組の基底ベクトルの線形結合により表される部分空間
への射影を決定する射影決定ステップと；決定した前記
射影により求められる前記学習パターンの非線形空間へ
の写像と、前記学習パターンが分類されるカテゴリに対
応した部分空間との関連性がより高くなるように、前記
基底ベクトルを生成する入力空間の前記ベクトルを更新
するベクトル更新ステップとを実行するようにしてい
る。
目的を達成するために、パターン識別に用いる部分空間
を構成する基底ベクトルの学習方法において：カーネル
関数で定義される非線形空間への学習パターンの各々の
写像に対して、前記学習パターンが分類されるカテゴリ
に対応する部分空間であって、入力空間の一組のベクト
ルの前記非線形空間への写像によりそれぞれ生成される
一組の基底ベクトルの線形結合により表される部分空間
への射影を決定する射影決定ステップと；決定した前記
射影により求められる前記学習パターンの非線形空間へ
の写像と、前記学習パターンが分類されるカテゴリに対
応した部分空間との関連性がより高くなるように、前記
基底ベクトルを生成する入力空間の前記ベクトルを更新
するベクトル更新ステップとを実行するようにしてい
る。
【００１５】この構成においては、カーネル関数で定義
される非線形空間における、部分空間を表すための基底
ベクトルを生成するための、プレイメージ・ベクトル
を、カテゴリが既知の学習パターンとそのカテゴリに対
応する部分空間との関連性の演算結果に基づいて、更新
するようにしたので、それまでの学習パターンを保持す
ることなく、新しい学習パターンに応じて、部分空間を
構成する基底ベクトルを更新することが可能となる。
される非線形空間における、部分空間を表すための基底
ベクトルを生成するための、プレイメージ・ベクトル
を、カテゴリが既知の学習パターンとそのカテゴリに対
応する部分空間との関連性の演算結果に基づいて、更新
するようにしたので、それまでの学習パターンを保持す
ることなく、新しい学習パターンに応じて、部分空間を
構成する基底ベクトルを更新することが可能となる。
【００１６】また、本発明のさらに他の側面によれば、
上述の目的を達成するために、カーネル関数の変形方法
において：入力空間のパターンの、前記パターンを分類
するカテゴリ毎に定められる部分空間が構成される非線
形空間への写像を定義するカーネル関数を準備するステ
ップと；入力空間における学習パターンの前記非線形空
間への写像と前記部分空間との関連性を計算するステッ
プと；前記関連性の計算結果に応じてカーネル関数を変
形するステップとを実行するようにしている。
上述の目的を達成するために、カーネル関数の変形方法
において：入力空間のパターンの、前記パターンを分類
するカテゴリ毎に定められる部分空間が構成される非線
形空間への写像を定義するカーネル関数を準備するステ
ップと；入力空間における学習パターンの前記非線形空
間への写像と前記部分空間との関連性を計算するステッ
プと；前記関連性の計算結果に応じてカーネル関数を変
形するステップとを実行するようにしている。
【００１７】この構成においては、学習パターンを用い
て、基底ベクトルへの射影成分のばらつきを計算し、こ
の計算結果に基づいて、カーネル関数を適応的に変更す
ることが可能となる。
て、基底ベクトルへの射影成分のばらつきを計算し、こ
の計算結果に基づいて、カーネル関数を適応的に変更す
ることが可能となる。
【００１８】なお、本発明は方法としても装置あるいは
システムとしても実現可能であり、また少なくともその
一部をコンピュータプログラムとして実現することも可
能である。
システムとしても実現可能であり、また少なくともその
一部をコンピュータプログラムとして実現することも可
能である。
【００１９】本発明の上述した側面および本発明の他の
側面については特許請求の範囲に記載され、以下、図面
を用いて詳細に説明される。
側面については特許請求の範囲に記載され、以下、図面
を用いて詳細に説明される。
【００２０】
【発明の実施の形態】以下、本発明の実施例について詳
細に説明する。
細に説明する。
【００２１】［パターンの識別］まず、本発明によるパ
ターン識別の原理を、具体例を用いながら述べる。任意
のｄ次元入力パターンｘ、および入力パターンｘをｄΦ
次元の高次元特徴空間に射影する非線形変換Φを定義
し、ｄΦ次元高次元特徴空間においてパターン識別を行
う。なお、本説明では、表記の制約上やむをえない場合
には、本来ボールド表記すべき記号を、便宜上、下線を
付して代替させている。
ターン識別の原理を、具体例を用いながら述べる。任意
のｄ次元入力パターンｘ、および入力パターンｘをｄΦ
次元の高次元特徴空間に射影する非線形変換Φを定義
し、ｄΦ次元高次元特徴空間においてパターン識別を行
う。なお、本説明では、表記の制約上やむをえない場合
には、本来ボールド表記すべき記号を、便宜上、下線を
付して代替させている。
【数１】 を固有関数とするカーネル関数
【数２】 と関連しており、非線形変換Φによるｄ次元入力パター
ンｘの写像はカーネルの固有関数を用いて、
ンｘの写像はカーネルの固有関数を用いて、
【数３】 と表される。ここでλｉは固有関数φｉ（ｘ）に対する
固有値である。
固有値である。
【００２２】次にｄ次元入力空間のｎ個のベクトル
ｘ １，…，ｘ ｎの非線形変換像Φ（ｘ １），…，Φ（ｘ
ｎ）の線形結合で表される高次元特徴空間の部分空間Ω
を考え、パターンの属する各カテゴリー毎に高次元特徴
空間の部分空間を用意する。ここで非線形変換像Φ（ｘ
１），…，Φ（ｘ ｎ）を部分空間Ωの基底ベクトル、入
力空間のｎ個のベクトルｘ １，…，ｘ ｎをそのプレイメ
ージと呼ぶ。
ｘ １，…，ｘ ｎの非線形変換像Φ（ｘ １），…，Φ（ｘ
ｎ）の線形結合で表される高次元特徴空間の部分空間Ω
を考え、パターンの属する各カテゴリー毎に高次元特徴
空間の部分空間を用意する。ここで非線形変換像Φ（ｘ
１），…，Φ（ｘ ｎ）を部分空間Ωの基底ベクトル、入
力空間のｎ個のベクトルｘ １，…，ｘ ｎをそのプレイメ
ージと呼ぶ。
【００２３】プレイメージｘ １，…，ｘ ｎは、後述の学
習方法によって学習されており、複数の学習パターンの
特徴を含んだベクトルで、複数の学習パターンが１つの
ベクトルに近似され、あるいは複数の学習パターンを代
表するベクトルである。部分空間Ωの基底ベクトルは必
ずしも直交関係を有する必要はない。プレイメージの
数、すなわち、部分空間Ωの基底ベクトルの数ｎは、識
別性能に影響するパラメータであり、あらかじめ設定さ
れる。
習方法によって学習されており、複数の学習パターンの
特徴を含んだベクトルで、複数の学習パターンが１つの
ベクトルに近似され、あるいは複数の学習パターンを代
表するベクトルである。部分空間Ωの基底ベクトルは必
ずしも直交関係を有する必要はない。プレイメージの
数、すなわち、部分空間Ωの基底ベクトルの数ｎは、識
別性能に影響するパラメータであり、あらかじめ設定さ
れる。
【００２４】入力パターンｘの非線形変換像Φ（ｘ）の
部分空間Ωへの射影を、部分空間Ω内において非線形変
換像Φ（ｘ）とのユークリッド距離が最小となるベクト
ル
部分空間Ωへの射影を、部分空間Ω内において非線形変
換像Φ（ｘ）とのユークリッド距離が最小となるベクト
ル
【数４】 とする。
【数５】 は
【数６】 を最小にする係数ａｉを求めることで決定される。
（３）式はカーネル関数の性質（１）式を用いて、
（３）式はカーネル関数の性質（１）式を用いて、
【数７】 となる。ａｉは最急降下法によって初期値から
【数８】 ずつ逐次的に変化させることによって求められる。ここ
でξは微小な正の定数である。
でξは微小な正の定数である。
【００２５】最終的に求められたａｉを（４）式に代入
して得られたＥは、入力パターンｘの非線形変換像Φ
（ｘ）と部分空間Ωとの距離を表す。すなわち、未知の
入力パターンのｄΦ次元高次元特徴空間への写像である
Φ（ｘ）と、各カテゴリに対応する部分空間に対してＥ
を計算し、Ｅが最小となったカテゴリにその入力パター
ンは属すると判定される。
して得られたＥは、入力パターンｘの非線形変換像Φ
（ｘ）と部分空間Ωとの距離を表す。すなわち、未知の
入力パターンのｄΦ次元高次元特徴空間への写像である
Φ（ｘ）と、各カテゴリに対応する部分空間に対してＥ
を計算し、Ｅが最小となったカテゴリにその入力パター
ンは属すると判定される。
【００２６】また計算量は部分空間を特徴付ける入力空
間での（プレイメージ）ベクトルの数ｎおよび入力ベク
トルの次元数ｄで決まり、学習サンプル数とともに増加
することはない。なおかつ（４）および（５）式におけ
るＫ（ｘ ｉ，ｘ ｊ）は学習が完了した後は不変であるの
で、一度計算しておくだけでよい。また学習サンプルを
保存しておく必要はないため、記憶容量が少なくてす
む。
間での（プレイメージ）ベクトルの数ｎおよび入力ベク
トルの次元数ｄで決まり、学習サンプル数とともに増加
することはない。なおかつ（４）および（５）式におけ
るＫ（ｘ ｉ，ｘ ｊ）は学習が完了した後は不変であるの
で、一度計算しておくだけでよい。また学習サンプルを
保存しておく必要はないため、記憶容量が少なくてす
む。
【００２７】パターン識別に要する計算量は、多次元の
非線形空間での演算を必要としないため、非常に小さ
い。また、最急降下法は、部分空間の基底が直交関係を
持たない場合にも演算が可能であるので、本発明のよう
に、部分空間を張る基底ベクトルを生成するためのベク
トル（プレイメージ）を変更する場合には特に有効であ
る。
非線形空間での演算を必要としないため、非常に小さ
い。また、最急降下法は、部分空間の基底が直交関係を
持たない場合にも演算が可能であるので、本発明のよう
に、部分空間を張る基底ベクトルを生成するためのベク
トル（プレイメージ）を変更する場合には特に有効であ
る。
【００２８】［プレイメージの学習］部分空間の基底ベ
クトルのプレイメージｘ ｉの学習は、次のようにして行
われる。まず学習サンプルに対して、例えば最急降下法
を用いる場合には、（５）式を用いてａ１，…，ａｎを
計算する。求めたａ１，…，ａｎを（３）式に代入し、
次に最急降下法による基底ベクトルΦ（ｘ ｉ）の変化を
求めると、つぎのようになる。
クトルのプレイメージｘ ｉの学習は、次のようにして行
われる。まず学習サンプルに対して、例えば最急降下法
を用いる場合には、（５）式を用いてａ１，…，ａｎを
計算する。求めたａ１，…，ａｎを（３）式に代入し、
次に最急降下法による基底ベクトルΦ（ｘ ｉ）の変化を
求めると、つぎのようになる。
【数９】 このΦ（ｘ ｉ）の変化に対応するプレイメージｘ ｉの変
化は
化は
【数１０】 ここで
【数１１】 はｄΦ行ｄ列の行列、
【数１２】 はその逆行列である。一般に非線形写像Φは多対１写像
なので逆行列
なので逆行列
【数１３】 は存在しないが、逆行列をＭｏｏｒｅ−Ｐｅｎｒｏｓｅ
の擬似逆行列で近似すれば、
の擬似逆行列で近似すれば、
【数１４】 となる。ここでｄ行ｄ列の行列ｇａｂ（ｘｉ）は高次元
特徴空間の計量テンソルであり、カーネル関数を用い
て、
特徴空間の計量テンソルであり、カーネル関数を用い
て、
【数１５】 と表される。（６）および（８）式を（７）式に代入す
ると、つぎのようになる。
ると、つぎのようになる。
【数１６】 （１０）式を用いて基底ベクトルのプレイメージｘ ｉを
逐次更新することにより、学習が行われる。
逐次更新することにより、学習が行われる。
【００２９】以上の学習に要する計算量は、基底ベクト
ルのプレイメージを更新することにより行われるため、
従来の学習サンプルを全て必要とする場合と比較して、
非常に小さい。また、すでに学習が完了した後に新たな
学習サンプルを追加した場合でも、追加した学習サンプ
ルに対して学習を行えばよいため、追学習が容易であ
る。また、以上の学習に要する計算量は多次元の非線形
空間での演算を必要としないため、非常に小さい。
ルのプレイメージを更新することにより行われるため、
従来の学習サンプルを全て必要とする場合と比較して、
非常に小さい。また、すでに学習が完了した後に新たな
学習サンプルを追加した場合でも、追加した学習サンプ
ルに対して学習を行えばよいため、追学習が容易であ
る。また、以上の学習に要する計算量は多次元の非線形
空間での演算を必要としないため、非常に小さい。
【００３０】［カーネル関数の更新］次に、カーネル関
数の学習方法について述べる。学習開始前にはカーネル
関数として、例えばガウス関数カーネルや、多項式カー
ネルといった既知の関数を設定する。学習中にはカーネ
ル関数を等角写像
数の学習方法について述べる。学習開始前にはカーネル
関数として、例えばガウス関数カーネルや、多項式カー
ネルといった既知の関数を設定する。学習中にはカーネ
ル関数を等角写像
【数１７】 によって変形する。Ｃ（ｘ）は係数ａｉの学習サンプル
に対するばらつきがどの係数ａｉに対しても均一になる
ように変化させる。具体的には係数ａｉのばらつきが規
定値に対して大きい場合は、係数ａｉに対応する部分空
間の基底ベクトルのプレイメージｘｉの近傍に関してＣ
（ｘ）の値を大きくする。こうすることによりｘ ｉの近
傍の空間は非線形特徴空間において
に対するばらつきがどの係数ａｉに対しても均一になる
ように変化させる。具体的には係数ａｉのばらつきが規
定値に対して大きい場合は、係数ａｉに対応する部分空
間の基底ベクトルのプレイメージｘｉの近傍に関してＣ
（ｘ）の値を大きくする。こうすることによりｘ ｉの近
傍の空間は非線形特徴空間において
【数１８】 によって拡大される。従って係数ａｉを大きな値とする
学習サンプルの数は相対的に減少し、係数ａｉの学習サ
ンプルに対するばらつきは減少する。逆に係数ａ ｉのば
らつきが規定値に対して小さい場合は、係数ａｉに対応
する部分空間の基底ベクトルのプレイメージｘ ｉの近傍
に関してＣ（ｘ）の値を小さくする。
学習サンプルの数は相対的に減少し、係数ａｉの学習サ
ンプルに対するばらつきは減少する。逆に係数ａ ｉのば
らつきが規定値に対して小さい場合は、係数ａｉに対応
する部分空間の基底ベクトルのプレイメージｘ ｉの近傍
に関してＣ（ｘ）の値を小さくする。
【００３１】なお、プレイメージ近傍に関してＣ（ｘ）
を大きくするあるいは小さくするには、例えば、（１
４）式によってなされる。以上のカーネル関数の変形に
よって学習サンプルに適応したカーネル関数が得られ、
部分空間の基底ベクトルΦ（ｘ ｉ）がほぼ同数の学習サ
ンプルを代表することになる。このことにより、識別性
能が向上する。また、（１０）式からわかるように、ｇ
ａｂ（ｘ）が小さいほど学習による部分空間を特徴付け
る入力空間ベクトルｘ ｉの変化が大きいため、係数ａｉ
のばらつきが小さい、すなわち学習サンプルに対する反
応が小さいｘ ｉは学習が早く進む。一方学習サンプルに
対する反応が大きいｘ ｉは入力空間ベクトルｘ ｉの変化
が小さく、安定状態となる。このことから、学習が短時
間で済み、また収束性もよいという効果が生じる。以上
の手段では、プレイメージの近傍のみのＣ（ｘ ｉ）しか
得られないが、他の場所におけるＣ（ｘ）の値は、これ
らの値からの外挿で例えば次の式で求めることができ
る。
を大きくするあるいは小さくするには、例えば、（１
４）式によってなされる。以上のカーネル関数の変形に
よって学習サンプルに適応したカーネル関数が得られ、
部分空間の基底ベクトルΦ（ｘ ｉ）がほぼ同数の学習サ
ンプルを代表することになる。このことにより、識別性
能が向上する。また、（１０）式からわかるように、ｇ
ａｂ（ｘ）が小さいほど学習による部分空間を特徴付け
る入力空間ベクトルｘ ｉの変化が大きいため、係数ａｉ
のばらつきが小さい、すなわち学習サンプルに対する反
応が小さいｘ ｉは学習が早く進む。一方学習サンプルに
対する反応が大きいｘ ｉは入力空間ベクトルｘ ｉの変化
が小さく、安定状態となる。このことから、学習が短時
間で済み、また収束性もよいという効果が生じる。以上
の手段では、プレイメージの近傍のみのＣ（ｘ ｉ）しか
得られないが、他の場所におけるＣ（ｘ）の値は、これ
らの値からの外挿で例えば次の式で求めることができ
る。
【数１９】
【００３２】［識別処理手順］次に、本発明によるパタ
ーン識別の処理の具体的な手順を図１のフローチャート
を用いて説明する。各カテゴリの部分空間の基底ベクト
ルΦ（ｘ ｉ）およびカーネル関数は後述の手順で学習さ
れているものとする。Ｓ１０１では識別すべきパターン
データを入力する。これらは画像、音響など様々なセン
サから入力された多次元データもしくはそのデータを変
換して得られる多次元パターンである。なお、学習パタ
ーンや未知パターンとしては、コンピュータの記憶媒体
上に記憶されたファイルや、ネットワークから取得され
たファイルを利用することができ、これらの機器とのイ
ンターフェース部をパターン入力装置として利用でき
る。Ｓ１０２では、入力パターンの各カテゴリの非線形
部分空間への射影ａｉを計算する。これはａｉを例えば
ーン識別の処理の具体的な手順を図１のフローチャート
を用いて説明する。各カテゴリの部分空間の基底ベクト
ルΦ（ｘ ｉ）およびカーネル関数は後述の手順で学習さ
れているものとする。Ｓ１０１では識別すべきパターン
データを入力する。これらは画像、音響など様々なセン
サから入力された多次元データもしくはそのデータを変
換して得られる多次元パターンである。なお、学習パタ
ーンや未知パターンとしては、コンピュータの記憶媒体
上に記憶されたファイルや、ネットワークから取得され
たファイルを利用することができ、これらの機器とのイ
ンターフェース部をパターン入力装置として利用でき
る。Ｓ１０２では、入力パターンの各カテゴリの非線形
部分空間への射影ａｉを計算する。これはａｉを例えば
【数２０】 により初期値に設定し、（５）式に従って逐次更新す
る。ａｉの更新ごとに（４）式によって判定値Ｅが計算
され、Ｅの変化が例えば１％以下になるかもしくは規定
回数になるまでａｉの更新が行われる。Ｓ１０２では各
カテゴリに対して計算された判定値Ｅが閾値と比較さ
れ、判定値Ｅが閾値以下のカテゴリが存在する場合はＳ
１０４に進む。Ｓ１０４では判定値Ｅがもっとも小さい
カテゴリが識別結果として出力される。判定値Ｅが閾値
以下のカテゴリが存在しない場合は識別は不成功となり
Ｓ１０５に進む。Ｓ１０５では入力パターンのカテゴリ
を示す教師信号を入力する。教師信号は人為的に与える
ほか、他の情報から類推して生成することも可能であ
る。教師信号を入力後、図２のＳ２０４に進み、後述の
追学習を行う。
る。ａｉの更新ごとに（４）式によって判定値Ｅが計算
され、Ｅの変化が例えば１％以下になるかもしくは規定
回数になるまでａｉの更新が行われる。Ｓ１０２では各
カテゴリに対して計算された判定値Ｅが閾値と比較さ
れ、判定値Ｅが閾値以下のカテゴリが存在する場合はＳ
１０４に進む。Ｓ１０４では判定値Ｅがもっとも小さい
カテゴリが識別結果として出力される。判定値Ｅが閾値
以下のカテゴリが存在しない場合は識別は不成功となり
Ｓ１０５に進む。Ｓ１０５では入力パターンのカテゴリ
を示す教師信号を入力する。教師信号は人為的に与える
ほか、他の情報から類推して生成することも可能であ
る。教師信号を入力後、図２のＳ２０４に進み、後述の
追学習を行う。
【００３３】次に本発明における各カテゴリの非線形部
分空間の基底ベクトルΦ（ｘ ｉ）およびカーネル関数の
学習の手順を図２のフローチャートを用いて説明する。
非線形部分空間の基底ベクトルΦ（ｘ ｉ）の数はあらか
じめ指定し、その初期値は乱数で与える。カーネル関数
はガウス型カーネルや多項式カーネルといった既知のカ
ーネルに設定しておく。Ｓ２０１では学習サンプルを入
力する。学習サンプルは識別の場合と同様のパターンデ
ータである。Ｓ２０２では学習サンプルの属するカテゴ
リを教師信号として入力し、学習させるカテゴリの非線
形部分空間を選択する。Ｓ２０３では識別の場合と同じ
手順で学習パターンの選択された非線形部分空間への射
影ａｉを計算する。Ｓ２０４では（１０）式に従い非線
形部分空間の基底ベクトルの更新を行う。Ｓ２０５では
カーネル関数の変形を（１１）式に基づいて行う。（１
１）式のＣ（ｘ）は射影ａｉの全学習サンプルに対する
ばらつきσａｉが一定値σｃｏｎｖに収束するように
分空間の基底ベクトルΦ（ｘ ｉ）およびカーネル関数の
学習の手順を図２のフローチャートを用いて説明する。
非線形部分空間の基底ベクトルΦ（ｘ ｉ）の数はあらか
じめ指定し、その初期値は乱数で与える。カーネル関数
はガウス型カーネルや多項式カーネルといった既知のカ
ーネルに設定しておく。Ｓ２０１では学習サンプルを入
力する。学習サンプルは識別の場合と同様のパターンデ
ータである。Ｓ２０２では学習サンプルの属するカテゴ
リを教師信号として入力し、学習させるカテゴリの非線
形部分空間を選択する。Ｓ２０３では識別の場合と同じ
手順で学習パターンの選択された非線形部分空間への射
影ａｉを計算する。Ｓ２０４では（１０）式に従い非線
形部分空間の基底ベクトルの更新を行う。Ｓ２０５では
カーネル関数の変形を（１１）式に基づいて行う。（１
１）式のＣ（ｘ）は射影ａｉの全学習サンプルに対する
ばらつきσａｉが一定値σｃｏｎｖに収束するように
【数２１】 に基づいて更新する。ここでαは正の定数である。また
σｃｏｎｖはあらかじめ設定しておく他、各基底のσ
ａｉの平均値にして自律的に変更してもよい。また上記
方法ではＣ（ｘ）は非線形部分空間の基底のプレイメー
ジにおいてしか適用できないため、任意の入力ｘにたい
するＣ（ｘ）はプレイメージにおけるＣ（ｘ）の値から
外挿して求める。以上の学習を、学習サンプルに対する
評価値Ｅが十分小さくなるまで続ける。
σｃｏｎｖはあらかじめ設定しておく他、各基底のσ
ａｉの平均値にして自律的に変更してもよい。また上記
方法ではＣ（ｘ）は非線形部分空間の基底のプレイメー
ジにおいてしか適用できないため、任意の入力ｘにたい
するＣ（ｘ）はプレイメージにおけるＣ（ｘ）の値から
外挿して求める。以上の学習を、学習サンプルに対する
評価値Ｅが十分小さくなるまで続ける。
【００３４】追学習による学習では、図１における識別
処理により教師信号が得られ、さらに非線形部分空間へ
の射影ａｉが計算されているため、Ｓ２０４から学習を
開始すればよい。
処理により教師信号が得られ、さらに非線形部分空間へ
の射影ａｉが計算されているため、Ｓ２０４から学習を
開始すればよい。
【００３５】図４は本発明により画像パターンの識別を
行った結果である。入力パターンは図３に示した３つの
カテゴリのいずれかに属する２７×２７画素の画像であ
り、図４にはカテゴリ１の学習サンプルで学習した非線
形部分空間における評価値Ｅを示した。カテゴリ１の入
力に対する評価値Ｅが他のカテゴリの入力に対する評価
値Ｅよりおよそ１００分の１の値を示しており、パター
ンの識別ができていることがわかる。図５には本発明に
よる識別処理に要する計算時間を従来のカーネル非線形
部分空間法と比べた結果を示す。横軸は学習に用いたパ
ターンの数を表し、縦軸は識別処理に要する計算時間を
表す。本パターン識別法は、従来法に比べておよそ１０
０分の１の計算時間で識別が可能であることが分かる。
行った結果である。入力パターンは図３に示した３つの
カテゴリのいずれかに属する２７×２７画素の画像であ
り、図４にはカテゴリ１の学習サンプルで学習した非線
形部分空間における評価値Ｅを示した。カテゴリ１の入
力に対する評価値Ｅが他のカテゴリの入力に対する評価
値Ｅよりおよそ１００分の１の値を示しており、パター
ンの識別ができていることがわかる。図５には本発明に
よる識別処理に要する計算時間を従来のカーネル非線形
部分空間法と比べた結果を示す。横軸は学習に用いたパ
ターンの数を表し、縦軸は識別処理に要する計算時間を
表す。本パターン識別法は、従来法に比べておよそ１０
０分の１の計算時間で識別が可能であることが分かる。
【００３６】図６は、計算速度を向上させるために各カ
テゴリ別に並列処理を行うことができるようにハードウ
ェアを構成した例である。パターン入力部３０１は、パ
ターン信号を入力するものである。教師信号入力部３０
２は、教師信号を入力するものである。また、カテゴリ
毎に、非線形空間学習部３０３１〜３０３ｎと非線形射
影計算部３０４１〜３０４ｎを有している。非線形射影
計算部３０４１〜３０４ｎには、パターン入力部３０１
から入力されたパターン信号が入力される部分空間射影
計算部３０５１〜３０５ｎと、射影の計算結果が入力さ
れカテゴリの関連性を判定する判定値計算部３０６１〜
３０６ｎ、射影の計算結果が入力される射影ばらつき計
算部３０７１〜３０７ｎが設けられている。非線形空間
学習部３０３１〜３０３ｎには、学習パターンの入力時
に入力されたその射影と教師信号とにもとづいて基底ベ
クトルを更新する基底ベクトル更新部３０８１〜３０８
ｎと、射影ばらつき具合に応じてカーネル関数を更新す
るカーネル関数更新部３０９１〜３０９ｎが設けられて
いる。基底ベクトル更新部３０８１〜３０８ｎは、例え
ば内部にプレイメージに関するデータを記憶する記憶部
を具備している。もちろん、プレイメージのデータを他
の記憶部に記憶しても良い。カーネル関数更新部３０９
１〜３０９ｎは、同様に、内部にカーネル関数に関する
データを記憶する記憶部を具備している。もちろん、カ
ーネル関数のデータを他の記憶部に記憶しても良い。ま
た各カテゴリで判定された判定結果は判定結果比較部３
１０に入力され、入力パターンがどのカテゴリに属する
かを判別して出力する。
テゴリ別に並列処理を行うことができるようにハードウ
ェアを構成した例である。パターン入力部３０１は、パ
ターン信号を入力するものである。教師信号入力部３０
２は、教師信号を入力するものである。また、カテゴリ
毎に、非線形空間学習部３０３１〜３０３ｎと非線形射
影計算部３０４１〜３０４ｎを有している。非線形射影
計算部３０４１〜３０４ｎには、パターン入力部３０１
から入力されたパターン信号が入力される部分空間射影
計算部３０５１〜３０５ｎと、射影の計算結果が入力さ
れカテゴリの関連性を判定する判定値計算部３０６１〜
３０６ｎ、射影の計算結果が入力される射影ばらつき計
算部３０７１〜３０７ｎが設けられている。非線形空間
学習部３０３１〜３０３ｎには、学習パターンの入力時
に入力されたその射影と教師信号とにもとづいて基底ベ
クトルを更新する基底ベクトル更新部３０８１〜３０８
ｎと、射影ばらつき具合に応じてカーネル関数を更新す
るカーネル関数更新部３０９１〜３０９ｎが設けられて
いる。基底ベクトル更新部３０８１〜３０８ｎは、例え
ば内部にプレイメージに関するデータを記憶する記憶部
を具備している。もちろん、プレイメージのデータを他
の記憶部に記憶しても良い。カーネル関数更新部３０９
１〜３０９ｎは、同様に、内部にカーネル関数に関する
データを記憶する記憶部を具備している。もちろん、カ
ーネル関数のデータを他の記憶部に記憶しても良い。ま
た各カテゴリで判定された判定結果は判定結果比較部３
１０に入力され、入力パターンがどのカテゴリに属する
かを判別して出力する。
【００３７】この構成においても、図１および図２を用
いて説明した処理と同様の処理が実行されることは容易
に理解できるであろう。
いて説明した処理と同様の処理が実行されることは容易
に理解できるであろう。
【００３８】以上のように、本発明は上記アルゴリズム
を実行するコンピュータ上のプログラムとして提供する
他、上述のような専用のハードウェア上に構成すること
もできる。
を実行するコンピュータ上のプログラムとして提供する
他、上述のような専用のハードウェア上に構成すること
もできる。
【００３９】以上説明したように、本発明に具体的な構
成によれば、複雑なパターン識別を行う際に、学習サン
プルをすべて用いる必要がなく、少ない計算量で識別が
でき、学習サンプル保存するためのメモリが必須とはな
らない。また新たに学習サンプルを追加した場合の追学
習が容易である。さらに、カーネル関数を適応的に変更
でき、識別精度の向上および学習の高速化の効果があ
る。
成によれば、複雑なパターン識別を行う際に、学習サン
プルをすべて用いる必要がなく、少ない計算量で識別が
でき、学習サンプル保存するためのメモリが必須とはな
らない。また新たに学習サンプルを追加した場合の追学
習が容易である。さらに、カーネル関数を適応的に変更
でき、識別精度の向上および学習の高速化の効果があ
る。
【００４０】
【発明の効果】以上説明したように、本発明によれば、
パターン識別時の計算量を減少させ、あるいは、学習サ
ンプルの増加や変更にも柔軟に適応することができる。
パターン識別時の計算量を減少させ、あるいは、学習サ
ンプルの増加や変更にも柔軟に適応することができる。
【図１】 本発明の実施例における識別処理のフローチ
ャートである。
ャートである。
【図２】 本発明の実施例における学習のフローチャー
トである。
トである。
【図３】 本発明の実施例における学習サンプルの例で
ある。
ある。
【図４】 本発明の実施例における識別結果の例であ
る。
る。
【図５】 本発明の実施例と従来例との計算時間の比較
結果である。
結果である。
【図６】 本発明の実施例の変形例を示すブロック図で
ある。
ある。
３０１ パターン入力部 ３０２ 教師信号入力部 ３０３１〜３０３ｎ 非線形空間学習部 ３０４１〜３０４ｎ 非線形射影計算部 ３０４１〜３０４ｎ 非線形射影計算部 ３０５１〜３０５ｎ 部分空間射影計算部 ３０６１〜３０６ｎ 判定値計算部 ３０７１〜３０７ｎ 射影ばらつき計算部 ３０８１〜３０８ｎ 基底ベクトル更新部 ３０９１〜３０９ｎ カーネル関数更新部 ３１０ 判定結果比較部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 池田 仁 神奈川県足柄上郡中井町境430 グリーン テクなかい 富士ゼロックス株式会社内 Ｆターム(参考） 5L096 DA02 EA23 FA38 JA03 KA04
Claims (17)
- 【請求項１】 入力空間において少なくとも１つの学習
サンプルに適合された一組のベクトルをカーネル関数で
定義される非線形空間へそれぞれ写像して得た一組のベ
クトルを、パターンを分類するカテゴリ毎に定められ
る、前記非線形空間における部分空間を構成する一組の
基底ベクトルとして、対応する組の前記基底ベクトルの
線形結合により表される複数の前記部分空間と、未知の
入力パターンの前記非線形空間における写像との関係を
表す評価値を算出する評価値算出ステップと、 前記評価値に基づいて前記未知の入力パターンの属する
カテゴリを識別するカテゴリ識別ステップとを有するこ
とを特徴とするパターン識別方法。 - 【請求項２】 前記評価値算出ステップは、前記未知の
入力パターンの非線形空間への写像の、前記カテゴリ毎
の部分空間への射影を、前記入力パターンの非線形空間
への写像と前記部分空間からの距離とに関する最急降下
法により、逐次計算することで求め、得られた射影から
前記距離を算出するステップを含み、 前記カテゴリ識別ステップは、前記部分空間からの前記
距離が最小となるカテゴリに前記入力パターンが属する
ものと識別するステップを含むことを特徴とする請求項
１記載のパターン識別方法。 - 【請求項３】 カーネル関数で定義される非線形空間へ
の学習パターンの各々の写像に対して、前記学習パター
ンが分類されるカテゴリに対応する部分空間であって、
入力空間の一組のベクトルの前記非線形空間への写像に
よりそれぞれ生成される一組の基底ベクトルの線形結合
により表される部分空間への射影を決定する射影決定ス
テップと、 決定した前記射影により求められる前記学習パターンの
非線形空間への写像と、前記学習パターンが分類される
カテゴリに対応した部分空間との関連性がより高くなる
ように、前記基底ベクトルを生成する入力空間の前記ベ
クトルを更新するベクトル更新ステップとを有すること
を特徴とするパターン識別に用いる部分空間を構成する
基底ベクトルの学習方法。 - 【請求項４】 前記射影決定ステップは、前記射影を、
最急降下法により、前記学習パターンの非線形空間への
写像と前記部分空間からの距離とに関して逐次計算して
決定し、 前記ベクトル更新ステップは、決定した前記射影により
求められる前記学習パターンの非線形空間への写像と、
前記学習パターンが分類されるカテゴリに対応した部分
空間との間の距離が減少するように、前記ベクトルを更
新することを特徴とする請求項３記載のパターン識別に
用いる部分空間を構成する基底ベクトルの学習方法。 - 【請求項５】 入力空間のパターンの、前記パターンを
分類するカテゴリ毎に定められる部分空間が構成される
非線形空間への写像を定義するカーネル関数を準備する
ステップと、 入力空間における学習パターンの前記非線形空間への写
像と前記部分空間との関連性を計算するステップと、 前記関連性の計算結果に応じてカーネル関数を変形する
ステップとを有することを特徴とするカーネル関数の変
形方法。 - 【請求項６】 前記関連性は、入力空間における前記学
習パターンの前記非線形空間への写像の、前記部分空間
の基底ベクトルへの射影成分のばらつきに基づいて計算
し、前記計算結果と所定の閾値とに基づいてカーネル関
数を変形することを特徴とする請求項５記載のカーネル
関数の変形方法。 - 【請求項７】 前記基底ベクトルは入力空間において少
なくとも１つの学習サンプルに適合された一組のベクト
ルを前記カーネル関数を用いて非線形空間にそれぞれ写
像して得られるものであり、 前記学習パターンの前記非線形空間への写像と前記部分
空間との関連性は、前記写像の前記部分空間の基底ベク
トルへの射影成分のばらつきとして求められ、 前記カーネル変数の変形は、 前記ばらつきが大きい基底ベクトルに対してはその基底
ベクトルを生成する入力空間のベクトルの近傍において
カーネル関数のスケールを大きくし、 前記ばらつきが小さい基底ベクトルに対してはその基底
ベクトルを生成する入力空間のベクトルの近傍において
カーネル関数のスケールを小さくするように行うことを
特徴とする請求項５記載のカーネル関数の変形方法。 - 【請求項８】 前記基底ベクトルの射影成分のばらつき
に基づいて、学習前のカーネル関数の関数形に対してス
ケール変換して前記カーネル関数を変形する請求項６記
載のカーネル関数の変形方法。 - 【請求項９】 入力パターンの前記非線形空間への写像
と前記カテゴリ毎の部分空間との関連性を求め、 前記入力パターンの非線形空間への写像とすべての前記
部分空間との関連性が規定より低い場合、前記入力パタ
ーンの属するカテゴリを示す教師信号を与え、前記カテ
ゴリに対応する部分空間の基底ベクトルをの学習を行う
ことを特徴とする請求項３記載のパターン識別に用いる
部分空間を構成する基底ベクトルの学習方法。 - 【請求項１０】 入力パターンの前記非線形空間への写
像の、前記カテゴリ毎の部分空間への射影を、入力パタ
ーンの非線形空間への写像と前記部分空間からの距離に
関する最急降下法による逐次計算により求め、 前記入力パターンの非線形空間への写像の、すべての前
記部分空間からの距離が所望の値より大きい場合、前記
入力パターンの属するカテゴリを示す教師信号を与え、
前記カテゴリに対応する部分空間の基底ベクトルをの学
習を行うことを特徴とする請求項３記載のパターン識別
に用いる部分空間を構成する基底ベクトルの学習方法。 - 【請求項１１】 入力空間において少なくとも１つの学
習サンプルに適合された一組のベクトルをカーネル関数
で定義される非線形空間へそれぞれ写像して得た一組の
ベクトルを、パターンを分類するカテゴリ毎に定められ
る、前記非線形空間における部分空間を構成する一組の
基底ベクトルとして、対応する組の前記基底ベクトルの
線形結合により表される複数の前記部分空間と、未知の
入力パターンの前記非線形空間における写像との関係を
表す評価値を算出する評価値算出ステップと、 前記評価値に基づいて前記未知の入力パターンの属する
カテゴリを識別するカテゴリ識別ステップとをコンピュ
ータに実行させるために用いることを特徴とするパター
ン識別用のコンピュータプログラム。 - 【請求項１２】 パターンを入力する入力手段と、 入力空間において少なくとも１つの学習サンプルに適合
された一組のベクトルをカーネル関数で定義される非線
形空間へそれぞれ写像して得た一組のベクトルを、パタ
ーンを分類するカテゴリ毎に定められる、前記非線形空
間における部分空間を構成する一組の基底ベクトルとし
て、対応する組の前記基底ベクトルの線形結合により表
される複数の前記部分空間と、未知の入力パターンの前
記非線形空間における写像との関係を表す評価値を算出
する評価値算出手段と、 前記評価値に基づいて前記未知の入力パターンの属する
カテゴリを識別するカテゴリ識別手段とを有することを
特徴とするパターン識別装置。 - 【請求項１３】 前記各カテゴリ毎に並列処理を行う専
用処理装置を設けたことを特徴とする請求項１２記載の
パターン識別装置。 - 【請求項１４】 前記非線形空間への前記入力手段から
入力された学習パターンの写像の、前記学習パターンが
分類されるカテゴリに対応した部分空間への射影を決定
し、決定された前記射影により求められる前記学習パタ
ーンの非線形空間への写像と、前記学習パターンが分類
されるカテゴリに対応した部分空間との関連性がより高
くなるように、前記基底ベクトルを更新させる基底ベク
トル更新手段とを備えたことを特徴とする請求項１２記
載のパターン識別装置。 - 【請求項１５】 前記非線形空間への前記入力手段から
入力された学習パターンの写像の、前記学習パターンが
分類されるカテゴリに対応した部分空間への射影を、最
急降下法により、前記学習パターンの非線形空間への写
像と前記部分空間からの距離とに関して逐次計算するこ
とで決定し、決定された前記射影により求められる前記
学習パターンの非線形空間への写像と、前記学習パター
ンが分類されるカテゴリに対応した部分空間との距離が
減少するように、最急降下法により、前記基底ベクトル
を生成する入力空間のベクトルを、更新させるベクトル
更新手段とを備えたことを特徴とする請求項１２記載の
パターン識別装置。 - 【請求項１６】 入力空間における少なくとも１つの学
習パターンの前記非線形空間への写像と前記部分空間と
の関連性を、前記カーネル関数を用いて計算し、前記関
連性の計算結果に応じて前記カーネル関数を変形するカ
ーネル関数変形手段を備えたことを特徴とする請求項１
２記載のパターン識別装置。 - 【請求項１７】 入力空間における少なくとも１つの学
習パターンの前記非線形空間への写像の、前記部分空間
の基底ベクトルへの射影成分のばらつきを、前記カーネ
ル関数を用いて計算し、前記ばらつきの計算結果が所定
の値になるように、前記カーネル関数を変形するカーネ
ル関数変形手段を備えたことを特徴とする請求項１２記
載のパターン識別装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000390459A JP3979007B2 (ja) | 2000-12-22 | 2000-12-22 | パターン識別方法および装置 |
| US10/011,272 US7162085B2 (en) | 2000-12-22 | 2001-12-11 | Pattern recognition method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000390459A JP3979007B2 (ja) | 2000-12-22 | 2000-12-22 | パターン識別方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002190025A true JP2002190025A (ja) | 2002-07-05 |
| JP3979007B2 JP3979007B2 (ja) | 2007-09-19 |
Family
ID=18856822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000390459A Expired - Fee Related JP3979007B2 (ja) | 2000-12-22 | 2000-12-22 | パターン識別方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7162085B2 (ja) |
| JP (1) | JP3979007B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7120614B2 (en) | 2002-02-05 | 2006-10-10 | Fuji Xerox Co., Ltd. | Data classifier using learning-formed and clustered map |
| WO2007049560A1 (ja) * | 2005-10-24 | 2007-05-03 | Nec Corporation | 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム |
| US7227985B2 (en) | 2002-03-05 | 2007-06-05 | Fuji Xerox Co., Ltd. | Data classifier for classifying pattern data into clusters |
| JP2009186243A (ja) * | 2008-02-04 | 2009-08-20 | Nippon Steel Corp | 判別装置、判別方法及びプログラム |
| JP2009230169A (ja) * | 2008-03-19 | 2009-10-08 | Mitsubishi Electric Corp | パラメータ決定支援装置 |
| CN102279927A (zh) * | 2010-06-08 | 2011-12-14 | 富士通株式会社 | 拒识方法和拒识装置 |
| JP2013054573A (ja) * | 2011-09-05 | 2013-03-21 | Nippon Telegr & Teleph Corp <Ntt> | パターン識別方法、パターン識別装置、およびプログラム |
| CN110837947A (zh) * | 2019-10-11 | 2020-02-25 | 杭州电子科技大学 | 一种基于音视频分析技术的教师授课专注度的评估方法 |
| WO2022130460A1 (ja) * | 2020-12-14 | 2022-06-23 | 日本電気株式会社 | 学習装置、学習方法、異常検知装置、異常検知方法、及びコンピュータ読み取り可能な記録媒体 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6701305B1 (en) | 1999-06-09 | 2004-03-02 | The Boeing Company | Methods, apparatus and computer program products for information retrieval and document classification utilizing a multidimensional subspace |
| US6611825B1 (en) * | 1999-06-09 | 2003-08-26 | The Boeing Company | Method and system for text mining using multidimensional subspaces |
| JP4479194B2 (ja) * | 2003-08-29 | 2010-06-09 | 富士ゼロックス株式会社 | 動作識別装置、及び対象物の姿勢識別装置 |
| JP4543644B2 (ja) * | 2003-09-16 | 2010-09-15 | 富士ゼロックス株式会社 | データ認識装置 |
| JP4595750B2 (ja) * | 2005-08-29 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP2008176435A (ja) * | 2007-01-17 | 2008-07-31 | Hitachi Ltd | 決済端末およびｉｃカード |
| US8014572B2 (en) * | 2007-06-08 | 2011-09-06 | Microsoft Corporation | Face annotation framework with partial clustering and interactive labeling |
| US8015131B2 (en) * | 2007-10-12 | 2011-09-06 | Microsoft Corporation | Learning tradeoffs between discriminative power and invariance of classifiers |
| US8325999B2 (en) * | 2009-06-08 | 2012-12-04 | Microsoft Corporation | Assisted face recognition tagging |
| CN101901075B (zh) * | 2010-06-25 | 2012-08-15 | 北京捷通华声语音技术有限公司 | 一种点密度非线性归一化文字识别方法和装置 |
| CN103413115B (zh) * | 2013-06-06 | 2016-09-28 | 温州大学 | 一种基于数据流形分布的非线性图像特征选择方法 |
| JP6453618B2 (ja) * | 2014-11-12 | 2019-01-16 | 株式会社東芝 | 算出装置、方法及びプログラム |
| CN111053537A (zh) * | 2019-12-27 | 2020-04-24 | 电子科技大学 | 基于Heaviside核函数的生理信号非平衡性分析方法 |
| CN112101217B (zh) * | 2020-09-15 | 2024-04-26 | 镇江启迪数字天下科技有限公司 | 基于半监督学习的行人再识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000090274A (ja) | 1998-09-16 | 2000-03-31 | Nippon Telegr & Teleph Corp <Ntt> | パターン識別方法及びパターン識別プログラムを記録した記録媒体 |
-
2000
- 2000-12-22 JP JP2000390459A patent/JP3979007B2/ja not_active Expired - Fee Related
-
2001
- 2001-12-11 US US10/011,272 patent/US7162085B2/en not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7120614B2 (en) | 2002-02-05 | 2006-10-10 | Fuji Xerox Co., Ltd. | Data classifier using learning-formed and clustered map |
| US7227985B2 (en) | 2002-03-05 | 2007-06-05 | Fuji Xerox Co., Ltd. | Data classifier for classifying pattern data into clusters |
| WO2007049560A1 (ja) * | 2005-10-24 | 2007-05-03 | Nec Corporation | 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム |
| US8121357B2 (en) | 2005-10-24 | 2012-02-21 | Nec Corporation | Coefficient determining method, feature extracting method, system, and program, and pattern checking method, system, and program |
| JP2009186243A (ja) * | 2008-02-04 | 2009-08-20 | Nippon Steel Corp | 判別装置、判別方法及びプログラム |
| JP2009230169A (ja) * | 2008-03-19 | 2009-10-08 | Mitsubishi Electric Corp | パラメータ決定支援装置 |
| CN102279927A (zh) * | 2010-06-08 | 2011-12-14 | 富士通株式会社 | 拒识方法和拒识装置 |
| JP2013054573A (ja) * | 2011-09-05 | 2013-03-21 | Nippon Telegr & Teleph Corp <Ntt> | パターン識別方法、パターン識別装置、およびプログラム |
| CN110837947A (zh) * | 2019-10-11 | 2020-02-25 | 杭州电子科技大学 | 一种基于音视频分析技术的教师授课专注度的评估方法 |
| WO2022130460A1 (ja) * | 2020-12-14 | 2022-06-23 | 日本電気株式会社 | 学習装置、学習方法、異常検知装置、異常検知方法、及びコンピュータ読み取り可能な記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3979007B2 (ja) | 2007-09-19 |
| US7162085B2 (en) | 2007-01-09 |
| US20020122593A1 (en) | 2002-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002190025A (ja) | パターン識別方法および装置 | |
| JP6807471B2 (ja) | セマンティックセグメンテーションモデルの訓練方法および装置、電子機器、ならびに記憶媒体 | |
| US10713597B2 (en) | Systems and methods for preparing data for use by machine learning algorithms | |
| US11893781B2 (en) | Dual deep learning architecture for machine-learning systems | |
| CN108399383B (zh) | 表情迁移方法、装置存储介质及程序 | |
| CN112949678B (zh) | 深度学习模型对抗样本生成方法、系统、设备及存储介质 | |
| CN108830385B (zh) | 深度学习模型训练方法和装置及计算机可读存储介质 | |
| US20220067588A1 (en) | Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model | |
| CN110084371B (zh) | 基于机器学习的模型迭代更新方法、装置和计算机设备 | |
| CN111414987A (zh) | 神经网络的训练方法、训练装置和电子设备 | |
| JP4543644B2 (ja) | データ認識装置 | |
| JP3979136B2 (ja) | 認識装置および方法 | |
| CN113377964B (zh) | 知识图谱链接预测方法、装置、设备及存储介质 | |
| KR20210126697A (ko) | 인공 지능에 기반한 애니메이션 이미지 구동 방법 및 장치 | |
| CN115424101A (zh) | 病害识别方法、装置、设备及存储介质 | |
| CN110472588B (zh) | 锚点框确定方法、装置、计算机设备和存储介质 | |
| CN113469091B (zh) | 人脸识别方法、训练方法、电子设备及存储介质 | |
| CN111814804B (zh) | 基于ga-bp-mc神经网络的人体三维尺寸信息预测方法及装置 | |
| US20230056735A1 (en) | Method of performing classification processing using machine learning model, information processing device, and computer program | |
| CN111260056A (zh) | 一种网络模型蒸馏方法及装置 | |
| CN113486879B (zh) | 图像区域建议框检测方法、装置、设备及存储介质 | |
| CN114821173A (zh) | 图像分类方法、装置、设备及存储介质 | |
| CN116777988A (zh) | 手部关键点的三维坐标构建方法、装置、设备及存储介质 | |
| WO2021171384A1 (ja) | クラスタリング装置、クラスタリング方法、および、クラスタリングプログラム | |
| CN112862758A (zh) | 用于检测墙壁顶面的油漆涂抹质量的神经网络的训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040921 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070618 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |