JP2003030655A

JP2003030655A - 画像認識システム及び画像認識プログラム

Info

Publication number: JP2003030655A
Application number: JP2001212102A
Authority: JP
Inventors: Akira Inoue; 晃井上
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-07-12
Filing date: 2001-07-12
Publication date: 2003-01-31

Abstract

(57)【要約】【課題】辞書の生成に用いられる画像データに大きく
依存することなく、未知の入力画像群を正しく分類す
る。【解決手段】入力画像特徴データ群からＫ個（Ｋは自
然数）の入力代表ベクトルを生成する入力代表ベクトル
生成手段３と、Ｃ個（Ｃは自然数）のクラスそれぞれの
補空間基底データを辞書データと格納する辞書データ格
納手段４と、Ｋ個の入力代表ベクトルによって規定され
る空間と前記クラスとの統合距離をＣ個のクラスそれぞ
れに対し補空間基底データを用いて算出する統合距離算
出手段５と、この統合距離算出手段５によって算出され
たＣ個の統合距離に基づいて入力画像特徴データ群に対
する認識結果を出力する識別手段６とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像認識システム
及び画像認識プログラムに関し、特に、画像に写った対
象を、辞書に登録された物体かどうかを識別する、また
は辞書に登録された複数のカテゴリ中の一つに分類する
画像認識システム及び画像認識プログラムに関する。

【０００２】

【従来の技術】従来の画像認識システムの一例が、特開
平１１−２６５４５２号公報（物体認識装置および物体
認識方法）に記載されている。図１４は、この従来の画
像認識システムの構成を示すブロック図である。この図
に示すように、従来の画像認識システムは、画像入力部
２０１と、辞書記憶部２０２と、部分空間間の角度計算
部２０３と、認識部２０４とから構成されている。

【０００３】画像入力部２０１は、複数方向から撮影さ
れた複数の画像を獲得する。辞書記憶部２０２には、あ
らかじめＭ次元の部分空間で表現された辞書データが、
カテゴリごとに用意されている。部分空間間の角度計算
部２０３は、まず画像入力部２０１によって獲得された
入力画像群をＮ次元部分空間で表現する。具体的には、
画像を１次元特徴データとみなして主成分分析し、Ｎ個
の固有ベクトルを抽出する。部分空間間の角度計算部２
０３は、さらに入力画像のＮ次元部分空間と辞書のＭ次
元部分空間との角度Θを、辞書のカテゴリごとに計算す
る。認識部２０４は、部分空間間の角度計算部２０３に
おいて算出された角度Θを比較し、角度Θが最も小さい
カテゴリを認識結果として出力する。

【０００４】従来の画像認識システムによる認識原理に
ついて、さらに説明する。図１５は、辞書部分空間と入
力部分空間との関係を示す概念図である。辞書部分空間
２１１の基底ベクトルをΦm （ｍ＝１，２，…，Ｍ）と
し、入力部分空間２１２の基底ベクトルをΨn （ｎ＝
１，２，…，Ｎ）とすると、部分空間間の角度計算部２
０３によって式(１)又は式(２)のｘijを要素にもつ行列
Ｘを計算する。

【０００５】

【数１】

【０００６】

【数２】

【０００７】行列Ｘの最大固有値として、部分空間２１
１，２１２間の角度Θの余弦の二乗が求められる。角度
Θの余弦の二乗が大きい（または、小さい）とき、角度
Θは小さく（または、大きく）なり、また角度Θが小さ
い（または、大きい）とき、部分空間２１１，２１２間
の類似度が大きく（または、小さく）なる。したがっ
て、部分空間２１１，２１２間の角度Θの余弦の二乗
は、部分空間２１１，２１２間の類似度と言い換えるこ
とができる。よって、図１４に示した従来の画像認識シ
ステムでは、行列Ｘの最大固有値を類似度とし、認識部
２０４によって入力画像を類似度が最大のカテゴリに分
類する。この従来の画像認識システムは、入力画像とし
て複数の画像を用いるので、１枚の入力画像を用いて認
識するシステムに比べると、誤分類が少ないという特徴
がある。

【０００８】

【発明が解決しようとする課題】同一物体であっても、
その物体への照明や物体の向き・変形によって、カメラ
等によって撮像された画像データが大きく影響を受ける
場合がある。ところが、図１４に示した従来の画像認識
システムでは、限られた次元（ここではＭ次元）の辞書
部分空間２１１がパターン認識に用いられるため、同一
物体であっても辞書部分空間２１１の生成に用いられた
画像データと大きく異なるような入力画像群が入力され
ると、誤分類される虞があった。本発明はこのような課
題を解決するためになされたものであり、その目的は、
辞書の生成に用いられる画像データに大きく依存するこ
となく、未知の入力画像群を正しく分類することにあ
る。

【０００９】

【課題を解決するための手段】このような目的を達成す
るために、本発明の画像認識システムは、少なくとも１
個の入力画像特徴データからなる入力画像特徴データ群
からこの入力画像特徴データ群の特徴を表すＫ個（Ｋは
自然数）の入力代表ベクトルを生成する入力代表ベクト
ル生成手段と、Ｃ個（Ｃは自然数）のクラスそれぞれの
補空間基底データであるそのクラス以外のデータを表す
部分空間の基底ベクトルを辞書データとして格納する辞
書データ格納手段と、Ｋ個の入力代表ベクトルによって
規定される空間と前記クラスとの距離を示す統合距離を
Ｃ個のクラスそれぞれに対し補空間基底データを用いて
算出する統合距離算出手段と、この統合距離算出手段に
よって算出されたＣ個の統合距離に基づいて入力画像特
徴データ群に対する認識結果を出力する識別手段とを備
えたことを特徴とする。辞書に含まれない空間である辞
書部分空間の補空間は、辞書部分空間に比べて一般に遥
かに大きい空間である。この辞書部分空間の補空間を利
用することにより、辞書部分空間に対する誤差の影響が
少なくなり、辞書部分空間の生成に用いられる画像デー
タへの依存度が減少する。

【００１０】上述した画像認識システムは、さらに、前
記クラスに属する複数の学習用画像特徴データから補空
間基底データを算出し辞書データ格納手段に出力する辞
書生成手段を備えていてもよい。これにより、辞書デー
タの内容を随時更新することができる。この辞書生成手
段は、複数の学習用画像特徴データから固有ベクトルを
求めるクラス内固有ベクトル算出手段と、このクラス内
固有ベクトル算出手段によって求められた固有ベクトル
のうち対応する固有値の小さい方からＫｃ個（Ｋｃは自
然数）の固有ベクトルを補空間基底データとして抽出す
る補空間基底ベクトル抽出手段とから構成されていても
よい。

【００１１】また、上述した画像認識システムにおい
て、入力代表ベクトル生成手段は、入力画像特徴データ
群から固有ベクトルを求める固有ベクトル算出手段と、
この固有ベクトル算出手段によって求められた固有ベク
トルのうち対応する固有値が大きいＫ個の固有ベクトル
を入力代表ベクトルとして抽出する代表ベクトル選択手
段とから構成されていてもよい。あるいは、入力代表ベ
クトル生成手段は、入力画像特徴データ群に対してＫ平
均アルゴリズムを実行しＫ個の入力代表ベクトルを得る
Ｋ平均ベクトル算出手段から構成されていてもよい。

【００１２】また、行列Ｗをその各行がそれぞれ１つの
入力代表ベクトルからなるＫ×Ｄの行列とし、行列Ｆを
１つのクラスの補空間基底データを示しその各行がそれ
ぞれ１つの基底ベクトルからなるＫｃ×Ｄの行列とする
と、上述した画像認識システムにおいて、統合距離算出
手段は、少なくとも、行列Ｗと行列Ｆとから下記の式
（３）によって行列Ｚを算出する行列演算手段と、この
行列演算手段によって算出された行列Ｚの固有値を算出
する固有値算出手段とを有する構成としてもよい。Ｘ＝Ｗ・Ｆ^t ，Ｚ＝Ｘ・Ｘ^t ・・・（３）（右上の添え字ｔは転置を表す）また、統合距離算出手段は、さらに、行列Ｚの固有値の
最小値を算出して統合距離とする最小値算出手段を有し
ていてもよい。

【００１３】また、上述した画像認識システムにおい
て、識別手段は、少なくとも、統合距離算出手段によっ
て算出されたＣ個の統合距離の最小値を求める最小値算
出手段を有する構成としてもよい。この統合距離が最小
のクラスを認識結果として出力してもよい。また、識別
手段は、最小値算出手段によって求められた最小値が閾
値より小さければ統合距離が最小のクラスを認識結果と
して出力し、閾値以上であれば該当クラスなしと判定す
る閾値処理手段を更に有していてもよい。なお、最小値
算出手段によって求められた最小値が閾値以下であれば
統合距離が最小のクラスを認識結果として出力し、閾値
より大きければ該当クラスなしと判定するようにしても
よいことは言うまでもない。

【００１４】また、本発明の画像認識プログラムは、少
なくとも１個の入力画像特徴データからなる入力画像特
徴データ群からこの入力画像特徴データ群の特徴を表す
Ｋ個（Ｋは自然数）の入力代表ベクトルを生成する第１
の処理と、Ｋ個の入力代表ベクトルによって規定される
空間と登録されているＣ個のクラスそれぞれとの統合距
離をＣ個のクラスそれぞれの補空間基底データを用いて
算出する第２の処理と、算出したＣ個の統合距離に基づ
いて入力画像特徴データ群に対する認識結果を出力する
第３の処理とをコンピュータに実行させるためのプログ
ラムである。

【００１５】この画像認識プログラムは、さらに、前記
クラスに属する複数の学習用画像特徴データから補空間
基底データを算出して辞書を生成する処理をコンピュー
タに実行させるためのプログラムを有していてもよい。
この辞書を生成する処理として、複数の学習用画像特徴
データから固有ベクトルを求める処理と、この処理によ
って求められた固有ベクトルのうち対応する固有値の小
さい方からＫｃ個（Ｋｃは自然数）の固有ベクトルを補
空間基底データとして抽出する処理とをコンピュータに
実行させるためのプログラムであってもよい。

【００１６】また、上述した画像認識プログラムは、第
１の処理として、入力画像特徴データ群から固有ベクト
ルを求める処理と、この処理によって求められた固有ベ
クトルのうち対応する固有値が大きいＫ個の固有ベクト
ルを入力代表ベクトルとして抽出する処理とをコンピュ
ータに実行させるためのプログラムであってもよい。あ
るいは、第１の処理として、入力画像特徴データ群に対
してＫ平均アルゴリズムを実行しＫ個の入力代表ベクト
ルを得る処理をコンピュータに実行させるためのプログ
ラムであってもよい。

【００１７】また、行列Ｗをその各行がそれぞれ１つの
入力代表ベクトルからなるＫ×Ｄの行列とし、行列Ｆを
１つのクラスの補空間基底データを示しその各行がそれ
ぞれ１つの基底ベクトルからなるＫｃ×Ｄの行列とする
と、上述した画像認識プログラムは、第２の処理とし
て、少なくとも、行列Ｗと行列Ｆとから下記の式（４）
によって行列Ｚを算出する処理と、この処理によって算
出された行列Ｚの固有値を算出する処理とをコンピュー
タに実行させるためのプログラムであってもよい。Ｘ＝Ｗ・Ｆ^t ，Ｚ＝Ｘ・Ｘ^t ・・・（４）（右上の添え字ｔは転置を表す）また、第２の処理として、さらに、行列Ｚの固有値の最
小値を算出して統合距離とする処理をコンピュータに実
行させるためのプログラムであってもよい。

【００１８】また、上述した画像認識プログラムは、第
３の処理として、少なくとも、第２の処理によって算出
されたＣ個の統合距離の最小値を求める処理をコンピュ
ータに実行させるためのプログラムであってもよい。こ
の統合距離が最小のクラスを認識結果として出力するよ
うにしてもよい。また、第３の処理として、さらに、Ｃ
個の統合距離の最小値が閾値より小さければ統合距離が
最小のクラスを認識結果として出力し、閾値以上であれ
ば該当クラスなしと判定する処理をコンピュータに実行
させるためのプログラムであってもよい。なお、最小値
が閾値以下であれば統合距離が最小のクラスを認識結果
として出力し、閾値より大きければ該当クラスなしと判
定するようにしてもよいことは言うまでもない。

【００１９】

【発明の実施の形態】次に、図面を参照して、本発明の
実施の形態について詳細に説明する。

【００２０】（第１の実施の形態）図１は、本発明の画
像認識システムの第１の実施の形態の構成を示すブロッ
ク図である。図２は、画像認識システムが有する入力代
表ベクトル生成手段の一構成例を示すブロック図であ
る。図３は、画像認識システムが有する入力代表ベクト
ル生成手段の他の構成例を示すブロック図である。図４
は、画像認識システムが有する辞書データ格納手段の構
成を示すブロック図である。図５は、統合距離について
説明するための概念図である。図６は、画像認識システ
ムが有する統合距離算出手段の構成を示すブロック図で
ある。図７は、画像認識システムが有する識別手段の構
成を示すブロック図である。図８は、画像認識システム
が有する辞書生成手段の構成を示すブロック図である。

【００２１】図１に示されている画像認識システムは、
少なくとも１個の入力画像データが入力される識別対象
画像群入力手段１と、特徴抽出手段２と、入力代表ベク
トル生成手段３と、辞書データ格納手段４と、統合距離
算出手段５と、識別手段６と、学習画像群入力手段７
と、辞書生成手段８とから構成されている。識別対象画
像群入力手段１は、ビデオカメラ等によって同一物体を
撮影したＮ枚（Ｎは自然数）の静止画像を獲得する。

【００２２】特徴抽出手段２は、識別対象画像群入力手
段１より入力されたＮ枚の画像データから、認識に用い
る入力画像特徴データを特徴抽出し、入力代表ベクトル
生成手段に出力する。また、学習画像群入力手段７より
入力された複数の学習用画像データから、辞書データの
作成に用いる学習用画像特徴データを特徴抽出し、辞書
生成手段８に出力する。特徴抽出手段２の一例として、
元の画像データに１次微分、２次微分フィルタを作用さ
せた出力を、ラスタースキャンして１次元特徴データと
して出力するものがある。また特徴抽出手段２の他の例
として、元の画像データをラスタースキャンして１次元
特徴データとし、その平均を０、分散を１．０とするよ
うに、平均と分散を一定値に正規化するものがある。

【００２３】入力代表ベクトル生成手段３は、特徴抽出
手段２より入力されたＮ個の入力画像特徴データからな
る入力画像特徴データ群を基に、この入力画像特徴デー
タ群の特徴を表現する規格化されたＫ個の特徴ベクトル
である入力代表ベクトルを抽出する。入力画像特徴デー
タの特徴次元数をＤとすると、Ｋは１より大きく、ｍｉ
ｎ（Ｎ，Ｄ）以下の自然数である。ｍｉｎ（Ｎ，Ｄ）
は、ＮとＤの小さい方の数を表す。

【００２４】入力代表ベクトル生成手段３の一例とし
て、図２に示す入力代表ベクトル生成手段３Ａがある。
この入力代表ベクトル生成手段３Ａは、固有ベクトル算
出手段３１と、代表ベクトル選択手段３２とから構成さ
れている。固有ベクトル算出手段３１は、入力画像特徴
データ群を主成分分析し、固有値と固有ベクトルを求め
る。固有ベクトルは、入力画像特徴データの特徴次元数
をＤ、データ個数をＮとすると、ｍｉｎ（Ｎ，Ｄ）個求
められる。固有ベクトルの求め方は、一般的な多変量解
析の文献に述べられており、例えば文献１（田中、脇本
著、「多変量統計解析法」、現代数学社、pp.71-79, 19
83）がある。

【００２５】代表ベクトル選択手段３２は、固有ベクト
ル算出手段３１によって求められた固有ベクトルのう
ち、対応する固有値が大きいＫ個の固有ベクトルを選択
し、入力代表ベクトルとして出力する。Ｋの値はあらか
じめ与えられることもあるが、以下のように動的に求め
ることもできる。まず、累積寄与率を、（選択したＫ個
の固有値の和）／（全固有値の和）と定義する。固有値
の大きいものから選択してＫを増加させていき、累積寄
与率がα％を超えたときのＫ値と、Ｋ個の固有ベクトル
を採用する。また、Ｋの値をあらかじめ決めておき、累
積寄与率がα％以上となるようにＫ個の固有ベクトルを
任意に選択する方法もある。αの値は実験的に６０％程
度で十分である。

【００２６】入力代表ベクトル生成手段３の他の例とし
て、図３に示す入力代表ベクトル生成手段３Ｂがある。
この入力代表ベクトル生成手段３Ｂは、Ｋ平均ベクトル
算出手段３４から構成されている。Ｋ平均ベクトル算出
手段３４は、パターン認識の分野で知られているＫ平均
アルゴリズムによって、入力画像特徴データ群からＫ個
の入力代表ベクトルを計算する。Ｋ平均アルゴリズムは
代表的なクラスタリング手法であり、文献２（長尾、
「パターン情報処理」、コロナ社, pp.117-118,1983）
などに述べられている。この場合、Ｋの値は事前に与え
られる。

【００２７】図１において、辞書データ格納手段４は、
統合距離算出に用いられる辞書データを格納するもので
あり、例えば図４に示すようにＣ個（Ｃは自然数）の補
空間基底データ、すなわちクラス１の補空間基底データ
４１と、クラス２の補空間基底データ４２と、クラス３
の補空間基底データ４３と、・・・、クラスＣの補空間
基底データ４Ｃとを格納している。クラスＣの補空間基
底データ４Ｃは、Ｋｃ個（Ｋｃは自然数）の補空間基底
ベクトルを含んでおり、そのＫｃ個の補空間基底ベクト
ルは、クラスＣ以外のデータを表す部分空間の基底ベク
トルである。

【００２８】統合距離算出手段５は、入力代表ベクトル
生成手段３より入力されたＫ個の入力代表ベクトルによ
って規定される空間と、辞書データによって表される部
分空間との距離を示す数値である統合距離を、Ｃ個のク
ラスそれぞれに対して算出する。ここで、この統合距離
について図５を参照して説明する。入力画像特徴データ
群は、入力特徴ベクトル分布９１に分布している。この
入力特徴ベクトル分布９１と辞書部分空間９３との距離
が、統合距離９５である。入力特徴ベクトルの中から選
択された入力代表ベクトル９２₁，９２₂と辞書部分空
間９３との距離はそれぞれＤ₁，Ｄ₂で表されるが、こ
れらの距離は入力代表ベクトル９２₁，９２₂を辞書部
分空間９３に直交する空間である直交補空間９４へ射影
したときの射影ベクトルの長さである。統合距離９５は
入力代表ベクトル９２₁，９２₂それぞれの直交補空間
９４への射影を元に計算することができる。

【００２９】統合距離算出手段５は、例えば図６に示す
ように、行列演算手段５１と、固有値算出手段５２と、
最小値算出手段５３とから構成される。統合距離算出手
段５の各構成要素の機能を説明するために、以下のよう
に定義する。すなわち、Ｋ個の入力代表ベクトルを行列
Ｗで表す。行列Ｗの各行はそれぞれ１つの入力代表ベク
トルからなり、入力代表ベクトルの特徴次元数がＤであ
るとき、行列ＷはＫ×Ｄの行列である。また、クラスＣ
の補空間基底データ４Ｃを行列Ｆで表す。行列Ｆの各行
はそれぞれ１つの補空間基底ベクトル（要素数は特徴次
元数Ｄ）からなり、行列ＦはＫｃ×Ｄの行列である。ま
た、行列Ｚを式（３）で定義する。ただし、右上の添え
字ｔは転置を表す。Ｘ＝Ｗ・Ｆ^t ，Ｚ＝Ｘ・Ｘ^t ・・・（５）

【００３０】上述した統合距離算出手段５における行列
演算手段５１は、式（５）によって行列Ｚを算出する。
固有値算出手段５２は、行列演算手段５１によって算出
された行列ＺのＫ個の固有値を求める。行列Ｚの固有値
は補空間基底への射影の長さを統合したものとなり、図
５における統合距離９５と意味的に等価となる。最小値
算出手段５３は、固有値算出手段５２によって求められ
たＫ個の固有値の中の最小値を求め、この最小値を統合
距離として出力する。なお、統合距離として行列Ｚの固
有値の最大値を選ぶようにしてもよい。また、統合距離
として、行列Ｚの各種ノルムを用いることもできる。行
列Ｚのノルムの例としては、Ｚの要素をａijとすると、
以下のものがある。

【００３１】

【数３】

【００３２】

【数４】

【００３３】

【数５】

【００３４】図１において、識別手段６は、統合距離算
出手段５によって算出されたＣ個の統合距離の値に基づ
いて、入力画像データに対する認識結果を出力する。こ
の識別手段６は、例えば図７に示すように、最小値算出
手段６１と、閾値処理手段６２とから構成される。最小
値算出手段６１は、Ｃ個のクラスそれぞれへの統合距離
が入力されると、その中の最小値を求める。閾値処理手
段６２は、最小値算出手段６１によって求められた最小
値が、あらかじめ決められた閾値より小さければ、該当
するクラス番号を認識結果として出力する。逆に、閾値
以上であれば、入力パターンはどのクラスからも遠い距
離にあると考え、辞書には存在しないパターンという認
識結果を出力する。

【００３５】学習画像群入力手段７は、辞書データの作
成に用いる複数の学習用画像をビデオカメラ等から獲得
する。この学習画像群入力手段７によって獲得された学
習用画像は特徴抽出手段２に出力され、上述したように
学習用画像特徴データが特徴抽出される。辞書生成手段
８は、特徴抽出手段２より入力された複数の学習用画像
特徴データからなる学習用画像特徴データ群を基に、辞
書データを生成し、辞書データ格納手段４に出力する。
辞書データを構成するクラスＣの補空間基底ベクトル
は、クラスＣではない特徴データを収集して主成分分析
し、固有ベクトルを求めることによっても得ることがで
きるが、クラスＣではない特徴データは無限に存在する
ので、これらを収集することは現実的に不可能である。
よってクラスＣに属する特徴データを用いて、クラスＣ
の補空間基底ベクトルを推定する。

【００３６】クラスＣに属する特徴データを用いる辞書
生成手段８は、例えば図８に示すように、クラス内固有
ベクトル算出手段８１と、補空間基底ベクトル抽出手段
８２とから構成される。クラス内固有ベクトル算出手段
８１は、クラスＣに属する学習用画像特徴データを主成
分分析し、固有値と固有ベクトルを算出する。補空間基
底ベクトル抽出手段８２は、クラス内固有ベクトル算出
手段８１によって算出された固有ベクトルのうち、対応
する固有値の小さい方からＫｃ個の固有ベクトルを補空
間基底ベクトルとして出力する。すなわち、クラスＣ内
において寄与率の低い成分を、クラスＣに属さない空間
とみなすことによって、クラスＣの補空間基底ベクトル
を得るのである。

【００３７】具体的には、まず累積寄与率を（Ｋｃ個の
固有値の和）／（全固有値の和）と定義する。固有値の
小さい順にＫｃ個の固有値を使って累積寄与率を計算す
る。Ｋｃを１から順に増加させていき、累積寄与率があ
らかじめ決められたβ％以下となる最大のＫｃを求め
る。同時に対応する固有ベクトルを求め、これを補空間
基底ベクトルとする。βの値は実験的に２０％あれば十
分である。

【００３８】次に、図１に示した画像認識システムの認
識動作について説明する。図９は、この認識動作の流れ
を示すフローチャートである。また、図１０は、認識対
象の入力画像の一例を示す概念図である。まず、識別対
象の画像データが入力される（図９のステップＡ１）。
この画像データは、図１０に示す識別対象入力画像群の
ように、同じ物体を撮影した複数（Ｎ個）の画像データ
１００からなる。つぎに、入力されたＮ個の画像データ
のそれぞれに対して特徴抽出を行い、Ｎ個の入力画像特
徴データを得る（図９のステップＡ２）。つぎに、得ら
れた入力画像特徴データ群から、その特徴を表現するＫ
個の入力代表ベクトルを生成する（図９のステップＡ
３）。

【００３９】つぎに、入力代表ベクトル群によって規定
される空間と、辞書内の１つのクラスの部分空間との統
合距離を計算する（図９のステップＡ４）。全クラスの
統合距離計算が終了したかどうかを判断し（図９のステ
ップＡ５）、終了していなければ次のクラスとの統合距
離を計算する。全クラスとの統合距離が算出されると、
それらの中で最小の距離を求める（図９のステップＡ
６）。つぎに、最小距離が閾値よりも小さいかどうかを
判断する（図９のステップＡ７）。最小距離が閾値より
も小さいときは、最小距離を持つクラス番号を認識結果
として出力して終了する（図９のステップＡ８）。逆
に、最小距離が閾値以上であるときは、該当クラスなし
を出力して終了する（図９のステップＡ９）。ここで
は、最小距離が閾値と等しい場合、ステップＡ８に移行
することとしたが、ステップＡ９に移行するようにして
もよいことは言うまでもない。

【００４０】次に、図１に示した画像認識システムの辞
書データ学習の動作について説明する。図１１は、この
辞書データ学習の動作の流れを示すフローチャートであ
る。また、図１２は、辞書作成に用いる学習用画像の例
を示す概念図である。まず、辞書作成に用いる学習用画
像データが入力される（図１１のステップＢ１）。この
学習用画像データは、図１２に示すように、クラス１の
学習データ１０１、クラス２の学習データ１０２、クラ
ス３の学習データ１０３のように、特定のクラスに属す
る画像群からなる。

【００４１】つぎに、入力されたＮ′個の学習用画像デ
ータのそれぞれに対して特徴抽出を行い、Ｎ′個の学習
用画像特徴データを得る（図１１のステップＢ２）。つ
ぎに、得られた学習用画像特徴データ群から補空間基底
データを生成する（図１１のステップＢ３）。つぎに、
この補空間基底データを辞書データとして辞書データ格
納手段に格納する（図１１のステップＢ４）。他のクラ
スの辞書を作成するかどうかを判断し（図１１のステッ
プＢ５）、作成する場合は学習用画像データの入力（図
１１のステップＢ１）から作業を続ける。作成が終了し
たら学習動作を終了する。

【００４２】（第２の実施の形態）図１３は、本発明の
画像認識システムの第２の実施の形態の構成を示すブロ
ック図である。この画像認識システムは、プログラム制
御により動作するコンピュータ１１０と、識別対象画像
及び学習用画像を取り込みコンピュータ１１０に出力す
るカメラ１２１と、コンピュータ１１０に対してオペレ
ータが認識の指示及び学習の指示を与えるための操作卓
１２２と、コンピュータ１１０から出力された認識結果
を表示する表示装置１２３とから構成されている。コン
ピュータ１１０は、演算処理部１１１と記憶部１１２と
インタフェース部（以下、Ｉ／Ｆ部という）１１３₁〜
１１３₄とがバス１１４に接続された構成となってい
る。Ｉ／Ｆ部１１３₁〜１１３₃は、コンピュータ１１
０の外部装置であるカメラ１２１、操作卓１２２、表示
装置１２３とインタフェースをとる。

【００４３】コンピュータ１１０の動作を制御する画像
認識プログラムは、磁気ディスク、半導体メモリその他
の記録媒体１２４に記録された状態で提供される。この
記録媒体１２４をＩ／Ｆ部１１３₄に接続すると、演算
処理部１１１は記録媒体１２４に書き込まれた画像認識
プログラムを読み出し、記憶部１１２に格納する。しか
る後、操作卓１２２からの指示に基づき、演算処理部１
１１が記憶部１１２に格納された画像認識プログラムを
実行し、図１に示した識別対象画像群入力手段１と、特
徴抽出手段２と、入力代表ベクトル生成手段３と、辞書
データ格納手段４と、統合距離算出手段５と、識別手段
６と、学習画像群入力手段７と、辞書生成手段８とを実
現する。なお、画像認識プログラムは、インターネット
などの電気通信回線を介して提供されてもよい。

【００４４】コンピュータ１１０は、図９及び図１１の
フローチャートに示す動作を行う。すなわち、操作卓１
２２より認識の指示があり、カメラ１２１から識別対象
の画像データが入力されると、特徴抽出を行い、得られ
た入力画像特徴データ群から入力代表ベクトル群を生成
する。つぎに、入力代表ベクトル群によって規定される
空間と、辞書内の１つのクラスの部分空間との統合距離
を計算する。全クラスの統合距離計算が終了したかどう
かを判断し、終了していなければ次のクラスとの統合距
離を計算する。全クラスとの統合距離が算出されると、
それらの中で最小の距離を求め、最小距離が閾値よりも
小さいかどうかを判断する。最小距離が閾値よりも小さ
いときは、最小距離を持つクラス番号を認識結果として
表示装置１２３に表示し、逆に最小距離が閾値以上であ
るときは、該当クラスがない旨を表示装置１２３に表示
する。

【００４５】また、操作卓１２２より学習の指示があ
り、カメラ１２１から学習用画像データが入力される
と、特徴抽出を行い、得られた学習用画像特徴データ群
から補空間基底データを生成し、記憶部１１２によって
構成される辞書データ格納手段に辞書データとして格納
する。つぎに、他のクラスの辞書を作成するかどうかを
判断し、作成する場合は学習用画像データの入力から作
業を続ける。作成が終了したら学習動作を終了する。

【００４６】

【発明の効果】以上説明したように、本発明の本発明の
画像認識システムは、Ｋ個の入力代表ベクトルによって
規定される空間と登録されているＣ個のクラスそれぞれ
との統合距離をＣ個のクラスそれぞれの補空間基底デー
タを用いて算出し、算出したＣ個の統合距離に基づいて
認識結果を出力するものである。また、本発明の画像認
識プログラムは、上記の処理をコンピュータに実行させ
るためのプログラムである。辞書に含まれない空間であ
る辞書部分空間の補空間は、辞書部分空間に比べて一般
に遥かに大きい空間である。この辞書部分空間の補空間
を利用することにより、辞書部分空間に対する誤差の影
響が少なくなり、辞書部分空間の生成に用いられる画像
データへの依存度が減少する。このため、同一物体の照
明による変動、向きによる変動、変形などを吸収し、頑
強な認識システムを構築することができる。

【００４７】また、前記クラスに属する複数の学習用画
像特徴データから補空間基底データを算出し辞書データ
格納手段に出力することにより、辞書データの内容を随
時更新し、急激な環境変化に対応することができる。ま
た、算出したＣ個の統合距離の最小値を求め、この最小
値が閾値より小さければ統合距離が最小のクラスを認識
結果として出力し、閾値以上であれば該当クラスなしと
判定することにより、例えば辞書に登録されているどの
クラスにも属しない物体を誤認識することを防止でき
る。

【図面の簡単な説明】

【図１】本発明の画像認識システムの第１の実施の形
態の構成を示すブロック図である。

【図２】図１に示した画像認識システムが有する入力
代表ベクトル生成手段の一構成例を示すブロック図であ
る。

【図３】図１に示した画像認識システムが有する入力
代表ベクトル生成手段の他の構成例を示すブロック図で
ある。

【図４】図１に示した画像認識システムが有する辞書
データ格納手段の構成を示すブロック図である。

【図５】統合距離について説明するための概念図であ
る。

【図６】図１に示した画像認識システムが有する統合
距離算出手段の構成を示すブロック図である。

【図７】図１に示した画像認識システムが有する識別
手段の構成を示すブロック図である。

【図８】図１に示した画像認識システムが有する辞書
生成手段の構成を示すブロック図である。

【図９】図１に示した画像認識システムの認識動作の
流れを示すフローチャートである。

【図１０】認識対象の入力画像の一例を示す概念図で
ある。

【図１１】図１に示した画像認識システムの辞書デー
タ学習の動作の流れを示すフローチャートである。

【図１２】辞書作成に用いる学習用画像の例を示す概
念図である。

【図１３】本発明の画像認識システムの第２の実施の
形態の構成を示すブロック図である。

【図１４】従来の画像認識システムの構成を示すブロ
ック図である。

【図１５】辞書部分空間と入力部分空間との関係を示
す概念図である。

【符号の説明】

１…識別対象画像群入力手段、２…特徴抽出手段、３，
３Ａ，３Ｂ…入力代表ベクトル生成手段、４…辞書デー
タ格納手段、５…統合距離算出手段、６…識別手段、７
…学習画像群入力手段、８…辞書生成手段、３１…固有
ベクトル算出手段、３２…代表ベクトル選択手段、３４
…Ｋ平均ベクトル算出手段、４１…クラス１の補空間基
底データ、４２…クラス２の補空間基底データ、４３…
クラス３の補空間基底データ、４Ｃ…クラスＣの補空間
基底データ、５１…行列演算手段、５２…固有値算出手
段、５３…最小値算出手段、６１…最小値算出手段、６
２…閾値処理手段、８１…クラス内固有ベクトル算出手
段、８２…補空間基底ベクトル抽出手段、９１…入力特
徴ベクトル分布、９２…入力代表ベクトル、９３…辞書
部分空間、９４…直交補空間、９５…統合距離、１００
…識別対象の入力画像データ、１０１…クラス１の学習
用画像データ、１０２…クラス２の学習用画像データ、
１０３…クラス３の学習用画像データ、１１０…コンピ
ュータ、１１１…演算処理部、１１２…記憶部、１１３
…インタフェース部、１１４…バス、１２１…カメラ、
１２２…操作卓、１２３…表示装置、１２４…記憶媒
体、２０１…画像入力部、２０２…辞書記憶部、２０３
…部分空間間の角度計算部、２０４…認識部、２１１…
辞書部分空間、２１２…入力部分空間、Θ…角度、Ａ１
〜Ａ９…認識動作のステップ、Ｂ１〜Ｂ５…学習動作の
ステップ。

Claims

【特許請求の範囲】

【請求項１】少なくとも１個の入力画像特徴データか
らなる入力画像特徴データ群からこの入力画像特徴デー
タ群の特徴を表すＫ個（Ｋは自然数）の入力代表ベクト
ルを生成する入力代表ベクトル生成手段と、Ｃ個（Ｃは自然数）のクラスそれぞれの補空間基底デー
タであるそのクラス以外のデータを表す部分空間の基底
ベクトルを辞書データとして格納する辞書データ格納手
段と、前記Ｋ個の入力代表ベクトルによって規定される空間と
前記クラスとの距離を示す統合距離を前記Ｃ個のクラス
それぞれに対し前記補空間基底データを用いて算出する
統合距離算出手段と、この統合距離算出手段によって算出されたＣ個の統合距
離に基づいて前記入力画像特徴データ群に対する認識結
果を出力する識別手段とを備えたことを特徴とする画像
認識システム。
【請求項２】請求項１記載の画像認識システムにおい
て、前記クラスに属する複数の学習用画像特徴データから前
記補空間基底データを算出し前記辞書データ格納手段に
出力する辞書生成手段を備えたことを特徴とする画像認
識システム。
【請求項３】請求項２記載の画像認識システムにおい
て、前記辞書生成手段は、前記複数の学習用画像特徴データから固有ベクトルを求
めるクラス内固有ベクトル算出手段と、このクラス内固有ベクトル算出手段によって求められた
前記固有ベクトルのうち対応する固有値の小さい方から
Ｋｃ個（Ｋｃは自然数）の固有ベクトルを前記補空間基
底データとして抽出する補空間基底ベクトル抽出手段と
を備えたことを特徴とする画像認識システム。
【請求項４】請求項１〜３何れか１項記載の画像認識
システムにおいて、前記入力代表ベクトル生成手段は、前記入力画像特徴データ群から固有ベクトルを求める固
有ベクトル算出手段と、この固有ベクトル算出手段によって求められた前記固有
ベクトルのうち対応する固有値が大きいＫ個の固有ベク
トルを前記入力代表ベクトルとして抽出する代表ベクト
ル選択手段とを備えたことを特徴とする画像認識システ
ム。
【請求項５】請求項１〜３何れか１項記載の画像認識
システムにおいて、前記入力代表ベクトル生成手段は、前記入力画像特徴デ
ータ群に対してＫ平均アルゴリズムを実行し前記Ｋ個の
入力代表ベクトルを得るＫ平均ベクトル算出手段を備え
たことを特徴とする画像認識システム。
【請求項６】請求項１〜５何れか１項記載の画像認識
システムにおいて、行列Ｗを、その各行がそれぞれ１つの入力代表ベクトル
からなるＫ×Ｄの行列とし、行列Ｆを、１つのクラスの
補空間基底データを示しその各行がそれぞれ１つの基底
ベクトルからなるＫｃ×Ｄの行列とすると、前記統合距離算出手段は、少なくとも、行列Ｗと行列Ｆとから下記の式によって行列Ｚを算出す
る行列演算手段と、この行列演算手段によって算出された行列Ｚの固有値を
算出する固有値算出手段とを有すことを特徴とする画像
認識システム。Ｘ＝Ｗ・Ｆ^t Ｚ＝Ｘ・Ｘ^t （右上の添え字ｔは転置を表す）
【請求項７】請求項６記載の画像認識システムにおい
て、前記統合距離算出手段は、さらに、行列Ｚの固有値の最
小値を算出して前記統合距離とする最小値算出手段を有
することを特徴とする画像認識システム。
【請求項８】請求項１〜７何れか１項記載の画像認識
システムにおいて、前記識別手段は、少なくとも、前記統合距離算出手段に
よって算出された前記Ｃ個の統合距離の最小値を求める
最小値算出手段を有することを特徴とする画像認識シス
テム。
【請求項９】請求項８記載の画像認識システムにおい
て、前記識別手段は、前記最小値算出手段によって求められ
た前記最小値が閾値より小さければ統合距離が最小のク
ラスを前記認識結果として出力し、閾値以上であれば該
当クラスなしと判定する閾値処理手段を更に有すること
を特徴とする画像認識システム。
【請求項１０】少なくとも１個の入力画像特徴データ
からなる入力画像特徴データ群からこの入力画像特徴デ
ータ群の特徴を表すＫ個（Ｋは自然数）の入力代表ベク
トルを生成する第１の処理と、前記Ｋ個の入力代表ベクトルによって規定される空間と
登録されているＣ個のクラスそれぞれとの統合距離を前
記Ｃ個のクラスそれぞれの補空間基底データを用いて算
出する第２の処理と、算出したＣ個の統合距離に基づいて前記入力画像特徴デ
ータ群に対する認識結果を出力する第３の処理とをコン
ピュータに実行させるための画像認識プログラム。
【請求項１１】請求項１０記載の画像認識プログラム
において、さらに、前記クラスに属する複数の学習用画像特徴デー
タから前記補空間基底データを算出して辞書を生成する
処理をコンピュータに実行させるための画像認識プログ
ラム。
【請求項１２】請求項１１記載の画像認識プログラム
において、前記辞書を生成する処理として、前記複数の学習用画像特徴データから固有ベクトルを求
める処理と、この処理によって求められた前記固有ベクトルのうち対
応する固有値の小さい方からＫｃ個（Ｋｃは自然数）の
固有ベクトルを前記補空間基底データとして抽出する処
理とをコンピュータに実行させるための画像認識プログ
ラム。
【請求項１３】請求項１０〜１２何れか１項記載の画
像認識プログラムにおいて、前記第１の処理として、前記入力画像特徴データ群から固有ベクトルを求める処
理と、この処理によって求められた前記固有ベクトルのうち対
応する固有値が大きいＫ個の固有ベクトルを前記入力代
表ベクトルとして抽出する処理とをコンピュータに実行
させるための画像認識プログラム。
【請求項１４】請求項１０〜１２何れか１項記載の画
像認識プログラムにおいて、前記第１の処理として、前記入力画像特徴データ群に対
してＫ平均アルゴリズムを実行し前記Ｋ個の入力代表ベ
クトルを得る処理をコンピュータに実行させるための画
像認識プログラム。
【請求項１５】請求項１０〜１４何れか１項記載の画
像認識プログラムにおいて、行列Ｗを、その各行がそれぞれ１つの入力代表ベクトル
からなるＫ×Ｄの行列とし、行列Ｆを、１つのクラスの
補空間基底データを示しその各行がそれぞれ１つの基底
ベクトルからなるＫｃ×Ｄの行列とすると、前記第２の処理として、少なくとも、行列Ｗと行列Ｆとから下記の式によって行列Ｚを算出す
る処理と、この処理によって算出された行列Ｚの固有値を算出する
処理とをコンピュータに実行させるための画像認識プロ
グラム。Ｘ＝Ｗ・Ｆ^t Ｚ＝Ｘ・Ｘ^t （右上の添え字ｔは転置を表す）
【請求項１６】請求項１５記載の画像認識プログラム
において、前記第２の処理として、さらに、行列Ｚの固有値の最小
値を算出して前記統合距離とする処理をコンピュータに
実行させるための画像認識プログラム。
【請求項１７】請求項１０〜１６何れか１項記載の画
像認識プログラムにおいて、前記第３の処理として、少なくとも、前記第２の処理に
よって算出された前記Ｃ個の統合距離の最小値を求める
処理をコンピュータに実行させるための画像認識プログ
ラム。
【請求項１８】請求項１７何れか１項記載の画像認識
プログラムにおいて、前記第３の処理として、さらに、前記Ｃ個の統合距離の
最小値が閾値より小さければ統合距離が最小のクラスを
前記認識結果として出力し、閾値以上であれば該当クラ
スなしと判定する処理をコンピュータに実行させるため
の画像認識プログラム。