JP2003168113A

JP2003168113A - 画像認識システム、画像認識方法および画像認識プログラム

Info

Publication number: JP2003168113A
Application number: JP2001369557A
Authority: JP
Inventors: Akira Inoue; 晃井上
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-12-04
Filing date: 2001-12-04
Publication date: 2003-06-13
Anticipated expiration: 2021-12-04
Also published as: JP4099981B2

Abstract

(57)【要約】【課題】入力部分空間と辞書部分空間との角度に依存
せず、入力画像群を正しく判別することができる画像認
識システムを提供する。【解決手段】入力特徴データ５１Ａを含む入力部分空
間に属する任意のベクトルである入力代表ベクトル５２
Ａを生成する入力代表ベクトル生成部５２と、任意のＫ
個の入力特徴データ５１Ａと入力代表ベクトル５１Ａと
の差を表すＫ個の入力主成分ベクトル５３Ａを生成する
入力主成分データ生成部５３と、入力主成分ベクトル５
３Ａ、入力代表ベクトル５２Ａ、辞書格納部３に格納さ
れているＬ個の辞書主成分ベクトル６３Ａおよび辞書代
表ベクトル６２から入力部分空間と辞書部分空間との距
離値を算出する距離算出部５４と、算出された距離値に
基づいて認識結果５Ａを出力する識別部５５とを備えて
いる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像認識システ
ム、画像認識方法および画像認識プログラムに関し、特
に、画像として撮影された対象物体が、辞書に登録され
た物体かどうかを識別する、または辞書に登録された複
数のカテゴリ中の一つに分類する画像認識システム、画
像認識方法および画像認識プログラムに関する。

【０００２】

【従来の技術】従来の画像認識システムの一例が、特開
平１１−２６５４５２号公報（物体認識装置および物体
認識方法）に記載されている。図１３は、この従来の画
像認識システムの構成を示すブロック図である。この図
に示すように、従来の画像認識画像認識システムは、画
像入力部５０１と、辞書記憶部５０２と、部分空間間の
角度計算部５０３と、認識部５０４とから構成されてい
る。

【０００３】画像入力部５０１は、複数方向から撮影さ
れた複数の画像を獲得する。辞書記憶部５０２には、あ
らかじめＭ次元の部分空間で表現された辞書データが、
カテゴリごとに用意されている。部分空間間の角度計算
部５０３は、まず画像入力部５０１によって獲得された
入力画像群をＮ次元部分空間で表現する。具体的には、
入力画像を１次元特徴データとみなして主成分分析し、
Ｎ個の固有ベクトルを抽出し、このＮ個の固有ベクトル
でＮ次元部分空間を規定する。部分空間間の角度計算部
５０３は、さらに入力画像のＮ次元部分空間（以下、入
力部分空間という）と辞書のＭ次元部分空間（以下、辞
書部分空間という）との角度Θを、辞書のカテゴリごと
に計算する。認識部５０４は、部分空間間の角度計算部
５０３において算出された角度Θを比較し、角度Θが最
も小さいカテゴリを認識結果として出力する。

【０００４】図１４を参照して、より具体的に説明す
る。図１４において、５１１は入力画像から抽出された
特徴データが分布する入力特徴分布、５１２は入力特徴
分布５１１を含む入力部分空間、５２１は辞書データの
あるカテゴリの作成に用いた特徴データが分布する辞書
特徴分布、５２２は辞書特徴分布５２１を含む辞書部分
空間である。入力部分空間５１２の基底ベクトルをΨn
（ｎ＝１，２，…，Ｎ）、辞書部分空間５２２の基底ベ
クトルをΦm（ｍ＝１，２，…，Ｍ）とすると、部分空
間間の角度計算部５０３で、式（１）または式（２）の
ｘijを要素にもつ行列Ｘを計算する。

【０００５】

【数５】

【０００６】行列Ｘの最大固有値として、部分空間５１
２，５２２間の角度Θの余弦の二乗が求められる。角度
Θの余弦の二乗が大きい（または、小さい）とき、角度
Θは小さく（または、大きく）なり、また角度Θが小さ
い（または、大きい）とき、部分空間５１２，５２２間
の類似度が大きく（または、小さく）なる。したがっ
て、行列Ｘの最大固有値を、部分空間５１２，５２２間
の類似度と言い換えることができる。よって、部分空間
間の角度計算部５０３で、各カテゴリに対し行列Ｘの最
大固有値を求めて類似度とし、認識部５０４で、類似度
が最大のカテゴリに入力画像を分類する。

【０００７】

【発明が解決しようとする課題】図１５は、従来の画像
認識システムの問題点を示す概念図である。この図に示
すように、同じ入力部分空間５１２内の異なる位置に３
つの入力特徴分布５１１Ａ，５１１Ｂ，５１１Ｃが存在
する場合には、３つの入力特徴分布５１１Ａ〜５１１Ｃ
は互いに離れた位置にあり、辞書部分空間５２２内の辞
書特徴分布５２１との隔たりも明らかに異なるので、本
来は異なる類似度が算出されなければならない。

【０００８】しかし、従来の画像認識システムでは、入
力部分空間５１２と辞書部分空間５２２との角度Θの余
弦の二乗と等価な行列Ｘの最大固有値を類似度として用
いているので、同じ入力部分空間５１２内に存在する３
つの入力特徴分布５１１Ａ〜５１１Ｃと辞書部分空間５
２２との類似度がすべて同じになってしまう。このよう
に、従来の画像認識システムでは、同じ入力部分空間５
１２内の異なる位置に入力特徴分布がある場合には、辞
書部分空間５２２との類似度がすべて同じとなり、判別
できないという問題があった。

【０００９】本発明はこのような課題を解決するために
なされたものであり、その目的は、入力部分空間と辞書
部分空間との角度に依存せず、入力画像群を正しく判別
することができる画像認識システム、画像認識方法およ
び画像認識プログラムを提供することにある。

【００１０】

【課題を解決するための手段】このような目的を達成す
るために、本発明の画像認識システムは、同じ対象が撮
影された複数の入力画像と予め登録された辞書データと
を照合し認識結果を出力する画像認識システムであっ
て、入力画像から得られた入力特徴データを含む入力部
分空間を生成する入力部分空間生成手段と、入力部分空
間に属する任意のベクトルである入力代表ベクトルを生
成する入力代表ベクトル生成手段と、辞書データから得
られた辞書特徴データを含む辞書部分空間およびこの辞
書部分空間に属する任意のベクトルである辞書代表ベク
トルを格納する辞書格納手段と、入力部分空間と辞書代
表ベクトルとの距離および辞書部分空間と入力代表ベク
トルとの距離に基づいて認識結果を生成する照合手段と
を備えたことを特徴とする。

【００１１】より具体的には、入力画像から得られた入
力特徴データを含む入力部分空間に属する任意のベクト
ルである入力代表ベクトルを生成する入力代表ベクトル
生成手段と、任意のＫ個（Ｋは自然数）の入力特徴デー
タのそれぞれと入力代表ベクトルとの差を表すＫ個の入
力主成分ベクトルを生成する入力主成分データ生成手段
と、辞書データから得られた辞書特徴データを含む辞書
部分空間に属する任意のベクトルである辞書代表ベクト
ルおよび任意のＬ個（Ｌは自然数）の辞書特徴データの
それぞれと辞書代表ベクトルとの差を表すＬ個の辞書主
成分ベクトルを格納する辞書格納手段と、入力主成分ベ
クトル、入力代表ベクトル、辞書主成分ベクトルおよび
辞書代表ベクトルから入力部分空間と辞書部分空間との
距離値を算出する距離算出手段と、この距離算出手段に
より算出された距離値に基づいて認識結果を出力する識
別手段とを備えてもよい。これにより、複数の入力特徴
分布が同じ入力部分空間内に存在する場合でも、各入力
特徴分布の配置が異なれば距離値も異なるので、入力画
像群を正しく判別することができる。

【００１２】この画像認識システムにおいて、入力主成
分ベクトルおよび辞書主成分ベクトルが、直交基底であ
ってもよい。直交基底である主成分ベクトルを用いて距
離値の計算を行うことにより、直交基底でない場合と比
較して、短時間で高精度の照合結果を得ることができ、
認識率を向上させることができる。また、入力代表ベク
トルが、入力特徴データの平均ベクトルであり、入力主
成分ベクトルが、入力特徴データから入力代表ベクトル
を減算した成分のうち固有値が大きい方からＫ個の固有
ベクトルであり、辞書代表ベクトルが、辞書特徴データ
の平均ベクトルであり、辞書主成分ベクトルが、辞書特
徴データから辞書代表ベクトルを減算した成分のうち固
有値が大きい方からＬ個の固有ベクトルであってもよ
い。

【００１３】また、距離算出手段は、Ｌ個の辞書主成分
ベクトルで形成される空間と入力代表ベクトルとの第１
の距離を算出する入力投影距離算出手段と、Ｋ個の入力
主成分ベクトルで形成される空間と辞書代表ベクトルと
の第２の距離を算出する辞書投影距離算出手段と、第１
および第２の距離から入力部分空間と辞書部分空間との
距離値を算出する統合手段とを備えるものであってもよ
い。このように入力画像および辞書データから得られた
多くのデータを有効に利用して距離値を算出し、この距
離値を照合に用いるので、照合性能が向上し、高い認識
率が得られる。

【００１４】ここで、入力代表ベクトルをＶ₁、辞書代
表ベクトルをＶ₂、入力主成分ベクトルをΨ_i（ｉ＝１，
…，Ｋ）、辞書主成分ベクトルをΦ_j（ｊ＝１，…，
Ｌ）とすると、入力投影距離算出手段は、式（３）によ
り第１の距離ｄ₁を算出し、辞書投影距離算出手段は、
式（４）により第２の距離ｄ₂を算出するものであって
もよい。

【００１５】

【数６】

【００１６】また、上述した画像認識システムにおい
て、入力主成分データ生成手段は、さらに入力主成分ベ
クトルのそれぞれに対応するＫ個の重みを生成し、辞書
格納手段は、さらに辞書主成分ベクトルのそれぞれに対
応するＬ個の重みを格納するものであってもよい。ここ
で、入力主成分ベクトルに対応する重みが、入力主成分
ベクトルとなる固有ベクトルのＫ個の固有値であり、辞
書主成分ベクトルに対応する重みが、辞書主成分ベクト
ルとなる固有ベクトルのＬ個の固有値であってもよい。

【００１７】また、入力代表ベクトルをＶ₁、辞書代表
ベクトルをＶ₂、入力主成分ベクトルをΨ_i（ｉ＝１，
…，Ｋ）、入力主成分ベクトルに対応する重みをμ
_i（ｉ＝１，…，Ｋ）、辞書主成分ベクトルをΦ_j（ｊ＝
１，…，Ｌ）、辞書主成分ベクトルに対応する重みをλ
_j（ｊ＝１，…，Ｌ）とすると、入力投影距離算出手段
は、式（５）により第１の距離ｄ₁を算出し、辞書投影
距離算出手段は、式（６）により第２の距離ｄ₂を算出
するものであってもよい（ただし、σは任意の定数）。

【００１８】

【数７】

【００１９】また、上述した画像認識システムにおい
て、統合手段は、第１の距離ｄ₁および第２の距離ｄ₂か
ら式（７）により入力部分空間と辞書部分空間との距離
値Ｄを算出するものであってもよい。Ｄ＝αｄ₁＋βｄ₂ ・・・（７）（ただし、α，βは定数）あるいは、統合手段は、第１の距離ｄ₁および第２の距
離ｄ₂から式（８）により入力部分空間と辞書部分空間
との距離値Ｄを算出するものであってもよい。Ｄ＝αｄ₁・ｄ₂／（ｄ₁＋ｄ₂）・・・（８）（ただし、αは定数）

【００２０】また、上述した画像認識システムにおい
て、前記辞書主成分ベクトルを生成し辞書格納手段に出
力する辞書主成分データ生成手段と、前記辞書代表ベク
トルを生成し辞書格納手段に出力する辞書代表ベクトル
生成手段とをさらに備えていてもよい。これにより、辞
書データの内容を随時更新し、急激な内容変化に対応す
ることができる。

【００２１】また、上述した画像認識システムにおい
て、入力される画像シーケンスから顔画像データを選択
し入力画像として入力主成分データ生成手段および入力
代表ベクトル生成手段に出力する顔画像検出手段をさら
に備えていてもよい。あるいは、入力される画像シーケ
ンスから顔画像データを選択し、認識動作の際には、選
択された顔画像データを入力画像として入力主成分デー
タ生成手段および入力代表ベクトル生成手段に出力し、
辞書データ学習動作の際には、選択された顔画像データ
を辞書データとして辞書主成分データ生成手段および辞
書代表ベクトル生成手段に出力する顔画像検出手段をさ
らに備えていてもよい。これにより、人間の顔画像を用
いて画像中の人物を同定するシステムを構成することが
できる。

【００２２】また、本発明の画像認識方法は、同じ対象
が撮影された複数の入力画像と予め登録された辞書デー
タとを照合し認識結果を出力する画像認識方法であっ
て、入力画像から得られた入力特徴データを含む入力部
分空間およびこの入力部分空間に属する任意のベクトル
である入力代表ベクトルを生成する第１のステップと、
辞書データから得られた辞書特徴データを含む辞書部分
空間と入力代表ベクトルとの第１の距離および辞書部分
空間に属する任意のベクトルである辞書代表ベクトルと
入力部分空間との第２の距離を算出する第２のステップ
と、算出された第１および第２の距離に基づいて認識結
果を出力する第３のステップとを備えたことを特徴とす
る。

【００２３】より具体的には、入力画像から得られた入
力特徴データを含む入力部分空間に属する任意のベクト
ルである入力代表ベクトルおよび任意のＫ個（Ｋは自然
数）の入力特徴データのそれぞれと入力代表ベクトルと
の差を表すＫ個の入力主成分ベクトルを生成する第１の
ステップと、入力代表ベクトル、入力主成分ベクトル、
辞書データから得られた辞書特徴データを含む辞書部分
空間に属する任意のベクトルである辞書代表ベクトルお
よび任意のＬ個（Ｌは自然数）の辞書特徴データのそれ
ぞれと辞書代表ベクトルとの差を表すＬ個の辞書主成分
ベクトルから、入力部分空間と辞書部分空間との距離値
を算出する第２のステップと、算出された距離値に基づ
いて認識結果を出力する第３のステップとを備えていて
もよい。この画像認識方法において、入力主成分ベクト
ルおよび辞書主成分ベクトルが、直交基底であってもよ
い。

【００２４】また、本発明の画像認識プログラムは、同
じ対象が撮影された複数の入力画像と予め登録された辞
書データとを照合し認識結果を出力する処理をコンピュ
ータに実行させるための画像認識プログラムであって、
入力画像から得られた入力特徴データを含む入力部分空
間を生成する入力部分空間生成処理と、入力部分空間に
属する任意のベクトルである入力代表ベクトルを生成す
る入力代表ベクトル生成処理と、辞書データから得られ
た辞書特徴データを含む辞書部分空間と入力代表ベクト
ルとの距離および辞書部分空間に属する任意のベクトル
である辞書代表ベクトルと入力部分空間との距離に基づ
いて認識結果を生成する照合処理とをコンピュータに実
行させるためのプログラムである。

【００２５】より具体的には、入力画像から得られた入
力特徴データを含む入力部分空間に属する任意のベクト
ルである入力代表ベクトルを生成する入力代表ベクトル
生成処理と、任意のＫ個（Ｋは自然数）の入力特徴デー
タのそれぞれと入力代表ベクトルとの差を表すＫ個の入
力主成分ベクトルを生成する入力主成分データ生成処理
と、入力代表ベクトル、入力主成分ベクトル、辞書デー
タから得られた辞書特徴データを含む辞書部分空間に属
する任意のベクトルである辞書代表ベクトルおよび任意
のＬ個（Ｌは自然数）の辞書特徴データのそれぞれと辞
書代表ベクトルとの差を表すＬ個の辞書主成分ベクトル
から、入力部分空間と辞書部分空間との距離値を算出す
る距離算出処理と、算出された距離値に基づいて認識結
果を出力する識別処理とをコンピュータに実行させるた
めのプログラムであってもよい。

【００２６】ここで、入力主成分ベクトルおよび辞書主
成分ベクトルが、直交基底であってもよい。また、入力
代表ベクトルが、入力特徴データの平均ベクトルであ
り、入力主成分ベクトルが、入力特徴データから入力代
表ベクトルを減算した成分のうち固有値が大きい方から
Ｋ個の固有ベクトルであり、辞書代表ベクトルが、辞書
特徴データの平均ベクトルであり、辞書主成分ベクトル
が、辞書特徴データから辞書代表ベクトルを減算した成
分のうち固有値が大きい方からＬ個の固有ベクトルであ
ってもよい。

【００２７】また、距離算出処理として、Ｌ個の辞書主
成分ベクトルで形成される空間と入力代表ベクトルとの
第１の距離を算出する入力投影距離算出処理と、Ｋ個の
入力主成分ベクトルで形成される空間と辞書代表ベクト
ルとの第２の距離を算出する辞書投影距離算出処理と、
第１および第２の距離から入力部分空間と辞書部分空間
との距離値を算出する統合処理とを実行させてもよい。
ここで、入力代表ベクトルをＶ₁、辞書代表ベクトルを
Ｖ₂、入力主成分ベクトルをΨ_i（ｉ＝１，…，Ｋ）、辞
書主成分ベクトルをΦ_j（ｊ＝１，…，Ｌ）とすると、
入力投影距離算出処理は、式（９）により第１の距離ｄ
₁を算出し、辞書投影距離算出処理は、式（１０）によ
り第２の距離ｄ₂を算出するものであってもよい。

【００２８】

【数８】

【００２９】また、入力主成分データ生成処理は、さら
に入力主成分ベクトルのそれぞれに対応するＫ個の重み
を生成し、距離算出処理は、さらにＫ個の重みおよび辞
書主成分ベクトルのそれぞれに対応するＬ個の重みを用
いて距離値を算出するものであってもよい。ここで、入
力主成分ベクトルに対応する重みが、入力主成分ベクト
ルとなる固有ベクトルのＫ個の固有値であり、辞書主成
分ベクトルに対応する重みが、辞書主成分ベクトルとな
る固有ベクトルのＬ個の固有値であってもよい。

【００３０】また、入力代表ベクトルをＶ₁、辞書代表
ベクトルをＶ₂、入力主成分ベクトルをΨ_i（ｉ＝１，
…，Ｋ）、入力主成分ベクトルに対応する重みをμ
_i（ｉ＝１，…，Ｋ）、辞書主成分ベクトルをΦ_j（ｊ＝
１，…，Ｌ）、辞書主成分ベクトルに対応する重みをλ
_j（ｊ＝１，…，Ｌ）とすると、入力投影距離算出処理
は、式（１１）により第１の距離ｄ₁を算出し、辞書投
影距離算出処理は、式（１２）により第２の距離ｄ₂を
算出するものであってもよい（ただし、σは任意の定
数）。

【００３１】

【数９】

【００３２】また、統合手段は、第１の距離ｄ₁および
第２の距離ｄ₂から式（１３）により入力部分空間と辞
書部分空間との距離値Ｄを算出するものであってもよ
い。Ｄ＝αｄ₁＋βｄ₂ ・・・（１３）（ただし、α，βは定数）あるいは、統合手段は、第１の距離ｄ₁および第２の距
離ｄ₂から式（１４）により入力部分空間と辞書部分空
間との距離値Ｄを算出するものであってもよい。Ｄ＝αｄ₁・ｄ₂／（ｄ₁＋ｄ₂）・・・（１４）（ただし、αは定数）

【００３３】また、辞書主成分ベクトルを生成し登録す
る辞書主成分データ生成処理と、辞書代表ベクトルを生
成し登録する辞書代表ベクトル生成処理とをさらに実行
させてもよい。また、入力される画像シーケンスから顔
画像データを選択し、入力画像として入力主成分データ
生成処理および入力代表ベクトル生成処理で使用させる
顔画像検出処理をさらに実行させてもよい。あるいは、
入力される画像シーケンスから顔画像データを選択し、
認識動作の際には、選択された顔画像データを入力画像
として入力主成分データ生成処理および入力代表ベクト
ル生成処理で使用させ、辞書データ学習動作の際には、
選択された顔画像データを辞書データとして辞書主成分
データ生成処理および辞書代表ベクトル生成処理で使用
させる顔画像検出処理をさらに実行させてもよい。

【００３４】

【発明の実施の形態】次に、本発明の実施の形態につい
て、図面を参照して詳細に説明する。

【００３５】（第１の実施の形態）図１は、本発明の第
１の実施の形態である画像認識システムの構成を示すブ
ロック図である。図２は、図１に示す画像認識システム
による処理を概念的に示す図である。図１に示す画像認
識システムは、同じ対象を撮影して得られた複数の学習
画像データからなる学習画像群を獲得する学習画像群入
力部１と、この学習画像群入力部１より入力される学習
画像群から辞書データを生成する学習部２と、この学習
部２で生成される辞書データを撮影対象毎にカテゴリに
分けて格納する辞書格納部３と、同じ対象を撮影して得
られた複数の入力画像データからなる入力画像群を獲得
する識別対象画像群入力部４と、辞書格納部３に格納さ
れている辞書データを用いて識別対象画像群入力部４よ
り入力される入力画像群から撮影対象を認識する照合部
５とから構成されている。

【００３６】学習画像群入力部１は、辞書として登録す
るためビデオカメラ等によって同一対象物体を撮影して
得られたＭ個（Ｍは自然数）の静止画像を獲得し、これ
らを学習画像データ１ＡとしてカテゴリＩＤ１Ｂととも
に学習部２に出力する。Ｍ個の学習画像データ１Ａは、
カテゴリＩＤ１Ｂによって指定されたカテゴリに属する
ものとする。学習部２は更に、学習画像特徴抽出部２１
と、辞書代表ベクトル生成部２２と、辞書主成分データ
生成部（辞書部分空間生成手段）２３とから構成されて
いる。

【００３７】学習画像特徴抽出部２１は、学習画像群入
力部１より入力されるＭ個の学習画像データ１Ａから、
認識に用いるＭ個の辞書特徴データ２１Ａを特徴抽出
し、辞書代表ベクトル生成部２２および辞書主成分デー
タ生成部２３に出力する。Ｍ個の辞書特徴データ２１Ａ
からなる辞書特徴データ群は、図２（ａ）に示す辞書特
徴分布２１Ｂに分布しているものとする。学習画像特徴
抽出部２１の一例として、元の画像データに１次微分、
２次微分フィルタを作用させた出力を、ラスタースキャ
ンして１次元特徴データとして出力するものがある。ま
た、辞書画像特徴抽出部２１の他の例として、元の画像
データをラスタースキャンして１次元特徴データとし、
その平均を０、分散を１．０とするように、平均と分散
を一定値に正規化するものがある。これにより、輪郭強
調や雑音除去などが施された辞書特徴データ２１Ａが得
られる。なお、学習画像特徴抽出部２１は、仮に識別対
象画像群入力部４から出力される入力画像データ４Ａが
入力されたとしたら、照合部５の入力画像特徴抽出部５
１と同じ特徴データを抽出するものである必要がある。

【００３８】辞書代表ベクトル生成部２２は、Ｍ個の入
力特徴データ２１Ａからなる辞書特徴データ群を基に、
この辞書特徴データ群を代表する１つのベクトルである
辞書代表ベクトル２２Ａを生成し、辞書主成分データ生
成部２３および辞書格納部３に出力する。辞書代表ベク
トル２２Ａは、辞書特徴分布２１Ｂを含む辞書部分空間
に属する任意のベクトルであり、原点Ｏを始点とし、辞
書部分空間上のＰ点を終点とする。辞書代表ベクトル２
２Ａの一例として、辞書特徴データ群の平均値（平均ベ
クトル）や中央値（中央ベクトル）などが挙げられる。

【００３９】辞書主成分データ生成部２３は、Ｍ個の辞
書特徴データ２１Ａのそれぞれから辞書代表ベクトル２
２Ａを除いた後の成分を代表するＬ個のベクトルである
辞書主成分ベクトル（Φj（ｊ＝１，・・・，Ｌ））２
３Ａと、辞書主成分ベクトル（Φi）のそれぞれに対応
する重み値（λj（ｊ＝１，・・・，Ｌ））２３Ｂを抽
出し、辞書格納部３に出力する。辞書特徴データ２１Ａ
の特徴次元数をＤとすると、Ｌは１より大きく、ｍｉｎ
（Ｍ，Ｄ）以下の自然数である。ｍｉｎ（Ｍ，Ｄ）は、
ＭとＤの小さい方の数を表す。辞書主成分ベクトル２３
Ａは、辞書特徴分布２１Ｂを含む辞書部分空間を表すベ
クトルである。

【００４０】辞書特徴データ２１Ａから辞書代表ベクト
ル２２Ａを除く方法としては、辞書特徴データ２１Ａか
ら辞書代表ベクトル２２Ａを減算する方法や、辞書特徴
データ２１Ａの辞書代表ベクトル２２Ａに垂直な成分を
計算する方法がある。その後、Ｌ個の辞書主成分ベクト
ル２３Ａおよび重み値２３Ｂを抽出する方法としては、
Ｍ個の辞書特徴データ２１Ａのそれぞれから辞書代表ベ
クトル２２Ａを除いた後の成分を主成分分析し、固有値
が大きい方からＬ個の固有ベクトルを辞書主成分ベクト
ル２３Ａとして選択し、選択された辞書主成分ベクトル
２３Ａに対応する固有値を重み値２３Ｂとして採用する
方法がある。固有値および固有ベクトルの求め方は、一
般的な多変量解析の文献に述べられており、例えば文献
１（田中、脇本著、「多変量統計解析法」、現代数学
社、pp.71-79, 1983）がある。

【００４１】辞書格納部３は、例えば図３に示すよう
に、Ｃ個（Ｃは自然数）のレコード記憶部３１，３２，
・・・，３Ｃを有し、各レコード記憶部３１〜３Ｃは、
それぞれレコード番号６１、辞書代表ベクトル６２、辞
書主成分データ６３、カテゴリＩＤ６４を記憶すること
ができる。辞書代表ベクトル６２として、辞書代表ベク
トル生成部２２で生成された辞書代表ベクトル２２Ａ
を、辞書主成分データ６３として、辞書主成分データ生
成部２３で生成されたＬ個の辞書主成分ベクトル２３Ａ
および重み値２３Ｂを、カテゴリＩＤ６４として、カテ
ゴリＩＤ１Ｂを記憶する。このように辞書格納部３は、
辞書代表ベクトル６２および辞書主成分データ６３を辞
書データとしてカテゴリＩＤ６４にしたがって格納す
る。なお、同じカテゴリＩＤをもつ複数の辞書データを
格納することも可能である。

【００４２】識別対象画像群入力部４は、ビデオカメラ
等によって同一対象物体を撮影して得られたＮ個（Ｎは
自然数）の静止画像を獲得し、これらを入力画像データ
４Ａとして照合部５に出力する。照合部５は更に、入力
画像特徴抽出部５１と、入力代表ベクトル生成部５２
と、入力主成分データ生成部（入力部分空間生成手段）
５３と、距離算出部５４と、識別部５５とから構成され
ている。

【００４３】入力画像特徴抽出部５１は、識別対象画像
群入力部４より入力されるＮ個の入力画像データ４Ａか
ら、認識に用いるＮ個の入力特徴データ５１Ａを特徴抽
出し、入力代表ベクトル生成部５２および入力主成分デ
ータ生成部５３に出力する。Ｎ個の入力特徴データ５１
Ａからなる入力特徴データ群は、図２（ａ）に示す入力
特徴分布５１Ｂに分布しているものとする。入力画像特
徴抽出部５１の一例として、元の画像データに１次微
分、２次微分フィルタを作用させた出力を、ラスタース
キャンして１次元特徴データとして出力するものがあ
る。また入力画像特徴抽出部５１の他の例として、元の
画像データをラスタースキャンして１次元特徴データと
し、その平均を０、分散を１．０とするように、平均と
分散を一定値に正規化するものがある。これにより、輪
郭強調や雑音除去などが施された入力特徴データ５１Ａ
が得られる。

【００４４】入力代表ベクトル生成部５２は、Ｎ個の入
力特徴データ５１Ａからなる入力特徴データ群を基に、
この入力特徴データ群を代表する１つのベクトルである
入力代表ベクトル５２Ａを生成し、入力主成分データ生
成部５３および距離算出部５４に出力する。入力代表ベ
クトル５２Ａは、入力特徴分布５１Ｂを含む入力部分空
間に属する任意のベクトルであり、原点Ｏを始点とし、
入力部分空間上のＱ点を終点とする。入力代表ベクトル
５２Ａの一例として、入力特徴データ群の平均値（平均
ベクトル）や中央値（中央ベクトル）などが挙げられ
る。

【００４５】入力主成分データ生成部５３は、Ｎ個の入
力特徴データ５１Ａのそれぞれから入力代表ベクトル５
２Ａを除いた後の成分を代表するＫ個のベクトルである
入力主成分ベクトル（Ψi（ｉ＝１，・・・，Ｋ））５
３Ａと、入力主成分ベクトル（Ψj）のそれぞれに対応
する重み値（μi（ｉ＝１，・・・，Ｋ））５３Ｃを抽
出し、距離算出部５４に出力する。入力特徴データ５１
Ａの特徴次元数をＤとすると、Ｋは１より大きく、ｍｉ
ｎ（Ｎ，Ｄ）以下の自然数である。入力主成分ベクトル
５３Ａは、入力特徴分布５１Ｂを含む入力部分空間を表
すベクトルである。

【００４６】入力特徴データ５１Ａから入力代表ベクト
ル５２Ａを除く方法としては、入力特徴データ５１Ａか
ら入力代表ベクトル５２Ａを減算する方法や、入力特徴
データ５１Ａの入力代表ベクトル５２Ａに垂直な成分を
計算する方法がある。Ｋ個の入力主成分ベクトル５３Ａ
および重み値５３Ｃを抽出する方法としては、Ｎ個の入
力特徴データ５１Ａのそれぞれから入力代表ベクトル５
２Ａを除いた後の成分を主成分分析し、固有値が大きい
方からＫ個の固有ベクトルを入力主成分ベクトル５３Ａ
として選択し、選択された入力主成分ベクトル５３Ａに
対応する固有値を重み値５３Ｃとして採用する方法があ
る。

【００４７】距離算出部５４は、入力代表ベクトル５２
Ａ、入力主成分ベクトル５３Ａおよび重み値５３Ｃを用
いて、辞書格納部３に格納されているＣ個のカテゴリに
属する辞書データとの距離値を算出する。より具体的に
は、辞書格納部３のレコード記憶部３１〜３Ｃのそれぞ
れから、辞書代表ベクトル６２と、辞書主成分データ６
３として記憶されているＬ個の辞書主成分ベクトル６３
Ａおよび重み値６３Ｂとを読み出し、入力代表ベクトル
５２Ａ、入力主成分ベクトル５３Ａおよび重み値５３Ｃ
を用いて、図２（ｂ）に示す入力特徴分布５１Ｂを含む
入力部分空間と各カテゴリの辞書特徴分布２１ＢＢを含
む辞書部分空間との間の距離の値Ｄを算出し、距離値５
４Ａとして識別部５５に順次出力する。

【００４８】識別部５５は、Ｃ個のカテゴリとの距離値
５４Ａに基づいて、入力画像データ４Ａに対する認識結
果５Ａを出力する。この識別部５５は、例えば図４に示
すように、最小値算出部７１と、閾値処理部７２とから
構成される。最小値算出部７１は、Ｃ個のカテゴリとの
距離値５４Ａの最小値を求める。閾値処理部７２は、最
小値算出部７１によって求められた最小値を、あらかじ
め決められた閾値と比較し、閾値より小さければ、最小
値が得られたカテゴリを認識結果５Ａとして出力する。
逆に、閾値以上であれば、入力画像データ４Ａは辞書に
は存在しないパターンであるという認識結果５Ａを出力
する。

【００４９】次に、図５および図６を参照し、距離算出
部５４の構成および動作について詳述する。図５は、距
離算出部５４の一構成例を示すブロック図である。図６
は、距離算出部５４の動作を説明する概念図である。図
５に示すように、距離算出部５４は、入力投影距離算出
部８１と、辞書投影距離算出部８２と、統合部８３とか
ら構成される。入力投影距離算出部８１は、図６に示す
入力代表ベクトル５２Ａの終点Ｑと、Ｌ個の辞書主成分
ベクトル６３Ａで形成される辞書部分空間６３Ｃとの距
離を表す入力投影距離値（第１の距離）ｄ₁を算出す
る。入力代表ベクトル５２ＡをＶ₁、辞書代表ベクトル
６２をＶ₂、σを任意の定数とすると、距離値ｄ₁を例え
ば式（１５）によって算出することができる。

【００５０】

【数１０】

【００５１】計算の高速化のため、定数σ＝０とし、式
（１６）のように簡略化してもよい。

【００５２】

【数１１】

【００５３】式（１５）および式（１６）において、ベ
クトル（Ｖ₂−Ｖ₁）は、ベクトルＱＰであり、入力投影
距離値ｄ₁は、入力代表ベクトル５２Ａの終点Ｑと、辞
書部分空間６３Ｃとの距離値を表している。辞書投影距
離算出部８２は、図６に示す辞書代表ベクトル６２の終
点Ｐと、Ｋ個の入力主成分ベクトル５３Ａで形成される
入力部分空間５３Ｃとの辞書投影距離値（第２の距離）
ｄ₂を算出する。同様に、距離値ｄ₂を例えば式（１７）
によって算出することができる。

【００５４】

【数１２】

【００５５】計算の高速化のため、定数σ＝０とし、式
（１８）のように簡略化してもよい。

【００５６】

【数１３】

【００５７】式（１７）および式（１８）において、ベ
クトル（Ｖ₁−Ｖ₂）は、ベクトルＰＱであり、辞書投影
距離値ｄ₂は、辞書代表ベクトル６２の終点Ｐと、入力
部分空間５３Ｃとの距離値を表している。統合部８３
は、入力投影距離値ｄ₁および辞書投影距離値ｄ₂の両方
を用いて、距離値Ｄを算出する。例えば、式（１９）を
用いて距離値Ｄを算出することができる。Ｄ＝αｄ₁＋βｄ₂ ・・・（１９）ただし、α，βは定数である。また、式（２０）を用い
てもよい。Ｄ＝αｄ₁・ｄ₂／（ｄ₁＋ｄ₂）・・・（２０）ただし、αは定数である。

【００５８】図２（ｂ）において、入力特徴分布５１Ｂ
と辞書特徴分布２１ＢＢとの間の距離値Ｄは、ベクトル
ＰＱのノルムを計算することによっても得られるが、こ
の方法では入力代表ベクトル５２Ａおよび辞書代表ベク
トル６２の２個のデータしか用いないので、得られた距
離値Ｄを実際の照合に用いても、照合性能が低く、高い
認識率は得られない。これに対し、入力代表ベクトル５
２Ａと辞書部分空間６３Ｃとの投影距離値ｄ₁と、辞書
代表ベクトル６２と入力部分空間５３Ｃとの投影距離値
ｄ₂とを統合することによって得られた距離値Ｄは、入
力代表ベクトル５２Ａ、辞書代表ベクトル６２に加え
て、Ｋ個の入力主成分ベクトル５３Ａ（および重み値５
３Ｂ）と、Ｌ個の辞書主成分ベクトル６３Ａ（および重
み値６３Ｂ）という、より多くのデータを利用して得ら
れたものであるから、上述した方法と比較して、照合性
能がはるかに高く、高い認識率が得られる。

【００５９】また、入力部分空間５３Ｃと辞書部分空間
６３Ｃとの角度ではなく、代表ベクトルおよび主成分ベ
クトルを用いて算出した分布間の距離値Ｄを照合に用い
るので、図１５に示したような分布配置の場合でも、正
確な照合が可能となる。また、入力画像として複数の画
像データ４Ａを用いるので、１つの入力画像データを用
いて認識するシステムに比べると、照合性能がはるかに
高い。なお、距離値Ｄの計算に用いる辞書主成分ベクト
ル６３Ａおよび入力主成分ベクトル５３Ａは、ともに直
交基底であることが好ましい。直交基底である主成分ベ
クトル６３Ａ，５３Ａを用いて距離値の計算を行うこと
により、直交基底でない場合と比較して、短時間で高精
度の照合結果を得ることができ、認識率を向上させるこ
とができるからである。

【００６０】次に、図１に示した画像認識システムの辞
書データ学習の動作について説明する。図７は、この辞
書データ学習の動作の流れを示すフローチャートであ
る。また、図８は、辞書学習に用いる学習画像の一例を
示す図である。まず、辞書学習に用いる学習画像群と、
この学習画像群に対応するカテゴリＩＤを入力する（図
７のステップＳ１）。この学習画像群は、例えば図８に
示すように、カテゴリ１の学習画像データ９１、カテゴ
リ２の学習画像データ９２、カテゴリ３の学習画像デー
タ９３のように、特定のカテゴリに属する複数（Ｍ個）
の画像データからなる。

【００６１】つぎに、入力されたＭ個の学習画像データ
のそれぞれに対して特徴抽出を行い、Ｍ個の辞書特徴デ
ータを得る（図７のステップＳ２）。つぎに、得られた
辞書特徴データ群を代表する１つのベクトルを生成し、
辞書代表ベクトルとする（図７のステップＳ３）。つぎ
に、辞書特徴データ群から辞書代表ベクトルを除いた成
分について、その分布を代表するＬ個の辞書主成分ベク
トルを含む辞書主成分データを生成する（図７のステッ
プＳ４）。こうして得られた辞書代表ベクトルおよび辞
書主成分データを辞書データとして、カテゴリＩＤによ
って分類し辞書格納部３に格納する（図７のステップＳ
５）。他のカテゴリについて学習するかどうかを判断し
（図７のステップＳ６）、学習する場合には学習画像群
の入力（図７のステップＳ１）から作業を繰り返す。作
成が終了したら学習動作を終了する。

【００６２】次に、図１に示した画像認識システムの認
識動作について説明する。図９は、この認識動作の流れ
を示すフローチャートである。また、図１０は、認識対
象の入力画像の一例を示す図である。まず、認識対象の
画像群を入力する（図９のステップＳ１１）。この入力
画像群は、例えば図１０に示すように、同じ対象物体を
撮影して得られた複数（Ｎ個）の画像データ９０からな
る。

【００６３】つぎに、入力されたＮ個の入力画像データ
のそれぞれに対して特徴抽出を行い、Ｎ個の入力特徴デ
ータを得る（図９のステップＳ１２）。つぎに、得られ
た入力特徴データ群を代表する１つのベクトルを生成
し、入力代表ベクトルとする（図９のステップＳ１
３）。つぎに、入力特徴データ群から入力代表ベクトル
を除いた成分について、その分布を代表するＫ個の入力
主成分ベクトルを含む入力主成分データを生成する（図
９のステップＳ１４）。

【００６４】つぎに、辞書格納部３にカテゴリ毎に格納
されている辞書データを読み出し、入力代表ベクトルお
よび入力主成分データを用いて、辞書データとの距離値
をカテゴリ毎に計算する（図９のステップＳ１５）。そ
して、これらの中で最小の距離値を求める（図９のステ
ップＳ１６）。つぎに、最小距離値が閾値よりも小さい
かどうかを判断する（図９のステップＳ１７）。最小距
離値が閾値よりも小さいときは、最小距離となったカテ
ゴリを認識結果として出力して終了する（図９のステッ
プＳ１８）。逆に、最小距離値が閾値以上であるとき
は、該当クラスなしを出力して終了する（図９のステッ
プＳ１９）。ここでは、最小距離値が閾値と等しい場
合、ステップＳ１９に移行することとしたが、ステップ
Ｓ１８に移行するようにしてもよいことは言うまでもな
い。

【００６５】（第２の実施の形態）図１１は、本発明の
第２の実施の形態である顔画像認識システムの構成を示
すブロック図である。この顔画像認識システムは、顔画
像検出部１００と、学習部１０２と、顔辞書格納部１０
３と、照合部１０５とから構成されている。顔画像検出
部１００は、ビデオ映像などの画像シーケンスの各フレ
ームから人間の顔が映っている顔画像データを選択す
る。辞書データ学習動作の際には、選択された顔画像デ
ータを学習部１０２に出力し、認識動作の際には、照合
部１０５に出力する。顔画像データを選択する方法とし
ては、人間の肌の色に近い色の領域の面積、動きのある
領域の面積がある閾値以上になったときに顔があると判
断する方法がある。また、人間が手動で顔が撮影された
画像群を画面で見ながら選択する方法もある。

【００６６】学習部１０２の動作は、図１における学習
部２の動作と同じである。顔辞書格納部１０３の動作
は、レコードとして人間の顔画像を対象とした辞書デー
タが格納されることを除き、図１における辞書格納部３
の動作と同じである。照合部１０５の動作は、図１にお
ける照合部５の動作と同じである。図８に示す顔画像認
識システムは、人間の顔を対象とし、入力された画像に
映る人物が誰なのかを認識することができ、セキュリテ
ィ、監視、ヒューマンインターフェース等に利用するこ
とができる。

【００６７】（第３の実施の形態）図１２は、本発明の
画像認識システムである第３の実施の形態の構成を示す
ブロック図である。この画像認識システムは、プログラ
ム制御により動作するコンピュータ１１０と、識別対象
画像及び学習画像を取り込みコンピュータ１１０に出力
するカメラ１２１と、コンピュータ１１０に対してオペ
レータが認識の指示及び学習の指示を与えるための操作
卓１２２と、コンピュータ１１０から出力された認識結
果を表示する表示装置１２３とから構成されている。コ
ンピュータ１１０は、演算処理部１１１と記憶部１１２
とインタフェース部（以下、Ｉ／Ｆ部という）１１３₁
〜１１３₄とがバス１１４に接続された構成となってい
る。Ｉ／Ｆ部１１３₁〜１１３₃は、コンピュータ１１
０の外部装置であるカメラ１２１、操作卓１２２、表示
装置１２３とインタフェースをとる。

【００６８】コンピュータ１１０の動作を制御する画像
認識プログラムは、磁気ディスク、半導体メモリその他
の記録媒体１２４に記録された状態で提供される。この
記録媒体１２４をＩ／Ｆ部１１３₄に接続すると、演算
処理部１１１は記録媒体１２４に書き込まれた画像認識
プログラムを読み出し、記憶部１１２に格納する。その
後、操作卓１２２からの指示に基づき、演算処理部１１
１が記憶部１１２に格納された画像認識プログラムを実
行し、図１に示した学習部２と、辞書格納部３と、照合
部５とを実現する。なお、画像認識プログラムは、イン
ターネットなどの電気通信回線を介して提供されてもよ
い。

【００６９】コンピュータ１１０は、図７および図９の
フローチャートに示す動作を行う。すなわち、操作卓１
２２より学習の指示があり、カメラ１２１から学習画像
データ群が入力されるとともに操作卓から対応するカテ
ゴリＩＤが入力されると、学習画像データ群の特徴抽出
を行い、得られた辞書特徴データ群を基に辞書代表ベク
トルおよび辞書主成分データを生成し、この辞書代表ベ
クトルおよび辞書主成分データをカテゴリＩＤによって
分類し、記憶部１１２によって構成される辞書格納部に
辞書データとして格納する。つぎに、他のカテゴリにつ
いて学習するかどうかを判断し、学習する場合には学習
画像データの入力から作業を繰り返す。作成が終了した
ら学習動作を終了する。

【００７０】また、操作卓１２２より認識の指示があ
り、カメラ１２１から識別対象の画像データ群が入力さ
れると、特徴抽出を行い、得られた入力特徴データ群を
基に入力代表ベクトルおよび入力主成分データを生成す
る。つぎに、辞書格納部にカテゴリ毎に格納されている
辞書データを読み出し、入力代表ベクトルおよび入力主
成分データを用いて、辞書データとの距離値をカテゴリ
毎に計算する。そして、これらの中で最小の距離値を求
め、最小距離値が閾値よりも小さいかどうかを判断す
る。最小距離が閾値よりも小さいときは、最小距離とな
ったカテゴリを認識結果として表示装置１２３に表示
し、逆に最小距離が閾値以上であるときは、該当クラス
がない旨を表示装置１２３に表示し、認識動作を終了す
る。なお、演算処理部１１１が画像認識プログラムを実
行することにより、図１１に示した顔画像検出部１００
と、学習部１０２と、顔辞書格納部１０３と、照合部１
０５とを実現させることもできる。

【００７１】

【発明の効果】以上説明したように、本発明では、Ｋ個
の入力主成分ベクトル、入力代表ベクトル、Ｌ個の辞書
主成分ベクトルおよび辞書代表ベクトルを用いて入力部
分空間と辞書部分空間との距離値を算出し、算出された
距離値を照合に用いる。これにより、複数の入力特徴分
布が同じ入力部分空間内に存在する場合でも、各入力特
徴分布の配置が異なれば距離値も異なるので、入力画像
群を正しく判別することができる。また、本発明では、
複数の入力画像を用い、しかも複数の入力画像から得ら
れた多くのデータを有効に利用して距離値を算出し、こ
の距離値を照合に用いるので、１つの入力画像を用いて
認識を行なう場合と比較して、照合性能がはるかに高
く、高い認識率が得られる。したがって、同一物体の照
明による変動、向きによる変動、変形などを吸収し、頑
強な認識システムおよび方法を構築することが可能とな
る。

【００７２】また、直交基底である主成分ベクトルを用
いて距離値の計算を行うことにより、直交基底でない場
合と比較して、短時間で高精度の照合結果を得ることが
でき、認識率を向上させることができる。また、辞書主
成分ベクトルおよび辞書代表ベクトルを生成する手段を
設けることにより、または、かかる処理を行うことによ
り、辞書データの内容を随時更新し、急激な内容変化に
対応することができる。また、入力される画像シーケン
スから顔画像データを選択する手段を設けることによ
り、または、かかる処理を行なうことにより、人間の顔
画像を用いて画像中の人物を同定するシステムを構築す
ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態である画像認識シ
ステムの構成を示すブロック図である。

【図２】図１に示す画像認識システムによる処理を概
念的に示す図である。

【図３】辞書格納部の一構成例を示すブロック図であ
る。

【図４】識別部の一構成例を示すブロック図である。

【図５】距離算出部の一構成例を示すブロック図であ
る。

【図６】距離算出部の動作を説明する概念図である。

【図７】図１に示す画像認識システムの辞書データ学
習の動作の流れを示すフローチャートである。

【図８】辞書学習に用いる学習画像の一例を示す図で
ある。

【図９】図１に示す画像認識システムの認識動作の流
れを示すフローチャートである。

【図１０】認識対象の入力画像の一例を示す図であ
る。

【図１１】本発明の第２の実施の形態である顔画像認
識システムの構成を示すブロック図である。

【図１２】本発明の画像認識システムである第３の実
施の形態の構成を示すブロック図である。

【図１３】従来の画像認識システムの構成を示すブロ
ック図である。

【図１４】従来の画像認識システムで用いられる類似
度を示す概念図である。

【図１５】従来の画像認識システムの問題点を示す概
念図である。

【符号の説明】

１…学習画像群入力部、１Ａ…学習画像データ１Ａ、１
Ｂ…カテゴリＩＤ、２…学習部、３…辞書格納部、４…
識別対象画像群入力部、５…照合部、５Ａ…認識結果、
２１…学習画像特徴抽出部、２１Ａ…辞書特徴データ、
２１Ｂ，２１Ｂ′…辞書特徴分布、２２…辞書代表ベク
トル生成部、２２Ａ…辞書代表ベクトル、２３…辞書主
成分データ生成部、２３Ａ…辞書主成分ベクトル、２３
Ｂ…重み値、３１〜３Ｃ…レコード記憶部、５１…入力
画像特徴抽出部、５１Ａ…入力特徴データ、５１Ｂ…入
力特徴分布、５２…入力代表ベクトル生成部、５２Ａ…
入力代表ベクトル、５３…入力主成分データ生成部、５
３Ａ…入力主成分ベクトル、５３Ｂ…重み値、５３Ｃ…
入力部分空間、５４…距離算出部、５４Ａ…距離値、５
５…識別部、６１…レコード番号、６２…辞書代表ベク
トル、６３…辞書主成分データ、６３Ａ…辞書主成分ベ
クトル、６３Ｃ…辞書部分空間、６４…カテゴリＩＤ、
７１…最小値算出部、７２…閾値処理部、８１…入力投
影距離算出部、８２…辞書投影距離算出部、８３…統合
部、９０…識別対象の入力画像データ、９１〜９３…学
習画像データ、１００…顔画像検出部、１０２…学習
部、１０３…顔辞書格納部、１０５…照合部、１１０…
コンピュータ、１１１…演算処理部、１１２…記憶部、
１１３…インタフェース部、１１４…バス、１２１…カ
メラ、１２２…操作卓、１２３…表示装置、１２４…記
憶媒体、５０１…画像入力部、５０２…辞書記憶部、５
０３…部分空間間の角度計算部、５０４…認識部、５１
１，５１１Ａ〜５１１Ｃ…入力特徴分布、５１２…入力
部分空間、５２１…辞書特徴分布、５２２…辞書部分空
間、Ｄ，ｄ₁，ｄ₂…距離値、Ｏ…座標系の原点、Ｐ…辞
書代表ベクトルの終点、Ｑ…入力代表ベクトルの終点、
Ｓ１〜Ｓ６…学習動作のステップ、Ｓ１１〜Ｓ１９…認
識動作のステップ、Ｖ₁…入力代表ベクトル、Ｖ₂…辞書
代表ベクトル、Θ…角度。

Claims

【特許請求の範囲】

【請求項１】同じ対象が撮影された複数の入力画像と
予め登録された辞書データとを照合し認識結果を出力す
る画像認識システムであって、前記入力画像から得られた入力特徴データを含む入力部
分空間を生成する入力部分空間生成手段と、前記入力部分空間に属する任意のベクトルである入力代
表ベクトルを生成する入力代表ベクトル生成手段と、前記辞書データから得られた辞書特徴データを含む辞書
部分空間およびこの辞書部分空間に属する任意のベクト
ルである辞書代表ベクトルを格納する辞書格納手段と、前記入力部分空間と前記辞書代表ベクトルとの距離およ
び前記辞書部分空間と前記入力代表ベクトルとの距離に
基づいて前記認識結果を生成する照合手段とを備えたこ
とを特徴とする画像認識システム。
【請求項２】同じ対象が撮影された複数の入力画像と
予め登録された辞書データとを照合し認識結果を出力す
る画像認識システムであって、前記入力画像から得られた入力特徴データを含む入力部
分空間に属する任意のベクトルである入力代表ベクトル
を生成する入力代表ベクトル生成手段と、任意のＫ個（Ｋは自然数）の入力特徴データのそれぞれ
と前記入力代表ベクトルとの差を表すＫ個の入力主成分
ベクトルを生成する入力主成分データ生成手段と、前記辞書データから得られた辞書特徴データを含む辞書
部分空間に属する任意のベクトルである辞書代表ベクト
ルおよび任意のＬ個（Ｌは自然数）の辞書特徴データの
それぞれと前記辞書代表ベクトルとの差を表すＬ個の辞
書主成分ベクトルを格納する辞書格納手段と、前記入力主成分ベクトル、前記入力代表ベクトル、前記
辞書主成分ベクトルおよび前記辞書代表ベクトルから前
記入力部分空間と前記辞書部分空間との距離値を算出す
る距離算出手段と、この距離算出手段により算出された前記距離値に基づい
て前記認識結果を出力する識別手段とを備えたことを特
徴とする画像認識システム。
【請求項３】請求項２に記載された画像認識システム
において、前記入力主成分ベクトルおよび前記辞書主成分ベクトル
は、直交基底であることを特徴とする画像認識システ
ム。
【請求項４】請求項２または３に記載された画像認識
システムにおいて、前記入力代表ベクトルは、前記入力特徴データの平均ベ
クトルであり、前記入力主成分ベクトルは、前記入力特徴データから前
記入力代表ベクトルを減算した成分のうち、固有値が大
きい方からＫ個の固有ベクトルであり、前記辞書代表ベクトルは、前記辞書特徴データの平均ベ
クトルであり、前記辞書主成分ベクトルは、前記辞書特徴データから前
記辞書代表ベクトルを減算した成分のうち、固有値が大
きい方からＬ個の固有ベクトルであることを特徴とする
画像認識システム。
【請求項５】請求項２〜４のいずれかに記載された画
像認識システムにおいて、前記距離算出手段は、前記Ｌ個の辞書主成分ベクトルで形成される空間と前記
入力代表ベクトルとの第１の距離を算出する入力投影距
離算出手段と、前記Ｋ個の入力主成分ベクトルで形成される空間と前記
辞書代表ベクトルとの第２の距離を算出する辞書投影距
離算出手段と、前記第１および第２の距離から前記入力部分空間と前記
辞書部分空間との前記距離値を算出する統合手段とを備
えたことを特徴とする画像認識システム。
【請求項６】請求項５に記載された画像認識システム
において、前記入力代表ベクトルをＶ₁、前記辞書代表ベクトルを
Ｖ₂、前記入力主成分ベクトルをΨ_i（ｉ＝１，…，
Ｋ）、前記辞書主成分ベクトルをΦ_j（ｊ＝１，…，
Ｌ）とすると、前記入力投影距離算出手段は、式（Ａ）により前記第１
の距離ｄ₁を算出し、前記辞書投影距離算出手段は、式（Ｂ）により前記第２
の距離ｄ₂を算出することを特徴とする画像認識システ
ム。【数１】
【請求項７】請求項５に記載された画像認識システム
において、前記入力主成分データ生成手段は、さらに前記入力主成
分ベクトルのそれぞれに対応するＫ個の重みを生成し、前記辞書格納手段は、さらに前記辞書主成分ベクトルの
それぞれに対応するＬ個の重みを格納することを特徴と
する画像認識システム。
【請求項８】請求項７に記載された画像認識システム
において、前記入力主成分ベクトルに対応する重みは、前記入力主
成分ベクトルとなる前記固有ベクトルのＫ個の固有値で
あり、前記辞書主成分ベクトルに対応する重みは、前記辞書主
成分ベクトルとなる前記固有ベクトルのＬ個の固有値で
あることを特徴とする画像認識システム。
【請求項９】請求項８に記載された画像認識システム
において、前記入力代表ベクトルをＶ₁、前記辞書代表ベクトルを
Ｖ₂、前記入力主成分ベクトルをΨ_i（ｉ＝１，…，
Ｋ）、前記入力主成分ベクトルに対応する前記重みをμ
_i（ｉ＝１，…，Ｋ）、前記辞書主成分ベクトルをΦ
_j（ｊ＝１，…，Ｌ）、前記辞書主成分ベクトルに対応
する前記重みをλ_j（ｊ＝１，…，Ｌ）とすると、前記入力投影距離算出手段は、式（Ｃ）により前記第１
の距離ｄ₁を算出し、前記辞書投影距離算出手段は、式（Ｄ）により前記第２
の距離ｄ₂を算出することを特徴とする画像認識システ
ム。【数２】（ただし、σは任意の定数）
【請求項１０】請求項５、６および９のいずれかに記
載された画像認識システムにおいて、前記統合手段は、前記第１の距離ｄ₁および前記第２の
距離ｄ₂から式（Ｅ）により前記入力部分空間と前記辞
書部分空間との前記距離値Ｄを算出することを特徴とす
る画像認識システム。Ｄ＝αｄ₁＋βｄ₂ ・・・（Ｅ）（ただし、α，βは定数）
【請求項１１】請求項５、６および９のいずれかに記
載された画像認識システムにおいて、前記統合手段は、前記第１の距離ｄ₁および前記第２の
距離ｄ₂から式（Ｆ）により前記入力部分空間と前記辞
書部分空間との前記距離値Ｄを算出することを特徴とす
る画像認識システム。Ｄ＝αｄ₁・ｄ₂／（ｄ₁＋ｄ₂）・・・（Ｆ）（ただし、αは定数）
【請求項１２】請求項２〜１１のいずれかに記載され
た画像認識システムにおいて、前記辞書主成分ベクトルを生成し前記辞書格納手段に出
力する辞書主成分データ生成手段と、前記辞書代表ベクトルを生成し前記辞書格納手段に出力
する辞書代表ベクトル生成手段とをさらに備えたことを
特徴とする画像認識システム。
【請求項１３】請求項２〜１１のいずれかに記載され
た画像認識システムにおいて、入力される画像シーケンスから顔画像データを選択し前
記入力画像として前記入力主成分データ生成手段および
入力代表ベクトル生成手段に出力する顔画像検出手段を
さらに備えたことを特徴とする画像認識システム。
【請求項１４】請求項１２に記載された画像認識シス
テムにおいて、入力される画像シーケンスから顔画像データを選択し、
認識動作の際には、選択された前記顔画像データを前記
入力画像として前記入力主成分データ生成手段および入
力代表ベクトル生成手段に出力し、辞書データ学習動作
の際には、選択された前記顔画像データを前記辞書デー
タとして前記辞書主成分データ生成手段および辞書代表
ベクトル生成手段に出力する顔画像検出手段をさらに備
えたことを特徴とする画像認識システム。
【請求項１５】同じ対象が撮影された複数の入力画像
と予め登録された辞書データとを照合し認識結果を出力
する画像認識方法であって、前記入力画像から得られた入力特徴データを含む入力部
分空間およびこの入力部分空間に属する任意のベクトル
である入力代表ベクトルを生成する第１のステップと、前記辞書データから得られた辞書特徴データを含む辞書
部分空間と前記入力代表ベクトルとの第１の距離および
前記辞書部分空間に属する任意のベクトルである辞書代
表ベクトルと前記入力部分空間との第２の距離を算出す
る第２のステップと、算出された前記第１および第２の距離に基づいて前記認
識結果を出力する第３のステップとを備えたことを特徴
とする画像認識方法。
【請求項１６】同じ対象が撮影された複数の入力画像
と予め登録された辞書データとを照合し認識結果を出力
する画像認識方法であって、前記入力画像から得られた入力特徴データを含む入力部
分空間に属する任意のベクトルである入力代表ベクトル
および任意のＫ個（Ｋは自然数）の入力特徴データのそ
れぞれと前記入力代表ベクトルとの差を表すＫ個の入力
主成分ベクトルを生成する第１のステップと、前記入力代表ベクトル、前記入力主成分ベクトル、前記
辞書データから得られた辞書特徴データを含む辞書部分
空間に属する任意のベクトルである辞書代表ベクトルお
よび任意のＬ個（Ｌは自然数）の辞書特徴データのそれ
ぞれと前記辞書代表ベクトルとの差を表すＬ個の辞書主
成分ベクトルから、前記入力部分空間と前記辞書部分空
間との距離値を算出する第２のステップと、算出された前記距離値に基づいて前記認識結果を出力す
る第３のステップとを備えたことを特徴とする画像認識
方法。
【請求項１７】請求項１６に記載された画像認識方法
において、前記入力主成分ベクトルおよび前記辞書主成分ベクトル
は、直交基底であることを特徴とする画像認識方法。
【請求項１８】同じ対象が撮影された複数の入力画像
と予め登録された辞書データとを照合し認識結果を出力
する処理をコンピュータに実行させるための画像認識プ
ログラムであって、前記入力画像から得られた入力特徴データを含む入力部
分空間を生成する入力部分空間生成処理と、前記入力部分空間に属する任意のベクトルである入力代
表ベクトルを生成する入力代表ベクトル生成処理と、前記辞書データから得られた辞書特徴データを含む辞書
部分空間と前記入力代表ベクトルとの距離および前記辞
書部分空間に属する任意のベクトルである辞書代表ベク
トルと前記入力部分空間との距離に基づいて前記認識結
果を生成する照合処理とをコンピュータに実行させるた
めの画像認識プログラム。
【請求項１９】同じ対象が撮影された複数の入力画像
と予め登録された辞書データとを照合し認識結果を出力
する処理をコンピュータに実行させるための画像認識プ
ログラムであって、前記入力画像から得られた入力特徴データを含む入力部
分空間に属する任意のベクトルである入力代表ベクトル
を生成する入力代表ベクトル生成処理と、任意のＫ個（Ｋは自然数）の入力特徴データのそれぞれ
と前記入力代表ベクトルとの差を表すＫ個の入力主成分
ベクトルを生成する入力主成分データ生成処理と、前記入力代表ベクトル、前記入力主成分ベクトル、前記
辞書データから得られた辞書特徴データを含む辞書部分
空間に属する任意のベクトルである辞書代表ベクトルお
よび任意のＬ個（Ｌは自然数）の辞書特徴データのそれ
ぞれと前記辞書代表ベクトルとの差を表すＬ個の辞書主
成分ベクトルから、前記入力部分空間と前記辞書部分空
間との距離値を算出する距離算出処理と、算出された前記距離値に基づいて前記認識結果を出力す
る識別処理とをコンピュータに実行させるための画像認
識プログラム。
【請求項２０】請求項１９に記載された画像認識プロ
グラムにおいて、前記入力主成分ベクトルおよび前記辞書主成分ベクトル
は、直交基底である画像認識プログラム。
【請求項２１】請求項１９または２０に記載された画
像認識プログラムにおいて、前記入力代表ベクトルは、前記入力特徴データの平均ベ
クトルであり、前記入力主成分ベクトルは、前記入力特徴データから前
記入力代表ベクトルを減算した成分のうち、固有値が大
きい方からＫ個の固有ベクトルであり、前記辞書代表ベクトルは、前記辞書特徴データの平均ベ
クトルであり、前記辞書主成分ベクトルは、前記辞書特徴データから前
記辞書代表ベクトルを減算した成分のうち、固有値が大
きい方からＬ個の固有ベクトルである画像認識プログラ
ム。
【請求項２２】請求項１９〜２１のいずれかに記載さ
れた画像認識プログラムにおいて、前記距離算出処理として、前記Ｌ個の辞書主成分ベクトルで形成される空間と前記
入力代表ベクトルとの第１の距離を算出する入力投影距
離算出処理と、前記Ｋ個の入力主成分ベクトルで形成される空間と前記
辞書代表ベクトルとの第２の距離を算出する辞書投影距
離算出処理と、前記第１および第２の距離から前記入力部分空間と前記
辞書部分空間との前記距離値を算出する統合処理とをコ
ンピュータに実行させるための画像認識プログラム。
【請求項２３】請求項２２に記載された画像認識プロ
グラムにおいて、前記入力代表ベクトルをＶ₁、前記辞書代表ベクトルを
Ｖ₂、前記入力主成分ベクトルをΨ_i（ｉ＝１，…，
Ｋ）、前記辞書主成分ベクトルをΦ_j（ｊ＝１，…，
Ｌ）とすると、前記入力投影距離算出処理は、式（Ｇ）により前記第１
の距離ｄ₁を算出し、前記辞書投影距離算出処理は、式（Ｈ）により前記第２
の距離ｄ₂を算出する画像認識プログラム。【数３】
【請求項２４】請求項２２に記載された画像認識プロ
グラムにおいて、前記入力主成分データ生成処理は、さらに前記入力主成
分ベクトルのそれぞれに対応するＫ個の重みを生成し、前記距離算出処理は、さらに前記Ｋ個の重みおよび前記
辞書主成分ベクトルのそれぞれに対応するＬ個の重みを
用いて前記距離値を算出する画像認識プログラム。
【請求項２５】請求項２４に記載された画像認識プロ
グラムにおいて、前記入力主成分ベクトルに対応する重みは、前記入力主
成分ベクトルとなる前記固有ベクトルのＫ個の固有値で
あり、前記辞書主成分ベクトルに対応する重みは、前記辞書主
成分ベクトルとなる前記固有ベクトルのＬ個の固有値で
ある画像認識プログラム。
【請求項２６】請求項２５に記載された画像認識プロ
グラムにおいて、前記入力代表ベクトルをＶ₁、前記辞書代表ベクトルを
Ｖ₂、前記入力主成分ベクトルをΨ_i（ｉ＝１，…，
Ｋ）、前記入力主成分ベクトルに対応する前記重みをμ
_i（ｉ＝１，…，Ｋ）、前記辞書主成分ベクトルをΦ
_j（ｊ＝１，…，Ｌ）、前記辞書主成分ベクトルに対応
する前記重みをλ_j（ｊ＝１，…，Ｌ）とすると、前記入力投影距離算出処理は、式（Ｉ）により前記第１
の距離ｄ₁を算出し、前記辞書投影距離算出処理は、式（Ｊ）により前記第２
の距離ｄ₂を算出する画像認識プログラム。【数４】（ただし、σは任意の定数）
【請求項２７】請求項２２、２３および２６のいずれ
かに記載された画像認識プログラムにおいて、前記統合手段は、前記第１の距離ｄ₁および前記第２の
距離ｄ₂から式（Ｋ）により前記入力部分空間と前記辞
書部分空間との前記距離値Ｄを算出する画像認識プログ
ラム。Ｄ＝αｄ₁＋βｄ₂ ・・・（Ｋ）（ただし、α，βは定数）
【請求項２８】請求項２２、２３および２６のいずれ
かに記載された画像認識プログラムにおいて、前記統合手段は、前記第１の距離ｄ₁および前記第２の
距離ｄ₂から式（Ｌ）により前記入力部分空間と前記辞
書部分空間との前記距離値Ｄを算出する画像認識プログ
ラム。Ｄ＝αｄ₁・ｄ₂／（ｄ₁＋ｄ₂）・・・（Ｌ）（ただし、αは定数）
【請求項２９】請求項１９〜２８のいずれかに記載さ
れた画像認識プログラムにおいて、前記辞書主成分ベクトルを生成し登録する辞書主成分デ
ータ生成処理と、前記辞書代表ベクトルを生成し登録する辞書代表ベクト
ル生成処理とをさらにコンピュータに実行させるための
画像認識プログラム。
【請求項３０】請求項１９〜２８のいずれかに記載さ
れた画像認識プログラムにおいて、入力される画像シーケンスから顔画像データを選択し前
記入力画像として前記入力主成分データ生成処理および
入力代表ベクトル生成処理で使用させる顔画像検出処理
をさらにコンピュータに実行させるための画像認識プロ
グラム。
【請求項３１】請求項２９に記載された画像認識プロ
グラムにおいて、入力される画像シーケンスから顔画像データを選択し、
認識動作の際には、選択された前記顔画像データを前記
入力画像として前記入力主成分データ生成処理および入
力代表ベクトル生成処理で使用させ、辞書データ学習動
作の際には、選択された前記顔画像データを前記辞書デ
ータとして前記辞書主成分データ生成処理および辞書代
表ベクトル生成処理で使用させる顔画像検出処理をさら
にコンピュータに実行させるための画像認識プログラ
ム。