JP2002208011A - 画像照合処理システムおよび画像照合方法 - Google Patents

Abstract

(57)【要約】 【課題】 認識対象物の母集団が増えても、認識精度を
落とすことなく、高精度な識別を可能とした画像照合処
理システムを提供する。 【解決手段】 画像を特徴づける局所領域である窓画像
を抽出し、さらに、認識対象から抽出された窓画像と、
他の登録されている認識対象から抽出した窓画像とを比
較照合し、両者の特徴ベクトルに沿って特徴空間上に投
影した場合に、両者の距離が大きいもの程大きな重み付
けを与え、距離が小さいものには小さな重み付けを与え
る。特徴空間上での距離が大きいほど両者を明確に識別
できる窓画像となる。かかる重み付けにより本人と他人
との識別に有効な窓画像の照合結果を中心に識別判定が
でき、高精度な認識対象識別を実行できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等の画像入
力装置から入力された認識対象を含む入力画像と、予め
登録済みのモデル画像を比較照合することにより、入力
画像中に存在する認識対象を比較照合して識別する画像
照合処理に関する。本発明の画像照合処理システムは、
人物や工業製品等の任意の２次元又は３次元形状の物体
の認識処理に適用することが可能である。

【０００２】

【従来の技術】最近のデジタルカメラやビデオカメラ等
の画像入力装置の普及により、撮影した画像を容易にパ
ソコン等のコンピュータに取り込むことが可能になりつ
つある。また一方で、銀行のＡＴＭでのカード利用や、
パソコン通信によるオンライン・ショッピングなどの急
速な普及に伴い、そのシステムの利用者が本当に正しい
人物なのかあるいは不正利用者なのかを瞬時にかつ正確
に判断することが必要となるケースが近年増加しつつあ
る。このような個人識別のための手段として、従来はパ
スワード入力による識別方法が多く用いられてきたが、
近年になって、システムに設置されたカメラから人物画
像を取り込み、その顔画像から、そこに写っている人物
が誰であるか特定する顔画像照合・検索技術が注目を集
めている。このような技術を用いれば、例えば、従来、
暗証番号やパスワードを用いていたマンションやビルの
入室管理、パソコンやインターネットヘのログインを、
顔画像で代用することが可能になる。また、犯罪捜査な
どにおいても、ＡＴＭに設置された監視カメラの画像を
基に、不正利用者を割り出して犯人を特定するなどとい
った利用方法も可能となると思われる。今後、様々な撮
影環境下において安定的に高精度な照合が行える顔画像
照合・検索システムが実現できれば、上記で示したセキ
ュリティや犯罪捜査支援、さらには、自動受付端末、顧
客管理システムなど、極めて幅広い分野への応用が期待
される。

【０００３】画像中の認識対象を認識する従来技術とし
て、固有空間法を拡張した局所固有空間法（Eigen-Wind
ow法）を用いた画像照合処理技術や、局所固有空間法を
更に改良した画像処理技術として局所固有空間法の画像
特徴量を離散コサイン変換（Discrete Cosine Transfor
m：以下ＤＣＴと略記する）係数に変更した画像照合処
理技術（以下、改良局所特徴空間法を用いた画像照合処
理技術と呼ぶ）がある。

【０００４】以下に、従来の画像照合処理技術として、
改良局所特徴空間法を用いた画像照合処理技術を説明す
る。一例として人物の顔画像を認識・照合する場合を挙
げて説明する。

【０００５】この改良局所特徴空間法を用いた画像照合
処理は、画像照合に用いるモデルを作成・登録する「登
録フェーズ」と、入力画像の認識対象に対して認識・照
合処理を実行する「認識フェーズ」からなる。図１８
は、従来の改良局所特徴空間法を用いた画像照合処理の
流れを簡単に示したものである。

【０００６】「登録フェーズ」において、登録用のモデ
ル画像から対象領域の切り出し処理（Ｓ１８０１）、切
り出した画像領域中の特徴点の抽出処理（Ｓ１８０
２）、抽出した特徴点を基にした局所領域であるモデル
窓画像の選択処理（Ｓ１８０３）、選択したモデル窓画
像の低次元空間への圧縮処理（Ｓ１８０４）を経て作成
した画像照合用モデルデータを登録する（Ｓ１８０
５）。この登録データを「認識フェーズ」において画像
照合に用いる。

【０００７】「認識フェーズ」において、認識対象が撮
影された認識画像の取得処理（Ｓ１８０６）の後、取得
した入力画像から認識対象領域の切り出し処理（Ｓ１８
０７）、切り出した認識対象領域中の特徴点の抽出処理
（Ｓ１８０８）、抽出した特徴点を基にした局所領域で
ある入力窓画像の選択処理（Ｓ１８０９）、選択した入
力窓画像の低次元空間への圧縮処理（Ｓ１８１０）を
「登録フェーズ」と同様に行う。次に、登録フェーズで
あらかじめ用意した画像照合用モデルデータである各モ
デル窓画像と、認識フェーズで得た入力窓画像の両者を
窓画像の特徴空間へ投影処理（Ｓ１８１１）し、両者の
窓画像照合処理（Ｓ１８１２）を行い、特徴空間内での
距離が近いペア（以下対応窓という。）を見つける。次
に、このように得た窓画像同士での画像照合の結果を基
に画像全体の識別処理を行う。画像全体の識別処理とし
て、モデル窓画像と入力窓画像の画像内位置の差分であ
る相対位置ベクトルを求め、２次元投票マップ上の対応
する格子に投票を行う相対位置投票処理（Ｓ１８１３）
を実行し、投票マップ上でのピーク位置検出処理（Ｓ１
８１４）の結果、ピークが見られる場合には、入力画像
中に、モデル画像の認識対象と同じ認識対象が撮影され
ていることを検出する。

【０００８】上記の改良局所特徴空間法を用いた画像照
合処理により、あらかじめ用意したモデル画像を用い、
入力画像中の物体が登録モデルの認識対象と同一のもの
であるか否かを認識することができる。

【０００９】

【発明が解決しようとする課題】上記の改良局所特徴空
間法を用いた画像照合処理技術は、優れている面が多い
ものであり、今後も本技術を適用した画像照合処理シス
テムの普及が期待されている。この改良局所特徴空間法
を用いた画像照合処理システムの普及にあたりさらなる
改良が可能な点としては以下に挙げるものがある。

【００１０】第１の課題は、識別対象となる登録人物の
数が多くなった場合の認識精度のさらなる向上である。
上記の従来手法においても登録人数が少ない場合であれ
ば、入力画像中の人物が登録人物中の誰であるか、ある
いは登録人物以外の人物であるかなどを、ほぼ１００%
に近い割合で識別することも可能である。しかし、登録
人数が大きくなると、登録人物の中に顔造作が類似する
人物（例えば、双子や親子などがその極端な場合）が含
まれる確率が比較的高くなるため、誤認識が起こる可能
性がある。登録人数の規模が大きくなった場合の認識精
度のさらなる向上が求められる。

【００１１】第２の課題は、モデル窓画像が一律に選択
され、認識に有効なモデル窓画像と必ずしも有効ではな
い窓画像が混在している点である。登録フェーズにおい
てモデル画像からモデル窓画像を選択する際に、個人認
識を行う上でかならずしも有効ではない、もしくは不必
要だと思われる窓画像を多く選択してしまう場合があ
る。これは、窓画像の選択処理において、画像のエッジ
強度に基づいて窓選択位置を決定しているので、例え
ば、顔領域の切出しの結果によっては、顔部品以外に
も、額と髪の毛の境界上や、背景を含む顎周辺の顔輪郭
上、衣服の襟周辺などの位置に窓が選択されるというこ
とが起こりうる。これらの窓画像は、認識を行う上でか
ならずしも有効ではなく、その影響を抑えることが好ま
しい。

【００１２】本発明では、上記課題に鑑み、これらの課
題を解決し、モデル窓画像の選択において、本人と他人
を識別するために有効な窓、つまりその人物を特徴づけ
る固有な窓を抽出して登録し、画像照合処理において、
それらの有効な窓画像の照合結果を中心にして画像認識
を実行し、より高精度な個人識別が可能な顔画像照合処
理を実現することを目的とする。

【００１３】

【課題を解決するための手段】上記課題を解決するため
に、本発明の画像照合処理システムは、予め取り込んだ
認識対象のモデル画像から切り出された特徴的な一又は
複数の本人のモデル窓画像に対して、他の異なる認識対
象のモデル画像から切り出された一又は複数の他人のモ
デル窓画像からの識別容易性の大きさに応じて重み付け
したスコア値を与えるスコア値付与部と、認識対象が含
まれた入力画像から特徴的な一又は複数の入力窓画像を
切り出す窓画像切り出し部と、前記入力画像の各入力窓
画像と前記モデル画像の各モデル窓画像とを、その特徴
ベクトルを軸とする特徴空間に投影し、両者を対応づけ
て画像照合する画像認識処理部を備え、前記画像認識処
理部は、前記画像照合において、前記各モデル窓画像の
スコア値に従って、前記各モデル窓画像の画像照合結果
の画像照合結果全体に占める相対的な影響度合いを調整
することを特徴とする。

【００１４】上記構成により、登録するモデル窓画像の
それぞれに対してスコア値を割り当て、画像照合する上
で他の認識対象のモデル窓画像とは類似しない、特有の
特徴を持つモデル窓画像に重点を置いて、当該モデル窓
画像の画像照合結果が画像照合結果全体に占める相対的
な影響度合いを大きくすることが可能となり、画像照合
精度を向上することができる。登録モデル数が多くなっ
たとしても、他の認識対象とは異なった際立つ特徴を持
つモデル窓画像に重みをつけて画像照合することができ
るからである。

【００１５】ここで、スコア値付与部は、各モデル窓画
像ごとの識別容易性の大きさを、スコア値を付与するモ
デル画像と同じ認識対象が撮影された参照画像から切り
出した参照窓画像と、前記本人のモデル窓画像とを比較
照合した場合の一致度合いを示す本人識別性の大きさ
と、参照窓画像と、スコア値を付与するモデル画像と異
なる認識対象のモデル画像から切り出した他人のモデル
窓画像とを比較照合した場合の不一致度合いを示す他人
識別性の大きさをもとに決めることが好ましい。

【００１６】つまり、同じ認識対象である本人画像同士
では一致を示す度合いが大きく、異なる認識対象の他人
画像との間では不一致を示す度合いが大きくなる窓画像
は、画像識別処理において有効な窓画像となるからであ
る。

【００１７】一例として、前記モデル窓画像ごとの識別
容易性の大きさを決める処理において、前記本人識別性
の大きさを、前記参照窓画像の特徴空間への投影点と前
記本人のモデル窓画像の特徴空間への投影点との特徴空
間内での近さとし、前記他人識別性の大きさを、前記本
人の参照窓画像の特徴空間への投影点と前記他人のモデ
ル窓画像の特徴空間への投影点との特徴空間内での距離
とすることが好ましい。

【００１８】特徴空間内での両者の投影位置が近いほど
両者の一致を示す度合いが大きく、両者の投影点の位置
が遠いほど両者の不一致を示す度合いが大きいからであ
る。

【００１９】ここで、上記のように特徴空間内の投影点
の距離を用いる場合に、前記スコア値を付与するモデル
画像の認識対象とは異なる認識対象のモデル画像が複数
ある場合には、前記他人のモデル画像ごとに、前記参照
窓画像の特徴空間への投影点と前記他人のモデル窓画像
の特徴空間への投影点との特徴空間内での距離を求め、
それら距離の平均値をもって、前記他人識別性の大きさ
とすることが可能であり、また、それらのうち距離が小
さい上位Ｎ個の平均値をもって、前記モデル窓画像ごと
の識別容易性の大きさとすることも可能である。

【００２０】上記のように、距離が小さい上位Ｎ個の平
均値をもって前記モデル窓画像ごとの識別容易性の大き
さとする場合は、誤認識する可能性の高い上位Ｎ個の窓
画像に対してどの程度識別が容易であるかという観点か
ら識別容易性を定めることができ、誤認識が起きる可能
性を低く抑えることが可能となる。

【００２１】さらに、スコア値を付与するモデル画像と
同じ認識対象が撮影された参照画像から切り出した参照
窓画像の特徴空間への投影点と前記本人のモデル窓画像
の特徴空間への投影点との特徴空間内での距離と、前記
参照窓画像の特徴空間への投影点とスコア値を付与する
モデル画像と異なる認識対象のモデル画像から切り出し
た他人のモデル窓画像の特徴空間への投影点との特徴空
間内での距離との差分値を正規化した値を前記モデル窓
画像ごとの識別容易性の大きさとすれば、正規化によ
り、位置ずれや回転などの影響を除去した識別容易性を
定めることができる。

【００２２】次に、上記の本発明の画像照合システムに
おいて、前記参照画像として、同じ認識対象を異なる姿
勢、異なるサイズで撮影した画像を用い、それら参照画
像から切り出した参照窓画像と前記本人のモデル窓画像
とを比較照合した場合に、一致度合いを示す本人識別性
の大きさが大きいものを、環境変動に対するロバスト性
を持つ窓画像として前記相対的影響を大きくすることが
好ましい。

【００２３】上記構成により、他のモデル窓画像からの
識別が容易で、かつ、認識対象の撮影環境の変動に対し
て影響を受け難い窓画像を重要視して識別処理を実行す
ることができ、撮影環境に影響されない安定した画像照
合処理を実行することができる。

【００２４】なお、上記識別容易性を求めるにあたり、
簡易的に、他人識別性の大きさのみをもとに決めること
もでき、この場合、前記本人のモデル窓画像の特徴空間
への投影点と前記他人のモデル窓画像の特徴空間への投
影点との距離が小さいものには前記相対的影響を低く
し、大きいものには前記相対的影響を大きくすることも
可能である。

【００２５】また、本発明の画像照合処理システムにお
いて、前記スコア値付与部が、スコア値調整部を備え、
前記スコア値調整部を介した、利用者によるモデル窓画
像のスコア値の調整を可能とすることが好ましい。

【００２６】システムのアプリケーションなどにおいて
は、利用者が特定の部分に注目して画像認識したい場合
も想定され、かかる場合に利用者自らスコア値を調整で
きる。

【００２７】なお、スコア値の高いモデル窓画像の画像
照合結果全体に占める相対的な影響度合いを調整する方
法として、スコア値が与えられた後、窓画像切り出し部
が、各モデル窓画像のスコア値に従った個数分、その窓
画像近傍に位置する窓画像を追加選択して切り出す窓画
像追加処理を行い、モデル画像中のスコア値の高い画像
部分から多くのモデル窓画像を選ぶことにより、前記各
モデル窓画像の画像照合結果が画像照合結果全体に占め
る相対的な影響度合いを調整する方法がある。

【００２８】上記構成により、スコア値が高い画像部分
の投票数が相対的に増え、スコア値の低い画像部分の投
票数が相対的に減るので、各モデル窓画像の画像照合結
果が画像照合結果全体に占める相対的な影響度合いを調
整することが可能となる。

【００２９】次に、本発明の画像照合処理システムにお
いて、認識フェーズの処理として、前記画像認識処理部
は、画像照合処理として、各モデル窓画像ごとの照合結
果を重畳投票することにより認識する入力画像とモデル
画像との画像照合を行い、前記重畳投票を、各モデル窓
画像のスコア値に従った重み付け投票により行うことに
より、前記各モデル窓画像の画像照合結果が画像照合結
果全体に占める相対的な影響度合いを調整することが好
ましい。

【００３０】上記構成により、認識フェーズの投票空間
での投票処理において、スコア値に沿った重み付け投票
を行うことができ、認識に有効な窓画像の照合結果の影
響を大きくし、認識には有効でない窓画像の照合結果の
影響を小さくし、誤認識を抑えることができる。

【００３１】本発明の画像照合処理システムは、上記の
画像照合処理システムを実現する処理ステップを記録し
たコンピュータ読み取り可能な記録媒体から処理プログ
ラムを読み込むことにより、コンピュータを用いて構築
することができる。

【００３２】

【発明の実施の形態】（実施形態１）実施形態１にかか
る画像照合処理システムは、登録フェーズにおいて、取
り込んだ認識対象のモデル画像から切り出された特徴的
な一または複数の本人の各モデル窓画像に対し、他の異
なる認識対象のモデル画像から切り出した他人の各モデ
ル窓画像に対する識別容易性の大きさに応じて重み付け
したスコア値を与え、画像照合する上で他の画像の窓画
像とは類似しない識別に有効な特徴を大きく持つ窓画像
に対してその影響度合いが大きくなるように調整するも
のである。このスコア値付与を受け、認識フェーズにお
いて、認識対象が含まれた入力画像の窓画像とモデル窓
画像とを対応づけて画像照合する際には、スコア値に従
って各モデル窓画像の画像照合結果の画像照合結果全体
に占める相対的な影響度合いを調整するため、重み付け
投票を行うものである。

【００３３】従来手法では、モデル画像と入力画像を比
較照合して類似度計算を行う際に、それぞれのモデル窓
画像に対して、他人のモデル窓画像との類似関係を考慮
せず、一律に同一の重み（影響力）を与えた状態で対応
窓の相対位置投票処理が行われていた。他人のモデル窓
画像と類似する窓画像や、顔部品以外の位置に選択され
た不安定な窓画像は、認識には有効な窓画像とは言えな
い。そこで、本発明の画像照合処理システムでは、認識
対象となるモデル画像中の各モデル窓画像に対して、認
識に対する有効性・重要度を表す「スコア」という考え
方を導入したものである。

【００３４】以下、実施形態１にかかる本発明の画像照
合処理システムを説明する。特に顔画像の画像照合への
適用を例にとって説明する。

【００３５】本発明の画像照合処理システムは、画像照
合に用いるモデルを作成する「登録フェーズ」と、入力
画像の認識対象に対して認識・照合処理を実行する「認
識フェーズ」の２つのフェーズを持っている。

【００３６】まず、「登録フェーズ」の処理手順を図１
のフローチャートを参照しつつ示す。この登録フェーズ
では、認識・照合したい２次元又は３次元物体、ここで
は認識したい人物の顔画像の基本姿勢画像（正面向きな
ど）を画像照合処理に用いるモデルとして生成、整理し
て登録する。

【００３７】（１）対象領域切り出し処理（ステップＳ
１０１） モデル画像とする人物顔画像を切り出して取得する。こ
の処理は必須の処理ではないが、あらかじめ対象領域を
絞っておく方が好ましい。取り込むデータは、正面顔画
像の撮影画像データを外部からファイル形式で入力して
も良く、このようなデータがない場合にはカメラなど画
像入力装置を介して登録する人物の正面顔画像を撮影し
て取り込んでも良い。図２に人物顔画像の取り込み例を
示す。他の人物のモデル画像も同様に取り込む。

【００３８】（２）画像特徴点検出処理（ステップ１０
２） 取り込んだモデル画像から、画像の特徴点を検出する。
特徴点は何らかの指標を用いて検出・選択する。例え
ば、画像の表面模様であるテクスチャの複雑さに関する
指標を表わすテクスチャ度がしきい値以上に大きい点、
エッジ強度（エッジ成分に関する指標）がしきい値以上
に大きい点、色情報が所定範囲内にある点など画像上の
一種の特異点を選択する方式がある。また、取り込み画
像中の認識対象に対する知識を利用してそれらの重要部
分（目や口など特徴的な部分）を選択する方式等が考え
られる。図３（ａ）は、２人のモデル画像について、特
徴点を選択した例を簡易的に表わしたものである。

【００３９】（３）窓画像選択処理（ステップＳ１０
３） 選択された特徴点を基に当該特徴点を囲む小さい領域、
例えば矩形の局所領域を窓画像として選択する。それら
特徴点の周辺の局所領域を窓画像としてそれぞれ選択す
る。例えば、１５ドット×１５ドットの小正方形とす
る。図３（ａ）のモデル画像に対する処理には図示して
いないが、後述する認識画像に対する処理を示す図３
（ｂ）に簡易的に示したように、窓画像が切り出され
る。

【００４０】（４）窓画像圧縮処理（ステップＳ１０
４） 選択した窓画像を低次元空間に圧縮し、各モデル画像毎
にモデル窓画像として整理して保持する。例えば、Ｎ×
Ｎピクセルサイズの窓画像が持つＮ×Ｎ次元空間をｋ
（ｋ＜N×N）次元空間に圧縮投影する。その空間内での
窓群の分布状態を考慮して無駄な次元を削減することが
でき、特徴空間内の窓分布状態をなるべく保ったまま、
より低い次元の特徴空間へ変換することが可能となる。

【００４１】この低次元空間への圧縮方法として、局所
固有空間法ではＫＬ展開を用いて特徴空間にマッピング
する方法が採られ、改良局所特徴空間法では窓画像デー
タからＤＣＴ係数を計算し、直流成分を除いて低周波の
係数を適度に選択することによって低次元空間に圧縮す
る方式が採られる。後者の例を説明すると、例えば、原
画像である窓画像が１５ドット×１５ドットとすると２
２５次元であるが、ＤＣＴ係数を計算し、直流成分を除
いて画像の特徴を良く表わす低周波の係数を２０個選択
して２０次元空間に圧縮することができる。図３（ａ）
の矢印は低次元空間に投影される様子を簡易的に表わし
たものである。

【００４２】（５）モデル窓画像スコア値計算処理（ス
テップＳ１０５） 各モデル窓画像ごとにスコア値を割り当てる。後述する
認識フェーズにおける画像照合処理において、入力窓画
像と比較照合した場合に、対応窓画像両者の特徴空間内
距離が、同一人物の認識窓画像との照合時に小さくな
り、かつ、他人の認識窓画像と比較照合した場合に大き
くなるというモデル窓画像に対して、そのスコア値を相
対的に高い値に設定する。逆に、対応窓画像両者の特徴
空間内距離が、同一人物の認識窓画像との比較照合時に
大きくなったり、他人の認識窓画像との比較照合時に小
さくなったするモデル窓画像に対しては、そのスコア値
を低い値に設定する。なお、このステップＳ１０５のモ
デル窓画像スコア値計算処理の詳細は後述する。

【００４３】（６）画像照合用モデルデータの登録処理
（ステップＳ１０６） 各窓画像に対してスコア値が割り当てられたモデル画像
データを画像照合用モデルデータとして登録・管理す
る。

【００４４】以上の登録フェーズの処理ステップによ
り、登録する人物の顔画像から低次元の画像照合用モデ
ルを生成、整理して登録する。

【００４５】ここで、上記のステップＳ１０５のモデル
窓画像スコア値計算処理をさらに詳しく説明する。

【００４６】モデル窓画像のスコア値の計算方法を複数
通り示す。以下、図４から図７を参照しつつ、モデル窓
スコアの計算方法の例を示す。ここでは登録人物Ａのモ
デル窓画像のスコア値を計算する場合を例にとって説明
する。

【００４７】図４は、登録人物Ａのモデル窓画像のスコ
ア値を計算する概念を模式的に示した図である。図４に
おいて、５００ａが人物Ａのモデル画像、５００ｂが人
物Ｂのモデル画像、５００ｃが人物Ｃのモデル画像、５
００ｚが人物Ｚのモデル画像である。なお、Ｚは便宜上
付した記号であり、モデル数は任意の数で良い。

【００４８】この例では、モデル画像Ａのモデル窓画像
のスコア値の計算に際し、同じ人物Ａが撮影された別の
参照画像５１０を用意する。この人物Ａが撮影された参
照画像５１０と人物Ａのモデル画像５００ａとを比較す
ることにより、本人画像同士を比較照合した場合におけ
る一致性、つまり、「本人識別性」を示す大きさである
本人対応窓距離（Ｄtrue）を計算し、その結果をスコア
値に加味する。また、人物Ａが撮影された参照画像５１
０と他のモデル画像５００ｂ〜５００ｚとを比較するこ
とにより、他人画像と比較照合した場合における不一致
性、つまり、他人識別性を示す大きさである他人対応窓
距離（Ｄfalse）を計算し、その結果をスコア値に加味
する。

【００４９】なお、同じ人物Ａが撮影された参照画像５
１０は、モデル画像撮影時からインターバルを置かずに
続けて撮影した画像より、多少撮影時にインターバルを
設けた方がより望ましいスコアが得られると予測され
る。多少の経時変化や環境変化があった方が、それら変
化に影響されにくい窓画像を選択してスコア値を高く設
定することが可能となる。

【００５０】図４に示したスコア値の計算方法による処
理の流れを図５のフローチャートを参照しつつ説明す
る。

【００５１】図５のステップに先立ち、同じ人物Ａが撮
影された参照画像５１０に対しても、図１のフローに示
した対象領域切り出し処理（ステップＳ１０１）、画像
特徴点検出処理（ステップＳ１０２）、窓画像選択処理
（ステップＳ１０３）、窓画像圧縮処理（ステップＳ１
０４）を実行し、人物Ａのモデル窓画像データを生成し
ておく。

【００５２】まず、同じ人物Ａが撮影された参照画像５
１０から切り出した参照窓画像を取り出し（ＷＡとす
る）、当該参照窓画像ＷＡに対応する人物Ａのモデル画
像５００ａ中のモデル窓画像Ｗａを探索する（ステップ
Ｓ５０１）。

【００５３】次に、参照窓画像ＷＡと探索したモデル窓
画像Ｗａとを特徴空間内に投影し、本人対応窓距離（Ｄ
true）を計算する（ステップＳ５０２）。

【００５４】同様に、その参照窓画像ＷＡに対応する他
の人物Ｂ〜Ｚのモデル画像５００ｂ〜５００ｚのモデル
窓画像Ｗｂ，Ｗｃなどを探索し（ステップＳ５０３）、
その特徴空間距離である他人対応窓距離（Ｄfalse）を
求める（ステップＳ５０４）。

【００５５】本人対応窓距離（Ｄtrue）と他人対応窓距
離（Ｄfalse）に基づいてスコア値を計算する（ステッ
プＳ５０５）。

【００５６】ここで、本人対応窓距離（Ｄtrue）と他人
対応窓距離（Ｄfalse）に基づいてスコア値を計算には
いく通りかの方法がある。

【００５７】第１の計算方法は、人物Ａ以外の全ての登
録人物Ｂ〜Ｚに対する他人対応窓距離Ｄfa1seの平均値
Ａｖｅ（fa1se）を計算し、以下の（数１）に示す関係
式によりモデル窓のスコア値を決定する方法がある。

【００５８】

【数１】 Ｓｃｏｒｅ＝ｆ₁(Ａｖｅ（Ｄfa1se），Ｄtrue) ここで関数ｆ₁は、単純に他人対応窓平均値Ａｖｅ（fa1
se）と本人対応窓距離Ｄtrueの差分をそのまま“Ｓｃｏ
ｒｅ”とする場合や、両者の比を“Ｓｃｏｒｅ”とする
場合、さらには全モデル窓画像のスコアが０〜１００の
値を取るように正規化するなどの計算方法がある。

【００５９】第２の計算方法は、上記第１の計算方法の
ように、人物Ａ以外の全ての登録人物Ｂ〜Ｚに対する他
人対応窓距離Ｄfa1seの平均値Ａｖｅ（fa1se）を用いる
代わりに、他人対応窓距離Ｄfa1seの値が比較的に小さ
な、つまり、人物Ａの参照窓画像ＷＡと類似する窓画像
を持つモデル画像５００ｂ〜ｚのうち上位Ｎ位までの人
物の対応窓距離Dfa1seの平均値を他人対応窓平均値Ａｖ
ｅ（fa1se）として用い、（数１）に示す関係式により
によりモデル窓のスコア値を決定する計算方法である。

【００６０】スコア計算処理が未処理であるモデル窓画
像があれば（ステップＳ５０６：Ｙ）、上記ステップＳ
５０１〜ステップＳ５０５の処理を繰り返し実行し、全
モデル窓画像のスコア値を得る。

【００６１】なお、図４に示したスコア値の計算方法に
よる処理に代え、他の計算方法を用いることも可能であ
る。図６は、登録人物Ａのモデル窓画像のスコア値を計
算する第２の概念を模式的に示した図である。参照画像
として静止画を与える代わりに、画像系列を与え、各フ
レーム画像に対して求められたモデル窓スコアを時間累
積することによりスコア値を求める方法である。各フレ
ーム画像一つ一つのモデル窓画像に対するスコア値の計
算方法自体は、上記図５のフローと同様で良い。また、
図７は、登録人物Ａのモデル窓画像のスコア値を計算す
る第３の概念を模式的に示した図である。図７のように
人物Ａの参照画像５１０を用いずに、モデル画像５００
ａと他の人物のモデル画像５００ｂ〜ｚと比較照合し
て、他人対応窓距離Ｄfalseのみを求め、（数１）に代
え、（数２）の関係式を用いてスコア値を計算する方法
である。

【００６２】

【数２】Ｓｃｏｒｅ＝ｆ₂(Ａｖｅ（Ｄfa1se）) （数２）の関数ｆ₂は、（数１）の関数ｆ₁のように本人
対応窓距離Ｄtrueを用いず、他人対応窓平均値Ａｖｅ
（fa1se）のみをパラメタとする関数である。例えば、
他人対応窓平均値Ａｖｅ（fa1se）の距離が大きいモデ
ル窓画像のスコア値を小さく設定する。

【００６３】以上の処理により、各モデル窓画像に対し
てスコア値を割り当てる。

【００６４】図８は、スコア値に注目した、従来の局所
固有空間法による画像照合処理システムのモデル窓画像
と本発明の画像照合処理システムにおけるモデル窓画像
を比較したものである。図８に示すように、従来のもの
では選択された全モデル窓画像が、その位置や重要度に
関わらず全て一定の影響力（スコア値）を持っていたの
に対し、本発明は、各モデル窓ごとに、重要度を示すス
コア値を計算し、そのスコア値に応じて類似度計算を行
う投票処理における各モデル窓画像の影響力を調整でき
るため、モデル窓画像の認識における有効性を加味して
認識処理を実行することが可能となる。その結果、従来
方法のものと比較し、他人識別性の高いモデル窓画像の
画像照合結果がより強調され、差異を明確に示さないモ
デル窓画像の画像照合結果の影響は低く抑えられるた
め、認識精度が向上することとなる。例えば、比較的登
録人物数が大きい場合においても、より高い精度で顔画
像照合処理を実行することが可能となる。またそれと同
時に、顔部品以外の比較的不安定な位置に選択された窓
画像のスコア値を低く設定することができるため、識別
処理にとって有効でない窓の影響力を小さく抑えること
ができる。

【００６５】次に、「認識フェーズ」の処理手順を図９
のフローチャートを参照しつつ示す。

【００６６】この認識フェーズでは、認識・照合したい
人物の顔を撮影した画像を取り込み、登録されているモ
デル画像と画像照合し、どの人物であるかを認識する。

【００６７】（１）認識対象画像取得処理（ステップＳ
９０１） 認識対象となる人物の顔画像が写りこんだ人物顔画像を
取得する。正面顔画像の撮影画像データを外部からファ
イル形式で入力しても良く、このようなデータがない場
合にはカメラなど画像入力装置を介して登録する人物の
正面顔画像を撮影して取り込む。入退室管理システムな
どでは後者の場合が多い。ここでは図２に示したように
顔画像を取り込むこととする。

【００６８】（２）認識対象領域切り出し処理（ステッ
プＳ９０２） 入力画像中から認識対象となる人物顔画像を切り出す。
この際、認識対象となる人物の顔画像領域の位置を推定
しても良く、また、常に一定の矩形領域を切り出しても
よい。人物の顔画像領域の位置推定方法としては、肌領
域を検出することで顔画像領域と推定する方法が知られ
ている。なお、この認識対象領域切り出し処理は必須の
処理ではないが、あらかじめ認識対象領域を絞っておく
方が好ましい。図３（ｂ）の画像は認識対象領域を切り
出した例を簡易的に表わしたものである。

【００６９】（３）画像特徴点検出処理（ステップ９０
３） 切り出した認識対象顔画像から特徴点を検出する（ステ
ップＳ９０３）。登録フェーズと同様の指標を用いて特
徴点を選択しても良く、また、より適した他の指標を用
いて特徴点の選択を実行しても良い。図３（ｂ）の顔画
像に付された点は選択された特徴点を簡易的に表わした
ものである。

【００７０】（４）窓画像選択処理（ステップＳ９０
４） 選択した特徴点を基にその局所領域を入力窓画像として
選択する。登録フェーズと同様、例えば、１５ドット×
１５ドットの小正方形として選択する。図３（ｂ）は選
択された窓画像を１つのみ簡単に示した。

【００７１】（５）窓画像圧縮処理（ステップＳ９０
５） 選択した入力窓画像を登録フェーズと同一の低次元空間
に圧縮する。ここでは、登録フェーズと同様、改良局所
特徴空間法を用いて低次元空間に圧縮する方法を採り、
原画像である窓画像からＤＣＴ係数を計算し、直流成分
を除いて画像の特徴を良く表わす低周波の係数を２０個
選択して２０次元空間に圧縮する。図３（ｂ）の矢印は
この低次元空間への投影を簡単に表わしている。

【００７２】（６）窓画像照合処理（ステップＳ９０
６） 低次元空間内において登録済みのモデル窓画像と認識対
象の窓画像を比較し、特徴空間内での距離が近い対応窓
を見つけ、窓画像の照合処理を行なう。このようにして
対応づけられたモデル窓画像と入力窓画像の組み合わせ
に対して、画像内位置および両者の特徴空間内距離を対
応窓情報として記憶しておく。

【００７３】（７）対応窓の相対位置投票処理（ステッ
プＳ９０７） 対応窓情報に基づいて、入力画像とモデル画像を比較照
合し、対応窓同士の配置関係の整合性評価を行う。具体
的には、対応窓情報に記述されているモデル窓画像と入
力窓画像の画像内位置の差分である相対位置ベクトルを
求め、２次元投票マップ上の対応する格子に投票を行
う。

【００７４】以下に、このステップＳ９０７の対応窓の
相対位置投票処理を詳しく説明する。

【００７５】本発明の画像照合処理システムでは、相対
位置投票処理において、各モデル窓画像に割り当てられ
たスコア値に従った重み付け投票を行い、投票に占める
各モデル窓画像の影響力を加味した投票とする。つま
り、モデル窓画像のスコア値に応じて、対応窓の投票数
を変化させる。図１０は、各モデル窓画像に割り当てら
れたスコア値に従った重み付け投票の際の重み付け方法
（投票数の変化方法）を説明したものである。図１０に
おいて、横軸は特徴空間内距離、縦軸は投票数を示して
いる。図１０に示すように、投票数Ｖは２つのパラメタ
により決定される。第１のパラメタは、対応窓画像の特
徴空間内距離ｄである。特徴空間内距離ｄに反比例して
決定されている。つまり、特徴空間内距離ｄが０である
場合に投票数が最大となる。第２のパラメタは、モデル
窓画像のスコア値に比例して決められるＶbase（特徴空
間内距離ｄ＝０の場合の最大可能投票数）である。従来
手法においては、図８に見たように全ての窓画像に対し
てスコア値が一定、つまり、Ｖbaseは全ての窓画像に対
して一定値としていたが、本発明の画像照合処理システ
ムでは、各モデル窓画像スコアの値に比例するようにＶ
baseの値が設定される。そのため、高いスコア値が割り
当てられた重要度の高いモデル窓画像の持つ投票数Ｖが
相対的に大きくなり、低いモデル窓画像スコアが割り当
てられた重要度の低い窓画像では投票数Ｖが低く抑えら
れることとなる。このように、最終的投票結果を評価す
る際には、重要度の高い窓画像の照合結果がより大きな
影響力を持つことになる。

【００７６】次に、重み付け投票が実行される様子を説
明する。

【００７７】窓画像照合処理（ステップＳ９０６）で出
力された対応窓情報に基づいて、対応するモデル窓画像
と入力窓画像の特徴空間内での相対位置△Pを求める。
なお、モデル窓位置に対しては幾何変換パラメタを用い
て変換処理を行っておくことが好ましい。そして、モデ
ル画像ごとに用意された投票マップ上の△Pのポイント
に、投票数Vを投票する。図１１にこの様子を簡単に示
した。ここで、投票マップとは、モデル画像毎に用意し
た平面を格子状に区切った投票空間であり、投票とは、
投票マップ上の格子に投票に応じた値を加算する処理で
ある。投票される格子位置は、窓画像のペアの画像上で
の相対位置に応じて定められる。例えば、両者が全く同
じ位置にあれば相対位置は０となり投票マップの中心に
投票される。もし、登録モデルの顔画像と認識対象の顔
画像が同一人物のものであれば、目と目、口と口等、多
くの窓画像同士が正しく対応し合うため、それら対応し
合う窓画像同士の相対位置はほぼ一定となり、投票マッ
プ上の同じ格子位置に票が集中することとなる。一方、
登録モデルの顔画像と認識対象の顔画像が異なるもので
あれば、窓画像のうち、正しく対応し合わないものが増
え、それらの相対位置がいろいろなバラツキを持つた
め、投票マップ上の広い範囲に票が分散することとな
る。

【００７８】（９）ピーク位置検出・類似度計算処理
（ステップＳ９０８） 最後に、対応窓の相対位置投票処理（ステップＳ９０
７）の終了後、最多得票数を持つ格子（以降ピークと呼
ぶ）を見つけ、得票数をもとに登録モデルの顔画像と認
識対象の顔画像の類似度を算出し、この算出結果を基準
に画像認識・照合を行う。また、ピークの位置から、登
録物体が認識対象画像内のどこにあるかを検出すること
ができる。

【００７９】次に、上記実施形態１にかかる画像照合処
理を実行する画像照合処理システムの装置構成概略を示
す。

【００８０】図１２は実施形態１にかかる本発明の画像
照合処理システムの装置構成概略を示すブロック図であ
る。

【００８１】図１２において、１０は画像取り込み部、
２０は窓画像切り出し部、３０は窓画像圧縮部、４０は
特徴空間投影部、５０は窓画像照合部、６０はスコア値
付与部、７０はモデルデータ格納部、８０は対応窓の相
対位置投票処理部、９０は認識判定部である。

【００８２】画像取り込み部１０は、画像データを取り
込む部分である。

【００８３】窓画像切り出し部２０は、取り込んだ画像
から、画像の特徴点を検出し、選択された特徴点を基に
当該特徴点を囲む小さい領域、例えば矩形の局所領域を
窓画像として切り出す部分である。

【００８４】窓画像圧縮部３０は、窓画像を低次元空間
にマッピングし、データ圧縮する部分である。ここで
は、窓画像圧縮部３０は窓画像データからＤＣＴ係数を
計算し、直流成分を除いて低周波の係数を適度に選択す
ることによって低次元空間に圧縮する処理を実行する。

【００８５】特徴空間投影部４０は、窓画像を特徴空間
に投影する部分である。

【００８６】窓画像照合部５０は、登録済みのモデル窓
画像データと、照合対象となった窓画像データを低次元
空間である特徴空間内での距離が近い対応窓を見つけ、
窓画像の照合処理を行なう部分である。生成した対応窓
情報を記憶する。

【００８７】スコア値付与部６０は、各モデル窓画像ご
とにスコア値を割り当てる部分である。この例では、ス
コア値付与部６０は、スコア値調整部６１を備え、利用
者が必要に応じて各モデル窓画像のスコア値をチューニ
ングすることができる構成となっている。

【００８８】モデルデータ格納部７０は、各モデル窓画
像ごとにスコア値が割り当てられたモデルデータを格納
する部分である。

【００８９】対応窓の相対位置投票処理部８０は、対応
窓情報に基づいて、入力画像とモデル画像を比較照合
し、スコア値に従った重み付け投票を行う部分であり、
対応窓同士の配置関係の整合性評価を行う部分である。
具体的には、対応窓情報に記述されているモデル窓画像
と照合対象となった窓画像の画像内位置の差分である相
対位置ベクトルを求め、２次元投票マップ上の対応する
格子に投票を行う。

【００９０】認識判定部９０は、相対位置投票処理結果
に基づいてピークの有無を検出し、入力画像の画像認識
を行う部分である。また、ピークの位置から、登録物体
が認識対象画像内のどこにあるかを検出する。

【００９１】図１のフローチャートにより説明した認識
フェーズの各処理ステップは、図１２の構成要素のう
ち、画像取り込み部１０、窓画像切り出し部２０、窓画
像圧縮部３０、特徴空間投影部４０、窓画像照合部５
０、スコア値付与部６０により実効され、モデル画像デ
ータの取り込み、対象領域切り出し処理（ステップＳ１
０１）、画像特徴点検出処理（ステップ１０２）、窓画
像選択処理（ステップＳ１０３）、窓画像圧縮処理（ス
テップＳ１０４）、モデル窓画像スコア値計算処理（ス
テップＳ１０５）、画像照合用モデルデータの登録処理
（ステップＳ１０６）までの各ステップの処理が実効さ
れる。

【００９２】また、図９のフローチャートにより説明し
た登録フェーズの各処理ステップは、図１２の構成要素
のうち、画像取り込み部１０、窓画像切り出し部２０、
窓画像圧縮部３０、特徴空間投影部４０、窓画像照合部
５０、モデルデータ格納部７０、対応窓の相対位置投票
処理部８０により実効され、認識対象画像取得処理（ス
テップＳ９０１）、認識対象領域切り出し処理（ステッ
プＳ９０２）、画像特徴点検出処理（ステップ９０
３）、窓画像選択処理（ステップＳ９０４）、窓画像圧
縮処理（ステップＳ９０５）、窓画像照合処理（ステッ
プＳ９０６）、対応窓の相対位置投票処理（ステップＳ
９０７）、ピーク位置検出・類似度計算処理（ステップ
Ｓ９０８）までの各ステップの処理が実効される。

【００９３】以上、本発明の画像照合処理システムによ
れば、その人物特有の局所特徴である他人との相違点が
より強調されるため、登録人数が大規模な場合において
も、従来手法と比較して本人棄却率や他人受理率などの
誤認識率を比較的低く抑えることが可能になる。

【００９４】（実施形態２）実施形態２にかかる画像照
合処理システムは、登録フェーズにおいて、実施形態１
と同様、モデル窓画像に対する識別容易性の大きさに応
じて重み付けして与えられたスコア値に応じ、各モデル
窓画像の画像照合結果が画像照合結果全体に占める相対
的な影響度合いを調整するものであるが、実施形態２で
は、スコア値が与えられた後、窓画像切り出し部が、各
モデル窓画像のスコア値に従った個数分、その窓画像近
傍に位置する窓画像を追加選択して切り出す窓画像追加
処理を行い、モデル画像中のスコア値の高い画像部分か
ら多くのモデル窓画像を選ぶことにより、各モデル窓画
像の画像照合結果が画像照合結果全体に占める相対的な
影響度合いを調整するものである。

【００９５】図１３は、窓画像追加処理の概念を模式的
に説明した図である。

【００９６】窓画像追加処理に先立ち、実施形態１と同
様、スコア値の割り当てが実行されている。例えば、図
１３に示すモデル画像中、モデル窓画像Ｗｎのスコア値
が“ｍ”であったとする。窓画像切り出し部２０は、モ
デル窓画像Ｗｎのスコア値“ｍ”に従った個数分、例え
ばｍ個の窓画像をそのモデル窓画像Ｗｎの近傍から追加
選択して切り出す。図１３の例ではモデル窓画像Ｗｎの
近傍からＷｎ１〜Ｗｎｍのｍ個の新たな窓画像を追加選
択して切り出している。

【００９７】このように各モデル窓画像のスコア値に従
った個数分、その窓画像近傍に位置する窓画像を追加選
択して切り出すことにより、スコア値に応じる形で認識
フェーズで窓画像照合が実効され、相対位置投票される
個数が増えるため、結果としてスコア値に応じる形で、
各モデル窓画像の画像照合結果が画像照合結果全体に占
める相対的な影響度合いを調整することができる。

【００９８】登録フェーズで窓画像追加処理を実行した
場合における認識フェーズでの処理は実施形態１で説明
した認識フェーズと同様で良い。登録フェーズで窓画像
追加処理を実行した場合、窓画像の追加数に応じて投票
マップ上の該当部分における投票数が増加することとな
る。このように登録フェーズにおいて、重要な窓画像の
周辺にその重要度に応じて窓画像を追加選択しておくこ
とにより、重要度に応じた重み付け投票ができることと
なる。実施形態１で用いたスコア値に従った重み付け投
票と同様の重み付けの効果が得られることとなる。

【００９９】（実施形態３）実施形態３にかかる画像照
合処理システムは、登録フェーズにおいて、実施形態１
と同様のモデル窓画像に対する識別容易性の大きさに応
じた重み付けに加え、モデル窓画像ごとに、撮影姿勢や
撮影状態などの環境変動にかかわらず正しく画像照合で
きるというロバスト性を評価し、そのロバスト性の大き
さに応じた重み付けも行ってスコア値を求めるものであ
る。ロバスト性の大きなモデル窓画像に対してスコア値
を大きくすることにより、入力画像の撮影環境によら
ず、そのモデル窓画像の画像照合結果は信頼の高いもの
であるので、当該モデル窓画像の画像照合結果が画像照
合結果全体に占める相対的な影響度合いを高く調整す
る。

【０１００】図１４は実施形態３にかかる本発明の画像
照合処理システムの装置構成概略を示すブロック図であ
る。

【０１０１】図１４において、画像取り込み部１０、窓
画像切り出し部２０、窓画像圧縮部３０、特徴空間投影
部４０、窓画像照合部５０、モデルデータ格納部７０、
対応窓の相対位置投票処理部８０、認識判定部９０は実
施形態１で説明した図１２と同様のものであり、ここで
の説明は省略する。図１４の構成では、スコア値付与部
６０ａは、窓画像ロバスト性評価部６２を備えている。

【０１０２】窓画像ロバスト性評価部６２は、モデル窓
画像の持つロバスト性を評価する部分であり、スコア値
付与部６０ａは、一定のロバスト性を持つモデル窓画像
のスコア値を高く重み付ける。例えば、実施形態１と同
様、識別容易性の大きさに応じて重み付けたスコア値に
対し、一定のロバスト性を持つモデル窓画像であればそ
のスコア値を２倍にしたり、逆に一定のロバスト性を持
たないモデル窓画像であればそのスコア値を０．５倍に
したりという重み付けの調整を行う。

【０１０３】以下に、環境変動に対するロバスト性の高
いロバスト窓画像の抽出原理を説明する。

【０１０４】図１５は、ロバスト窓画像の抽出原理を簡
単に説明する図である。

【０１０５】図１５の上から第１段目は登録画像群１０
０である。同じ人物の複数の画像である。ここでは撮影
環境の変動として、姿勢を連続的に変化させることと
し、姿勢を所定きざみで連続的に変化させた連続画像と
し、左端から登録画像Ａ（１）、登録画像Ａ（２）、・
・・、登録画像Ａ（ｎ）のｎ枚の画像群とした。ここで
は便宜上第１の登録画像Ａ（１）を基本登録画像とす
る。また、ここでは説明を簡単にするため第１の登録画
像Ａ（１）と第２の登録画像Ａ（ｎ）の間の画像図示は
省略したが第１の登録画像Ａ（１）から第２の登録画像
Ａ（ｎ）までの姿勢変化の中間画像が与えられているも
のとする。なお、中間画像の枚数および撮影環境の変化
のきざみは限定されることはなく、一例として示した。

【０１０６】図１５の例は姿勢の連続的に変化させた撮
影環境の違いであるが、撮影環境変動は認識フェーズで
入力が想定される様々なバリエーションのものとするこ
とが好ましい。認識フェーズで入力された画像の撮影環
境の違いに影響されないモデル窓画像を生成するため、
多様な撮影環境バリエーションに対するロバスト性を検
証しておく必要があるからである。ここで、想定されう
る撮影環境の違いとは、人物とカメラとの相対位置（距
離、方向）、照明条件（照度や照明光の波長やスペクト
ルなどの光源条件、人物と照明との相対位置（距離、方
向））、経時変化（例えば髪型、眼鏡、ひげの有無）、
表情変化（例えば無表情や笑顔）など多数あるが、これ
らは一例であり本発明は上記列挙の撮影環境の違いに限
定されない。

【０１０７】図１５の上から第２段目はトラッキング窓
画像群１１０を簡単に表した例である。撮影環境変動を
加味しない第１の窓画像選択基準として、トラッキング
による窓画像の抽出を用いる。以下、トラッキングによ
る窓画像抽出方法の一例を説明する。上記したようにこ
こでは、登録画像群のうち第１の登録画像Ａ（１）が基
本登録画像とされている。トラッキング窓画像群とは、
基本登録画像から窓画像として抽出された登録画像中の
部位（例えば、目、鼻、口）に相当する窓画像を、登録
画像群の各画像にわたりトラッキングして得た窓画像群
である。つまり、基本登録画像である第１の登録画像Ａ
（１）において左目の部位が窓画像として抽出された場
合、すべての登録窓画像群の連続画像にわたり左目の部
位の窓画像をトラッキングして各画像において抽出して
行き、このようにトラッキングして得た左目の部位の窓
画像群を意味する。ここで重要なことは連続画像の一つ
一つを個別の画像として窓画像を抽出するものではな
く、基本登録画像から窓画像として抽出された登録画像
中の部位に相当する窓画像を、登録画像群の各画像にわ
たりトラッキングして得ることである。結局、トラッキ
ングして得られる窓画像は、環境変動の影響を無視し
て、基本登録画像の環境において抽出された窓画像が、
各環境変動バリエーションの登録画像内のどの位置に存
在しているかをトラッキングした結果となる。

【０１０８】図１５でのトラッキング窓画像抽出の様子
を説明する。図１５の例では、基本登録画像Ａ（１）か
ら抽出した窓画像がＢ１（Ａ１），Ｂ２（Ａ１），・・
・，Ｂ１０（Ａ１）までの１０個である。この１０個の
窓画像に相当する画像部位がそれぞれの中間の登録窓画
像においてどこに位置するかをトラッキングして抽出し
てゆき、登録画像Ａ（２）においては、登録画像Ａ
（１）からのトラッキングの結果、Ｂ１（Ａ２），Ｂ２
（Ａ２），・・・，Ｂ１０（Ａ２）の窓画像が抽出さ
れ、登録画像Ａ（ｎ）においては、登録画像Ａ（１），
Ａ（２），・・・，Ａ（ｎ−１）からのトラッキングの
結果、Ｂ１（Ａｎ），Ｂ２（Ａｎ），・・・，Ｂ１０
（Ａｎ）の窓画像が抽出されることとなる。

【０１０９】図１５の上から第３段目は静的抽出窓画像
１２０を簡単に表した例である。撮影環境変動を加味し
た第２の窓画像選択基準として窓画像の静的抽出を用い
る。ここでいう静的抽出窓画像とは、登録画像群に含ま
れる連続画像の１枚１枚を個別に単独の画像として窓画
像を抽出したものである。つまり、撮影環境の多様なバ
リエーションに対処するための用意された各撮影環境ご
との画像から窓画像を抽出したものとなり、これは、そ
れぞれの撮影環境の影響下において認識対象画像から切
り出される窓画像となる。この静的抽出窓画像は環境変
動を受けた結果として各登録画像から抽出された窓画像
と言っても良い。

【０１１０】図１５での静的抽出窓画像抽出の様子を説
明する。いま、基本登録画像Ａ（１）から抽出した窓画
像がＣ１（Ａ１），Ｃ２（Ａ１），・・・，Ｃ１０（Ａ
１）までの１０個である。なお、これらはそれぞれ第２
段のＢ１（Ａ１），Ｂ２（Ａ１），・・・，Ｂ１０（Ａ
１）と同じものである。次に、図１５の例では、登録画
像Ａ（２）から静的につまり単独に抽出した窓画像が、
Ｄ１（Ａ２），Ｄ２（Ａ２），・・・，Ｄ１２（Ａ２）
である。ここでは１２個の窓画像が抽出されている。登
録画像Ａ（２）は環境が登録画像Ａ（１）とは異なって
いるので抽出される窓画像が、同じ１０個とは限らな
い。つまり登録画像Ａ（１）に比べてより多くの窓画像
が抽出されるかも知れないし、より少ない窓画像が抽出
されるかも知れない。つまり、トラッキング窓画像抽出
においてトラッキングの結果抽出できた窓画像であって
も、静的抽出では窓画像として抽出されないものや、逆
にトラッキングの結果抽出されていない窓画像が静的抽
出では窓画像として抽出される場合がある。このように
静的抽出窓画像は各環境個別に抽出されるものである。

【０１１１】続いて各中間画像についても同様に静的抽
出による窓画像抽出を実行して行き、登録画像Ａ（ｎ）
から静的につまり単独に抽出した窓画像が、Ｅ１（Ａ
ｎ），Ｅ２（Ａｎ），・・・，Ｅ１２（Ａｎ）であり、
１２個の窓画像が抽出されたものとする。

【０１１２】図１５の上から第４段目はロバスト窓画像
１３０を簡単に示したものである。図１５の例における
ロバスト窓画像の抽出原理は、第２段目のトラッキング
窓画像１１０と第３段目の静的抽出窓画像１２０におい
ても共通して窓画像として抽出されている窓画像を選択
するものである。つまり、分かりやすく言うと、環境変
動のバリエーションにおいて、第１の窓画像選択基準で
あるトラッキングによる窓画像抽出の結果であっても第
２の窓画像選択基準である静的抽出による窓画像抽出の
結果であっても選択されている部位の窓画像、つまり、
基本登録画像の撮影環境からの撮影環境変動にかかわら
ず選択された窓画像をロバスト窓画像として選択するも
のである。

【０１１３】図１５の例では、登録画像Ａ（１）では、
Ｆ１（Ａ１），Ｆ２（Ａ１），・・・，Ｆ１０（Ａ１）
の１０個の窓画像が選択され、登録画像Ａ（２）では、
Ｇ１（Ａ２），Ｇ２（Ａ２），・・・，Ｇ９（Ａ２）の
９個の窓画像が選択され、登録画像Ａ（ｎ）では、Ｈ１
（Ａｎ），Ｈ２（Ａｎ），・・・，Ｈ８（Ａｎ）の８個
の窓画像が選択されている。

【０１１４】次に、図１６に別のパターンのロバスト窓
画像の抽出原理の一例を示す。

【０１１５】図１６の上から第１段目は登録画像群１０
０であり、図１５と同様のものである。姿勢を所定きざ
みで連続的に変化させた連続画像であり、左端から登録
画像Ａ（１）、登録画像Ａ（２）、・・・、登録画像Ａ
（ｎ）のｎ枚の画像群である。ここでも便宜上第１の登
録画像Ａ（１）を基本登録画像とする。

【０１１６】図１６の上から第２段目はトラッキング窓
画像群１１０であり、図１５と同様のものである。図１
６の例でも、基本登録画像Ａ（１）から窓画像Ｂ１（Ａ
１），Ｂ２（Ａ１），・・・，Ｂ１０（Ａ１）までの１
０個が抽出され、登録画像Ａ（２）においては、登録画
像Ａ（１）からのトラッキングの結果、Ｂ１（Ａ２），
Ｂ２（Ａ２），・・・，Ｂ１０（Ａ２）の窓画像が抽出
され、登録画像Ａ（ｎ）においては、登録画像Ａ
（１），Ａ（２），・・・，Ａ（ｎ−１）からのトラッ
キングの結果、Ｂ１（Ａｎ），Ｂ２（Ａｎ），・・・，
Ｂ１０（Ａｎ）の窓画像が抽出されている。

【０１１７】図１６の上から第３段目は静的抽出窓画像
１２０であり、図１５と同様のものである。基本登録画
像Ａ（１）から窓画像Ｃ１（Ａ１），Ｃ２（Ａ１），・
・・，Ｃ１０（Ａ１）までの１０個が抽出され、登録画
像Ａ（２）から静的につまり単独に窓画像が、Ｄ１（Ａ
２），Ｄ２（Ａ２），・・・，Ｄ１２（Ａ２）の１２個
が抽出され、登録画像Ａ（ｎ）から静的につまり単独に
窓画像が、Ｄ１（Ａｎ），Ｄ２（Ａｎ），・・・，Ｄ１
２（Ａｎ）１２個抽出されている。

【０１１８】図１６の上から第４段目はロバスト窓画像
群１４０を簡単に示したものである。このロバスト窓画
像の抽出原理は、第２段目のトラッキング窓画像１１０
の各トラッキング窓画像群Ｂ１〜Ｂ１０のうち、すべて
の登録画像にわたり第３段目の静的抽出窓画像１２０に
おいても共通して窓画像として抽出されている窓画像群
を選択するものである。つまり、分かりやすく言うと、
環境変動のバリエーションすべてにおいて窓画像として
選択された部位の窓画像、つまり、環境変動にかかわら
ず常に、第１の窓画像選択基準であるトラッキングによ
る窓画像抽出においても、第２の窓画像選択基準である
静的抽出による窓画像抽出においても選択された窓画像
がロバスト窓画像ということになる。図１５に示したロ
バスト窓画像の抽出原理は、各登録画像ごとに基本登録
画像の撮影環境との撮影環境変動に対してロバストな窓
画像を選んだが、この図１６に示したロバスト窓画像の
抽出原理は、基本登録画像の撮影環境との撮影環境変動
のすべてにわたってロバストな部位の窓画像群を選ぶも
のである。

【０１１９】図１６の例では、７つの窓画像群がロバス
ト窓画像群として選択され、登録画像Ａ（１）では、Ｉ
１（Ａ１），Ｉ２（Ａ１），・・・，Ｉ７（Ａ１）が選
択され、登録画像Ａ（２）では、Ｊ１（Ａ２），Ｊ２
（Ａ２），・・・，Ｊ７（Ａ２）が選択され、登録画像
Ａ（ｎ）では、Ｋ１（Ａｎ），Ｋ２（Ａｎ），・・・，
Ｋ７（Ａｎ）が選択されている。

【０１２０】窓画像ロバスト性評価部６２は、以上のロ
バスト性の高いモデル窓画像の抽出原理を用いて、モデ
ル窓画像の持つロバスト性を評価し、スコア値付与部６
０ａは、一定のロバスト性を持つモデル窓画像のスコア
値を高く重み付ける。

【０１２１】（実施形態４）本発明の画像照合処理シス
テムは、上記に説明した構成を実現する処理ステップを
記述したプログラムをコンピュータ読み取り可能な記録
媒体に記録して提供することにより、各種コンピュータ
を用いて構築することができる。本発明の画像照合処理
システムを実現する処理ステップを備えたプログラムを
記録した記録媒体は、図１７に図示した記録媒体の例に
示すように、ＣＤ−ＲＯＭ１００２やフレキシブルディ
スク１００３等の可搬型記録媒体１００１だけでなく、
ネットワーク上にある記録装置内の記録媒体１０００
や、コンピュータのハードディスクやＲＡＭ等の記録媒
体１００５のいずれであっても良く、プログラム実行時
には、プログラムはコンピュータ１００４上にローディ
ングされ、主メモリ上で実行される。

【０１２２】本発明の画像照合処理システムおよび画像
照合処理方法についてさらに以下の項を開示する。

【０１２３】（付記１）予め取り込んだ認識対象のモデ
ル画像から切り出された特徴的な一又は複数の本人のモ
デル窓画像に対して、他の異なる認識対象のモデル画像
から切り出された一又は複数の他人のモデル窓画像から
の識別容易性の大きさに応じて重み付けしたスコア値を
与えるスコア値付与部と、認識対象が含まれた入力画像
から特徴的な一又は複数の入力窓画像を切り出す窓画像
切り出し部と、前記入力画像の各入力窓画像と前記モデ
ル画像の各モデル窓画像とを、その特徴ベクトルを軸と
する特徴空間に投影し、両者を対応づけて画像照合する
画像認識処理部を備え、前記画像認識処理部は、前記画
像照合において、前記各モデル窓画像のスコア値に従っ
て、前記各モデル窓画像の画像照合結果の画像照合結果
全体に占める相対的な影響度合いを調整することを特徴
とする画像照合処理システム（１）。

【０１２４】（付記２）前記スコア値付与部は、各モデ
ル窓画像ごとの識別容易性の大きさを、スコア値を付与
するモデル画像と同じ認識対象が撮影された参照画像か
ら切り出した参照窓画像と、前記本人のモデル窓画像と
を比較照合した場合の一致度合いを示す本人識別性の大
きさと、前記参照窓画像と、スコア値を付与するモデル
画像と異なる認識対象のモデル画像から切り出した他人
のモデル窓画像とを比較照合した場合の不一致度合いを
示す他人識別性の大きさをもとに決める付記１に記載の
画像照合処理システム（２）。

【０１２５】（付記３）前記モデル窓画像ごとの識別容
易性の大きさを決める処理において、前記本人識別性の
大きさを、前記参照窓画像の特徴空間への投影点と前記
本人のモデル窓画像の特徴空間への投影点との特徴空間
内での近さに応じて決め、前記他人識別性の大きさを、
前記本人の参照窓画像の特徴空間への投影点と前記他人
のモデル窓画像の特徴空間への投影点との特徴空間内で
の距離に応じて決める付記２に記載の画像照合システム
（３）。

【０１２６】（付記４）前記モデル窓画像ごとの識別容
易性の大きさを決める処理において、前記スコア値を付
与するモデル画像の認識対象とは異なる認識対象のモデ
ル画像が複数ある場合、前記他人のモデル画像ごとに、
前記参照窓画像の特徴空間への投影点と前記他人のモデ
ル窓画像の特徴空間への投影点との特徴空間内での距離
を求め、それら距離の平均値をもって、前記他人識別性
の大きさとした付記３に記載の画像照合システム
（４）。

【０１２７】（付記５）前記モデル窓画像ごとの識別容
易性の大きさを決める処理において、前記スコア値を付
与するモデル画像の認識対象とは異なる認識対象のモデ
ル画像が複数ある場合、前記他人のモデル画像ごとに、
前記参照窓画像の特徴空間への投影点と前記他人のモデ
ル窓画像の特徴空間への投影点との特徴空間内での距離
を求め、その距離が小さい上位Ｎ個の平均値をもって、
前記他人識別性の大きさとした付記３に記載の画像照合
システム。

【０１２８】（付記６）前記スコア値付与部のスコア値
付与処理における、各モデル窓画像ごとの識別容易性の
大きさを、スコア値を付与するモデル画像と同じ認識対
象が撮影された参照画像から切り出した参照窓画像の特
徴空間への投影点と前記本人のモデル窓画像の特徴空間
への投影点との特徴空間内での距離と、前記参照窓画像
の特徴空間への投影点とスコア値を付与するモデル画像
と異なる認識対象のモデル画像から切り出した他人のモ
デル窓画像の特徴空間への投影点との特徴空間内での距
離との差分値を正規化した値を前記モデル窓画像ごとの
識別容易性の大きさとした付記１に記載の画像照合シス
テム（５）。

【０１２９】（付記７）前記スコア値付与部のスコア値
付与処理における、各モデル窓画像ごとの識別容易性の
大きさを、スコア値を付与するモデル画像と同じ認識対
象が撮影された参照画像から切り出した参照窓画像の特
徴空間への投影点と前記本人のモデル窓画像の特徴空間
への投影点との特徴空間内での距離と、前記参照窓画像
の特徴空間への投影点とスコア値を付与するモデル画像
と異なる認識対象のモデル画像から切り出した他人のモ
デル窓画像の特徴空間への投影点との特徴空間内での距
離との比を前記本人のモデル窓画像ごとの識別容易性の
大きさとした付記１に記載の画像照合システム。

【０１３０】（付記８）前記参照画像として、同じ認識
対象を異なる姿勢、異なるサイズで撮影した画像を用
い、それら参照画像から切り出した参照窓画像と前記本
人のモデル窓画像とを比較照合した場合に、一致度合い
を示す本人識別性の大きさが大きいものを、環境変動に
対するロバスト性を持つ窓画像として前記相対的影響を
大きくする付記２に記載の画像照合処理システム。

【０１３１】（付記９）前記スコア値付与部のスコア値
付与処理における、各モデル窓画像ごとの識別容易性の
大きさを、前記本人のモデル窓画像とスコア値を付与す
るモデル画像と異なる認識対象のモデル画像から切り出
した他人のモデル窓画像とを比較照合した場合の不一致
度合いを示す他人識別性の大きさをもとに決め、前記本
人のモデル窓画像の特徴空間への投影点と前記他人のモ
デル窓画像の特徴空間への投影点との距離が小さいもの
には前記相対的影響を低くし、大きいものには前記相対
的影響を大きくする付記１に記載の画像照合システム
（６）。

【０１３２】（付記１０）前記スコア値付与部が、スコ
ア値調整部を備え、前記スコア値調整部を介した、利用
者によるモデル窓画像のスコア値の調整を可能とした付
記１から９のいずれかに記載の画像照合処理システム。

【０１３３】（付記１１）前記スコア値が与えられた
後、前記窓画像切り出し部が、各モデル窓画像のスコア
値に従った個数分、その窓画像近傍に位置する窓画像を
追加選択して切り出す窓画像追加処理を行い、モデル画
像中のスコア値の高い画像部分から多くのモデル窓画像
を選ぶことにより、前記相対的な影響度合いを調整する
付記１に記載の画像照合処理システム（７）。

【０１３４】（付記１２）前記画像認識処理部は、画像
照合処理として、各モデル窓画像ごとの照合結果を重畳
投票することにより認識する入力画像とモデル画像との
画像照合を行い、前記重畳投票を、各モデル窓画像のス
コア値に従った重み付け投票により行うことにより、前
記各モデル窓画像の画像照合結果の画像照合結果全体に
占める相対的な影響度合いを調整する付記１に記載の画
像照合処理システム（８）。

【０１３５】（付記１３）予め取り込んだ認識対象のモ
デル画像から切り出された特徴的な一又は複数の本人の
モデル窓画像に対して、他の異なる認識対象のモデル画
像から切り出された一又は複数の他人のモデル窓画像か
らの識別容易性の大きさに応じて重み付けしたスコア値
を与え、認識対象が含まれた入力画像から特徴的な一又
は複数の入力窓画像を切り出し、前記入力画像の各入力
窓画像と前記モデル画像の各モデル窓画像とを、その特
徴ベクトルを軸とする特徴空間に投影し、両者を対応づ
けて画像照合し、前記画像照合において、前記各モデル
窓画像のスコア値に従って、前記各モデル窓画像の画像
照合結果の画像照合結果全体に占める相対的な影響度合
いを調整することを特徴とする画像照合方法（９）。

【０１３６】（付記１４）画像照合処理システムを実現
する処理ステップを記録したコンピュータ読み取り可能
な記録媒体であって、予め取り込んだ認識対象のモデル
画像から切り出された特徴的な一又は複数の本人のモデ
ル窓画像に対して、他の異なる認識対象のモデル画像か
ら切り出された一又は複数の他人のモデル窓画像からの
識別容易性の大きさに応じて重み付けしたスコア値を与
えるスコア値付与処理ステップと、認識対象が含まれた
入力画像から特徴的な一又は複数の入力窓画像を切り出
す窓画像切り出し処理ステップと、前記入力画像の各入
力窓画像と前記モデル画像の各モデル窓画像とを、その
特徴ベクトルを軸とする特徴空間に投影し、両者を対応
づけて画像照合する画像認識処理ステップを備え、前記
画像認識処理ステップは、前記画像照合において、前記
各モデル窓画像のスコア値に従って、前記各モデル窓画
像の画像照合結果の画像照合結果全体に占める相対的な
影響度合いを調整する処理ステップを含むことを特徴と
する処理プログラムを記録した記録媒体（１０）。

【０１３７】

【発明の効果】本発明の画像照合処理システムによれ
ば、その人物特有の局所特徴である他人との相違点がよ
り強調されるため、登録人数が大規模な場合において
も、従来手法と比較して本人棄却率や他人受理率などの
誤認識率を比較的低く抑えることが可能になる。

【０１３８】また、本発明の画像照合処理システムによ
れば、識別容易性の大きさに応じた重み付けに加え、ロ
バスト性の大きなモデル窓画像に対してスコア値を大き
くすることにより、当該モデル窓画像の画像照合結果が
画像照合結果全体に占める相対的な影響度合いを高く調
整することができ、入力画像の撮影環境によらず、信頼
性の高い安定した画像照合処理を実現することができ
る。

【図面の簡単な説明】

【図１】 本発明の画像照合処理システムで用いる「登
録フェーズ」の処理手順を示したフローチャート

【図２】 人物顔画像を取り込む様子を示す図

【図３】 （ａ）はモデル画像から特徴点を基に局所領
域を窓画像として選択し、低次元空間に投影した例を示
す図、（ｂ）は認識対象である入力画像から特徴点を基
に局所領域を窓画像として選択し、低次元空間に投影し
た例を示す図

【図４】 登録人物Ａのモデル窓画像のスコア値を計算
する概念を模式的に示した図

【図５】 図４に示したスコア値の計算方法による処理
の流れを示すフローチャート

【図６】 登録人物Ａのモデル窓画像のスコア値を計算
する第２の概念を模式的に示した図

【図７】 登録人物Ａのモデル窓画像のスコア値を計算
する第３の概念を模式的に示した図

【図８】 従来の局所固有空間法による画像照合処理シ
ステムのモデル窓画像と本発明の画像照合処理システム
におけるモデル窓画像を比較した図

【図９】 本発明の画像照合処理システムで用いる「認
識フェーズ」の処理手順を示したフローチャート

【図１０】 各モデル窓画像に割り当てられたスコア値
に従った重み付け投票の際の重み付け方法を説明した図

【図１１】 モデル画像ごとに用意された投票マップ上
の△Ｐのポイントに、投票数Ｖを投票する様子を示す図

【図１２】 実施形態１にかかる本発明の画像照合処理
システムの装置構成概略を示すブロック図

【図１３】 窓画像追加処理の概念を模式的に説明した
図

【図１４】 本発明の実施形態３にかかる本発明の画像
照合処理システムの装置構成概略を示すブロック図

【図１５】 ロバスト窓画像の抽出原理を簡単に説明す
る図

【図１６】 別のパターンのロバスト窓画像の抽出原理
の一例を示す図

【図１７】 実施形態４における本発明の画像照合処理
システムを実現する処理プログラムを記録した記録媒体
の例を示す図

【図１８】 従来の改良局所特徴空間法を用いた画像照
合処理の流れを簡単に示した図

【符号の説明】

１０ 画像取り込み部 ２０ 窓画像切り出し部 ３０ 窓画像圧縮部 ４０ 特徴空間投影部 ５０ 窓画像照合部 ６０，６０ａ スコア値付与部 ６１ スコア値調整部 ６２ 窓画像ロバスト性評価部 ７０ モデルデータ格納部 ８０ 対応窓の相対位置投票処理部 ９０ 認識判定部 １００ 登録画像群 １１０ トラッキング窓画像群 １２０ 静的抽出窓画像 １３０ ロバスト窓画像 １４０ ロバスト窓画像群 １０００ 記録装置内の記録媒体 １００１ 可搬型記録媒体 １００２ ＣＤ−ＲＯＭ １００３ フレキシブルディスク １００４ コンピュータ １００５ コンピュータのハードディスクやＲＡＭ等の
記録媒体

Claims (10)

【特許請求の範囲】
1. 【請求項１】 予め取り込んだ認識対象のモデル画像か
   ら切り出された特徴的な一又は複数の本人のモデル窓画
   像に対して、他の異なる認識対象のモデル画像から切り
   出された一又は複数の他人のモデル窓画像からの識別容
   易性の大きさに応じて重み付けしたスコア値を与えるス
   コア値付与部と、 認識対象が含まれた入力画像から特徴的な一又は複数の
   入力窓画像を切り出す窓画像切り出し部と、 前記入力画像の各入力窓画像と前記モデル画像の各モデ
   ル窓画像とを、その特徴ベクトルを軸とする特徴空間に
   投影し、両者を対応づけて画像照合する画像認識処理部
   を備え、 前記画像認識処理部は、前記画像照合において、前記各
   モデル窓画像のスコア値に従って、前記各モデル窓画像
   の画像照合結果の画像照合結果全体に占める相対的な影
   響度合いを調整することを特徴とする画像照合処理シス
   テム。
2. 【請求項２】 前記スコア値付与部は、各モデル窓画像
   ごとの識別容易性の大きさを、 スコア値を付与するモデル画像と同じ認識対象が撮影さ
   れた参照画像から切り出した参照窓画像と、前記本人の
   モデル窓画像とを比較照合した場合の一致度合いを示す
   本人識別性の大きさと、 前記参照窓画像と、スコア値を付与するモデル画像と異
   なる認識対象のモデル画像から切り出した他人のモデル
   窓画像とを比較照合した場合の不一致度合いを示す他人
   識別性の大きさをもとに決める請求項１に記載の画像照
   合処理システム。
3. 【請求項３】 前記モデル窓画像ごとの識別容易性の大
   きさを決める処理において、 前記本人識別性の大きさを、前記参照窓画像の特徴空間
   への投影点と前記本人のモデル窓画像の特徴空間への投
   影点との特徴空間内での近さに応じて決め、 前記他人識別性の大きさを、前記本人の参照窓画像の特
   徴空間への投影点と前記他人のモデル窓画像の特徴空間
   への投影点との特徴空間内での距離に応じて決める請求
   項２に記載の画像照合システム。
4. 【請求項４】 前記モデル窓画像ごとの識別容易性の大
   きさを決める処理において、前記スコア値を付与するモ
   デル画像の認識対象とは異なる認識対象のモデル画像が
   複数ある場合、 前記他人のモデル画像ごとに、前記参照窓画像の特徴空
   間への投影点と前記他人のモデル窓画像の特徴空間への
   投影点との特徴空間内での距離を求め、それら距離の平
   均値をもって、前記他人識別性の大きさとした請求項３
   に記載の画像照合システム。
5. 【請求項５】 前記スコア値付与部のスコア値付与処理
   における、各モデル窓画像ごとの識別容易性の大きさ
   を、 スコア値を付与するモデル画像と同じ認識対象が撮影さ
   れた参照画像から切り出した参照窓画像の特徴空間への
   投影点と前記本人のモデル窓画像の特徴空間への投影点
   との特徴空間内での距離と、 前記参照窓画像の特徴空間への投影点とスコア値を付与
   するモデル画像と異なる認識対象のモデル画像から切り
   出した他人のモデル窓画像の特徴空間への投影点との特
   徴空間内での距離との差分値を正規化した値を前記モデ
   ル窓画像ごとの識別容易性の大きさとした請求項１に記
   載の画像照合システム。
6. 【請求項６】 前記スコア値付与部のスコア値付与処理
   における、各モデル窓画像ごとの識別容易性の大きさ
   を、前記本人のモデル窓画像とスコア値を付与するモデ
   ル画像と異なる認識対象のモデル画像から切り出した他
   人のモデル窓画像とを比較照合した場合の不一致度合い
   を示す他人識別性の大きさをもとに決め、 前記本人のモデル窓画像の特徴空間への投影点と前記他
   人のモデル窓画像の特徴空間への投影点との距離が小さ
   いものには前記相対的影響を低くし、大きいものには前
   記相対的影響を大きくする請求項１に記載の画像照合シ
   ステム。
7. 【請求項７】 前記スコア値が与えられた後、前記窓画
   像切り出し部が、各モデル窓画像のスコア値に従った個
   数分、その窓画像近傍に位置する窓画像を追加選択して
   切り出す窓画像追加処理を行い、モデル画像中のスコア
   値の高い画像部分から多くのモデル窓画像を選ぶことに
   より、前記相対的な影響度合いを調整する請求項１に記
   載の画像照合処理システム。
8. 【請求項８】 前記画像認識処理部は、画像照合処理と
   して、各モデル窓画像ごとの照合結果を重畳投票するこ
   とにより認識する入力画像とモデル画像との画像照合を
   行い、 前記重畳投票を、各モデル窓画像のスコア値に従った重
   み付け投票により行うことにより、前記各モデル窓画像
   の画像照合結果の画像照合結果全体に占める相対的な影
   響度合いを調整する請求項１に記載の画像照合処理シス
   テム。
9. 【請求項９】 予め取り込んだ認識対象のモデル画像か
   ら切り出された特徴的な一又は複数の本人のモデル窓画
   像に対して、他の異なる認識対象のモデル画像から切り
   出された一又は複数の他人のモデル窓画像からの識別容
   易性の大きさに応じて重み付けしたスコア値を与え、 認識対象が含まれた入力画像から特徴的な一又は複数の
   入力窓画像を切り出し、 前記入力画像の各入力窓画像と前記モデル画像の各モデ
   ル窓画像とを、その特徴ベクトルを軸とする特徴空間に
   投影し、両者を対応づけて画像照合し、 前記画像照合において、前記各モデル窓画像のスコア値
   に従って、前記各モデル窓画像の画像照合結果の画像照
   合結果全体に占める相対的な影響度合いを調整すること
   を特徴とする画像照合方法。
10. 【請求項１０】 画像照合処理システムを実現する処理
    ステップを記録したコンピュータ読み取り可能な記録媒
    体であって、 予め取り込んだ認識対象のモデル画像から切り出された
    特徴的な一又は複数の本人のモデル窓画像に対して、他
    の異なる認識対象のモデル画像から切り出された一又は
    複数の他人のモデル窓画像からの識別容易性の大きさに
    応じて重み付けしたスコア値を与えるスコア値付与処理
    ステップと、 認識対象が含まれた入力画像から特徴的な一又は複数の
    入力窓画像を切り出す窓画像切り出し処理ステップと、 前記入力画像の各入力窓画像と前記モデル画像の各モデ
    ル窓画像とを、その特徴ベクトルを軸とする特徴空間に
    投影し、両者を対応づけて画像照合する画像認識処理ス
    テップを備え、 前記画像認識処理ステップは、前記画像照合において、
    前記各モデル窓画像のスコア値に従って、前記各モデル
    窓画像の画像照合結果の画像照合結果全体に占める相対
    的な影響度合いを調整する処理ステップを含むことを特
    徴とする処理プログラムを記録した記録媒体。