JP2003173443A

JP2003173443A - アイリス推定装置およびアイリス照合装置

Info

Publication number: JP2003173443A
Application number: JP2002129323A
Authority: JP
Inventors: Kenji Nagao; 健司長尾; Keisuke Hayata; 啓介早田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-09-25
Filing date: 2002-04-30
Publication date: 2003-06-20
Anticipated expiration: 2022-04-30
Also published as: JP4068888B2

Abstract

(57)【要約】【課題】観測対象のパターンから、観測に対応す
る特徴パターンを格段に少ない計算コストで推定するこ
と。【解決手段】入力となる観測パターンと、入力から求
めたい出力を想定した推定対象のパターンとの相関を学
習させるために、観測パターンからなる第一の教示ベク
トルと、推定対象からなる第二の教示ベクトルを入力
し、前記の二つの教示ベクトルの自己相関情報、平均ベ
クトルおよび第一の教示ベクトルと第二の教示ベクトル
との相互相関情報を計算しておき、これを用いて入力パ
ターンに対して推定対象のベイズ理論に基づく確率的期
待値を求めることによって少ない計算コストで精度よく
所望のパラメタを推定するものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力アイリスパタ
ーンからアイリス領域画像を推定するアイリス推定装置
および、これを用いて入力アイリスパターンの照合を行
うアイリス照合装置に関する。

【０００２】

【従来の技術】入力パターンから特定のパラメタを抽出
する処理は、パターン情報処理において非常に一般的な
処理である。例えば、人物顔画像から目や鼻の位置を取
り出す処理や、車両画像からナンバープレートの位置を
抽出する処理がそれにあたる。

【０００３】従来、このような処理に対してもっとも一
般的な方法は、以下に要約されるような照合フィルター
法と言われるもので、非常に多くの使用例が提案されて
いる。顔の特徴抽出方法を例に、図１３を用いて説明す
る。

【０００４】図１３のフローチャートに示すように、ま
ず目や鼻の部分のテンプレートをテンプレートデータベ
ース１６０１に用意しておく。テンプレートデータベー
ス１６０１には図１４に示すように目のテンプレート１
７０１が複数格納される。

【０００５】まず、カメラから入力画像が与えられると
（Ｓ８１）、テンプレートデータベース１６０１から１
つのテンプレート画像１７０１を得る（Ｓ８２）。次
に、図１５に示すように、入力画像２００１を探索窓２
００２で探索し、探索窓２００２内画像とテンプレート
１７０１との類似度を求める（Ｓ８３）。類似度の算出
には、探索窓２００２内の画像とテンプレート１７０１
との正規化相関などを用いることが多い。

【０００６】そして、この処理を入力画像２００１全体
について行ったか判断し（Ｓ８４）、入力画像２００１
全体について行うまで、入力画像２００１を探索窓２０
０２でスキャンし（Ｓ８５）、Ｓ８３の処理を行う。

【０００７】次に、テンプレートデータベース１６０１
に含まれる全てのテンプレート１７０１について、上述
した探索を行ったか判断し（Ｓ８６）、全てのテンプレ
ート１７０１について処理を行っていない場合は、処理
対象のテンプレート１７０１を変更し（Ｓ８７）、Ｓ８
３の処理に移行し、全てのテンプレートに対してＳ８３
〜Ｓ８７の処理をする。

【０００８】次に、Ｓ８３〜Ｓ８７の処理によって求め
た探索窓２００２内画像とテンプレート１７０１との類
似度をもとに、入力画像２００１からもっともテンプレ
ート１７０１に類似した局所エリア（探索窓２００２領
域）位置を見出し、その局所エリアに対応する位置を出
力する（Ｓ８８）。

【０００９】このような方法に基づく方法の一例が文
献、Ｒ．Ｂｒｕｎｅｌｌｉ，Ｔ．Ｐｏｇｇｉｏ，
“ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ：Ｆｅａｔｕｒ
ｅｓｖｅｒｓｕｓＴｅｍｐｌａｔｅ”，ＩＥＥＥＴ
ｒａｎｓ．Ｐａｔｔ．Ａｎａｌ．Ｍａｃｈｉｎｅ
Ｉｎｔｅｌｌ．，ｖｏｌ．ＰＡＭＩ−８，ｐ
ｐ．３４−４３，１９９３、に詳しく報告されてい
る。

【００１０】

【発明が解決しようとする課題】上記のような従来法に
おける課題は、コンピュータの処理コストである。探索
対象とする入力画像のサイズをＳ、テンプレートサイズ
をＴとし、正規化相関を類似度基準とする場合、時間計
算量は乗算を単位演算とすると２×Ｔ×Ｓ回の演算回数
を必要とする。例えば、典型的な顔画像の特徴点抽出問
題では、Ｔ＝５０×２０＝１０００（ｐｅｌ）、Ｓ＝１
５０×１５０＝２２５００（ｐｅｌ）の場合を考えてみ
ても、乗算だけで２×１０００×２２５００＝４５×１
００万回＝４５００万回となり、いくらコンピュータの
演算速度が向上したといえ、莫大な演算コストを要する
ものとなる。

【００１１】また、処理に用いるテンプレートは、全学
習データの平均等の典型的データを用いるものが多く、
環境よって照合がうまくいかない場合が多い。このため
入力パターンに応じてテンプレートを複数用意して、複
数のテンプレートによる類似度計算を行う手法がある。
しかしながら、テンプレートの数に応じて処理数が増大
するため、コンピュータの処理コストからみても負荷が
大きいものになってしまう。

【００１２】本発明は、少ない処理コストで入力データ
の特徴点を正確に求めることを目的とする。

【００１３】

【課題を解決するための手段】本発明は、サンプルのデ
ータとこのデータ内における特徴点の位置との相関を予
め学習しておき、この学習により求めた相関を用いて、
入力されたデータの特徴点がどこであるかを推定するよ
うにしたものである。

【００１４】同じ種類のデータと、このデータ内におけ
る特徴点とは、一定の相関があるので、この相関を用い
ることで、データの特徴点がどこであるかを少ない処理
コストで、かつ正確に求めることができる。

【００１５】

【発明の実施の形態】本発明の第１の態様にかかるアイ
リス推定装置は、サンプルとなるサンプル眼領域画像を
入力するサンプル入力手段と、前記サンプル眼領域画像
のアイリスの輪郭を形成する点の集合を入力するパラメ
タ入力手段と、アイリスの輪郭を推定する照合対象眼領
域画像を入力する照合データ入力手段と、前記サンプル
眼領域画像と前記アイリスの輪郭を形成する点の集合を
合成した情報を複数の分布に分け、前記サンプル眼領域
画像の自己相関情報と前記サンプル眼領域画像と前記点
の集合との前記相互相関情報を前記分布毎に求める学習
手段と、前記分布毎に求めた前記自己相関情報と前記相
互相関情報を用いて前記照合対象眼領域画像の前記アイ
リスの輪郭を構成する前記点の集合を推定するパラメタ
推定手段と、前記推定した前記点の集合を用いて前記照
合対象眼領域画像からアイリス領域画像を推定するアイ
リス推定手段とを具備した構成を採る。

【００１６】これにより、サンプル眼領域画像とこれに
対するアイリスの輪郭を構成する点の集合との相関を点
集合の分布毎に求められ、この相関を用いることで、照
合対象眼領域画像からこれに対するアイリスの輪郭を構
成する点の集合を推定できる。これにより、少ない処理
コストでアイリスの輪郭を構成する点の集合を推定で
き、アイリス領域画像を抽出できる。

【００１７】本発明の第２の態様は、第１の態様にかか
るアイリス推定装置において、前記学習手段は、前記サ
ンプル眼領域画像をベクトル化した第１の教示ベクトル
および前記アイリスの輪郭を形成する前記点の集合をベ
クトル化した第２の教示ベクトルの合成ベクトルを構成
し、前記合成ベクトルの複数の要素分布を集合した混合
分布モデルを推定し、前記要素分布毎に属する前記自己
相関情報を前記第１の教示ベクトルの共分散行列を求め
ることで求め、前記相互相関情報を前記第１の教示ベク
トルと前記第２の教示ベクトルとの共分散行列を求める
ことで求め、前記パラメタ推定手段は、前記要素分布毎
に属する前記相互相関情報を用いて前記照合対象眼領域
画像の前記点の集合を推定する。

【００１８】これにより、単純に行列演算だけ、つまり
乗算だけで要素分布毎の相互相関情報が求められる。

【００１９】本発明の第３の態様は、第１の態様または
第２の態様にかかるアイリス推定装置と、前記アイリス
推定装置により推定された前記照合対象眼領域画像の前
記アイリス領域画像を用いて前記照合対象眼領域画像が
あらかじめ登録された前記サンプル眼領域画像と一致す
るかを照合する照合手段とを具備した構成を採る。

【００２０】これにより、少ない処理コストでアイリス
の照合ができる。

【００２１】本発明の第４の態様は、サンプルとなるサ
ンプル眼領域画像を入力するステップと、前記サンプル
眼領域画像のアイリスの輪郭を形成する点の集合を入力
するステップと、アイリスの輪郭を推定する照合対象眼
領域画像を入力するステップと、前記サンプル眼領域画
像と前記アイリスの輪郭を形成する点の集合を合成した
情報を複数の分布に分け、前記サンプル眼領域画像の自
己相関情報と前記サンプル眼領域画像と前記点の集合と
の前記相互相関情報を前記分布毎に求めるステップと、
前記分布毎に求めた前記自己相関情報と前記相互相関情
報を用いて前記照合対象眼領域画像の前記アイリスの輪
郭を構成する前記点の集合を推定するステップと、前記
推定した前記点の集合を用いて前記照合対象眼領域画像
からアイリス領域画像を推定するステップとを具備した
ことを特徴とするアイリス推定方法である。

【００２２】本発明の第５の態様は、第４の態様のアイ
リス推定方法により推定された前記照合対象眼領域画像
の前記アイリス領域画像を用いて前記照合対象眼領域画
像があらかじめ登録された前記サンプル眼領域画像と一
致するかを照合することを特徴とするアイリス照合方法
である。

【００２３】本発明の第６の態様は、コンピュータに、
サンプルとなるサンプル眼領域画像を入力するステップ
と、前記サンプル眼領域画像のアイリスの輪郭を形成す
る点の集合を入力するステップと、アイリスの輪郭を推
定する照合対象眼領域画像を入力するステップと、前記
サンプル眼領域画像と前記アイリスの輪郭を形成する点
の集合を合成した情報を複数の分布に分け、前記サンプ
ル眼領域画像の自己相関情報と前記サンプル眼領域画像
と前記点の集合との前記相互相関情報を前記分布毎に求
めるステップと、前記分布毎に求めた前記自己相関情報
と前記相互相関情報を用いて前記照合対象眼領域画像の
前記アイリスの輪郭を構成する前記点の集合を推定する
ステップと、前記推定した前記点の集合を用いて前記照
合対象眼領域画像からアイリス領域画像を推定するステ
ップとを行わせることを特徴としたプログラムである。

【００２４】本発明の第７の態様は、コンピュータに、
サンプルとなるサンプル眼領域画像を入力するステップ
と、前記サンプル眼領域画像のアイリスの輪郭を形成す
る点の集合を入力するステップと、アイリスの輪郭を推
定する照合対象眼領域画像を入力するステップと、前記
サンプル眼領域画像と前記アイリスの輪郭を形成する点
の集合を合成した情報を複数の分布に分け、前記サンプ
ル眼領域画像の自己相関情報と前記サンプル眼領域画像
と前記点の集合との前記相互相関情報を前記分布毎に求
めるステップと、前記分布毎に求めた前記自己相関情報
と前記相互相関情報を用いて前記照合対象眼領域画像の
前記アイリスの輪郭を構成する前記点の集合を推定する
ステップと、前記推定した前記点の集合を用いて前記照
合対象眼領域画像からアイリス領域画像を推定するステ
ップと、推定した前記照合対象眼領域画像の前記アイリ
ス領域画像を用いて前記照合対象眼領域画像があらかじ
め登録された前記サンプル眼領域画像と一致するかを照
合するステップとを行わせることを特徴としたプログラ
ムである。

【００２５】（実施の形態１）本発明の実施の形態１で
は、パラメタ推定装置を顔画像照合装置に応用した場合
について説明する。

【００２６】図１は、本発明の実施の形態１における顔
画像照合装置のブロック図である。実施の形態１にかか
る顔画像照合装置１００は、コンピュータシステム１７
で実現したものである。

【００２７】図１において、コンピュータシステム１７
には、人物の顔画像を直接撮影し、コンピュータシステ
ム１７に画像を入力ためのビデオカメラ（カメラ）１が
接続されている。また、コンピュータシステム１７に
は、システムコンソールとしてのディスプレイ８と、画
像パターン情報など大規模なデータを保存するための二
次記憶装置（ハードディスクや光磁気ディスクなど）９
と、ディスプレイ８上で推定の対象となる固有なパラメ
タである特徴点パラメタを手動で入力するためのマウス
１０が接続されている。

【００２８】また、コンピュータシステム１７には、ビ
デオカメラ１からの映像信号を記憶する画像メモリ２
と、プログラムの格納やワーク用のメモリ３と、メモリ
３に格納されたプログラムに基づいた処理を行うＣＰＵ
４と、画像パターンや特徴抽出の実行によって計算され
た特徴パターンを記憶するパターンメモリ５、６と、計
算された特徴抽出行列を格納するための特徴抽出行列格
納メモリ７と、あらかじめ登録された人物の顔画像を集
めた登録画像データベース１１と、外部機器とのデータ
のやりとりを行うインターフェース（Ｉ／Ｆ）１２〜１
５と、が設けられている。また、コンピュータシステム
１７に設けられた各ブロックはシステムバス１６で接続
されている。

【００２９】顔画像照合装置１００は、顔画像（例えば
濃淡パターン）と顔画像内における固有なパラメタであ
る特徴点（例えば眼、鼻、眉、口など）の位置に相関関
係があることに着目したものである。すなわち、予めサ
ンプルである顔画像とこの顔画像の特徴点との相関を学
習しておき、この学習結果を用いてサンプルと照合する
ためにカメラ１で撮影した照合用の顔画像における特徴
点の座標がどこであるかを推定するようにしたものであ
る。そして、上述したように推定した特徴点より照合す
る顔画像から照合に用いる顔領域を求め、求めた顔領域
の画像と予め用意してある顔画像データベース内の画像
と比較することで、照合する画像の人物と登録された顔
画像データベース内の顔画像の人物とが一致するかの照
合を行うものである。

【００３０】さらに、本実施の形態では、サンプルであ
る人の顔画像とこれらの顔画像内における特徴点の位置
の相関を複数学習しておくことで、サンプルと照合する
ためにカメラ１で撮影した顔画像の特徴点の推定精度を
向上している。

【００３１】具体的には、顔画像照合装置１００は、複
数のサンプルの顔画像とこの顔画像の特徴点との相関を
予め計算するオフライン処理と、この計算した相関を用
いてカメラ１から入力された画像から特徴点の座標値を
推定し、特徴点の座標値から決定される顔領域の画像
と、あらかじめ登録された顔画像データベースの顔画像
との照合処理を行うオンライン処理に大別される。

【００３２】オフライン処理は、サンプルとして予め撮
影された顔画像より得られる第１の教示ベクトルと、サ
ンプルの顔画像における特徴点の座標より得られる第２
の教示ベクトルと、これらの教示ベクトルにおける平均
ベクトルの計算と、第１の教示ベクトルの自己相関情報
である共分散行列の擬似逆行列の計算と、第１の教示ベ
クトルと第２の教示ベクトルの相互相関情報である共分
散行列の計算とを行う。

【００３３】さらに詳細に、オフライン処理の目的は、
まず、画像メモリ２に一旦蓄えられた教示用の画像から
得られる教示ベクトルＶ₁と、教示ベクトルＶ₁の特徴点
の座標より得られる教示ベクトルＶ₂と、教示ベクトル
Ｖ₁の平均ベクトルＭ₁と、教示ベクトルＶ₂の平均ベク
トルＭ₂とを計算しておき、そして、これらの計算結果
を用いて、教示ベクトルＶ₁の分布を示す教示ベクトル
Ｖ₁の共分散行列およびこの擬似逆行列と、教示ベクト
ルＶ₁と教示ベクトルＶ₂との相関である教示ベクトルＶ
₁と教示ベクトルＶ₂との共分散行列とを求めることであ
る。

【００３４】ここで、教示ベクトルＶ₁は、想定される
入力画像（サンプル画像）をベクトル化した入力ベクト
ルの学習サンプルであり、想定される入力画像と同一種
類の画像をベクトル化したベクトルの学習サンプルであ
る。例えば、想定される入力画像が日本人男性の顔画像
であれば、日本人男性の顔画像をベクトル化したベクト
ルの学習サンプルをとる。

【００３５】また、教示ベクトルＶ₂は教示ベクトルＶ₁
に対して想定される特徴点の座標をベクトル化した出力
ベクトルの学習サンプルである。（数１）に、教示ベク
トルＶ₁、教示ベクトルＶ₂の具体的な形式を示す。

【００３６】

【数１】次に、顔画像照合装置１００が行うオフライン処理につ
いて、図２を用いて説明する。図２は、実施の形態１に
かかる顔画像照合装置１００のオフライン処理の動作フ
ロー図である。なお、以下の説明で顔画像照合装置１０
０が行う処理は、実際にはＣＰＵ４がメモリ３に格納さ
れたプログラムを実行することで行う。

【００３７】まず、顔画像照合装置１００は、サンプル
としてカメラ１からＮ人の顔画像パターンを入力する。
そして、顔画像照合装置１００は、この入力されたサン
プルの顔画像パターンを、Ｉ／Ｆ１２を介して画像メモ
リ２に一旦記憶した後に、全て二次記憶装置９に転送
し、格納する（Ｓ１０）。

【００３８】次に、顔画像照合装置１００は、二次記憶
装置９に記憶したサンプルの顔画像パターンを、各画素
の値をラスタスキャン順に並べたベクトルパターンに変
換することで教示ベクトルＶ₁を求める（Ｓ１１）。次
に、顔画像照合装置１００は、二次記憶装置９に記憶し
たサンプルの顔画像パターンをディスプレイ８に一枚ず
つ表示する。そして、このサンプルの顔画像パターンを
見たユーザがマウス１０を用いて手動で顔の特徴点を入
力すると、ユーザが入力した顔の特徴点をＩ／Ｆ１５を
介してメモリ３に入力する（Ｓ１２）。

【００３９】図３に、ユーザにより入力された顔の特徴
点の例を示す。顔画像１２０１の原点Ｏ１２０８を基準
に、右眉１２０２、右目１２０３、左眉１２０４、左目
１２０５、鼻１２０６および口１２０７のそれぞれの座
標（Ｘ座標、Ｙ座標）が、特徴点としてユーザにより入
力される。

【００４０】次に、顔画像照合装置１００は、（数１）
を用いて、入力した各特徴点の座標値を順に並べて連結
してひとつのベクトルデータを作成し、これを教示ベク
トルＶ₂とする（Ｓ１３）。次に、顔画像照合装置１０
０は、教示ベクトルＶ₁をパターンメモリ５に、教示ベ
クトルＶ₂をパターンメモリ６に記憶する（Ｓ１４）。
そして、顔画像照合装置１００は、Ｎ人分の処理が終了
したかを判定し（Ｓ１５）、終了したら処理（Ｓ１６）
に進み、終了していない場合は処理（Ｓ１１）に進む。

【００４１】次に、顔画像照合装置１００は、パターン
メモリ５およびパターンメモリ６に格納されたＮ人分の
教示ベクトルＶ₁、Ｖ₂の集合｛Ｖ₁｝および｛Ｖ₂｝より
（数２）、（数３）に従って平均ベクトルＭ₁、Ｍ₂を計
算し、特徴抽出行列格納メモリ７に保存する（Ｓ１
６）。

【００４２】

【数２】

【数３】次に、顔画像照合装置１００は、Ｎ人分の教示ベクトル
Ｖ₁の集合｛Ｖ₁｝より（数４）に従って共分散行列Ｃ₁
を計算することで、教示ベクトルＶ₁の分布、つまり、
カメラ１から入力したＮ人の顔画像パターンの分布を算
出する。そして、顔画像照合装置１００は、求めた共分
散行列Ｃ₁を特徴抽出行列格納メモリ７に格納する（Ｓ
１７）。ここで顔画像パターンの分布を求めるのは、顔
画像パターンの分布が顔画像パターンの特性を表すから
であり、顔画像パターンの特性を求めるためである。

【００４３】

【数４】次に、顔画像照合装置１００は、Ｎ人分の教示ベクトル
Ｖ₁、Ｖ₂の集合｛Ｖ₁｝および｛Ｖ₂｝より（数５）に従
って共分散行列Ｃ₂を計算することで、教示ベクトル
Ｖ₁、Ｖ₂の相関、つまりＮ人の顔画像パターンと顔画像
パターンの特徴点の相関を算出する。顔画像照合装置１
００は、求めた共分散行列Ｃ₂を特徴抽出行列格納メモ
リ７に格納する（Ｓ１７）。

【００４４】

【数５】次に、顔画像照合装置１００は、Ｓ１７において求めた
共分散行列Ｃ₁と共分散行列Ｃ₂から、オンライン処理で
入力される顔画像から特徴点を抽出するために使用する
パラメタである特徴抽出行列Ｃ₃を、（数６）に従って
計算する（Ｓ１８）。そして、顔画像照合装置１００
は、求めた特徴抽出行列Ｃ₃を特徴抽出行列格納メモリ
７に格納する。

【００４５】

【数６】以上が、顔画像照合装置１００が、オフラインで実行す
る処理であり、特徴抽出行列格納メモリ７には、上述し
た処理で求めた、平均ベクトルＭ₁、Ｍ₂、パラメタとし
て共分散行列Ｃ₁と共分散行列Ｃ₂、及び特徴抽出行列Ｃ
₃が格納されている。

【００４６】次に、オンライン処理について、図４を用
いて説明する。図４は、実施の形態１にかかる顔画像照
合装置のオンライン処理の動作フロー図である。

【００４７】オンライン処理の目的は、入力された顔画
像から、入力に対して固有なパラメタである特徴点の座
標値を推定し、これから顔領域の画像を求め、画像デー
タベースに登録された画像と照合することにある。

【００４８】まず、顔画像照合装置１００は、カメラ１
から画像を入力し（Ｓ２０）、Ｉ／Ｆ１２を介して画像
メモリ２に蓄積し、蓄積した入力画像を各画素の値をラ
スタスキャン順に並べて入力ベクトルデータＸに変換
し、パターンメモリ５に転送する（Ｓ２１）。

【００４９】次に、顔画像照合装置１００は、入力ベク
トルデータＸに対して、オフライン処理で求めた特徴抽
出行列Ｃ₃および平均ベクトルＭ₁、Ｍ₂から、（数７）
に従って入力ベクトルデータＸに対する特徴点の座標値
の期待値ベクトルＥを計算する（Ｓ２２）。（数７）
は、オフラインで求めた、教示ベクトルＶ₁、Ｖ₂の相
関、つまりＮ人の顔画像パターンと顔画像パターンの特
徴点の相互相関を示す共分散行列Ｃ₂を用いて、入力ベ
クトルデータＸつまり入力画像の特徴点を算出する式で
ある。

【００５０】

【数７】次に、顔画像照合装置１００は、求めた特徴点座標値の
期待値ベクトルＥが各特徴点の座標値の合成ベクトルと
なっているので、入力ベクトルデータの特徴点の座標値
を期待値ベクトルＥより得る（Ｓ２３）。次に、顔画像
照合装置１００は、Ｓ２３で求めた特徴点の座標値を用
いて、入力画像から、あらかじめ登録された顔画像デー
タベースの顔画像との照合を行う顔領域を決定する（Ｓ
２４）。

【００５１】検出された照合用の顔領域の例を図５に示
す。本実施の形態では、顔画像１３０１から、鼻の座標
１３０３を中心として、一辺の長さが両眼の間隔ａの２
倍であり、上下の辺が両眼を結ぶ直線と平行であるよう
な正方形領域を照合用の顔領域１３０２として決定す
る。

【００５２】次に、顔画像照合装置１００は、顔領域１
３０２の画像とあらかじめ登録した顔画像データベース
１１との画像を例えば統計的手法である主成分分析を利
用した固有顔法などの照合手法を用いて照合し（Ｓ２
５）、結果をディスプレイ８に表示すると共に二次記憶
装置９に転送する（Ｓ２６）。なお、固有顔（Ｅｉｇｅ
ｎｆａｃｅ）法は、参照画像のサイズを正規化して全画
素の濃淡値をＮ次元ベクトルとし、全ての参照画像から
Ｍ＜Ｎ次元の顔部分空間を主成分分析という統計的手法
により生成する。そして、入力画像から顔のありそうな
領域を正規化して顔部分空間との直交距離を類似度と
し、顔部分空間への射影先の位置により人物を認識する
というものである。

【００５３】ディスプレイ８への出力例を図６に示す。
ディスプレイ１５０１上には、入力された入力顔画像１
５０２と、顔領域枠１５０３と、照合結果１５０４、１
５０５が表示される。

【００５４】ここで、（数７）を用いた計算によって特
徴点位置情報の推定が可能な理由を説明する。

【００５５】（数７）で得られる特徴点の座標値の期待
値ベクトルＥは、教示ベクトルＶ₁と教示ベクトルＶ₂の
関係を、２つのベクトルの分布が正規分布であるという
仮定の元でベイズ推定を用いて学習した時の、入力ベク
トルデータＸに対して得られる出力の期待値に等しい。
ベイズ推定とは、母数の分布と適当な損失関数を定義
し、損失関数の期待値が最小となるように推定する統計
的推定法をいう。すなわち、（数７）によって、入力ベ
クトルデータＸに対して一番尤もらしい出力値を推定す
ることができると言える。

【００５６】以上のように実施の形態１によれば、予め
学習したサンプルの顔画像とこの特徴点との相関を用い
て、カメラ１で撮影した照合用の顔画像における特徴点
の座標がどこであるかを推定することができる。そし
て、上述したように推定した特徴点より照合用の顔領域
を求め、求めた照合用の顔領域画像とあらかじめ登録し
ておいた顔画像データベース内の顔画像を比較すること
で、照合用の顔画像の人物とあらかじめ登録された顔画
像の人物とが一致するかの照合を行うことができる。こ
れにより、従来法に比べ格段に少ない演算で所望のパラ
メタを推定することができ、少ない演算で顔画像の照合
ができる。

【００５７】具体的には、実施の形態１によれば、入力
ベクトルに対して固有なパラメタを、３回の行列演算で
推定することが出来る。つまり、従来のテンプレートマ
ッチングを用いた探索に比べ格段に小さな計算コストで
推定できるため、その効果は非常に大きい。ここで、前
記のテンプレートマッチによる計算コスト算出の場合と
同じ例で本発明の計算コストを算出してみる。入力画像
サイズを縦１５０×横１５０画素＝２２５００画素とし
て、入力に対し両目の座標（右眼Ｘ座標、右眼Ｙ座標、
左眼Ｘ座標、左眼Ｙ座標）計４次元を推定する場合、乗
算を単位演算とした場合、（数７）に当てはめると特徴
抽出行列Ｃ₃は縦２２５００×横４の行列、（Ｘ−Ｍ₁）
は４次元のベクトルより乗算回数は４×２２５００＝９
００００（ｐｅｌ）となり、乗算だけでテンプレートマ
ッチの５００分の１の計算コストとなりその効果は大き
い。

【００５８】また、実施の形態１によれば、第１の教示
ベクトルの共分散行列から自己相関情報を求め、第１の
教示ベクトルと第２の教示ベクトルとの共分散行列から
総合相関情報を求めることができる。これにより、単純
に行列演算だけ、つまり乗算だけで固有なパラメタの計
算、や相互相関情報や自己相関情報の計算ができるた
め、コンピュータの処理コストが非常に小さくなる。

【００５９】また、実施の形態１によれば、複数の人の
顔画像とこれらの顔画像内における特徴点の位置の相関
を学習しておくことにより、より精度の高い相関を求め
ることができるので、精度の高い推定ができるという作
用を有する。

【００６０】また、実施の形態１では、上述した（数
１）〜（数７）を用いて、パラメタの推定を行ったが、
予めサンプルとなる顔画像と特徴点の相関を求め、求め
た相関を使ってパラメタの推定を行う式であれば（数
１）〜（数７）以外の式を使ってもよい。

【００６１】（実施の形態２）本発明の実施の形態２
は、サンプルの入力画像（入力ベクトル）の分布にバラ
ツキを持たせたものであり、いろいろな分布を持つ照合
用の入力画像に対応できるようにしたものである。具体
的には、サンプルの入力画像を複数の分布に分け、それ
ぞれの分布毎に入力画像と入力画像の特徴点との相関を
調べるようにし、これらの相関を用いて照合用の入力画
像の特徴点を求めるようにしたものである。

【００６２】以下、実施の形態２にかかる顔画像照合装
置について説明する。実施の形態２にかかる顔画像照合
装置のブロック構成図は、実施の形態１の顔画像照合装
置と同じコンピュータシステムを用いて実現したもの
で、ブロック構成図の説明は省略する。

【００６３】実施の形態２にかかる顔画像照合装置は、
大きく分けてオフライン処理と、オンライン処理を行
う。

【００６４】オフライン処理は、撮影された顔画像より
得られる第１の教示ベクトルと撮影された顔画像におけ
る特徴点の座標より得られる第２の教示ベクトルの集合
を入力し、第１および第２の教示ベクトルの合成ベクト
ルを構成し、合成ベクトルの集合の混合分布（要素分布
数Ｍ）モデルのパラメタを推定し、混合分布の各要素分
布ｋ（ｋ＝１．．Ｍ）に属する第１の教示ベクトルの共
分散行列と、同じく第１の教示ベクトルの平均ベクトル
と、同じく要素分布ｋに属する第一および第２の教示ベ
クトルの相互相関行列と、同じく第２の教示ベクトルの
平均ベクトルを求める処理である。

【００６５】また、オフライン処理は、カメラから入力
された画像からその特徴点の座標値を推定し、推定した
特徴点の座標値から決定される顔領域の画像と、あらか
じめ登録された顔画像データベースの顔画像との照合処
理を行う。

【００６６】まず、実施の形態２にかかるオフライン処
理について、図７のオフライン処理の動作フローを用い
て説明する。

【００６７】オフライン処理の目的は、画像メモリに一
旦蓄えられた教示用の画像から、第１、第２の教示ベク
トルの合成ベクトルを構成し、合成ベクトルの集合の混
合分布（要素分布数Ｍ）モデルのパラメタを推定し、混
合分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の
教示ベクトルにおける共分散行列の擬似逆行列と、同じ
く第１の教示ベクトルの平均ベクトルと、同じく要素分
布ｋに属する第１および第２の教示ベクトルの相互相関
行列と、要素分布ｋに属する教示ベクトルの平均ベクト
ルを計算することにある。

【００６８】まず、顔画像照合装置１００は、サンプル
としてカメラ１からＮ人の顔画像パターンを入力する。
そして、顔画像照合装置１００は、この入力されたサン
プルの顔画像パターンを、Ｉ／Ｆ１２を介して画像メモ
リ２に一旦記憶した後に、全て二次記憶装置９に転送
し、格納する（Ｓ１６００）。

【００６９】次に、顔画像照合装置１００は、二次記憶
装置９に記憶した顔画像パターンを、各画素の値をラス
タスキャン順に並べたベクトルパターンに変換すること
で、教示ベクトルＶ₁を求める（Ｓ１６０１）。次に、
顔画像照合装置１００は、二次記憶装置９に記憶したサ
ンプルの顔画像パターンをディスプレイ８に一枚ずつ表
示する。そして、このサンプルの顔画像パターンを見た
ユーザがマウス１０を用いて手動で顔の特徴点の座標点
を入力すると、ユーザが入力した顔の特徴点をＩ／Ｆ１
５を介してメモリ３に入力する（Ｓ１６０２）。図３に
入力する顔の特徴点の例を示すが、顔画像１２０１の原
点Ｏを基準に右眉１２０２、右目１２０３、左目１２０
４、左目１２０５、鼻１２０６および口１２０７のそれ
ぞれの座標（Ｘ座標、Ｙ座標）が入力される。

【００７０】次に、顔画像照合装置１００は、入力した
各特徴点の座標値を順に並べて連結してひとつのベクト
ルデータを作成し、これを教示ベクトルＶ₂とする（Ｓ
１６０３）。そして、顔画像照合装置１００は、教示ベ
クトルＶ₁はパターンメモリ５に、教示ベクトルＶ₂はパ
ターンメモリ６に記憶する（Ｓ１６０４）。そして、顔
画像照合装置１００は、Ｎ人分の処理が終了したかを判
定し（Ｓ１６０５）、終了したら処理（Ｓ１６０６）に
進み、終了していない場合は処理（Ｓ１６０１）に進
む。

【００７１】次に、顔画像照合装置１００は、パターン
メモリ５およびパターンメモリ６に格納されたＮ人分の
教示ベクトルＶ₁、Ｖ₂の合成ベクトルを構成し、Ｎ人分
の合成ベクトルの集合における確率分布を混合ガウシア
ンモデル（以下ＧＭＭと呼ぶ）で複数（Ｍ個）の分布を
持つ要素分布にモデル化し、モデル化した際のｋ番目の
要素分布（要素分布数はＭ）のパラメタを計算する。即
ち、顔画像照合装置１００は、ｋ番目の要素分布に属す
るベクトルＶ₁、Ｖ₂の平均ベクトルＭ₁ ^k、Ｍ₂ ^k、ベクト
ルＶ₁の共分散行列Ｃ₁ ^k、ベクトルＶ₁、Ｖ₂の相互相関
行列Ｃ₁₂ ^kを計算する（Ｓ１６０６）。

【００７２】この計算には、通常ＥＭ（Ｅｘｐｅｃｔａ
ｔｉｏｎＭａｘｉｍｉｚａｔｉｏｎ）アルゴリズムが
用いられるが、これは文献：Ｃｈｒｉｓｔｏｐｈｅｒ
Ｍ．Ｂｉｓｈｏｐ，Ｏｘｆｏｒｄ出版“Ｎｅｕｒａｌ
ＮｅｔｗｏｒｋｓｆｏｒＰａｔｔｅｒｎＲｅｃ
ｏｇｎｉｔｉｏｎ”５９〜７３頁（１９９５）に詳細に
記述されている。

【００７３】次に、顔画像照合装置１００は、Ｓ１６０
６において、求めたベクトルＶ₁の共分散行列Ｃ₁ ^kの逆
行列（より一般的には擬似逆行列）Ｃ₁ ^k*を計算する。

【００７４】次に、顔画像照合装置１００は、求めたベ
クトルＶ₁の共分散行列の逆行列Ｃ₁ ^k*と相互相関行列Ｃ
₁₂ ^kから（数８）に従って特徴抽出行列Ｃ₃ ^kを計算する
（Ｓ１６０７）。そして、顔画像照合装置１００は、求
めた特徴抽出行列Ｃ₃ ^kを特徴抽出行列格納メモリ７に格
納する（Ｓ１６０８）。

【００７５】

【数８】以上が、実施の形態２におけるオフラインで実行される
処理であり、ＥＭアルゴリズムで得られたＧＭＭの各要
素分布ｋについて、平均ベクトルＭ₁ ^k、Ｍ₂ ^k、及び、特
徴抽出行列Ｃ₃ ^kを求め、特徴抽出行列格納メモリにする
ものである。

【００７６】次に、実施の形態２におけるオンライン処
理について、図８に示すフローチャートを用いて説明す
る。オンライン処理の目的は、入力された照合対象の顔
画像から、入力に対して固有なパラメタである特徴点の
座標値を推定し、これから照合に用いる顔領域を決定
し、決定した顔領域内の画像を求め、この画像と画像デ
ータベースに登録された画像と照合することにある。

【００７７】まず、顔画像照合装置１００は、カメラ１
から画像を入力し（Ｓ１７００）、Ｉ／Ｆ１２を介して
画像メモリ２に蓄積し、蓄積された入力画像を各画素の
値をラスタスキャン順に並べて入力ベクトルデータＸに
変換し、パターンメモリ５に転送する（Ｓ１７０１）。

【００７８】次に、顔画像照合装置１００は、入力ベク
トルデータＸに対して、オフラインで求めた特徴抽出行
列Ｃ₃ ^kおよび平均ベクトルＭ₁ ^k、Ｍ₂ ^kから、（数９）に
従って入力ベクトルデータＸに対する特徴点の座標値の
期待値ベクトルＥを計算する（Ｓ１７０２）。

【００７９】

【数９】次に、求めた特徴点座標値の期待値ベクトルＥが各特徴
点の座標値の合成ベクトルとなっているので、顔画像照
合装置１００は、特徴点の座標値の期待値ベクトルＥよ
り各特徴点の座標値を得る（Ｓ１７０３）。そして、顔
画像照合装置１００は、Ｓ１７０３において得た各特徴
点の座標値をもとに、照合に用いる顔領域を決定する
（Ｓ１７０４）。検出された顔領域の例を図５に示す
が、例えば鼻の座標１３０３を中心として、一辺の長さ
が両眼の間隔ａの２倍であり、上下の辺が両眼を結ぶ直
線と平行であるような正方形領域を顔領域１３０２とし
て決定する。

【００８０】次に、顔画像照合装置１００は、顔領域１
３０２の画像とあらかじめ登録した顔画像データベース
１１との画像を例えば統計的手法である主成分分析を利
用した固有顔法などの照合手法を用いて照合し（Ｓ１７
０５）、結果をディスプレイ８に表示し、二次記憶装置
９に転送する（Ｓ１７０６）。

【００８１】なお、固有顔（Ｅｉｇｅｎｆａｃｅ）法
は、参照画像のサイズを正規化して全画素の濃淡値をＮ
次元ベクトルとし、全ての参照画像からＭ＜Ｎ次元の顔
部分空間を主成分分析という統計的手法により生成する
方法である。つまり、入力画像から顔のありそうな領域
を正規化して顔部分空間との直交距離を類似度とし、顔
部分空間への射影先の位置により人物を認識するという
ものである。

【００８２】ディスプレイ８への出力例を図６に示す。
ディスプレイ１５０１上に入力された入力顔画像１５０
２と照合結果１５０４、１５０５が表示される。

【００８３】ここで、上述した計算によって特徴点位置
情報の推定が可能な理由を説明する。

【００８４】（数８）で得られる特徴点の座標値の期待
値ベクトルＥは、教示ベクトルＶ₁と教示ベクトルＶ₂の
関係を、２つのベクトルの合成ベクトルにおける分布が
混合正規分布であるという仮定の下で、ベイズ推定を用
いて学習した時の、入力ベクトルデータＸに対して得ら
れる出力の期待値に等しい。ベイズ推定とは、母数の分
布と適当な損失関数を定義し、損失関数の期待値が最小
となるように推定する統計的推定法をいう。すなわち、
（数９）によって、入力ベクトルデータＸに対して一番
尤もらしい出力値を推定することができると言える。

【００８５】以上のように実施の形態２によれば、サン
プルの入力画像を複数の分布に分け、それぞれの分布毎
にサンプルの入力画像とこの入力画像の特徴点との相関
を調べるようにし、これらの相関を用いて照合用の入力
画像の特徴点を推定することができる。これにより、照
合用の入力画像の分布、つまり特性にバラツキがあって
も、正確に特徴点を推定できる。

【００８６】また、実施の形態２によれば、（数９）に
示されるように、行列演算による直接計算によって、入
力ベクトルの固有なパラメタを推定することが出来る。
従来のテンプレートマッチングを用いた探索（即ち、繰
り返し演算）に比べ格段に小さな計算コストで、かつ、
混合分布モデルを用いているため非常に高精度に推定で
きるため、その効果は非常に大きい。前記のテンプレー
トマッチによる計算コスト算出の場合と同じ例で本発明
の計算コストを算出してみる。入力画像サイズを縦１５
０×横１５０画素＝２２５００画素として、入力に対し
両目の座標（右眼Ｘ座標、右眼Ｙ座標、左眼Ｘ座標、左
眼Ｙ座標）計４次元を推定する場合、乗算を単位演算と
した場合、（数９）に当てはめると特徴抽出行列Ｃ₃ ^kは
縦２２５００×横４の行列、（Ｘ−Ｍ₁）は４次元のベ
クトルより乗算回数は４×２２５００＝９００００（ｐ
ｅｌ）となり、乗算だけでテンプレートマッチの５００
分の１の計算コストとなりその効果は大きい。

【００８７】また、実施の形態２によれば、単純に行列
演算だけ、つまり乗算だけで要素分布毎の相互相関情報
が求められる。

【００８８】（実施の形態３）本発明の実施の形態３
は、実施の形態２のパラメタ推定装置を、人の眼を撮影
した画像からのアイリスの輪郭点を検出し、この輪郭点
を用いてアイリス領域画像を抽出し、抽出したアイリス
領域画像と登録しているアイリスデータと照合するアイ
リス照合装置に応用したものである。このようにして、
少ない処理コストで、人それぞれ模様が違うといわれて
いるアイリスを安定して抽出することができ、少ない処
理コストでアイリスを用いた人の照合ができるというも
のである。以下、実施の形態３について説明する。実施
の形態３におけるアイリス照合装置のブロック構成図
は、実施の形態１の顔画像照合装置と同じコンピュータ
システムを用いて実現したもので、ブロック構成図の説
明は省略する。

【００８９】アイリス照合装置は、カメラ１により撮影
した眼領域画像（例えば濃淡パターン）からアイリスの
輪郭を構成する座標点集合を検出し、アイリス領域画像
を切り出し、登録画像と照合するものである。切り出し
たアイリス領域画像の照合は、実施の形態１による顔画
像の照合と同様であるため、以下、アイリス領域の切り
出しについて説明する。

【００９０】アイリス領域の切り出し処理は、撮影した
眼領域の画像より得られる第１の教示ベクトルと、眼領
域画像内において検出対象となるアイリスの輪郭点集合
よりなる第２の教示ベクトルとの合成ベクトルを構成
し、合成ベクトルの集合を混合分布（要素分布数Ｍ）モ
デルでモデル化した際の分布のパラメタを推定し、混合
分布の各要素分布ｋ（ｋ＝１．．Ｍ）に属する第１の教
示ベクトルの共分散行列の擬似逆行列を計算し、同じく
第１の教示ベクトルの平均ベクトルを計算し、同じく要
素分布ｋに属する第一および第２の教示ベクトルの相互
相関行列を計算し、要素分布ｋに属する教示ベクトルの
平均ベクトルを計算するオフライン処理と、カメラから
入力した眼領域画像からアイリスの輪郭点を構成する座
標値の集合を推定し、輪郭点の座標値集合から決定され
るアイリス領域を抽出するオンライン処理の２つの処理
に分かれる。

【００９１】まず、オフライン処理について、図９のオ
フライン処理動作フローを用いて説明する。オフライン
処理の目的は、画像メモリに一旦蓄えられた教示用（サ
ンプル）の画像から、共分散行列Ｃ₁ ^kの逆行列（より一
般的には擬似逆行列）Ｃ₁ ^k*を計算し、求めたベクトル
Ｖ₁の共分散行列の逆行列Ｃ₁ ^k*と相互相関行列Ｃ₁₂ ^kか
ら特徴抽出行列Ｃ₃ ^kを計算することにある。

【００９２】まず、アイリス照合装置は、カメラ１から
Ｎ人の眼領域画像パターンを入力し、Ｉ／Ｆ１２を介し
て一旦画像メモリ２に蓄積した後に、全て二次記憶装置
９に転送する（Ｓ９００）。

【００９３】次に、アイリス照合装置は、二次記憶装置
９に記憶した眼領域画像パターンを、各画素の値をラス
タスキャン順に並べたベクトルパターンに変換すること
で教示ベクトルＶ₁を求める（Ｓ９０１）。次に、アイ
リス照合装置は、それぞれの眼領域画像パターンをディ
スプレイ８に一枚ずつ表示する。そして、これを見たユ
ーザがマウス１０を用いて手動でアイリス領域の輪郭を
構成する座標点の集合を指定すると、アイリス照合装置
は、指定されたアイリス領域の輪郭をメモリ３に入力す
る（Ｓ９０２）。

【００９４】図１０にユーザが指定するアイリス領域を
示す。図に示すように、ディスプレイ８には、眼領域画
像１０００が表示される。そして、眼領域画像１０００
には、眼画像１００５ａ、１００５ｂが含まれている。
そして、ユーザは、眼画像１００５ａ、１００５ｂ内の
アイリス領域１００１を認識し、マウスカーソル１００
４を操作することで眼画像１００５ａ、１００５ｂに対
してアイリスの外側の輪郭１００２およびアイリスの内
側の輪郭１００３を指定する。

【００９５】次に、アイリス照合装置は、入力したアイ
リスの各輪郭点の座標値を順に並べて連結してひとつの
ベクトルデータを作成し、これを教示ベクトルＶ₂とす
る（Ｓ９０３）。次に、アイリス照合装置は、教示ベク
トルＶ₁をパターンメモリ５に、教示ベクトルＶ₂をパタ
ーンメモリ６に記憶する（Ｓ９０４）。そして、アイリ
ス照合装置は、Ｎ人分の処理が終了したかを判定し（Ｓ
９０５）、終了したら処理（Ｓ９０６）に進み、終了し
ていない場合は処理（Ｓ９０１）に進む。

【００９６】次に、アイリス照合装置は、パターンメモ
リ５およびパターンメモリ６に格納されたＮ人分の教示
ベクトルＶ₁、Ｖ₂の合成ベクトルを構成し、Ｎ人分の合
成ベクトルの集合の確率分布をＧＭＭでモデル化した際
のｋ番目の要素分布（要素分布数はＭ）のパラメタを推
定する。即ち、アイリス照合装置は、ｋ番目の要素分布
に属するベクトルＶ₁、Ｖ₂の平均ベクトルＭ₁ ^k、Ｍ₂ ^k、
ベクトルＶ₁の共分散行列Ｃ₁ ^k、ベクトルＶ₁、Ｖ₂の相
互相関行列Ｃ₁₂ ^kを計算する（Ｓ９０６）。この計算に
は、通常ＥＭアルゴリズムが用いられる。

【００９７】次に、アイリス照合装置は、求めたベクト
ルＶ₁の共分散行列Ｃ₁ ^kの逆行列（より一般的には擬似
逆行列）Ｃ₁ ^k*を計算する。そして、アイリス照合装置
は、求めたベクトルＶ₁の共分散行列の逆行列Ｃ₁ ^k*と相
互相関行列Ｃ₁₂ ^kから（数８）に従って特徴抽出行列Ｃ₃
^kを計算する（Ｓ９０７）。そして、アイリス照合装置
は、求めた特徴抽出行列Ｃ₃ ^kを特徴抽出行列格納メモリ
７に格納する（Ｓ９０８）。

【００９８】以上が、実施の形態３においてオフライン
で実行される処理であり、ＥＭアルゴリズムで得られた
ＧＭＭの各要素分布ｋについて、平均ベクトルＭ₁ ^k、Ｍ
₂ ^k、及び、特徴抽出行列Ｃ₃ ^kを求め、特徴抽出行列格納
メモリに格納する処理である。

【００９９】次に、実施の形態３のオンライン処理につ
いて、図１１に示すフローチャートを用いて説明する。
実施の形態３にかかるオンライン処理の目的は、入力さ
れた眼領域画像から、入力に対して固有なパラメタであ
るアイリスの輪郭点の座標値集合を推定し、これからア
イリス領域の画像を求めることにある。

【０１００】まず、アイリス照合装置は、カメラ１から
眼領域画像を入力し（Ｓ１１０１）、Ｉ／Ｆ１２を介し
て画像メモリ２に蓄積し、蓄積した入力画像を各画素の
値をラスタスキャン順に並べて入力ベクトルデータＸに
変換し、パターンメモリ５に転送する（Ｓ１１０２）。

【０１０１】次に、アイリス照合装置は、入力ベクトル
データＸに対して、オフラインで求めた特徴抽出行列Ｃ
₃ ^kおよび平均ベクトルＭ₁ ^k、Ｍ₂ ^kから、（数９）に従っ
て入力ベクトルデータＸに対する特徴点の座標値の期待
値ベクトルＥを計算する（Ｓ１１０３）。

【０１０２】期待値ベクトルＥは、入力ベクトルＸに対
する、アイリスの輪郭を構成する点の座標値の集合の期
待値に等しい。よって、アイリス照合装置は、期待値ベ
クトルＥからアイリスの輪郭を構成する点の座標値の集
合を決定する（Ｓ１１０４）。そして、アイリス照合装
置は、決定したアイリスの輪郭を構成する点の集合から
アイリスの領域画像を決定する（Ｓ１１０５）。

【０１０３】検出されたアイリス領域の例を図１２に示
す。例えば、アイリス照合装置は、アイリスの外側の輪
郭１２０１とアイリスの内側の輪郭１２０２を構成する
点集合１２０３を連結し、得られた２つの曲線の内側を
取り出すことで、アイリス領域画像１２０４を抽出す
る。

【０１０４】次に、アイリス照合装置は、Ｓ１１０５に
おいて求めたアイリス領域内の画像と、予め登録画像デ
ータベース１１に登録してあるアイリスの領域画像との
照合を行い（Ｓ１１０６）、結果をディスプレイ８に表
示し、二次記憶装置９に転送する（Ｓ１１０６）。この
照合方法については、実施の形態１、実施の形態２と同
じなので説明を省略する。

【０１０５】以上のように実施の形態３によれば、サン
プルの眼領域画像とこれに対するアイリスの輪郭を構成
する点の集合との相関を点集合の分布毎に求め、この相
関を用いることで、照合対象の眼領域画像からこれに対
するアイリスの輪郭を構成する点の集合を推定できる。
これにより、少ない処理コストでアイリスの輪郭を構成
する点の集合を推定でき、アイリスの領域画像を抽出で
きる。

【０１０６】また、実施の形態３によれば、（数９）に
示されるように、行列演算による直接計算によって、入
力ベクトルの固有なパラメタを推定することが出来る。
これにより、従来のテンプレートマッチングを用いた探
索（即ち、繰り返し演算）に比べ格段に小さな計算コス
トで、かつ、混合分布モデルを用いているため非常に高
精度に推定できるため、その効果は非常に大きい。

【０１０７】なお、特徴抽出行列及び期待値ベクトル
は、実施の形態１のように特徴抽出行列Ｃ₃および平均
ベクトルＭ₁、Ｍ₂から、（数７）に従って入力ベクトル
データＸに対する特徴点の座標値の期待値ベクトルＥを
計算しても良い。

【０１０８】本発明は、上述の実施の形態に限定される
ものではない。本発明では、ＣＰＵ４がプログラムを読
み込むことで、ＣＰＵ４が第１の教示ベクトルの自己相
関情報と、第１の教示ベクトルと第２教示ベクトルの相
互相関情報と、第１の教示ベクトルの平均ベクトルおよ
び第２の教示ベクトルの平均ベクトルを計算する学習手
段と、計算した自己相関情報、相互相関情報、第１の教
示ベクトルの平均ベクトル、および第２の教示ベクトル
の平均ベクトルを用いて入力画像の特徴点（パラメタ）
を推定するパラメタ推定手段と、推定した特徴点を用い
て画像内の特徴を表す部分領域を決定する部分領域決定
手段と、決定した部分領域画像を用いて入力画像の対象
物と予め登録された対象物との一致を照合する照合手段
として動作する形態で説明したが、学習手段、パラメタ
推定手段、部分領域決定手段、および照合手段を専用の
プロセッサを具備する形態であっても良い。

【０１０９】また、本発明を実施するコンピュータをプ
ログラムするために使用できる命令を含む記憶媒体であ
るコンピュータプログラム製品が本発明の範囲に含まれ
る。この記憶媒体は、フレキシブルディスク、光ディス
ク、ＣＤＲＯＭおよび磁気ディスク等のディスク、ＲＯ
Ｍ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気光カー
ド、メモリカードまたはＤＶＤ等であるが、特にこれら
に限定されるものではない。

【０１１０】

【発明の効果】以上説明したように本発明によれば、少
ない処理コストで入力画像の特徴点を正確に求めること
ができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における顔画像照合装置
のブロック図

【図２】実施の形態１にかかる顔画像照合装置のオフラ
イン処理の動作フロー図

【図３】実施の形態１においてユーザにより入力される
顔の特徴点を示す図

【図４】実施の形態１にかかる顔画像照合装置のオンラ
イン処理の動作フロー図

【図５】実施の形態１において検出された顔領域を示す
図

【図６】実施の形態１においてディスプレイへ出力され
る図

【図７】本発明の実施の形態２にかかる顔画像照合装置
のオフライン処理の動作フロー図

【図８】実施の形態２にかかる顔画像照合装置のオンラ
イン処理の動作フロー図

【図９】本発明の実施の形態３にかかるアイリス照合装
置のオフライン処理の動作フロー図

【図１０】実施の形態３においてユーザにより入力され
るアイリスの特徴点を示す図

【図１１】実施の形態３にかかるアイリス照合装置のオ
ンライン処理の動作フロー図

【図１２】実施の形態３においてディスプレイへ出力さ
れる図

【図１３】従来の顔の特徴抽出方法の動作フロー図

【図１４】目のテンプレートを示す図

【図１５】テンプレートによる探索を説明するための図

【符号の説明】

１ビデオカメラ２画像メモリ３メモリ４ＣＰＵ５、６パターンメモリ７特徴抽出行列格納メモリ８ディスプレイ９二次記憶装置（ＨＤＤ、光磁気ディスクなど）１０マウス１１登録画像データベース１２〜１５インターフェース１６システムバス１７コンピュータシステム１００顔画像照合装置

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B043 AA09 BA04 EA05 GA02 5L096 BA18 FA06 FA33 FA34 HA07 JA11 KA04

Claims

【特許請求の範囲】

【請求項１】サンプルとなるサンプル眼領域画像を入
力するサンプル入力手段と、前記サンプル眼領域画像の
アイリスの輪郭を形成する点の集合を入力するパラメタ
入力手段と、アイリスの輪郭を推定する照合対象眼領域
画像を入力する照合データ入力手段と、前記サンプル眼
領域画像と前記アイリスの輪郭を形成する点の集合を合
成した情報を複数の分布に分け、前記サンプル眼領域画
像の自己相関情報と前記サンプル眼領域画像と前記点の
集合との前記相互相関情報を前記分布毎に求める学習手
段と、前記分布毎に求めた前記自己相関情報と前記相互
相関情報を用いて前記照合対象眼領域画像の前記アイリ
スの輪郭を構成する前記点の集合を推定するパラメタ推
定手段と、前記推定した前記点の集合を用いて前記照合
対象眼領域画像からアイリス領域画像を推定するアイリ
ス推定手段とを具備したことを特徴とするアイリス推定
装置。
【請求項２】前記学習手段は、前記サンプル眼領域画
像をベクトル化した第１の教示ベクトルおよび前記アイ
リスの輪郭を形成する前記点の集合をベクトル化した第
２の教示ベクトルの合成ベクトルを構成し、前記合成ベ
クトルの複数の要素分布を集合した混合分布モデルを推
定し、前記要素分布毎に属する前記自己相関情報を前記
第１の教示ベクトルの共分散行列を求めることで求め、
前記相互相関情報を前記第１の教示ベクトルと前記第２
の教示ベクトルとの共分散行列を求めることで求め、前記パラメタ推定手段は、前記要素分布毎に属する前記
相互相関情報を用いて前記照合対象眼領域画像の前記点
の集合を推定すること特徴とする請求項１記載のアイリ
ス推定装置。
【請求項３】請求項１または請求項２に記載のアイリ
ス推定装置と、前記アイリス推定装置により推定された
前記照合対象眼領域画像の前記アイリス領域画像を用い
て前記照合対象眼領域画像があらかじめ登録された前記
サンプル眼領域画像と一致するかを照合する照合手段と
を具備したことを特徴とするアイリス照合装置。
【請求項４】サンプルとなるサンプル眼領域画像を入
力するステップと、前記サンプル眼領域画像のアイリス
の輪郭を形成する点の集合を入力するステップと、アイ
リスの輪郭を推定する照合対象眼領域画像を入力するス
テップと、前記サンプル眼領域画像と前記アイリスの輪
郭を形成する点の集合を合成した情報を複数の分布に分
け、前記サンプル眼領域画像の自己相関情報と前記サン
プル眼領域画像と前記点の集合との前記相互相関情報を
前記分布毎に求めるステップと、前記分布毎に求めた前
記自己相関情報と前記相互相関情報を用いて前記照合対
象眼領域画像の前記アイリスの輪郭を構成する前記点の
集合を推定するステップと、前記推定した前記点の集合
を用いて前記照合対象眼領域画像からアイリス領域画像
を推定するステップとを具備したことを特徴とするアイ
リス推定方法。
【請求項５】請求項４に記載のアイリス推定方法によ
り推定された前記照合対象眼領域画像の前記アイリス領
域画像を用いて前記照合対象眼領域画像があらかじめ登
録された前記サンプル眼領域画像と一致するかを照合す
ることを特徴とするアイリス照合方法。
【請求項６】コンピュータに、サンプルとなるサンプ
ル眼領域画像を入力するステップと、前記サンプル眼領
域画像のアイリスの輪郭を形成する点の集合を入力する
ステップと、アイリスの輪郭を推定する照合対象眼領域
画像を入力するステップと、前記サンプル眼領域画像と
前記アイリスの輪郭を形成する点の集合を合成した情報
を複数の分布に分け、前記サンプル眼領域画像の自己相
関情報と前記サンプル眼領域画像と前記点の集合との前
記相互相関情報を前記分布毎に求めるステップと、前記
分布毎に求めた前記自己相関情報と前記相互相関情報を
用いて前記照合対象眼領域画像の前記アイリスの輪郭を
構成する前記点の集合を推定するステップと、前記推定
した前記点の集合を用いて前記照合対象眼領域画像から
アイリス領域画像を推定するステップとを行わせること
を特徴としたプログラム。
【請求項７】コンピュータに、サンプルとなるサンプ
ル眼領域画像を入力するステップと、前記サンプル眼領
域画像のアイリスの輪郭を形成する点の集合を入力する
ステップと、アイリスの輪郭を推定する照合対象眼領域
画像を入力するステップと、前記サンプル眼領域画像と
前記アイリスの輪郭を形成する点の集合を合成した情報
を複数の分布に分け、前記サンプル眼領域画像の自己相
関情報と前記サンプル眼領域画像と前記点の集合との前
記相互相関情報を前記分布毎に求めるステップと、前記
分布毎に求めた前記自己相関情報と前記相互相関情報を
用いて前記照合対象眼領域画像の前記アイリスの輪郭を
構成する前記点の集合を推定するステップと、前記推定
した前記点の集合を用いて前記照合対象眼領域画像から
アイリス領域画像を推定するステップと、推定した前記
照合対象眼領域画像の前記アイリス領域画像を用いて前
記照合対象眼領域画像があらかじめ登録された前記サン
プル眼領域画像と一致するかを照合するステップとを行
わせることを特徴としたプログラム。