JP2002056394A

JP2002056394A - 眼位置検出方法および眼位置検出装置

Info

Publication number: JP2002056394A
Application number: JP2000240678A
Authority: JP
Inventors: Kenji Kondo; 堅司近藤; Kenya Uomori; 謙也魚森
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-08-09
Filing date: 2000-08-09
Publication date: 2002-02-20
Anticipated expiration: 2020-08-09
Also published as: US7130453B2; CN1261905C; EP1324259A1; CN1422596A; US20030118217A1; JP4469476B2

Abstract

(57)【要約】【課題】近赤外光照明によって撮影された人物の顔画
像から、眼の位置を、高精度に検出可能にする。【解決手段】顔画像に対し、前処理後、眼の強膜部と
虹彩部とのコントラストが高くなるように、輝度補正を
行う（Ｓ１０）。輝度補正後の画像について輝度勾配ベ
クトルを算出し、算出した輝度勾配ベクトルを用いて生
成した輝度勾配画像と、眼テンプレートとのマッチング
を行う（Ｓ２１）。さらに、瞳孔テンプレートとのマッ
チングを行い（Ｓ２２）、眼中心位置を修正する（Ｓ２
３）。その後、最終的な両眼の位置を決定する（Ｓ３
０）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入退室管理等の用
途に用いられる虹彩認証等のために、人の顔画像から眼
の位置を検出する画像処理技術に関するものである。

【０００２】

【従来の技術】近年、虹彩認識を用いた個人認証の技術
が、入退室管理やＡＴＭなどの用途に実用化され始めて
いる。実用的には例えば、撮影した人の顔画像から眼の
位置を検出し、検出した眼の位置について拡大した画像
から虹彩認識を行うようなシステムが、想定される。

【０００３】画像から眼を検出する技術としては、
（１）「形状抽出とパターン照合の組み合わせによる顔
特徴点抽出」（電子情報通信学会論文誌，D-II,Vol.J80
-D-II,No.8,pp.2170-2177 ）、（２）特許第２９７３６
７６号、（３）特開平１０−６３８５０号公報、（４）
特開平１２−１２３１４８号公報、（５）特開平８−１
８５５０３号公報、（６）特開平１０−１５４２２０号
公報などに記載されたものがある。

【０００４】この中で、（１），（２）は可視光下で撮
影した画像から眼を検出する技術である。（１）は分離
度フィルタという，中央部の輝度値が小さく周辺部の輝
度値が大きい部分を見つけるフィルタを用いて、顔の濃
淡画像から眼その他の特徴点を抽出している。（２）は
顔の濃淡画像にエッジ抽出フィルタをかけ、エッジ画像
とエッジでできた顔部品のテンプレートとのマッチング
によって、眼その他の特徴点を抽出している。

【０００５】また、（３）〜（６）は近赤外光撮影の画
像から眼を検出する技術である。（３），（４）では、
眼の上下方向（上瞼→虹彩→下瞼）の輝度変化に着目し
て眼を見つけている。（５），（６）は照明光の反射を
利用して眼位置を検出するものであり、（５）は同軸落
射照明（照明とカメラの光軸が一致）の場合に、網膜に
よる反射と角膜表面、眼鏡の縁やレンズなどによる反射
の輝度が異なることを利用して、２種類の二値化閾値を
適切に設定することによって、網膜反射の位置によって
眼位置を決定するものである。（６）は眼の角膜反射を
含む複数の反射に注目し、時間的に輝度変化の大きいも
のを瞬きによる角膜反射の消失と捉え、眼の位置を決定
するものである。

【０００６】

【発明が解決しようとする課題】上述したような虹彩認
識システムの場合、利用する照明は、可視光よりも近赤
外光の方が好ましい。すなわち、近赤外光照明の場合に
は、照射しても被写体の人からは見えず、まぶしくない
ので、撮影されているという心理的抵抗感を低減するこ
とができる、という利点がある。

【０００７】ところが、近赤外光下で撮影した眼画像
は、可視光下で撮影した眼画像と異なり、黒目におい
て、虹彩は反射率が高くなり、瞳孔だけが暗くなる。し
たがって、瞳孔、虹彩、強膜（白目）、皮膚の順に輝度
が大きくなる。すなわち、虹彩と強膜との輝度差が、可
視光撮影の画像よりも、少ない。このため、（１）のよ
うな濃淡値を使う方法や（２）のような濃淡値から得ら
れるエッジ情報を用いる方法を、近赤外光下で撮影した
眼画像についてそのまま用いても、眼の検出がうまくで
きない。この点については、本願発明者が実験によって
すでに確認している。

【０００８】一方、（３），（４）は、赤外光撮影の画
像は眼の横方向の輝度変化が少ないために、上下方向に
着目したものであるが、上下方向に明→暗→明となる輝
度変化が起こる場所としては、眼の他にも眉、鼻穴、ほ
くろなどがあり、眼以外の場所を誤って検出してしまう
可能性が大きい。

【０００９】また、（５）は同軸落射照明という特殊な
照明装置がいることに加え、レンズなどによる反射の位
置と、網膜反射の位置が重なってしまった場合にうまく
動作しない。また、（６）では、瞬きするまで待つ必要
があり、時間変化をみるので、眼位置を検出するのに多
少時間がかかるという問題があり、さらに、その間に人
が動いてしまうとうまく眼を見つけられない、という問
題もある。

【００１０】前記の問題に鑑み、本発明は、顔画像から
眼の位置を検出する方法として、同軸落射照明のような
特殊な装置を用いないで、近赤外光下で撮影したような
虹彩部と強膜部とのコントラストが低い画像から、短時
間で、眼の位置を高精度に検出可能にすることを課題と
する。

【００１１】

【課題を解決するための手段】前記の課題を解決するた
めに、請求項１の発明が講じた解決手段は、赤外光照明
下において撮影された少なくとも眼の領域を含む顔画像
から眼の位置を検出する方法として、前記顔画像の一部
または全部に対し、眼の強膜部と虹彩部とのコントラス
トが高くなるように輝度補正を行うステップと、輝度補
正後の顔画像について、輝度勾配ベクトルを算出し、算
出した輝度勾配ベクトルを用いて生成した輝度勾配画像
と眼テンプレートとのマッチングを行うステップとを備
え、前記マッチングの結果を基に眼の位置を検出するも
のである。

【００１２】請求項１の発明によると、少なくとも眼の
領域を含む顔画像の一部または全部に対し、眼の強膜部
と虹彩部とのコントラストが高くなるように、輝度補正
が行われる。そして、この輝度補正後の顔画像につい
て、輝度勾配ベクトルが算出され、輝度勾配ベクトルを
用いて生成した輝度勾配画像と、眼テンプレートとのマ
ッチングが行われる。すなわち、眼の位置を検出するた
めのマッチングの前に、眼の強膜部と虹彩部とのコント
ラストが強調され、強膜部と虹彩部と間のエッジ強度が
高くなる。したがって、輝度勾配画像と眼テンプレート
とのマッチングによって、眼の位置を精度よく検出する
ことができる。

【００１３】請求項２の発明では、前記請求項１の眼位
置検出方法における輝度補正ステップは、前記顔画像に
ついて、輝度勾配を算出し、算出した輝度勾配を基にし
て、前記顔画像からエッジを含む部分を選択し、選択し
た前記顔画像の部分を用いて、輝度補正を行うものとす
る。

【００１４】請求項３の発明では、前記請求項２の眼位
置検出方法は、眼の強膜部と虹彩部とのエッジが強く出
るような画像サイズとフィルタサイズとの相対関係を予
め求めておき、前記輝度補正ステップにおける輝度勾配
の算出を、前記相対関係からみて前記顔画像のサイズに
適したサイズのフィルタを用いて行うものとする。

【００１５】請求項４の発明では、前記請求項２の眼位
置検出方法は、眼の強膜部と虹彩部とのエッジが強く出
るような画像サイズとフィルタサイズとの相対関係を予
め求めておき、前記輝度補正ステップにおける輝度勾配
の算出を、所定サイズのフィルタを用い、かつ、前記顔
画像のサイズを前記相対関係からみてフィルタサイズに
合うように変更して行うものとする。

【００１６】請求項５の発明では、前記請求項１の眼位
置検出方法における輝度補正ステップは、前記顔画像の
一部または全部の平均輝度を計算し、計算した平均輝度
が、所定値よりも小さいときは、輝度補正を行う一方、
前記所定値以上のときは、輝度補正を行わないものとす
る。

【００１７】請求項６の発明では、前記請求項１の眼位
置検出方法における輝度補正ステップは、前記顔画像の
輝度補正を行う領域を複数の部分領域に分割し、前記各
部分領域毎に輝度補正を行うものとする。

【００１８】請求項７の発明では、前記請求項６の眼位
置検出方法における領域分割は、輝度補正領域を左右に
分割するものとする。

【００１９】請求項８の発明では、前記請求項７の眼位
置検出方法における領域分割は、輝度補正領域から鼻の
位置を検出し、検出した鼻の位置を基準にして輝度補正
領域を左右に分割するものとする。

【００２０】また、請求項９の発明が講じた解決手段
は、少なくとも眼の領域を含む顔画像から眼の位置を検
出する方法として、前記顔画像について輝度勾配ベクト
ルを算出し、算出した輝度勾配ベクトルを用いて生成し
た輝度勾配画像と眼テンプレートとのマッチングを行
い、このマッチングの結果を基に眼の位置を検出するも
のであり、前記眼テンプレートは、輝度勾配ベクトルを
それぞれ有する複数の点が、まぶたと眼球の境界に相当
する曲線上と、黒目の周囲とに配置されてなり、かつ、
黒目周囲の点はｎ重（ｎは２以上の整数）同心円上に配
置されているものである。

【００２１】請求項９の発明は、顔画像中の眼のサイズ
の多少の変動をも吸収可能な眼テンプレートの形状を提
案するものである。従来のテンプレートを用いた眼の検
出方法では、顔領域の検出誤差や眼の大きさ・形状の個
体差などのために、大きさなどが異なる複数のテンプレ
ートを用いる必要があった。このため、マッチングにか
かる時間が増大するという問題が生じていた。

【００２２】そこで、請求項９の発明によると、眼テン
プレートにおいて、黒目周囲の点がｎ重同心円上に配置
されているので、眼のサイズに多少の変動があっても、
これに対応することができ、精度の高いマッチングを行
うことができる。

【００２３】請求項１０の発明では、前記請求項９の眼
検出方法における顔画像は、赤外光照明下において撮影
されたものとする。

【００２４】また、請求項１１の発明が講じた解決手段
は、少なくとも眼の領域を含む顔画像から眼の位置を検
出する方法として、前記顔画像について輝度勾配ベクト
ルを算出し、算出した輝度勾配ベクトルを用いて生成し
た輝度勾配画像と、輝度勾配ベクトルをそれぞれ有する
複数の点からなる眼テンプレートとのマッチングを行
い、このマッチングの結果を基に眼の位置を検出するも
のであり、前記マッチングは、所定値よりも大きい輝度
値を有する前記顔画像の画素に対応する，輝度勾配画像
上の点を、マッチングのための相関値計算の対象から省
くものである。

【００２５】請求項１１の発明は、眼鏡などの反射が多
少眼にかかっても、テンプレートマッチングが効率的に
行える方法を提案するものである。従来のテンプレート
を用いた眼の検出方法では、眼鏡などの反射が眼にかか
った場合、マッチングがうまくできないという問題があ
った。

【００２６】そこで、請求項１１の発明によると、所定
値よりも大きい輝度値を有する前記画像の画素に対応す
る，輝度勾配画像上の点が、マッチングのための相関値
計算の対象から省かれるため、眼鏡の反射が眼にかかっ
たとしても、その部分が相関値計算に含まれないので、
眼の位置をより精度良く検出することができる。

【００２７】また、請求項１２の発明が講じた解決手段
は、少なくとも眼の領域を含む顔画像から眼の位置を検
出する方法として、前記顔画像またはこの顔画像を変換
して得られた画像と眼のテンプレートとのマッチングを
行い、第１のマッチングスコアを求める第１のステップ
と、前記顔画像またはこの顔画像を変換して得られた画
像と瞳孔テンプレートとのマッチングを行い、第２のマ
ッチングスコアを求める第２のステップとを備え、前記
第１および第２のマッチングスコアに基づいて眼の位置
を検出するものである。

【００２８】請求項１２の発明は、虹彩中心を精度良く
検出することができる方法を提案するものである。従来
の眼全体のテンプレートを用いた眼の検出方法では、全
体の相関が最も高い位置を眼の検出位置としていた。こ
のため、テンプレートの虹彩中心と実際の虹彩中心とが
必ずしも一致しない、という問題があった。

【００２９】そこで、請求項１２の発明によると、眼の
テンプレートによるマッチングを行うとともに、瞳孔テ
ンプレートによるマッチングを行い、両方のマッチング
スコアに基づいて、眼の位置が検出される。したがっ
て、眼の中心位置の位置決め精度が、従来よりも向上す
る。

【００３０】請求項１３の発明では、前記請求項１２の
眼位置検出方法は、前記第１のマッチングスコアを前記
第２のマッチングスコアを加味して修正する第３のステ
ップを備え、修正後の第１のマッチングスコアを用いて
眼の位置検出を行うものとする。

【００３１】請求項１４の発明では、前記請求項１２の
眼位置検出方法における第１のステップは、前記顔画像
を縮小した画像に対して行うものとし、前記第２のステ
ップは、元の顔画像に対して行うものとする。

【００３２】請求項１５の発明では、前記請求項１４の
眼位置検出方法における第１のステップは、前記第１の
マッチングスコアを基にして、眼の位置の候補となる部
分を選択するステップを備え、前記第２のステップは、
選択された眼位置候補部分の，眼テンプレートの虹彩部
に該当する領域およびその近傍のみにおいて、瞳孔テン
プレートによるマッチングを行うものとする。

【００３３】また、請求項１６の発明が講じた解決手段
は、赤外光照明下において撮影された少なくとも眼の領
域を含む顔画像から眼の位置を検出する装置として、前
記顔画像の一部または全部に対し、眼の強膜部と虹彩部
とのコントラストが高くなるように輝度補正を行い、輝
度補正後の顔画像について輝度勾配ベクトルを算出し、
算出した輝度勾配ベクトルを用いて生成した輝度勾配画
像と眼テンプレートとのマッチングを行い、前記マッチ
ングの結果を基に眼の位置を検出するものである。

【００３４】また、請求項１７の発明が講じた解決手段
は、少なくとも眼の領域を含む顔画像から眼の位置を検
出する装置として、前記顔画像について輝度勾配ベクト
ルを算出し、算出した輝度勾配ベクトルを用いて生成し
た輝度勾配画像と眼テンプレートとのマッチングを行
い、このマッチングの結果を基に眼の位置を検出するも
のであり、前記眼テンプレートは、輝度勾配ベクトルを
それぞれ有する複数の点が、まぶたと眼球の境界に相当
する曲線上と黒目の周囲とに配置されてなり、かつ、黒
目周囲の点はｎ重（ｎは２以上の整数）同心円上に配置
されているものである。

【００３５】また、請求項１８の発明が講じた解決手段
は、少なくとも眼の領域を含む顔画像から眼の位置を検
出する装置として、前記顔画像について輝度勾配ベクト
ルを算出し、算出した輝度勾配ベクトルを用いて生成し
た輝度勾配画像と、輝度勾配ベクトルをそれぞれ有する
複数の点からなる眼テンプレートとのマッチングを行
い、このマッチングの結果を基に眼の位置を検出するも
のであり、前記マッチングは、所定値よりも大きい輝度
値を有する前記顔画像の画素に対応する輝度勾配画像上
の点を、マッチングのための相関値計算の対象から省く
ものである。

【００３６】また、請求項１９の発明が講じた解決手段
は、少なくとも眼の領域を含む顔画像から眼の位置を検
出する装置として、前記顔画像またはこの顔画像を変換
して得られた画像と眼のテンプレートとのマッチングを
行い、第１のマッチングスコアを求め、前記顔画像また
はこの顔画像を変換して得られた画像と瞳孔テンプレー
トとのマッチングを行い、第２のマッチングスコアを求
め、前記第１および第２のマッチングスコアに基づいて
眼の位置を検出するものである。

【００３７】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００３８】図１は本発明に係る眼位置検出を利用した
虹彩認識システムの概略構成を示す図である。図１はシ
ステムを上方から見た図である。図１に示す虹彩認識シ
ステムは、Ｗ（Ｗｉｄｅ）カメラ１とＮ（Ｎａｒｒｏ
ｗ）カメラ３とを備えた２カメラ構成になっている。Ｗ
カメラ１は少なくとも眼を含む画像を撮影するためのも
のであり、距離センサ５は眼までの距離を測距するため
のものであり、Ｎカメラ３はＷカメラ１の撮影画像から
決定された眼の位置と距離センサ５で測距された眼まで
の距離を受けて虹彩の拡大画像を撮影するためのもので
ある。

【００３９】図２は図１に示すような虹彩認識システム
を有するシステムの例としての入退室管理システムの構
成を示すブロック図である。図２に示すように、Ｗカメ
ラ１およびＷカメラ用照明部２はＷカメラ用照明・Ｗカ
メラ制御部６によって制御され、Ｎカメラ３およびＮカ
メラ用照明部４はＮカメラ用照明・Ｎカメラ制御部１１
によって制御される。そして、Ｗカメラ用照明・Ｗカメ
ラ制御部６およびＮカメラ用照明・Ｎカメラ制御部１１
はＣＰＵ７によって制御される。ＣＰＵ７はプログラム
メモリ１０に格納された各処理プログラムを実行する。

【００４０】図３は図２の入退室管理システムの動作を
示すフローチャートである。以下、図３にしたがって、
図２の入退室管理システムの動作について説明する。

【００４１】入退室管理システムの前に誰か人が立つ
と、センサ５ａがその人を検知し、検知信号をＷカメラ
用照明・Ｗカメラ制御部６に送信する（Ａ１）。Ｗカメ
ラ用照明・Ｗカメラ制御部６はＷカメラ１およびＷカメ
ラ用照明部２にそれぞれ、互いに同期した照明開始信号
および撮影信号を送信する。すると、Ｗカメラ１が、少
なくとも眼を含む人の画像を撮影する。本実施形態で
は、人の上半身画像が撮影されるものとする（Ａ２）。
Ｗカメラ１によって撮影された画像はフレームメモリ８
に蓄えられる。

【００４２】次に、プログラムメモリ１０に蓄えられた
眼探索領域決定プログラムが作動し、ＣＰＵ７によって
眼探索領域が決定される（Ａ３）。

【００４３】まず図４に示すように、Ｗカメラ１によっ
て撮影された上半身画像ＷＣＡから人の顔領域ＦＤＡを
抽出する。ここでの抽出は、顔領域ＦＤＡを安定して抽
出可能であればどのような手法を用いてもかまわない。
例えば、予め準備した顔テンプレートと上半身画像との
マッチングによって、顔領域ＦＤＡを抽出する。顔テン
プレートは例えば、近赤外光で撮影した多数の人の顔
を、大きさで正規化した後に平均化することによって、
作成することができる。この場合、大きさが異なる複数
の顔テンプレートを準備しておくのが好ましい。顔領域
ＦＤＡを抽出した後は、顔領域ＦＤＡに対して予め定め
られた範囲を眼探索領域ＥＳＡとして特定する。

【００４４】次に、プログラムメモリ１０に蓄えられた
眼位置検出プログラムが作動し、ＣＰＵ７によって、眼
探索領域ＥＳＡから眼の位置が検出される（Ａ４）。本
実施形態はこの眼位置検出を特徴とするものであり、処
理の詳細については後述する。ここでは、Ｗカメラ１の
撮影画像から両目の位置が検出され、距離センサ５によ
って眼までの距離が検出される。これらから両眼の３次
元位置が決定され、Ｎカメラ用照明・Ｎカメラ制御部１
１に送信される。

【００４５】Ｎカメラ用照明・Ｎカメラ制御部１１は、
虹彩認識のために予め設定された方の目の位置に合わせ
て、Ｎカメラ用照明部４のパンおよびチルトとＮカメラ
３のパン、チルトおよびズームとを制御し、眼画像のア
ップを撮影する（Ａ５）。Ｎカメラ３によって撮影され
た眼画像は虹彩認識部１２に送られ、虹彩認識部１２は
送られた眼画像の虹彩と予め登録された虹彩データとの
認証を行う（Ａ６）。虹彩認識部１２によって本人と確
認されたとき、開錠部１３がドアロックを電気的に解除
する（Ａ７）。

【００４６】以下、本実施形態に係る眼位置検出動作Ａ
４の詳細について、説明する。図５は眼位置検出の概略
フローを示す図、図６〜図８は図５の各処理の詳細を示
すフローチャートである。

【００４７】＜前処理Ｓ００＞前処理Ｓ００では、顔画
像としての眼探索領域ＥＳＡの画像を、眼の強膜部と虹
彩部とのエッジが強く出るように予め求めた，画像サイ
ズとフィルタサイズとの相対関係に基づいて、所定サイ
ズのフィルタに合うように、縮小する。

【００４８】いま、眼探索領域ＥＳＡの画像のサイズが
幅Ｍ、高さＮであり、輝度勾配算出（エッジ抽出）のた
めに、図１０に示すような（３ｘ３）のＳｏｂｅｌフィ
ルタを用いるものとする。そして、眼のエッジ強度が大
きくなるような画像サイズとフィルタサイズとの比がＲ
であるとすると、まず、（３ｘ３）のＳｏｂｅｌフィル
タに適する画像の幅Ｗ＝Ｒｘ３を計算する。そして、眼
探索領域ＥＳＡの原画像を、その幅が算出された画像幅
Ｗと最も近くなるように、１／ｎ（ただしｎは自然数）
に縮小する。また、算出された画像幅ＷがＭよりも大き
い場合は、原画像を、拡大せずにそのまま用いる。

【００４９】ここでは計算量の削減のために、１／ｎの
画像縮小を、モザイク化、すなわち原画像における（ｎ
ｘｎ）の画素の平均値を縮小画像の画素値とすることに
よって行う。なお、他の手法、例えばガウシアンフィル
タ等のローパスフィルタを掛けた後にサンプリングする
ことによって、縮小画像を生成してもよい。

【００５０】＜コントラスト補正Ｓ１０＞次に、縮小し
た眼探索領域の画像について、眼の強膜部と虹彩部との
コントラストが高くなるように、輝度補正を行う。

【００５１】図９は眼を撮影したときの画像の例を模式
的に示す図であり、（ａ）は可視光下で撮影したもの、
（ｂ）は近赤外光下で撮影したものである。図９に示す
ように、黄色人種の場合、可視光下で撮影したときは虹
彩および瞳孔がともに濃い色になり、白目／黒目のコン
トラストは大きい。ところが、近赤外光下で撮影したと
きは、瞳孔、虹彩、強膜の順に徐々に明るくなり、可視
光下ほどには白目／黒目のコントラストがつかない。

【００５２】すなわち、本実施形態においてコントラス
ト補正を行う理由は、赤外光下で撮影した画像は強膜
（白目）部と虹彩（黒目）部とのコントラストが低いの
で、テンプレートとマッチングされる虹彩周囲のエッジ
に相当する輝度勾配の強度が、より高くなるようにする
ためである。本実施形態では、眼（上瞼＋虹彩周囲）の
エッジに相当する輝度勾配の強度が高くなるようなコン
トラスト補正を行う。

【００５３】ここでは、コントラスト補正のために、ヒ
ストグラム平滑化を用いる。「ヒストグラム平滑化」と
は、画素の濃度値が特定の値域に集中する場合、その部
分のコントラストを上げ、頻度が小さい値域のコントラ
ストを下げる処理である（詳しくは「画像解析ハンドブ
ック」（東京大学出版会、高木幹雄・下田陽久監修）
ｐ．４８０を参照）。

【００５４】以下、コントラスト補正Ｓ１０の詳細につ
いて、図６のフローチャートに従って説明する。

【００５５】まず、前処理Ｓ００で生成した縮小画像に
ついて、輝度勾配ベクトルを計算する（Ｓ１１）。ここ
では図１０に示すような２個の（３ｘ３）サイズのＳｏ
ｂｅｌフィルタを適用して、ｘ方向，ｙ方向の輝度勾配
ベクトルＤｓｘ（ｉ，ｊ），Ｄｓｙ（ｉ，ｊ）を算出す
る。そして次式に示すように、算出した輝度勾配ベクト
ルＤｓｘ（ｉ，ｊ），Ｄｓｙ（ｉ，ｊ）の自乗和の平方
根を計算することによって輝度勾配強度Ｖ（ｉ，ｊ）を
算出し、輝度勾配画像を生成する（Ｓ１２）。Ｖ（ｉ，
ｊ）＝sqrt（Ｄｓｘ（ｉ，ｊ）²＋Ｄｓｙ（ｉ，ｊ）²）

【００５６】次に、縮小画像を左右に二分割する（Ｓ１
３）。そして、分割した各部分領域についてそれぞれ、
以下の処理を行う（Ｓ１４〜Ｓ１７）。

【００５７】まず、当該部分領域内の平均輝度を計算す
る（Ｓ１４）。そして、平均輝度と予め求めた閾値との
比較を行う（Ｓ１５）。平均輝度が閾値よりも大きいと
きは、コントラスト補正を行わない。一方、平均輝度が
閾値以下であるときは、輝度勾配画像における輝度勾配
強度が高い部分に相当する，縮小画像の画素のみを用い
て、ヒストグラム平滑化を行う（Ｓ１６）。ここでは、
輝度勾配画像において輝度勾配強度が上位Ａ％にある画
素の部分を、輝度勾配強度が高い部分と認識する。この
際、ヒストグラム平滑化を行うときの画素値の変換式
は、輝度勾配強度の上位Ａ％の画素のみを用いて算出す
るが、画素値の変換は全ての画素に対して行う。

【００５８】ここで、部分領域の平均輝度が閾値よりも
大きいときにはコントラスト補正を行わないようにした
のは、次のような理由からである。すなわち、部分領域
内の平均輝度が閾値よりも大きい場合としては、図１１
（ａ）に示すように、ほとんどの肌の部分と強膜の部分
が白く飛んだような，輝度値が飽和気味の場合が考えら
れる。このように輝度値が飽和気味になる原因として
は、照明が明る過ぎ、カメラの絞りが開き過ぎ、などが
考えられる。そして、輝度値が飽和気味の画像の場合、
通常の場合に比べて、虹彩部と強膜部とのコントラスト
が大きいので、改めてコントラスト補正を行わないでも
済むといえる。

【００５９】逆に、図１１（ａ）のような場合にコント
ラスト補正を行ったときは、輝度値が高い画素を多く含
む領域についてコントラスト補正がなされるので、図１
１（ｂ）に示すように、肌のような輝度の高い部分のコ
ントラストがさらに高まる一方で、より暗い画素からな
る眼付近の画像のコントラストが逆に圧縮されてしまう
ことになる。このような現象は、たとえ輝度勾配強度が
高い部分の画素のみをコントラスト補正に用いた場合で
あっても、起こり得る。したがって、コントラスト補正
を行わない方がむしろ望ましい、といえる。

【００６０】また、ヒストグラム平滑化を、輝度勾配強
度が高い部分に相当する画素のみを用いて行うことによ
って、眼のエッジ部分に相当する輝度値の画素が多く含
まれた画素を用いたヒストグラム平滑化を行うことがで
きるので、これにより、眼のエッジ部分のコントラスト
を効率良く向上させることができる。なお、輝度勾配強
度が上位Ａ％にある画素の代わりに、例えば、輝度勾配
強度が閾値以上の画素の部分を、輝度勾配強度が高い部
分と認識してもかまわない。

【００６１】また、ここで、縮小画像を左右に二分割し
て処理を行うようにしたのは、次のような理由からであ
る。図１に示す虹彩認識システムでは、Ｗカメラ１の横
にＷカメラ用照明２が配置されているので、Ｗカメラ１
の近くに人が立ったとき、その人には側方から照明が当
たることになる。このような場合、顔の左右で明るさが
異なり画像の輝度が不均一になりやすく、画像全体でヒ
ストグラム平滑化を行っても、十分な効果が得られな
い。よって、画像を複数の部分領域に分割し、各部分領
域毎にヒストグラム平滑化を行うことによって、その部
分領域の輝度に応じたコントラスト補正がなされること
になる。

【００６２】なお、縮小画像の分割は、例えば左右に二
等分してもよいし、画像認識によって鼻を検出し、その
鼻の位置を基準として左右に分割してもかまわない。ま
た、ここでは、画像を左右に分割するものとしたが、例
えば照明をカメラの上に設置したために画像の上下で輝
度の不均一が生じる場合には、画像を上下に分割すれば
よいことはいうまでもない。

【００６３】なお、図１の虹彩認識システムにおいて、
照明をカメラの横に配置した理由について補足説明す
る。

【００６４】照明とカメラの光軸がなす角度が小さい場
合、眼鏡をかけた人を撮影すると、眼鏡の反射が眼の虹
彩にかかってしまう可能性が高くなる。眼鏡の反射が虹
彩にかかった場合、眼の位置検出が困難になるととも
に、虹彩認識自体も困難になる。そこで、図１のシステ
ムでは、照明とカメラとを横方向に離して配置し、照明
とカメラの光軸のなす角度をある程度確保するようにし
ている。

【００６５】また、図１２に示すように、カメラの両側
に照明を設けるようなシステム構成も有効である。この
ようなシステムでは、例えば、最初の撮影ではいずれか
一方の照明を照射させ、眼の位置検出がうまく行かない
場合には、他方の照明を照射させて再度撮影を行うよう
に動作させることもできる。

【００６６】＜眼中心位置候補の決定Ｓ２０＞次に、コ
ントラスト補正がなされた画像から、眼の位置の候補を
いくつか決定する。この処理Ｓ２０は、眼テンプレート
マッチングＳ２１、瞳孔テンプレートマッチングＳ２２
および眼中心位置の修正Ｓ２３の３つのステップに分か
れて実行される。

【００６７】（眼テンプレートマッチング）まず、コン
トラスト補正後の縮小画像に対して、輝度勾配ベクトル
を計算する（Ｓ２１ａ）。ここでは、コントラスト補正
の場合と同様に、図１０に示すような２個の（３ｘ３）
サイズのＳｏｂｅｌフィルタを適用して、ｘ方向，ｙ方
向の輝度勾配ベクトルＤｓｘ２（ｉ，ｊ），Ｄｓｙ２
（ｉ，ｊ）を算出する。そして、次式に示すように、算
出した輝度勾配ベクトルＤｓｘ２（ｉ，ｊ），Ｄｓｙ２
（ｉ，ｊ）の自乗和の平方根を計算することによって、
輝度勾配強度Ｖ２（ｉ，ｊ）を算出する（Ｓ２１ｂ）。Ｖ２（ｉ，ｊ）＝sqrt（Ｄｓｘ２（ｉ，ｊ）²＋Ｄｓｙ
２（ｉ，ｊ）²）さらに、輝度勾配ベクトル（Ｄｓｘ２（ｉ，ｊ），Ｄｓ
ｙ２（ｉ，ｊ））の大きさを、その向きを保ったまま、
二値化する（Ｓ２１ｃ）。例えば、輝度勾配強度Ｖ２
（ｉ，ｊ）が上位Ｂ％に含まれる輝度勾配ベクトルにつ
いては、大きさが「１」になり、それ以外の輝度勾配ベ
クトルについては大きさが「０」になるようにする。

【００６８】次に、マッチングに用いる眼テンプレート
を生成する（Ｓ２１ｄ）。ここでは、眼テンプレートの
サイズを、コントラスト補正後の縮小画像のサイズに応
じて決めるものとする。例えば、予め収集した眼探索領
域の画像から、画像サイズと虹彩の直径との相関関係を
前もって求めておく。そして、この相関関係に基づい
て、縮小画像の大きさに合った虹彩の直径Ｄを求め、こ
の直径Ｄに応じたサイズの眼テンプレートを生成する。

【００６９】図１３は本実施形態において用いる眼テン
プレートの一例を示す図である。本実施形態に係る眼テ
ンプレートは、図１３（ａ）に示すように、複数の点か
らなり、上瞼の輪郭点、すなわちまぶたと眼球の境界に
相当する曲線上に配置された点と、虹彩の輪郭点、すな
わち黒目の周囲に配置された点とを含んでいる。また、
虹彩の輪郭点は、半径の異なるｎ重円（ｎは２以上の整
数）上に配置されている。ここでは、ｎ＝２とし、外側
の円ＣＯの直径は１．１ｘＤ，内側の円ＣＩの直径は
０．９ｘＤと定めている。

【００７０】図１３（ａ）の例では、上瞼の輪郭点数は
左右３個ずつの計６個であり、虹彩部の輪郭点数は外側
の円８個、内側の円８個の計１６個である。なお、外側
の円ＣＯ上の点と内側の円ＣＩ上の点は互いに位相をず
らして配置する。図１３（ａ）の例では、外側の円ＣＯ
では、各点は時計の１２時の位置から４５度おきに配置
されるが、内側の円ＣＩでは、各点が時計の１２時の位
置から２２．５度動いた位置から４５度おきに配置され
る。

【００７１】また、図１３（ｂ）に示すように、眼テン
プレートの各点は、向きを持った２次元ベクトルから構
成されている。各ベクトルの大きさは１であり、向き
は、虹彩部については円の中心向き、上瞼部について
は、上瞼部の各点を結ぶ線と直交する方向でかつ下向き
である。マッチングの際には、各点の２次元ベクトルと
縮小画像の輝度勾配ベクトルとのマッチングスコアが計
算される。

【００７２】次に、眼テンプレートと輝度勾配画像との
マッチングを行い（Ｓ２１ｅ）、マッチングスコアｓ＿
ｅｙｅが高い順に、眼位置候補を選択する（Ｓ２１
ｆ）。

【００７３】

【数１】

【００７４】マッチングスコアｓ＿ｅｙｅの算出式を上
に示す。上式は、輝度勾配画像の勾配ベクトル（Ｉｘ，
Ｉｙ）（Ｉｘ＝Ｄｓｘ２（ｉ，ｊ），Ｉｙ＝Ｄｓｙ２
（ｉ，ｊ））と、眼テンプレートの各点のベクトル（Ｔ
ｘ，Ｔｙ）との内積の平均値を求めたものである。ただ
し、ここでは、眼テンプレートの各点に対応する画像上
の点の輝度値が所定の閾値以下のもののみについて内積
を求めるものとする。すなわち、輝度値が閾値よりも大
きい点については、マッチングのスコア計算には含めな
い。Ｎはマッチングスコア計算に含まれた眼テンプレー
トの有効点数である。

【００７５】輝度値が所定の閾値よりも大きい点は、眼
鏡の反射などに起因して輝度値が飽和した部分と考えら
れる。このような部分は輝度勾配がないか、または極め
て少ない。このため、このような部分をマッチングのス
コア計算に含めたとすると、眼鏡の反射が眼のエッジ部
分にかかった場合には、その分、その部分のマッチング
スコアが低下することになる。したがって、眼位置をう
まく検出することができない。よって、本実施形態のよ
うに、輝度値が所定の閾値よりも大きい点をマッチング
のスコア計算から除外することによって、眼鏡の反射が
多少眼にかかっていても、眼位置を安定して検出するこ
とができる。

【００７６】また、図１３に示すようなｎ重円構造を有
する眼テンプレートをマッチングに用いることによっ
て、次のような効果が得られる。すなわち、画像サイズ
から虹彩径を推定する場合、顔領域の推定誤差や個人間
の虹彩サイズの相違などに起因して、推定された虹彩径
と実際の虹彩径との間にずれがある場合がある。このよ
うな場合、単に一重円のテンプレートを用いたとする
と、画像とのマッチングにおいて眼位置をうまく見つけ
られない可能性がある。そこで、従来は複数のサイズの
一重円のテンプレートを用いてテンプレートマッチング
を行い、虹彩径のずれを吸収していた。この場合、テン
プレートマッチングにかかる時間が増大してしまうとい
う問題があった。ところが本実施形態のように、虹彩部
のテンプレートをｎ重円構造にすると、画像から推定し
た虹彩径に多少の誤差があっても、単一のテンプレート
でうまくマッチングをとることができ、高速かつ確実に
眼位置を検出することができる。

【００７７】また、赤外光撮影の画像では、強膜（白
目）部と虹彩（黒目）部とで輝度がなだらかに変化する
ため、輝度勾配が画像の一定の範囲で持続する。よっ
て、可視光下で撮影した画像に比べて、テンプレートを
ｎ重円構造にしたことによる副作用は、少ない。

【００７８】図１４は可視光撮影での画像と本実施形態
に係る眼テンプレートとの関係を示す図であり、図１５
は近赤外光撮影での画像と本実施形態に係る眼テンプレ
ートとの関係を示す図である。図１４および図１５中、
（ａ）は眼画像を模式的に示した図、（ｂ）は（ａ）の
眼画像の点線上における横方向の輝度の分布、（ｃ）は
（ｂ）の輝度分布から求めた輝度勾配強度の分布であ
る。

【００７９】図１４に示すように、可視光下で撮影した
眼画像では、虹彩と強膜との間の輝度差が大きく、輝度
は急激に変化する。このため、本実施形態に係る眼テン
プレートのｎ重円構造の各点において、相関が高くなる
ものと相関が低くなるものとの両方が存在する可能性が
ある。すなわち、眼テンプレートをｎ重円構造にしたこ
とによって、マッチングがかえってうまくいかなくなる
おそれがある。これに対して図１５に示すように、赤外
光下で撮影した眼画像では、虹彩と強膜との間の輝度差
は小さく、輝度はなだらかに変化する。このため、輝度
勾配強度がある範囲で高くなる。このため、本実施形態
に係る眼テンプレートのｎ重円構造のいずれの点でも、
高い相関が得られ、これにより、画像から推定した虹彩
径に多少の誤差があっても、確実に眼位置を検出するこ
とができる。

【００８０】なお、赤外光以外の照明下で撮影された場
合であっても、輝度がなだらかに変化する眼画像が得ら
れる場合には、本実施形態に係る眼テンプレートは、有
効である。例えば、可視光下での撮影であっても、ピン
トを意図的にぼかした場合には、輝度はなだらかに変化
すると考えられるので、本実施形態に係る眼テンプレー
トは有効である。また、虹彩の色が薄く、虹彩と強膜と
の輝度差が低い人を撮影した場合にも、有効であると考
えられる。

【００８１】なお、図１３の例では、ｎ＝２（二重
円）、上瞼部の点数を６、虹彩部の点数を１６とした
が、これは他の値であってもよい。

【００８２】なお、本実施形態では、テンプレートの形
状を虹彩の輪郭点のみｎ重円（ｎ＝２）としたが、これ
とともに、上瞼の輪郭点をｍ重の曲線上の点としてもよ
い。この場合、ｍ個の曲線は必ずしも等間隔でなくても
よく、例えば、眼の端に行くほど広がるようなｍ個の曲
線であってもよい。このように眼と眼球の境界に相当す
る曲線もｍ重とすることによって、個人間の瞼の形状の
変動や二重瞼などに対応することができる。

【００８３】また、マッチングを行う際、輝度勾配ベク
トルの大きさを二値化したことによって、次のような効
果が得られる。すなわち、マッチングを行う画素が少な
くなるので、計算時間が短縮される。また、輝度勾配の
大きさに左右されず、輝度勾配の向きのみによるマッチ
ングが可能になるので、輝度勾配が大きい部分に誤って
マッチングされることを防ぐことができる。

【００８４】輝度勾配の大きさが「０」のとき、マッチ
ングの相関は常に０であり、輝度勾配の大きさが「１」
のときは、その大きさに関係なく輝度勾配の向きのみが
マッチングに貢献することになる。そして、コントラス
ト補正をかけて眼のエッジ強度を強くすることによっ
て、眼のエッジ部分がマッチングに貢献する画素に確実
に含まれる。したがって、マッチング精度を低下させる
ことなく、処理量を削減することができる。

【００８５】（瞳孔テンプレートマッチング）次に、眼
テンプレートマッチングＳ２１によって選択した眼位置
候補について、瞳孔テンプレートとのマッチングを行
う。

【００８６】まず、元の眼探索領域の画像サイズに応じ
た輝度勾配算出フィルタを生成する（Ｓ２２ａ）。前処
理Ｓ００において入力画像から縮小画像を生成する際
に、予め算出しておいた、眼のエッジに強く反応するよ
うな画像サイズとエッジ検出フィルタサイズとの相対関
係を用いたが、ここでもその関係を用いて、最適な輝度
勾配算出フィルタのサイズを求める。なお、サイズは奇
数であり、最小は３とする。サイズが３のときは、輝度
勾配算出フィルタは通常のＳｏｂｅｌフィルタとなる。
サイズが決まったら、予め作成しておいたそのサイズの
フィルタを、ここでの輝度勾配算出フィルタとする。

【００８７】次に、生成した輝度勾配算出フィルタを適
用して、眼探索領域の入力画像Ｉｏ（ｍ，ｎ）について
輝度勾配ベクトルＤｘ（ｍ，ｎ），Ｄｙ（ｍ，ｎ）を算
出する（Ｓ２２ｂ）。そして、次式に示すように、算出
した輝度勾配ベクトルＤｘ（ｍ，ｎ），Ｄｙ（ｍ，ｎ）
の自乗和の平方根を計算することによって、輝度勾配強
度Ｖ３（ｍ，ｎ）を算出する（Ｓ２２ｃ）。Ｖ３（ｍ，ｎ）＝sqrt（Ｄｘ（ｍ，ｎ）²＋Ｄｙ（ｍ，
ｎ）²）さらに、輝度勾配ベクトル（Ｄｘ（ｍ，ｎ）、Ｄｙ
（ｍ，ｎ））の大きさを、その向きを保ったまま、二値
化する（Ｓ２２ｄ）。例えば、輝度勾配強度Ｖ３（ｍ，
ｎ）が上位Ｃ％に含まれる輝度勾配ベクトルについて
は、大きさが「１」になり、それ以外の輝度勾配ベクト
ルについては大きさが「０」になるようにする。

【００８８】次に、マッチングに用いる瞳孔テンプレー
トを生成する（Ｓ２２ｅ）。ここでは、瞳孔テンプレー
トのサイズを、この眼位置候補を算出した眼テンプレー
トの虹彩部分の直径と画像の縮小率に応じて決めるもの
とする。

【００８９】図１６は本実施形態において用いる瞳孔テ
ンプレートの一例を示す図である。ここでは、マッチン
グに用いた眼テンプレートの虹彩部分の直径と、眼テン
プレートのマッチング時の画像の縮小率に応じて、取り
得る瞳孔径の値を数種類用意する。このように複数の瞳
孔径のテンプレートを用意する理由は、瞳孔径の個人間
の変動だけでなく、周囲の明るさによって瞳孔径が変化
するので、それらに対応するためである。そして、各瞳
孔径に対してそれぞれ、図１６（ａ）に示すような、個
数Ｔｐ（図１６ではＴｐ＝８）の点が円上に等間隔に配
置されたテンプレートを作成する。また、図１６（ｂ）
に示すように、瞳孔テンプレートの各点は、向きを持っ
た２次元ベクトルから構成されている。各ベクトルの大
きさは１であり、向きは円の中心向きである。マッチン
グの際には、各点の２次元ベクトルと入力画像の輝度勾
配ベクトルとのマッチングスコアが計算される。

【００９０】次に、選択した眼位置候補に対し、瞳孔テ
ンプレートと輝度勾配画像とのマッチングを行う（Ｓ２
２ｆ）。ここでは、マッチングを行う範囲は、各眼位置
候補の虹彩部に相当する部分の外接矩形内とする。そし
て、次式に従って、マッチングスコアｓ＿ｐｕｐｉｌを
計算する。ここで、複数のサイズの瞳孔テンプレートを
用いているが、スコアｓ＿ｐｕｐｉｌが最も大きくなる
瞳孔テンプレートのサイズ、位置でのスコアｓ＿ｐｕｐ
ｉｌを最終的なスコアとして選ぶことにする。

【００９１】

【数２】

【００９２】すなわち、輝度勾配画像の勾配ベクトル
（Ｉｘ，Ｉｙ）（Ｉｘ＝Ｄｘ（ｍ，ｎ），Ｉｙ＝Ｄｙ
（ｍ，ｎ））と、瞳孔テンプレートの各点のベクトル
（Ｔｘ，Ｔｙ）との内積の平均値が、マッチングスコア
ｓ＿ｐｕｐｉｌとして求められる。ただしここでは、瞳
孔テンプレートの各点に対応する画像上の点の輝度値が
所定の閾値以下のもののみについて、内積を求めるもの
とする。すなわち、輝度値が閾値よりも大きい点につい
ては、マッチングのスコア計算には含めない。Ｍはマッ
チングスコア計算に含まれた瞳孔テンプレートの有効点
数である。

【００９３】（眼中心位置の修正）次に、瞳孔テンプレ
ートによるマッチングスコアｓ＿ｐｕｐｉｌと眼テンプ
レートによるマッチングスコアｓ＿ｅｙｅとを大小比較
する（Ｓ２３ａ）。そして、瞳孔テンプレートによるマ
ッチングスコアｓ＿ｐｕｐｉｌの方が、眼テンプレート
によるマッチングスコアｓ＿ｅｙｅよりも大きいとき
は、次式に従ってマッチングスコアｓ＿ｅｙｅを更新し
（Ｓ２３ｂ）、眼の中心位置を瞳孔テンプレートがマッ
チした位置の中心に設定する（Ｓ２３ｃ）。

【００９４】

【数３】

【００９５】ここで、Ｎは眼テンプレートの有効点数、
Ｍは瞳孔テンプレートの有効点数である。一方、瞳孔テ
ンプレートによるマッチングスコアｓ＿ｐｕｐｉｌが眼
テンプレートによるマッチングスコアｓ＿ｅｙｅ以下で
あるときは、眼の中心位置を、眼テンプレートがマッチ
した位置の虹彩部の中心に設定する（Ｓ２３ｄ）。

【００９６】なお、ステップＳ２３ａにおけるマッチン
グスコア更新の要否を、瞳孔テンプレートによるマッチ
ングスコアｓ＿ｐｕｐｉｌが予め定めた閾値よりも大き
いか否かによって判断してもかまわない。

【００９７】本実施形態のように、眼の位置を、眼テン
プレートによるマッチングによって探した後、瞳孔テン
プレートによるマッチングによって再び探すことによっ
て、次のような効果が得られる。

【００９８】図９（ｂ）に示すように、赤外光撮影の眼
画像では、虹彩部と強膜部との間に輝度差がつく他に、
虹彩部と瞳孔部との間でも輝度差がつく。特に、眼を高
解像で撮影した場合には、輝度勾配を算出すると、虹彩
部と瞳孔部とのエッジがはっきりと得られる。本実施形
態では、この瞳孔部のエッジを利用している。

【００９９】ただし、瞳孔径は周囲の明るさに応じて変
動する。また、低解像で撮影した画像の場合、虹彩の中
央部が暗く周囲に近づくほど徐徐に明るくなるため、瞳
孔のエッジのみで眼を見つけることのは難しい。加え
て、瞳孔のエッジは円形であり、中央部が暗いために輝
度勾配は外向きから内向きになるため、最初から瞳孔テ
ンプレートを用いた探索を行うと、鼻の穴やほくろなど
を誤って検出してしまうおそれがある。

【０１００】そこで、本実施形態では、最初は眼のテン
プレートによって眼の位置の候補を探し、次いで、瞳孔
テンプレートを用いて眼位置候補の虹彩部から瞳孔を探
索し、眼の中心位置候補を決定している。これは、眼の
中心位置の検出精度の面で極めて有効である。例えば、
本実施形態のシステムのように２カメラ構成の場合は、
Ｎカメラの機械的走査の誤差の影響を考えると、眼の中
心位置はできる限り厳密に算出しておくことが望まし
い。瞳孔テンプレートを用いて眼の中心位置を更新する
ことによって、Ｎカメラに多少の機械的誤差が生じて
も、眼をズームしたときに虹彩を撮影し損なう可能性が
減ることになる。

【０１０１】また、瞳孔テンプレートによるマッチング
スコアを用いて、眼テンプレートによるマッチングスコ
アを更新することによって、眼以外のものが、眼位置と
して検出されることを防ぐことができる。例えば、眼テ
ンプレートを用いたマッチングにおいて、実際の眼の位
置と眼以外のもの位置とが、同程度のマッチングスコア
を有していたとする。このような状況において、眼の瞳
孔が高解像で撮影され、はっきりと映っていた場合、実
際の眼の位置の方では、瞳孔テンプレートによるマッチ
ングスコアが高くなるはずである。したがって、瞳孔テ
ンプレートによるマッチングスコアを元の眼テンプレー
トによるマッチングスコアに反映させることによって、
実際の眼と眼以外のものとを区別することができる。

【０１０２】＜眼位置の決定Ｓ３０＞ここまでの処理に
よって、眼の中心位置候補が決定されたので、最終的
に、眼位置を決定する。

【０１０３】まず、決定された眼中心位置候補につい
て、任意の２個の組み合わせを、両眼位置候補として作
成する（Ｓ３１）。このとき、各両眼位置候補のスコア
として、これを構成する２個の眼中心位置候補のスコア
ｓ＿ｅｙｅの平均値を与える。

【０１０４】次に、各両眼位置候補から、２個の眼中心
位置候補の互いの高低差が所定値以上のものを除外する
（Ｓ３２）。ここでの所定値は、眼探索領域の大きさか
ら算出するものとする。さらに、残りの各両眼位置候補
から、２個の眼中心位置候補同士の距離が所定の範囲内
に含まれていないものを除外する（Ｓ３３）。ここでの
所定範囲は、眼探索領域の大きさから算出された最小距
離および最大距離によって定められる。ステップＳ３
２，Ｓ３３は、両眼位置候補のうち、両眼の位置関係か
らみて不適当なものを除外する処理である。

【０１０５】そして、残った両眼位置候補のうちスコア
が最大のものを、両眼位置として最終的に決定する（Ｓ
３４）。

【０１０６】＜画像サイズとフィルタサイズの相対関係
＞すでに説明したように、本実施形態では、予め算出し
ておいた、眼のエッジに強く反応するような画像サイズ
とフィルタサイズとの相対関係を利用している。そし
て、入力画像を予め準備したフィルタのサイズに応じて
縮小し、この縮小画像に対してフィルタをかけることに
よって、眼のエッジ強度が比較的強くなるような輝度勾
配画像を生成することができる。

【０１０７】近赤外光下で撮影した眼画像は、可視光下
で撮影した眼画像と比べて、次の点が大きく異なる。黄
色人種は白色人種に比べて、虹彩部が濃い黒色に近い色
をしているが、近赤外光下で撮影した画像では、虹彩部
の輝度は高くなり、強膜（白目）との輝度差は可視光下
で撮影した画像ほどはつかない。そして、虹彩部から強
膜部への輝度変化はなだらかなものになる。このため、
虹彩／強膜間のエッジを抽出する場合、画像サイズに合
ったエッジ検出フィルタのサイズがあると考えられる。

【０１０８】画像サイズとフィルタサイズとの相対関係
の算出方法は、以下の通りである。

【０１０９】まず、図１７に示すような，（３×３）よ
りも大きい様々なサイズ（ｋ×ｋ）（ｋは奇数）の輝度
勾配算出フィルタを作成する。これは、図１０に示すＳ
ｏｂｅｌフィルタの係数値を滑らかに補間することによ
って、作成することができる。各係数値の算出は、例え
ば次のように行えばよい。

【０１１０】ｘ方向のエッジを検出するフィルタの場
合、点（ｉ，ｊ）＝（１，（ｋ＋１）／２）を中心と
し、距離（ｋ−１）／２だけ離れたところで値がピーク
時の半分になる２次元ガウス関数ｆ１（ｉ，ｊ）（ただし、ｆ１（１，（ｋ＋１）／２）＝−２，ｆ１（１，１）＝ｆ（１，ｋ）＝−１）と、点（ｉ，ｊ）＝（ｋ，（ｋ＋１）／２）を中心と
し、距離（ｋ−１）／２だけ離れたところで値がピーク
の半分になる２次元ガウス関数ｆ２（ｉ，ｊ）（ただし、ｆ２（ｋ，（ｋ＋１）／２）＝２，ｆ２（ｋ，１）＝ｆ（ｋ，ｋ）＝１）を準備する。

【０１１１】そして、次式のように計算することによっ
て、各係数ｇ（ｉ，ｊ）を求める。

【０１１２】

【数４】

【０１１３】このようにして得られた（５ｘ５）サイズ
のフィルタ係数は、図１８のようになる。

【０１１４】その一方で、近赤外光下で撮影した様々な
サイズの眼画像を収集する。そして、収集した眼の画像
に、図１９（ａ）に示すようなエッジ強度計測ポイント
を人手によって設定し、フィルタをかけたときのエッジ
強度（ｘ方向輝度勾配とｙ方向輝度勾配の自乗和）を求
める。この際、画像サイズはオリジナルのままで、フィ
ルタサイズを変えたときのエッジ強度の変化や、フィル
タサイズは（３ｘ３）のままで、画像の縮尺を変えたと
きのエッジ強度の変化を、収集した各眼画像の各計測ポ
イントにおいて、測定する。

【０１１５】図１９（ｂ）は測定されたエッジ強度の変
化を示すグラフである。カメラのピントが常に合ってい
るという条件の下では、図１９（ｂ）に示すように、エ
ッジ強度は、個人間の差異や虹彩の周りの計測ポイント
の位置、または、フィルタサイズを変えるか、画像を縮
小するかの違いに依らず、画像サイズとフィルタサイズ
の比が所定の値となるところで大きくなる。このこと
は、本願発明者による実験によって、確認されている。
そこで、本実施形態では、エッジ強度が大きくなるよう
な画像サイズとフィルタサイズの比を、前もって保存し
ておき、輝度勾配算出に利用している。

【０１１６】（変形例）なお、本実施形態では、コント
ラスト補正や眼テンプレートとのマッチングの際に、予
め求めた画像サイズとフィルタサイズとの相関関係に基
づいて、入力画像を、フィルタサイズに応じて縮小する
ものとしたが、画像サイズは変えないで、フィルタサイ
ズを変更（拡大）するようにしてもよい。

【０１１７】画像サイズを縮小させる場合は、眼位置の
検出精度が多少は低下してしまうが、処理速度は高速に
なる。一方、フィルタサイズを拡大させる場合は、大き
い顔画像に対しては大きなフィルタを用いることになる
ので、計算時間の増大を招いてしまうが、精度は低下し
ない。

【０１１８】本実施形態では、縮小画像を用いて眼テン
プレートによるマッチングを行い、おおまかに眼位置候
補を選択してから、原画像に対して瞳孔テンプレートに
よるマッチングを行い、眼の中心を算出している。さら
に、原画像に対する瞳孔テンプレートによるマッチング
を行うのは、眼テンプレートがマッチした箇所の瞳孔部
に該当する部分のみとしている。これにより、検出精度
を低下させることなく、処理時間を低減することができ
る。

【０１１９】なお、本実施形態に係るコントラスト補正
は、本実施形態で示した手法以外の手法による眼位置の
決定についても、有効である。例えば、眼テンプレート
のマッチングのみによって眼位置候補を決定し、最終的
な眼位置を決定する場合でも、本実施形態に係るコント
ラスト補正を行うことによって、顕著な効果が得られ
る。

【０１２０】また、本実施形態において、コントラスト
補正を省いてもかまわない。

【０１２１】また、本実施形態に係る眼テンプレートや
マッチング手法は、瞳孔テンプレートのマッチングと併
せて行わない場合でも、有効である。

【０１２２】（他のアプリケーションの例）なお、本発
明は、本実施形態で説明した入退室管理システム以外の
用途にも利用することができる。例えば、カメラとＣＰ
Ｕを有する機器に、本発明に係る眼位置検出アルゴリズ
ムと虹彩認識アルゴリズムとをソフトウェアモジュール
として組み込むことによって、個人認証機器として利用
できるようになる。

【０１２３】例えば、図２０に示すようなカメラ付きド
アホン（インターホン）がＣＰＵとプログラムメモリと
を備えている場合には、有線・無線によるプログラムダ
ウンロードやメモリーカードによるプログラムセットに
よって、個人認証機能を持ったインターホンを実現する
ことができる。これにより、虹彩認識によって、ドアの
開錠をしたり、その人のために用意された応答メッセー
ジを聞くことができるようになる。

【０１２４】また、他の例として、図２１に示すような
カメラ付き携帯電話への応用が考えられる。最近の携帯
電話は、インターネット接続などのためにＣＰＵやメモ
リを備えているため、データ通信によってプログラムを
ダウンロードしたり、プログラムを格納したメモリカー
ドをメモリカードスロットにセットすることによって、
個人認証機能を持った携帯電話を実現することができ
る。これにより、虹彩認識によって、携帯電話の他人の
不正利用を排除したり、信頼性の高い電子商取引を行う
ことができるようになる。

【０１２５】

【発明の効果】以上のように本発明によると、眼の位置
を検出するためのマッチングの前に、眼の強膜部と虹彩
部とのコントラストが強調され、強膜部と虹彩部と間の
エッジ強度が高くなる。したがって、輝度勾配画像と眼
テンプレートとのマッチングによって、眼の位置を精度
よく検出することができる。

【０１２６】また、眼テンプレートにおいて黒目周囲の
点がｎ重同心円上に配置されているので、眼のサイズに
多少の変動があってもこれに対応することができ、精度
の高いマッチングを行うことができる。

【０１２７】さらには、所定値よりも大きい輝度値を有
する画素に対応する輝度勾配画像上の点が、マッチング
のための相関値計算の対象から省かれるため、眼鏡の反
射部分が相関値計算に含まれず、これにより、眼の位置
をより精度良く検出することができる。

【０１２８】また、眼のテンプレートによるマッチング
を行うとともに、瞳孔テンプレートによるマッチングを
行い、両方のマッチングスコアに基づいて、眼の位置を
検出するので、眼の中心位置の位置決め精度が、従来よ
りも向上する。

【図面の簡単な説明】

【図１】本発明に係る眼位置検出を利用した虹彩認識シ
ステムの概略構成を示す図である。

【図２】図１に示す虹彩認識システムを有する入退室管
理システムの構成を示すブロック図である。

【図３】図２の入退室管理システムの動作を示すフロー
チャートである。

【図４】撮影画像と顔領域および眼探索領域との関係を
示す図である。

【図５】本発明の一実施形態に係る眼位置検出の概略フ
ローを示す図である。

【図６】図５のコントラスト補正の処理の詳細を示すフ
ローチャートである。

【図７】図５の眼位置候補決定の処理の詳細を示すフロ
ーチャートである。

【図８】図５の眼位置決定の処理の詳細を示すフローチ
ャートである。

【図９】眼を撮影したときの画像の例を模式的に示す図
であり、（ａ）は可視光下で撮影したもの、（ｂ）は近
赤外光下で撮影したものである。

【図１０】（３×３）サイズのＳｏｂｅｌフィルタを示
す図である。

【図１１】部分領域の輝度とコントラスト補正の効果と
の関係を説明するための図である。

【図１２】本発明に係る眼位置検出を利用した虹彩認識
システムの他の構成を示す図である。

【図１３】本実施形態に係る眼テンプレートの一例を示
す図である。

【図１４】可視光撮影での眼画像と本実施形態に係る眼
テンプレートとの関係を示す図である。

【図１５】近赤外光撮影での眼画像と本実施形態に係る
眼テンプレートとの関係を示す図である。

【図１６】本実施形態に係る瞳孔テンプレートを示す図
である。

【図１７】（ｋ×ｋ）サイズの輝度勾配算出フィルタを
示す図である。

【図１８】（５×５）サイズのフィルタ係数を示す図で
ある。

【図１９】（ａ）は設定するエッジ強度計測ポイント、
（ｂ）は画像サイズとフィルタサイズの比とエッジ強度
との関係を示すグラフである。

【図２０】本発明の他の適用例としてのカメラ付きドア
ホンを示す図である。

【図２１】本発明の他の適用例としてのカメラ付き携帯
電話を示す図である。

【符号の説明】

１Ｗカメラ２，２ａ，２ｂＷカメラ用照明

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 4C038 VA07 VB04 VC05 5B057 BA02 CD05 CE06 CE11 CE12 DA07 DC16 DC22 DC33 5L096 BA18 CA02 EA03 EA43 FA06 FA62 GA51 GA55 HA08

Claims

【特許請求の範囲】

【請求項１】赤外光照明下において撮影された少なく
とも眼の領域を含む顔画像から、眼の位置を検出する方
法であって、前記顔画像の一部または全部に対し、眼の強膜部と虹彩
部とのコントラストが高くなるように、輝度補正を行う
ステップと、輝度補正後の顔画像について、輝度勾配ベクトルを算出
し、算出した輝度勾配ベクトルを用いて生成した輝度勾
配画像と、眼テンプレートとのマッチングを行うステッ
プとを備え、前記マッチングの結果を基に、眼の位置を検出すること
を特徴とする眼位置検出方法。
【請求項２】請求項１記載の眼位置検出方法におい
て、前記輝度補正ステップは、前記顔画像について、輝度勾配を算出し、算出した輝度勾配を基にして、前記顔画像からエッジを
含む部分を選択し、選択した前記顔画像の部分を用いて、輝度補正を行うも
のであることを特徴とする眼位置検出方法。
【請求項３】請求項２記載の眼位置検出方法におい
て、眼の強膜部と虹彩部とのエッジが強く出るような画像サ
イズとフィルタサイズとの相対関係を予め求めておき、前記輝度補正ステップにおける輝度勾配の算出を、前記
相対関係からみて前記顔画像のサイズに適したサイズの
フィルタを用いて、行うものであることを特徴とする眼
位置検出方法。
【請求項４】請求項２記載の眼位置検出方法におい
て、眼の強膜部と虹彩部とのエッジが強く出るような画像サ
イズとフィルタサイズとの相対関係を予め求めておき、前記輝度補正ステップにおける輝度勾配の算出を、所定
サイズのフィルタを用い、かつ、前記顔画像のサイズを
前記相対関係からみてフィルタサイズに合うように変更
して、行うものであることを特徴とする眼位置検出方
法。
【請求項５】請求項１記載の眼位置検出方法におい
て、前記輝度補正ステップは、前記顔画像の一部または全部の平均輝度を計算し、計算した平均輝度が、所定値よりも小さいときは、輝度
補正を行う一方、前記所定値以上のときは、輝度補正を
行わないものであることを特徴とする眼位置検出方法。
【請求項６】請求項１記載の眼位置検出方法におい
て、前記輝度補正ステップは、前記顔画像の輝度補正を行う領域を、複数の部分領域に
分割し、前記各部分領域毎に、輝度補正を行うものであることを
特徴とする眼位置検出方法。
【請求項７】請求項６記載の眼位置検出方法におい
て、前記領域分割は、輝度補正領域を、左右に分割するものであることを特徴
とする眼位置検出方法。
【請求項８】請求項７記載の眼位置検出方法におい
て、前記領域分割は、輝度補正領域から、鼻の位置を検出し、検出した鼻の位置を基準にして、輝度補正領域を左右に
分割するものであることを特徴とする眼位置検出方法。
【請求項９】少なくとも眼の領域を含む顔画像から、
眼の位置を検出する方法であって、前記顔画像について、輝度勾配ベクトルを算出し、算出した輝度勾配ベクトルを用いて生成した輝度勾配画
像と、眼テンプレートとのマッチングを行い、このマッチングの結果を基に、眼の位置を検出するもの
であり、前記眼テンプレートは、輝度勾配ベクトルをそれぞれ有する複数の点が、まぶた
と眼球の境界に相当する曲線上と、黒目の周囲とに、配
置されてなり、かつ、黒目周囲の点は、ｎ重（ｎは２以上の整数）同心円上に
配置されていることを特徴とする眼位置検出方法。
【請求項１０】請求項９記載の眼検出方法において、前記顔画像は、赤外光照明下において撮影されたもので
あることを特徴とする眼位置検出方法。
【請求項１１】少なくとも眼の領域を含む顔画像か
ら、眼の位置を検出する方法であって、前記顔画像について、輝度勾配ベクトルを算出し、算出した輝度勾配ベクトルを用いて生成した輝度勾配画
像と、輝度勾配ベクトルをそれぞれ有する複数の点から
なる眼テンプレートとのマッチングを行い、このマッチングの結果を基に、眼の位置を検出するもの
であり、前記マッチングは、所定値よりも大きい輝度値を有する前記顔画像の画素に
対応する，輝度勾配画像上の点を、マッチングのための
相関値計算の対象から、省くものであることを特徴とす
る眼位置検出方法。
【請求項１２】少なくとも眼の領域を含む顔画像か
ら、眼の位置を検出する方法であって、前記顔画像またはこの顔画像を変換して得られた画像
と、眼のテンプレートとのマッチングを行い、第１のマ
ッチングスコアを求める第１のステップと、前記顔画像またはこの顔画像を変換して得られた画像
と、瞳孔テンプレートとのマッチングを行い、第２のマ
ッチングスコアを求める第２のステップとを備え、前記第１および第２のマッチングスコアに基づいて、眼
の位置を検出することを特徴とする眼位置検出方法。
【請求項１３】請求項１２記載の眼位置検出方法にお
いて、前記第１のマッチングスコアを、前記第２のマッチング
スコアを加味して修正する第３のステップを備え、修正後の第１のマッチングスコアを用いて、眼の位置検
出を行うことを特徴とする眼位置検出方法。
【請求項１４】請求項１２記載の眼位置検出方法にお
いて、前記第１のステップは、前記顔画像を縮小した画像に対
して行うものであり、前記第２のステップは、元の顔画像に対して行うもので
あることを特徴とする眼位置検出方法。
【請求項１５】請求項１４記載の眼位置検出方法にお
いて、前記第１のステップは、前記第１のマッチングスコアを基にして、眼の位置の候
補となる部分を選択するステップを備え、前記第２のステップは、選択された眼位置候補部分の，眼テンプレートの虹彩部
に該当する領域およびその近傍のみにおいて、瞳孔テン
プレートによるマッチングを行うものであることを特徴
とする眼位置検出方法。
【請求項１６】赤外光照明下において撮影された少な
くとも眼の領域を含む顔画像から、眼の位置を検出する
装置であって、前記顔画像の一部または全部に対し、眼の強膜部と虹彩
部とのコントラストが高くなるように、輝度補正を行
い、輝度補正後の顔画像について、輝度勾配ベクトルを算出
し、算出した輝度勾配ベクトルを用いて生成した輝度勾
配画像と、眼テンプレートとのマッチングを行い、前記マッチングの結果を基に、眼の位置を検出すること
を特徴とする眼位置検出装置。
【請求項１７】少なくとも眼の領域を含む顔画像か
ら、眼の位置を検出する装置であって、前記顔画像について、輝度勾配ベクトルを算出し、算出した輝度勾配ベクトルを用いて生成した輝度勾配画
像と、眼テンプレートとのマッチングを行い、このマッチングの結果を基に、眼の位置を検出するもの
であり、前記眼テンプレートは、輝度勾配ベクトルをそれぞれ有する複数の点が、まぶた
と眼球の境界に相当する曲線上と、黒目の周囲とに、配
置されてなり、かつ、黒目周囲の点は、ｎ重（ｎは２以上の整数）同心円上に
配置されていることを特徴とする眼位置検出装置。
【請求項１８】少なくとも眼の領域を含む顔画像か
ら、眼の位置を検出する装置であって、前記顔画像について、輝度勾配ベクトルを算出し、算出した輝度勾配ベクトルを用いて生成した輝度勾配画
像と、輝度勾配ベクトルをそれぞれ有する複数の点から
なる眼テンプレートとのマッチングを行い、このマッチングの結果を基に、眼の位置を検出するもの
であり、前記マッチングは、所定値よりも大きい輝度値を有する前記顔画像の画素に
対応する，輝度勾配画像上の点を、マッチングのための
相関値計算の対象から、省くものであることを特徴とす
る眼位置検出装置。
【請求項１９】少なくとも眼の領域を含む顔画像か
ら、眼の位置を検出する装置であって、前記顔画像またはこの顔画像を変換して得られた画像
と、眼のテンプレートとのマッチングを行い、第１のマ
ッチングスコアを求め、前記顔画像またはこの顔画像を変換して得られた画像
と、瞳孔テンプレートとのマッチングを行い、第２のマ
ッチングスコアを求め、前記第１および第２のマッチングスコアに基づいて、眼
の位置を検出することを特徴とする眼位置検出装置。