JP2010020594A - 瞳画像認識装置 - Google Patents

Abstract

【課題】顔画像の中から瞳の位置を特定する瞳画像認識装置において、特に顔向きのある非正面顔を対象とする場合でも高精度な瞳の抽出を実現する構成を得る。
【解決手段】瞳画像認識装置において、撮像画像に含まれる顔画像を検出しその存在位置座標と大きさを出力する顔検出部１と、顔検出部から出力された顔画像の領域を探索領域とし顔画像を複数に分割した各分割顔画像と目端点画像との類似度を比較し、輝度信号に基づくパターン照合により顔画像における目頭及び目尻の位置座標を抽出する目端点抽出部３と、パターン照合に用いる複数の目端点画像データを予め蓄積する蓄積部４と、目端点抽出部にて抽出された目頭及び目尻の位置座標に基づいて瞳が存在する位置を推定する瞳位置推定部５と、瞳位置推定部にて推定された瞳のおおよその存在位置付近で、予め定めた面積の小領域内の輝度の総和がより低い場所を探索する瞳位置探索部６を備える。
【選択図】図１

Description

本発明は、撮像された画像内にあるオブジェクトの存在位置を特定する画像認識装置に関し、特に顔画像の中から瞳の位置を特定する瞳画像認識装置に関する。

人物を撮像した場合の撮像画像内での顔の位置及び大きさは、被写体との距離や方向により様々に異なる。撮像画像の顔画像内における顔の特徴量を安定的に取り出すためには、顔の切り出し位置と大きさが常に一定となるように正規化する必要がある。その場合の正規化の基準として、しばしば瞳が用いられる。したがって、瞳の抽出精度はそのまま後段の認識性能に影響を及ぼすため、高い精度が要求される。

顔画像の中から瞳の位置を特定するための代表的な瞳画像認識装置としては、例えば非特許文献１に記載された装置が提案されている。
この瞳画像認識装置は、図９に示すように、瞳形状を抽出するための形状抽出部９１と、抽出した瞳形状と照合を行うパターン照合部９２と、パターン照合部９２において照合を行うためのデータが蓄積された蓄積部９３から構成される。

形状抽出部９１は、座標情報に基づいて特定された顔領域から分離度フィルタにより瞳の候補を抽出する。分離度フィルタは内側が黒で外周が白の形状を持つパターンを検出できるように構成されている。
パターン照合部９２は部分空間法によるパターン照合により、挙げられた瞳の候補の中から正しい瞳だけを選択し、瞳の位置座標を特定する。ここで、部分空間法は、個人差を抑制し、精度良く照合を行うため、蓄積部９３に蓄積された固有ベクトルが用いられる。したがって、蓄積部９３には、予め多人数の人物の顔画像の中から瞳を中心とする目のテンプレート画像を切り出し、それらの集合が分布する部分空間を張る固有ベクトルが蓄積されている。
福井 和広、山口 修、"形状抽出とパターン照合の組合せによる顔特徴点抽出"電子情報通信学会論文誌（D−II）、vol. J80−D−II、No.8（1997）

しかしながら、上述した瞳画像認識装置による瞳形状を抽出する方法によれば、顔画像における瞳部分を含む画像が、顔向きによる見た目の変動の影響を大きく受けることが課題であった。例えば、図１０の正面画像に対して左向き画像のように、顔向きが水平方向に大きく回転して横を向く場合、パターン照合の対象となる分割顔画像としての方形領域（左向き画像の拡大図）内に目尻側で髪の毛や背景が入る。このような場合、この方形領域（左向き画像の拡大図）と、瞳を中心としたテンプレートとして記憶される正面方向からの方形領域（正面画像の拡大図）との類似度は著しく低下し、瞳を正しく抽出できない場合が想定される。

本発明は上記実情に鑑みて提案されたもので、顔画像の中から瞳の位置を特定する瞳画像認識装置において、特に顔向きのある非正面顔を対象とする場合でも高精度な瞳の抽出を実現する構成を提供することを目的としている。

上記目的を達成するため本発明の瞳画像認識装置は、
（１）撮像画像に含まれる顔画像を検出し、その存在位置座標と大きさを出力する顔検出部と、
（２）比較基準となる右目尻、右目頭、左目頭、左目尻の目端点画像データを記憶する記憶部と、
（３）前記顔検出部から出力された顔画像の領域を探索領域とし、前記顔画像を複数に分割した各分割顔画像と前記目端点画像との類似度を比較し、輝度信号に基づくパターン照合により前記顔画像における目頭及び目尻の位置座標を抽出する目端点抽出部と、
（４）前記目端点抽出部にて抽出された目頭及び目尻の位置座標に基づいて瞳が存在する位置を推定する瞳位置推定部と、
を具備することを特徴としている。

上記構成の瞳画像認識装置によれば、従来例のように、白黒パターンの検出によるパターン照合によって直接瞳を抽出するのではなく、目端点抽出部におけるパターン照合によって目の端点（目頭および目尻）を抽出し、その結果に基づき瞳位置推定部において瞳の存在位置を推定することで瞳を抽出する点に特徴がある。
目端点抽出部におけるパターン照合による目の端点の抽出は、右目尻・右目頭・左目頭・左目尻と個別に切り替えて行う。

また、瞳画像認識装置における記憶部は、目端点抽出部において行われるパターン照合に用いる複数の目端点画像データを予め蓄積する蓄積部であることが好ましい。
蓄積部に予め多人数の人物の顔画像の中から目頭及び目尻の目端点画像データを蓄積することで、個人差を抑制して精度良く照合を行うことができる。

また、瞳画像認識装置は、前記顔検出部から出力された顔の存在位置座標とその大きさに基づき、前記撮像画像から顔を含む領域を切り出し、前記蓄積部に蓄積された複数の目端点画像データに基づいて顔画像領域の面積を正規化する探索領域正規化部を備えていることが好ましい。
探索領域正規化部において顔画像領域の面積を正規化することで、蓄積部に予め蓄積された目端点画像データと探索領域（顔画像領域）に含まれる目の端点の大きさを合わせることができ、目端点抽出部におけるパターン照合に際して、精度が良好な照合を行うことが可能となる。

また、瞳画像認識装置は、前記分割顔画像を局所領域における輝度の勾配方向をヒストグラム化したＨＯＧ（Histograms of oriented gradients）特徴量に変換する特徴量変換部を備え、前記目端点抽出部において行われるパターン照合が輝度信号ではなく前記ＨＯＧ特徴量により行われることを特徴としている。
目端点抽出部においてＨＯＧ特徴量によりパターン照合が行われることで、肌の領域が多く含まれテクスチャが緩やかに変化するためにパターン照合がより難しい目の端点領域についても、精度良くパターン照合を行って目の端点を抽出することが可能となる。

また、瞳画像認識装置は、前記瞳位置推定部にて推定された瞳のおおよその存在位置付近で、予め定めた面積の小領域内の輝度の総和がより低い場所を探索する瞳位置探索部を備えることで、瞳の詳細な位置を特定することが可能となる。

前記瞳位置探索部において行われる探索は、前記瞳位置推定部にて推定された瞳のおおよその存在位置を始点とし、この始点が含まれる着目画素及び着目画素の近傍８画素への再帰的な局所探索により実行されるようにする。

本発明の瞳画像認識装置によれば、撮像画像から直接瞳を抽出するのではなく、先に目の端点（目頭及び目尻）を抽出し、その結果に基づいて瞳の位置を推定して抽出する。したがって、顔向きによる見た目の変化から目頭又は目尻のうちいずれか一方が抽出できない場合でも、もう一方が抽出できる可能性が高く、目頭又は目尻のうち抽出されたいずれか一方の位置座標から瞳のおおよその位置が推定できるため、顔向きのある非正面顔を対象とする場合でも高精度に瞳を抽出できる。

また、特徴量変換部を備えた瞳画像認識装置の構成によれば、顔画像における目端点付近の領域は、抽出対象の明暗がはっきりした瞳部分とは異なり、肌の領域が多く含まれテクスチャが緩やかに変化するためにパターン照合がより難しいが、ＨＯＧ特徴量によりパターン照合が行われることで、目の端点についても精度が良好に抽出することができる。
したがって、正面向きに限らず、顔向きのある非正面顔を対象とする場合でも高精度に瞳を抽出し、顔向きに依らず顔の切り出し位置と大きさが常に一定となるような正規化が実現可能となり、顔の特徴量を常に安定して取り出せるという効果が得られる。

本発明を実施するための最良の形態の一例について、図面を参照しながら説明する。
図１は本発明を適用した瞳画像認識装置の主要部の構成を示したブロック図であり、撮影された画像から、顔画像、目の端点（右目尻、右目頭、左目頭、右目尻）の位置、瞳の位置を順次段階的に抽出し、撮像画像内における瞳の位置座標を最終的な認識結果として出力するものである。

瞳画像認識装置は、顔画像を検出して出力する顔検出部１と、顔画像から顔を含む領域を切り出し、後段の処理のために適切な大きさに正規化して出力する探索領域正規化部２と、部分空間法によるパターン照合により目頭及び目尻を抽出する目端点抽出部３と、部分空間法に用いる固有ベクトルを蓄積する蓄積部４と、目頭及び目尻の位置座標から瞳が存在するおおよその位置を推定する瞳位置推定部５と、瞳のおおよその存在位置付近を局所探索し瞳の詳細な位置を特定する瞳位置探索部６を備えて構成されている。
固定点カメラ等により撮像された撮像画像は、顔検出部１、探索領域正規化部２、瞳位置探索部６に対してそれぞれ出力されている。
また、顔検出部１、探索領域正規化部２、瞳位置探索部６に入力される撮像画像は、ネットワーク経由でデータが送信されるものであってもよい。

顔検出部１は、例えば図２（正面人物画像）又は図３（左向きの人物画像）に示されるような撮像画像を取り込み、撮像画像内に含まれる顔領域を顔画像として検出し、その存在位置座標と大きさを出力する。本例では、非特許文献２に記載された公知の顔画像検出方法に基づいて顔領域の座標情報が出力される。この顔画像検出方法によれば、顔領域が長方形で規定される場合、座標情報とは顔領域の左上座標（ｆｘ，ｆｙ）、幅（ｆｗ）及び高さ（ｆｈ）が位置座標として出力される。なお、複数の顔領域が検出された場合は、各顔領域の位置座標の情報が出力される。
P. Viola, M.J. Jones, "Robust real-time object detection," in: Second International Workshop on Theories of Visual Modeling, Learning, Computing, and Sampling, 2001.

探索領域正規化部２は、顔検出部１にて出力された顔の存在位置座標とその大きさに基づき、撮像画像から顔領域を含む顔画像を切り出す。また、切り出された顔画像は後段の処理のために適切な大きさに正規化して、探索領域として出力される。
具体的には撮像画像から、左上座標が（ｆｘ，ｆｙ）、右下座標が（ｆｘ＋ｆｗ，ｆｙ＋ｆｈ）、で規定される方形領域を切り出す。切り出された幅がｆｗ、高さがｆｈの画像は、その短い方の一辺ｍｉｎ（ｆｗ，ｆｗ）が常に一定の設定された大きさＳＮｏｒｍになるように縦横同じ倍率Ａ=ＳＮｏｒｍ／ｍｉｎ（ｆｗ、ｆｗ）で縮小する。
例えば、ｆｗ＝ｆｈ＝２００、ＳＮｏｒｍ＝５０の場合、倍率Ａ＝５０／２００＝１／４で縮小し、幅５０高さ５０に正規化された探索領域が得られる。
後段の処理のために適切な大きさを実現するためには、正規化サイズＳＮｏｒｍは、後述する蓄積部４に蓄積された固有ベクトルを作成する際に設定した、目の端点のサンプル画像の大きさに合わせる。

また、顔検出部１、探索領域正規化部２、瞳位置探索部６に入力される画像がネットワーク経由で送信されることで、顔の大きさが標準化されたデータが供給される場合には、探索領域正規化部２によって正規化する必要がないので、探索領域正規化部２を省くことができる。
また、顔検出部１、探索領域正規化部２、瞳位置探索部６に入力される画像が固定カメラからの撮像画像であっても、例えば被写体までの距離が常時一定となるような構成であれば、撮像画像中の顔の大きさがほぼ一定となり、探索領域正規化部２によって正規化する必要がない場合も考えられる。

目端点抽出部３は、探索領域正規化部２により正規化された探索領域画像から、部分空間法によるパターン照合により目頭および目尻を抽出する。
ここで、部分空間法について簡単に説明する。
目の端点の画像を空間上の位置ベクトルと見做す。予め目の端点の画像の集合が分布する空間を複数の固有ベクトルで張られる部分空間で表現する。ここで、入力ベクトルを部分空間に射影したときの射影角度φは、入力ベクトルが目の端点にどれだけ類似しているかを表し、φの値が小さいほど類似している、と言える。入力ベクトルの正射影は射影角度φの余弦cosφであるため、正射影が1に近い入力ベクトルは目の端点である、と判断できる。

すなわち、探索領域画像内について、左上端を始点として左から右方向、上から下方向へ順次走査するラスタースキャンの順に方形領域をスライドさせて分割顔画像として切り出し、切り出された方形ベクトルを入力ベクトルとして、目の端点の部分空間との類似度を測定することで目の端点を探索する。探索領域内で類似度が最大の方形領域が、設定されたしきい値を超えた類似度であれば、その方形領域を目の端点と判断する。目の端点は、右目尻、右目頭、左目頭、左目尻のそれぞれで個別に部分空間を求め、順次抽出し、探索領域画像内の座標を特定する。特定された目の端点の座標は、探索領域画像内の座標系から元の入力画像（撮像画像）の座標系へと変換する。
また、探索領域画像内におけるスキャン方法としては、ラスタースキャンではなく、予め右目尻、右目頭、左目頭、左目尻が存在する可能性がある一定範囲の設定領域をそれぞれ記憶しておき、各部位に応じて各設定領域内だけから分割画像を切り出す設定領域スキャンにより行ってもよい。このスキャン方法によれば、探索範囲が各設定範囲に絞り込まれることで、誤検出の低下及び処理時間の短縮を実現することができる。

蓄積部４は、目端点抽出部３において行われる部分空間法に用いる固有ベクトルを蓄積している。すなわち、目の端点の画像の集合が分布する部分空間を張る固有ベクトルを求めるために、様々な人物の目端点画像データを収集して蓄積する。この結果、個人差による変動の影響が低減された目の端点の抽出が部分空間法により実現される。
蓄積される目端点画像データは、探索領域正規化部２にて生成される正規化された探索領域の大きさに整合するように、拡大縮小して方形領域を切り出したものを使用する。収集したサンプルは、右目尻、右目頭、左目頭、左目尻のそれぞれで個別に主成分分析を適用して固有ベクトルを求める。図２に、人物に対する正面画像から切り出した右目尻（ＲＯ）、右目頭（ＲＩ）、左目頭（ＬＩ）、左目尻（ＬＯ）の目端点画像データの一例を示す。

目端点抽出部３におけるパターン照合を行う際の比較基準となる目端点画像データがネットワーク経由で順次供給されるような場合は、様々な人物の目端点画像データを蓄積する蓄積部４は不要となる。この場合には、切り出された方形領域である分割顔画像とのパターン照合を行うために、ネットワーク経由で送信された目端点画像データを一時的に記憶する記憶部が蓄積部４の代わりとして設けられている。

瞳位置推定部５は、前記目端点抽出部３で抽出された目頭および目尻の位置座標から瞳が存在するおおよその位置を推定する。目頭及び目尻の両端点が抽出された場合は、単純に両端点を結ぶ中点を瞳の中心と推定できる。顔向きによる見た目の変化から目頭又は目尻のうちいずれか一方が抽出できなかった場合でも、もう一方は抽出できる可能性が高いため、抽出された目頭又は目尻のうちいずれか一方の位置座標から瞳の中心のおおよその位置を推定することができる。

瞳位置推定部５における具体的な瞳位置の推定の仕方について、図３を参照しながら説明する。
図３に示すように、顔が左を向いた場合、髪の毛や背景の影響により目尻の抽出が困難となる一方、目頭抽出の阻害要因は少ないため、目頭は抽出できる可能性が高い。したがって、目尻が抽出できなかった場合、抽出された目頭の位置座標と検出された顔の大きさから瞳のおおよその存在位置を推定できる。
具体的には、検出された顔幅がｆｗである場合、目頭位置からａ×ｆｗ離れた位置を瞳の中心位置と推定する。顔幅ｆｗに乗算するパラメータａは、顔幅に対する目頭・瞳間の距離の割合を多数の顔画像データから算出した値（０≦ａ≦１）であり、予め瞳位置推定部５に記憶させておく。

目端点抽出部３で抽出された目頭及び目尻の位置座標から瞳位置推定部５において瞳が存在するおおよその位置を推定する処理についてまとめると、図４に示すようになる。ただし、検出された顔の大きさの水平方向の長さ（顔幅）をｆｗ、瞳の位置推定のためのパラメータをａ（０≦ａ≦１）とする。
目端点抽出部３で抽出された右目尻の座標を（ＲＯｘ，ＲＯｙ）、右目頭の座標を（Ｒｌｘ，Ｒｌｙ）とした時、右目尻及び右目頭の抽出が共に成功した場合の右瞳の中心座標（ＲＷｘ，ＲＷｙ）の推定位置は、
右瞳のｘ座標ＲＷｘが（ＲＯｘ＋Ｒｌｘ）／２
右瞳のｙ座標ＲＷｙが（ＲＯｙ＋Ｒｌｙ）／２
となる。
右目尻の抽出に成功し右目頭の抽出に失敗した場合の右瞳の中心座標（ＲＷｘ，ＲＷｙ）の推定位置は、
右瞳のｘ座標ＲＷｘが ＲＯｘ＋ａ×ｆｗ
右瞳のｙ座標ＲＷｙが ＲＯｙ
となる。
右目尻の抽出に失敗し右目頭の抽出に成功した場合の右瞳の中心座標（ＲＷｘ，ＲＷｙ）の推定位置は、
右瞳のｘ座標ＲＷｘが Ｒｌｘ−ａ×ｆｗ
右瞳のｙ座標ＲＷｙが Ｒｌｙ
となる。

同様に、目端点抽出部３で抽出された左目尻の座標を（ＬＯｘ，ＬＯｙ）、左目頭の座標を（Ｌｌｘ，Ｌｌｙ）とした時、左目尻及び左目頭の抽出が共に成功した場合の左瞳の中心座標（ＬＷｘ，ＬＷｙ）の推定位置は、
左瞳のｘ座標ＬＷｘが（Ｌｌｘ＋ＬＯｘ）／２
左瞳のｙ座標ＬＷｙが（Ｌｌｙ＋ＬＯｙ）／２
となる。
左目頭の抽出に成功し左目尻の抽出に失敗した場合の左瞳の中心座標（ＬＷｘ，ＬＷｙ）の推定位置は、
左瞳のｘ座標ＬＷｘが Ｌｌｘ＋ａ×ｆｗ
左瞳のｙ座標ＬＷｙが Ｌｌｙ
となる。
左目頭の抽出に失敗し左目尻の抽出に成功した場合の左瞳の中心座標（ＬＷｘ，ＬＷｙ）の推定位置は、
左瞳のｘ座標ＬＷｘが ＬＯｘ−ａ×ｆｗ
左瞳のｙ座標ＬＷｙが ＬＯｙ
となる。

上述の例では、目尻及び目頭の抽出が共に成功した場合の瞳の中心座標を抽出された目尻と目頭の中点（例えば右瞳の場合、（ＲＯｘ＋Ｒｌｘ）／２、（ＲＯｙ＋Ｒｌｙ）／２）としたが、多数の目端点データから目尻及び目頭の各座標に対する瞳の位置を解析することで、予め目尻及び目頭の各座標に重み（α、β、γ、δは任意の数）をつけた下記の式で算出するようにしてもよい。
右瞳のｘ座標ＲＷｘ＝（αＲＯｘ＋βＲｌｘ）／（α＋β）
右瞳のｙ座標ＲＷｙ＝（γＲＯｙ＋δＲｌｙ）／（γ＋δ）

上述した瞳位置の推定においては、パラメータａを１／８とすることで、精度良く瞳の位置を抽出することができた。ただし、同じ顔画像であっても顔検出器１の特性により、検出される顔の大きさは変わることがある。そのため、瞳の位置推定のためのパラメータａは、顔検出器１の特性に基づいて設定する。
目頭又は目尻の片方しか抽出できない場合でも、上述のような瞳位置を推定する処理を行うことで、顔向きによる見た目の変化が生じた場合においても瞳位置を抽出することが可能となる。

瞳位置推定部５により瞳のおおよその位置を推定することができるが、瞳位置探索部６による探索処理を行うことで、瞳の詳細な位置を特定して精度の良好な抽出を行うことが可能となる。
すなわち、瞳位置探索部６は、瞳位置推定部５により推定された瞳の中心のおおよその存在位置付近を局所探索することで瞳の詳細な位置を特定するものである。ここで、瞳の局所探索のためのパラメータｂ（０≦b≦１）について、顔幅ｆｗにｂを乗じた値が瞳の半径となるような数値として新たに設定する。
瞳の局所探索は、例えば図５の右瞳の探索において、右目頭及び右目尻の抽出に成功した場合の右瞳の推定位置の座標は、ｘ座標ＲＷｘ＝（ＲＯｘ＋Ｒｌｘ）／２、ｙ座標ＲＷｙ＝（ＲＯｙ＋Ｒｌｙ）／２となり、この座標を始点とし、この始点が中心に含まれる着目画素６０及び着目画素の近傍８画素６１〜６８への再帰的な局所探索を行う。

局所探索においては、着目画素６０とその近傍８画素６１〜６８との合計９画素に対し、それぞれの画素を中心とする半径ｆｗ×ｂの円内の輝度の総和を求める。輝度は瞳領域に対応する黒色部分が最小となる。したがって、現在の着目画素６０を中心とする輝度の総和よりも、輝度の総和が小さいものが近傍８画素の中であれば、輝度の総和が最小のものを選択し、次のステップではその画素を中心とする同様の局所探索を行う。局所探索は着目画素よりも輝度の総和が小さい周辺画素がある限り再帰的に繰り返す。
図５の例では、画素６３を中心とした半径ｆｗ×ｂの円内領域がほぼ瞳領域に一致しているので９画素の中で画素６３を中心とした円形領域の輝度の総和が最小となり、画素６３の中心位置を瞳の中心位置と特定する。

上述した瞳の局所探索においては、局所探索のためのパラメータｂを１／１６とすることで、精度良く瞳を抽出することができた。このとき輝度の総和を求める際の円の半径であるｆｗ×ｂは、実際の瞳の半径に近い値となる。ただし、同じ顔画像であっても顔検出器１の特性により、検出される顔の大きさは変わることがある。そのため、瞳の局所探索のためのパラメータｂは、顔検出器１の特性に基づいて設定する。

図６は本発明の瞳画像認識装置の実施形態の他の例を示すブロック図である。この瞳画像認識装置は、図１と同様に、撮影画像から、顔、目の端点、瞳位置を順次段階的に抽出し、画像内の瞳の位置座標を最終的な認識結果として出力する構成は同じであるが、目端点抽出部３においてパターン照合を行うに際して、特徴量変換部７で変換したデータを基に行う構成が異なる。他の構成は、図１の瞳画像認識装置と同様であるので、同一符号を付して説明を省略する。

特徴量変換部７は、切り出された方形領域である分割顔画像について、局所領域における輝度の勾配方向をヒストグラム化したＨＯＧ特徴量に変換するものである。すなわち、目端点抽出部３は探索領域正規化部２にて正規化された探索領域画像から方形領域を切り出し、特徴量変換部７によって変換されたＨＯＧ特徴量から、部分空間法によるパターン照合により目頭及び目尻を抽出する。

ここで、特徴量変換部７で生成されるＨＯＧ特徴量の性質について説明する。
本発明者が行った予備実験から、輝度パターンの照合により目の端点を抽出する場合、目全体をテンプレートとして瞳を抽出する場合と比較して、抽出精度が低下することが確認された。これは、瞳付近はコントラストがはっきりした形状情報を多く保持し、パターン照合が比較的容易であるのに対し、目の端点付近はテクスチャが緩やかに変化する肌の領域が多く含まれたパターン照合に難しい曖昧なパターンであるからだと考えられる。
このような緩やかにテクスチャが変化する目の端点の輝度パターンから安定的かつ他のパターンとの分離度の高い普遍特徴を抽出するため、測定された輝度によるパターン照合を行うのではなく、画像を局所領域における輝度の勾配方向をヒストグラム化した特徴ベクトルであるＨＯＧ特徴量に変換してからパターン照合を行うことによって、目端点の抽出精度の劣化を防ぐことができる。

特徴量変換部７におけるＨＯＧ特徴量への変換は、次のような手順により行われる。
（１）輝度勾配の強度とその方向の算出
図７（ａ）に示すように、分割顔画像を構成するＣ×Ｃの各ピクセル(u，v)における輝度Ｉの勾配の強度ｍ（０≦ｍ）とその方向θ（０°≦θ≦１８０°）を数１及び数２から求める。

（２）ヒストグラム算出
目頭や目尻部分が含まれる縦横Ｃピクセル（図７の例では、Ｃ＝５とした５×５ピクセル）の正方領域をセル(ｉ，ｊ) と定義し、輝度勾配の強度とその方向に関するヒストグラム（図７（ｂ））を作成する。
すなわち、０度〜１８０度（横軸）をＴ個の階級に分割し、勾配の方向θが階級ｔ（ｔ＝１，２，…，Ｔ)に含まれるピクセルの持つ勾配の強度ｍを積算し、積算値ｈtを測定する。
セル(ｉ，ｊ)のヒストグラムはＨi,j = [h₁, h₂, …, h_T]となり、Ｔ次元の特徴ベクトルとなる。

（３）正規化
目頭や目尻を含む小領域の縦横Ｂセル（例えば、Ｂ＝２とした２×２ピクセル）の正方領域をブロック（ａ，ｂ）と定義し、ブロック内のヒストグラムを連結したＨＯＧ特徴量を数３で求める。
Ｂの値は、予め正規化画像の中から標準的な目の端点の大きさを調べておいて設定する。

このときベクトルＶａ,ｂの大きさが一定となるようにブロック単位でＨＯＧ特徴量を正規化することで、輝度の個人差に頑強な性質を有するようになる。

上述した手順で変換されたＨＯＧ特徴量は、細やかな輪郭情報を保持し、照明変動や局所的な幾何学的変化に頑健である。したがって、緩やかなテクスチャの変化を最良に表現し、単純な輝度パターンによるパターン照合と比較して、目の端点を安定して抽出できると考えられる。

また、図７（ｂ）に示したようなヒストグラムでは、ヒストグラム化するにあたり大きさ及び勾配に関する位置の情報が捨てられるが、逆に位置情報が含まれないヒストグラム化されたＨＯＧ特徴量同士を比較することで、分割顔画像を切り出す際に切り出し位置にずれが生じたり、顔向きや回転により見た目が変わった場合、画素単位での比較では一致がとれないような場合でも同一のものと判定される可能性が高くなるという利点もある。

第二の実施例の瞳画像認識装置では、パターン照合をする場合に使用するため蓄積部４に蓄積されている複数の目の端点の画像データは、予めヒストグラム化したＨＯＧ特徴量に変換されたデータが蓄積されている。

瞳画像認識装置の目端点抽出部３と特徴量変換部７における具体的な処理の流れについて、図６のブロック図及び図８のフローチャート図を参照しながら説明する。
目端点抽出部３において、右目尻・右目頭・左目頭・左目尻の四種類の中から抽出の対象となる目の端点を決定する（ステップＳ８１）。
探索領域正規化部２にて正規化された探索領域内から左から右、上から下の1画素ずつずらしたラスタースキャン（又は上記した設定領域スキャン）順で方形領域（分割顔画像）を切り出す（ステップＳ８２）。
特徴量変換部７にて切り出した方形領域の輝度信号をＨＯＧ特徴量に変換する（ステップＳ８３）。

方形領域のＨＯＧ特徴量を入力ベクトルとし、目端点抽出部３において、抽出の対象となる目の端点の部分空間との類似度を測定する（ステップＳ８４）。
ここまでの探索で類似度が最大であるかどうかを判断し（ステップＳ８５）、最大であればその方形領域を目の端点の候補とし（ステップＳ８６）、そうでない場合は探索領域内で全ての領域の探索が完了しているかどうかを判断する（ステップＳ８７）。

全ての領域の探索が完了していれば探索領域内で類似度が最大であった方形領域を目の端点の候補領域として次のステップＳ８８に進み、全ての領域の探索が完了していない場合は、ラスタースキャン（又は上記した設定領域スキャン）順で次の方形領域の切り出しを行って（ステップＳ８２）、同様の作業を繰り返す。

探索領域内における探索が完了している場合には、目の端点の候補領域の類似度が設定されたしきい値を超えたか否かを判定する（ステップＳ８８）。
候補領域の類似度が設定されたしきい値を超えていれば、候補領域が目の端点であると判定して（ステップＳ８９）、目の端点の位置座標を取得し、続けてステップＳ９０に進む。
目の端点の候補領域の類似度が設定されたしきい値を超えていない場合は、直接ステップＳ９０に進む。

ステップＳ９０では、右目尻・右目頭・左目頭・左目尻と、全ての目の端点の抽出が完了したか否かを判断する。右目尻・右目頭・左目頭・左目尻の全ての目の端点の抽出が完了していれば、目端点抽出部３における処理を終了する。全ての目の端点の抽出が完了していない場合は、ステップＳ８１に戻り、次の端点についての抽出を行う。

本発明の瞳画像認識装置によれば、撮像画像に対して顔向きに依らない精度の高い瞳抽出を行うことができるので、顔画像認識技術を利用したサービスの高精度化を実現することができる。特に、被写体が必ずしも正面を意識していない、スナップ撮影や天井に設置した固定点カメラにおいても、瞳の抽出が可能となり、顔画像認識サービスの安定化につながる。

また、本発明の瞳画像認識装置により実現される顔向きに依らない瞳の存在位置の特定は、安定特徴量抽出のための顔の大きさの正規化に限らない。例えば、被写体の視線の推定等にも応用できる。カメラ前の人物の視線による新しい入力および表示ＵＩ（ユーザインターフェース）への展開等が期待できる。

本発明の瞳画像認識装置の実施形態の一例を示すブロック図である。 人物画像より目の端点である右目尻・右目頭・左目頭・左目尻の画像データを抽出する場合の説明図である。 撮像した左向き画像の目の端点から瞳を推定する手順についての概念を示した説明図である。 目の端点から瞳を推定する手順についての詳細を示した説明図である。 瞳を探索する手順についての概念を示した説明図である。 本発明の瞳画像認識装置の実施形態の他の例を示すブロック図である。 ＨＯＧ特徴量への変換手順を示した概念図であり、（ａ）は全体の正面画像から左目尻に対する方形領域のピクセル集合体図、（ｂ）はピクセル集合体をヒストグラム化したグラフ図である。 目端抽出部における目の端点抽出の手順を示すフローチャート図である。 従来の瞳画像認識装置の構成を示すブロック図である。 瞳画像認識のため抽出した方形領域のパターン照合を行うに際して、顔向きによる見た目の変化の影響の大きさを示す説明図である。

符号の説明

１…顔検出部、 ２…探索領域正規化部、 ３…目端点抽出部、 ４…蓄積部、 ５…瞳位置推定部、 ６…瞳位置探索部、 ７…特徴量変換部、 ９１…形状抽出部、 ９２…パターン照合部、 ９３…蓄積部。

Claims (9)

1. 撮像画像に含まれる顔画像を検出し、その存在位置座標と大きさを出力する顔検出部と、
   比較基準となる右目尻、右目頭、左目頭、左目尻の目端点画像データを記憶する記憶部と、
   前記顔検出部から出力された顔画像の領域を探索領域とし、前記顔画像を複数に分割した各分割顔画像と前記目端点画像との類似度を比較し、輝度信号に基づくパターン照合により前記顔画像における目頭及び目尻の位置座標を抽出する目端点抽出部と、
   前記目端点抽出部にて抽出された目頭及び目尻の位置座標に基づいて瞳が存在する位置を推定する瞳位置推定部を具備することを特徴とした瞳画像認識装置。
2. 前記記憶部は、前記目端点抽出部において行われるパターン照合に用いる複数の目端点画像データを予め蓄積する蓄積部である請求項１に記載の瞳画像認識装置。
3. 前記顔検出部から出力された顔の存在位置座標とその大きさに基づき、前記撮像画像から顔を含む領域を切り出し、前記蓄積部に蓄積された複数の目端点画像データに基づいて顔画像領域の面積を正規化する探索領域正規化部を備えた請求項２に記載の瞳画像認識装置。
4. 前記目端点抽出部において目頭及び目尻を抽出するために行われるパターン照合を部分空間法により実現し、前記蓄積部が前記部分空間法によるパターン照合に用いる複数の固有ベクトルを予め蓄積して成る請求項２又は請求項３に記載の瞳画像認識装置。
5. 前記分割顔画像を局所領域における輝度の勾配方向をヒストグラム化したＨＯＧ（Histograms of oriented gradients）特徴量に変換する特徴量変換部を備え、
   前記目端点抽出部において行われるパターン照合が輝度信号ではなく前記ＨＯＧ特徴量により行われる請求項１乃至請求項３に記載の瞳画像認識装置。
6. 前記目端点抽出部にて目頭と目尻の両方が抽出できた場合、前記瞳位置推定部による瞳の中心の推定位置は、抽出された目頭と目尻の中点に決定する請求項１乃至請求項３に記載の瞳画像認識装置。
7. 前記目端点抽出部にて目頭と目尻のいずれか一方の目の端点が抽出できた場合、前記瞳位置推定部による瞳の中心の推定位置は、抽出された目の端点から顔の大きさに比例した距離だけ離れた位置に決定する請求項１乃至請求項３に記載の瞳画像認識装置。
8. 前記瞳位置推定部にて推定された瞳のおおよその存在位置付近で、予め定めた面積の小領域内の輝度の総和がより低い場所を探索する瞳位置探索部を備えることで瞳の詳細な位置を特定する請求項１乃至請求項３に記載の瞳画像認識装置。
9. 前記瞳位置探索部において行われる探索が、前記瞳位置推定部にて推定された瞳のおおよその存在位置を始点とし、この始点が含まれる着目画素及び着目画素の近傍８画素への再帰的な局所探索により実行される請求項８に記載の瞳画像認識装置。