JP2007200289A - 目の位置の検出方法 - Google Patents

Abstract

【課題】顔画像から目の位置を、簡便な手法で信頼性高く自動的に検出できるようにする。
【解決手段】顔画像から、明度が逐次変化した複数のグレースケール画像の階層を作成し、グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出し、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する。
【選択図】図１Ａ

Description

本発明は、顔画像から目の位置を自動的に検出する方法に関する。

顔画像における目の位置は、被験者の顔画像に髪型のモデル画像を重ねて髪型シミュレーション画像を形成する場合や、被験者の顔画像に唇、眉等の化粧画像を重ねてメイクアップシミュレーション画像を形成する場合に、画像の大きさの調整や位置合わせのために検出されている。また、目の位置の検出は、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像の作成等においてもなされている。

従来、顔画像から目の位置を検出する方法としては、肌色領域の抽出により顔を検出し、さらにパターンマッチング等により目を検出する方法等が使用されている（非特許文献１、特許文献１）。

2005年第５回ＬＳＩ ＩＰデザインアワード受賞論文「高速・高信頼な顔検出を可能とする顔候補点検出法」（日経ＢＰ社） 特開２００４−９４９１７

しかしながら、肌色領域の抽出は照明環境の影響を受ける。そのため、種々の照明環境で撮られた不特定多数の顔画像を対象とする場合には信頼性が問題となる。また、パターンマッチングの手法は、計算量が莫大となるという問題がある。

これに対し、本発明は、顔画像から目の位置を、簡便な手法で信頼性高く自動的に検出できるようにすることを目的とする。

本発明者らは、顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、高明度側のフェードアウトした画像から順次フェードインした画像を観察した場合に、フェードアウトした顔領域に最初に現れる画素が瞳領域のものであること、この場合、瞳領域の画素は対になって現れること、対をなして現れた画素領域の全グレースケール画像にわたる出現度数を集積すると、その集積結果に基づいて目の位置を特定できること、この目の位置の特定方法は、静止画だけでなく動画にも適用できることを見出した。

即ち、本発明は、顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、
グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするの
に伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出し、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する目の位置の検出方法を提供し、この場合に、顔画像が、静止画像又は動画像のフレームである態様を提供する。

また、本発明は、顔画像の取得手段、並びに
顔画像から、明度が逐次変化した複数のグレースケール画像を作成する機能、グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する機能を備えた演算手段を備えた目の位置の検出システムを提供し、この場合に、顔画像の取得手段が、静止画像又は動画像が撮影可能なカメラである態様を提供する。

本発明の方法あるいはシステムによれば、顔画像から、明るさが逐次変化した複数のグレースケール画像を作成し、グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を目の位置候補として検出し、目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定するので、照明環境、被験者の肌色、被験者の瞳の色、顔画像における顔の向き等にかかわらず、目の位置を信頼性高く、位置精度高く検出することができ、さらにパターンマッチングが不要であるため、高速の演算処理により目の位置を検出することができる。

したがって、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成や、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成等のように、目の位置を基準に用いて複数の画像情報をフィッティングさせることによりシミュレーション画像を形成する場合に、自然さのあるシミュレーション画像を形成することが可能となる。また、個人情報保護のための目隠し処理のように、目の位置を基準としてモザイク、塗りつぶし等の画像処理を行う場合にも、本発明の方法あるいはシステムを好適に用いることができる。さらに、これらの画像処理を高速で行えることから、これらの画像処理を静止画だけでなく動画においても行うことが可能となる。

以下、図面を参照しつつ本発明を詳細に説明する。

図２は、この方法を実施する目の位置の検出システムのブロック図であり、図１Ａは、本発明の目の位置の検出方法を静止画像で行う一実施例の示す流れ図であり、図１Ｂは、本発明の目の位置の検出方法を動画像で行う一実施例の流れ図である。

このシステム１０は、撮像装置１及びパソコン本体２からなっており、パソコン本体２には、ディスプレイ３、イメージスキャナ４、プリンタ５等が接続されている。

撮像装置１は、被験者の顔画像の取得手段として設けられており、デジタルスチルカメラ、デジタルビデオカメラ、ウェブカメラ等の市販の静止画像又は動画像が撮影可能なカメラを使用することができる。動画像を目の位置の検出対象とする場合には、必要に応じて、撮像装置１とパソコン本体２の間にビデオキャプチャーを接続する。

パソコン本体２は、明度が逐次変化した複数のグレースケール画像（例えば、２５６階調のグレースケール画像の階層において、画素値が２〜３階調ずつ変化したもの）を作成する画像処理機能を備えている。

グレースケール画像の作成手法としては、各画素において、(1)Ｒ、Ｇ、Ｂの各値の最大値と最小値の平均を利用する方法、(2)Ｒ、Ｇ、Ｂの各値の平均を利用する方法、(3)Ｒ、Ｇ、Ｂの各値に所定の重み付け係数（ＮＴＳＣ等）を掛けた後、それらの平均をとる方法等があるが、本発明においては、(3)の手法において、例えば次式
Ｙ（出力輝度）＝0.298912×Ｒ＋0.568811×Ｇ＋0.114478×Ｂ
を利用し、階調を２〜３階調ずつ変化させることが好ましい。このようなグレースケール化の画像処理機能は、例えば、アドビシステム社製フォトショップ等の市販のイメージ処理ソフトをパソコン本体２に搭載することにより得ることができる。

また、パソコン本体２は、明度の変化に伴ってコントラストを変化させる機能（例えば、明度を高くするにしたがいコントラストを下げ、また、明度を低くするにしたがいコントラストをあげる機能）、グレースケール画像の階層を明度の低い又は高い順にリスト番号を付けて管理する機能、グレースケール画像の階層において、明度が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全階層のグレースケール画像にわたる出現度数をカウントし、その値に基づいて目の位置を特定する機能などを有している。

さらに、パソコン本体２は、顔画像のサイズの調整機能、顔画像に目の位置の検出対象領域を設定する機能、顔画像のぼかし機能、検出する画素の固まり領域の縦方向及び横方向のサイズを予め所定範囲内に設定する機能、目の位置候補から特定の目の位置を特定する際の目の位置条件として目の位置候補相互の位置関係や目の位置候補の幅等を記憶する機能、目の位置候補から目の位置条件を満たすものを選択し、目の位置として特定する機能等を有している。

この他、動画像を目の位置の検出対象とする場合、パソコン本体２は、撮像装置１から所定のフレームレートで転送されるフレームを必要に応じて選択する機能、あるフレームについて目の位置が特定された場合に、その位置を記憶し、その位置の周辺を次フレームにおける目の位置の検出対象領域とする機能等を有している。

このシステム１０を用いた静止画像における目の位置の検出方法では、図１Ａに示すように、まず、目の位置の検出対象とする顔画像をパソコン本体２に取得する。顔画像は、例えば、撮像装置１で対象者の顔画像を撮り、それをパソコン本体２に取り込ませてもよく、イメージスキャナ４を用いて対象者の顔写真を読み取ることによってもよく、インターネット等の通信回線を利用して取得してもよい。

次に、必要に応じて、顔画像の画素数を目の位置の検出処理に適したサイズに調整する。より具体的には、顔画像の画素数が多すぎると検出処理に過度の負担が掛かり、少なすぎると目の位置の検出精度が低下するため、４８０×３６０〜３２０×２４０程度に画像サイズを変更する。

また、顔画像がシャープであると、後の画像処理で細かいエッジが多数現れ、目の位置候補の検出のノイズとなるので、必要に応じて顔画像にぼかし処理を行う。この場合、ぼかしの程度は、弱〜中とすることが好ましく、例えば、各画素について、注目点の画素とその周囲の２５画素に対して１〜５の重み付ぼかしフィルタを使用して輝度の平均値を出力するぼかし処理を行う。このぼかし処理は、必要に応じて複数回行っても良い。

さらに、本発明の目の位置の検出方法においては、顔画像にカラー情報は不要であるため、取得した画像がカラー画像の場合には、後の処理量を低減させるため、グレースケール画像に変換する。

次に、取得した顔画像において、目の位置の検出対象領域を予め設定しておくことが好ましい。例えば、図３のように、グレースケール顔画像２０に対し、目の位置の検出対象領域として矩形枠２１を設定する。この矩形枠２１の設定方法としては、顔画像２０について、縦辺の長さの１／８をＡとした場合に、縦３Ａ、横４Ａの領域を、その領域の中心Ｏが、顔画像２０の中心座標と重なるように形成すればよく、ここで、顔画像２０の中心座標は、顔画像２０の横幅の中心線上で顔画像２０の上辺から３．５Ａの位置とすればよい。このように目の位置の検出対象領域として矩形枠２１を設定する方法は、上半身が写っている任意の画像に対して適用することができる。

次に、図４に示すように、明度が逐次変化した複数のグレースケール画像を形成する。より具体的には、例えば２５６階調のグレースケール画像において、完全にフェードアウトした画素値０の画像から漸次明度を低下させたフェードイン画像を３０〜１００階層程度作成する。この３０〜１００階層の画像の中に目の部分が必ず現れる。この場合、明度を上げるにつれてコントラストを下げ、明度を下げるにつれてコントラストをあげると、フェードイン画像中に目の部分がより鮮明に現れるので好ましい。

図４からわかるように、グレースケール画像の明度をあげて完全にフェードアウトさせた画像から逐次明度を低下させてフェードイン画像の階層を形成していくと、通常、まず最初に瞳に画素の固まりが検出され、次に鼻や口に画素の固まりが検出される。また、瞳領域の画素の固まりは左右一対として現れるので、左右一対の画素の固まりを選択する。階層によっては、瞳の他に口元、眉、額等の領域にも、画素の固まり領域が対になって現れるが、この段階では、これらの画素の固まり領域も目の位置候補として選択する。

なお、画素の固まり領域の検出においては、画像処理を簡便に行えるようにする点から、逐次明度が変化したグレースケール画像の階調を、図５に示すように反転させることが好ましい。

また、目の位置候補として検出する画素の固まりの条件として、前述のようにグレースケール顔画像２０の縦辺の長さの１／８をＡとした場合に、画素の固まりの領域の大きさを縦０．４Ａ〜０．７Ａ、好ましくは０．５Ａ〜０．７Ａ、横０．５Ａ〜１．０Ａ、好ましくは０．７〜１．０Ａの範囲内に設定しておくことが好ましい。通常、目の位置にある画素の固まり領域の大きさは、この範囲内の大きさを有するので、このような大きさの条件を設定しておくことにより、目の位置の検出に要する後の処理量を軽減することができる。

図６は、ある階層のフェードイン画像において、顔領域中に現れた画素の固まり領域を矩形で示し、さらにこれらのうち対をなしているものを直線で結んだものである。

対をなしている画素の固まり領域のうち、目の位置候補として選択するものの条件として、予め次の(1)〜(4)を設定しておくことが好ましい。
(1)左右一対の画素の固まり領域の横方向の距離が一定の範囲にあること
(2)左右一対の画素の固まり領域の縦方向の距離が一定の範囲にあること
(3)左右一対の画素の固まり領域のうち、左側の画素の固まり領域が、顔画像の矩形枠２１の左半分の領域にあること
(4)左右一対の画素の固まり領域のうち、右側の画素の固まり領域が、顔画像の矩形枠２１の右半分の領域にあること

次に、図７に示すように、各フェードイン画像毎に現れた一対の目の位置候補を、グレースケール画像の全階層にわたって集積し、その出現度数をカウントし、このカウント数の多い順にランキングリストを作成する。このカウントでは、フェードアウトした顔画像から段階的に明度を下げていった場合に最初に現れ、最終段階まで現れ続ける瞳領域の目の位置候補が通常、最大カウント（ランキング第１位）となる。そこで、原則的には、この最大カウントの目の位置候補の位置を目の位置と特定する。

ただし、次の(a)〜(c)の条件を全て満たした場合、あるいは(d)の条件を満たした場合には、カウント数が２番目に多かった目の位置候補の位置を目の位置として特定する。
(a)ランキング第２位の目の位置候補が、ランキング第１位の目の位置候補より上方にある場合
(b)ランキング第２位の目の位置候補の目と目の中心間距離が、ランキング第１位の目の位置候補の中心間距離より長い場合
(c)ランキング第２位の目の位置候補の左右の瞳にあたる領域が、共にランキング第１位の目候補の左右の瞳にあたる位置よりも外側にある場合
(d)ランキング第１位の目の位置候補とランキング第２位の目の位置候補の縦方向の距離が、目と眉の距離程度に離れ、ランキング第１位の目の位置候補がランキング第２位の目の位置候補よりも上にある場合

このうち、(a)〜(c)は、ランキング第１位がまれに口領域になることがあるのに対し、口の位置を目の位置であると誤判定しないためのものであり、(d)は、目の周りの眉等を目の位置であると誤判定しないためのものである。

以上により、図８に示すように、顔画像（画像処理する前の元画像）において、目の位置（より正確には瞳の位置）を正確に検出することが可能となる。

一方、このシステム１０を用いた動画像における目の位置の検出方法では、図１Ｂに示すように、まず、撮像装置１から転送された動画像のフレームを顔画像として取得し、このフレームにおける目の位置を検出する。目の位置の検出方法自体は、静止画像における目の位置の検出と同様に、グレースケール画像において明度を逐次変化させたフェードイン画像の階層の形成、フェードイン画像に現れる画素の固まりの検出、目の位置候補（左右一対になって現れた画素の固まり領域）の選択、グレースケール画像の全階層にわたる目の位置候補の集積とその出現度数のカウント、最大カウントによる目の位置の特定、目の位置候補の位置や目と目の中心間距離による特定の修正等を行う。

ただし、撮像装置１から転送されたイニシャルフレームにおいては、目の位置の検出対象領域は、特定の領域に限定することなく、画像全体とすることが好ましい。

次に、特定された目の位置の適否を判断する。この判断方法としては、例えば、画素値０から２５５の間で１００階層のフェードイン画像を作成した場合、最大カウント数が５以下のときには目ではないと判断する。なお、この方法で目の位置の適否を判断する場合、フェードイン画像の階層数と、目の適否を判断する最大カウント数とは比例するように決めればよい。したがって、画素値０から２５５の間で作成するフェードイン画像を２００階層にした場合は最大カウント数が１０以下の場合に目でないと判断する。

目の位置の適否の判断により、目の位置が適正に検出されたと判断された場合には、このフレームにおける目の位置として登録する。

そして、撮像装置１からその後に転送されるフレーム（これをフレームＮとする）を取得し、登録した目の位置周辺のみを目の位置の検出対象領域として、上述と同様に目の位置を検出する。このフレームＮでも目の位置が適正に検出されたと判断された場合にはその位置を登録し、さらに次のフレームＮ+1 では、直近で登録した目の位置周辺を検出対象領域とする。このように目の位置の検出対象領域を限定することにより、処理速度を速めることができる。

ここで目の位置が適正に検出された場合に、次のフレームで目の位置の検出対象領域とする目の位置周辺の設定は、例えば、目と目の中間点を中心とする矩形であって、横方向が目と目の中心間距離の１．５〜３倍、好ましくは１．８〜２．２倍、縦方向が目と目の中心間距離の０．５〜２倍、好ましくは０．８〜１．２倍の範囲とする。

一方、イニシャルフレームにおいて、特定された目の位置が不適であると判断された場合には、このフレームでは目の位置をこれ以上検出することなく、次のフレームでの目の位置の検出に進む。

また、前述のフレームＮで検出された目の位置の適否の判断において、不適と判断された場合には、このフレームＮの画像全体を検出対象領域として目の位置を検出し、それにより目の位置が適正に検出されたと判断された場合には、これを登録し、次のフレームＮ+1ではこの直近で登録された目の位置周辺を検出対象領域として目の位置を検出する。これに対し、フレームＮにおいて画像全体を検出対象領域としても目の位置が適正に検出されなかった場合には、このフレームＮでは、目の位置をこれ以上検出することなく、次のフレームＮ+1での目の位置の検出に進む。

なお、目の位置が適正に検出されない原因としては、(i)目が画像中に存在しないこと、(ii)目は存在していても目が閉じられていたこと、(iii)目の位置が高速で移動したために目の画像がぶれたこと等があるが、いずれの場合にも、あるフレームで目の位置が適正に検出されなかった場合には、次のフレームで目の位置を検出する。

また、画像のサイズやフレームレートにより、目の位置の検出がフレームの転送に追いつかない場合には、所定のフレーム数毎に目の位置の検出を行う。

目の位置が適正に検出されなかったフレームや、所定のフレーム数ごとに目の位置の検出を行うために目の位置を検出していないフレームでは、画像の内容や目の位置の検出目的に応じて、目の位置が検出されているフレームにおける目の位置を補完することにより目の位置を特定してもよく、また、目の位置が検出されていないフレームはディスプレイに表示しないようにしてもよい。

本発明の目の位置の検出方法は、目の位置の検出対象とする顔画像の被写体の肌の色、瞳の色、顔の向き、照明環境の変化によらず、精度よく、簡便な演算方法で、高い処理速度で目の位置を検出することができる。したがって、静止画像においても動画像においても、白人、黒人を問わず、顔画像から目の位置を検出することができる。

こうして検出された目の位置は、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像の形成など、目の位置の検出が必要とされる種々の場面で利用することができる。

本発明は、上述のように目の位置の検出が必要とされる種々の場面で有用となる。

静止画像における目の位置の検出方法の流れ図である。 動画像における目の位置の検出方法の流れ図である。 目の位置の検出システムのブロック図である。 目の位置の検出対象領域の説明図である。 明度を逐次変化させたグレースケール画像である。 明度を逐次変化させたグレースケール画像の階調反転画像である。 あるフェードイン画像における画素の固まり領域の説明図である。 目の位置候補を、グレースケール画像の全階層にわたって集積した状態の説明図である。 検出した目の位置を表示した元画像である。

符号の説明

１ 撮像装置
２ パソコン本体
３ ディスプレイ
４ イメージスキャナ
５ プリンタ
１０ 目の位置の検出システム
２０ グレースケール顔画像
２１ 目の位置の検出対象領域とする矩形枠

Claims (8)

1. 顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、
   グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出し、
   検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
   各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する目の位置の検出方法。
2. 目の位置候補相互の位置関係又は目の位置候補の横幅に基づいて目の位置を特定する請求項１記載の目の位置の検出方法。
3. グレースケール画像の階調を反転させ、画素の固まり領域を検出する請求項１又は２記載の目の位置の検出方法。
4. 顔画像が、静止画像又は動画像のフレームである請求項１〜３のいずれかに記載の目の位置の検出方法。
5. 動画像の一つのフレームで目の位置が特定された場合に、その後のフレームにおいて直近で特定された目の位置の周辺領域を目の位置の検出対象領域とする請求項４記載の目の位置の検出方法。
6. 顔画像の取得手段、並びに
   顔画像から、明度が逐次変化した複数のグレースケール画像を作成する機能、グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する機能を備えた演算手段を備えた目の位置の検出システム。
7. 演算手段が、目の位置候補相互の位置関係又は目の位置候補の横幅に基づいて目の位置を特定する機能を有する請求項６記載の目の位置の検出システム。
8. 顔画像の取得手段が、静止画像又は動画像が撮影可能なカメラである請求項６又は７記載の目の位置の検出システム。