JP2014186505A - 視線検出装置及び撮像装置 - Google Patents

Abstract

【課題】瞳領域内の虹彩領域の色によらず、視線を高精度に検出できるようにする。
【解決手段】まず、顔画像の目領域における平均輝度値を算出し、算出した平均輝度値が所定値以上である場合には虹彩領域が青色や緑色の人物と判定する。そして、この判定結果に基づいて、目領域を補正する補正パラメータを決定し、この決定した補正パラメータを用いて目領域を補正した輝度画像を生成するようにして、虹彩領域の色の違いをなくすようにし、視線検出を高精度に行う。
【選択図】図１

Description

本発明は視線検出装置、撮像装置、視線検出方法、撮像装置の制御方法及びプログラムに関し、特に、様々な色の目の視線を検出するために用いて好適な技術に関する。

従来、人物の顔を含む画像から顔の領域を抽出し、抽出した顔の領域を解析して属性を認識する技術が知られている。このような技術を撮像装置に応用することにより、撮像装置に写った人物が笑顔になったタイミングで顔画像を記録したり、人物の視線がカメラ目線になったタイミングで顔画像を記録したりすることができるので非常に有用である。

例えば、顔画像から視線方向を推定する技術としては、例えば、特許文献１に記載されている方法が知られている。この方法は、顔画像から目や口などの特徴点を検出し、特徴点間の距離を用いて、視線方向を推定する特徴点ベースと言われる手法である。また、特許文献２に記載された方法ように、特徴点を検出せずに顔画像から直接視線方向を推定する、いわゆるアピアランスベースと呼ばれる手法も知られている。

特開２００７−２６５３６７号公報 特開２００９−５９２５７号公報

P. Viola, M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", in Proc. Of CVPR, vol.1, pp.511-518, December, 2001 Timothy F. Cootes, Gareth J. Edwards, and Christopher J. Taylor, "Active Appearance Models", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No.6, JUNE 2001 C. Shan and T. Gritti, "Learning Discriminative LBP-Histogram Bins For Facial Expression Recognition", In Proc. British Machine Vision. Conference, 2008 Dalal and Triggs, "Histograms of Oriented Gradients for Human Detection", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2005 V. Vapnik. "Statistical Learning Theory", John Wiley & Sons, 1998

人物の視線を高精度に検出するために、特徴点ベースを用いる場合には、特に目領域の中の瞳（虹彩と瞳孔）領域の位置を正確に検出する必要がある。一方、アピアランスベースを用いる場合には、目領域の中の瞳領域におけるエッジなどの特徴量を正確に検出する必要がある。

しかしながら、瞳領域内の虹彩領域は、人物によって緑色、青色、茶色、黒色など様々な色が存在するため、人物によって様々な輝度パターンが発生する。このような輝度パターンは、黒色の瞳のような輝度値の分布が瞳領域内で小さいものと色の薄い青色の瞳のような輝度値の分布が瞳領域内で大きいものとに大別される。このように人物によって様々な輝度パターンが存在するため、特徴点ベースを用いて人物の視線を検出すると、瞳領域の重心位置にズレが生じ、視線の検出精度が低下する可能性がある。また、アピアランスベースを用いて人物の視線を検出すると、瞳領域の特徴量が変化し、同様に視線の検出精度が低下する可能性がある。

本発明は前述の問題点に鑑み、瞳領域内の虹彩領域の色によらず、視線を高精度に検出できるようにすることを目的としている。

本発明の視線検出装置は、顔画像を取得する取得手段と、前記取得手段によって取得された顔画像に対して目領域を設定する領域設定手段と、前記領域設定手段によって設定された目領域から、目の種別を判定する判定手段と、前記判定手段による判定の結果に基づいて、前記目領域に係る補正パラメータを設定するパラメータ設定手段と、前記補正パラメータに基づいて前記目領域が補正された輝度画像を生成する生成手段と、前記生成手段によって生成された輝度画像の目領域から、前記顔画像に係る顔の視線を検出する視線検出手段と、を有することを特徴とする。

本発明によれば、瞳領域内の虹彩領域の色によらず、視線を高精度に検出することができる。

第１の実施形態に係る撮像装置の全体構成例を示すブロック図である。 第１の実施形態に係る撮像装置による全体的な処理手順の一例を示すフローチャートである。 視線検出処理の詳細な処理手順の一例を示すフローチャートである。 顔、口、目の中心位置、及び正規化輝度画像を説明するための図である。 顔全体領域を説明するための図である。 設定される左目領域及び右目領域を説明するための図である。 目領域における虹彩領域の色の違いを説明するための図である。 目の種別判定処理の詳細な処理手順の一例を示すフローチャートである。 輝度値の違いのヒストグラムを説明するための図である。 Ｘ、Ｙ方向の投影ヒストグラムを説明するための図である。 目の種別に応じた補正処理の詳細な処理手順の一例を示すフローチャートである。 輝度補正した後の目領域を説明するための図である。 補正係数Ｔｈ１、Ｔｈ２の関係を説明するための図である。 目領域における虹彩領域の色によって適用する補正係数Ｔｈ１、Ｔｈ２のテーブルの一例を示す図である。 第２の実施形態に係る撮像装置の全体構成例を示すブロック図である。 第２の実施形態に係る撮像装置による全体的な処理手順の一例を示すフローチャートである。 第２の正規化輝度画像を生成する処理の詳細な処理手順の一例を示すフローチャートである。 第３の実施形態に係る撮像装置の全体構成例を示すブロック図である。 第３の実施形態に係る撮像装置による全体的な処理手順の一例を示すフローチャートである。 第３の実施形態において、視線検出器を選択する手順を説明するための図である。

（第１の実施形態）
以下、本発明を実施するための第１の実施形態について説明する。
図１は、本実施形態に係る撮像装置１００の全体構成例を示すブロック図である。
図１に示すように、撮像装置１００は、画像取得部１０１、顔検出部１０２、正規化画像生成部１０３、領域設定部１０４、目の種別判定部１０５、パラメータ設定部１０６、補正処理部１０７を備えている。さらに、撮像装置１００は、視線検出部１０８、画像記録部１０９、撮像装置１００全体を制御する制御部１１０及びシャッターボタンなどから構成されている操作部１１１を備えている。また、撮像装置１００には、内蔵型もしくは着脱可能な記録媒体１１２が装着されている。なお、本実施形態では、被写体の視線が撮像装置１００の方向を向いた瞬間に撮影を実施するものとする。

図２は、本実施形態に係る撮像装置１００による全体的な処理手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、制御部１１０は、操作部１１１のシャッターボタンの半押しなどによる撮影開始の指示を検出するまで待機する。そして、制御部１１０が撮影開始の指示を検出した場合には、ステップＳ２０２に進む。

次に、ステップＳ２０２において、画像取得部１０１は、レンズなどの集光素子、光を電気信号に変換するＣＭＯＳやＣＣＤなどの撮像素子、及びアナログ信号をデジタル信号に変換するＡＤ変換器を介してデジタル信号の画像データを取得する。なお、間引き処理等を行うことによって、例えば、ＶＧＡ（６４０×４８０［pixel］）やＱＶＧＡ（３２０×２４０［pixel］）に変換した顔画像を取得することも可能である。

次に、ステップＳ２０３において、顔検出部１０２は、ステップＳ２０２で取得した画像データに対して顔検出処理を行う。顔検出処理には、例えば、非特許文献１に記載されているような顔検出方法があり、本実施形態においては、非特許文献１に記載された技術を使用する。なお、ステップＳ２０３の顔検出処理により、図４（ａ）に示すようなｘｙ平面上の左右の目の中心座標４０１、４０２と、顔の中心座標４０３と、口の中心座標４０４との情報を取得する。

次に、ステップＳ２０４において、顔検出部１０２は、ステップＳ２０３の顔検出処理により、顔が検出されたかどうかを判定する。この判定の結果、顔が検出されなかった場合には、ステップＳ２０２に戻り、次の画像データを取得する。一方、ステップＳ２０４の判定の結果、顔が検出された場合には、ステップＳ２０５に進む。そして、ステップＳ２０５において、顔検出部１０２は、ステップＳ２０３で検出した顔のうち、１つの顔を選択する。

次に、ステップＳ２０６において、正規化画像生成部１０３は、以下に説明する正規化輝度画像を生成する。具体的には、ステップＳ２０３で得られる図４（ａ）に示す左右の目の中心座標４０１、４０２と、顔の中心座標４０３と、口の中心座標４０４とを用いて、顔の向きが正立し、かつ、顔の大きさが所定サイズとなるようにアフィン変換を実施する。その結果、図４（ｂ）に示すような正規化輝度画像４０５が生成される。ここで、被写体の視線を検出するためには、顔の向きに関する情報と、目の向きに関する情報とを抽出する必要がある。そのため、本実施形態では、顔の向きに関する特徴を抽出するための正規化輝度画像と、目の向きに関する特徴を抽出するための正規化輝度画像との２種類を生成する。

次に、ステップＳ２０７において、領域設定部１０４は、ステップＳ２０６で生成した２つの正規化輝度画像のうちの１つに対して特徴点検出を行い、検出された特徴点に基づいて領域設定を行う。なお、ステップＳ２０７で検出された特徴点を用いてステップＳ２０６の処理を再度実施し、これにより得られた正規化輝度画像に対して領域設定を再度行うようにしてもよい。

特徴点検出では、顔の特徴点毎に予め用意しておいたテンプレートを用いて、テンプレートとの相関が最も高くなる位置を照合する。この他に、非特許文献２に記載されているようなモデルベースに基づく手法を用いてもよい。但し、この特徴点を検出する処理は、領域設定の位置の精度を向上させるために行う処理であり、視線の検出を高速に行うような場合には特徴点検出を実施しなくてもよい。その場合、ステップＳ２０３で得られる左右の目の中心座標４０１、４０２と、顔の中心座標４０３と、口の中心座標４０４とを用いて領域設定を行うようにする。本実施形態では、まず、顔の向きに関する特徴を抽出するため、ステップＳ２０７では、特徴点の検出結果に基づいて、図５に示すような正規化輝度画像に対する顔全体領域５０１を設定する。

次に、ステップＳ２０８において、目の種別判定部１０５は、ステップＳ２０７で設定された領域が目領域であるか否かを判定する。この判定の結果、目領域である場合にはステップＳ２０９に進み、目領域でない場合には、ステップＳ２１１に進む。本実施形態では、上述したように最初は顔全体の領域が設定されており、目領域に該当しないため、最初の判定ではステップＳ２１１に進む。そして、ステップＳ２１１において、視線検出部１０８は視線を検出する。

図３は、ステップＳ２１１において視線検出部１０８が行う視線検出処理の詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ３０１において、ステップＳ２０７で設定された顔全体領域５０１に対して、特徴抽出を行う。例えば、非特許文献３に記載されているようなLocal Binary Pattern（以下、ＬＢＰ特徴）と呼ばれる特徴を抽出した後に、ＬＢＰ特徴からヒストグラムを生成する。その他にも、非特許文献４に記載されているように輝度勾配のヒストグラムを生成するようにしてもよいし、ヒストグラムでなくてもＬＢＰ特徴、もしくは輝度勾配そのものを使用するようにしてもよい。

次に、ステップＳ３０２において、視線検出に必要なすべての領域に対する処理が完了したかどうかを判定する。被写体の視線を検出するためには、顔の向きに関する特徴と、目の向きに関する特徴とを抽出する必要があり、最初の処理では、顔の向きに関する特徴しか抽出されていないので、目の向きに関する特徴を抽出するために、ステップＳ２０７に戻る。

ステップＳ２０７に戻ると、領域設定部１０４は、ステップＳ２０６で生成したもう一方の正規化輝度画像に対して特徴点検出を再度行い、検出された特徴点に基づいて図６に示すような左目領域６０１及び右目領域６０２を設定する。つまり、目の向きに関する特徴を抽出するための左右の目領域を設定する。但し、特徴点を検出せず、ステップＳ２０３での顔検出処理によって得られる左右の目の中心座標４０１、４０２と、顔の中心座標４０３と、口の中心座標４０４とから目領域を設定するようにしてもよい。または、顔全体領域５０１を設定するために実施した特徴点の検出結果から目領域を設定してもよい。

そして、ステップＳ２０８において、ステップＳ２０７で設定された領域が目領域であるか否かを判定する際に、直前のステップＳ２０７で目領域が設定されているため、ステップＳ２０９に進む。そして、ステップＳ２０９において、目の種別判定部１０５は、ステップＳ２０７で設定された左目領域６０１及び右目領域６０２に対して、目の種別を判定する。

図７（ａ）には、虹彩領域が黒色の人物の目に関する輝度画像７０１を示し、図７（ｂ）には、虹彩領域が青色や緑色の人物の目に関する輝度画像７０２を示している。カラー画像を輝度画像に変換すると、虹彩色によって虹彩領域における輝度分布が異なる。視線検出においては、虹彩領域を含む瞳領域を正確に捉えることによって、被写体の目の向きがどの方向を向いているかを高精度に検出することが重要である。

しかし、瞳領域の輝度パターンが異なることによって、特徴点ベースの手法を用いた視線検出では、瞳領域の位置の検出精度が低下し、視線検出の精度が低下する可能性がある。一方、アピアランスベースの手法を用いた視線検出では、虹彩領域の色によって異なる複数の特徴パターンが発生し、その結果、視線検出の精度を低下させる可能性がある。本実施形態は、虹彩領域の色によって生じるこのような問題を解決するものである。以下、目の種別判定について詳細に説明する。

図８は、ステップＳ２０９において目の種別判定部１０５が行う目の種別判定処理の詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ８０１において、ステップＳ２０７で設定された左目領域６０１及び右目領域６０２に対して、例えば平均輝度値といった目の種別を判定するためのデータを算出する。つまり、図７の虹彩領域が黒色の人物の輝度画像７０１と、虹彩領域が青色や緑色の人物の輝度画像７０２とが示すように、虹彩色によって虹彩領域における輝度値が異なるため、これを利用して、虹彩領域が青色や緑色の人物であるか否かを判定する。本実施形態では、目の種別を判定するための指標を平均輝度値としているが、輝度値の総和でもよい。

次に、ステップＳ８０２において、ステップＳ８０１で算出した平均輝度値が所定値よりも高いかどうかを判定する。ここで使用する所定値は、予め大量のデータを分析することにより設定することができる。ステップＳ８０２の判定の結果、平均輝度値が所定値よりも高い場合には、ステップＳ８０３において、虹彩領域が青色や緑色の人物であると判定する。一方、平均輝度値が所定値以下である場合には、ステップＳ８０４において、虹彩領域が青色や緑色の人物でないと判定する。

以上の説明では、正規化輝度画像に対して目の領域を設定し、虹彩領域が青色や緑色の人物かどうかを判定するようにしているが、正規化輝度画像に限定するわけではなく、カラー画像から虹彩領域が青色や緑色の人物かどうかを判定するようにしてもよい。

また、目の種別を判定する他の方法として以下に示す方法がある。例えば、ステップＳ２０７で設定された目領域に対して、低輝度値、中間輝度値、高輝度値の範囲を定義し、これらの輝度値に基づいて、図９に示すようなヒストグラムを生成し、低輝度値、中間輝度値、高輝度値の度数に基づいて目の種別を判定してもよい。また、輝度に対して２値化処理を施した後、暗部の画素について図１０に示すようなＸ、Ｙ方向の投射ヒストグラムを作成し、ヒストグラムの幅や高さから目の種別を判定してもよい。また、色情報を使用することが可能な場合には、ステップＳ２０７で設定された目領域に対して、ＲＧＢのカラーヒストグラムを生成し、このカラーヒストグラムを用いて目の種別を判定してもよい。カラーヒストグラムを利用すると、青色及び緑色の虹彩をも詳細に区別することも可能である。

図２の説明に戻り、目の種別を判定すると、次のステップＳ２１０において、ステップＳ２０９で判定した結果に基づいて、補正処理を実施する。

図１１は、ステップＳ２１０における目の種別に応じた補正処理の詳細な手順の一例を示すフローチャートである。
まず、ステップＳ１１０１において、パラメータ設定部１０６は、ステップＳ２０９で判定された目の種別に基づいて補正処理に関するパラメータを設定する。このとき、虹彩領域の色が異なる場合でも、図１２に示す輝度画像１２０１、１２０２のように、目の輝度画像が同じ輝度分布になるよう補正処理に関するパラメータを設定する。

ここで、補正処理に関するパラメータとは、例えば、図１３に示すような輝度補正を実施する関数における補正係数Ｔｈ１、Ｔｈ２である。また、図１４には、虹彩領域の色に応じて設定される補正係数Ｔｈ１、Ｔｈ２のテーブルの一例を示しており、ａ１＞ｂ１、あるいは、ａ２＞ｂ２となるように補正係数Ｔｈ１、Ｔｈ２を設定する。なお、本実施形態では、図１３に示すような線形関数について説明しているが、ガンマ関数など非線形関数を使用する方法でも構わない。

次に、ステップＳ１１０２において、補正処理部１０７は、ステップＳ１１０１で設定されたパラメータを用いて輝度補正を行い、虹彩領域の色が異なる場合でも同じ輝度分布となるような目の輝度画像を生成する。このようにステップＳ２１０で目の種別に応じた補正処理が完了した後、ステップＳ２１１に進む。

図３の説明に戻り、ステップＳ３０１において、視線検出部１０８は、顔領域に関する特徴抽出と同様に左目領域６０１及び右目領域６０２に対して特徴抽出を行う。ステップＳ１１０２で虹彩領域の色に応じた補正処理を実施したことにより虹彩領域の色によらない特徴が抽出される。

次に、ステップＳ３０２において、視線検出に必要なすべての領域に対する処理が完了したかどうかを判定する。ここまでの処理で、顔の向きに関する特徴と目の向きに関する特徴とを抽出したので、ステップＳ３０２の判定の結果、ステップＳ３０３に進むことになる。

次に、ステップＳ３０３において、視線検出部１０８は、ステップＳ３０１で抽出した顔の向き及び目の向きに関する特徴を用いて、ステップＳ２０５で選択された顔の視線が撮像装置１００の方向を向いているかを示す尤度（もしくは、スコア）を算出する。そして、その尤度を閾値処理することにより、ステップＳ２０５で選択された顔の視線が撮像装置１００の方向を向いているかどうかを判定する。

ステップＳ３０３で尤度を算出する方法としては、例えば、非特許文献５に記載されているSupport Vector Machine（ＳＶＭ）を用いる。つまり、視線が撮像装置１００の方向を向いている特徴群と、そうでない特徴群とを用いて、予め学習しておき、ステップＳ３０３で尤度を算出する。

なお、ステップＳ３０３で尤度を算出する方法として、非特許文献５に記載された技術に限られるわけではなく、他の技術を用いてもよい。上述した説明では、視線が撮像装置１００の方向を向いているかどうかを判定したが、例えば、複数の判定器を用いて複数の角度に対する尤度を算出し、最大値を算出した判定器に対応する視線の方向を被写体の視線の方向として出力してもよい。この他にも、例えば、所定の軸を基準とした角度θを学習する際のラベルに設定し、このラベルと特徴とをセットして回帰関数を算出することにより視線の角度を出力してもよい。

図２の説明に戻り、次のステップＳ２１２において、ステップＳ２０３で検出された顔のうち、所定の割合以上の顔が撮像装置１００の方向を向いているかどうかを判定する。この判定の結果、所定の割合以上である場合には、ステップＳ２１３に進み、そうでない場合はステップＳ２１４に進む。

次のステップＳ２１３において、画像記録部１０９は、撮影指示が出された後に、ステップＳ２０２で得られた画像データを、メモリカードや内部記録装置などの記録媒体１１２に記録する。そして、ステップＳ２１４において、ステップＳ２０３で検出した全ての顔に対して処理が完了したかどうかを判定する。この判定の結果、全ての顔に対して処理を実施していない場合にはステップＳ２０５に戻り、全ての顔に対して処理を実施した場合には処理を終了する。

以上のように本実施形態によれば、目の種別の判定結果に基づいて補正パラメータを設定した後に補正処理を実施してから視線を検出するようにしたので、虹彩の色によらない高精度な視線検出が可能となる。

なお、本実施形態では、アピアランスベース方式に基づいて視線を検出したが、図２のステップＳ２１０で補正された輝度画像を用いて特徴点を検出し、虹彩の色によらない高精度な特徴点ベースの視線検出も可能である。

（第２の実施形態）
以下、本発明を実施するための第２の実施形態について説明する。
図１５は、本実施形態に係る撮像装置１５００の全体構成例を示すブロック図である。図１に示す撮像装置１００と異なる点は、パラメータ設定部１０６及び補正処理部１０７の代わりに、変換係数設定部１５０１及び輝度画像生成部１５０２を備えている点である。他の構成については第１の実施形態と同様であるため、説明は省略する。

図１６は、本実施形態に係る撮像装置１５００による全体的な処理手順の一例を示すフローチャートである。なお、最初のステップＳ１６０１〜Ｓ１６０５までの処理は、それぞれ第１の実施形態で説明した図２のステップＳ２０１〜Ｓ２０５の処理と同様の処理であるため、説明を省略する。

次に、ステップＳ１６０６において、正規化画像生成部１０３は、第１の実施形態で説明したステップＳ２０６と同様の手順によりアフィン変換を実施し、第１の正規化輝度画像を生成する。

次に、ステップＳ１６０７において、領域設定部１０４は、正規化輝度画像に対して特徴点検出を行い、検出された特徴点に基づいて領域設定を行う。最初は第１の実施形態と同様に、左右の目の中心座標４０１、４０２と、顔の中心座標４０３と、口の中心座標４０４とをステップＳ１６０６で生成した第１の正規化輝度画像の座標系に変換した後に顔全体領域５０１を設定する。

次に、ステップＳ１６０８において、目の種別判定部１０５は、ステップＳ１６０７で設定された領域が目領域であるか否かを判定する。この判定の結果、目領域である場合にはステップＳ１６０９に進み、目領域でない場合には、ステップＳ１６１１に進む。上述したように最初は顔全体の領域が設定されており、目領域に該当しないため、最初の判定ではステップＳ１６１１に進む。そして、ステップＳ１６１１において、視線検出部１０８は視線を検出する。ステップＳ１６１１では、最初は第１の実施形態と同様に顔全体領域に対して特徴抽出を行い、ステップＳ１６０７に戻る。詳細な説明は、第１の実施形態の図３に示した手順と同様であるため、省略する。

そして、再びステップＳ１６０７において、領域設定部１０４は、図４の左右の目の中心座標４０１、４０２と、顔の中心座標４０３と、口の中心座標４０４とを正規化輝度画像の作成元であるカラー画像における座標系に変換し、目領域を設定する。次のステップＳ１６０８の判定では、直前のステップＳ１６０７で目領域が設定されているため、ステップＳ１６０９に進む。ステップＳ１６０９は、第１の実施形態で説明した図８の手順と同様であるため、詳細な説明は省略する。

次に、ステップＳ１６１０において、ステップＳ１６０９における目の種別の判定結果に基づいて、正規化輝度画像の作成元であるカラー画像から第２の正規化輝度画像を生成する。

図１７は、ステップＳ１６１０における第２の正規化輝度画像を生成する詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ１７０１において、変換係数設定部１５０１は、ステップＳ１６０９における目の種別の判定結果に基づいて輝度変換係数を設定する。ＲＧＢのカラー画像から輝度画像を生成する際には、以下の式及び輝度変換係数を一般的に使用する。
Ｙ＝Ｃ１＊Ｒ＋Ｃ２＊Ｇ＋Ｃ３＊Ｂ
Ｃ１＝０．２９９、Ｃ２＝０．５８７、Ｃ３＝０．１１４

これに対して本実施形態におけるステップＳ１７０１では、目の種別の判定結果に応じて輝度変換係数Ｃ１、Ｃ２、Ｃ３を変更するようにする。つまり、虹彩領域が青色である場合にはＧやＲよりもＢの重みを大きく設定し、虹彩領域が緑色である場合にはＢやＲよりもＧの重みを大きく設定するなど、虹彩領域の色に応じて、輝度変換係数Ｃ１、Ｃ２、Ｃ３を変更する。これにより、虹彩領域の色の影響を受けにくい輝度画像を生成することが可能である。

そして、ステップＳ１７０２において、輝度画像生成部１５０２は、ステップＳ１７０１で設定された輝度変換係数を用いて第２の正規化輝度画像を生成する。

図１６の説明に戻り、ステップＳ１６１１では、この第２の正規化輝度画像を用いて、図３と同様の手順で視線を検出することによって、高精度な視線検出を実現することが可能となる。なお、ステップＳ１６１２〜Ｓ１６１４については、それぞれ図２のステップＳ２１２〜Ｓ２１４と同様であるため、説明は省略する。

以上のように本実施形態によれば、目の種別の判定結果に基づいて輝度変換係数を変更して輝度画像を生成するようにしたので、虹彩の色によらない高精度な視線検出が可能となる。

（第３の実施形態）
以下、本発明を実施するための第３の実施形態について説明する。
図１８は、本実施形態に係る撮像装置１８００の全体構成例を示すブロック図である。図１に示す撮像装置１００と異なる点は、パラメータ設定部１０６、補正処理部１０７及び視線検出部１０８が、視線検出器選択部１８０１及び視線検出部１８０２となっている点である。他の構成については第１の実施形態と同様であるため、説明は省略する。

図１９は、本実施形態に係る撮像装置１８００による全体的な処理手順の一例を示すフローチャートである。なお、ステップＳ１９０１〜Ｓ１９０９及びステップＳ１９１２〜Ｓ１９１４については、それぞれ第１の実施形態で説明した図２のステップＳ２０１〜Ｓ２０９、ステップＳ２１２〜Ｓ２１４と同様の処理であるため、説明を省略する。また、第１の実施形態と同様の手順により目領域が設定され、目の種別が判定されるものとする。

ステップＳ１９１０においては、視線検出器選択部１８０１は、ステップＳ１９０９における目の種別の判定結果に基づいて、視線を検出するために用いる視線検出器を選択する。第１の実施形態では、生成された輝度画像に対して補正処理を行い、第２の実施形態では輝度画像を生成する際の輝度変換係数を変更して、虹彩の色によらない輝度画像を生成した。一方、本実施形態では、虹彩色に応じた視線検出器を用意しておき、ステップＳ１９０９における目の種別の判定結果に基づいて視線検出器を選択する。例えば、図２０に示すように、虹彩領域の色を緑色、青色、茶色、黒色に分けておき、夫々に対して視線検出器を用意する。そして、虹彩色によって視線検出器を選択し、ステップＳ１９１１では、視線検出部１８０２は、ステップＳ１６１０で選択された視線検出器を用いて、被写体の視線を検出する。

以上のように本実施形態によれば、目の種別の判定結果に基づいて視線検出器を選択するようにしたので、虹彩の色によらない高精度な視線検出が可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像取得部
１０２ 顔検出部
１０３ 正規化画像生成部
１０４ 領域設定部
１０５ 目の種別判定部
１０６ パラメータ設定部
１０７ 補正処理部
１０８ 視線検出部
１０９ 画像記録部

Claims (17)

1. 顔画像を取得する取得手段と、
   前記取得手段によって取得された顔画像に対して目領域を設定する領域設定手段と、
   前記領域設定手段によって設定された目領域について、目の種別を判定する判定手段と、
   前記判定手段による判定の結果に基づいて、前記目領域に係る補正パラメータを設定するパラメータ設定手段と、
   前記補正パラメータに基づいて前記目領域が補正された輝度画像を生成する生成手段と、
   前記生成手段によって生成された輝度画像の目領域から、前記顔画像に係る顔の視線を検出する視線検出手段と、
   を有することを特徴とする視線検出装置。
2. 前記補正パラメータは、輝度補正に関する補正係数であり、前記生成手段は、前記補正係数に基づいて前記目領域を輝度補正することにより前記輝度画像を生成することを特徴とする請求項１に記載の視線検出装置。
3. 前記補正パラメータは、カラー画像から輝度画像への変換係数であり、前記生成手段は、前記変換係数に基づいて前記目領域の輝度画像を生成することを特徴とする請求項１に記載の視線検出装置。
4. 顔画像を取得する取得手段と、
   前記取得手段によって取得された顔画像に対して目領域を設定する領域設定手段と、
   前記領域設定手段によって設定された目領域について、目の種別を判定する判定手段と、
   前記判定手段による判定の結果に基づいて、目の種別に応じた複数の視線検出器の中から１つの視線検出器を選択する選択手段と、
   前記選択手段によって選択された視線検出器を用いて前記目領域から前記顔画像に係る顔の視線を検出する視線検出手段と、
   を有することを特徴とする視線検出装置。
5. 前記判定手段は、前記目領域の平均輝度値または輝度値の総和を算出することによって目の種別を判定することを特徴とする請求項１〜４の何れか１項に記載の視線検出装置。
6. 前記判定手段は、輝度値、もしくはカラーに関するヒストグラムを使用して目の種別を判定することを特徴とする請求項１〜５の何れか１項に記載の視線検出装置。
7. 前記視線検出手段は、前記目領域から特徴を抽出することにより、前記顔が撮像装置の方向を向いていることに関する尤度、もしくは、所定の軸を基準とした角度を算出することを特徴とする請求項１〜６の何れか１項に記載の視線検出装置。
8. 被写体を撮像して前記被写体に係る顔画像を取得する取得手段と、
   前記取得手段によって取得された顔画像に対して目領域を設定する領域設定手段と、
   前記領域設定手段によって設定された目領域について、目の種別を判定する判定手段と、
   前記判定手段による判定の結果に基づいて、前記目領域に係る補正パラメータを設定するパラメータ設定手段と、
   前記補正パラメータに基づいて前記目領域が補正された輝度画像を生成する生成手段と、
   前記生成手段によって生成された輝度画像の目領域から、前記顔画像に係る顔の視線を検出する視線検出手段と、
   前記視線検出手段によって顔の視線が検出された顔画像を記録媒体に記録する記録手段と、
   を有することを特徴とする撮像装置。
9. 被写体を撮像して前記被写体に係る顔画像を取得する取得手段と、
   前記取得手段によって取得された顔画像に対して目領域を設定する領域設定手段と、
   前記領域設定手段によって設定された目領域について、目の種別を判定する判定手段と、
   前記判定手段による判定の結果に基づいて、目の種別に応じた複数の視線検出器の中から１つの視線検出器を選択する選択手段と、
   前記選択手段によって選択された視線検出器を用いて前記目領域から前記顔画像に係る顔の視線を検出する視線検出手段と、
   前記視線検出手段によって顔の視線が検出された顔画像を記録媒体に記録する記録手段と、
   を有することを特徴とする撮像装置。
10. 顔画像を取得する取得工程と、
    前記取得工程において取得された顔画像に対して目領域を設定する領域設定工程と、
    前記領域設定工程において設定された目領域について、目の種別を判定する判定工程と、
    前記判定工程における判定の結果に基づいて、前記目領域に係る補正パラメータを設定するパラメータ設定工程と、
    前記補正パラメータに基づいて前記目領域が補正された輝度画像を生成する生成工程と、
    前記生成工程において生成された輝度画像の目領域から、前記顔画像に係る顔の視線を検出する視線検出工程と、
    を有することを特徴とする視線検出方法。
11. 顔画像を取得する取得工程と、
    前記取得工程において取得された顔画像に対して目領域を設定する領域設定工程と、
    前記領域設定工程において設定された目領域について、目の種別を判定する判定工程と、
    前記判定工程における判定の結果に基づいて、目の種別に応じた複数の視線検出器の中から１つの視線検出器を選択する選択工程と、
    前記選択工程において選択された視線検出器を用いて前記目領域から前記顔画像に係る顔の視線を検出する視線検出工程と、
    を有することを特徴とする視線検出方法。
12. 被写体を撮像して前記被写体に係る顔画像を取得する取得工程と、
    前記取得工程において取得された顔画像に対して目領域を設定する領域設定工程と、
    前記領域設定工程において設定された目領域について、目の種別を判定する判定工程と、
    前記判定工程における判定の結果に基づいて、前記目領域に係る補正パラメータを設定するパラメータ設定工程と、
    前記補正パラメータに基づいて前記目領域が補正された輝度画像を生成する生成工程と、
    前記生成工程において生成された輝度画像の目領域から、前記顔画像に係る顔の視線を検出する視線検出工程と、
    前記視線検出工程において顔の視線が検出された顔画像を記録媒体に記録する記録工程と、
    を有することを特徴とする撮像装置の制御方法。
13. 被写体を撮像して前記被写体に係る顔画像を取得する取得工程と、
    前記取得工程において取得された顔画像に対して目領域を設定する領域設定工程と、
    前記領域設定工程において設定された目領域について、目の種別を判定する判定工程と、
    前記判定工程における判定の結果に基づいて、目の種別に応じた複数の視線検出器の中から１つの視線検出器を選択する選択工程と、
    前記選択工程において選択された視線検出器を用いて前記目領域から前記顔画像に係る顔の視線を検出する視線検出工程と、
    前記視線検出工程において顔の視線が検出された顔画像を記録媒体に記録する記録工程と、
    を有することを特徴とする撮像装置の制御方法。
14. 顔画像を取得する取得工程と、
    前記取得工程において取得された顔画像に対して目領域を設定する領域設定工程と、
    前記領域設定工程において設定された目領域について、目の種別を判定する判定工程と、
    前記判定工程における判定の結果に基づいて、前記目領域に係る補正パラメータを設定するパラメータ設定工程と、
    前記補正パラメータに基づいて前記目領域が補正された輝度画像を生成する生成工程と、
    前記生成工程において生成された輝度画像の目領域から、前記顔画像に係る顔の視線を検出する視線検出工程と、
    をコンピュータに実行させることを特徴とするプログラム。
15. 顔画像を取得する取得工程と、
    前記取得工程において取得された顔画像に対して目領域を設定する領域設定工程と、
    前記領域設定工程において設定された目領域について、目の種別を判定する判定工程と、
    前記判定工程における判定の結果に基づいて、目の種別に応じた複数の視線検出器の中から１つの視線検出器を選択する選択工程と、
    前記選択工程において選択された視線検出器を用いて前記目領域から前記顔画像に係る顔の視線を検出する視線検出工程と、
    をコンピュータに実行させることを特徴とするプログラム。
16. 被写体を撮像して前記被写体に係る顔画像を取得する取得工程と、
    前記取得工程において取得された顔画像に対して目領域を設定する領域設定工程と、
    前記領域設定工程において設定された目領域について、目の種別を判定する判定工程と、
    前記判定工程における判定の結果に基づいて、前記目領域に係る補正パラメータを設定するパラメータ設定工程と、
    前記補正パラメータに基づいて前記目領域が補正された輝度画像を生成する生成工程と、
    前記生成工程において生成された輝度画像の目領域から、前記顔画像に係る顔の視線を検出する視線検出工程と、
    前記視線検出工程において顔の視線が検出された顔画像を記録媒体に記録する記録工程と、
    をコンピュータに実行させることを特徴とするプログラム。
17. 被写体を撮像して前記被写体に係る顔画像を取得する取得工程と、
    前記取得工程において取得された顔画像に対して目領域を設定する領域設定工程と、
    前記領域設定工程において設定された目領域について、目の種別を判定する判定工程と、
    前記判定工程における判定の結果に基づいて、目の種別に応じた複数の視線検出器の中から１つの視線検出器を選択する選択工程と、
    前記選択工程において選択された視線検出器を用いて前記目領域から前記顔画像に係る顔の視線を検出する視線検出工程と、
    前記視線検出工程において顔の視線が検出された顔画像を記録媒体に記録する記録工程と、
    をコンピュータに実行させることを特徴とするプログラム。

Images