JP2015022700A - 視線方向検出装置および視線方向検出方法 - Google Patents

Abstract

【課題】撮影される顔画像の大きさに応じて、最適な方法で視線検出を行う。【解決手段】デジタルカメラ１０の背面に設けられるモニタ１１にスルー画像を表示する。モニタ１１が向けられた方向に向けられる視線検出用カメラ１２でモニタ１１を見るユーザの顔を撮影する。顔領域の大きさが第１閾値よりも大きく、第１閾値よりも大きい第２閾値よりも小さいときには、検出された顔の特徴量の位置関係から視線の方向を推定する。顔領域が第２閾値よりも大きい場合または顔領域が検出されない場合には、画像中に両目が撮影されているか否かを判定し、両目が撮影されていたら、瞳孔の位置や形から視線の方向を推定する。推定された視線の方向からモニタ１１上のどの領域をユーザが注視しているかを特定し、同領域をＡＦエリアに設定可能にする。【選択図】図１

Description

本発明は、視線の方向を検出するための装置および方法に関し、特に検出された視線の方向から注視される画面上の位置（領域）を特定するための装置および方法に関する。

ユーザの視線の方向を自動検出し、画角内においてＡＦ（オートフォーカス）エリアを自動設定する視線入力ＡＦ機能を搭載したデジタルカメラが知られている。視線の方向は、瞳孔の形状やその位置から求めることができるが、その他にも、顔全体の画像に含まれる顔の向きを示す特徴量と目周辺の画像に含まれる目の向きを示す特徴量を連結して用い、視線の方向を推定する方法も提案されている（特許文献１参照）。

特開２０１２−０３８１０６号公報

しかし、視線検出用の画像の撮影において顔がカメラから離れていると、瞳孔や目周辺の画像情報から視線方向を推定することは困難となる。また顔の距離が十分に近いときに顔の向きから視線方向を推定すると推定精度が低下する。

本発明は、撮影される顔画像の大きさに応じて、最適な方法で視線検出を行うことを課題としている。

本発明の視線方向検出装置は、画像を表示するモニタと、モニタが向けられる方向を撮影する視線検出用撮影手段と、視線検出用撮影手段で撮影された第１画像から顔領域を検出する顔領域検出手段と、顔領域の大きさを算出する顔領域サイズ算出手段と、第１画像から目、鼻、口を含む顔の特徴量を検出する顔特徴点検出手段と、顔の特徴量の何れかあるいは複数の特徴量の位置情報から視線の方向を推定する第１視線推定手段と、第１画像から瞳孔を検出して視線の方向を推定する第２視線推定手段と、顔領域の大きさに応じて、第１または第２視線推定手段を選択し、推定される視線が注視するモニタ上の領域を特定するモニタ領域特定手段とを備えたことを特徴としている。

モニタ領域特定手段は、顔領域の大きさが第２閾値よりも小さいとき第１視線推定手段を選択し、第２閾値よりも大きいとき第２視線推定手段を選択する。更にモニタ領域特定手段は、顔領域の大きさが第２閾値よりも小さい第１閾値よりも小さいとき、視線の方向の推定を行わない。またモニタ領域特定手段は、顔領域が検出されない場合においても、第１画像から両目が検出されれば第２視線推定手段を選択し、モニタ上の領域を特定することが好ましい。

視線検出用撮影手段の撮影レンズを中心とした周囲には、複数の照明用光源が配置されることが好ましい。また、モニタ領域特定手段により特定される領域をユーザに了知させる特定領域了知手段を備えることが好ましい。特定領域了知手段は、特定される領域の周囲を特定色の枠で囲む、領域部分に特定のマークを表示する、領域の全体を特定の色成分で着色する、の何れかあるいはこれらの組み合わせを用いて領域が特定されていることを示す。

モニタに表示される画像の拡大を指示する入力手段を更に備えることが好ましく、画像の拡大が指示されるとモニタ領域特定手段により特定される領域の画像がモニタに拡大表示されるとともに、視線検出用撮影手段を用いて第２画像が撮影され、第２画像に基づきモニタ領域特定手段によりモニタ上の領域が更に特定されることが好ましい。また入力手段は、モニタ領域特定手段により特定される領域を固定する操作部を備え、領域の固定後は、拡大されていない通常の大きさの画像がモニタに表示される。また視線検出用撮影手段は、装置本体に対してモニタと一体的に変位することが好ましい。

本発明の撮像装置は、上記何れかに記載の視線方向検出手段と、この視線検出用撮像手段とは異なる画像撮影手段とを備える撮像装置であって、画像撮影手段で撮影されるモニタ画像がモニタに表示され、モニタ領域特定手段により特定される領域がＡＦエリアに利用されることを特徴としている。

本発明の視線方向検出方法は、撮影者の視線方向を撮影する視線検出用画像撮影ステップと、視線検出用画像撮影ステップで撮影される第１画像から顔領域を検出する顔領域検出ステップと、顔領域の大きさを算出する顔領域サイズ算出ステップと、第１画像から目、鼻、口を含む顔の特徴量を検出する顔特徴点検出ステップと、顔の特徴量の何れかあるいは複数の特徴量の位置情報から視線の方向を推定する第１視線推定ステップと、第１画像から瞳孔を検出して視線の方向を推定する第２視線推定ステップと、顔領域の大きさに応じて、第１または第２視線推定ステップを選択し、推定される視線が注視するモニタ上の領域を特定するモニタ領域特定ステップとを備えたことを特徴としている。

本発明によれば、撮影される顔画像の大きさに応じて、最適な方法で視線検出を行うことができる。

本実施形態のデジタルカメラの背面図である。 図１のデジタルカメラの構成を模式的に示すブロック図である。 モニタのスルー画像を利用したカメラ撮影におけるユーザの様々な姿勢を示す図である。 スルー画像において第１段階のＡＦエリアを選択した様子を例示する図である。 第１段階のＡＦエリアを拡大し、第２段階のＡＦエリアを選択した様子を例示する図である。 本実施形態のＡＦエリア設定処理のフローチャートである。 本実施形態の視線検出処理の前半部のフローチャートである。 本実施形態の視線検出処理の後半部のフローチャートである。 視線検出用カメラから離れた距離でユーザの顔全体が撮影されたときの視線検出用画像の状況を示す図である。 ユーザの顔全体が図９よりも近い距離で撮影されたときの視線検出用画像の状況を示す図である。 目、鼻、口を含む顔の一部が近い距離で撮影されたときの視線検出用画像の状況を示す図である。 目、鼻のみを含む顔の一部が極めて近い距離で撮影されたときの視線検出用画像の状況を示す図である。 瞳孔の画像を用いた視線方向推定処理のフローチャートである。 瞳孔形状から視線方向を推定する方法の原理を説明する図である。 変形例における視線検出処理のフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である視線方向検出装置が搭載されたデジタルカメラの背面図であり、図２は図１のデジタルカメラの構成を示すブロック図である。

デジタルカメラ１０は、ユーザの視線を自動検出しＡＦ（オートフォーカス）領域を自動選択する視線入力ＡＦ機能が搭載されたカメラである。図１に示されるように、デジタルカメラ１０の背面にはＬＣＤなどの画像表示用のモニタ１１が設けられ、スルー画像や撮影画像、モード設定画面、パラメータ設定画面などが表示される。

モニタ１１の上辺中央には、固定焦点式（パンフォーカス）の視線検出用のカメラ１２が配置される。視線検出用カメラ１２の左右両側には、所定距離離れて照明用の光源１３Ａ、１３Ｂ（視線検出用光源部１３）が配置される。本実施形態では、視線検出用カメラ１２に赤外線カメラが用いられ、照明用光源１３、１４には赤外線ＬＥＤが用いられる。すなわち、モニタ１１を見るユーザの顔には、光源１３、１４から赤外線が照射され、視線検出用カメラ１２で撮影される。

また、デジタルカメラ１０の背面において、頂面に配置されたレリーズボタン（レリーズスイッチ）１５に対応する位置には、スイッチ１６が配置される。本実施形態ではスイッチ１６はダイヤルスイッチであり、その下側には、例えば４方向キーやオーケーボタンなど、入力用ファンクションキー１７が配置される。レリーズボタン１５、ダイヤルスイッチ、ファンクションキー１７などを含むスイッチ群１４からの入力信号は、コントローラ１８に入力され、入各種所定の処理が実行される。

また、カメラ本体の正面側には写真撮影用の撮像部１９が設けられ、撮像部１９で撮影されるスルー画像はコントローラ１８を通して画像メモリ２０に一時的に保持されるとともにモニタ１１へ出力される。一方、視線検出用のカメラ１２で撮影された画像は、コントローラ１８を通して画像メモリ２０に一時的に保持され、後述する視線検出処理に用いられる。レリーズボタン１５が半押しされると、コントローラ１８は視線検出用光源１３を点灯し、視線検出用カメラ１２による撮影を行う。また、レリーズボタン１５が全押しされて撮像部１９で撮影される静止画像は、モニタ１１に一時的に表示されるとともにメモリカード２２などの着脱自在な記録媒体に記録される。

なお、図１の例では、デジタルカメラ１０の頂面にファインダ２１が設けられているが、本実施形態の視線入力ＡＦ処理は、モニタ１１に表示されるスルー画像を通した撮影を前提とするものであり、ファインダを備えない構成であってもよい。

本実施形態の視線入力ＡＦ処理では、モニタ１１に表示されるスルー画像を見るユーザの顔を視線検出用カメラ１２で撮影し、この画像を基にユーザの視線方向を検出して、ユーザが注視しているモニタ１１上の位置（領域）を推定する。そして注視位置を含む所定の範囲の被写体に焦点を合わすＡＦ処理を行う。

モニタ１１のスルー画像を見ながらの撮影では、図３（ａ）〜（ｃ）に示されるように、撮影状況に応じてカメラ１０に対するユーザの顔の位置が異なる。例えば図３（ａ）のようにカメラ１０を顔の目の前で保持し、モニタ１１のスルー画像を間近で見る場合、視線検出用カメラ１２では、顔のアップ画像が撮影される。一方、図３（ｂ）、（ｃ）のようにカメラ１０を顔から離し、モニタ１１のスルー画像を遠くから見ながら撮影すると、顔はズームアウトされ、撮影画面の中で顔が占める領域は小さくなる。そして顔の画像が小さくなると、瞳孔の形状や位置のみによる視線の推定は難しくなり、しかもモニタ１１からの距離が離れているため視線の方向の違いによる誤差の影響も大きくなる。そのため本実施形態では、後述するように、視線検出用カメラ１２で撮影された画像の状況に合わせて視線方向の推定方法を変更し、常に最適な方法で視線方向の検出を行い、適正なＡＦエリアの選択を行う。

すなわち画像の中での目の位置や、検出された視線方向からユーザが注視しているモニタ１１上の位置が推定され、その位置を含む領域がＡＦエリアに設定される。例えば図４に示されるように、画面（画像）Ｍが縦横３×３の９つの領域に分割されており、視線の方向からその中の１つが選択される。図４の例では、中段左側の領域Ａ１が、ユーザが注視している領域であると判定され、第１段階のＡＦエリアとして設定される。

図示例では、［ ］記号が領域Ａ１内に表示され、同領域がＡＦエリアとして設定されたことを示す。なお、ＡＦエリアであることを示す方法は、これに限定されるものではなく、他の記号を用いたり、同領域の周囲を特定色の枠で囲ったり、同領域を特定色で着色したり、あるいはこれらを組み合わせることでＡＦエリアであることを示してもよい。

更に本実施形態では、図４の状態、すなわち第１段階のＡＦエリアが設定された状態でダイヤルスイッチ１６（図１）が所定の方向（拡大方向）に回転されると領域Ａ１の画像が拡大され、図５に示されるようにモニタ１１の画面Ｍにその全体が表示される。画面Ｍ内の画像も例えば縦横３×３の９つの領域に分割されており、拡大表示が行われると視線検出用カメラ１１を用いた視線検出が再び実行され、拡大画像におけるユーザの注視エリアが特定され、同領域が第２段階のＡＦエリアとして設定される。図５の例では、下段中央の領域Ａ２が、ユーザが注視している領域であると判定され、第２段階のＡＦエリアとして設定される。

すなわち、第１段階のＡＦ領域Ａ１を選択後、ユーザがダイヤルスイッチ１６を操作することで、画角内のより狭い領域（図示例では元の画像の８１分の１の領域）をＡＦエリアとして設定することができ、より細かく焦点を合わせる被写体を選択できる。なお第２段階のＡＦエリアＡ２設定後、ダイヤルスイッチ１６を縮小方向に操作して、図４の状態（全画面表示）に戻し（縮小し）、視線入力を用いたＡＦエリアの再選択を繰り返すことも可能である。また第２段階のＡＦエリアＡ２が設定された図５の状態で、ダイヤルスイッチ１６を拡大方向に操作して、ＡＦエリアＡ２を画面Ｍに拡大表示し、視線入力を用いて第３段階のＡＦエリアの設定を行える構成としてもよい。なお、例えばＡＦエリア設定処理中において所定のボタンが操作されると、選択されたＡＦエリアが固定される。

次に図６のフローチャートおよび図１、２を参照して、本実施形態の視線入力ＡＦ処理におけるＡＦエリア設定処理について説明する。なお本処理は、例えばレリーズボタン１５が半押しさたときにコントローラ１８において実行される。

ＡＦエリア設定処理では、まずステップＳ１００において、視線検出処理が実行される。すなわち、光源１３、１４から照明光として赤外線が照射され、モニタ１１のスルー画像を見ているユーザを視線検出用カメラ１２で撮影する。そして、ユーザが写った画像を用いて後述する方法でユーザの視線方向を検出し、モニタ１１の画面における注視エリアが特定されれば、同エリアをＡＦエリアとして確定する。

ステップＳ１０２では、ＡＦエリア（フォーカスエリア）が確定されたか否かが判定され、確定されていなければステップＳ１００の処理が繰り返される。ＡＦエリアが確定されていれば、ステップＳ１０４においてダイヤルスイッチ１６が操作されたか否か、また操作されている場合には拡大方向、縮小方向の何れに操作されたかが判定される。

ダイヤルスイッチ１６が画像を拡大する方向へ操作された場合には、ステップＳ１０６において、特定されたＡＦエリア（注視フォーカスエリア）が拡大され、ステップＳ１００以下の処理が繰り返される。一方ダイヤルスイッチ１６が画像を縮小する方向へ操作された場合には、ステップＳ１０８においてＡＦエリア（注視フォーカスエリア）が縮小されステップＳ１００以下の処理が繰り返される。また、ダイヤルスイッチ１６が操作されずに一定時間経過した場合や、拡大方向、縮小方向へ操作されたが更なる拡大、縮小はもうできず一定時間経過した場合、あるいは所定のボタンが操作された場合には、本処理は終了し、現在設定されている領域がＡＦエリアに固定され、モニタ１１の表示は、拡大されていない状態に戻される。

次に図１、２および図７、図８のフローチャート、図９〜図１２を参照して、図６の視線検出処理について説明する。なお図９〜図１２は、視線検出用カメラ１２で撮影され、画像メモリ２０に保持される画像（入力画像）Ｇの異なる６種類の状態を例示的に示す模式図である。

前述したように視線検出処理では、まず光源１３Ａ、１３Ｂを点灯して視線検出用カメラ１２による画像撮影が行われ、入力画像Ｇとして取得される。ステップＳ２０２では、入力画像Ｇに対して従来周知の顔器官検出処理が実行される。すなわち、目や鼻、口等の特徴点の検出が行われるとともに、顔領域Ｆ、目領域Ｅ１、Ｅ２の検出が行われる。

ステップＳ２０４では、入力画像Ｇから顔領域Ｆが検出されたか否かが判定される。顔領域Ｆは、図８、図９に示されるように略顔全体が含まれる領域であり、顔領域Ｆが検出されたと判定されるとステップＳ２０６において、検出された顔領域Ｆの大きさ（サイズ）が計算され、ステップＳ２０８において検出された目領域Ｅ１、Ｅ２のそれぞれの大きさ（サイズ）が計算される。

その後ステップＳ２１０において、顔領域Ｆの大きさが第１閾値Ｔｈ１以下であるか否かが判定される。視線検出用の画像撮影時、図３（ｂ）、（ｃ）のようにユーザの顔がモニタから離れていて、顔領域Ｆの大きさが図９のように小さく、その面積が第１閾値Ｔｈ１以下であると判定された場合、顔領域Ｆの大きさは視線検出には小さ過ぎると考えられる。したがって処理はステップＳ２００に戻り、新たに視線検出用の画像が撮影され入力画像とされる。そしてステップＳ２０２以下の処理が繰り返される。

一方、ステップＳ２１０において顔領域Ｆの面積が第１閾値Ｔｈ１よりも大きいと判定された場合には（例えば図３（ａ）〜図２（ｂ）の状態で視線検出用の画像が撮影され、図１０の画像が取得された場合）、ステップＳ２１２で、顔領域Ｆの大きさが第１閾値Ｔｈ１よりも大きい第２閾値Ｔｈ２以下であるか否かが判定される。顔領域Ｆの大きさが第２閾値以下であると判定されると（Ｔｈ１＜顔領域Ｆの大きさ≦Ｔｈ２）、瞳孔を用いた視線検出を行うには顔領域Ｆが小さ過ぎると考えられるので、ステップＳ２１４において、例えば図１０における目、鼻、口などの顔特徴点Ｐ１〜Ｐ１０の位置関係から視線方向が推定され、本視線検出処理は終了する。

一方、ステップＳ２０４において顔領域Ｆが検出されないと判定された場合や、ステップＳ２１２において顔領域Ｆの大きさが第２閾値Ｔｈ２よりも大きいと判定された場合には、ステップＳ２１６において、入力画像Ｇから両目（目領域Ｅ１、Ｅ２）が検出されたか否かが判定される。すなわち、図１１、図１２のように、撮影時ユーザの顔の位置がカメラに近接し、ユーザの顔の一部のみが撮影されて顔領域Ｆは検出されない場合や、入力画像Ｇの全体が略顔領域Ｆで占められる場合には、撮影された目の画像から視線検出を行える可能性が高いので、両目が入力画像Ｇに含まれ、瞳孔による視線検出が行えるか否かが判定される。

ステップＳ２１６において、入力画像Ｇに両目が含まれると判定される場合には、ステップＳ２１８へ進み瞳孔検出処理が行われる。一方、両目が含まれないと判定されると、ステップＳ２００に戻り、視線検出用カメラ１２により新たな画像の撮影が行われ、前述した処理が繰り返される。

ステップＳ２１８では、目領域Ｅ１、Ｅ２から瞳孔が検出され、ステップＳ２２０において瞳孔の大きさ（例えば面積）が第３閾値以上であるか否かが判定される。瞳孔の大きさが第３閾値以上であれば、ステップＳ２２２において、瞳孔による視線方向の推定が行われ、本視線検出処理は終了する。また瞳孔の大きさが第３閾値よりも小さければ、ステップＳ２２４において、ステップＳ２１４と同様に顔特徴点を用いた視線方向の推定が行われ本視線検出処理は終了する。

次に図１３のフローチャートおよび図１４を参照して図８のステップＳ２２２における瞳孔の画像を用いた視線方向の推定処理について説明する。

本実施形態では、視線の向きによる瞳孔の形状の変化を利用して視線方向を推定する。すなわち、瞳孔は視線の向きにより様々な方向へ傾いた楕円形状となり、眼球の中心の位置と瞳孔の形状およびその傾きから視線方向が推定される。

瞳孔の形状変化を利用した視線方向推定処理では、ステップＳ３００において、目領域（Ｅ１、Ｅ２）の画像が取得され、ステップＳ３０２において同画像が平滑化される。ステップＳ３０４では、画像がグレースケールに変換され、ステップＳ３０６で２値化される。ステップＳ３０８では、２値化された目の画像に輪郭抽出処理が施され、ステップＳ３１０で楕円フィッティングが行われる。ステップＳ３１２では、図１４に示される楕円パラメータ（ａ，ｂ，α）を用いた楕円フィッティングにより視線方向（φ，θ）が求められる。
ｔａｎφ＝±√（（ａ^２−ｂ^２）／ｂ^２）・ｓｉｎα （１）
ｔａｎθ＝±√（（ａ^２−ｂ^２）／ｂ^２）・ｃｏｓα （２）
ここで、ａは楕円の長軸、ｂは短軸であり、αは画像平面上（Ｘ’Ｙ’面）における楕円の傾斜角で視線の傾きに対応する。楕円形状は原点対称で同一パラメータとなるため、瞳孔中心座標により符号を選択する必要がある。

また、図１４においてＺ軸の＋方向をカメラが向けられた方向とすると、視線方向は図中のＰＯ方向となる。なお図１４においてβは視線の角度であり、瞳孔の偏平率ｂ／ａから求められる。

瞳孔を用いた視線方向の推定は、上記方法に限定されず、例えば、眼球中心Ｏに対する瞳孔中心Ｐの画像上の位置（ｘ，ｙ）からも求められる。例えば図１４に示されるように、視線方向（φ，θ）は以下の式で求められる。
ｔａｎφ＝ｙ／√（ｒ^２−ｘ^２−ｙ^２） （３）
ｔａｎθ＝ｘ／√（ｒ^２−ｘ^２−ｙ^２） （４）
なお、この他の方法でｘ、ｙ、ａ、ｂ、α等の情報から、視線方向ベクトル（例えば（φ，θ）、（φ，ψ）、（θ，ψ）の何れかの組み合わせ、あるいは（φ，θ，ψ）等）を推定する構成としてもよい。

視線検出用画像において目の位置が特定され、瞳孔あるいは顔の特徴量から視線方向が推定されると、ユーザがモニタ１１のどの分割領域（例えば縦横３×３）を注視しているかが特定される。

以上のように、本実施形態によれば、撮影される顔画像の大きさに応じて、目、鼻、口の特徴量の一部または全体の位置関係から顔の向きを特定し、瞳孔形状や瞳孔中心の位置からの視線の向きを特定することで、顔画像の大きさに最適な方法で視線検出を行うことができる。

次に図１５のフローチャートを参照して、視線検出処理の変形例について説明する。変形例では、顔の特徴量のうち、特に鼻の向きにを利用した構成を採用している。

変形例の視線検出処理では、ステップＳ４００〜ステップＳ４０６では、図７のステップＳ２００〜ステップＳ２０６と同様の処理が行われる。すなわち、ステップＳ４００で視線検出用の入力画像が取得され、ステップＳ４０２で入力画像Ｇに対して顔器官検出処理が実行され、目や鼻、口等の特徴点の検出が行われるとともに、顔領域Ｆ、目領域Ｅ等の検出が行われる。ステップＳ４０４では入力画像Ｇから顔領域Ｆが検出されたか否かが判定され、顔領域Ｆが検出されているときには、ステップＳ４０６において、検出された顔領域Ｆの大きさ（サイズ）が計算される。

ステップＳ４０８では、顔領域Ｆの大きさが第１閾値Ｔｈ１以下であるか否かが判定され、第１閾値Ｔｈ１以下の場合には、ステップＳ４１０において視線方向が検出できないことをモニタ１１に表示し、本視線検出処理は終了する。一方い、ステップＳ４０８において顔領域Ｆの大きさが第１閾値Ｔｈ１よりも大きいと判定された場合には、ステップＳ４１６において顔領域Ｆの大きさが第１閾値Ｔｈ１よりも大きい第２閾値Ｔｈ２以下であるか否かが判定され、第２閾値Ｔｈ２以下であればステップＳ４１８において顔全体の特徴量から顔の向きが検出され、ステップＳ４２０で顔の向きに基づいてユーザの視線方向が推定され本視線検出処理は終了する。またテップＳ４１６において顔領域Ｆの大きさが第２閾値Ｔｈ２よりも大きい場合には、ステップＳ４１４において、鼻の特徴量から鼻の向きが計算され、ステップＳ４２０において鼻の向きに基づきユーザの視線方向が推定され本視線検出処理は終了する。

一方、ステップＳ４０４において顔領域Ｆが検出されないと判定されると、ステップＳ４１２において鼻が検出されたか否かが判定される。鼻が検出されている場合には、ステップＳ４１４において鼻の向きが計算され、鼻が検出されていない場合にはステップＳ４２２において両目が検出されたか否かが判定される。両目が検出されていなければ、ステップＳ４００に戻り同様の処理が繰り返され、検出されていれば図８のステップＳ２１８〜ステップＳ２２４の処理が実行され、視線検出処理は終了する。なお変形例のステップＳ２２４では、特に鼻の向きに基づいて視線方向が推定される。ステップＳ４１２で鼻が検出され、ステップＳ４１４において鼻の向きが計算されると、ステップＳ４２０において鼻の向きに基づきユーザの視線方向が推定され本視線検出処理は終了する。

以上のように変形例においても、本実施形態と同様の効果を得ることができる。

なお、本実施形態では、視線検出用画像に赤外線画像を用いたが、通常のカラー画像を用いてもよい。また、視線検出用画像の撮影に用いられる照明用光源の数も１個または３個以上であってもよく、モニタを見る顔全体を照明できる構成であればよい。例えばレンズを中心に略等間隔の角度で配置されてもよい（３個であれば１２０度間隔、４個であれば９０度間隔）。照明用光源の数を複数とすることにより顔領域への照明のムラが軽減できるので、顔領域の検出、顔特徴点の検出、瞳孔の検出の各精度を向上することができる。

本実施形態ではデジタルカメラの視線入力ＡＦを例に説明を行ったが、画面を見るユーザの視線を検出して画面上の注視領域を特定する用途であれば、ＡＦ処理やカメラに限定されるものではない。また、本実施形態では、モニタがカメラの背面に設けられているため写真撮影用カメラと視線検出用カメラの向きが反対向きであるが、視線検出用カメラはモニタと略同じ方向を向いていればよく、例えばモニタがカメラ本体に対して上下左右等に回動可能な場合には、視線検出用カメラはモニタと一体的に移動する。また、本実施形態においてＡＦ処理に関しては特に言及しなかったが、コントラストＡＦや位相差ＡＦなど、何れを用いることもできる。

１０ デジタルカメラ
１１ モニタ
１２ 視線検出用カメラ
１３Ａ、１３Ｂ 光源
１４ スイッチ群
１５ レリーズボタン
１６ ダイヤルスイッチ（入力部）
１７ ファンクションキー（入力部）
１８ コントローラ
１９ 撮像部
２０ 画像メモリ
２１ ファインダ
Ａ１ 第１段階の特定領域
Ａ２ 第２段階の特定領域

Claims (13)

1. 画像を表示するモニタと、
   前記モニタが向けられる方向を撮影する視線検出用撮影手段と、
   前記視線検出用撮影手段で撮影された第１画像から顔領域を検出する顔領域検出手段と、
   前記顔領域の大きさを算出する顔領域サイズ算出手段と、
   前記第１画像から目、鼻、口を含む顔の特徴量を検出する顔特徴点検出手段と、
   前記顔の特徴量の何れかあるいは複数の特徴量の位置情報から視線の方向を推定する第１視線推定手段と、
   前記第１画像から瞳孔を検出して視線の方向を推定する第２視線推定手段と、
   前記顔領域の大きさに応じて、前記第１または第２視線推定手段を選択し、推定される前記視線が注視する前記モニタ上の領域を特定するモニタ領域特定手段と
   を備えることを特徴とする視線方向検出装置。
2. 前記モニタ領域特定手段は、前記顔領域の大きさが第２閾値よりも小さいとき前記第１視線推定手段を選択し、前記第２閾値よりも大きいとき前記第２視線推定手段を選択することを特徴とする請求項１に記載の視線方向検出装置。
3. 前記モニタ領域特定手段は、前記顔領域の大きさが前記第２閾値よりも小さい第１閾値よりも小さいときには前記視線の方向の推定を行わないことを特徴とする請求項２に記載の視線方向検出装置。
4. 前記モニタ領域特定手段は、前記顔領域が検出されない場合、前記第１画像から両目が検出されれば前記第２視線推定手段を選択し、前記モニタ上の領域を特定することを特徴とする請求項１または請求項２に記載の視線方向検出装置。
5. 前記視線検出用撮影手段の撮影レンズを中心とした周囲に複数の照明用光源が配置されることを特徴とする請求項１〜４の何れか一項に記載の視線方向検出装置。
6. 前記モニタ領域特定手段により特定される領域をユーザに了知させる特定領域了知手段を備えることを特徴とする請求項１〜５の何れか一項に記載の視線方向検出装置。
7. 前記特定領域了知手段は、特定される前記領域の周囲を特定色の枠で囲む、前記領域部分に特定のマークを表示する、前記領域の全体を特定の色成分で着色する、の何れかあるいはこれらの組み合わせを用いて前記領域が特定されていることを示すことを特徴とする請求項６に記載の視線方向検出装置。
8. 前記モニタに表示される画像の拡大を指示する入力手段を備え、画像の拡大が指示されると前記モニタ領域特定手段により特定される領域の画像が前記モニタに拡大表示されるとともに、前記視線検出用撮影手段を用いて第２画像が撮影され、前記第２画像に基づき前記モニタ領域特定手段により前記モニタ上の領域が更に特定されることを特徴とする請求項１〜７の何れか一項に記載の視線方向検出装置。
9. 前記入力手段は、前記モニタ領域特定手段により特定される領域を固定する操作部を備えることを特徴とする請求項８に記載の視線方向検出装置。
10. 前記領域の固定後は、拡大されていない通常の大きさの画像が前記モニタに表示されることを特徴とする請求項９に記載の視線方向検出装置。
11. 前記視線検出用撮影手段は、装置本体に対して前記モニタと一体的に変位することを特徴とする請求項１〜１１の何れかに記載の視線方向検出装置。
12. 請求項１〜１１の何れかに記載の視線方向検出手段と、前記視線検出用撮像手段とは異なる画像撮影手段とを備える撮像装置であって、
    前記画像撮影手段で撮影されるモニタ画像が前記モニタに表示され、前記モニタ領域特定手段により特定される領域がＡＦエリアに利用される
    ことを特徴とする撮像装置。
13. 撮影者の視線方向を撮影する視線検出用画像撮影ステップと、
    前記視線検出用画像撮影ステップで撮影される第１画像から顔領域を検出する顔領域検出ステップと、
    前記顔領域の大きさを算出する顔領域サイズ算出ステップと、
    前記第１画像から目、鼻、口を含む顔の特徴量を検出する顔特徴点検出ステップと、
    前記顔の特徴量の何れかあるいは複数の特徴量の位置情報から視線の方向を推定する第１視線推定ステップと、
    前記第１画像から瞳孔を検出して視線の方向を推定する第２視線推定ステップと、
    前記顔領域の大きさに応じて、前記第１または第２視線推定ステップを選択し、推定される前記視線が注視する前記モニタ上の領域を特定するモニタ領域特定ステップと
    を備えることを特徴とする視線方向検出方法。
    

Images