JP2023040771A - 視線検出装置 - Google Patents

Abstract

【課題】瞳孔の輪郭上の位置の検出状態に依らず視線を高精度に検出することのできる技術を提供する。
【解決手段】本発明の視線検出装置は、ユーザーの眼を撮像した眼画像から瞳孔の輪郭上の複数の位置を検出し、当該複数の位置に関連した輪郭情報を生成する瞳孔検出手段と、瞳孔検出手段により検出された複数の位置から推定される瞳孔の中心位置に基づいて、ユーザーの視線を検出する視線検出手段とを有し、視線検出手段は、記憶手段に格納されている複数のキャリブレーションデータのうち、瞳孔検出手段により生成された現在の輪郭情報に最も類似した輪郭情報が関連付けられたキャリブレーションデータを使用して、ユーザーの視線を検出する。
【選択図】図９

Description

本発明は、視線検出装置に関し、特に撮像装置やヘッドマウントディスプレイなどに関する。

特許文献１には、角膜反射像の位置と瞳孔の中心位置とに基づいて視線を検出する方法が開示されている。特許文献２には、瞳孔の輪郭上の複数の位置を検出し、当該複数の位置から、瞳孔の輪郭に近似した円周を判断し、当該円周の中心位置を瞳孔の中心位置として検出（推定）する方法が開示されている。

特開昭６１－１７２５５２号公報 特許第３１４３４９０号公報

特許文献２に開示の方法は、瞳孔形状が真円形状である場合に好適に用いることができる。しかしながら、瞳孔形状には個人差があり、瞳孔形状が真円形状ではない楕円形状であることがある。特許文献２に開示の方法では、瞳孔形状が楕円形状で、かつ瞳孔輪郭の一部が検出できなかった場合に、瞳孔中心の検出結果に大きな誤差が生じる。そして、そのような誤差を含んだ検出結果に基づいて視線を検出すると、視線の検出結果にも大きな誤差が生じる。つまり、瞳孔形状が楕円形状で、かつ瞳孔輪郭の一部が検出できなかった場合に、瞳孔中心の検出精度と視線の検出精度とが著しく低下してしまう。

図３１（Ａ），３１（Ｂ）は、実際の瞳孔中心と、検出された瞳孔中心との一例を示す図である。図３１（Ａ），３１（Ｂ）には、瞳孔輪郭、瞳孔輪郭に近似した円周、および瞳孔輪郭上の位置として検出された複数の位置も示されている。瞳孔輪郭に近似した円周は、検出された複数の位置から判断された円周である。

図３１（Ａ）は、瞳孔形状が楕円形状で、瞳孔輪郭の全体に亘って複数の位置が検出されている場合の例を示す。図３１（Ａ）では、瞳孔輪郭の全体に亘って複数の位置が検出されているため、瞳孔形状が楕円形状であっても、実際の瞳孔中心にほぼ一致した位置を、瞳孔中心として検出できている。

図３１（Ｂ）は、瞳孔形状が図３１（Ａ）と同じ楕円形状であるが、瞳孔輪郭の一部（上部）で位置が検出されていない場合の例を示す。例えば、瞼で瞳孔の上部が隠れていると、瞳孔輪郭の上部では位置が検出できない。図３１（Ｂ）では、瞳孔輪郭の一部（左部、右部、および下部）でしか位置が検出されていないため、瞳孔形状が図３１（Ａ）と同じ楕円形状であるが、実際の瞳孔中心にほぼ一致した位置を、瞳孔中心として検出できていない。実際の瞳孔中心から（下方向に）ずれた位置が、瞳孔中心として検出されてしまっている。

ユーザーごとに視線検出のキャリブレーションを行えば、瞳孔形状などの個人差に起因した視線検出精度の低下を抑制することができる。しかしながら、キャリブレーション時にも、視線検出に使用するキャリブレーションデータを得るために、上述した方法で瞳孔中心が検出される。そのため、キャリブレーション後であっても、瞳孔輪郭上の位置の検
出状態がキャリブレーション時と異なると、視線の検出結果に大きな誤差が生じてしまう。

本発明は、瞳孔の輪郭上の位置の検出状態に依らず視線を高精度に検出することのできる技術を提供することを目的とする。

本発明の第１の態様は、ユーザーの眼を撮像した眼画像から瞳孔の輪郭上の複数の位置を検出し、当該複数の位置に関連した輪郭情報を生成する瞳孔検出手段と、前記瞳孔検出手段により検出された前記複数の位置から推定される前記瞳孔の中心位置に基づいて、前記ユーザーの視線を検出する視線検出手段とを有し、複数の条件のそれぞれの下で、前記視線検出手段が視線を検出する際に使用するキャリブレーションデータを得るためのキャリブレーションが予め行われており、前記キャリブレーションによって得られた前記キャリブレーションデータは、当該キャリブレーションの際に前記瞳孔検出手段により生成された輪郭情報と関連付けられて、記憶手段に予め格納されており、前記視線検出手段は、前記記憶手段に格納されている複数のキャリブレーションデータのうち、前記瞳孔検出手段により生成された現在の輪郭情報に最も類似した輪郭情報が関連付けられたキャリブレーションデータを使用して、前記ユーザーの視線を検出することを特徴とする視線検出装置である。

本発明の第２の態様は、視線検出のキャリブレーションの複数の条件をユーザーに順次通知する通知手段と、前記キャリブレーションの条件が前記通知手段により通知される度に、通知された条件下で前記キャリブレーションを行うキャリブレーション手段とを有することを特徴とするキャリブレーション装置である。

本発明の第３の態様は、ユーザーの眼を撮像した眼画像から瞳孔の輪郭上の複数の位置を検出し、当該複数の位置に関連した輪郭情報を生成する瞳孔検出ステップと、前記瞳孔検出ステップで検出された前記複数の位置から推定される前記瞳孔の中心位置に基づいて、前記ユーザーの視線を検出する視線検出ステップとを有し、複数の条件のそれぞれの下で、前記視線検出ステップで視線を検出する際に使用するキャリブレーションデータを得るためのキャリブレーションが予め行われており、前記キャリブレーションによって得られた前記キャリブレーションデータは、当該キャリブレーションの際に前記瞳孔検出ステップで生成された輪郭情報と関連付けられて、記憶手段に予め格納されており、前記視線検出ステップでは、前記記憶手段に格納されている複数のキャリブレーションデータのうち、前記瞳孔検出ステップで生成された現在の輪郭情報に最も類似した輪郭情報が関連付けられたキャリブレーションデータを使用して、前記ユーザーの視線を検出することを特徴とする視線検出方法である。

本発明の第４の態様は、視線検出のキャリブレーションの複数の条件をユーザーに順次通知する通知ステップと、前記キャリブレーションの条件が前記通知ステップで通知される度に、通知された条件下で前記キャリブレーションを行うキャリブレーションステップとを有することを特徴とするキャリブレーション方法である。

本発明の第５の態様は、コンピュータを、上述した視線検出装置の各手段として機能させるためのプログラムである。本発明の第６の態様は、コンピュータを、上述したキャリブレーション装置の各手段として機能させるためのプログラムである。

本発明によれば、瞳孔の輪郭上の位置の検出状態に依らず視線を高精度に検出することができる。

実施例１に係るカメラの外観の一例を示す図である。 実施例１に係るカメラの内部構成の一例を示す図である。 実施例１に係るカメラ１の電気的構成の一例を示すブロック図である。 実施例１に係る視線検出方法の原理を説明するための図である。 実施例１に係る眼画像と、その輝度情報との一例を示す図である。 実施例１に係るキャリブレーション全体動作の一例を示す図である。 実施例１に係るキャリブレーションの一例を示す図である。 実施例１に係る輪郭情報の生成方法の一例を説明するための図である。 実施例１に係るカメラ動作の一例を示す図である。 実施例１に係る輪郭情報の生成の具体例を説明するための図である。 実施例１に係る輪郭情報の比較結果の具体例を示す図である。 実施例１に係る輪郭情報の比較結果の具体例を示す図である。 実施例１に係る輪郭領域の存在範囲の具体例を示す図である。 実施例１に係る輪郭情報の比較結果の具体例を示す図である。 実施例１に係る輪郭領域の存在範囲の具体例を示す図である。 実施例２に係るキャリブレーション全体動作の一例を示す図である。 実施例２に係るキャリブレーションの一例を示す図である。 実施例２に係る輪郭情報の生成方法の一例を説明するための図である。 実施例２に係る輪郭情報の生成の具体例を説明するための図である。 実施例２に係る輪郭情報の比較結果の具体例を示す図である。 実施例２に係る輪郭情報の比較結果の具体例を示す図である。 実施例２に係る輪郭情報の比較結果の具体例を示す図である。 実施例３に係るキャリブレーション全体動作の一例を示す図である。 実施例３に係るキャリブレーションの一例を示す図である。 実施例３に係る第２輪郭情報の生成の具体例を説明するための図である。 実施例３に係る第２輪郭情報の比較結果の具体例を示す図である。 実施例３に係る第１輪郭情報の生成の具体例を説明するための図である。 実施例３に係る第１輪郭情報の比較結果の具体例を示す図である。 実施例４に係るキャリブレーション全体動作の一例を示す図である。 本発明を適用可能な他の電子機器の一例を示す外観図である。 実際の瞳孔中心と、検出された瞳孔中心との一例を示す図である。

＜＜実施例１＞＞
以下、本発明の実施例１を説明する。

＜構成の説明＞
図１（Ａ），１（Ｂ）は、実施例１に係るカメラ１（デジタルスチルカメラ；レンズ交換式カメラ）の外観の一例を示す。図１（Ａ）は正面斜視図であり、図１（Ｂ）は背面斜視図である。図１（Ａ）に示すように、カメラ１は、撮影レンズユニット１Ａ及びカメラ筐体１Ｂを有する。カメラ筐体１Ｂには、ユーザー（撮影者）からの撮影操作を受け付ける操作部材であるレリーズボタン５が配置されている。図１（Ｂ）に示すように、カメラ筐体１Ｂの背面には、カメラ筐体１Ｂ内に含まれている後述の表示デバイス１０（表示パネル）を見るためにユーザーが覗く接眼レンズ１２（接眼光学系）が配置されている。なお、接眼光学系には複数枚のレンズが含まれていてもよい。カメラ筐体１Ｂの背面には、ユーザーからの各種操作を受け付ける操作部材４１～４３も配置されている。例えば、操作部材４１はタッチ操作を受け付けるタッチパネルであり、操作部材４２は各方向に押し倒し可能な操作レバーであり、操作部材４３は４方向のそれぞれに押し込み可能な４方向
キーである。操作部材４１（タッチパネル）は、液晶パネル等の表示パネルを備えており、表示パネルで画像を表示する機能を有する。

図２は、図１（Ａ）に示したＹ軸とＺ軸が成すＹＺ平面でカメラ１を切断した断面図であり、カメラ１の内部構成の一例を示す。

撮影レンズユニット１Ａ内には、２枚のレンズ１０１，１０２、絞り１１１、絞り駆動部１１２、レンズ駆動モーター１１３、レンズ駆動部材１１４、フォトカプラー１１５、パルス板１１６、マウント接点１１７、焦点調節回路１１８等が含まれている。レンズ駆動部材１１４は駆動ギヤ等からなり、フォトカプラー１１５は、レンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、焦点調節回路１１８に伝える。焦点調節回路１１８は、フォトカプラー１１５からの情報と、カメラ筐体１Ｂからの情報（レンズ駆動量の情報）とに基づいてレンズ駆動モーター１１３を駆動し、レンズ１０１を移動させて合焦位置を変更する。マウント接点１１７は、撮影レンズユニット１Ａとカメラ筐体１Ｂとのインターフェイスである。なお、簡単のために２枚のレンズ１０１，１０２を示したが、実際は２枚より多くのレンズが撮影レンズユニット１Ａ内に含まれている。

カメラ筐体１Ｂ内には、撮像素子２、ＣＰＵ３、メモリ部４、表示デバイス１０、表示デバイス駆動回路１１等が含まれている。撮像素子２は、撮影レンズユニット１Ａの予定結像面に配置されている。ＣＰＵ３は、マイクロコンピュータの中央処理部であり、カメラ１全体を制御する。メモリ部４は、撮像素子２により撮像された画像等を記憶する。表示デバイス１０は、液晶等で構成されており、撮像された画像（被写体像）等を表示デバイス１０の表示面に表示する。表示デバイス駆動回路１１は、表示デバイス１０を駆動する。ユーザーは、接眼レンズ１２を通して、表示デバイス１０の表示面を見ることができる。

カメラ筐体１Ｂ内には、光源１３ａ，１３ｂ、光分割器１５、受光レンズ１６、眼用撮像素子１７等も含まれている。光源１３ａ，１３ｂは、光の角膜反射による反射像（角膜反射像；プルキニエ像）と瞳孔の関係から視線方向を検出するために従来から一眼レフカメラ等で用いられている光源であり、ユーザーの眼球１４を照明するための光源である。具体的には、光源１３ａ，１３ｂは、ユーザーに対して不感の赤外光を発する赤外発光ダイオード等であり、接眼レンズ１２の周りに配置されている。照明された眼球１４の光学像（眼球像；光源１３ａ，１３ｂから発せられて眼球１４で反射した反射光による像）は、接眼レンズ１２を透過し、光分割器１５で反射される。そして、眼球像は、受光レンズ１６によって、ＣＭＯＳ等の光電素子列を２次元的に配した眼用撮像素子１７上に結像される。受光レンズ１６は、眼球１４の瞳孔と眼用撮像素子１７を共役な結像関係に位置付けている。後述する所定のアルゴリズムにより、眼用撮像素子１７上に結像された眼球像における瞳孔と角膜反射像の位置関係から、眼球１４の視線方向（表示デバイス１０の表示面における視点（視線位置））が検出される。

なお、眼球像は、接眼レンズ１２と光分割器１５を介さずに、受光レンズ１６によって眼用撮像素子１７上に結像されてもよい。その場合には、表示デバイス１０と干渉しない位置に眼用撮像素子１７と受光レンズ１６を配置し、そのような配置に起因した画像変化を低減するように、眼用撮像素子１７によって取得された眼球像に光学補正を施す。

図３は、カメラ１の電気的構成の一例を示すブロック図である。ＣＰＵ３には、視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示デバイス駆動回路１１、光源駆動回路２０５等が接続されている。また、ＣＰＵ３は、撮影レンズユニット１Ａ内に配置された焦点調節回路１１８と、撮影レンズユニット１Ａ内の絞り駆動部１１２に含まれた絞り制御回路２０６とに、マウント接点１１７を介して信号
を伝達する。ＣＰＵ３に付随したメモリ部４は、撮像素子２および眼用撮像素子１７からの撮像信号の記憶機能と、視線の個人差を補正するキャリブレーションデータ（視線補正データ）の記憶機能とを有する。

視線検出回路２０１は、眼用撮像素子１７上に眼球像が結像した状態での眼用撮像素子１７の出力（眼を撮像した眼画像）をＡ／Ｄ変換し、その結果をＣＰＵ３に送信する。ＣＰＵ３は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置に基づいてユーザーの視線（表示デバイス１０の表示面における視点）を検出する。

測光回路２０２は、測光センサの役割を兼ねた撮像素子２から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、Ａ／Ｄ変換等を行い、その結果を被写界輝度情報としてＣＰＵ３に送る。

自動焦点検出回路２０３は、撮像素子２の中に含まれる、位相差検出のために使用される複数の検出素子（複数の画素）からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は、複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を演算し、その演算結果に基づいて、撮影レンズユニット１Ａ内のレンズ１０１を駆動する。これは撮像面位相差ＡＦとして知られる公知の技術である。

信号入力回路２０４には、レリーズボタン５の第１ストロークでＯＮし、カメラ１の測光、測距、視線検出動作等を開始するためのスイッチＳＷ１と、レリーズボタン５の第２ストロークでＯＮし、撮影動作を開始するためのスイッチＳＷ２とが接続されている。スイッチＳＷ１，ＳＷ２からのＯＮ信号が信号入力回路２０４に入力され、ＣＰＵ３に送信される。

光源駆動回路２０５は、光源１３ａ，１３ｂを駆動する。

＜視線検出方法の原理の説明＞
図４，５（Ａ），５（Ｂ）を用いて、視線検出方法の原理を説明する。図４は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の一例を示す図である。図４に示すように、光源１３ａ，１３ｂは受光レンズ１６の光軸に対して略対称に配置され、ユーザーの眼球１４を照らす。光源１３ａ，１３ｂから発せられて眼球１４で反射した光の一部は、受光レンズ１６によって、眼用撮像素子１７に集光する。図５（Ａ）は、眼用撮像素子１７で撮像された眼画像（眼用撮像素子１７に投影された眼球像）の一例を示す図であり、図５（Ｂ）は図５（Ａ）の眼画像のラインα上の輝度情報（輝度分布）の一例を示す図である。実施例１では、眼画像から、光源１３ａ，１３ｂの角膜反射像Ｐａ，Ｐｂと、瞳孔中心ｃ（瞳孔１４１の中心位置）とを検出し、検出したそれらに基づいて眼球１４の回転角θを検出する。そして、回転角θとキャリブレーションデータに基づいて、表示デバイス１０の表示面におけるユーザーの視点（視線が注がれた位置；ユーザーが見ている位置）を検出する。

角膜反射像Ｐａ，Ｐｂの検出方法を説明する。図５（Ａ）では、眼画像の水平方向をＸ軸方向とし、垂直方向をＹ軸方向としており、図５（Ｂ）では、Ｘ軸方向の輝度分布が示されている。図５（Ｂ）に示すように、角膜反射像Ｐａ，Ｐｂの領域では、閾値ＴＨ１以上の極端に高い輝度が得られる。輝度が閾値ＴＨ１以上の範囲（水平方向の範囲）を眼画像の各ラインから検出することにより、輝度が閾値ＴＨ１以上の領域を、角膜反射像Ｐａ，Ｐｂの領域として、眼画像から検出することができる。そして、検出した領域の重心位置を、角膜反射像Ｐａの位置（座標（Ｘ，Ｙ）＝（Ｘａ，Ｙａ））や、角膜反射像Ｐｂの位置（座標（Ｘｂ，Ｙｂ））として検出することができる。

瞳孔中心ｃの検出方法を説明する。図５（Ｂ）に示すように、角膜反射像Ｐａ，Ｐｂの領域を除く、瞳孔１４１の領域では、閾値ＴＨ２以下の低い輝度が得られる。また、瞳孔１４１の外側の光彩１４３の領域では、閾値ＴＨ１と閾値ＴＨ２の間の比較的高い輝度が得られる。そのため、閾値ＴＨ２以下の輝度から、閾値ＴＨ１と閾値ＴＨ２の間の輝度までの変化があり、かつ輝度が閾値ＴＨ２と等しい位置（座標（Ｘｃ，Ｙｃ），（Ｘｄ，Ｙｄ）を、瞳孔輪郭（瞳孔１４１の輪郭）上の位置として検出することができる。この処理を眼画像の各ラインについて行うことで、瞳孔輪郭に沿った複数の位置を検出することができる。

そして、瞳孔輪郭上の複数の位置（座標（Ｘｉ，Ｙｉ））から、瞳孔輪郭に近似した円周（真円の円周）の中心位置（座標（Ｘ０，Ｙ０））を、瞳孔中心ｃとして検出（推定）することができる。また、瞳孔輪郭に近似した円周の半径ｒを瞳孔半径（瞳孔１４１の半径）として検出することができる。具体的には、以下の式１により、瞳孔中心ｃ（座標（Ｘ０，Ｙ０））と瞳孔半径ｒを算出することができる。

回転角θの検出方法を説明する。角膜反射像Ｐａと角膜反射像Ｐｂの中点と角膜１４２の曲率中心Ｏとはほぼ一致する。そのため、曲率中心Ｏから瞳孔中心ｃまでの標準的な距離をＯｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球１４の回転角θｘは、以下の式２－１により算出することができる。そして、Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球１４の回転角θｙは、以下の式２－２により算出することができる。式２－１，２－２において、βは、眼球像の結像倍率である。結像倍率βは、受光レンズ１６に対する眼球１４の位置により決まる倍率であり、角膜反射像Ｐａと角膜反射像Ｐｂの間隔の関数を用いて算出することができる。
β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘａ＋Ｘｂ）／２｝－Ｘ０ ・・・（式２－１）
β×Ｏｃ×ＳＩＮθｙ≒｛（Ｙａ＋Ｙｂ）／２｝－Ｙ０ ・・・（式２－２）

視点の検出方法を説明する。上述した回転角θｘ，θｙから、表示デバイス１０の表示面におけるユーザーの視点を検出（推定）することができる。視点の座標（Ｈｘ，Ｈｙ）が表示デバイス１０の表示面における瞳孔中心ｃに対応する座標であるとすると、視点の座標（Ｈｘ，Ｈｙ）は以下の式３－１，３－２により算出することができる。式３－１，３－２において、係数ｍは、カメラ１のファインダー光学系（受光レンズ１６等）の構成で定まる定数であり、回転角θｘ，θｙを表示デバイス１０の表示面における瞳孔中心ｃに対応する座標に変換する変換係数である。係数ｍは、例えば、予め決定されてメモリ部４に格納される。オフセット値θｘ＿ｃａｌ，θｙ＿ｃａｌは、視線の個人差を補正するキャリブレーションデータであり、後述するキャリブレーションの際に検出された回転角θｘ，θｙである。視線の個人差は、例えば、眼球の形状や、瞳孔の形状などの個人差に起因して生じる。キャリブレーションにより得られたオフセット値θｘ＿ｃａｌ，θｙ＿ｃａｌは、例えば、メモリ部４に格納される。
Ｈｘ＝ｍ×（θｘ－θｘ＿ｃａｌ） ・・・（式３－１）
Ｈｙ＝ｍ×（θｙ－θｙ＿ｃａｌ） ・・・（式３－２）

＜キャリブレーション全体動作の説明＞
図６は、キャリブレーション全体動作（キャリブレーションを含む一連の動作）の一例を示すフローチャートである。ファインダー（接眼レンズ１２）を覗いていない眼が閉じているか開いているかに依って、ファインダーを覗いているの眼の開き具合が変わる可能性が高い。眼の開き具合が変わることで、瞳孔輪郭上の位置の検出状態が変わり、瞳孔中心ｃや視線の検出結果（検出精度）も変わる。そこで、実施例１では、眼の開き具合が異なる複数の条件のそれぞれの下でキャリブレーションを予め行う。そして、キャリブレーション全体動作後には、複数の条件にそれぞれ対応する複数のキャリブレーションデータ
のうち、現在の状況に最も類似した状況（条件）下で得られたキャリブレーションデータを使用する。こうすることで、瞳孔輪郭上の位置の検出状態に依らず視線（視点）を高精度に検出することができる。

ステップＳ１２１では、ＣＰＵ３は、ファインダーを覗いていない眼を閉じる動作、つまり表示デバイス１０の表示面（後述するキャリブレーション用画面）を見ない眼を閉じる動作を促す所定の通知（アナウンス）を、ユーザーに対して行う。例えば、ＣＰＵ３は、表示デバイス１０の表示面に所定のアナウンス画面を表示する。通知方法は特に限定されず、例えば、ＣＰＵ３は、不図示のスピーカーから所定の音声を出力してもよい。

ステップＳ１２２では、ＣＰＵ３は、キャリブレーション（キャリブレーション用の回転角検出）を行う。ステップＳ１２２では、ファインダーを覗いていない眼が閉じた状態（ファインダーを覗いている眼のみが開いた状態）で、ファインダーを覗いている眼の瞳孔の輪郭情報と、キャリブレーションデータとが取得され、メモリ部４に格納される。キャリブレーション（キャリブレーション用の回転角検出）の詳細は後述する。瞳孔の輪郭情報は、瞳孔輪郭上の複数の位置（検出位置）に関連した情報である。

ステップＳ１２３では、ＣＰＵ３は、ファインダーを覗いていない眼を開く動作、つまり両眼を開く動作を促す所定の通知（アナウンス）を、ユーザーに対して行う。

ステップＳ１２４では、ＣＰＵ３は、キャリブレーション（キャリブレーション用の回転角検出）を行う。ステップＳ１２４では、ファインダーを覗いていない眼が開いた状態（両眼が開いた状態）で、ファインダーを覗いている眼の瞳孔の輪郭情報と、キャリブレーションデータとが取得され、メモリ部４に格納される。

このように、実施例１では、視線検出のキャリブレーションの複数の条件がユーザーに順次通知される。具体的には、キャリブレーション用画面を見ない眼を閉じる動作を促す通知と、キャリブレーション用画面を見ない眼を開く動作を促す通知とを含む複数の通知を順次行う。そして、キャリブレーションの条件が通知される度に、通知された条件下でキャリブレーションが行われる。

図７は、ステップＳ１２２，Ｓ１２４のキャリブレーション（キャリブレーション用の回転角検出）の一例を示すフローチャートである。

ステップＳ１０１では、ＣＰＵ３は、表示デバイス１０の表示面にキャリブレーション用画面を表示する。キャリブレーション用画面は、ユーザーが注視すべき指標として、ターゲット枠を含む。実施例１では、キャリブレーション用画面の中心（表示デバイス１０の表示面の中心）にターゲット枠が表示されるとする。なお、指標は枠に限られず、点などであってもよい。

ステップＳ１０２では、ＣＰＵ３は、光源１３ａ，１３ｂがユーザーの眼球１４に向けて赤外光を発するように制御する。赤外光によって照明されたユーザーの眼球像は、受光レンズ１６を通して眼用撮像素子１７上に結像され、眼用撮像素子１７により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。

ステップＳ１０３では、ＣＰＵ３は、眼用撮像素子１７により得られた眼画像（眼画像信号；眼画像の電気信号）を、視線検出回路２０１を介して受信する。

ステップＳ１０４では、ＣＰＵ３は、ステップＳ１０３で受信した眼画像から、光源１３ａ，１３ｂの角膜反射像Ｐａ，Ｐｂの位置と、瞳孔輪郭上の複数の位置とを検出する（
角膜反射検出および瞳孔検出）。検出方法は、上述したとおりである。

ステップＳ１０５では、ＣＰＵ３は、ステップＳ１０４で検出した瞳孔輪郭上の複数の位置から、瞳孔中心ｃと瞳孔半径ｒを推定する。推定方法は、上述したとおりである（式１を用いた方法）。

ステップＳ１０６では、ＣＰＵ３は、ステップＳ１０４で検出した瞳孔輪郭上の複数の位置、およびステップＳ１０５で推定した瞳孔中心ｃと瞳孔半径ｒから、瞳孔の輪郭情報を生成する。例えば、ＣＰＵ３は、瞳孔中心ｃを基準として複数の判定領域を設定し、複数の判定領域のそれぞれについて輪郭領域（瞳孔輪郭上の位置が検出された領域）であるか否かを示す輪郭情報を生成する。実施例１では、ＣＰＵ３は、瞳孔中心ｃを中心として円周方向に並んだ複数の判定領域（第１判定領域）を設定し、複数の判定領域のそれぞれについて輪郭領域であるか否かを示す輪郭情報（第１輪郭情報）を生成する。

図８は、瞳孔輪郭上の位置（検出位置）と、判定領域との一例を示す図である。例えば、ＣＰＵ３は、瞳孔中心ｃを中心として円周方向に並んだ８つの判定領域Ｒ１１～Ｒ１８を設定する。判定領域Ｒ１１～Ｒ１８を設定するための複数の線（図８の複数の破線；瞳孔中心ｃから伸びた複数の線）のそれぞれの方向（傾き）は、予め定められている。ここでは、眼画像全体を構成する複数の判定領域が設定されるとするが、そうでなくてもよい。例えば、瞳孔中心ｃを中心とし且つ瞳孔半径ｒを半径とした円を構成する複数の判定領域が設定されてもよい。瞳孔半径ｒの推定誤差を考慮して、複数の判定領域が構成する円の半径が瞳孔半径ｒよりも長くなるように、複数の判定領域が設定されてもよい。判定領域Ｒ１１～Ｒ１８が設定されると、ＣＰＵ３は、判定領域Ｒ１１～Ｒ１８のそれぞれについて瞳孔輪郭上の位置（検出位置）の数をカウントする。そして、ＣＰＵ３は、瞳孔輪郭上の位置（検出位置）の数が所定数以下の判定領域（例えば瞳孔輪郭上の位置（検出位置）の数が１または０の判定領域）を輪郭領域から除外して輪郭情報を生成する。図８の例では、判定領域Ｒ１１，Ｒ１８が輪郭領域から除外され、判定領域Ｒ１２～Ｒ１７のそれぞれを輪郭領域として示す輪郭情報が生成される。

ステップＳ１０７では、ＣＰＵ３は、眼球像の結像倍率βを算出する。算出方法は、上述したとおりである。

ステップＳ１０８では、ＣＰＵ３は、眼球１４の回転角θｘ，θｙを算出する。算出方法は、上述したとおりである（式２－１，２－２を用いた方法）。

ステップＳ１０９では、ＣＰＵ３は、ステップＳ１０８で算出した回転角θｘ，θｙをオフセット値θｘ＿ｃａｌ，θｙ＿ｃａｌ（キャリブレーションデータ）として、ステップＳ１０６で生成した輪郭情報に関連付けてメモリ部４に格納する。

＜カメラ動作の説明＞
図９は、キャリブレーション全体動作後のカメラ動作の一例を示すフローチャートである。例えば、キャリブレーション全体動作後では、カメラ１の電源がＯＮされると、図９のカメラ動作が行われる。カメラ１の電源は、カメラ１に対するユーザー操作に応じてＯＮ／ＯＦＦされる。

ステップＳ２０１では、ＣＰＵ３は、撮像素子２を駆動し、画像（被写体像；被写体を略リアルタイムに表すライブビュー画像）の取得を開始する。ＣＰＵ３は、取得した画像を、表示デバイス１０の表示面に表示する（被写体を略リアルタイムに表すライブビュー表示）。

ステップＳ２０２では、ＣＰＵ３は、カメラ１の電源をＯＦＦするか否かを判定し、ＯＦＦする場合は図９のカメラ動作を終了し、ＯＦＦしない場合はステップＳ２０３に処理を進める。

ステップＳ２０３では、ＣＰＵ３は、カメラ動作用の回転角検出を行う。カメラ動作用の回転角検出では、図７（キャリブレーション用の回転角検出）のステップＳ１０２～Ｓ１０８と同じ処理が行われる。

ステップＳ２０４では、ＣＰＵ３は、メモリ部４に格納されている複数のキャリブレーションデータのうち、ステップＳ２０３で生成した現在の輪郭情報に最も類似した輪郭情報が関連付けられたキャリブレーションデータを選択する。キャリブレーションデータの選択の詳細は後述する。

ステップＳ２０５では、ＣＰＵ３は、ステップＳ２０３で検出した回転角θｘ，θｙと、ステップＳ２０４で選択したキャリブレーションデータ（オフセット値θｘ＿ｃａｌ，θｙ＿ｃａｌ）とから、視点の座標（Ｈｘ，Ｈｙ）を算出する。算出方法は、上述したとおりである（式３－１，３－２を用いた方法）。

ステップＳ２０６では、ＣＰＵ３は、表示デバイス１０の表示面における、ステップＳ２０５で算出した視点の座標に、視点枠（視点を示す枠）を表示する。これにより、検出された現在の視点をユーザーに伝えることができる。視点枠は、ライブビュー画像に重ねて表示される。なお、視点を示すアイテムは枠に限られず、点などであってもよい。

ステップＳ２０７では、ＣＰＵ３は、ユーザーによってレリーズボタン５が押されて（半押しされて）スイッチＳＷ１がＯＮとなったか否かを判定する。ＣＰＵ３は、スイッチＳＷ１がＯＮとなった場合はステップＳ２０８に処理を進め、スイッチＳＷ１がＯＮとならなかった場合はステップＳ２０１に処理を戻して視点を再度検出する。

Ｓ２０８では、ＣＰＵ３は、視点枠の位置の被写体に焦点が合うように、ＡＦ（オートフォーカス）処理を行う。つまり、視点枠はＡＦ枠として使用される。例えば、ＡＦ処理として、撮像面位相差ＡＦが行われる。

ステップＳ２０９では、ＣＰＵ３は、ユーザーによってレリーズボタン５がさらに押し込まれて（全押しされて）スイッチＳＷ２がＯＮとなったか否かを判定する。ＣＰＵ３は、スイッチＳＷ２がＯＮとなった場合はステップＳ２１０に処理を進め、スイッチＳＷ２がＯＮとならなかった場合はステップＳ２０７に処理を戻す。

ステップＳ２１０では、ＣＰＵ３は、撮影動作を行う。例えば、ＣＰＵ３は、撮像素子２を駆動して画像（被写体像）を取得し、取得した画像をメモリ部４（または不図示の記録媒体）に格納する。その後、ＣＰＵ３は、ステップＳ２０１に処理を戻す。

ステップＳ２０４の処理（キャリブレーションデータの選択）の具体例を説明する。図１０（Ａ）～１０（Ｃ）は、瞳孔輪郭上の位置（検出位置）と、判定領域との一例を示す図である。図１０（Ａ）は、瞳孔輪郭上の位置として、カメラ動作（図９のステップＳ２０３）で検出された複数の位置を示す。図１０（Ａ）の例では、判定領域Ｒ１１，Ｒ１２，Ｒ１８が輪郭領域から除外され、判定領域Ｒ１３～Ｒ１７のそれぞれを輪郭領域として示す輪郭情報が生成される。図１０（Ｂ），１０（Ｃ）は、瞳孔輪郭上の位置として、キャリブレーションで検出された複数の位置を示す。図１０（Ｂ）は、瞳孔輪郭上の位置として、ファインダーを覗いていない眼が閉じた状態（ファインダーを覗いている眼のみが開いた状態）で検出された複数の位置、すなわち図６のステップＳ１２２で検出された複
数の位置を示す。図１０（Ｂ）の例では、判定領域Ｒ１１，Ｒ１８が輪郭領域から除外され、判定領域Ｒ１２～Ｒ１７のそれぞれを輪郭領域として示す輪郭情報が生成される。図１０（Ｃ）は、瞳孔輪郭上の位置として、ファインダーを覗いていない眼が開いた状態（両眼が開いた状態）で検出された複数の位置、すなわち図６のステップＳ１２４で検出された複数の位置を示す。図１０（Ｃ）の例では、判定領域Ｒ１８が輪郭領域から除外され、判定領域Ｒ１１～Ｒ１７のそれぞれを輪郭領域として示す輪郭情報が生成される。

図１１（Ａ）は、カメラ動作時（現在）の輪郭情報と、キャリブレーションデータ１の輪郭情報との比較結果の一例を示す。図１１（Ｂ）は、カメラ動作時の輪郭情報と、キャリブレーションデータ２の輪郭情報との比較結果の一例を示す。カメラ動作時の輪郭情報は図１０（Ａ）の状況で生成された輪郭情報である。キャリブレーションデータ１の輪郭情報は図１０（Ｂ）の状況で生成された輪郭情報であり、キャリブレーションデータ２の輪郭情報は図１０（Ｃ）の状況で生成された輪郭情報である。図１１（Ａ），１１（Ｂ）において、「あり」は、それに対応する判定領域が輪郭領域と判定されたことを意味する輪郭判定結果であり、「無」は、それに対応する判定領域が輪郭領域と判定されなかったことを意味する輪郭判定結果である。また、「〇」は、それに対応する判定領域の輪郭判定結果がカメラ動作時の輪郭情報とキャリブレーションデータの輪郭情報とで同じであることを意味する比較結果である。「×」は、それに対応する判定領域の輪郭判定結果がカメラ動作時の輪郭情報とキャリブレーションデータの輪郭情報とで異なることを意味する比較結果である。ＣＰＵ３は、比較結果が「〇」の判定領域の数が最も多いキャリブレーションデータを選択する。図１１（Ａ）では比較結果が「〇」の判定領域の数は７で、図１１（Ｂ）では比較結果が「〇」の判定領域の数は６である。そのため、ＣＰＵ３は、キャリブレーションデータ１を選択する。

ステップＳ２０４の処理（キャリブレーションデータの選択）の別の具体例を説明する。図１２（Ａ）は、カメラ動作時の輪郭情報と、キャリブレーションデータ１の輪郭情報との比較結果の一例を示す。図１２（Ｂ）は、カメラ動作時の輪郭情報と、キャリブレーションデータ２の輪郭情報との比較結果の一例を示す。輪郭判定結果がカメラ動作時の輪郭情報とキャリブレーションデータの輪郭情報とで同じである判定領域の数（比較結果が「〇」の判定領域の数）は、図１２（Ａ）でも図１２（Ｂ）でも７である。そのため、比較結果が「〇」の判定領域の数からでは、１つのキャリブレーションデータを選択することはできない。

この場合には、ＣＰＵ３は、カメラ動作時の輪郭情報とキャリブレーションデータの輪郭情報との比較として、輪郭領域の存在範囲の比較をさらに行う。そして、ＣＰＵ３は、輪郭領域の存在範囲がカメラ動作時のものに最も類似したキャリブレーションデータを選択する。

図１３（Ａ）～１３（Ｃ）は、瞳孔輪郭上の位置（検出位置）と、判定領域との一例を示す図である。図１３（Ａ）は、瞳孔輪郭上の位置として、カメラ動作（図９のステップＳ２０３）で検出された複数の位置を示す。図１３（Ａ）の状況では、図１２（Ａ），１２（Ｂ）に示すカメラ動作時の輪郭情報が生成される。図１３（Ｂ），１３（Ｃ）は、瞳孔輪郭上の位置として、キャリブレーションで検出された複数の位置を示す。図１３（Ｂ）の状況では、図１２（Ａ）に示すキャリブレーションデータ１の輪郭情報が生成され、図１３（Ｃ）の状況では、図１２（Ｂ）に示すキャリブレーションデータ２の輪郭情報が生成される。図１３（Ａ）～１３（Ｃ）には、輪郭領域の存在範囲として、水平方向の範囲（Ｈ範囲）と垂直方向の範囲（Ｖ範囲）とが示されている。

例えば、ＣＰＵ３は、瞳孔中心ｃを中心として左右対称の位置関係にある２つの判定領域（「Ｒ１２とＲ１３」、「Ｒ１１とＲ１４」、「Ｒ１８とＲ１５」、及び、「Ｒ１７と
Ｒ１６」のそれぞれ）の輪郭判定結果の論理和をとって、Ｖ範囲を判断する。論理和をとることで、２つの判定領域の少なくとも一方が輪郭領域と判定されている場合に、当該２つの判定領域を輪郭領域とみなされる。そして、２つの判定領域の両方が輪郭領域でない（非輪郭領域である）と判定されている場合に、当該２つの判定領域を非輪郭領域とみなされる。図１３（Ａ），１３（Ｃ）では、「Ｒ１２とＲ１３」、「Ｒ１１とＲ１４」、「Ｒ１８とＲ１５」、及び、「Ｒ１７とＲ１６」のそれぞれで、少なくとも一方の判定領域が輪郭領域と判定されている。そのため、ＣＰＵ３は、論理和をとることにより、全ての判定領域Ｒ１１～Ｒ１８を輪郭領域と判定する。そして、ＣＰＵ３は、全ての判定領域Ｒ１１～Ｒ１８からなる領域の上端から下端までの範囲をＶ範囲として決定する。一方、図１３（Ｂ）では、判定領域Ｒ１２と判定領域Ｒ１３の両方が非輪郭領域と判定されている。そのため、ＣＰＵ３は、論理和をとることにより、判定領域Ｒ１２，Ｒ１３を除く判定領域Ｒ１１，Ｒ１４～Ｒ１８を輪郭領域と判定する。そして、ＣＰＵ３は、判定領域Ｒ１１，Ｒ１４～Ｒ１８からなる領域の上端から下端までの範囲をＶ範囲として決定する。

同様に、ＣＰＵ３は、瞳孔中心ｃを中心として上下対称の位置関係にある２つの判定領域（「Ｒ１１とＲ１８」、「Ｒ１２とＲ１７」、「Ｒ１３とＲ１６」、及び、「Ｒ１４とＲ１５」のそれぞれ）の輪郭判定結果の論理和をとって、Ｈ範囲を判断する。図１３（Ａ）～１３（Ｃ）のいずれにおいても、判定領域Ｒ１１と判定領域Ｒ１８の両方が非輪郭領域と判定されているため、ＣＰＵ３は、論理和をとることにより、判定領域Ｒ１１，Ｒ１８を除く判定領域Ｒ１２～Ｒ１７を輪郭領域と判定する。そして、ＣＰＵ３は、判定領域Ｒ１２～Ｒ１７からなる領域の左端から右端までの範囲をＨ範囲として決定する。

上述したように、キャリブレーションデータ１については、Ｈ範囲（図１３（Ｂ））はカメラ動作時のもの（図１３（Ａ））と同じであるが、Ｖ範囲（図１３（Ｂ））はカメラ動作時のもの（図１３（Ａ））よりも狭い。一方で、キャリブレーションデータ２については、Ｈ範囲とＶ範囲の両方（図１３（Ｃ））がカメラ動作時のもの（図１３（Ａ））と同じである。この場合には、ＣＰＵ３は、キャリブレーションデータ１よりもキャリブレーションデータ２の方が輪郭領域の存在範囲がカメラ動作時のものに類似していると判断し、キャリブレーションデータ２を選択する。

ステップＳ２０４の処理（キャリブレーションデータの選択）の別の具体例を説明する。図１４（Ａ）は、カメラ動作時の輪郭情報と、キャリブレーションデータ１の輪郭情報との比較結果の一例を示す。図１４（Ｂ）は、カメラ動作時の輪郭情報と、キャリブレーションデータ２の輪郭情報との比較結果の一例を示す。輪郭判定結果がカメラ動作時の輪郭情報とキャリブレーションデータの輪郭情報とで同じである判定領域の数（比較結果が「〇」の判定領域の数）は、図１４（Ａ）でも図１４（Ｂ）でも７である。そのため、比較結果が「〇」の判定領域の数からでは、１つのキャリブレーションデータを選択することはできない。

図１５（Ａ）～１５（Ｃ）は、瞳孔輪郭上の位置（検出位置）と、判定領域との一例を示す図である。図１５（Ａ）は、瞳孔輪郭上の位置として、カメラ動作（図９のステップＳ２０３）で検出された複数の位置を示す。図１５（Ａ）の状況では、図１４（Ａ），１４（Ｂ）に示すカメラ動作時の輪郭情報が生成される。図１５（Ｂ），１５（Ｃ）は、瞳孔輪郭上の位置として、キャリブレーションで検出された複数の位置を示す。図１５（Ｂ）の状況では、図１４（Ａ）に示すキャリブレーションデータ１の輪郭情報が生成され、図１５（Ｃ）の状況では、図１４（Ａ）に示すキャリブレーションデータ１の輪郭情報が生成される。図１５（Ａ）～１５（Ｃ）には、輪郭領域の存在範囲として、水平方向の範囲（Ｈ範囲）と垂直方向の範囲（Ｖ範囲）とが示されている。

図１５（Ａ），１５（Ｂ）に示すように、キャリブレーションデータ１のＶ範囲はカメ
ラ動作時のＶ範囲と同じであるが、キャリブレーションデータ１のＨ範囲はカメラ動作時のＨ範囲よりも広い。そして、図１５（Ａ），１５（Ｃ）に示すように、キャリブレーションデータ２のＨ範囲はカメラ動作時のＨ範囲と同じであるが、キャリブレーションデータ２のＶ範囲はカメラ動作時のＶ範囲よりも狭い。そのため、輪郭領域の存在範囲からも、１つのキャリブレーションデータを選択することはできない。

この場合に備え、優先的に選択するキャリブレーションデータ（優先キャリブレーションデータ）として、複数のキャリブレーションデータのいずれかが予め設定される。そして、ＣＰＵ３は、比較結果が「〇」の判定領域の数や輪郭領域の存在範囲などから１つのキャリブレーションデータを選択することができない場合に、優先キャリブレーションデータを選択する。優先キャリブレーションデータの設定は、固定であってもよいし、ユーザーが変更可能であってもよい。例えば、ユーザーは、カメラ１に対して、ファインダーを覗く際にファインダーを覗かない眼を通常は閉じるか否かを、予め登録する。そして、ファインダーを覗かない眼を通常は閉じる場合には、ＣＰＵ３は、ファインダーを覗かない眼を閉じた状態で得られたキャリブレーションデータを選択する。ファインダーを覗かない眼を通常は開く場合には、ＣＰＵ３は、ファインダーを覗かない眼を開いた状態で得られたキャリブレーションデータを選択する。

＜まとめ＞
以上説明したように、実施例１によれば、キャリブレーション用画面を見ない眼が閉じているという条件下でのキャリブレーションと、キャリブレーション用画面を見ない眼が開いているという条件下でのキャリブレーションとが順次行われる。キャリブレーションによって得られたキャリブレーションデータは、当該キャリブレーションの際に生成された輪郭情報と関連付けられて、記憶部に予め格納される。そして、キャリブレーション後のカメラ動作時には、記憶部に格納されている複数のキャリブレーションデータのうち、カメラ動作時の輪郭情報に最も類似した輪郭情報が関連付けられたキャリブレーションデータを使用して、ユーザーの視線が検出される。こうすることで、瞳孔輪郭上の位置の検出状態に依らず視線（視点）を高精度に検出することができる。例えば、ファインダーの覗き方に依って眼画像における瞳孔輪郭の欠損範囲が変わっても、視線（視点）を高精度に検出することができる。

なお、キャリブレーションデータは、回転角θｘ，θｙから減算するオフセット値θｘ＿ｃａｌ，θｙ＿ｃａｌに限られず、回転角θｘ，θｙに加算するオフセット値を含んでもよいし、回転角θｘ，θｙに乗算するゲイン値を含んでもよい。キャリブレーションデータは、その他のパラメータを含んでもよく、回転角θｘ，θｙ以外の値を補正するパラメータを含んでもよい。

また、キャリブレーション用画面において、ユーザーが注視すべき指標の表示位置は、キャリブレーション用画面の中心（表示デバイス１０の表示面の中心）に限られない。例えば、キャリブレーション用画面の複数の位置にそれぞれ対応する複数の指標が同時または順番に表示されてもよい。そして、複数の指標にそれぞれ対応する複数のキャリブレーションデータを取得してもよい。キャリブレーション後には、例えば、複数のキャリブレーションデータを用いた補間処理により、検出された回転角θｘ，θｙに対応するキャリブレーションデータが得られ、得られたキャリブレーションデータを用いて回転角θｘ，θｙが補正される。こうすることで、回転角θｘ，θｙの補正精度を向上することができる。

＜＜実施例２＞＞
以下、本発明の実施例２を説明する。なお、以下では、実施例１と同じ点（構成や処理など）についての説明は省略し、実施例１と異なる点について説明する。実施例１では、
ファインダーの覗き方に依って眼画像における瞳孔輪郭の欠損範囲が変わることを想定して、キャリブレーションを行った。具体的には、ファインダーの覗き方が異なる複数の条件（眼画像における瞳孔輪郭の欠損範囲が異なる複数の条件）のそれぞれの下でキャリブレーションを行った。実施例２では、撮影環境に依ってファインダー内の明るさが変化して瞳孔の大きさが変化することを想定して、キャリブレーションを行う。具体的には、キャリブレーション用画面に表示される指標またはキャリブレーション画面全体の輝度が異なる複数の条件（ファインダー内の明るさが異なる複数の条件；瞳孔の大きさが異なる複数の条件）のそれぞれの下でキャリブレーションを行う。

＜キャリブレーション全体動作の説明＞
図１６は、キャリブレーション全体動作（キャリブレーションを含む一連の動作）の一例を示すフローチャートである。

ステップＳ３２１では、ＣＰＵ３は、キャリブレーション用画面の指標（ユーザーが注視すべき指標）の輝度を高輝度に設定する。なお、ＣＰＵ３は、キャリブレーション用画面全体の輝度を高輝度に設定してもよい。ＣＰＵ３は、輝度を高輝度に設定することを、ユーザーに通知してもよい。ユーザーへの通知により、高輝度な表示が正常な表示である（表示設定が不適切なわけではない）とユーザーが認識でき、表示設定の変更が誤って行われることを抑制することができる。

ステップＳ３２２では、ＣＰＵ３は、キャリブレーション（キャリブレーション用の回転角検出）を行う。ステップＳ３２２では、キャリブレーション用画面の指標が高輝度で表示された状態で、ファインダーを覗いている眼の瞳孔の輪郭情報と、キャリブレーションデータとが取得され、メモリ部４に格納される。キャリブレーション（キャリブレーション用の回転角検出）の詳細は後述する。

ステップＳ３２３では、ＣＰＵ３は、キャリブレーション用画面の指標の輝度を低輝度に設定する。なお、ＣＰＵ３は、キャリブレーション用画面全体の輝度を低輝度に設定してもよい。ＣＰＵ３は、輝度を低輝度に設定することを、ユーザーに通知してもよい。ユーザーへの通知により、低輝度な表示が正常な表示である（表示設定が不適切なわけではない）とユーザーが認識でき、表示設定の変更が誤って行われることを抑制することができる。

ステップＳ３２４では、ＣＰＵ３は、キャリブレーション（キャリブレーション用の回転角検出）を行う。ステップＳ３２４では、キャリブレーション用画面の指標が低輝度で表示された状態で、ファインダーを覗いている眼の瞳孔の輪郭情報と、キャリブレーションデータとが取得され、メモリ部４に格納される。

図１７は、ステップＳ３２２，Ｓ３２４のキャリブレーション（キャリブレーション用の回転角検出）の一例を示すフローチャートである。

ステップＳ３０１～Ｓ３０５は、図７（実施例１）のステップＳ１０１～Ｓ１０５と同じである。但し、ステップＳ３０１では、設定された輝度でキャリブレーション用画面の指標が表示される。ステップＳ３２２のキャリブレーションを行う場合には、ステップＳ３２１で設定された高輝度で指標が表示され、ステップＳ３２４のキャリブレーションを行う場合には、ステップＳ３２３で設定された低輝度で指標が表示される。

ステップＳ３０６では、ＣＰＵ３は、ステップＳ３０４で検出した瞳孔輪郭上の複数の位置、およびステップＳ３０５で推定した瞳孔中心ｃと瞳孔半径ｒから、瞳孔の輪郭情報を生成する。実施例２では、ＣＰＵ３は、瞳孔中心ｃを中心として径方向に並んだ複数の
判定領域（第２判定領域）を設定し、複数の判定領域のそれぞれについて輪郭領域であるか否かを示す輪郭情報（第２輪郭情報）を生成する。

図１８は、瞳孔輪郭上の位置（検出位置）と、判定領域との一例を示す図である。例えば、ＣＰＵ３は、瞳孔中心ｃを中心として径方向に並んだ３つの判定領域Ｒ２１～Ｒ２３を設定する。判定領域Ｒ２１は、瞳孔中心ｃを中心とした半径ｒ１の円の領域であり、判定領域Ｒ２２は、瞳孔中心ｃを中心とした半径ｒ２（＞半径ｒ１）の円の領域から判定領域Ｒ２１を除いた領域であり、判定領域Ｒ２３は、判定領域Ｒ２２の外側の領域である。ここでは、半径ｒ１，ｒ２が予め定められているとするが、そうでなくてもよい。例えば、ＣＰＵ３は、瞳孔半径ｒに基づいて半径ｒ１，ｒ２を決定して、判定領域Ｒ２１～Ｒ２３を設定してもよい。判定領域Ｒ２１～Ｒ２３が設定されると、ＣＰＵ３は、判定領域Ｒ２１～Ｒ２３のうち、瞳孔輪郭上の位置（検出位置）の数が最も多い判定領域を輪郭領域として、輪郭情報を生成する。図１８の例では、判定領域Ｒ２２を輪郭領域として示す輪郭情報が生成される。

ステップＳ３０７～Ｓ３０９は、図７（実施例１）のステップＳ１０７～Ｓ１０９と同じである。

＜カメラ動作の説明＞
キャリブレーション全体動作後のカメラ動作のフローチャートは、図９（実施例１）と同じである。但し、ステップＳ２０３では、図１７（キャリブレーション用の回転角検出）のステップＳ３０２～Ｓ３０８と同じ処理が行われる。また、詳細は後述するが、ステップＳ２０４の処理方法（キャリブレーションデータの選択方法）が実施例１と異なる。

ステップＳ２０４の処理（キャリブレーションデータの選択）の具体例を説明する。図１９（Ａ）～１９（Ｃ）は、瞳孔輪郭上の位置（検出位置）と、判定領域との一例を示す図である。図１９（Ａ）は、瞳孔輪郭上の位置として、カメラ動作（図９のステップＳ２０３）で検出された複数の位置を示す。図１９（Ａ）の例では、判定領域Ｒ２２を輪郭領域として示す輪郭情報が生成される。図１９（Ｂ），１９（Ｃ）は、瞳孔輪郭上の位置として、キャリブレーションで検出された複数の位置を示す。図１９（Ｂ）は、瞳孔輪郭上の位置として、キャリブレーション用画面の指標が高輝度で表示された状態で検出された複数の位置、すなわち図１６のステップＳ３２２で検出された複数の位置を示す。図１９（Ｂ）の例では、判定領域Ｒ２１を輪郭領域として示す輪郭情報が生成される。図１９（Ｃ）は、瞳孔輪郭上の位置として、キャリブレーション用画面の指標が低輝度で表示された状態で検出された複数の位置、すなわち図１６のステップＳ３２４で検出された複数の位置を示す。図１９（Ｃ）の例では、判定領域Ｒ２２を輪郭領域として示す輪郭情報が生成される。

図２０（Ａ）は、カメラ動作時（現在）の輪郭情報と、キャリブレーションデータ１の輪郭情報との比較結果の一例を示す。図２０（Ｂ）は、カメラ動作時の輪郭情報と、キャリブレーションデータ２の輪郭情報との比較結果の一例を示す。カメラ動作時の輪郭情報は図１９（Ａ）の状況で生成された輪郭情報である。キャリブレーションデータ１の輪郭情報は図１９（Ｂ）の状況で生成された輪郭情報であり、キャリブレーションデータ２の輪郭情報は図１９（Ｃ）の状況で生成された輪郭情報である。図２０（Ａ），２０（Ｂ）において、「あり」は、それに対応する判定領域が輪郭領域と判定されたことを意味する輪郭判定結果であり、「無」は、それに対応する判定領域が輪郭領域と判定されなかったことを意味する輪郭判定結果である。また、「〇」は、カメラ動作時の輪郭情報とキャリブレーションデータの輪郭情報とで判定領域Ｒ２１～Ｒ２３の輪郭判定結果が同じであることを意味する比較結果である。「×」は、カメラ動作時の輪郭情報とキャリブレーションデータの輪郭情報とで判定領域Ｒ２１～Ｒ２３の輪郭判定結果が異なることを意味する
比較結果である。ＣＰＵ３は、比較結果が「〇」のキャリブレーションデータを選択する。図２０（Ａ）では比較結果は「×」であり、図２０（Ｂ）では比較結果は「〇」であるため、ＣＰＵ３は、キャリブレーションデータ２を選択する。

図２０（Ａ），２０（Ｂ）には、別の比較結果として、キャリブレーション時の輪郭領域と、カメラ動作時の輪郭領域との間の距離（輪郭間距離）も示されている。ここでは、同じ判定領域間の距離は「０」、判定領域Ｒ２１と判定領域Ｒ２２の間の距離は「１」、判定領域Ｒ２２と判定領域Ｒ２３の間の距離は「１」、判定領域Ｒ２１と判定領域Ｒ２３の間の距離は「２」とする。図２０（Ａ）では、キャリブレーション時の輪郭領域は判定領域Ｒ２１であり、カメラ動作時の輪郭領域は判定領域Ｒ２２であるため、輪郭間距離は「１」となっている。図２０（Ｂ）では、キャリブレーション時もカメラ動作時も輪郭領域は判定領域Ｒ２２であるため、輪郭間距離は「０」となっている。

ステップＳ２０４の処理（キャリブレーションデータの選択）の別の具体例を説明する。図２１（Ａ）は、カメラ動作時の輪郭情報と、キャリブレーションデータ１の輪郭情報との比較結果の一例を示す。図２１（Ｂ）は、カメラ動作時の輪郭情報と、キャリブレーションデータ２の輪郭情報との比較結果の一例を示す。図２１（Ａ）では、カメラ動作時の輪郭情報とキャリブレーションデータの輪郭情報とで判定領域Ｒ２１～Ｒ２３の輪郭判定結果が異なる（比較結果が「×」である）。図２１（Ｂ）でも、カメラ動作時の輪郭情報とキャリブレーションデータの輪郭情報とで判定領域Ｒ２１～Ｒ２３の輪郭判定結果が異なる（比較結果が「×」である）。つまり、カメラ動作時の輪郭情報とキャリブレーションデータの輪郭情報とで判定領域Ｒ２１～Ｒ２３の輪郭判定結果が同じであるキャリブレーションデータ（比較結果が「〇」であるキャリブレーションデータ）が存在しない。そのため、「〇」と「×」の比較結果からでは、１つのキャリブレーションデータを選択することはできない。

この場合には、ＣＰＵ３は、輪郭間距離が最も短いキャリブレーションデータを選択する。図２１（Ａ）では、キャリブレーション時の輪郭領域は判定領域Ｒ２１であり、カメラ動作時の輪郭領域は判定領域Ｒ２３であるため、輪郭間距離は「２」となっている。図２１（Ｂ）では、キャリブレーション時の輪郭領域は判定領域Ｒ２２であり、カメラ動作時の輪郭領域は判定領域Ｒ２３であるため、輪郭間距離は「１」となっている。そのため、ＣＰＵ３は、キャリブレーションデータを選択する。

ステップＳ２０４の処理（キャリブレーションデータの選択）の別の具体例を説明する。図２２（Ａ）は、カメラ動作時の輪郭情報と、キャリブレーションデータ１の輪郭情報との比較結果の一例を示す。図２２（Ｂ）は、カメラ動作時の輪郭情報と、キャリブレーションデータ２の輪郭情報との比較結果の一例を示す。図２２（Ａ），２２（Ｂ）の場合も、図２１（Ａ），２１（Ｂ）の場合と同様に、比較結果が「〇」であるキャリブレーションデータが存在しない。そのため、「〇」と「×」の比較結果からでは、１つのキャリブレーションデータを選択することはできない。そして、図２２（Ａ）でも図２２（Ｂ）でも輪郭間距離は「１」となっているため、輪郭間距離からも、１つのキャリブレーションデータを選択することはできない。

この場合には、ＣＰＵ３は、カメラ動作時における表示デバイス１０の表示輝度を、キャリブレーション時の表示輝度と比較する。例えば、カメラ動作時における表示デバイス１０の表示輝度は、表示デバイス１０に表示する画面のデータ（複数の画素値）から判断される。キャリブレーション時の表示輝度は、キャリブレーション用画面の輝度設定（ステップＳ３２１の高輝度の設定や、ステップＳ３２３の低輝度の設定など）に応じて判断される。そして、ＣＰＵ３は、表示デバイス１０の表示輝度がカメラ動作時のものに最も近いキャリブレーションデータを選択する。

なお、比較結果が「〇」である複数のキャリブレーションデータが存在することもある。その場合も、「〇」と「×」の比較結果や輪郭間距離などからでは、１つのキャリブレーションデータを選択することはできないため、ＣＰＵ３は、表示デバイス１０の表示輝度がカメラ動作時のものに最も近いキャリブレーションデータを選択する。表示デバイス１０の表示輝度がカメラ動作時のものに最も近い２つのキャリブレーションデータが存在する場合には、例えば、ＣＰＵ３は、当該２つのキャリブレーションデータの一方を選択する。２つのキャリブレーションデータの一方がランダムに選択されてもよい。２つのキャリブレーションデータのうち、表示デバイス１０の表示輝度が高い方が選択されてもよい。２つのキャリブレーションデータのうち、表示デバイス１０の表示輝度が低い方が選択されてもよい。

＜まとめ＞
以上説明したように、実施例２によれば、実施例１と異なり、キャリブレーション用画面の輝度が異なる複数の条件のそれぞれの下でキャリブレーションが行われる。実施例１と同様に、キャリブレーションによって得られたキャリブレーションデータは、当該キャリブレーションの際に生成された輪郭情報と関連付けられて、記憶部に予め格納される。実施例１と同様に、キャリブレーション後のカメラ動作時には、記憶部に格納されている複数のキャリブレーションデータのうち、カメラ動作時の輪郭情報に最も類似した輪郭情報が関連付けられたキャリブレーションデータを使用して、視線が検出される。こうすることで、瞳孔輪郭上の位置の検出状態に依らず視線（視点）を高精度に検出することができる。例えば、撮影環境に依ってファインダー内の明るさが変化して瞳孔の大きさが変化しても、視線（視点）を高精度に検出することができる。

＜＜実施例３＞＞
以下、本発明の実施例３を説明する。以下では、実施例１，２と同じ点（構成や処理など）についての説明は省略し、実施例１，２と異なる点について説明する。実施例２では、ファインダー内の明るさが異なる複数の条件（瞳孔の大きさが異なる複数の条件）のそれぞれの下でキャリブレーションを行ったが、瞳孔が大きい場合には、瞼によって瞳孔の一部が隠れ、眼画像において瞳孔輪郭が欠損する可能性が高い。実施例３では、瞳孔の大きさに依って眼画像における瞳孔輪郭の欠損範囲が変わることを想定する。具体的には、実施例３では、輪郭情報の生成および比較の処理として、実施例１で説明した処理（円周方向に並んだ複数の第１判定領域を用いた処理）と、実施例２で説明した処理（径方向に並んだ複数の第２判定領域を用いた処理）との両方を行う。

＜キャリブレーション全体動作の説明＞
図２３は、キャリブレーション全体動作（キャリブレーションを含む一連の動作）の一例を示すフローチャートである。

ステップＳ５２１～Ｓ５２４は、図１６（実施例２）のＳ３２１～Ｓ３２４と同じである。但し、詳細は後述するが、ステップＳ５２２，Ｓ５２４では、ステップＳ３２２，Ｓ３２４と異なり、実施例２で説明した第２輪郭情報だけでなく、実施例１で説明した第１輪郭情報もメモリ部４に格納される。第２輪郭情報は、径方向に並んだ複数の第２判定領域のそれぞれについて輪郭領域であるか否かを示す輪郭情報であり、第１輪郭情報は、円周方向に並んだ複数の第１判定領域のそれぞれについて輪郭領域であるか否かを示す輪郭情報である。

ステップＳ５２５では、ＣＰＵ３は、キャリブレーション用画面の指標（ユーザーが注視すべき指標）の輝度を中輝度に設定する。なお、ＣＰＵ３は、キャリブレーション用画面全体の輝度を中輝度に設定してもよい。ＣＰＵ３は、輝度を中輝度に設定することを、
ユーザーに通知してもよい。ユーザーへの通知により、中輝度の表示が正常な表示である（表示設定が不適切なわけではない）とユーザーが認識でき、表示設定の変更が誤って行われることを抑制することができる。

ステップＳ５２６では、ステップＳ５２２，Ｓ５２４と同様に、ＣＰＵ３は、キャリブレーション（キャリブレーション用の回転角検出）を行う。ステップＳ５２６では、キャリブレーション用画面の指標が中輝度で表示された状態で、ファインダーを覗いている眼の瞳孔の輪郭情報（第１輪郭情報および第２輪郭情報）と、キャリブレーションデータとが取得され、メモリ部４に格納される。

図２４は、ステップＳ５２２，Ｓ５２４，Ｓ５２６のキャリブレーション（キャリブレーション用の回転角検出）の一例を示すフローチャートである。

ステップＳ５０１～Ｓ５０５は、図７（実施例１）のステップＳ１０１～Ｓ１０５と同じである。但し、ステップＳ５０１では、設定された輝度でキャリブレーション用画面の指標が表示される。ステップＳ５２２のキャリブレーションを行う場合には、ステップＳ５２１で設定された高輝度で指標が表示され、ステップＳ５２４のキャリブレーションを行う場合には、ステップＳ５２３で設定された低輝度で指標が表示される。そして、ステップＳ５２６のキャリブレーションを行う場合には、ステップＳ５２５で設定された中輝度で指標が表示される。

ステップＳ５０６では、図１７（実施例２）のステップＳ３０６と同様に、ＣＰＵ３は、瞳孔中心ｃを中心として径方向に並んだ複数の第２判定領域を設定し、複数の第２判定領域のそれぞれについて輪郭領域であるか否かを示す第２輪郭情報を生成する。

ステップＳ５０７では、図７（実施例１）のステップＳ１０６と同様に、ＣＰＵ３は、瞳孔中心ｃを中心として円周方向に並んだ複数の第１判定領域を設定し、複数の第１判定領域のそれぞれについて輪郭領域であるか否かを示す第１輪郭情報を生成する。

ステップＳ５０８～Ｓ５１０は、図７（実施例１）のステップＳ１０７～Ｓ１０９と同じである。但し、ステップＳ５１０では、ＣＰＵ３は、オフセット値θｘ＿ｃａｌ，θｙ＿ｃａｌ（キャリブレーションデータ）を、ステップＳ５０６で生成した第２輪郭情報と、ステップＳ５０７で生成した第１輪郭情報とに関連付けてメモリ部４に格納する。

＜カメラ動作の説明＞
キャリブレーション全体動作後のカメラ動作のフローチャートは、図９（実施例１）と同じである。但し、ステップＳ２０３では、図２４（キャリブレーション用の回転角検出）のステップＳ５０２～Ｓ５０９と同じ処理が行われる。また、詳細は後述するが、ステップＳ２０４の処理方法（キャリブレーションデータの選択方法）が実施例１，２と異なる。

ステップＳ２０４の処理（キャリブレーションデータの選択）の具体例を説明する。

初めに、ＣＰＵ３は、径方向に並んだ複数の第２判定領域のそれぞれについて輪郭領域であるか否かを示す第２輪郭情報の比較を行う。

図２５（Ａ）～２５（Ｄ）は、瞳孔輪郭上の位置（検出位置）と、第２判定領域との一例を示す図である。図２５（Ａ）は、瞳孔輪郭上の位置として、カメラ動作（図９のステップＳ２０３）で検出された複数の位置を示す。図２５（Ａ）の例では、第２判定領域Ｒ２２を輪郭領域として示す第２輪郭情報が生成される。図２５（Ｂ）～２５（Ｄ）は、瞳
孔輪郭上の位置として、キャリブレーションで検出された複数の位置を示す。図２５（Ｂ）は、瞳孔輪郭上の位置として、キャリブレーション用画面の指標が高輝度で表示された状態で検出された複数の位置、すなわち図２３のステップＳ５２２で検出された複数の位置を示す。図２５（Ｂ）の例では、第２判定領域Ｒ２１を輪郭領域として示す第２輪郭情報が生成される。図２５（Ｃ）は、瞳孔輪郭上の位置として、キャリブレーション用画面の指標が低輝度で表示された状態で検出された複数の位置、すなわち図２３のステップＳ５２４で検出された複数の位置を示す。図２５（Ｃ）の例では、第２判定領域Ｒ２２を輪郭領域として示す第２輪郭情報が生成される。図２５（Ｄ）は、瞳孔輪郭上の位置として、キャリブレーション用画面の指標が中輝度で表示された状態で検出された複数の位置、すなわち図２３のステップＳ５２６で検出された複数の位置を示す。図２５（Ｄ）の例では、第２判定領域Ｒ２２を輪郭領域として示す第２輪郭情報が生成される。

図２６（Ａ）は、カメラ動作時（現在）の第２輪郭情報と、キャリブレーションデータ１の第２輪郭情報との比較結果の一例を示す。図２６（Ｂ）は、カメラ動作時の第２輪郭情報と、キャリブレーションデータ２の第２輪郭情報との比較結果の一例を示す。図２６（Ｃ）は、カメラ動作時の第２輪郭情報と、キャリブレーションデータ３の第２輪郭情報との比較結果の一例を示す。カメラ動作時の第２輪郭情報は図２５（Ａ）の状況で生成された第２輪郭情報である。キャリブレーションデータ１の第２輪郭情報は図２５（Ｂ）の状況で生成された第２輪郭情報である。キャリブレーションデータ２の第２輪郭情報は図２５（Ｃ）の状況で生成された第２輪郭情報である。キャリブレーションデータ３の第２輪郭情報は図２５（Ｄ）の状況で生成された第２輪郭情報である。実施例２と同様に、ＣＰＵ３は、比較結果が「〇」のキャリブレーションデータを選択する。図２６（Ａ）では比較結果は「×」であり、図２６（Ｂ），２６（Ｃ）では比較結果は「〇」であるため、ＣＰＵ３は、キャリブレーションデータ２，３を選択する。

実施例２で説明したように、比較結果が「〇」であるキャリブレーションデータが存在しないことがある。その場合には、ＣＰＵ３は、全てのキャリブレーションデータを選択してもよいし、実施例２で説明した別の方法でキャリブレーションデータを選択してもよい。例えば、ＣＰＵ３は、図２１（Ａ），２１（Ｂ）を用いて説明した方法（方法２－１）と、図２２（Ａ），２２（Ｂ）を用いて説明した方法（方法２－２）との少なくとも一方を用いて、キャリブレーションデータを選択してもよい。ＣＰＵ３は、方法２－１でキャリブレーションデータを選択し、複数のキャリブレーションデータ（所定数より多くのキャリブレーションデータ）を選択した場合に、方法２でキャリブレーションデータを絞り込んでもよい。ＣＰＵ３は、方法２－１ではキャリブレーションデータを選択せずに、方法２でキャリブレーションデータを選択してもよい。比較結果が「〇」である複数のキャリブレーションデータ（所定数より多くのキャリブレーションデータ）が存在する場合も、ＣＰＵ３は、方法２でキャリブレーションデータを絞り込んでよい。

第２輪郭情報の比較により複数のキャリブレーションが選択された場合には、ＣＰＵ３は、円周方向に並んだ複数の第１判定領域のそれぞれについて輪郭領域であるか否かを示す第１輪郭情報の比較を行う。ここでは、上述したように、キャリブレーションデータ２とキャリブレーションデータ３を候補として選択しているので、第２輪郭情報の比較により２つのキャリブレーションデータ２，３が選択されたとする。

図２７（Ａ）～２７（Ｃ）は、瞳孔輪郭上の位置（検出位置）と、第１判定領域との一例を示す図である。図２７（Ａ）は、瞳孔輪郭上の位置として、カメラ動作（図９のステップＳ２０３）で検出された複数の位置を示す。図２７（Ａ）の例では、第１判定領域Ｒ１１～Ｒ１８のそれぞれを輪郭領域として示す第１輪郭情報が生成される。図２７（Ｂ），２７（Ｃ）は、瞳孔輪郭上の位置として、キャリブレーションで検出された複数の位置を示す。図２７（Ｂ）は、瞳孔輪郭上の位置として、キャリブレーション用画面の指標が
低輝度で表示された状態で検出された複数の位置、すなわち図２３のステップＳ５２４で検出された複数の位置を示す。図２７（Ｂ）の例では、第１判定領域Ｒ１１，Ｒ１４～Ｒ１８のそれぞれを輪郭領域として示す第１輪郭情報が生成される。図２７（Ｃ）は、瞳孔輪郭上の位置として、キャリブレーション用画面の指標が中輝度で表示された状態で検出された複数の位置、すなわち図２３のステップＳ５２６で検出された複数の位置を示す。図２７（Ｃ）の例では、第１判定領域Ｒ１１～Ｒ１８のそれぞれを輪郭領域として示す第１輪郭情報が生成される。

図２８（Ａ）は、カメラ動作時（現在）の第１輪郭情報と、キャリブレーションデータ２の第１輪郭情報との比較結果の一例を示す。図２８（Ｂ）は、カメラ動作時の第１輪郭情報と、キャリブレーションデータ３の第１輪郭情報との比較結果の一例を示す。カメラ動作時の第１輪郭情報は図２７（Ａ）の状況で生成された第１輪郭情報である。キャリブレーションデータ２の第１輪郭情報は図２７（Ｂ）の状況で生成された第１輪郭情報であり、キャリブレーションデータ３の第１輪郭情報は図２７（Ｃ）の状況で生成された第１輪郭情報である。第２輪郭情報の比較により複数のキャリブレーションが選択された場合に、実施例１と同様に、ＣＰＵ３は、比較結果が「〇」の判定領域の数が最も多いキャリブレーションデータを選択する。但し、ＣＰＵ３は、第２輪郭情報の比較により選択した複数のキャリブレーションのうち、比較結果が「〇」の判定領域の数が最も多いキャリブレーションデータを選択する。図２８（Ａ）では比較結果が「〇」の判定領域の数は６で、図２８（Ｂ）では比較結果が「〇」の判定領域の数は８である。そのため、ＣＰＵ３は、キャリブレーションデータ３を選択する。

実施例１で説明したように、比較結果が「〇」の判定領域の数が最も多い複数のキャリブレーションデータが存在することがある。その場合には、ＣＰＵ３は、実施例１で説明した別の方法でキャリブレーションデータを絞り込んでもよい。例えば、ＣＰＵ３は、図１２（Ａ）～１３（Ｃ）を用いて説明した方法（方法１－１）と、図１４（Ａ）～１５（Ｃ）を用いて説明した方法（方法１－２）との少なくとも一方を用いて、キャリブレーションデータを絞り込んでもよい。ＣＰＵ３は、方法１－１でキャリブレーションデータを絞り込み、１つのキャリブレーションデータに絞り込めなかった場合に、方法１－２でキャリブレーションデータを１つに絞り込んでもよい。ＣＰＵ３は、方法１－１ではキャリブレーションデータを絞り込まずに、方法１－２でキャリブレーションデータを１つに絞り込んでもよい。

＜まとめ＞
以上説明したように、実施例３によれば、実施例２と同様にキャリブレーション全体動作とカメラ動作が行われるが、輪郭情報の生成および比較の処理として、実施例１で説明した処理と、実施例２で説明した処理との両方が行われる。こうすることで、実施例２よりも高精度に視線（視点）を検出することができる。例えば、瞳孔の大きさが依って眼画像における瞳孔輪郭の欠損範囲が変わっても、視線（視点）を高精度に検出することができる。

なお、第２輪郭情報の比較の後に第１輪郭情報の比較を行う例を説明したが、第１輪郭情報の比較の後に第２輪郭情報の比較を行ってもよい。例えば、ＣＰＵ３は、図１０（Ａ）～１１（Ｂ）を用いて説明した方法（方法１－０）でキャリブレーションデータを選択し、複数のキャリブレーションデータを選択した場合に、第２輪郭情報を比較して、キャリブレーションデータを１つに絞り込んでもよい。ＣＰＵ３は、方法１－０で複数のキャリブレーションデータ（所定数より多くのキャリブレーションデータ）を選択した場合に、方法１－１でキャリブレーションデータを絞り込んでもよい。そして、ＣＰＵ３は、方法１－１で複数のキャリブレーションデータを選択した場合に、第２輪郭情報を比較して、キャリブレーションデータを１つに絞り込んでもよい。

＜＜実施例４＞＞
以下、本発明の実施例４を説明する。以下では、実施例１～３と同じ点（構成や処理など）についての説明は省略し、実施例１～３と異なる点について説明する。実施例３では、ファインダー内の明るさが異なる複数の条件（瞳孔の大きさが異なる複数の条件）のそれぞれの下でキャリブレーションを行った。そして、実施例３では、瞳孔の大きさに依って瞳孔輪郭の欠損範囲が変わることを想定し、輪郭情報の生成および比較の処理として、実施例１で説明した処理と、実施例２で説明した処理との両方を行った。しかし、実施例１で想定したように、眼画像における瞳孔輪郭の欠損範囲は、ファインダーの覗き方に依っても変わる。実施例４では、ファインダー内の明るさとファインダーの覗き方との組み合わせが異なる複数の条件のそれぞれの下でキャリブレーションを行う。

＜キャリブレーション全体動作の説明＞
図２９は、キャリブレーション全体動作（キャリブレーションを含む一連の動作）の一例を示すフローチャートである。

ステップＳ７２１では、図６（実施例１）のステップＳ１２１と同様に、ＣＰＵ３は、ファインダーを覗いていない眼を閉じる動作を促す所定の通知（アナウンス）を、ユーザーに対して行う。

ステップＳ７２２～Ｓ７２５は、図２３のステップＳ５２１～Ｓ５２４（図１６のステップＳ３２１～Ｓ３２４）と同じである。ステップＳ７２３では、ファインダーを覗かない眼が閉じられ且つキャリブレーション用画面の指標が高輝度で表示された状態で、ファインダーを覗いている眼の瞳孔の輪郭情報と、キャリブレーションデータとが取得され、メモリ部４に格納される。ステップＳ７２５では、ファインダーを覗かない眼が閉じられ且つキャリブレーション用画面の指標が低輝度で表示された状態で、ファインダーを覗いている眼の瞳孔の輪郭情報と、キャリブレーションデータとが取得され、メモリ部４に格納される。ステップＳ７２３，Ｓ７２５では、ステップＳ５２２，Ｓ５２４と同様に、実施例２で説明した第２輪郭情報だけでなく、実施例１で説明した第１輪郭情報もメモリ部４に格納される。

ステップＳ７２６では、図６（実施例１）のステップＳ１２３と同様に、ＣＰＵ３は、ファインダーを覗いていない眼を開く動作を促す所定の通知（アナウンス）を、ユーザーに対して行う。

ステップＳ７２７～Ｓ７３０は、図２３のステップＳ５２１～Ｓ５２４（図１６のステップＳ３２１～Ｓ３２４）と同じである。ステップＳ７２８では、ファインダーを覗かない眼が開かれ且つキャリブレーション用画面の指標が高輝度で表示された状態で、ファインダーを覗いている眼の瞳孔の輪郭情報と、キャリブレーションデータとが取得され、メモリ部４に格納される。ステップＳ７３０では、ファインダーを覗かない眼が開かれ且つキャリブレーション用画面の指標が低輝度で表示された状態で、ファインダーを覗いている眼の瞳孔の輪郭情報と、キャリブレーションデータとが取得され、メモリ部４に格納される。ステップＳ７２７，Ｓ７３０では、ステップＳ５２２，Ｓ５２４と同様に、実施例２で説明した第２輪郭情報だけでなく、実施例１で説明した第１輪郭情報もメモリ部４に格納される。

キャリブレーション全体動作後のカメラ動作は、実施例３と同じである。

＜まとめ＞
以上説明したように、実施例４によれば、ファインダーの覗き方に依って眼画像におけ
る瞳孔輪郭の欠損範囲が変わることと、撮影環境に依ってファインダー内の明るさが変化して瞳孔の大きさが変化することとを想定してキャリブレーションが行われる。具体的には、ファインダー内の明るさとファインダーの覗き方との組み合わせが異なる複数の条件のそれぞれの下でキャリブレーションが行われる。そして、実施例３と同様にカメラ動作が行われる。こうすることで、実施例１～３よりも高精度に視線（視点）を検出することができる。例えば、撮影環境に依ってファインダー内の明るさが変化して瞳孔の大きさが変化しても、ファインダーの覗き方に依って眼画像における瞳孔輪郭の欠損範囲が変わっても、視線（視点）を高精度に検出することができる。

なお、実施例１～４はあくまで一例であり、本発明の要旨の範囲内で実施例１～４の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１～４の構成を適宜組み合わせて得られる構成も、本発明に含まれる。例えば、ユーザーに依っては複数回のキャリブレーションが煩わしいことがある。そのため、ユーザーがキャリブレーションの条件を選択可能であってもよい。

また、撮像装置（カメラ）に本発明を適用した例を説明したが、本発明は、視線検出を行う種々の視線検出装置や、視線検出のキャリブレーションを行う種々のキャリブレーション装置に適用可能である。キャリブレーション装置は、視線検出装置とは別体の装置であってもよい。

＜＜他の電子機器への適用例＞＞
図３０（Ａ）は、ノート型パーソナルコンピュータ８１０（ノートＰＣ）の外観図である。図３０（Ａ）では、ノートＰＣ８１０の表示部８１１を見るユーザーを撮像する撮像ユニット８１５がノートＰＣ８１０に接続されており、ノートＰＣ８１０は撮像ユニット８１５から撮像結果を取得する。そして、ノートＰＣ８１０は、撮像結果に基づいてユーザーの視線を検出する。撮像ユニット８１５が視線検出を行ってもよい。本発明は、ノートＰＣ８１０や撮像ユニット８１５にも適用可能である。

図３０（Ｂ）は、スマートフォン８２０の外観図である。図３０（Ｂ）では、スマートフォン８２０は、インカメラ８２１（フロントカメラ）の撮像結果に基づいて、スマートフォン８２０の表示部８２２を見るユーザーの視線を検出する。本発明は、スマートフォン８２０にも適用可能である。同様に、本発明は、種々のタブレット端末にも適用可能である。

図３０（Ｃ）は、ゲーム機８３０の外観図である。図３０（Ｃ）では、ゲームのＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像を表示部８３６に表示するヘッドマウントディスプレイ８３５（ＨＭＤ）が、ゲーム機８３０に接続されている。ＨＭＤ８３５は、ＨＭＤ８３５を装着したユーザーの眼を撮像するカメラ８３７を有しており、ゲーム機８３０は、ＨＭＤ８３５から撮像結果を取得する。そして、ゲーム機８３０は、撮像結果に基づいてユーザーの視線を検出する。ＨＭＤ８３５が視線検出を行ってもよい。本発明は、ゲーム機８３０やＨＭＤ８３５にも適用可能である。ＨＭＤに表示したＶＲ画像を見る場合に本発明が適用可能であるのと同様に、眼鏡型のウェアラブル端末のレンズ部分などに表示したＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を見る場合にも本発明は適用可能である。ＶＲ技術やＡＲ技術に本発明が適用可能であるのと同様に、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術やＳＲ（Ｓｕｂｓｔｉｔｕｔｉｏｎａｌ Ｒｅａｌｉｔｙ）技術などの別のｘＲ技術にも本発明は適用可能である。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおけ
る１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：カメラ ３：ＣＰＵ

Claims (20)

1. ユーザーの眼を撮像した眼画像から瞳孔の輪郭上の複数の位置を検出し、当該複数の位置に関連した輪郭情報を生成する瞳孔検出手段と、
   前記瞳孔検出手段により検出された前記複数の位置から推定される前記瞳孔の中心位置に基づいて、前記ユーザーの視線を検出する視線検出手段と
   を有し、
   複数の条件のそれぞれの下で、前記視線検出手段が視線を検出する際に使用するキャリブレーションデータを得るためのキャリブレーションが予め行われており、
   前記キャリブレーションによって得られた前記キャリブレーションデータは、当該キャリブレーションの際に前記瞳孔検出手段により生成された輪郭情報と関連付けられて、記憶手段に予め格納されており、
   前記視線検出手段は、前記記憶手段に格納されている複数のキャリブレーションデータのうち、前記瞳孔検出手段により生成された現在の輪郭情報に最も類似した輪郭情報が関連付けられたキャリブレーションデータを使用して、前記ユーザーの視線を検出する
   ことを特徴とする視線検出装置。
2. 前記瞳孔検出手段は、検出した前記複数の位置から推定される前記瞳孔の中心位置を基準として複数の判定領域を設定し、前記複数の判定領域のそれぞれについて前記瞳孔の輪郭上の位置が検出された領域であるか否かを示す前記輪郭情報を生成する
   ことを特徴とする請求項１に記載の視線検出装置。
3. 前記瞳孔検出手段は、前記瞳孔の中心位置を中心として円周方向に並んだ複数の第１判定領域を設定し、前記複数の第１判定領域のそれぞれについて前記瞳孔の輪郭上の位置が検出された領域であるか否かを示す第１輪郭情報を生成する
   ことを特徴とする請求項１または２に記載の視線検出装置。
4. 前記瞳孔検出手段は、前記瞳孔の中心位置を中心として径方向に並んだ複数の第２判定領域を設定し、前記複数の第２判定領域のそれぞれについて前記瞳孔の輪郭上の位置が検出された領域であるか否かを示す第２輪郭情報を生成する
   ことを特徴とする請求項１～３のいずれか１項に記載の視線検出装置。
5. 前記複数の条件は、前記キャリブレーション用の画面を見ない眼が閉じているという条件と、前記キャリブレーション用の画面を見ない眼が開いているという条件とを含む
   ことを特徴とする請求項１～４のいずれか１項に記載の視線検出装置。
6. 前記複数の条件は、前記キャリブレーション用の画面に表示される指標の輝度が異なる２つ以上の条件を含む
   ことを特徴とする請求項１～５のいずれか１項に記載の視線検出装置。
7. 前記複数の条件は、前記キャリブレーション用の画面全体の輝度が異なる２つ以上の条件を含む
   ことを特徴とする請求項１～６のいずれか１項に記載の視線検出装置。
8. 前記キャリブレーションを行う際に当該キャリブレーションの条件を前記ユーザーに通知する通知手段をさらに有する
   ことを特徴とする請求項１～７のいずれか１項に記載の視線検出装置。
9. 前記キャリブレーションの条件を前記ユーザーが選択可能である
   ことを特徴とする請求項１～８のいずれか１項に記載の視線検出装置。
10. 前記瞳孔検出手段により検出された前記複数の位置から推定される前記瞳孔の中心位置は、前記瞳孔の輪郭に近似した円周の中心位置である
    ことを特徴とする請求項１～９のいずれか１項に記載の視線検出装置。
11. 視線検出のキャリブレーションの複数の条件をユーザーに順次通知する通知手段と、
    前記キャリブレーションの条件が前記通知手段により通知される度に、通知された条件下で前記キャリブレーションを行うキャリブレーション手段と
    を有することを特徴とするキャリブレーション装置。
12. 前記複数の条件は、前記キャリブレーション用の画面を見ない眼が閉じているという条件と、前記キャリブレーション用の画面を見ない眼が開いているという条件とを含む
    ことを特徴とする請求項１１に記載のキャリブレーション装置。
13. 前記通知手段は、前記キャリブレーション用の画面を見ない眼を閉じる動作を促す通知と、前記キャリブレーション用の画面を見ない眼を開く動作を促す通知とを含む複数の通知を順次行う
    ことを特徴とする請求項１１または１２に記載のキャリブレーション装置。
14. 前記複数の条件は、前記キャリブレーション用の画面に表示される指標の輝度が異なる２つ以上の条件を含む
    ことを特徴とする請求項１１～１３のいずれか１項に記載のキャリブレーション装置。
15. 前記複数の条件は、前記キャリブレーション用の画面全体の輝度が異なる２つ以上の条件を含む
    ことを特徴とする請求項１１～１４のいずれか１項に記載のキャリブレーション装置。
16. 前記キャリブレーションの条件を前記ユーザーが選択可能である
    ことを特徴とする請求項１１～１５のいずれか１項に記載のキャリブレーション装置。
17. ユーザーの眼を撮像した眼画像から瞳孔の輪郭上の複数の位置を検出し、当該複数の位置に関連した輪郭情報を生成する瞳孔検出ステップと、
    前記瞳孔検出ステップで検出された前記複数の位置から推定される前記瞳孔の中心位置に基づいて、前記ユーザーの視線を検出する視線検出ステップと
    を有し、
    複数の条件のそれぞれの下で、前記視線検出ステップで視線を検出する際に使用するキャリブレーションデータを得るためのキャリブレーションが予め行われており、
    前記キャリブレーションによって得られた前記キャリブレーションデータは、当該キャリブレーションの際に前記瞳孔検出ステップで生成された輪郭情報と関連付けられて、記憶手段に予め格納されており、
    前記視線検出ステップでは、前記記憶手段に格納されている複数のキャリブレーションデータのうち、前記瞳孔検出ステップで生成された現在の輪郭情報に最も類似した輪郭情報が関連付けられたキャリブレーションデータを使用して、前記ユーザーの視線を検出する
    ことを特徴とする視線検出方法。
18. 視線検出のキャリブレーションの複数の条件をユーザーに順次通知する通知ステップと、
    前記キャリブレーションの条件が前記通知ステップで通知される度に、通知された条件下で前記キャリブレーションを行うキャリブレーションステップと
    を有することを特徴とするキャリブレーション方法。
19. コンピュータを、請求項１～１０のいずれか１項に記載の視線検出装置の各手段として機能させるためのプログラム。
20. コンピュータを、請求項１１～１６のいずれか１項に記載のキャリブレーション装置の各手段として機能させるためのプログラム。

Images