JP2023006629A - 制御装置およびその制御方法 - Google Patents

Abstract

【課題】 観察者の注視点をより高精度に検出すること。【解決手段】 ＣＰＵ３は、リンバストラッカー方式に基づくと、近赤外光によって撮影者の眼球を照明し、その角膜反射像と瞳孔の位置から観察者の注視点を検出する角膜反射方式による検出を行う。【選択図】 図１１

Description

本発明は視線検出に関する。

近年カメラの自動化・インテリジェント化が進んでいる。特許文献１では、手動で被写体位置を入力せずとも、ファインダを覗く観察者の視線位置の情報に基づいて観察者が意図する被写体を認識し、焦点制御を行うことを可能とするカメラが開示されている。特許文献１では、角膜反射方式による視線検出を開示している。角膜反射方式では、赤外線発光ダイオードＩＲＥＤによって近赤外光を眼球角膜に照射し、その反射像（プルキニエ像。以降、Ｐ像と称する）をイメージセンサで検出することで観察者の視線位置を測定する。

特開２００４－８３２３

特許文献１に開示されている角膜反射方式においては、観察者の視線を角膜反射方式のみで検出することによる次のような視線検出精度の課題があった。角膜反射方式ではイメージセンサの瞳孔像とＰ像の位置を画像処理によって検出し、その関係から視線位置を決定する。メガネ装着した観察者では、Ｐ像の他に、眼鏡レンズによるＩＲＥＤの多重反射像である偽Ｐ像もイメージセンサで捉えてしまう。その結果、偽Ｐ像をＰ像として判定してしまう誤検出により、視線検出精度が悪化してしまう課題があった。また、ハードコンタクトレンズを装着した観察者の場合、眼球運動にあわせてコンタクトレンズが角膜上で動いてしまうことでイメージセンサ上のＰ像の位置がずれてしまい、視線検出精度が低下する課題があった。また、まつ毛やまばたきによってＩＲＥＤ照射光のケラレが生じ、Ｐ像が検出できなくなることによって視線検出ができなくなる課題もあった。

そこで本発明は、観察者の注視点をより高精度に検出することができる制御装置およびその制御方法を提供することを目的とする。

近赤外光によって観察者の眼球を照明し、観察者の強膜と角膜の境界部であるリンバスの反射率から観察者の注視点を検出するリンバストラッカー法による第１の検出手段と、
近赤外光によって観察者の眼球を照明し、その角膜反射像と瞳孔の位置から観察者の注視点を検出する角膜反射法による第２の検出手段と、を有するよう構成したことを特徴とする。

本発明によれば、観察者の注視点をより高精度に検出することができる。

本発明の第１実施形態が適用される撮像装置の構成概略図 本発明の第１実施形態における撮像装置の外観概略図 本発明の第１実施形態が適用される撮像装置のブロック図 本発明の第１実施形態におけるリンバストラッカー方式の説明図 本発明の第１実施形態における角膜反射方式の視線検出方法の説明図 眼球用撮像素子１７に投影される眼球像の概略図 角膜反射方式による視線検出の概略フロールーチン リンバストラッカー方式の概略説明図 リンバストラッカー方式による視線検出の概略フロールーチン 本発明の第２実施形態におけるリンバストラッカー方式の説明図 本発明の第１実施形態における２つの視線検出手段の併用説明図

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

＜構成の説明＞
図２は本発明におけるデジタルスチルカメラ１の外観を示している。図２（ａ）は正面斜視図、図２（ｂ）は背面斜視図である。デジタルスチルカメラ１は本実施例においては、図２（ａ）の正面斜視図に示すように、撮影レンズ１Ａ及びカメラ本体の筐体部１Ｂで構成されている。また、ユーザーからの撮像操作を受ける操作部材であるレリーズボタン５が配置されている。また、図２（ｂ）の背面斜視図で示すように、デジタルスチルカメラ１の背面には、カメラ内部に含まれる後述する表示素子を、ユーザーが覗きこむための接眼レンズ１２が配置されている。また、４１～４３で示す、操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）といった、後述するカメラ操作に使用する各種操作部材が配置されているとする。

図１は図２（ａ）で図示したＹ軸とＺ軸が成すＹＺ平面でカメラ筐体を切った断面図であり、本発明におけるデジタルスチルカメラ１の構成の概略を示した説明図である。図１及び図２において、対応する部位は同じ番号で表記されている。

図１において、１Ａはレンズ交換式カメラにおける撮影レンズを示す。本実施形態では便宜上撮影レンズ１Ａの内部を１０１、１０２の二枚のレンズで表したが、実際はさらに多数のレンズで構成されていることは周知の通りである。１Ｂはカメラ本体の筐体部を示し、その内部に含まれるユニットの構成は以下のようになる。２は撮像素子で、デジタルスチルカメラ１の撮影レンズ１Ａの予定結像面に配置されている。デジタルスチルカメラ１には、カメラ全体を制御するＣＰＵ３、撮像素子２にて撮像された画像を記録するメモリ部４が内包される。また、撮像された画像を表示するための液晶等で構成される表示素子１０と、それを駆動する表示素子駆動回路１１、表示素子１０に表示された被写体像を観察するための接眼レンズ１２が配置されている。

１３ａ～１３ｂは、ＩＲＥＤ光源の角膜反射による反射象と瞳孔の関係から視線方向を検出するための撮影者（観察者）の眼球１４を照明するための光源で、赤外発光ダイオードＩＲＥＤからなり、接眼レンズ１２の周りに配置されている。照明された眼球像と光源１３ａ～１３ｂの角膜反射による像は接眼レンズ１２を透過し、光分割器１５で反射され、受光レンズ１６によってＣＣＤ棟の光電素子列を２次元的に配した眼球用撮像素子１７上に結像される。受光レンズ１６は撮影者の眼球１４の瞳孔と眼球用撮像素子１７を共役な結像関係に位置付けている。眼球用撮像素子１７上に結像された眼球と光源１３ａ～１３ｂの角膜反射による像の位置関係から後述する所定のアルゴリズムで視線方向を検出する。

１９ａ～１９ｂは眼球１４の強膜１４３と虹彩１４２の境界部であるリンバスの反射率から視線方向を検出するための撮影者の眼球１４を照明するための光源で、近赤外発光ダイオードからなり、接眼レンズ１２の周りに配置されている。眼球１４による光源１９ａ～１９ｂの反射光は接眼レンズ１２を透過し、光分割器１５で反射され、受光レンズ１６によって眼球用撮像素子１８ａ、及び１８ｂ上に結像される。受光レンズ１６は撮影者の眼球１４のリンバス領域Ｄａ，Ｄｂと眼球用撮像素子１８ａ、１８ｂを共役な結像関係に位置付けている。眼球用撮像素子１８ａ、１８ｂによって検出されたリンバス検出領域Ｄａ，Ｄｂの反射率から後述する所定のアルゴリズムで視線方向を検出する。

１１１は撮影レンズ１内に設けた絞り、１１２は絞り駆動装置、１１３はレンズ駆動用モーター、１１４は駆動ギヤ等からなるレンズ駆動部材である。１１５はフォトカプラーでレンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、レンズ焦点調節回路１１８に伝えている。焦点調節回路１１８は、この情報とカメラ側からのレンズ駆動量の情報にもとづいてレンズ駆動用モーター１１３を所定量駆動させ、撮影レンズ１ａを合焦点位置に移動させるようになっている。１１７は公知のカメラとレンズとのインターフェイスとなるマウント接点である。

また、前述した４１～４３で示す操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）の操作部材が配置され、後述の推定注視点枠位置の手動操作による移動制御等が行われる。

図３は前期構成のデジタルスチルカメラに内蔵された電気的構成を示すブロック図であり、図１と同一のものは同一番号をつけている。カメラ本体に内蔵されたマイクロコンピュータの中央処理装置３（以下、ＣＰＵ３と呼ぶ）には視線検出回路２０１、２０７、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示素子駆動回路１１、照明光源駆動回路２０５、が接続されている。また、撮影レンズ内に配置された焦点調節回路１１８、前述の絞り駆動装置１１２に含まれる絞り制御回路２０６とは図１で示したマウント接点１１７を介して信号の伝達がなされる。ＣＰＵ３に付随したメモリ部４は、撮像素子２および眼球用撮像素子１７からの撮像信号の記憶機能及び、後述する視線の個人差を補正する視線補正データの記憶機能を有している。

視線検出回路２０１は、眼球用撮像素子１７（ＣＣＤ－ＥＹＥ）からの眼球像が結像することによる出力をＡ／Ｄ変換し、この像情報をＣＰＵ３に送信する。ＣＰＵ３は視線検出に必要な眼球像の各特徴点を後述する所定のアルゴリズムに従って抽出し、更に各特徴点の位置から撮影者の視線を算出する。

視線検出回路２０７は、眼球用撮像素子１８ａ、１８ｂからの差動増幅された信号出力をＡ／Ｄ変換し、この情報をＣＰＵ３に送信する。ＣＰＵ３は視線検出に必要な所定のアルゴリズムに従って信号処理し、撮影者の視線を算出する。

測光回路２０２は、測光センサの役割も兼ねる撮像素子２から得られる信号を元に、被写界の明るさに対応した輝度信号出力を増幅後、対数圧縮、Ａ／Ｄ変換し、被写界輝度情報として、ＣＰＵ３に送る。

自動焦点検出回路２０３は、撮像素子２におけるＣＣＤの中に含まれる、位相差検出の為に使用される複数の画素からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は前記複数の画素の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。

信号入力回路２０４には不図示のレリーズボタン５の第一ストロークでＯＮし、カメラの測光、測距、視線検出動作等を開始するためのスイッチであるＳＷ_１が接続される。また、レリーズボタンの第二ストロークでＯＮし、レリーズ動作を開始するためのスイッチであるＳＷ２が接続される。前記の信号が信号入力回路２０４に入力され、ＣＰＵ３に送信される。

また、前述した４１～４３で示す操作部材α（タッチパネル対応液晶）、操作部材β（レバー式操作部材）、操作部材γ（ボタン式十字キー）は、ＣＰＵ３にその操作信号が伝わる構成となっている。それに応じて後述する推定注視点枠位置の移動操作制御等が行われる。

図４（Ａ）、図４（Ｂ）はリンバストラッカー方式による視線検出方法の原理説明図である。本例では眼球の左右方向の動きを検出するための構成を例として示す。

眼球用撮像素子１８ａ、１８ｂでそれぞれリンバス検出領域Ｄａ，Ｄｂからの反射光の光量を反射率として検出する。さらに視線検出回路２０７において、両者の反射率の差信号と和信号それぞれの増幅信号が生成される。図４（Ｂ）は眼球の左右方向の回転に応じて検出される差信号の変化を表している。

図５は角膜反射方式による視線検出方法の原理説明図であり、前述の図１の視線検出をおこなうための光学系の要約図に相当する。

図５において、１３ａ、１３ｂは観察者に対して不感の赤外光を放射する発光ダイオード等の光源であり、各光源は受光レンズ１６の光軸に対して略対称に配置され観察者の眼球１４を照らしている。眼球１４で反射した照明光の一部は受光レンズ１６によって、眼球用撮像素子１７に集光する。

図６（Ａ）は眼球用撮像素子１７に投影される眼球像の概略図、同図（Ｂ）は眼球用撮像素子１７におけるＣＣＤの出力強度図である。

図７は角膜反射方式の視線検出の概略フロールーチンを表している。

以下、図５～７を用いて、角膜反射方式の視線の検出手段を説明する。

＜角膜反射方式の視線検出動作の説明＞
図７において、視線検出ルーチンが開始すると、Ｓ００１において、光源１３ａ、１３ｂは観察者の眼球１４に向けて赤外光を放射する。上記赤外光によって照明された観察者の眼球像は、眼球用撮像素子１７上に受光レンズ１６を通して結像し、眼球用撮像素子１７により光電変換がなされ、眼球像は電気信号として処理が可能となる。

ステップＳ００２において上記のように眼球用撮像素子１７から得られた眼球画像信号をＣＰＵ３に送る。

ステップＳ００３では、Ｓ００２において得られた眼球画像信号の情報から、図５に示す光源１３ａ、１３ｂの角膜反射像Ｐｄ，Ｐｅ及び瞳孔中心ｃに対応する点の座標を求める。光源１３ａ、１３ｂより放射された赤外光は観察者の眼球１４の角膜１４２を照明する。このとき角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは受光レンズ１６により集光され、眼球用撮像素子１７上に結像する（図示の点Ｐｄ’， Ｐｅ’）。同様に瞳孔１４１の端部ａ、ｂからの光束も眼球用撮像素子１７上に結像する。図６では、図６（ａ）において眼球用撮像素子１７から得られる反射像の画像例を、図６（ｂ）に上記画像例の領域αにおける、眼球用撮像素子１７から得られる輝度情報例を示す。図示のように、水平方向をＸ軸、垂直方向をＹ軸とする。このとき、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとする。また、瞳孔１４ｂの端部ａ、ｂからの光束が結像した像ａ’，ｂ’のＸ軸方向の座標をＸａ、Ｘｂとする。（ｂ）の輝度情報例において、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’に相当する位置Ｘｄ，Ｘｅでは、極端に強いレベルの輝度が得られている。瞳孔１４１の領域に相当する、座標ＸａからＸｂの間の領域は、上記Ｘｄ、Ｘｅの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔１４１の外側の光彩１４３の領域に相当する、Ｘａより低いＸ座標の値を持つ領域及びＸｂより高いＸ座標の値を持つ領域では、前記２種の輝度レベルの中間の値が得られる。上記Ｘ座標位置に対する輝度レベルの変動情報から、光源１３ａ、１３ｂの角膜反射像が結像した像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端の像ａ’， ｂ’のＸ座標Ｘａ、Ｘｂを得ることができる。また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合、眼球用撮像素子１７上に結像する瞳孔中心ｃに相当する箇所（ｃ’とする）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。上記より、眼球用撮像素子１７上に結像する瞳孔中心に相当するｃ’のＸ座標、光源１３ａ、１３ｂの角膜反射像Ｐｄ’，Ｐｅ’の座標を見積もることができた。

さらに、ステップＳ００４では、眼球像の結像倍率βを算出する。βは受光レンズ１６に対する眼球１４の位置により決まる倍率で、実質的には角膜反射像Ｐｄ‘、Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。

また、ステップＳ００５では、角膜反射像Ｐｄ及びＰｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致するため、角膜１４２の曲率中心Ｏと瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、眼球１４の光軸のＺ－Ｘ平面内の回転角θ_Ｘは、
β＊Ｏｃ＊ＳＩＮθ_Ｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－ Ｘｃ
の関係式から求めることができる。また、図５、図６においては、観察者の眼球がＹ軸に垂直な平面内で回転する場合の回転角θ_Ｘを算出する例を示しているが、観察者の眼球がＸ軸に垂直な平面内で回転する場合の回転角θｙの算出方法も同様である。

前ステップにおいて観察者の眼球１４の光軸の回転角θｘ、θｙが算出されると、ステップＳ００６では、θｘ、θｙを用いて、表示素子１０上で観察者の視線の位置（注視している点の位置。以下、注視点と称する。）を求める。注視点位置を表示素子１０上での瞳孔１４１の中心ｃに対応する座標（Ｈｘ，Ｈｙ）であるとして、
Ｈｘ＝ ｍ×（ Ａｘ×θｘ ＋ Ｂｘ ）
Ｈｙ＝ ｍ×（ Ａｙ×θｙ ＋ Ｂｙ ）
と算出することができる。この時、係数ｍはカメラのファインダ光学系の構成で定まる定数で、回転角θｘ、θｙを表示素子１０上での瞳孔１４１の中心ｃに対応する位置座標に変換する変換係数であり、あらかじめ決定されてメモリ部４に記憶されているとする。また、Ａｘ，Ｂｘ，Ａｙ，Ｂｙは観察者の視線の個人差を補正する視線補正係数であり、後述するキャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前にメモリ部４に記憶されているものとする。

上記のように表示素子１０上での瞳孔１４１の中心ｃの座標（Ｈｘ，Ｈｙ）を算出した後、ステップＳ００７においてメモリ部４に上記座標を記憶して、視線検出ルーチンを終える。

次に、以下、図４（Ａ）～（Ｂ）、及び図８（ａ）～（ｅ）を用いて、リンバストラッカー方式の視線の検出手段を説明する。

＜リンバストラッカー方式の視線検出動作の説明＞
ここでは眼球の主に左右方向の動きを検出するための構成を例として示す。

眼球用撮像素子１８ａ、１８ｂでそれぞれリンバス検出領域Ｄａ，Ｄｂからの反射光の光量を反射率として検出する。さらに視線検出回路２０７において、両者の反射率の差信号と和信号それぞれの増幅信号が生成される。ここではＤａを左、Ｄｂを右方向とする。図４（Ｂ）のように、左右の眼球回転角がＤａとＤｂの反射率の差が符号付きの電圧として検出される。Ｄａ，Ｄｂの反射率の信号値をそれぞれＲａ，Ｒｂとする。

あらかじめ撮影者がキャリブレーションを行うことで、視線を正面に向けたときの差信号Ｒｄ＝Ｒａ－Ｒｂの電圧が０になるように調整を行う。図８（ｂ）のように撮影者が右方向に視線を動かした場合、Ｄａは反射率が高い強膜が占める割合が大きくなる一方、Ｄｂは反射率の低い瞳孔や虹彩の占める割合が大きくなる。その結果Ｒａ＞Ｒｂとなり、Ｒｄは正値として検出される。左を向いた場合、Ｒｄは負値として検出される。正面に視線がある場合にＤａ，Ｄｂの強膜の占める割合と瞳孔あるいは虹彩の占める割合が略同値であるようにＤａ，Ｄｂの領域の位置と大きさを調整することで、和信号Ｒｓ＝Ｒａ＋Ｒｂは眼球を左右方向への動かしても略一定値となる。さらに、図８（ｃ）のように眼球を上方向へ動かした場合はＤａとＤａの強膜の占める割合が同じように増加するため、和信号Ｒｓは正面を向いた場合よりも増加するが、差信号Ｒｄは正面を向いた場合と同じく略零として検出される。ただし、この場合、上を向いたか下を向いたかの判定はできない。図５（ｄ）と（ｅ）は順番に、正面⇒右⇒上と視線の向きを連続的に変化させた場合の反射率、差信号Ｒｄ，和信号Ｒｓの変化を示す図である。

上記のようにして、Ｒｄから水平方向の眼球の回転角度θｘ、Ｒｓから垂直方向の眼球の回転角度θｙを演算することで撮影者の視線座標を得ることが可能となる。

＜キャリブレーションについて＞
前述のように、視線検出ルーチンにおいて眼球画像から眼球の回転角度θｘ、θｙを取得し、瞳孔中心位置を表示素子１０上において対応する位置に座標変換する演算を行って注視点位置を推定している。

しかし、人間の眼球の形状の個人差等の要因により、前記視線補正係数Ａｘ，Ａｙ，Ｂｘ，Ｂｙの値を使用者によって適切な値に調整しなければ、使用者が実際に注視している位置と演算された推定注視点の位置にずれが生じてしまう。

そこで、カメラによって撮像を行う前に、キャリブレーション作業を行い、使用者に適切な補正係数の値を取得し、カメラに記憶させる必要がある。

角膜反射方式、及びリンバストラッカー方式のキャリブレーション作業は、撮像前に表示素子１０であるファインダ視野内に位置の異なる複数の指標を強調表示し、観察者にその指標を見てもらうことで行う。各視標注視時に注視点検出フローを行い、算出された複数の推定注視点座標と各視標座標の位置から適切な前記係数の値を求める作業を行う公知が知られており、例えばこのような技術を用いればよい。

＜２つの視線検出手段におけるキャリブレーション＞
第一の視線検出手段と第二の視線検出手段の２方式をうまく切り替えて併用するには、それぞれの視線検出手段において、適切にキャリブレーションを行う必要がある。

前記のような従来例で、それぞれ独立にキャリブレーションをしてもよいが、視線検出精度をより向上させるためには、次のように２方式のキャリブレーションを同時に行う。

まず、表示素子１０の中央の点に基準の指標を表示させ、第一の視線検出手段、及び第二の視線検出手段による中央位置でのキャリブレーションをそれぞれ独立に行う。続けて、表示素子１０の中央以外のいくつかの場所において基準指標を表示させて、２方式でそれぞれキャリブレーションを独立に行う。次に、これまでのキャリブレーション結果を補正値として用いて、現在の撮影者の中止位置を表す２方式の指標をそれぞれ表示素子１０に表示させる。さらに基準指標を追加で表示させて、撮影者に基準指標を注視するように促す。もし、基準位置において２方式の指標が一定の範囲内で一致すればキャリブレーション成功として、キャリブレーションを終了する。もし、２方式の指標が不一致の場合、もしくは、一致していても基準指標との距離が一定値以上はなれていれば、再度、キャリブレーションをやり直す。数回キャリブレーションをやり直してもキャリブレーションが成功しなかった場合は、２方式のキャリブレーション結果の不一致を撮影者に知らせる。そしてこれまでの２方式それぞれにおいて、キャリブレーション結果の平均値を補正値として使用するか、キャリブレーション結果を破棄するかの選択手段を提示する。

＜角膜反射方式とリンバストラッカー方式の使い分け＞
角膜反射方式では、眼球を撮影した画像からＰ像の位置、及び瞳孔の中心位置を画像処理によって得ることで視線位置検出を行う。眼球用撮像素子１７の画素ピッチの分解能で視線位置を算出するため検出精度が高い。その反面、まばたきやまつ毛の影響で眼球の照明が蹴られることでＰ像や瞳孔中心が検出できない場合が生じたりする。また、眼鏡を装着した撮影者の場合、眼鏡レンズの傷によってＡＲコーティングが劣化している場合やレンズ表面が荒れている場合などでは照明光の散乱や多重反射像が生じることで「偽Ｐ像」が発生する場合がある。Ｐ像と瞳孔中心を画像処理で取得する場合に偽Ｐ像がノイズとなり、視線検出精度が大きく低下してしまう場合がある。

一方、リンバストラッカー方式は、眼球上の一定の面積の大きさを持つ領域の反射率から視線位置を決定するため、角膜反射方式と比べてまつげや眼鏡の影響を受けにくくロバストである反面、視線位置検出の精度は角膜反射方式と比べて低くなる場合が多い。

これらの２方式の特徴を踏まえて、本実施例では次のように２方式を併用、もしくは使い分けることで視線検出精度を向上させる。まず、撮影者がハードコンタクトレンズを着用している場合には、角膜上でコンタクトレンズが動くため、Ｐ像の大きさと位置が撮影者の視線方向とコンタクトレンズの角膜上での位置によって異なってしまう。そのため、角膜反射方式のＰ像検出が困難となる。この場合には、視線検出手段としてリンバストラッカー方式を使用する。撮影者がハードコンタクトレンズを着用しているかについては、角膜反射方式で測定している眼球と撮像素子間の光学距離によって判定するか、もしくは撮影者にハードコンタクトレンズの使用の有無を撮影者情報としてカメラに入力してもらうことで判定する。

リンバストラッカー方式は、原理的に強膜（白目）反射を利用するものであるため、強膜が観測できる眼球の横方向の動きに対しては強いが、縦方向の検出精度は低い。そのため、リンバストラッカー方式、もしくは、角膜反射方式で、眼球の縦方向の動きを検知した場合には、角膜反射方式によって視線検出を行うように切り替える。

前記のキャリブレーション時に２方式それぞれの基準指標からの位置ズレ誤差を記録しておく。もしも位置ズレ誤差が一定の値よりも大きい場合には、誤差が大きい方の視線検出手段は使用せずに、誤差が小さい方の視線検出手段のみを使用するなどを行ってもよい。

実施例１においては、第一の視線検出手段で縦方向の視線の動きの方向までは検知できない例を示した。本実施例では、第一の視線検出手段において、縦方向の視線の動きの向きを検出できる例や、リンバストラッカー方式でより高精度に視線検出が可能となる例を示す。

＜リンバストラッカー方式による横方向と縦方向の検出＞
図１０（ａ）に示すように、リンバスの反射率を検出するリンバス検出領域を４つ設けて（Ｄａ、Ｄｂ，Ｄｃ、Ｄｄ）、クロス配置することで、横（水平）方向と縦（垂直）方向の眼球１４の動きの方向が検出できるようになる。眼球照明光源と眼球用撮像素子もＤａ、Ｄｂ，Ｄｃ、Ｄｄに対応してそれぞれ設ければよい。Ｄａ、Ｄｂ，Ｄｃ、Ｄｄに対応する眼球用撮像素子で検出される反射率をそれぞれ、Ｒａ，Ｒｂ，Ｒｃ、Ｒｄとする。この場合、検出する差信号は、Ｒｄｘ１＝Ｒａ－Ｒｂ， Ｒｄｘ２＝Ｒｃ－Ｒｄ，Ｒｄｙ１＝Ｒａ－Ｒｃ，Ｒｄｙ２＝Ｒｂ－Ｒｄとすればよい。また和信号は、Ｒｓｘ１＝Ｒａ＋Ｒｂ， Ｒｓｘ２＝Ｒｃ＋Ｒｄ，Ｒｓｙ１＝Ｒａ＋Ｒｃ，Ｒｓｙ２＝Ｒｂ＋Ｒｄとすればよい。他の組み合わせによる差信号、和信号を使用してもよい。これによって、横方向と縦方向それぞれについて、差信号と和信号が検出できるため、実施例１で説明したのと同様にして、縦方向の視線の動きの向きを検出できるようになる。

また、このリンバス検出領域の配置では、図１０（ｂ）に示すように、まばたき検知も可能となる。瞼１４４が閉じてくると、上側に配置されているＤａ，Ｄｂ部の照明が瞼によってケラレ、Ｄａ，Ｄｂからの反射光はほぼ検出されなくなる。リンバストラッカー方式は、角膜反射方式と比較して、眼球用撮像素子の画素数が少なく、信号の読み出し時間が短いことや、Ｐ像検出時に必要となる画像処理等が不要となるため、より高速駆動が可能である。カメラで多く用いられる程度の処理能力を持つＣＰＵや眼球用撮像素子を使用した場合には、角膜反射方式が数１０～数１００Ｈｚ駆動である。これに対し、リンバストラッカー方式は１ｋＨｚ程度で駆動できるため、例えば角膜反射方式よりもリンバストラッカー方式の方がより早くまばたき検知が可能である。一方、視線検出精度は、角膜反射方式の方が高い。まばたきによって視線検出ができなくなることを角膜反射方式よりも早期に検知することができることを活用して、視線検出ができない時間の視線予測等に活用することができる。

＜「角膜の２領域＋強膜」の３領域での反射率検知による視線検出精度向上＞
次に、図１０（ｃ）のように角膜の虹彩部と瞳孔部、強膜の３つの反射率の異なる領域にまたがってリンバス検出領域を設定することで、より高精度な視線検出が可能となる例を示す。強膜と虹彩部では数％の反射率の差、虹彩部と瞳孔部では数１０％の反射率の差がある。この反射率の差を積極的に利用することで視線検出の精度を向上することができる。図１０（ｄ）は正面方向から右方向に視線を連続的に移動させた場合の左右それぞれのリンバス検出領域Ｄａ，Ｄｂの反射率の変化を示した図である。図１０（ｄ）では、反射率差が異なることで、反射率の時間に対する変化率（反射率の傾きの大きさ）が視線の向きによって異なり、反射率の折れ曲がりが生じる。この反射率の折れ曲がりの位置を検出することで、強膜と虹彩の２つの領域の反射率差のみを使用する場合と比べて、より高精度な視線位置の検出が可能となる。瞳孔の大きさは撮影環境の明るさで動的に変化するが、角膜反射方式では瞳孔の位置と大きさの検出も行っており、その時の瞳孔径の値が特定できるため、瞳孔径の変化に合わせた位置の決定が可能である。

＜２つの視線検出方式の動的な使い分け＞
第一の視線検出手段のリンバストラッカー方式と、第二の視線検出手段の角膜反射方式の動的な併用方法、使い分けの例について述べる。

より一般的な場合では、２方式の視線検出手段の信頼度によって、どちらの視線検出手段を使用するか、あるいは両者を併用するかを決定する。各視線検出手段の信頼度は、例えば、現時点から過去一定時間内での視線検出位置のばらつきの大きさから算出、決定すればよい。また、角膜反射方式において複数のＰ像を検出する場合には、正常値として検出されたＰ像の検出数に応じて信頼度を決定してもよい。眼鏡を装着している撮影者の場合は、眼鏡のレンズの状態によっては眼球照明の多重反射像である偽Ｐ像が多く検出される場合がある。偽Ｐ像が多いと視線検出精度が低下する可能性が高まるため、検出される偽Ｐ像の数に応じて信頼度を低下させるなどを行ってもよい。

図１１はそれぞれの信頼度に応じて、動的に２方式を使い分けて視線検出を行う例の説明図である。

表示装置１０には、２種の視線検出手段の信頼度に反比例した半径を持つ視線位置予測円を表示している。リンバストラッカー方式の視線位置予測円をＣ_Ｌ， その半径をσ_Ｌ、角膜反射方式による視線位置予測円をＣ_Ｐ， その半径をσ_Ｐとする。また、あらかじめ設定した視線検出成功の閾値をＴ_Ｌ、Ｔ_Ｐとする。

σ_Ｐ ＜ Ｔ_Ｐ かつ σ_Ｌ ＜ Ｔ_Ｌの場合
⇒ 角膜反射方式 と リンバストラッカー方式の両方の視線検出結果を使用し、
視線予測位置Ｓとして、Ｃ_Ｐの中心とＣ_Ｌの中心を結ぶ直線をσ_Ｐ ＜とσ_Ｐ でない分した点とする。（図１１（ａ））

σ_Ｐ ＞ Ｔ_Ｐ かつ σ_Ｌ ＜ Ｔ_Ｌの場合
⇒ リンバストラッカー方式の視線検出位置を視線予測位置Ｓとする。（図１１（ｂ））

σ_Ｐ ＜ Ｔ_Ｐ かつ σ_Ｌ ＞ Ｔ_Ｌの場合
⇒ 角膜反射方式の視線検出位置を視線予測位置Ｓとする。（図１１（ｃ））
σ_Ｐ ＞ Ｔ_Ｐ かつ σ_Ｌ ＞ Ｔ_Ｌの場合

⇒ 視線検出失敗として、過去の視線検出位置から現在の位置を推定する。

このようにして、相補的に前記第一乃至二の視線情報検出手段を併用することで高精度な視線検出手段を提供することができる。

上述の実施例では本発明をデジタルカメラで実施する例を説明したが、視線検出を行う装置であればどんな装置に適用しても良い。例えばヘッドマウントディスプレイやスマートフォン、ＰＣ等において実施することも可能である。

また、前述の実施例でフローチャートを用いて説明した動作は、同様の目的を達成することができるように、適宜実行されるステップの順序を変更することが可能である。

本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワークあるいは記憶媒体を介してシステム又は装置に供給する構成をとることも可能である。。そして、、そのシステムあるいは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３ ＣＰＵ

Claims (10)

1. 近赤外光によって観察者の眼球を照明し、観察者の強膜と角膜の境界部であるリンバスの反射率から観察者の注視点を検出するリンバストラッカー方式による第１の検出手段と、
   近赤外光によって観察者の眼球を照明し、その角膜反射像と瞳孔の位置から観察者の注視点を検出する角膜反射方式による第２の検出手段と、を有することを特徴とする制御装置。
2. 前記第１の検出手段又は前記第２の検出手段の少なくとも一方による検出結果に基づく注視点に対応する指標を表示する表示手段を有することを特徴とする請求項１に記載の制御装置。
3. 前記表示手段は、前記第１の検出手段による検出結果の信頼度と前記第２の検出手段による検出結果の信頼度とに基づいて、前記指標を表示することを特徴とする請求項２に記載の制御装置。
4. 前記第１の検出手段又は前記第２の検出手段の少なくとも一方による検出結果に基づく注視点に対応する位置に対応する被写体を選択する選択手段を有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の制御装置。
5. 前記選択手段は、前記第１の検出手段による検出結果の信頼度と前記第２の検出手段による検出結果の信頼度とに基づいて、被写体を選択することを特徴とする請求項４に記載の制御装置。
6. 前記第１の検出手段は、角膜の虹彩部と強膜との境界部に基づいて観察者の注視点を検出することを特徴とする請求項１乃至請求項５のいずれか１項に記載の制御装置。
7. 前記第１の検出手段は、角膜の虹彩部、瞳孔部、強膜の３つの領域の境界部に基づいて観察者の注視点を検出することを特徴とする請求項１乃至請求項５のいずれか１項に記載の制御装置。
8. 前記第１の検出手段は、複数のリンバスにおける眼球照明光の反射率に基づいて観察者の注視点を検出することを特徴とする請求項１乃至請求項５のいずれか１項に記載の制御装置。
9. 前記第１の検出手段は、リンバスの横方向の位置、及びリンバスの縦方向の位置が異なる複数のリンバスにおける眼球照明光の反射率に基づいて観察者の注視点を検出することを特徴とする請求項１乃至請求項５のいずれか１項に記載の制御装置。
10. 近赤外光によって観察者の眼球を照明し、観察者の強膜と角膜の境界部であるリンバスの反射率から観察者の注視点を検出するリンバストラッカー方式による第１の検出ステップと、
    近赤外光によって観察者の眼球を照明し、その角膜反射像と瞳孔の位置から観察者の注視点を検出する角膜反射方式による第２の検出ステップと、を有することを特徴とする制御装置の制御方法。

Images