JP2022117239A - 視線検出装置 - Google Patents

Abstract

【課題】注視点に基づく処理を好適に行うことのできる技術を提供する。【解決手段】本発明の視線検出装置は、ユーザの右眼と左眼の視線をそれぞれ検出する視線検出手段と、前記右眼と前記左眼とのうち少なくとも利き眼の視線に基づいて注視点を検出する注視点検出手段と、前記右眼と前記左眼とのうち少なくとも非利き眼の視線の変動量に基づいて、前記注視点に基づく処理を制御する制御手段とを有することを特徴とする。【選択図】図１

Description

本発明は視線検出装置に関する。

視線（視線方向；視線位置）を検出（推定）し、注視点（注視位置）に基づく処理を行う様々な技術が提案されている。例えば、特許文献１では、ファインダを覗く撮影者の視線位置の情報に基づいて被写体を特定（撮影者が意図する被写体を認識）し、当該被写体への焦点制御を行う技術が提案されている。

注視点に基づく処理を行う技術は、カメラ制御の他、例えば、ｘＲ（仮想現実（ＶＲ）や拡張現実（ＡＲ）、複合現実（ＭＲ）、代替現実（ＳＲ）など）などにおいても利用されている。例えば、特許文献２では、ヘッドマウントディスプレイ（ＨＭＤ）において、ユーザが映像のどこを注視しているかを判別し、注視点付近では映像を鮮明にし、注視点から離れた領域では映像をぼかす技術が提案されている。この処理は、注視点を基準として被写界深度を疑似的に制御（変更）する処理であり、当該処理により、ユーザの没入感を高め、より快適なＶＲ体験を提供することができる。

ＨＭＤなどでの視線検出として、両眼を使った視線検出が提案されている。例えば、右眼と左眼のそれぞれの視線検出を行う方法や、利き眼と非利き眼を判別して利き眼を重視して注視点を検出する方法などが提案されている。特許文献３では、ユーザの利き眼を判定し、利き眼の情報に基づいて映像の位置を調整する技術が提案されている。

特開２００４－８３２３号公報 特表２０２０－５０４９５９号公報 特開２００７－３４６２８号公報

利き眼の視線情報を用いて注視点を判別する方法が提案されているが、従来技術では、注視点に基づく処理として、ユーザの意図（注視点の見方など）に依らない処理が行われるため、行われた処理がユーザにとって好ましくないことがある。例えば、特許文献２に開示の技術（注視点を基準とした被写界深度の制御）では、高い没入感を得たいユーザにとって好ましい制御が行われるが、この制御は、没入せずに映像全体を捉えたいユーザにとっては好ましくない。

本発明は、注視点に基づく処理を好適に行うことのできる技術を提供することを目的とする。

本発明の第１の態様は、ユーザの右眼と左眼の視線をそれぞれ検出する視線検出手段と、前記右眼と前記左眼とのうち少なくとも利き眼の視線に基づいて注視点を検出する注視点検出手段と、前記右眼と前記左眼とのうち少なくとも非利き眼の視線の変動量に基づいて、前記注視点に基づく処理を制御する制御手段とを有することを特徴とする視線検出装置である。

本発明の第２の態様は、ユーザの右眼と左眼の視線をそれぞれ検出するステップと、前記右眼と前記左眼とのうち少なくとも利き眼の視線に基づいて注視点を検出するステップと、前記右眼と前記左眼とのうち少なくとも非利き眼の視線の変動量に基づいて、前記注視点に基づく処理を制御するステップとを有することを特徴とする制御方法である。

本発明の第３の態様は、コンピュータを、上述した視線検出装置の各手段として機能させるためのプログラムである。本発明の第４の態様は、コンピュータを、上述した視線検出装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。

本発明によれば、注視点に基づく処理を好適に行うことができる。

実施例１に係るＨＭＤの構成を示す図である。 実施例１に係るＨＭＤの構成を示す図である。 実施例１に係る視線検出方法の原理を説明するための図である。 実施例１に係る眼画像を示す図である。 実施例１に係る視線検出動作のフローチャートである。 実施例１に係る注視点処理の制御動作のフローチャートである。 実施例１に係る注視点処理を説明するための図である。 実施例２に係る注視点処理を説明するための図である。

＜＜実施例１＞＞
以下、図１～７を参照して、本発明の実施例１について説明する。

＜構成の説明＞
図１は、実施例１に係る視線検出装置を有する表示装置の一例としてのヘッドマウントディスプレイ（ＨＭＤ）１００の構成の概略図である。ＨＭＤ１００は、ユーザの頭部に装着して使用する表示装置である。図１は、左側に、ＨＭＤ１００を装着したユーザの頭頂部の側から見たＨＭＤ１００を構成を示す構成図を含み、右側に、視線検出装置の機能構成を示すブロック図を含む。なお、ＨＭＤ１００は、表示部を有する視線検出装置の一例と捉えることもできる。

ユーザはＨＭＤ１００の筐体１０３を装着して、左ディスプレイ１０６に表示された映像を左接眼レンズ１０４を介して左眼１０１で見ることができ、右ディスプレイ１０７に表示された映像を右接眼レンズ１０５を介して右眼１０２で見ることができる。ＨＭＤ１００の装着には、例えば、非透過装着と透過装着がある。非透過装着時には、ディスプレイ（左ディスプレイ１０６と右ディスプレイ１０７）に、例えばＨＭＤ１００の内部に保存された映像や、ＨＭＤ１００が外部から取得した映像など、具体的には過去に撮影された映像や、ゲーム映像などが表示される。透過装着時には、左カメラ１０８で撮像されたライブ映像（ほぼリアルタイムの映像）が左ディスプレイ１０６に表示され、右カメラ１０９で撮像されたライブ映像が右ディスプレイ１０７に表示される。ライブ映像と他の映像とを融合させた（組み合わせた）映像をディスプレイに表示してもよいし、ライブ映像と他の映像とを適宜切り替えてディスプレイに表示してもよい。左視線検出器１１０は、ＨＭＤ１００を装着しているユーザの左眼１０１の視線（視線方向；視線位置）を検出（推定）し、右視線検出器１１１は、当該ユーザの右眼１０２の視線を検出する。視線の検出方法については後述する。

次に、視線検出装置の各機能部について説明する。視線検出部１１２は、ユーザの左眼１０１と右眼１０２の視線をそれぞれ検出する。具体的には、視線検出部１１２は、左視線検出器１１０と右視線検出器１１１のそれぞれから、視線の検出結果（視線情報）を取得する。利き眼判別部１１３は、左眼１０１と右眼１０２のどちらが利き眼で、どちらが非利き眼であるか（左眼１０１の視線情報と右眼１０２の視線情報とのどちらが利き眼の視線情報で、どちらが非利き眼の視線情報であるか）を判別する。

注視点検出部１１４は、左眼１０１と右眼１０２とのうち少なくとも利き眼の視線情報に基づいて、注視点（注視位置）を検出する。集中度検出部１１５は、左眼１０１と右眼１０２とのうち少なくとも非利き眼の視線情報に基づいてユーザの視線の変動量を検出（判断）し、当該変動量に応じてユーザの集中度を検出（判断）する。

処理制御部１１６は、注視点検出部１１４で検出された注視点に基づく処理を行う。その際、処理制御部１１６は、集中度検出部１１５で検出された集中度（視線の変動量）に基づいて、注視点に基づく処理を制御する。例えば、処理制御部１１６は、集中度に基づいて、ディスプレイ（左ディスプレイ１０６と右ディスプレイ１０７）に作用する特定の機能の制御量を調整する。

注視点に対するユーザの見方は様々であり、ユーザが注視点を漫然と見ている場合もあれば、何か意図をもって注視点を集中して見ている場合もある。そのような見方の違いを自動で判別し、判別結果に応じて処理（注視点に基づく処理）を自動で制御できれば、注視点に基づく処理を好適に行うことができる。例えば、高い没入感を得たいユーザは注視点を集中して見る傾向があるため、ユーザの集中度が高い場合に限って没入感を高めるための処理を行うことで、没入感を好適に高めることができる。ＧＵＩに対する操作（ボタンアイコンの押下など）を行いたいユーザも、注視点を集中して見る傾向がある。そのため、ユーザの集中度が高い場合に限ってＧＵＩに対する操作を補助する補助機能を有効にすれば、利便性を向上することができる（補助が不要なユーザに対して補助機能が提供されることによる利便性の低下を抑制することができる）。また、ユーザによる設定（注視点に基づく処理の切り替えなど）は不要となるため、没入感をより高めたり、利便性をより向上したりすることができる。

従来、対象物を漫然と見ている場合には、利き眼の視線のみが正確に対象物の方向に向き、非利き眼の視線は比較的大きく変動する（ぶれる）ということが、報告がされている。また、奥行き情報の必要な作業（例えば、ボタンアイコンの押下）をユーザが行う場合など、ユーザが対象物を集中して見る場合には、非利き眼も、視線の変動量が小さくなり、対象物の方向を向くということが、報告されている。

そこで、実施例１では、少なくとも利き眼の視線情報に基づいて注視点を検出し、少なくとも非利き眼の視線情報に基づいてユーザの視線の変動量（集中度）を検出する。そして、検出した変動量（集中度）に基づいて、注視点に基づく処理を制御する。こうすることで、上述したように、注視点に基づく処理を好適に行うことができる。

図２は、図１で示したＹ軸とＺ軸が成すＹＺ平面でＨＭＤ１００を切断した断面図であり、ＨＭＤ１００の構成の概略図である。図２では、ＨＭＤ１００の構成が図１よりも詳細に示されている。図２は、ＨＭＤ１００を装着したユーザの左眼側から見た断面を示するため、右接眼レンズ１０５、右ディスプレイ１０７、右カメラ１０９、及び、右視線検出器１１１は省略されている。右接眼レンズ１０５が左接眼レンズ１０４と同じ構成を有し、右ディスプレイ１０７は左ディスプレイ１０６と同様の構成を有し、右カメラ１０９は左カメラ１０８と同様の構成を有し、右視線検出器１１１は左視線検出器１１０と同様の構成を有する。

ＨＭＤ１００において、ＣＰＵ１２８は、ＨＭＤ１００の全体（各部）を制御する。メモリ１２９は、ディスプレイ（左ディスプレイ１０６と右ディスプレイ１０７）に表示する映像（映像情報）や、ＣＰＵ１２８が実行するプログラムなどを記憶する。例えば、ＣＰＵ１２８が、メモリ１２９に格納されたプログラムを実行することにより、視線検出部１１２、利き眼判別部１１３、注視点検出部１１４、集中度検出部１１５、及び、処理制御部１１６の機能が実現される。

左ディスプレイ１０６、映像を表示する表示部であり、例えば液晶パネルとバックライトの組み合わせや、有機ＥＬパネルなどである。ディスプレイ駆動回路１２４は、左ディスプレイ１０６（及び右ディスプレイ１０７）を駆動する。左接眼レンズ１０４は、左ディスプレイ１０６に表示された映像を観察するための接眼レンズである。

左カメラ１０８は、ＨＭＤ１００の透過装着時に外部を撮像するカメラであり、カメラ用撮像素子１２５、絞り機構１２６、及び、フォーカス機構１２７を有する。メモリ１２９は、カメラ用撮像素子１２５からの撮像信号（撮像された画像）を記憶する機能を有する。

左視線検出器１１０は、光源１２０、光分割器１２１、受光レンズ１２２、及び、眼用撮像素子１２３を有する。光源１２０は、視線検出のために左眼１０１を照明する光源である。例えば、光源１２０は、ユーザに対して不感の赤外光を発する赤外発光ダイオードであり、左接眼レンズ１０４の周りに配置されている。光源１２０の数は特に限定されない。照明された左眼１０１の光学像（眼球像；光源１２０から発せられて左眼１０１で反射した反射光による像）は、左接眼レンズ１０４を透過し、光分割器１２１で反射される。そして、眼球像は、受光レンズ１２２によって、ＣＭＯＳ等の光電素子列を２次元的に配した眼用撮像素子１２３上に結像される。眼球像には、光源１２０からの光の角膜反射による反射像（角膜反射像；プルキニエ像）が含まれている。受光レンズ１２２は、左眼１０１の瞳孔と眼用撮像素子１２３を共役な結像関係に位置付けている。後述する所定のアルゴリズムにより、眼用撮像素子１２３上に結像された眼球像における瞳孔（瞳孔像）と角膜反射像の位置関係から、左眼１０１の視線が検出される。メモリ１２９は、眼用撮像素子１２３からの撮像信号を記憶する機能と、視線補正データを記憶する機能とを有する。

＜視線検出動作の説明＞
図３，４（Ａ），４（Ｂ），５を用いて、視線検出方法について説明する。左眼１０１の視線も右眼１０２の視線も、以下の方法で検出される。図３は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。図３に示すように、光源１２０ａ，１２０ｂは受光レンズ１２２の光軸に対して略対称に配置され、ユーザの眼１４０（左眼１０１または右眼１０２）を照らす。光源１２０ａ，１２０ｂから発せられて眼１４０で反射した光の一部は、受光レンズ１２２によって、眼用撮像素子１２３に集光する。図４（Ａ）は、眼用撮像素子１２３で撮像された眼画像（眼用撮像素子１２３に投影された眼球像）の概略図であり、図４（Ｂ）は眼用撮像素子１２３におけるＣＭＯＳの出力強度を示す図である。図５は、視線検出動作の概略フローチャートである。

視線検出動作が開始すると、図５のステップＳ００１で、光源１２０ａ，１２０ｂは、ユーザの眼１４０に向けて赤外光を発する。赤外光によって照明されたユーザの眼球像は、受光レンズ１２２を通して眼用撮像素子１２３上に結像され、眼用撮像素子１２３により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。

ステップＳ００２では、視線検出器（左視線検出器１１０または右視線検出器１１１）
は、眼用撮像素子１２３から得られた眼画像（眼画像信号；眼画像の電気信号）をＣＰＵ１２８に送る。

ステップＳ００３では、ＣＰＵ１２８は、ステップＳ００２で得られた眼画像から、光源１２０ａ，１２０ｂの角膜反射像Ｐｄ，Ｐｅと瞳孔中心ｃに対応する点の座標を求める。

光源１２０ａ，１２０ｂより発せられた赤外光は、ユーザの眼１４０の角膜１４２を照明する。このとき、角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは、受光レンズ１２２により集光され、眼用撮像素子１２３上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’となる。同様に瞳孔１４１の端部ａ，ｂからの光束も眼用撮像素子１２３上に結像して、眼画像における瞳孔端像ａ’，ｂ’となる。

図４（Ｂ）は、図４（Ａ）の眼画像における領域αの輝度情報（輝度分布）を示す。図４（Ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。実施例１では、角膜反射像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとし、瞳孔端像ａ’，ｂ’のＸ軸方向の座標をＸａ，Ｘｂとする。図４（Ｂ）に示すように、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔１４１の領域（瞳孔１４１からの光束が眼用撮像素子１２３上に結像して得られる瞳孔像の領域）に相当する、Ｘ座標ＸａからＸ座標Ｘｂまでの領域では、Ｘ座標Ｘｄ，Ｘｅを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔１４１の外側の虹彩１４３の領域（虹彩１４３からの光束が結像して得られる、瞳孔像の外側の虹彩像の領域）では、上記２種の輝度の中間の輝度が得られる。具体的には、Ｘ座標（Ｘ軸方向の座標）がＸ座標Ｘａより小さい領域と、Ｘ座標がＸ座標Ｘｂより大きい領域とで、上記２種の輝度の中間の輝度が得られる。

図４（Ｂ）に示すような輝度分布から、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂを得ることができる。具体的には、輝度が極端に高い座標を角膜反射像Ｐｄ’，Ｐｅ’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像ａ’，ｂ’の座標として得ることができる。また、受光レンズ１２２の光軸に対する眼１４０の光軸の回転角θｘが小さい場合には、瞳孔中心ｃからの光束が眼用撮像素子１２３上に結像して得られる瞳孔中心像ｃ’（瞳孔像の中心）のＸ座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。つまり、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂから、瞳孔中心像ｃ’のＸ座標Ｘｃを算出できる。このようにして、角膜反射像Ｐｄ’，Ｐｅ’の座標と、瞳孔中心像ｃ’の座標とを見積もることができる。

ステップＳ００４では、ＣＰＵ１２８は、眼球像の結像倍率βを算出する。結像倍率βは、受光レンズ１２２に対する眼１４０の位置により決まる倍率で、角膜反射像Ｐｄ’，Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数を用いて求めることができる。

ステップＳ００５では、ＣＰＵ１２８は、受光レンズ１２２の光軸に対する眼１４０の光軸の回転角を算出する。角膜反射像Ｐｄと角膜反射像Ｐｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜１４２の曲率中心Ｏから瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼１４０の回転角θｘは、以下の式１で算出できる。Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼１４０の回転角θｙも、回転角θｘの算出方法と同様の方法で算出できる。

β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ ・・・（式１）

ステップＳ００６では、ＣＰＵ１２８は、ステップＳ００５で算出した回転角θｘ，θｙを用いて、ディスプレイ（左ディスプレイ１０６または右ディスプレイ１０７）の表示面上でのユーザの視線位置（視線が注がれた位置；ユーザが見ている位置）を求める（推定する）。視線位置の座標（Ｈｘ，Ｈｙ）が瞳孔中心ｃに対応する座標であるとすると、視線位置の座標（Ｈｘ，Ｈｙ）は以下の式２，３で算出できる。

Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） ・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） ・・・（式３）

式２，３のパラメータｍは、光学系（受光レンズ１２２等）の構成で定まる定数であり、回転角θｘ，θｙをディスプレイの表示面上でのる瞳孔中心ｃに対応する座標に変換する変換係数である。パラメータｍは、予め決定されてメモリ１２９に格納されるとする。パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線の個人差を補正する視線補正パラメータであり、キャリブレーション作業を行うことで取得される。パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線検出動作が開始する前にメモリ１２９に格納されるとする。

ステップＳ００７では、ＣＰＵ１２８は、視線位置の座標（Ｈｘ，Ｈｙ）をメモリ１２９に格納し、視線検出動作を終える。

なお、光源１２０ａ，１２０ｂの角膜反射像を利用した視線検出方法を説明したが、これに限られず、眼画像から眼の回転角度を検出するなど、眼画像を利用した方法であれば、どのような方法で視線を検出してもよい。

＜注視点処理の制御動作の説明＞
図６，７（Ａ），７（Ｂ）を用いて、注視点処理（注視点に基づく処理）を制御する制御動作について説明する。図６は、注視点処理の制御動作の概略フローチャートである。図７（Ａ），７（Ｂ）は、ディスプレイ（左ディスプレイ１０６と右ディスプレイ１０７）での表示の概略図である。

制御動作が開始すると、ステップＳ１０１で、視線検出部１１２は、左眼１０１の視線情報（視線の検出結果）を左視線検出器１１０から取得し、右眼１０２の視線情報を右視線検出器１１１から取得する。視線検出部１１２は、取得した視線情報を利き眼判別部１１３へ出力（送信）する。左視線検出器１１０と右視線検出器１１１による視線の検出方法は、上述した通りである。

ステップＳ１０２では、利き眼判別部１１３は、左眼１０１と右眼１０２のどちらが利き眼で、どちらが非利き眼であるか（左眼１０１の視線情報と右眼１０２の視線情報とのどちらが利き眼の視線情報で、どちらが非利き眼の視線情報であるか）を判別する。利き眼判別部１１３は、利き眼／非利き眼の判別結果と、視線検出部１１２で取得された視線情報（左眼１０１と右眼１０２の視線情報）とを、注視点検出部１１４と集中度検出部１１５へ出力する。利き眼判別部１１３は、利き眼／非利き眼の判別結果は出力せずに、当該判別結果を踏まえて視線情報を出力してもよい。例えば、利き眼の視線情報を注視点検出部１１４へ出力し、非利き眼の視線情報を集中度検出部１１５へ出力してもよい。

大多数の人間には利き眼があり、利き眼の視線位置とユーザが見たい対象物の位置との間の距離は、非利き眼の視線位置と対象物の位置との間の距離よりも短くなる傾向がある。一般的に、精度の高い遠近感や奥行きを感じ取るために、非利き眼は対象物の近傍に視線を向ける（非利き眼の視線は対象物の近傍で変動する）。非利き眼の視線の変動量（変動幅）は比較的大きく、非利き眼の視線だけでは、どこを見ているかを正確に特定できな
い場合もある。このように、非利き眼について検出した視線は、ユーザが意図した視線と必ずしも一致しないことが多く、非利き眼についての視線検出の精度は高くないことが知られている。

利き眼判別部１１３は、例えば、左眼１０１と右眼１０２のうち、注視させるために用意した対象物と、検出された視線位置との間のずれ量（時系列的なずれ量）が小さい方を眼を利き眼として判別し、ずれ量が大きい方を非利き眼として判別することができる。利き眼判別部１１３は、対象物を見ているユーザの眼頭から瞳孔までの距離を左眼１０１と右眼１０２のそれぞれについて取得し、取得した距離に基づいて利き眼と非利き眼を判別してもよい。利き眼／非利き眼の判別には既知の技術を用いることができる。予めユーザによって、左眼１０１と右眼１０２のどちらが利き眼で、どちらが非利き眼であるかが登録されてもよい。その場合は、利き眼判別部１１３は、利き眼／非利き眼の登録情報に基づいて、、左眼１０１と右眼１０２のどちらが利き眼で、どちらが非利き眼であるかを判別してもよい。

ステップＳ１０３では、注視点検出部１１４は、左眼１０１と右眼１０２とのうち少なくとも利き眼の視線情報に基づいて、注視点を検出する。図７（Ａ）に示すように、注視点は、ディスプレイ（左ディスプレイ１０６と右ディスプレイ１０７）の視線検出エリア内で検出される。注視点検出部１１４は、検出した注視点を処理制御部１１６へ通知する。上述したように、非利き眼についての視線検出の精度は高くないことが知られている。そのため、注視点の検出には、利き眼の視線情報を用いる。注視点に基づく処理において、利き眼の注視点は、非利き眼の注視点として用いてもよい。なお、ＨＭＤ１００は、利き眼の視線（検出結果；視線情報）のぶれと非利き眼の視線（検出結果；視線情報）のぶれとをそれぞれ補正する（低減する）機能を有してもよい。その場合には、注視点検出部１１４は、左眼１０１の視線情報から左眼１０１の注視点を検出し、右眼１０２の視線情報から右眼１０２の注視点を検出してもよい。左眼１０１の注視点は、左ディスプレイ１０６のうち左眼１０１で注視している位置であり、右眼１０２の注視点は、右ディスプレイ１０７のうち右眼１０２で注視している位置である。

ステップＳ１０４では、集中度検出部１１５は、左眼１０１と右眼１０２とのうち少なくとも非利き眼の視線情報に基づいてユーザの視線の変動量を検出（判断）し、当該変動量に応じてユーザの集中度を検出（判断）する。集中度検出部１１５は、検出した集中度を処理制御部１１６へ通知する。上述したように、対象物を漫然と見ている場合には、非利き眼の視線は比較的大きく変動する（ぶれる）。また、奥行き情報の必要な作業（例えば、ボタンアイコンの押下）をユーザが行う場合など、ユーザが対象物を集中して見る場合には、非利き眼も、視線の変動量が小さくなり、対象物の方向を向く。そのため、集中度検出部１１５は、非利き眼の視線情報に基づいて視線の変動量（時系列的な変動量）を検出し、変動量が大きいほど低い（変動量が小さいほど高い）集中度を検出する。集中度検出部１１５は、集中度として、変動量の変化に対して連続的に変化する値を検出してもよいし、１つ以上の閾値を用いて、変動量の変化に対して段階的に変化する値を検出してもよい。例えば、集中度が「低」と「高」の２状態のいずれかが検出されるように、集中度検出部１１５は、変動量が閾値以上の場合に集中度「低」を検出し、変動量が当該閾値未満の場合に集中度「高」を検出してもよい。変動量は、注視点検出部１１４で検出された注視点からのばらつきの大きさであってもよいし、そうでなくてもよい。例えば、変動量は、時間変化する視線位置の平均位置からばらつきの大きさ（標準偏差など）であってもよい。

注視点検出部１１４で利き眼の視線情報から注視点を推定し、集中度検出部１１５で非利き眼の視線情報から集中度を推定するような機能の使い分けは、演算処理の負荷軽減の観点で好ましい。しかし、左眼１０１の視線の変動量と、右眼１０２の視線の変動量とが
略同一であるなど、利き眼／非利き眼の判別が難しい場合は、集中度検出部１１５は、左眼１０１の視線の変動量と、右眼１０２の視線の変動量との両方に基づいて、集中度を推定してもよい。例えば、左眼１０１の視線の変動量と、右眼１０２の視線の変動量との平均に応じて集中度を推定してもよいし、左眼１０１の視線の変動量と、右眼１０２の視線の変動量とのうちの大きい方に応じて集中度を推定してもよい。

ステップＳ１０５では、処理制御部１１６は、注視点検出部１１４で検出された注視点に基づく処理を行う。その際、処理制御部１１６は、集中度検出部１１５で検出された集中度（視線の変動量）に基づいて、注視点に基づく処理を制御する。

実施例１では、注視点に基づく処理は、ディスプレイ（左ディスプレイ１０６と右ディスプレイ１０７）に表示される映像にぼかし効果を付与することで、当該映像の被写界深度を、注視点を基準として疑似的に制御（変更）する処理であるとする。ぼかし効果は、フィルタ処理などの画像処理によって付与される。処理制御部１１６は、集中度検出部１１５で検出された集中度（視線の変動量）に基づいて、ぼかし効果を付与する領域や、ぼかし効果の強度などを制御する。

ここで、ユーザの視線が或る対象者の方向を向いており、ユーザが意図をもって対象者を集中して見ている場合など、集中度検出部１１５で検出された集中度が高い場合を考える。この場合には、処理制御部１１６は、図７（Ａ）のような表示が行われるように、に、映像にぼかし効果を付与する。図７（Ａ）の表示について説明する。注視点とその周囲を含んだ領域では、鮮明な表示が保たれており、その他の領域ではぼかし効果が付与されて不鮮明な表示がされている。ぼかし効果を付与する領域と、付与しない領域とは、ぼかし効果ラインで区切られている。

なお、ぼかし効果ラインのサイズ（径）、ぼかし効果ラインの数、ぼかし効果の強度などは特に限定されず、集中度に応じてそれらを変更するようにしてもよい。例えば、注視点を中心に複数のぼかし効果ラインを設定し、複数のぼかし効果ラインで区切られた複数の領域に対し、注視点から遠いほど強いぼかし効果を付与してもよい。また、注視点が対象者の顔を捉えているような場合には、注視点の検出位置を、対象者の顔や身体を含んだ領域の中心などに変更し、変更後の注視点を基準とした被写界深度が浅くなるように、映像にぼかし効果を付与してもよい。

なお、上述したように、ＨＭＤ１００の透過装着時にはディスプレイにライブ映像が表示される。この場合には、ぼかし効果が付与されたライブ映像（注視点を基準とした被写界深度が浅いライブ映像）が撮像されるように、絞り機構１２６とフォーカス機構１２７を制御してもよい。フォーカス機構１２７で注視点にピントを合わせ、絞り機構１２６で絞り値を小さくすることで、ライブ映像にぼかし効果を付与することができる（注視点を基準とした被写界深度が浅いライブ映像を撮像することができる）。もちろん、ＨＭＤ１００の装着が透過装着であるか非透過装着であるかにかかわらず、画像処理で映像にぼかし効果を付与してもよい。

人間は集中すると、認知に大きく貢献する周辺視野領域（有効視野などと呼ばれる）が狭窄することが知られている。そのため、集中度が高い場合に注視点を基準としたぼかし効果を映像に付与することは、ユーザの集中の妨げにはならない。むしろ、集中度が高い場合に注視点を基準としたぼかし効果を映像に付与することで、ユーザの没入感を高めることができる。

ユーザが映像全体を確認したい場合など、集中度検出部１１５で検出された集中度が低い場合を考える。この場合には、ユーザは、図７（Ａ）のようにぼかし効果が付与される
のを厭うことがある。そのため、この場合には、処理制御部１１６は、図７（Ｂ）のような表示（全体で鮮明な表示）が行われるように、ぼかし効果の付与を停止する。図７（Ｂ）の表示は、映像全体を確認したいというユーザのニーズに合っており、当該ユーザにとって好適な表示である。

以上述べたように、実施例１によれば、右眼と左眼とのうち利き眼の視線に基づいて注視点が検出され、右眼と左眼とのうち少なくとも非利き眼の視線の変動量に基づいて、注視点に基づく処理が制御される。これにより、注視点に基づく処理を好適に行うことができる。具体的には、処理制御部１１６は、集中度検出部１１５で検出された集中度が高いほど（集中度検出部１１５で検出された視線の変動量が小さいほど）、注視点を基準とした映像の被写界深度を浅くする。これにより、ユーザの没入感や利便性を向上することができる。

なお、本発明をＨＭＤを適用した例を説明したが、本発明は、ｘＲ（仮想現実（ＶＲ）や拡張現実（ＡＲ）、複合現実（ＭＲ）、代替現実（ＳＲ）など）を実現する装置全般に適用可能である。また、本発明は、車載カメラやパーソナルコンピュータ、タブレット端末、スマートフォンなど、撮像部（カメラ）や表示部（ディスプレイ）などを有する装置にも適用可能である。本発明を適用した視線検出装置は、カメラや表示装置などとは別体の装置であってもよい。

＜＜実施例２＞＞
以下、図８を参照して、本発明の実施例２について説明する。なお、以下では、実施例１と同じ点（構成や処理など）についての説明は省略し、実施例１と異なる点について説明する。実施例２に係るＨＭＤの基本的な構成や処理フローは実施例１と同じであり、処理制御部１１６の機能が異なる。

実施例２では、図８で示すように、ＶＲ空間に表示されたＧＵＩであるボタンアイコンをポインティングコントローラで選択・クリックするような場合を想定している。例えば、ユーザがポインティングコントローラを手で動かすと、その動きに連動して、ＶＲ空間上に表示された仮想のポインティングコントローラも動く。ＶＲ空間のポインティングコントローラは先端からレーザーを発しており、レーザーがボタンアイコンに衝突した位置にポインタが表示される。ポインティングコントローラに対するクリックは、レーザーが衝突するボタンアイコン（ポインタで示されたボタンアイコン）に反映される。ポインタは、ユーザからの指示に応じて移動させることが可能なアイテムの一種である。

ポインティングコントローラを用いてＶＲ空間上でポインタをボタンアイコンへ合わせ込む場合に、ポインタが狙ったボタンアイコンへ移動しない、ボタンアイコンを通り超してしまう、近くの別のボタンアイコンを指してしまう、などの課題がある。そこで実施例２では、これらの課題を解決するために、ユーザの集中度に基づいて、ポインタの移動の制御性を変更する。

実施例２の処理制御部１１６は、集中度検出部１１５で検出された集中度が高いほど（集中度検出部１１５で検出された視線の変動量が小さいほど）、注視点の近傍におけるポインタの移動分解能を高くする。

具体的には、集中度検出部１１５で検出された集中度が高い場合に、処理制御部１１６は、図８に示すように、注視点を基準として制御ラインを設定する。そして、処理制御部１１６は、注視点から見て制御ラインの外側では粗く、制御ラインの内側では細かくポインタが移動すように、ポインタの移動分解能を制御する。

なお、制御ラインのサイズ（径）、制御ラインの数、制御ラインで区切られた各領域での移動分解能の値などは特に限定されず、集中度に応じてそれらを変更するようにしてもよい。また、注視点がボタンアイコンの端部を捉えているような場合には、注視点の検出位置を、ボタンアイコンの中心などに変更してもよい。そして、変更後の注視点に近いほどポインタの移動分解能が高くなるように、変更後の注視点を基準として制御ラインを設定してもよい。

例えば、ユーザがボタンアイコンの選択・クリックなどを行いたい場合など、ユーザがポインタでボタンアイコンを正確に捉えたい場合に、注視点が所望のボタンアイコンを捉え、高い集中度が検出される。上記制御によれば、そのような場合に、所望のボタンアイコンから遠いほどポインタを大まかに動かし、所望のボタンアイコンに近いほどポインタを細かく動かすことが可能となる。その結果、ボタンアイコンへのポインタの合わせ込みを素早く且つ正確に行うことが可能となる。

集中度検出部１１５で検出された集中度が低い場合には、処理制御部１１６は、制御ラインを設定せず（制御ラインの設定を解除し）、ポインタの移動分解能を映像全体で均一に設定する。このとき、処理制御部１１６は、移動分解能を、集中度が高い場合における注視点の近傍での移動分解能よりも低く設定する。こうすることで、ユーザの意図に反してポインタの移動速度が遅くなることを抑制できる。そして、映像全体に亘ってポインタを素早く移動さることが可能となる。また、ポインタの位置に応じて移動分解能を変更する機能を解除することで、ＣＰＵ１２８の処理負荷を低減することもできる。なお、集中度が低い場合に、注視点の近傍における移動分解能が集中度が高い場合よりも低ければ、注視点に近いほど移動分解能が高くなるように制御ラインを設定してもよい。

処理制御部１１６は、集中度検出部１１５で検出された集中度が高いほど（集中度検出部１１５で検出された視線の変動量が小さいほど）、ポインタを注視点に吸着しやすくしてもよい。例えば、処理制御部１１６は、集中度が高いほど長い距離（吸着距離）を設定し、注視点から吸着距離の範囲内にポインタが近づけられると、ポインタを注視点に吸着させる。ユーザがボタンアイコンを集中して見ている場合に、ポインタを所望のボタンアイコンに近づければ、ポインタは所望のボタンアイコンに吸い寄せられるように移動するため、合わせ込みの速度および精度が向上する。また、集中度が高いほど合わせ込みが容易となる。さらに、集中度が高い場合には、ポインタを操作する手が震えても、ポインタは手の震えに追従せずに、所望のボタンアイコンに吸着し続けるため、合わせ込んだ状態が維持しやすくなり、選択ミスなどの誤操作を抑制することができる。一方で、集中度が低い場合には、ユーザの意図に反してポインタがボタンアイコンに吸着することを抑制できる。なお、集中度が低い場合には、ポインタが注視点に吸着しないようにしてもよい。

処理制御部１１６は、集中度検出部１１５で検出された集中度が高いほど（集中度検出部１１５で検出された視線の変動量が小さいほど）、ユーザの視線の変化が注視点の検出位置に及ぼす影響を小さくしてもよい。換言すれば、処理制御部１１６は、集中度が高いほど注視点の検出位置を変化しにくくしてもよい。例えば、処理制御部１１６は、集中度が高い場合には、ユーザの意図に反した眼の揺れ（固視微動）や、瞬間的な視線の変更などをエラーとして扱って、注視点の検出位置に反映しないようにする。これにより、固視微動や、瞬間的な視線の変更などがあっても、注視点の検出位置を維持して、注視点に基づく処理として所望の処理（ユーザの意図通りの処理）を実行できるようになる。一方で、集中度が低い場合には、処理制御部１１６は、固視微動や瞬間的な視線の変更などを含む全ての視線変化を注視点の検出位置に反映する。これにより、注視点の検出位置を素早く変えることが可能となる。なお、集中度が高いほど小さい重みで現在の視線位置を注視点の検出位置を合成し、注視点の検出位置を更新するようにしてもよい。

なお、上述した３種類の制御（ポインタの移動分解能の制御、ポインタの吸着の制御、及び、注視点の検出位置の制御）は、適宜組み合わせて実行してもよい。上述した制御に、ポインタを注視点に合わせ込む他の制御を組み合わせてもよい。

以上述べたように、実施例２でも、注視点に基づく処理を好適に行うことができる。

なお、本発明をＨＭＤを適用した例を説明したが、本発明は、ｘＲ（仮想現実（ＶＲ）や拡張現実（ＡＲ）、複合現実（ＭＲ）、代替現実（ＳＲ）など）を実現する装置全般に適用可能である。また、本発明は、車載カメラやパーソナルコンピュータ、タブレット端末、スマートフォンなど、撮像部（カメラ）や表示部（ディスプレイ）などを有する装置にも適用可能である。本発明を適用した視線検出装置は、カメラや表示装置などとは別体の装置であってもよい。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：ＨＭＤ １１２：視線検出部 １１３：利き眼判別部
１１４：注視点検出部 １１５：集中度検出部 １１６：処理制御部

Claims (10)

1. ユーザの右眼と左眼の視線をそれぞれ検出する視線検出手段と、
   前記右眼と前記左眼とのうち少なくとも利き眼の視線に基づいて注視点を検出する注視点検出手段と、
   前記右眼と前記左眼とのうち少なくとも非利き眼の視線の変動量に基づいて、前記注視点に基づく処理を制御する制御手段と
   を有することを特徴とする視線検出装置。
2. 前記視線の変動量は、前記注視点からのばらつきの大きさである
   ことを特徴とする請求項１に記載の視線検出装置。
3. 前記制御手段は、前記右眼の視線の変動量と、前記左眼の視線の変動量とが略同一である場合に、前記右眼の視線の変動量と、前記左眼の視線の変動量との両方に基づいて、前記注視点に基づく処理を制御する
   ことを特徴とする請求項１または２に記載の視線検出装置。
4. 前記ユーザに見せる映像を表示する表示手段をさらに有し、
   前記制御手段は、前記変動量が小さいほど、前記注視点を基準とした前記映像の被写界深度を浅くする
   ことを特徴とする請求項１～３のいずれか１項に記載の視線検出装置。
5. 前記制御手段は、前記変動量が小さいほど、前記ユーザの視線の変化が前記注視点の検出位置に及ぼす影響を小さくする
   ことを特徴とする請求項１～３のいずれか１項に記載の視線検出装置。
6. 前記ユーザからの指示に応じて移動させることが可能なアイテムを表示する表示手段をさらに有し、
   前記制御手段は、前記変動量が小さいほど、前記注視点の近傍における前記アイテムの移動分解能を高くする
   ことを特徴とする請求項１～３のいずれか１項に記載の視線検出装置。
7. 前記ユーザからの指示に応じて移動させることが可能なアイテムを表示する表示手段をさらに有し、
   前記制御手段は、前記変動量が小さいほど、前記アイテムを前記注視点に吸着しやすくする
   ことを特徴とする請求項１～３のいずれか１項に記載の視線検出装置。
8. ユーザの右眼と左眼の視線をそれぞれ検出するステップと、
   前記右眼と前記左眼とのうち少なくとも利き眼の視線に基づいて注視点を検出するステップと、
   前記右眼と前記左眼とのうち少なくとも非利き眼の視線の変動量に基づいて、前記注視点に基づく処理を制御するステップと
   を有することを特徴とする制御方法。
9. コンピュータを、請求項１～７のいずれか１項に記載の視線検出装置の各手段として機能させるためのプログラム。
10. コンピュータを、請求項１～７のいずれか１項に記載の視線検出装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images