JP2022183552A - 視線情報取得装置、撮像装置、視線情報取得方法、プログラム、及び、記憶媒体 - Google Patents

Abstract

【課題】固視微動による視線情報の変化を好適に低減することのできる技術を提供する。【解決手段】本発明の視線情報取得装置は、撮像された画像を見る眼の視線の情報である視線情報を取得する第１取得手段と、固視微動による前記視線情報の変化を低減する低減手段とを有し、前記低減手段は、前記画像を撮像する際の焦点距離が短い場合に、前記焦点距離が長い場合よりも大きい低減度合いで、前記固視微動による前記視線情報の変化を低減することを特徴とする。【選択図】図９

Description

本発明は、視線情報取得装置、撮像装置、視線情報取得方法、プログラム、及び、記憶媒体に関する。

近年、撮像装置の自動化・インテリジェント化が進み、手動で位置が入力されずとも、ファインダーを覗く撮影者の視線の情報（視線情報）に基づいて、撮影者が見ている方向の空間内の位置や、画面上の位置などを選択する装置が提案されている。

視線検出の誤差要因の１つとして人間の生理的眼球運動がある。例えば、人間の眼球は、一点を見ているつもりでも、不随意的に細かく揺（振）れる。このような不随意運動は固視微動などと呼ばれる。

特許文献１では、所定時間内における瞳孔中心位置の移動距離に基づいて、操作者の眼球の動きが、固視微動であるか、随意運動・跳躍運動であるかを判断する構成が提案されている。さらに、特許文献１では、その判断結果に基づき、瞳孔中心位置のデータ数を変更して、瞳孔中心位置の平均値を計算し、この計算結果に基づき視線方向を検出する構成が提案されている。

特開平１１－２８２６１７号公報

しかしながら、特許文献１の構成では、操作者が見ている物体の大きさや移動量が動的に変化する場合に、固視微動により、視線検出の精度が低下し、視線情報に意図せぬ変化が生じてしまう。

本発明は、固視微動による視線情報の変化を好適に低減することのできる技術を提供することを目的とする。

本発明の第１の態様は、撮像された画像を見る眼の視線の情報である視線情報を取得する第１取得手段と、固視微動による前記視線情報の変化を低減する低減手段とを有し、前記低減手段は、前記画像を撮像する際の焦点距離が短い場合に、前記焦点距離が長い場合よりも大きい低減度合いで、前記固視微動による前記視線情報の変化を低減することを特徴とする視線情報取得装置である。

本発明の第２の態様は、画像を見る眼の視線の情報である視線情報を取得する第１取得手段と、固視微動による前記視線情報の変化を低減する低減手段とを有し、前記低減手段は、前記画像における物体までの奥行きである物体距離が長い場合に、前記物体距離が短い場合よりも大きい低減度合いで、前記固視微動による前記視線情報の変化を低減することを特徴とする視線情報取得装置である。

本発明の第３の態様は、撮像手段と、上述した視線情報取得装置とを有し、前記視線情
報取得装置は、前記撮像手段により撮像された前記画像を表示部に表示するように制御し、前記画像を見る眼の視線を検出することを特徴とする撮像装置である。

本発明の第４の態様は、撮像された画像を見る眼の視線の情報である視線情報を取得する取得ステップと、固視微動による前記視線情報の変化を低減する低減ステップとを有し、前記低減ステップでは、前記画像を撮像する際の焦点距離が短い場合に、前記焦点距離が長い場合よりも大きい低減度合いで、前記固視微動による前記視線情報の変化を低減することを特徴とする視線情報取得方法である。

本発明の第５の態様は、画像を見る眼の視線の情報である視線情報を取得する取得ステップと、固視微動による前記視線情報の変化を低減する低減ステップとを有し、前記低減ステップでは、前記画像における物体までの奥行きである物体距離が長い場合に、前記物体距離が短い場合よりも大きい低減度合いで、前記固視微動による前記視線情報の変化を低減することを特徴とする視線情報取得方法である。

本発明の第６の態様は、コンピュータを、上述した視線情報取得装置の各手段として機能させるためのプログラムである。本発明の第７の態様は、コンピュータを、上述した視線情報取得装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。

本発明によれば、固視微動による視線情報の変化を好適に低減することができる。

カメラの外観図である。 カメラの断面図である。 カメラのブロック図である。 ファインダー内視野を示す図である。 視線検出方法の原理を説明するための図である。 眼画像を示す図である。 視線検出動作のフローチャートである。 検出された視点の時間変化を示すグラフである。 焦点距離とカットオフ周波数の関係を示すグラフである。 事後推定値は事前推定値と観測値の関係を示す図である。 固視微動低減処理の制御を示すフローチャートである。 焦点距離と物体距離とカットオフ周波数の関係を示すグラフである。 他の電子機器の外観図である。

＜＜実施形態１＞＞
以下、添付の図面を参照して本発明の実施形態１について説明する。

＜構成の説明＞
図１（Ａ），１（Ｂ）は、実施形態１に係るカメラ１（デジタルスチルカメラ；レンズ交換式カメラ）の外観を示す。図１（Ａ）は正面斜視図であり、図１（Ｂ）は背面斜視図である。図１（Ａ）に示すように、カメラ１は、撮影レンズユニット１Ａ及びカメラ筐体１Ｂを有する。カメラ筐体１Ｂには、ユーザー（撮影者）からの撮影操作を受け付ける操作部材であるレリーズボタン５が配置されている。図１（Ｂ）に示すように、カメラ筐体１Ｂの背面には、カメラ筐体１Ｂ内に含まれている後述の表示デバイス１０（表示パネル）をユーザーが覗き込むための接眼レンズ１２（接眼光学系）が配置されている。なお、
接眼光学系には複数枚のレンズが含まれていてもよい。カメラ筐体１Ｂの背面には、ユーザーからの各種操作を受け付ける操作部材４１～４３も配置されている。例えば、操作部材４１はタッチ操作を受け付けるタッチパネルであり、操作部材４２は各方向に押し倒し可能な操作レバーであり、操作部材４３は４方向のそれぞれに押し込み可能な４方向キーである。操作部材４１（タッチパネル）は、液晶パネルなどの表示パネルを備えており、表示パネルで画像を表示する機能を有する。

図２は、図１（Ａ）に示したＹ軸とＺ軸が成すＹＺ平面でカメラ１を切断した断面図であり、カメラ１の大まかな内部構成を示す。

撮影レンズユニット１Ａ内には、２枚のレンズ１０１，１０２、絞り１１１、絞り駆動部１１２、レンズ駆動モーター１１３、レンズ駆動部材１１４、フォトカプラー１１５、パルス板１１６、マウント接点１１７、焦点調節回路１１８などが含まれている。レンズ駆動部材１１４は駆動ギヤなどからなり、フォトカプラー１１５は、レンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、焦点調節回路１１８に伝える。焦点調節回路１１８は、フォトカプラー１１５からの情報と、カメラ筐体１Ｂからの情報（レンズ駆動量の情報）とに基づいてレンズ駆動モーター１１３を駆動し、レンズ１０１を移動させて合焦位置を変更する。マウント接点１１７は、撮影レンズユニット１Ａとカメラ筐体１Ｂとのインターフェイスである。なお、簡単のために２枚のレンズ１０１，１０２を示したが、実際は２枚より多くのレンズが撮影レンズユニット１Ａ内に含まれている。

カメラ筐体１Ｂ内には、撮像素子２、ＣＰＵ３、メモリ部４、表示デバイス１０、表示デバイス駆動回路１１などが含まれている。撮像素子２は、撮影レンズユニット１Ａの予定結像面に配置されている。ＣＰＵ３は、マイクロコンピュータの中央処理部であり、カメラ１全体を制御する。メモリ部４は、撮像素子２により撮像された画像などを記憶する。表示デバイス１０は、液晶などで構成されており、撮像された画像（被写体像）などを表示デバイス１０の表示面に表示する。表示デバイス駆動回路１１は、表示デバイス１０を駆動する。ユーザーは、接眼レンズ１２を通して、表示デバイス１０の表示面に表示された画像（撮像素子２により撮像された画像など）を見ることができる。

カメラ筐体１Ｂ内には、光源１３ａ，１３ｂ、光分割器１５、受光レンズ１６、眼用撮像素子１７なども含まれている。光源１３ａ，１３ｂは、ユーザーの眼球１４を照明するための光源である。光源１３ａ，１３ｂは、光の角膜反射による反射像（角膜反射像；プルキニエ像）と瞳孔の関係から視線方向（視線の方向；ユーザーが見ている方向）を検出するために従来から一眼レフカメラなどで用いられている。具体的には、光源１３ａ，１３ｂは、ユーザーに対して不感の赤外光を発する赤外発光ダイオードなどであり、接眼レンズ１２の周りに配置されている。照明された眼球１４の光学像（眼球像；光源１３ａ，１３ｂから発せられて眼球１４で反射した反射光による像）は、接眼レンズ１２を透過し、光分割器１５で反射される。そして、眼球像は、受光レンズ１６によって、ＣＣＤやＣＭＯＳなどの光電素子列を２次元的に配した眼用撮像素子１７上に結像される。受光レンズ１６は、眼球１４の瞳孔と眼用撮像素子１７を共役な結像関係に位置付けている。後述する所定のアルゴリズムにより、眼用撮像素子１７上に結像された眼球像における角膜反射像の位置から、眼球１４の視線方向が検出される。

図３は、カメラ１内の電気的構成を示すブロック図である。ＣＰＵ３には、視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示デバイス駆動回路１１、光源駆動回路２０５などが接続されている。また、ＣＰＵ３は、撮影レンズユニット１Ａ内に配置された焦点調節回路１１８と、撮影レンズユニット１Ａ内の絞り駆動部１１２に含まれた絞り制御回路２０６とに、マウント接点１１７を介して信号を伝達する。ＣＰＵ３に付随したメモリ部４は、撮像素子２および眼用撮像素子１７からの
撮像信号の記憶機能と、後述する視線の個人差を補正する視線補正パラメータの記憶機能とを有する。

視線検出回路２０１は、眼用撮像素子１７上に眼球像が結像した状態での眼用撮像素子１７の出力（眼を撮像した眼画像）をＡ／Ｄ変換し、その結果をＣＰＵ３に送信する。ＣＰＵ３は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置から、表示デバイス１０の表示面におけるユーザーの視点（視線位置；視線が注がれている位置；ユーザーが見ている位置）を算出する。

測光回路２０２は、測光センサの役割を兼ねた撮像素子２から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、Ａ／Ｄ変換などを行い、その結果を被写界輝度情報としてＣＰＵ３に送る。

自動焦点検出回路２０３は、撮像素子２の中に含まれる、位相差検出のために使用される複数の検出素子（複数の画素）からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は、複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。実施形態１では、一例として、図４（Ａ）のファインダー内視野（ファインダーを覗いたときの視野）、具体的には表示デバイス１０の表示面に示した１８０か所に対応する撮像面上の１８０か所のそれぞれに、焦点検出ポイントがあるとする。

信号入力回路２０４には、スイッチＳＷ１とスイッチＳＷ２とが接続されている。スイッチＳＷ１は、レリーズボタン５の第１ストロークでＯＮし、カメラ１の測光、測距、視線検出動作などを開始するためのスイッチである。スイッチＳＷ２は、レリーズボタン５の第２ストロークでＯＮし、撮影動作を開始するためのスイッチである。スイッチＳＷ１，ＳＷ２からのＯＮ信号が信号入力回路２０４に入力され、ＣＰＵ３に送信される。

図４（Ａ）は、ファインダー内視野を示す図であり、表示デバイス１０が動作した状態（画像を表示した状態）を示す。図４（Ａ）に示すように、ファインダー内視野には、焦点検出領域４００、１８０個の測距点指標４０１、視野マスク４０２などがある。１８０個の測距点指標４０１のそれぞれは、撮像面上における焦点検出ポイントに対応する位置に表示されるように、表示デバイス１０に表示されたスルー画像（ライブビュー画像）に重ねて表示される。また、１８０個の測距点指標４０１のうち、現在の視点Ａ（推定位置）に対応する測距点指標４０１は、枠などで強調されて表示される。

なお、現在の視点（推定位置）を示すアイテムとして、当該視点に対応する測距点指標を強調する枠などを表示する例を説明したが、これに限られない。例えば、図４（Ｄ）に示すように、現在の視点を示すアイテムは、当該視点に対応する測距点指標を識別可能に示すアイテムでなく、当該視点のみを示すアイテム（視線ポインタ）であってもよい。その場合には、現在の視点を示すアイテムの表示と、当該視点に対応する測距点指標や各種ボタンなどの強調表示との両方が行われてもよい。現在の視点を示すアイテムの表示位置は、連続的に変化するものであってもよいし、段階的に変化するものであってもよい。

＜視線検出動作の説明＞
図５，６（Ａ），６（Ｂ），７を用いて、視線検出方法について説明する。図５は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。図５に示すように、光源１３ａ，１３ｂは受光レンズ１６の光軸に対して略対称に配置され、ユーザーの眼球１４を照らす。光源１３ａ，１３ｂから発せられて眼球１４で反射した光の一部は、受光レンズ１６によって、眼用撮像素子１７に集光する。図６（Ａ）は、眼用撮像素子１７で撮像された眼画像（眼用撮像素子１７に投影された眼球像）の概
略図であり、図６（Ｂ）は眼用撮像素子１７におけるＣＭＯＳの出力強度を示す図である。図７は、視線検出動作のフローチャートである。

視線検出動作が開始すると、図７のステップＳ７０１で、光源１３ａ，１３ｂは、ユーザーの眼球１４に向けて赤外光を発する。赤外光によって照明されたユーザーの眼球像は、受光レンズ１６を通して眼用撮像素子１７上に結像され、眼用撮像素子１７により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。

ステップＳ７０２では、視線検出回路２０１は、眼用撮像素子１７から得られた眼画像（眼画像信号；眼画像の電気信号）をＣＰＵ３に送る。

ステップＳ７０３では、ＣＰＵ３は、ステップＳ７０２で得られた眼画像から、光源１３ａ，１３ｂの角膜反射像Ｐｄ，Ｐｅと瞳孔中心ｃに対応する点の座標を求める。

光源１３ａ，１３ｂより発せられた赤外光は、ユーザーの眼球１４の角膜１４２を照明する。このとき、角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは、受光レンズ１６により集光され、眼用撮像素子１７上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’となる。同様に瞳孔１４１の端部ａ，ｂからの光束も眼用撮像素子１７上に結像して、眼画像における瞳孔端像ａ’，ｂ’となる。

図６（Ｂ）は、図６（Ａ）の眼画像における領域αの輝度情報（輝度分布）を示す。図６（Ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。実施形態１では、角膜反射像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとし、瞳孔端像ａ’，ｂ’のＸ軸方向の座標をＸａ，Ｘｂとする。図６（Ｂ）に示すように、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔１４１の領域（瞳孔１４１からの光束が眼用撮像素子１７上に結像して得られる瞳孔像の領域）に相当する、Ｘ座標ＸａからＸ座標Ｘｂまでの領域では、Ｘ座標Ｘｄ，Ｘｅを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔１４１の外側の虹彩１４３の領域（虹彩１４３からの光束が結像して得られる、瞳孔像の外側の虹彩像の領域）では、上記２種の輝度の中間の輝度が得られる。具体的には、Ｘ座標（Ｘ軸方向の座標）がＸ座標Ｘａより小さい領域と、Ｘ座標がＸ座標Ｘｂより大きい領域とで、上記２種の輝度の中間の輝度が得られる。

図６（Ｂ）に示すような輝度分布から、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂとを得ることができる。具体的には、輝度が極端に高い座標を角膜反射像Ｐｄ’，Ｐｅ’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像ａ’，ｂ’の座標として得ることができる。また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合には、瞳孔中心ｃからの光束が眼用撮像素子１７上に結像して得られる瞳孔中心像ｃ’（瞳孔像の中心）のＸ座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。つまり、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂから、瞳孔中心像ｃ’のＸ座標Ｘｃを算出できる。このようにして、角膜反射像Ｐｄ’，Ｐｅ’の座標と、瞳孔中心像ｃ’の座標とを見積もることができる。

ステップＳ７０４では、ＣＰＵ３は、眼球像の結像倍率βを算出する。結像倍率βは、受光レンズ１６に対する眼球１４の位置により決まる倍率で、角膜反射像Ｐｄ’，Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数を用いて求めることができる。

ステップＳ７０５では、ＣＰＵ３は、眼球１４の視線方向の情報として、受光レンズ１６の光軸に対する眼球１４の光軸の回転角を算出する。角膜反射像Ｐｄと角膜反射像Ｐｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜１
４２の曲率中心Ｏから瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球１４の回転角θｘは、以下の式１で算出できる。Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球１４の回転角θｙも、回転角θｘの算出方法と同様の方法で算出できる。

β×Ｏｃ×ＳＩＮθｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ ・・・（式１）

ステップＳ７０６では、ＣＰＵ３は、ステップＳ７０５で算出した回転角θｘ，θｙを用いて、表示デバイス１０の表示面におけるユーザーの視点を求める（推定する）。視点の座標（Ｈｘ，Ｈｙ）が瞳孔中心ｃに対応する座標であるとすると、視点の座標（Ｈｘ，Ｈｙ）は以下の式２，３で算出できる。

Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） ・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） ・・・（式３）

式２，３のパラメータｍは、カメラ１のファインダー光学系（受光レンズ１６など）の構成で定まる定数であり、回転角θｘ，θｙを表示デバイス１０の表示面における瞳孔中心ｃに対応する座標に変換する変換係数である。パラメータｍは、予め決定されてメモリ部４に格納されるとする。パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線の個人差を補正する視線補正パラメータであり、後述するキャリブレーション作業を行うことで取得される。パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線検出動作が開始する前にメモリ部４に格納されるとする。

ステップＳ７０７では、ＣＰＵ３は、視点の座標（Ｈｘ，Ｈｙ）をメモリ部４に格納し、視線検出動作を終える。

なお、角膜反射像を利用する例を説明したが、視線検出の方法はこれに限られず、眼画像に基づいて視線を検出する如何なる方法であってもよい。また、視線検出の結果（最終結果）として視点の座標（Ｈｘ，Ｈｙ）を得る例を説明したが、回転角θｘ，θｙなど、視線に関する情報（視線情報）であれば、どのような情報が視線検出の結果として得られてもよい。

＜キャリブレーション作業の説明＞
上述した視線検出動作により視線を推定することができるが、人間の眼球の形状の個人差などの要因により、視線を高精度に推定できないことがある。具体的には、視線補正パラメータＡｘ，Ａｙ，Ｂｘ，Ｂｙをユーザーに適した値に調整しなければ、図４（Ｂ）に示すように、実際の視点Ｂと推定された視点Ｃとのずれが生じてしまう。図４（Ｂ）では、ユーザーは人物を注視しているが、カメラ１は背景が注視されていると誤って推定しており、適切な焦点検出及び調整ができない状態に陥ってしまっている。

そこで、カメラ１が撮像を行う前に、キャリブレーション作業を行い、ユーザーに適した視線補正パラメータを取得し、カメラ１に格納する必要がある。

従来より、キャリブレーション作業は、撮像前に図４（Ｃ）のような位置の異なる複数の指標を表示デバイス１０の表示面に強調表示し、ユーザーにその指標を見てもらうことで行われている。そして、各指標の注視時に視線検出動作を行い、算出された複数の視点（推定位置）と、各指標の座標とから、ユーザーに適した視線補正パラメータを求める技術が、公知の技術として知られている。なお、ユーザーの見るべき位置が示唆されれば、
指標の表示方法は特に限定されず、指標であるグラフィックが表示されてもよいし、画像（撮像された画像など）の輝度や色の変更で指標が表示されてもよい。

＜人間の生理的眼球運動の説明＞
視線検出の誤差要因の１つとして人間の生理的眼球運動がある。例えば、人間の眼球は、一点を見ているつもりでも、不随意的に細かく揺（振）れる。このような不随意運動は固視微動などと呼ばれる。固視微動による視線の変化はユーザーの意図するものではないため、固視微動は視線検出の誤差要因となる。

そこで、実施形態１では、固視微動による視線情報（検出された視線）の変化を低減する（固視微動低減処理）。固視微動低減処理は、例えば、ＣＰＵ３により行われる。固視微動低減処理は特に限定されないが、実施形態１では、検出された視線の変化における特定周波数帯域（カットオフ周波数よりも高い周波数帯域）の成分を減衰させるローパスフィルタ処理であるとする。

図８（Ａ），８（Ｂ）は、検出された視点のＸ座標の時間変化を示すグラフである。図８（Ａ），８（Ｂ）の縦軸は、検出された視点のＸ座標を示し、図８（Ａ），８（Ｂ）の横軸は時間を示す。図８（Ａ）は、固視微動低減処理であるローパスフィルタ処理前の状態を示し、図８（Ｂ）は、ローパスフィルタ処理後の状態を示す。図８（Ａ）から、ローパスフィルタ処理前では、検出された視点のＸ座標が激しく（細かく）変動することがわかる。図８（Ｂ）に示すように、ローパスフィルタ処理を行うことで、検出された視点の変動（図８（Ａ）の変動）の高周波成分が減衰され、検出された視点のＸ座標の変動が低減される。

しかしながら、固視微動による視線情報（検出された視線）の変化は、常に同じ低減度合いで低減すればよいというわけではない。つまり、固視微動低減処理は、常に同じ処理強度で行えばよいというわけではない。人間の生理的な眼球運動は固視微動だけではなく、人間は、移動速度が遅い物体を眼で追いかける際には視線を滑らかに動かす眼球運動（随意運動の一種）を行い、移動速度が速い物体を眼で追いかける際には視線を急激に変える跳躍運動を行う傾向にある。固視微動低減処理を行うと、実際の視線の変化（眼の動き）に対して、検出された視線（視線情報）の変化が鈍くなる。つまり、物体に対する検出された視線の追従性が低くなる。そのため、固視微動低減処理の処理強度が強いと（固視微動低減処理による低減度合いが大きいと）、視線情報が随意運動や跳躍運動などを正確に表現しなくなってしまう。

そこで、実施形態１では、ＣＰＵ３は、固視微動による視線情報の変化を好適に低減するように、固視微動低減処理の強度（固視微動低減処理による低減度合い）を変更する。その詳細は後述する。視線ポインタなどは、固視微動低減処理後の視点を示すように表示される。

＜固視微動低減処理の制御の説明＞
実施形態１では、ＣＰＵ３は、焦点距離（カメラ１のズーム倍率）に応じて、固視微動低減処理の強度（固視微動低減処理による低減度合い）を変更する。撮影レンズユニット１Ａが変更されるなどして焦点距離が変更されると、焦点距離が変更されたことの情報や、焦点距離の情報（値）などが、撮影レンズユニット１Ａ内の焦点調節回路１１８から、カメラ筐体１Ｂ内のＣＰＵ３に送信される。ただし、これに限られず、例えば、撮影レンズユニット１Ａと焦点距離の対応関係が１対１である場合には、カメラ筐体１Ｂ内のメモリ部４が、撮影レンズユニット１Ａの識別情報（型番など）と焦点距離の対応関係を記憶していてもよい。その場合には、撮影レンズユニット１ＡからＣＰＵ３に撮影レンズユニット１Ａの識別情報を送信し、ＣＰＵ３が、受信した識別情報と、メモリ部４に格納され
た情報（識別情報と焦点距離の対応関係）とから現在の焦点距離の情報を判別してもよい。

焦点距離が短い場合（ズーム倍率が低い場合）は、画角（撮像範囲）が広いため、画角に対する物体（被写体）の相対的なサイズが小さくなりやすい。つまり、撮像された画像において物体が小さくなりやすい。そして、撮像された画像において物体が小さい場合には、物体のサイズに対する固視微動の相対的な大きさ（揺れ量）は大きくなる。

以上の観点から、焦点距離が短い場合は、固視微動低減処理の強度を強くする。換言すれば、固視微動低減処理による低減度合いを大きくする。具体的には、固視微動低減処理であるローパスフィルタ処理のカットオフ周波数を下げる（低周波側にシフトする）。これにより、視線情報（検出された視線）を安定させることができる。

こうすると、実際の視線の変化（眼の動き）に対して、検出された視線（視線情報）の変化は鈍くなる。しかし、撮像された画像において物体が小さければ、画角に対する物体の相対的な動き量は小さくなりやすく、検出された視線で物体を捉え続けることができるため、問題はない。

一方で、焦点距離が長い場合（ズーム倍率が高い場合）は、画角が狭いため、画角に対する物体（被写体）の相対的なサイズが大きくなりやすい。つまり、撮像された画像において物体が大きくなりやすい。そして、撮像された画像において物体が大きい場合には、画角に対する物体の相対的な動き量は大きくなりやすい。

以上の観点から、焦点距離が長い場合は、固視微動低減処理の強度を弱くする。換言すれば、固視微動低減処理による低減度合いを小さくする。具体的には、固視微動低減処理であるローパスフィルタ処理のカットオフ周波数を上げる（高周波側にシフトする）。これにより、実際の視線の変化（眼の動き）に対する、検出された視線（視線情報）の変化の応答性が高くなり、物体に対する検出された視線の追従性が向上する。

こうすると、視線情報（検出された視線）の安定性は低くなる。しかし、撮像された画像において物体が大きれば、検出された視線が多少ぶれても、当該視線で物体を捉え続けることができる（検出された視点を物体の領域内に保つことができる）ため、問題はない。

実施形態１では、上述した制御を実現するために、焦点距離とカットオフ周波数の対応関係を示す情報（関数やテーブルなど）をメモリ部４に予め保存する。図９は、焦点距離とカットオフ周波数の対応関係を示すグラフである。図９の縦軸はカットオフ周波数を示し、図９の横軸は焦点距離を示す。図９の対応関係によれば、固視微動低減処理であるローパスフィルタ処理のカットオフ周波数は、焦点距離が短いほど低くなる。したがって、固視微動低減処理による低減度合いは、焦点距離が短いほど大きくなる。

なお、図９では、焦点距離の増加に対して、カットオフ周波数が線形に増加しているが、焦点距離の増加に対して、カットオフ周波数が非線形に増加してもよい。焦点距離の連続的な増加に対して、カットオフ周波数が段階的に（不連続に）増加してもよい。同様に、固視微動低減処理による低減度合いは、焦点距離の増加に対して線形に低下してもよいし、非線形に低下してもよい。焦点距離の連続的な増加に対して、固視微動低減処理による低減度合いが段階的に（不連続に）低下してもよい。

なお、固視微動低減処理はローパスフィルタ処理に限られない。例えば、固視微動低減処理は、バンドパスフィルタ処理など、特定周波数帯域の成分を減衰させる別のフィルタ
処理であってもよい。固視微動低減処理は、逐次ベイズフィルタ処理であるカルマンフィルタ処理であってもよい。例えば、カルマンフィルタ処理では、事後推定値は、以下の式４を用いて算出される。事後推定値は、今回の固視微動低減処理後の視線情報に相当し、事前推定値は、前回の固視微動低減処理後の視線情報に相当し、観測値は、今回の固視微動低減処理前の視線情報に相当する。

図１０に示すように、事後推定値は事前推定値と観測値の内分点に対応し、内分比はｋ：１－ｋ（０＜ｋ＜１）となる。観測の不確かさを大きくする、つまりｋを小さくすると、事後推定値は事前推定値に近づく。上述したように、事前推定値は、前回の固視微動低減処理後の視線情報に相当する。そのため、観測の不確かさを大きくすることで、固視微動による視線情報（検出された視線）の変化を大幅に低減することができる。このことから、焦点距離が短い場合に観測の不確かさを大きくすることで、撮像された画像における小さな物体が視線で捉えられるように、視線情報を安定させることができる。

一方で、予測の不確かさが大きくする、つまりｋを大きくすると、事後推定値は観測値に近づく。上述したように、観測値は、今回の固視微動低減処理前の視線情報に相当する。そのため、予測の不確かさを大きくすることで、固視微動による視線情報（検出された視線）の変化を大幅に低減することはできないが、実際の視線の変化（眼の動き）に対する、検出された視線の変化の応答性を高くすることができる。このことから、焦点距離が長い場合に予測の不確かさを大きくすることで、撮像された画像における動き量の大きな物体に対する検出された視線の追従性を向上することができる。

＜まとめ＞
以上述べたように、実施形態１では、焦点距離に応じて、固視微動低減処理による低減度合いが変更される。これにより、固視微動による視線情報の変化を好適に低減することができる。

＜＜実施形態２＞＞
以下、本発明の実施形態２について説明する。なお、以下では、実施形態１と同じ点（構成や処理など）についての説明は省略し、実施形態１と異なる点について説明する。実施形態２では、焦点距離に加え、撮像された画像における物体（被写体）までの奥行き（物体距離；被写体距離）を考慮して、固視微動低減処理を制御する。なお、焦点距離と物体距離の両方を考慮する例を説明するが、物体距離のみを考慮してもよい。

図１１は、実施形態２の制御を示すフローチャートである。

ステップＳ１１０１では、カメラ筐体１Ｂ内のＣＰＵ３は、焦点距離の情報（値）を、撮影レンズユニット１Ａ内の焦点調節回路１１８から取得する。

ステップＳ１１０２では、ＣＰＵ３は、カメラ１（撮像位置）から物体までの距離であ
る物体距離の情報（値）を取得する。例えば、ＣＰＵ３は、撮像素子２を用いて位相差やコントラストを検出して焦点位置を求め、焦点位置に基づいて物体距離を求める。なお、物体距離の情報を取得する方法はこれに限られず、例えば、測距センサを用いて物体距離の情報が取得されてもよい。

ステップＳ１１０３では、ＣＰＵ３は、ステップＳ１１０１，Ｓ１１０２で取得した情報（焦点距離と物体距離）に応じて、カットオフ周波数を決定する。

ステップＳ１１０４では、ＣＰＵ３は、固視微動低減処理であるローパスフィルタ処理のカットオフ周波数を、ステップＳ１１０３で決定したカットオフ周波数に変更する。

物体距離以外の条件（例えば焦点距離）が一定であるとすると、物体距離が短い場合には物体距離が長い場合に比べ、撮像された画像における物体のサイズは大きくなる。このような観点をさらに考慮して、焦点距離が一定であるときに、物体距離が長ければ固視微動低減処理による低減度合いを大きくし、物体距離が短ければ固視微動低減処理による低減度合いを小さくする。

実施形態２では、上述した制御を実現するために、焦点距離と物体距離とカットオフ周波数の対応関係を示す情報（関数やテーブルなど）をメモリ部４に予め保存する。図１２は、焦点距離と物体距離とカットオフ周波数の対応関係を示すグラフである。図１２の縦軸はカットオフ周波数を示し、図１２の横軸は物体距離を示す。図１２では、焦点距離ごとに、物体距離とカットオフ周波数の対応関係が示されている。各対応関係では、カットオフ周波数は、物体距離が長いほど低くなる。したがって、焦点距離が一定であるときに、固視微動低減処理による低減度合いは、物体距離が長いほど大きくなる。

なお、図１２では、物体距離の増加に対して、カットオフ周波数が線形に低下しているが、物体距離の増加に対して、カットオフ周波数が非線形に低下してもよい。物体距離の連続的な増加に対して、カットオフ周波数が段階的に（不連続に）低下してもよい。同様に、固視微動低減処理による低減度合いは、物体距離の増加に対して線形に低下してもよいし、非線形に低下してもよい。物体距離の連続的な増加に対して、固視微動低減処理による低減度合いが段階的に（不連続に）低下してもよい。

なお、実施形態２でも、固視微動低減処理はローパスフィルタ処理に限られず、バンドパスフィルタ処理やカルマンフィルタ処理などであってもよい。カルマンフィルタ処理の場合には、焦点距離が一定であるときに、物体距離が短ければ予測の不確かさを大きくし、物体距離が長ければ観測の不確かさを大きくすればよい。つまり、焦点距離が一定であるときに、物体距離が短ければｋを大きくし、物体距離が長ければｋを小さくすればよい。

以上述べたように、実施形態２では、物体距離を考慮して、固視微動低減処理による低減度合いが変更される。これにより、固視微動による視線情報の変化を好適に低減することができる。また、焦点距離と物体距離の両方を考慮することで、一方を考慮する場合よりも好適に、固視微動による視線情報の変化を低減することができる。

なお、実施形態１，２はあくまで一例であり、本発明の要旨の範囲内で実施形態１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施形態１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

例えば、撮像装置（カメラ）に本発明を適用する例を説明したが、これに限られない。つまり、本発明の視線情報取得装置は、撮像部を有する撮像装置とは別体の装置であって
もよい。ユーザーが見る画像を表示する表示部は、視線情報取得装置とは別体の装置であってもよく、視線情報取得装置の制御部（ＣＰＵ）が、外部装置である表示部に画像やアイテムなどを表示するように制御してもよい。ユーザーが見る画像は、３次元のコンピュータグラフィックなど、撮像された画像とは異なる画像であってもよい。本発明の視線情報取得装置は、視線情報を取得する機能と、固視微動低減処理を行う機能と、固視微動低減処理による低減度合いを変更する機能とを最低限有していればよい。また、固視微動低減処理が、固視微動による視線情報の変化が低減するように、取得した視線情報を補正（調整；変更）する処理である例を説明したが、これに限られない。例えば、固視微動低減処理は、固視微動による視線情報の変化が低減するように視線情報の取得方法を変更する処理であってもよい。

＜＜他の電子機器への適用例＞＞
図１３（Ａ）は、本発明を適用したノート型パーソナルコンピュータ１３１０（ノートＰＣ）の外観図である。図１３（Ａ）では、ノートＰＣ１３１０の表示部１３１１を見るユーザーを撮像する撮像ユニット１３１５がノートＰＣ１３１０に接続されており、ノートＰＣ１３１０は撮像ユニット１３１５から撮像結果を取得する。そして、ノートＰＣ１３１０は、撮像結果に基づいてユーザーの視線を検出し、表示部１３１１に表示した画像に対応する焦点距離や物体距離に応じて、固視微動低減処理による低減度合いを変更する。なお、本発明を適用した電子機器は、視線検出の結果（視線情報）を視線入力として受け付けるインターフェースを有していればよく、外部機器で視線検出が行われてもよい。つまり、撮像ユニット１３１５が視線検出を行い、ノートＰＣ１３１０が撮像ユニット１３１５から視線検出の結果を取得してもよい。

図１３（Ｂ）は、本発明を適用したスマートフォン１３２０の外観図である。図１３（Ｂ）では、スマートフォン１３２０は、インカメラ１３２１（フロントカメラ）の撮像結果に基づいてユーザーの視線を検知し、表示部１３２２に表示した画像に対応する焦点距離や物体距離に応じて、固視微動低減処理による低減度合いを変更する。

図１３（Ｃ）は、本発明を適用したゲーム機１３３０の外観図である。図１３（Ｃ）では、ゲームのＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像を表示するヘッドマウントディスプレイ１３３５（ＨＭＤ）が、ゲーム機１３３０に接続されている。ＨＭＤ１３３５は、ＨＭＤ１３３５を装着したユーザーの眼を撮像するカメラ１３３７を有しており、ゲーム機１３３０は、ＨＭＤ１３３５から撮像結果を取得する。そして、ゲーム機１３３０は、撮像結果に基づいてユーザーの視線を検知し、ＨＭＤ１３３５の表示部１３３６に表示したＶＲ画像における物体までの奥行き（物体距離）に応じて、固視微動低減処理による低減度合いを変更する。ここで、ＶＲ画像における物体は、例えば、ユーザーの視線方向に最も近い方向に存在する物体である。ＨＭＤに表示したＶＲ画像を見る場合に本発明が適用可能であるのと同様に、眼鏡型のウェアラブル端末のレンズ部分などに表示したＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を見る場合にも本発明は適用可能である。ＶＲ技術やＡＲ技術に本発明が適用可能であるのと同様に、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術やＳＲ（Ｓｕｂｓｔｉｔｕｔｉｏｎａｌ Ｒｅａｌｉｔｙ）技術などの別のｘＲ技術にも本発明は適用可能である。

なお、図１３（Ａ）の撮像ユニット１３１５や、図１３（Ｃ）のＨＭＤ１３３５などが、固視微動低減処理による低減度合いを変更し、固視微動低減処理を行ってもよい。つまり、本発明は、図１３（Ａ）の撮像ユニット１３１５や、図１３（Ｃ）のＨＭＤ１３３５などにも適用可能である。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は
記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：カメラ ３：ＣＰＵ ２０１：視線検出回路
１３１０：ノート型パーソナルコンピュータ １３２０：スマートフォン
１３３０：ゲーム機 １３３５：ヘッドマウントディスプレイ

Claims (16)

1. 撮像された画像を見る眼の視線の情報である視線情報を取得する第１取得手段と、
   固視微動による前記視線情報の変化を低減する低減手段と
   を有し、
   前記低減手段は、前記画像を撮像する際の焦点距離が短い場合に、前記焦点距離が長い場合よりも大きい低減度合いで、前記固視微動による前記視線情報の変化を低減する
   ことを特徴とする視線情報取得装置。
2. 画像を見る眼の視線の情報である視線情報を取得する第１取得手段と、
   固視微動による前記視線情報の変化を低減する低減手段と
   を有し、
   前記低減手段は、前記画像における物体までの奥行きである物体距離が長い場合に、前記物体距離が短い場合よりも大きい低減度合いで、前記固視微動による前記視線情報の変化を低減する
   ことを特徴とする視線情報取得装置。
3. 前記低減手段は、前記焦点距離が短いほど大きい低減度合いで、前記固視微動による前記視線情報の変化を低減する
   ことを特徴とする請求項１に記載の視線情報取得装置。
4. 前記焦点距離の情報を取得する第２取得手段をさらに有する
   ことを特徴とする請求項１または３に記載の視線情報取得装置。
5. 前記低減手段は、前記物体距離が長いほど大きい低減度合いで、前記固視微動による前記視線情報の変化を低減する
   ことを特徴とする請求項２に記載の視線情報取得装置。
6. 前記低減手段は、前記焦点距離が一定であるとき、前記画像における物体までの奥行きである物体距離が長い場合に、前記物体距離が短い場合よりも大きい低減度合いで、前記固視微動による前記視線情報の変化を低減する
   ことを特徴とする請求項１，３，４のいずれか１項に記載の視線情報取得装置。
7. 前記物体距離の情報を取得する第３取得手段をさらに有する
   ことを特徴とする請求項２，５，６のいずれか１項に記載の視線情報取得装置。
8. 前記固視微動による前記視線情報の変化を低減する処理は、前記視線の変化における特定周波数帯域の成分を減衰させる処理である
   ことを特徴とする請求項１～７のいずれか１項に記載の視線情報取得装置。
9. 前記固視微動による前記視線情報の変化を低減する処理は、前記視線の変化における、カットオフ周波数よりも高い前記特定周波数帯域の成分を減衰させるローパスフィルタ処理であり、
   前記低減手段は、前記カットオフ周波数を下げることで、前記低減度合いを上げる
   ことを特徴とする請求項８に記載の視線情報取得装置。
10. 前記画像を表示する表示部をさらに有する
    ことを特徴とする請求項１～９のいずれか１項に記載の視線情報取得装置。
11. 前記画像を表示する表示部に、前記固視微動による変化が低減された後の視線が注がれ
    ている位置を示すアイテムを表示するように制御する制御手段
    をさらに有する
    ことを特徴とする請求項１～１０のいずれか１項に記載の視線情報取得装置。
12. 撮像手段と、
    請求項１～１１のいずれか１項に記載の視線情報取得装置と
    を有し、
    前記視線情報取得装置は、前記撮像手段により撮像された前記画像を表示部に表示するように制御し、前記画像を見る眼の視線を検出する
    ことを特徴とする撮像装置。
13. 撮像された画像を見る眼の視線の情報である視線情報を取得する取得ステップと、
    固視微動による前記視線情報の変化を低減する低減ステップと
    を有し、
    前記低減ステップでは、前記画像を撮像する際の焦点距離が短い場合に、前記焦点距離が長い場合よりも大きい低減度合いで、前記固視微動による前記視線情報の変化を低減する
    ことを特徴とする視線情報取得方法。
14. 画像を見る眼の視線の情報である視線情報を取得する取得ステップと、
    固視微動による前記視線情報の変化を低減する低減ステップと
    を有し、
    前記低減ステップでは、前記画像における物体までの奥行きである物体距離が長い場合に、前記物体距離が短い場合よりも大きい低減度合いで、前記固視微動による前記視線情報の変化を低減する
    ことを特徴とする視線情報取得方法。
15. コンピュータを、請求項１～１１のいずれか１項に記載の視線情報取得装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項１～１１のいずれか１項に記載の視線情報取得装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images