JP2023108559A - 光学装置、撮像装置、光学装置の制御方法、およびプログラム - Google Patents
光学装置、撮像装置、光学装置の制御方法、およびプログラム Download PDFInfo
- Publication number
- JP2023108559A JP2023108559A JP2022009747A JP2022009747A JP2023108559A JP 2023108559 A JP2023108559 A JP 2023108559A JP 2022009747 A JP2022009747 A JP 2022009747A JP 2022009747 A JP2022009747 A JP 2022009747A JP 2023108559 A JP2023108559 A JP 2023108559A
- Authority
- JP
- Japan
- Prior art keywords
- point
- optical device
- history
- user
- eyeball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 36
- 238000003384 imaging method Methods 0.000 title claims description 43
- 238000000034 method Methods 0.000 title claims description 19
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 60
- 238000012937 correction Methods 0.000 claims description 27
- 238000011156 evaluation Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 210000001747 pupil Anatomy 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 7
- 210000004087 cornea Anatomy 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0189—Sight systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【課題】使用者に負荷をかけることなく、使用者の注視点位置を適切に補正することが可能な光学装置を提供する。【解決手段】光学装置(100)は、使用者の眼球の画像から使用者の注視点位置を推定する推定手段(115)と、推定手段により推定された注視点位置を示す指標を表示する表示手段(111)と、注視点位置の位置履歴または眼球の回転角履歴の少なくとも一つを解析する解析手段(119)とを有し、解析手段は、位置履歴または回転角履歴の少なくとも一つに基づいて、表示手段に表示される指標の位置を補正する。【選択図】図1
Description
本発明は、光学装置、撮像装置、光学装置の制御方法、およびプログラムに関する。
従来、推定された注視点位置と実際の注視点位置とのズレを検出して補正する方法が知られている。特許文献1には、運転者が特定方向(例えば、正面方向の無限遠点)を見ている場合、その方向の代表値を求め、検出された注視点とのズレを算出する方法が開示されている。特許文献2には、使用者がボタンを押すなどのイベントが発生した場合、ボタンの中央を見ていると考え、視線ポインタの位置とボタン中央の位置とのズレを補正量に反映させる方法が開示されている
特許文献1に開示された方法では、使用者から見える景色や使用者の環境などの条件に依存するため、注視点位置を適切に補正することができない場合がある。特許文献2に開示された方法では、使用者がボタンを押すなどして注視点位置を明示的に指示する必要があるため、使用者に負荷がかかる。
そこで本発明は、使用者に負荷をかけることなく、使用者の注視点位置を適切に補正することが可能な光学装置を提供することである。
本発明の一側面としての光学装置は、使用者の眼球の画像から使用者の注視点位置を推定する推定手段と、前記推定手段により推定された前記注視点位置を示す指標を表示する表示手段と、前記注視点位置の位置履歴または前記眼球の回転角履歴の少なくとも一つを解析する解析手段とを有し、前記解析手段は、前記位置履歴または前記回転角履歴の少なくとも一つに基づいて、前記表示手段に表示される前記指標の位置を補正する。
本発明の他の目的及び特徴は、以下の実施形態において説明される。
本発明によれば、使用者に負荷をかけることなく、使用者の注視点位置を適切に補正することが可能な光学装置を提供することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
まず、図1を参照して、本実施形態による光学装置の構成について説明する。図1は、本実施形態における撮像装置(光学装置)100のブロック図である。撮像レンズ(撮像光学系)104は、光学像(被写体像)形成する。撮像素子106はCMOSセンサなどの光電変換素子であり、撮像レンズ104により形成された光学像を光電変換して画像信号を出力する。なお本実施形態において、撮像装置100は撮像レンズ104と一体的に構成されているが、これに限定されるものではなく、撮像レンズ104は、撮像装置100に対して着脱可能なレンズ装置(交換レンズ)であってもよい。
CPU102は、表示手段111、照明光源駆動手段112、記憶手段114、視線推定手段(推定手段)115、眼球用撮像素子117、視線履歴解析手段(解析手段)119、および操作手段124を制御する。表示手段111は、撮影した画像を表示するとともに、視線推定手段115により検出(推定)された注視点(注視点位置)を示す情報(指標)を表示する。照明光源113は、使用者に対して不感の赤外光を発射する発光ダイオード等の光源であり、照明光源駆動手段112により駆動されて使用者の眼球を照らす。使用者の眼球で反射した照明光の一部は、眼球用撮像素子117に集光する。記憶手段114は、撮像素子106からの画像信号、眼球用撮像素子117からの画像信号、視線推定手段115により推定された注視点位置、および視線の個人差を補正する視線補正データを記憶する。
視線推定手段115は、デジタルシリアルインターフェース回路であり、眼球用撮像素子117からの出力信号(眼球の画像(眼球像)が結像することにより取得された信号)をCPU102に送信する。受光レンズ116は、使用者の眼球画像を光学的に眼球用撮像素子117上に結像させる。視線履歴解析手段119は、視線推定手段115により推定された使用者の注視点位置の履歴を解析し、注視点位置の特徴的な動き(所定の動き)を検出する(注視点位置が所定の動きを示すか否かを判定する)。操作手段124は、使用者が撮像装置100に対して行う操作を受け付ける手段であり、例えば撮像装置100に付属する不図示のボタン、ズームレバー、および撮像レンズ104に付属するリングなどを含む。
次に、図3乃至図5を参照して、使用者の視線検出処理を説明する。図3は、視線検出原理の説明図である。図3において、光源113a、113b(照明光源113)は、使用者に対して不感の赤外光を放射する発光ダイオード等の光源である。光源113a、113bは、使用者の眼球を照らしている。使用者の眼球で反射した照明光の一部は、受光レンズ116により、眼球用撮像素子117に集光する。
図4(a)は、眼球用撮像素子117に投影される眼球像の説明図である。図4(b)は、眼球用撮像素子117のCCDの出力強度の説明図である。図5は、視線検出処理を示すフローチャートである。図6(a)~(c)は、表示手段111を通して使用者に見える画面の説明図である。図6(a)において、300は視野マスクを示す。視線推定手段115により推定(算出)された注視点は、図6(a)中の推定注視点Aとして示される枠を出現させて表示手段111上に表示される。
図5において、視線検出処理(視線検出ルーチン)が開始すると、まずステップS501において、照明光源113(光源113a、113b)は、使用者の眼球314に向けて赤外光を放射する。赤外光によって照明された使用者の眼球像は、眼球用撮像素子117上に受光レンズ116を通して結像する。眼球用撮像素子117は、受光レンズ116により形成された眼球像を光電変換し、電気信号(画像信号)を出力する。続いてステップS502において、CPU102は、眼球用撮像素子117から画像信号(眼球画像信号)を取得する。
続いてステップS503において、CPU102は、ステップS502にて取得した眼球画像信号に基づいて、図3に示される光源113a、113bの角膜反射像Pd、Peおよび瞳孔中心cに対応する点の座標(瞳孔中心位置、光源の角膜反射位置)を取得する。光源113a、113bから放射された赤外光は、使用者の眼球314の角膜342を照明する。このとき、角膜342の表面で反射した赤外光の一部により形成される角膜反射像Pd、Peは、受光レンズ116により集光され、眼球用撮像素子117上に結像する(反射像Pd’、Pe’)。同様に、瞳孔341の端部(瞳孔端a、b)からの光束も眼球用撮像素子117上に結像する。
図4(a)は眼球用撮像素子117から得られる反射像の画像例を示し、図4(b)は図4(a)の画像例の領域αにおける、眼球用撮像素子117から得られる輝度情報例を示す。図4(a)において、水平方向をX軸、垂直方向をY軸とする。このとき、光源113a、113bの角膜反射像Pd、Peが結像した反射像Pd’、Pe’のX軸方向(水平方向)の座標をそれぞれXd、Xeとする。また、瞳孔314bの瞳孔端a、bからの光束が結像した像(瞳孔端a’、b’)のX軸方向の座標をそれぞれXa、Xbとする。
図4(b)の輝度情報例において、光源113a、113bの角膜反射像Pd、Peが結像した反射像Pd’、Pe’に相当する位置Xd、Xeでは、極端に強いレベルの輝度が得られている。瞳孔341の領域に相当する、座標Xa(瞳孔端a’の座標)から座標Xb(瞳孔端b’の座標)の間の領域は、位置Xd、Xeの位置を除き、極端に低いレベルの輝度が得られる。これに対し、瞳孔341の外側の虹彩343の領域に相当する、座標Xaよりも低いX座標の値を持つ領域および座標Xbよりも高いX座標の値を持つ領域では、前記2種の輝度レベルの中間の値が得られる。X座標の位置に対する輝度レベルの変動情報から、光源113a、113bの角膜反射像Pd、Peが結像した反射像Pd’、Pe’のX座標Xd、Xeと、瞳孔端a’、b’の座標Xa、Xbを得ることができる。
また、受光レンズ116の光軸に対する眼球314の光軸の回転角θxが小さい場合、眼球用撮像素子117上に結像する瞳孔中心cに相当する箇所(瞳孔中心c’)の座標Xcは、Xc≒(Xa+Xb)/2と表すことができる。以上より、眼球用撮像素子117上に結像する瞳孔中心c’のX座標、光源113a、113bの角膜反射像Pd’、Pe’の座標を推定することが可能である。
続いて、図5のステップS504において、CPU102は、眼球像の結像倍率βを算出する。結像倍率βは、受光レンズ116に対する眼球314の位置により決定される倍率であり、実質的には反射像Pd‘、Pe’の間隔(Xd-Xe)の関数として求めることができる。続いてステップS505において、CPU102は、眼球の回転角(眼球角度)θx、θyを算出する。角膜反射像Pd、Peの中点のX座標と角膜342の曲率中心OのX座標とは略一致する。このため、角膜342の曲率中心Oと瞳孔341の中心cまでの標準的な距離をOcとすると、眼球314の光軸のZ-X平面内の回転角θXは、以下の式(1)から求めることができる。
β*Oc*SINθx≒{(Xd+Xe)/2}-Xc …(1)
また、図5および図6においては、使用者の眼球がY軸に垂直な平面内で回転する場合の回転角θXを算出する例を示しているが、使用者の眼球がX軸に垂直な平面内で回転する場合の回転角θyの算出方法も同様である。
また、図5および図6においては、使用者の眼球がY軸に垂直な平面内で回転する場合の回転角θXを算出する例を示しているが、使用者の眼球がX軸に垂直な平面内で回転する場合の回転角θyの算出方法も同様である。
ステップS505にて使用者の眼球314の光軸の回転角θx、θyが算出されると、ステップS506において、CPU102は、補正係数データを読み込む。続いてステップS507において、CPU102は、回転角θx、θyを用いて、表示手段111上で使用者の視線の位置(注視している点の位置、注視点位置と称する)を求める。注視点位置は、表示手段111上での瞳孔341の中心cに対応する座標(Hx、Hy)として、以下の式(2)、(3)のように算出される。
Hx=m×(Ax×θx+Bx) …(2)
Hy=m×(Ay×θy+By) …(3)
式(2)、(3)において、係数mは、使用者の眼球の回転角θx、θyと表示手段111上での位置との関係を表す定数である。すなわち係数mは、回転角θx、θyを表示手段111上での瞳孔141の中心cに対応する位置座標に変換する変換係数であり、予め決定されて記憶手段114に記憶されている。また式(2)、(3)において、Ax、Bx、Ay、Byは、使用者の視線の個人差を補正する視線補正係数(補正係数データ)であり、後述するキャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前に記憶手段114に記憶されている。
Hy=m×(Ay×θy+By) …(3)
式(2)、(3)において、係数mは、使用者の眼球の回転角θx、θyと表示手段111上での位置との関係を表す定数である。すなわち係数mは、回転角θx、θyを表示手段111上での瞳孔141の中心cに対応する位置座標に変換する変換係数であり、予め決定されて記憶手段114に記憶されている。また式(2)、(3)において、Ax、Bx、Ay、Byは、使用者の視線の個人差を補正する視線補正係数(補正係数データ)であり、後述するキャリブレーション作業を行うことで取得され、視線検出ルーチンが開始する前に記憶手段114に記憶されている。
表示手段111上での瞳孔141の中心cの座標(Hx、Hy)を算出した後、ステップS508において、CPU102は、ステップS507にて算出された注視点位置(注視点座標)を記憶手段114に記憶し、視線検出ルーチンを終了する。
なお本実施形態では、光源113a、113bの角膜反射像を利用したレンズ素子上での注視点座標取得手法を説明したが、これに限定されるものではなく、撮像された眼球画像から眼球の回転角を取得する手法であれば、他の手法を用いてもよい。
次に、キャリブレーション作業について説明する。キャリブレーションとは、事前に、使用者の実際の注視点位置(実注視点)と撮像装置により推定された使用者の注視点位置(推定注視点)との間に生じるズレを補正する処理(事前準備処理)である。本実施形態において、CPU102は、表示手段111に表示される指標と視線推定手段115により推定された注視点位置とのズレに関するキャリブレーションデータを取得する取得手段として機能する。
前述のように、本実施形態では、視線検出ルーチンにおいて眼球画像から眼球の回転角θx、θyを取得し、瞳孔中心位置を表示手段111上において対応する位置に座標変換する演算を行って注視点位置を推定する。しかし、人間の眼球の形状の個人差等の要因により、視線補正係数Ax、Ay、Bx、Byの値を使用者によって適切な値に調整する必要がある。このような調整を行わない場合、図6(b)に示されるように、使用者が実際に注視している位置(使用者の注視点Bの位置)と、推定(算出)された推定注視点Cの位置とがズレてしまう(注視点Bと推定注視点Cとの位置が異なってしまう)。例えば、図6(b)の例では、使用者は注視点Bに位置する人物(被写体)に注視したいと考えているが、視線推定手段115は、使用者が背景を注視しているものと誤って推定している。そこで、撮像装置100を使用する前に、キャリブレーション作業を行い、使用者ごとに適切な補正係数の値を取得し、記憶手段114に記憶させる必要がある。
従来、キャリブレーション作業は、撮像装置100の使用前に、図6(c)に示されるように、互いに位置が異なる複数の指標を強調表示し、使用者にその指標を見てもらうことで行われる。各指標注視時に注視点検出処理を行い、算出された複数の推定注視点座標と各指標座標の位置から適切な補正係数(キャリブレーションデータ)を求める作業を行うことが、公知の技術として知られている。
ところで、キャリブレーション作業で取得した補正係数を使用して、実際に注視している位置(実注視点)と視線検出手段115で推定された推定注視点とのズレを補正しても、ズレが残ることがある。これは、キャリブレーション作業時と撮影時とで、使用者と受光レンズ116との位置関係が大きく変わる場合などに発生することがある。以下、図2を参照して、そのズレの検出方法および補正方法(注視点検出処理)について説明する。図2は、注視点検出処理を示すフローチャートである。
まず、ステップS201において、CPU102は、図5を参照して説明した視線検出処理により注視点(注視点位置)を検出する。続いてステップS202において、CPU102(視線履歴解析手段119)は、ステップS201にて検出された注視点位置の履歴(位置履歴)を解析する。
ここで、図8を参照して、注視点位置履歴の解析処理を説明する。図8は、注視点位置履歴の解析処理のフローチャートである。まずステップS801において、CPU102(視線履歴解析手段119)は、注視点の第1の特徴的な動きとして、注視点位置が所定の方向にズレ続けている(注視点位置が所定の時間、所定の方向に動いている)か否かを解析する。
図7(a)~(c)は、実注視点と推定注視点とのズレを示す図である。図7(a)において、表示手段111上の推定注視点701には注視点枠が表示されている。図7(a)は、使用者が実際に見ている箇所である実注視点702と推定注視点701との間にズレ(ズレベクトル703)が生じていることを示している。
この状態の場合、使用者は、注視点枠が表示されている推定注視点701を見る傾向が高いが、その注視点枠を見てしまうと、次のフレームでは、図7(b)に示されるたように実注視点706は注視点マーカー701が表示されていた位置に移動する。それに合わせて、推定注視点705も実注視点706からズレベクトル703だけズレた位置に移動してしまう。これをフレーム毎に繰り返すと、図7(c)に示されるように、使用者の実注視点708がズレベクトル703の方向に移動し、最終的には表示手段111の端まで移動してしまう。
このような状態を検出するため、フレーム間で推定注視点の水平方向(x方向)および垂直方向(y方向)の移動量を所定の時間(一定期間)観測し、図9(a)、(b)に示されるように、それぞれのヒストグラムを作成する。図9(a)、(b)は、推定注視点の動きの分布(ヒストグラム)を示す図である。図9(a)において、横軸はフレーム間での表示手段111上の推定注視点の水平方向(x方向)の移動量、縦軸は一定期間に観測された回数(頻度)の合計が1になるように正規化した値をそれぞれ示す。同様に、図9(b)において、縦軸はフレーム間での表示手段111上の推定注視点の垂直方向(y方向)の移動量、縦軸は一定期間に観測された回数(頻度)を合計が1になるように正規化した値をそれぞれ示す。
図9(a)、(b)に示されるヒストグラムを解析し、水平方向の移動量の最頻値p_x_1が1に近いほど、また垂直方向の移動量の最頻値p_y_1が1に近いほど評価値(特徴評価値)fを大きくする。例えば、評価値fは、以下の式(4)により算出される。式(4)において、k_x、k_yはそれぞれ、加重加算係数である。
f=k_x・p_x_1+k_y・p_y_1 …(4)
評価値fが大きいほど、特徴的な動きをしていることを表す。また、そのときに推定注視点が移動量をベクトルの水平成分をx_1、垂直成分をy_1とするズレが実注視点と推定注視点の間に発生していると判定する。
評価値fが大きいほど、特徴的な動きをしていることを表す。また、そのときに推定注視点が移動量をベクトルの水平成分をx_1、垂直成分をy_1とするズレが実注視点と推定注視点の間に発生していると判定する。
続いて、図8のステップS802において、CPU102(視線履歴解析手段119)は、ステップS801にて算出された評価値fと検出されたズレベクトル703(x_1、y_1)に基づいて、注視点位置のズレを補正する。本実施形態では、説明のためにズレベクトル703にvdiffという記号を割り当てる。ズレベクトルvdiffに対して、以下の式(5)で表されるズレ補正強度α(f)を掛けた値を推定注視点に加えることで、実注視点と推定注視点とのズレを補正することができる。
補正強度α(f)は評価値fの関数であり、評価値fが大きいほど補正強度αが大きくなる。ズレベクトルvdiffを短時間で補正すると、表示手段111の推定注視点に表示した注視点マーカーが急に動き使用者に違和感を与える可能性がある。このため、ズレベクトルvdiffの大きさが閾値thdiffよりも大きい場合、ズレベクトルvdiffに係数(補正係数)kと評価値fとを掛けた大きさだけ補正する。ただし、係数kと評価値fとを掛けた値は0以上1以下になるように設定される。ズレベクトルvdiffの大きさが閾値thdiffよりも小さくなった場合、ズレベクトルvdiffの大きさだけ補正する。
このように本実施形態において、視線履歴解析手段119は、注視点位置が所定の時間内に所定の方向に動いている頻度が高いほど、所定の動きに関する評価値(特徴評価値)fを大きくする。また視線履歴解析手段119は、注視点位置が所定の動きを示すと判定された場合、注視点位置の移動速度ベクトル(ズレベクトルvdiff)に評価値に基づく補正係数(係数k)を掛けた補正ベクトルを用いて、注視点位置を補正する。なお、注視点位置の補正は、特徴的な動きが検出された場合のみ行うことができるが、これに限定されるものではない。また、検出したズレで記憶手段114に記憶された補正係数を修正(更新)してもよい。
続いてステップS803において、CPU102(視線履歴解析手段119)は、注視点の第2の特徴的な動きとして、注視点位置が2か所を交互に移動する(注視点位置が所定の時間内に2つの異なる位置を行き来する)か否かを解析する。図10を参照して、この状態が発生する場合を説明する。図10は、実注視点と推定注視点とのズレを示す図である。図10に示されるように、実注視点1002と推定注視点1001にズレが生じているが、使用者もそれを認識している場合、使用者は、実注視点1002を注視しながら定期的に推定注視点1001を見る。このように、第2の特徴的な動きは、推定注視点1001に表示されている注視点枠を確認するときに発生する可能性がある。
このような状態を検出するため、フレーム間の推定注視点を水平位置(x)、垂直位置(y)の一定期間観測し、図11に示されるように、それぞれのヒストグラムを作成する。図11は、推定注視点の分布(ヒストグラム)を示す図である。図11において、水平方向に関し、横軸は推定注視点の表示手段111上の水平位置(x)、縦軸は一定期間に観測された回数(頻度)の合計が1になるように正規化した値をそれぞれ示す。同様に、垂直方向に関し、縦軸は推定注視点の表示手段111上の垂直位置(y)、横軸は一定期間に観測された回数(頻度)を合計が1になるように正規化した値をそれぞれ示す。
CPU102(視線履歴解析手段119)は、水平位置の頻度が最も高い位置を実注視点の水平位置(x_2)、また垂直位置の頻度が最も高い位置を実注視点の垂直位置(y_2)と判定する。またCPU102は、水平位置の頻度が次に高い位置を推定注視点の水平位置(x_3)、また垂直位置の頻度が次に高い位置を推定注視点の垂直位置(y_3)と判定する。
実注視点における水平位置の最頻値p_x_2が1に近いほど、また垂直位置の最頻値p_y_2が1に近いほど評価値fを大きくする。例えば、評価値fは前述の式(4)を用いて算出される。評価値fが大きいほど特徴的な動きをしていることを表す。CPU102(視線履歴解析手段119)は、ヒストグラムを解析し、頻度p_x_2とp_x_3に対応する水平座標x_2、x_3の差分をx方向のズレ、頻度p_y_2とp_y_3に対応する垂直方向の座標y_2、y_3の差分をy方向のズレと判定する。
続いて、図8のステップS804において、ステップS804にて算出された評価値fと検出されたズレベクトル(x_3―x_2、y_3―y_2)とに基づいて、注視点位置のズレを補正する。ここで、説明のためにズレベクトルにvdiffという記号を割り当てる。なお、補正方法はステップS802と同様であるため、その説明を省略する。
このように本実施形態において、視線履歴解析手段119は、注視点位置が所定の時間内に2つの異なる位置を行き来する頻度が高いほど、所定の動きに関する評価値(特徴評価値)fを大きくする。また視線履歴解析手段119は、注視点位置が所定の動きを示すと判定された場合、2つの異なる位置の間のベクトルに評価値に基づく補正係数を掛けた補正ベクトルを用いて、注視点位置を補正する。なお、注視点位置の補正は、特徴的な動きが検出された場合のみ行うことができるが、これに限定されるものではない。また、検出したズレを用いて記憶手段114に記憶した補正係数をさらに修正(更新)してもよい。
本実施形態において、図7(a)~(c)または図11に示されるように、実注視点に対して推定注視点が表示手段111の右下方向にずれている場合、使用者が視線を実際に右下に動かし、右下にいる被写体や右下のメニュー表示を見ようとしている場合もある。従って、使用者の視線の動きが第1の特徴的な動き(S801)や第2の特徴的な動き(S803)に該当しても、移動した推定注視点位置に人物、動物、高コントラストの被写体など特徴的な被写体が存在する場合には、推定注視点位置の補正を行わなくてもよい。すなわち視線履歴解析手段119は、視線推定手段115により推定された注視点位置が移動して所定の位置に到達し、かつ所定の位置の周辺に特徴的な被写体が検出された場合、表示手段111に表示される指標の位置を補正しないように構成してもよい。
または、推定注視点位置が移動した後に操作手段124を操作し、注視点位置に対して撮像装置100に何らかの指示(所定の操作)を与えた場合、CPU102は、注視点をその位置に移動する意思があったと判定し、推定注視点位置の補正を行わなくてもよい。すなわち視線履歴解析手段119は、視線推定手段115により推定された注視点位置が移動して所定の位置に到達し、かつ撮像装置100に対して所定の操作が行われた場合、表示手段111に表示される指標の位置を補正しないように構成してもよい。
または、推定注視点位置が所定速度より速く動いている場合、CPU102は、使用者は注視点枠を追っているのではなく特徴的な被写体やメニュー表示に早急に視線を移動させていると判定し、推定注視点位置の補正を行わなくてもよい。
本実施形態では、キャリブレーション作業を事前に行い、補正係数を記憶手段114に記憶しておく。また本実施形態において、視線履歴解析手段119は、位置履歴または回転角履歴の少なくとも一つに基づいて、キャリブレーションデータを補正してもよい。ただし本実施形態は、これに限定されるものではない。事前にキャリブレーション作業を行わずに前述の特徴的な動きを検出することで、撮影時に実注視点と推定注視点のズレを検出して補正してもよい。
本実施形態では、推定注視点位置の履歴に基づいて特徴的な動きを検出するが、使用者の眼球の回転角θx、θyの履歴(回転角履歴)を用いてもよい。注視点(Hx,Hy)と眼球の回転角θx、θyとの関係は、式(2)、(3)で表される。なお検出方法については、図8のステップS801、S803に準ずればよいため、その説明は省略する。
以上のとおり、本実施形態の撮像装置100は、視線推定手段115、表示手段111、および視線履歴解析手段119を有する。視線推定手段115は、使用者の眼球の画像信号から使用者の注視点位置を推定する。表示手段111は、視線推定手段115により推定された注視点位置を示す指標を表示する。視線履歴解析手段119は、注視点位置の位置履歴または眼球の回転角履歴の少なくとも一つを解析する。また視線履歴解析手段119は、位置履歴または回転角履歴の少なくとも一つに基づいて、表示手段111に表示される指標の位置を補正する。好ましくは、視線履歴解析手段119は、位置履歴または回転角履歴の少なくとも一つに基づいて注視点位置が所定の動きを示すと判定した場合、表示手段111に表示される指標の位置を補正する。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本実施形態によれば、使用者に負荷をかけることなく、使用者の注視点位置を適切に(動的に)補正することが可能な光学装置、光学装置の制御方法、およびプログラムを提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、本発明は、VRや光学シースルーMR/AR用の光学装置にも適用可能である。
100 撮像装置(光学装置)
111 表示手段
115 視線推定手段(推定手段)
119 視線履歴解析手段(解析手段)
111 表示手段
115 視線推定手段(推定手段)
119 視線履歴解析手段(解析手段)
Claims (13)
- 使用者の眼球の画像信号から使用者の注視点位置を推定する推定手段と、
前記推定手段により推定された前記注視点位置を示す指標を表示する表示手段と、
前記注視点位置の位置履歴または前記眼球の回転角履歴の少なくとも一つを解析する解析手段と、を有し、
前記解析手段は、前記位置履歴または前記回転角履歴の少なくとも一つに基づいて、前記表示手段に表示される前記指標の位置を補正することを特徴とする光学装置。 - 前記解析手段は、前記位置履歴または前記回転角履歴の少なくとも一つに基づいて前記注視点位置が所定の動きを示すと判定した場合、前記表示手段に表示される前記指標の位置を補正することを特徴とする請求項1に記載の光学装置。
- 前記解析手段は、前記注視点位置が所定の時間内に所定の方向に動いている頻度が高いほど、前記所定の動きに関する評価値を大きくすることを特徴とする請求項2に記載の光学装置。
- 前記解析手段は、前記解析手段により前記注視点位置が前記所定の動きを示すと判定された場合、前記注視点位置の移動速度ベクトルに前記評価値に基づく補正係数を掛けた補正ベクトルを用いて、前記注視点位置を補正することを特徴とする請求項3に記載の光学装置。
- 前記解析手段は、前記注視点位置が所定の時間内に2つの異なる位置を行き来する頻度が高いほど、前記所定の動きに関する評価値を大きくすることを特徴とする請求項2に記載の光学装置。
- 前記解析手段は、前記解析手段により前記注視点位置が前記所定の動きを示すと判定された場合、前記2つの異なる位置の間のベクトルに前記評価値に基づく補正係数を掛けた補正ベクトルを用いて、前記注視点位置を補正することを特徴とする請求項5に記載の光学装置。
- 前記表示手段に表示される前記指標と前記推定手段により推定された前記注視点位置とのズレに関するキャリブレーションデータを取得する取得手段を更に有し、
前記解析手段は、前記位置履歴または前記回転角履歴の少なくとも一つに基づいて、前記キャリブレーションデータを補正することを特徴とする請求項1乃至6のいずれか一項に記載の光学装置。 - 前記解析手段は、前記推定手段により推定された前記注視点位置が移動して所定の位置に到達し、かつ前記光学装置に対して所定の操作が行われた場合、前記表示手段に表示される前記指標の位置を補正しないことを特徴とする請求項1乃至7のいずれか一項に記載の光学装置。
- 前記解析手段は、前記推定手段により推定された前記注視点位置が移動して所定の位置に到達し、かつ前記所定の位置の周辺に被写体が検出された場合、前記表示手段に表示される前記指標の位置を補正しないことを特徴とする請求項1乃至7のいずれか一項に記載の光学装置。
- レンズにより形成された眼球像を光電変換する眼球用撮像素子を更に有することを特徴とする請求項1乃至9のいずれか一項に記載の光学装置。
- 撮像光学系により形成された被写体像を光電変換する撮像素子と、
請求項1乃至10のいずれか一項に記載の光学装置と、を有することを特徴とする撮像装置。 - 使用者の眼球の画像から使用者の注視点位置を推定する推定ステップと、
前記推定ステップにおいて推定された前記注視点位置を示す指標を表示する表示ステップと、
前記注視点位置の位置履歴または前記眼球の回転角履歴の少なくとも一つを解析する解析ステップと、
前記位置履歴または前記回転角履歴の少なくとも一つに基づいて、前記指標の位置を補正するステップと、を有することを特徴とする光学装置の制御方法。 - 請求項12に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022009747A JP2023108559A (ja) | 2022-01-25 | 2022-01-25 | 光学装置、撮像装置、光学装置の制御方法、およびプログラム |
US18/156,480 US11983319B2 (en) | 2022-01-25 | 2023-01-19 | Optical apparatus, image pickup apparatus, control method of optical apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022009747A JP2023108559A (ja) | 2022-01-25 | 2022-01-25 | 光学装置、撮像装置、光学装置の制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023108559A true JP2023108559A (ja) | 2023-08-04 |
Family
ID=87314008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022009747A Pending JP2023108559A (ja) | 2022-01-25 | 2022-01-25 | 光学装置、撮像装置、光学装置の制御方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11983319B2 (ja) |
JP (1) | JP2023108559A (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006285715A (ja) | 2005-04-01 | 2006-10-19 | Konica Minolta Holdings Inc | 視線検出システム |
JP5689850B2 (ja) * | 2012-05-25 | 2015-03-25 | 株式会社ソニー・コンピュータエンタテインメント | 映像解析装置、映像解析方法、および注視点表示システム |
WO2016098406A1 (ja) * | 2014-12-17 | 2016-06-23 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2017004117A (ja) | 2015-06-05 | 2017-01-05 | 富士通テン株式会社 | 視線検出装置および視線検出方法 |
US20170344112A1 (en) * | 2016-05-31 | 2017-11-30 | Fove, Inc. | Gaze detection device |
-
2022
- 2022-01-25 JP JP2022009747A patent/JP2023108559A/ja active Pending
-
2023
- 2023-01-19 US US18/156,480 patent/US11983319B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11983319B2 (en) | 2024-05-14 |
US20230236666A1 (en) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7358530B2 (ja) | 被写体認識装置及び被写体認識装置の制御方法 | |
US11650660B2 (en) | Electronic device, control method, and non-transitory computer readable medium | |
JP2018029764A (ja) | 診断支援装置、診断支援方法、及びコンピュータプログラム | |
JP2016051317A (ja) | 視線検出装置 | |
JP2023108559A (ja) | 光学装置、撮像装置、光学装置の制御方法、およびプログラム | |
US11829052B2 (en) | Gaze detection apparatus, gaze detection method, and non-transitory computer readable medium | |
US20220329740A1 (en) | Electronic apparatus, method for controlling electronic apparatus, and non-transitory computer readable storage medium | |
JP2021000200A (ja) | 評価装置、評価方法、及び評価プログラム | |
US11632496B2 (en) | Image pickup apparatus for detecting line-of-sight position, control method therefor, and storage medium | |
JP2015046111A (ja) | 視点検出装置および視点検出方法 | |
US20240231482A1 (en) | Display control apparatus and control method for display apparatus | |
US20230125838A1 (en) | Electronic apparatus and control method for electronic apparatus | |
JP7358130B2 (ja) | 電子機器およびその制御方法 | |
US20230179854A1 (en) | Control apparatus, method of controlling control apparatus, control method, and storage medium | |
JP7446898B2 (ja) | 電子機器 | |
JP6140979B2 (ja) | 眼科撮影装置及び方法 | |
WO2022044395A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
US20220277590A1 (en) | Line-of-sight detection device and control method for controlling the same | |
JP2022165239A (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP3344757B2 (ja) | フォーカスエリア設定装置 | |
JP2023074878A (ja) | 視線検出装置、視線検出装置の制御方法およびプログラム | |
JP2023063760A (ja) | 識別装置 | |
JP2022183552A (ja) | 視線情報取得装置、撮像装置、視線情報取得方法、プログラム、及び、記憶媒体 | |
JP2023045131A (ja) | 検出装置、制御方法およびプログラム | |
JP2023069526A (ja) | 電子機器及びその制御方法、プログラム |