JP2023180721A - 眼球運動計測装置、及び眼球運動計測方法 - Google Patents
眼球運動計測装置、及び眼球運動計測方法 Download PDFInfo
- Publication number
- JP2023180721A JP2023180721A JP2022094261A JP2022094261A JP2023180721A JP 2023180721 A JP2023180721 A JP 2023180721A JP 2022094261 A JP2022094261 A JP 2022094261A JP 2022094261 A JP2022094261 A JP 2022094261A JP 2023180721 A JP2023180721 A JP 2023180721A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- subject
- target
- eye movement
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims description 17
- 238000012937 correction Methods 0.000 claims abstract description 76
- 210000003128 head Anatomy 0.000 claims abstract description 50
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 14
- 230000004044 response Effects 0.000 claims abstract description 6
- 230000004424 eye movement Effects 0.000 claims description 59
- 238000000691 measurement method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 210000001747 pupil Anatomy 0.000 description 47
- 238000012986 modification Methods 0.000 description 23
- 230000004048 modification Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 7
- 230000004886 head movement Effects 0.000 description 7
- 230000004459 microsaccades Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Abstract
【課題】ウエアラブル型の計測装置を用いてキャリブレーションを行う場合において頭部運動の影響を抑制する。
【解決手段】被験者の頭部に固定され、前記被験者の眼球を撮像する撮像部と、前記被験者の頭部に固定され、前記被験者の頭部に対して固定された位置から特定の方向に複数のキャリブレーションターゲットを互いに異なる投影位置に投影する投影部と、前記投影部によって投影された第1キャリブレーションターゲットの投影位置から第2キャリブレーションターゲットの投影位置までの距離であるターゲット間距離と、第1キャリブレーションターゲットから第2キャリブレーションターゲットの投影に変化したことに対応して前記被験者が行った眼球運動の計測値との関係とを用いて、前記計測値を補正する補正関数を決定する補正部と、を備える。
【選択図】図1
【解決手段】被験者の頭部に固定され、前記被験者の眼球を撮像する撮像部と、前記被験者の頭部に固定され、前記被験者の頭部に対して固定された位置から特定の方向に複数のキャリブレーションターゲットを互いに異なる投影位置に投影する投影部と、前記投影部によって投影された第1キャリブレーションターゲットの投影位置から第2キャリブレーションターゲットの投影位置までの距離であるターゲット間距離と、第1キャリブレーションターゲットから第2キャリブレーションターゲットの投影に変化したことに対応して前記被験者が行った眼球運動の計測値との関係とを用いて、前記計測値を補正する補正関数を決定する補正部と、を備える。
【選択図】図1
Description
本発明は、眼球運動計測装置、及び眼球運動計測方法に関する。
被験者の内面的状態を探る手段として、微小な眼球運動の一つであるマイクロサッカードを計測する手段がある(例えば、特許文献1-2)。例えば、視覚的な注意の移動に伴ってマイクロサッカードの発生頻度が増加する一方で、視覚的な注意の集中に伴ってマイクロサッカードの発生頻度が減少することが報告されている。このような性質を利用し、例えば、マイクロサッカードの発生頻度等を計測することによって、被験者が視線を向けている対象に視覚的な注意を集中させて観察しているのか、あるいは、ただぼんやりと(注意を集中しない状態で)視線を向けているだけなのかを判断することができ、被験者の内面的状態を探ることができる。
マイクロサッカードを計測する方法として、例えば、小型高速カメラ等を用いて撮像した眼球の画像を解析することによって、眼球運動の頻度、大きさ、速度、方向などを求める方法がある。このような方法でマイクロサッカードを計測した場合、撮像距離やレンズ画角などの幾何学的条件に加えて、ノイズ成分の影響による検出感度の変動が生じる場合がある。例えば、真値に対して、実測値は10~20%程度小さくなる場合が多い。また、撮像条件や被写体の特性(被験者の眼球のコントラストなど)によってノイズの影響度が変化する場合がある。このため、事前にキャリブレーションを行って補正係数を求め、マイクロサッカードの計測値を補正することが行われている。
キャリブレーションでは、例えば、ディスプレイや実空間の既知の位置に、キャリブレーションターゲット(以下、単にターゲットという)として特定のマーク、例えば丸印等が表示される。被験者に、ある位置に表示されたターゲットから別の位置に表示されたターゲットを観察させることにより、その眼球の動きを撮像する。画像から眼球の回旋量(瞳孔の移動量)を計測値として検出し、検出した計測値がターゲット間の距離と整合するように補正条件が決定される。
しかしながら、頭部に装着して使用するウエアラブル型の計測装置を用いて眼球を撮像した場合、頭部運動を除いた眼球運動のみが検出されるため、頭部を固定しないと正しいキャリブレーションを行うことができないという問題があった。
本発明は、このような状況に鑑みてなされたものであり、ウエアラブル型の計測装置を用いてキャリブレーションを行う場合において頭部運動の影響を抑制することができる眼球運動計測装置、及び眼球運動計測方法を提供することを目的とする。
本発明の眼球運動計測装置は、被験者の頭部に固定され、前記被験者の眼球を撮像する撮像部と、前記被験者の頭部に固定され、前記被験者の頭部に対して固定された位置から特定の方向に複数のキャリブレーションターゲットを互いに異なる投影位置に投影する投影部と、前記投影部によって投影された第1キャリブレーションターゲットの投影位置から第2キャリブレーションターゲットの投影位置までの距離であるターゲット間距離と、第1キャリブレーションターゲットから第2キャリブレーションターゲットの投影に変化したことに対応して前記被験者が行った眼球運動の計測値との関係とを用いて、前記計測値を補正する補正関数を決定する補正部とを備える。
本発明の眼球運動計測方法は、眼球運動計測装置が行う眼球運動計測方法であって、撮像部が、被験者の頭部に固定され、前記被験者の眼球を撮像し、投影部が、前記被験者の頭部に固定され、前記被験者の頭部に対して固定された位置から特定の方向に複数のキャリブレーションターゲットを互いに異なる投影位置に投影し、補正部が、前記投影部によって投影された第1キャリブレーションターゲットの投影位置から第2キャリブレーションターゲットの投影位置までの距離であるターゲット間距離と、第1キャリブレーションターゲットから第2キャリブレーションターゲットの投影に変化したことに対応して前記被験者が行った眼球運動の計測値との関係とを用いて、前記計測値を補正する補正関数を決定する。
本発明によれば、ウエアラブル型の計測装置を用いてキャリブレーションを行う場合において頭部運動の影響を抑制することができる。
以下、本発明の実施形態について、図面を参照して説明する。
(眼球運動計測装置1の構成)
図1は、実施形態による眼球運動計測装置1の構成例を示すブロック図である。眼球運動計測装置1は、眼球運動を計測するシステムである。眼球運動計測装置1では、眼球運動を計測する前に、キャリブレーションを行う。ここでのキャリブレーションは、計測値を補正する補正係数を決定する処理である。例えば、キャリブレーションにおいて、ある位置に表示されたターゲットから、別の位置に表示されたターゲットを観察した場合における瞳孔の移動量が、ターゲット間の実際の距離に対応した値となる補正係数が決定される。
図1は、実施形態による眼球運動計測装置1の構成例を示すブロック図である。眼球運動計測装置1は、眼球運動を計測するシステムである。眼球運動計測装置1では、眼球運動を計測する前に、キャリブレーションを行う。ここでのキャリブレーションは、計測値を補正する補正係数を決定する処理である。例えば、キャリブレーションにおいて、ある位置に表示されたターゲットから、別の位置に表示されたターゲットを観察した場合における瞳孔の移動量が、ターゲット間の実際の距離に対応した値となる補正係数が決定される。
眼球運動計測装置1は、例えば、撮像部10と、投影部20と、コンピュータ40とを備える。撮像部10は、眼球Gを撮像する。投影部20は、投影面31にキャリブレーションを行うためのターゲット32を投影する。コンピュータ40は、撮像部10及び投影部20を制御する。
撮像部10は、例えば、小型高速カメラである。撮像部10は、例えば、照明部11と撮像レンズ12と赤外線フィルタ13とイメージセンサ14とを備える。照明部11は、赤外線を照射するLED(Light Emitting Diode)を備え、被験者の眼球を含む眼の領域に赤外線を照明する。
本実施形態において、照明部11に設けられるLEDは、例えば、770nmの波長の不可視の赤外光(赤外線)を放射するデバイスである。照明に(赤外光ではなく)可視光を用いた場合、被験者がその照明の光に反応して、すなわち、瞳孔に入ってくる光の光量を減少させるため、虹彩が閉じることで瞳孔の大きさが変動し、かつ光をよけるため瞳孔の位置が変化する可能性がある。あるいは照明の光に注意が向いてしまう可能性もあるため、対象の観察における被験者の心理的な状態を推定するために用いる、観察している対象に対応した自然な状態で生じる眼球運動の計測ができなくなる。このため、本実施形態において、眼球運動を照射光によって影響を受けずに計測するため、眼球の照明に不可視の波長の赤外光を用いている。
撮像レンズ12は、眼球を近距離から撮像するための小型撮像レンズであり、被写体である眼球からの反射光(反射された赤外光)光を、後述するイメージセンサ14の撮像面に結像する。
赤外線フィルタ13は、不可視の波長の赤外光を透過させ、可視光の波長の光を遮断する光学フィルタである。本実施形態においては、例えば、カットオフ波長が700nmの光学フィルタを用いている。
イメージセンサ14は、撮像面に照射される光の明暗を電気信号に変換して画像データとして出力するデバイスであり、例えば、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどである。例えば、イメージセンサ14は、所定のフレーム周期にて撮像した画像であるフレーム画像を連続した動画像として、コンピュータ40に出力する。
投影部20は、例えば、映像プロジェクターである。投影部20は、例えば、複数のLED21(LED21-1~21-3、…)と投影レンズ22とを備える。LED21は、光を照射する。投影レンズ22は、LED21によって照射された光を投影面31に結像させることによって、輝点を生じさせ、この輝点がターゲット32の像に対応する。複数のLED21の各々は、互いに異なる投影位置にターゲット32を投影するように構成されている。
或いは、投影部20は、投影する映像を変化させることによって、互いに異なる投影位置にターゲット32を投影するように構成されてもよい。
本実施形態において、撮像部10は被験者の頭部に固定される。つまり、撮像部10は、頭部に装着して使用するウエアラブル型の撮像装置である。
この場合、撮像部10は被験者の頭部の動きに連動して、グローバル座標系に対する撮像方向が変化する。このため、被験者が同一方向を観察しているとしても、被験者の頭部の向きによって、撮像部10からみた瞳孔の向きが変化してしまう。例えば、被験者が、ある位置に表示されたターゲットから、別の位置に表示されたターゲットを見た場合に、頭部の向きを変えて別の位置に表示されたターゲットを観察した場合と、頭部の向きを変えずに観察した場合とでは、瞳孔の移動量が異なった値として検出されてしまう。ウエアラブル型の撮像装置による計測するだけでは、ターゲット間の距離と瞳孔の移動量との関係を一意に特定することが困難となる。このため正しいキャリブレーションを行うことができないという問題があった。
この対策として、被験者の頭部の移動量を検出し、頭部の移動量に基づいて、瞳孔の移動量を補正することが考えられる。しかし、本来の眼球運動には必須ではない頭部の移動量を検出するための装置、例えば、視野カメラなどを追加しなければならない。このため、コストが増大するという問題がある。また、頭部の移動量に基づいて瞳孔の移動量を補正する際に誤差が生じやすく、ノイズが混入しやすくなると可能性がある。
或いは、図9Aに示すように、被験者の頭部を固定させ、頭部が移動しないようにする対策が考えられる。しかし、頭部を固定するための器具が必要になる。さらに、被験者に不自然な体勢を強いることになるため、瞳孔をスムーズに移動させることが困難となり、計測値が安定せずに誤差が生じやすくなる可能性がある。
或いは、図9Bに示すように、ターゲットを、被験者の頭部に対して固定する対策が考えられる。例えば、ヘッドマウントに竿のような器具を固定させ、竿の先にターゲットを取り付ける。このようにして、ヘッドマウントを装着した被験者の頭部の向きに対して特定の方向にターゲットが存在するように構成することが考えられる。被験者を拘束せずに、被験者の頭部運動の有無に関わらず、ターゲットを示すことが可能となるが、大掛かりな装置となるため、ターゲットの取り扱いが面倒になるという問題や重量が増加するなどの問題が残る。
そこで、本実施形態では、投影部20を被験者の頭部に固定するようにした。つまり、投影部20は、頭部に装着して使用するウエアラブル型の投影装置である。
この場合、撮像部10は被験者の頭部の動きに連動して、投影方向が変化する。頭部の向きを変えてターゲットを見ようとした場合には、ターゲットの投影位置が変化するため、投影位置が変化したターゲットを観察することになり、ターゲット間の距離に応じて瞳孔を移動させる。頭部の向きを変えずにターゲットを見ようとした場合には、ターゲット間の距離に応じて瞳孔を移動させる。すなわち、被験者は、頭部を移動させたか否かに関わらず、ターゲット間の距離に応じて瞳孔を移動させてターゲットを観察することになり、ウエアラブル型の撮像装置による計測を行う場合であっても、ターゲット間の距離と瞳孔の移動量との関係を一意に特定することが可能となり、正しいキャリブレーションを行うことができる。しかも、投影部20として、小型の投影装置を用いることで、取り扱いがさらに容易となり、実験者と被験者の負荷を軽減することができる。
図2Aは、眼球運動計測装置1を被験者に装着させた例を示す図である。図2Aに示すように、撮像部10及び投影部20は、被験者の頭部Hに固定される。これにより、投影部20は、被験者の頭部Hの固定された位置から光を照射するように構成される。
図2B及び図2Cは、ターゲットを投影する例を示す図である。図2Bには被験者が正面に頭部を向けている場合の例が示されている。図2Cには、被験者が正面に対して左の方向に頭部を向けた場合の例が示されている。図2Bに示すように、被験者が正面に頭部を向けている場合、正面方向にある投影面31にターゲット32を投影させる。図2Cに示すように、被験者が左方向に頭部を向けている場合、投影部20は、正面に対して左の方向にある投影面31にターゲット32を投影させる。このように、本実施形態では、被験者の頭部の向きに応じてターゲット32を投影させる位置(投影位置)を変化させることができる。したがって、ウエアラブル型の計測装置を用いてキャリブレーションを行う場合において頭部運動の影響を抑制することが可能となる。
図3は実施形態に係るコンピュータ40の構成を示すブロック図である。コンピュータ40は、例えば、通信部41と、記憶部42と、制御部43を備える。通信部41は、撮像部10及び投影部20と通信を行う。記憶部42は、例えば、補正係数420を記憶する。補正係数420は、キャリブレーションにより決定された補正係数を示す情報である。
記憶部42は、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read / write Memory)、ROM(Read Only Memory)などの記憶媒体、あるいはこれらの組合せである。記憶部42は、コンピュータ40の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。
制御部43は、例えば、取得部430と、投影制御部431と、補正部432を備える。制御部43が備えるこれらの機能部、すなわち、取得部430、投影制御部431、及び補正部432のそれぞれは、コンピュータ40がハードウェアとして備えるCPU(Central Processing Unit)にプログラムを実行させることによって実現される。
取得部430は、各種の情報を取得する。例えば、取得部430は、撮像部10により撮像された画像を、通信部41を介して取得する。取得部430は、取得した画像を、補正部432に出力する。
投影制御部431は、投影部20を制御し、投影面31に投影させるターゲット32の投影位置を制御する。
ここで、図4を用いて、投影制御部431が投影位置を制御する方法を説明する。図4は、実施形態に係るターゲットが投影された投影面の例を示す図である。図4に示すように、投影制御部431は、例えば、辺の長さ(角距離Dt)が一定である正方形の頂点となる位置の各々にターゲット32(ターゲット32-1~32-4)が投影されるように、投影部20を制御する。
例えば、投影部20には、4つのLED21が、正方形の頂点となる位置の各々に対応させて配置されている。投影部20は、投影レンズ22の焦点面に近い方の面に、LED21を配置することにより光束を平行光に近づける。投影制御部431は、4つのLED21を切り替えて点灯させる。これにより、正方形の頂点となる位置の各々に、順次、ターゲット32を投影することができる。
また、投影部20において、LED21と投影レンズ22の間に絞りが配置されている場合、投影制御部431は、投影レンズ22によって平行光に近づけられた光の光量を、絞りを用いて調整するようにしてもよい。これにより、投影制御部431は、投影面31に投影させるターゲット32の大きさを制御することができる。
図3に戻り、補正部432は、補正係数を決定する。補正部432は、投影部20によって投影されたターゲット32の投影位置と、投影されたターゲット32に対応して被験者が行った眼球運動の計測値との関係とを用いて、補正係数を決定する。補正部432は、眼球運動の計測値を、撮像部10によって投影された眼球運動の様子が示された画像を解析することにより算出する。眼球運動の計測値を算出する方法は任意の方法が用いられてよいが、例えば、フレーム画像における各画素の輝度値に基づいて、瞳孔が撮像された撮像領域を特定し、特定した撮像領域がフレーム画像に応じて変化する変化量に基づいて算出した瞳孔の移動量を、眼球運動の計測値とする。
ここで、図5を用いて、補正部432が補正係数を決定する方法を説明する。図5は、実施形態に係るコンピュータ40が行う処理の流れを示すフローチャートである。
ここでは、図4に示す正方形の頂点となる位置に、ターゲット32-4、32-1、32-2、32-3の順に、ターゲット32を投影させることにより、キャリブレーションが行われるものとする。
コンピュータ40の投影制御部431は、LED-4、つまりターゲット32-4に対応するLED21を点灯させる(ステップST10)。これにより、ターゲット32-4が投影面31に投影される。被験者は、投影面31に投影されたターゲット32-4を観察する(ステップST11)。撮像部10は、ターゲット32-4を観察する被験者の眼球を撮像し、撮像した画像をコンピュータ40に出力する。
コンピュータ40の補正部432は、瞳孔積算移動量Sを初期化し、瞳孔積算移動量Sに0(ゼロ)を設定する(ステップST12)。また、補正部432は、変数Nを初期化し、変数Nに1を設定する(ステップST13)。
投影制御部431は、LED-N、つまりターゲット32-Nに対応するLED21を点灯させる(ステップST14)。但し、Nは1~3の何れかの整数である。これにより、ターゲット32-Nが投影面31に投影される。被験者は、投影面31に投影されたターゲット32-Nを観察する(ステップST15)。撮像部10は、ターゲット32-Nを観察する被験者の眼球を撮像し、撮像した画像をコンピュータ40に出力する。
補正部432は、瞳孔移動量D#を計測する(ステップST16)。例えば、補正部432は、ステップST11で得られた画像を解析することにより、ターゲット32-4を観察した被験者の瞳孔が撮像された撮像領域(第1領域という)を特定する。また、補正部432は、ステップST15で得られた画像を解析することにより、ターゲット32-1を観察した被験者の瞳孔が撮像された撮像領域(第2領域という)を特定する。補正部432は、第1領域と第2領域の画素座標の変化量を算出し、算出した変化量に応じた値を瞳孔移動量D#とする。
補正部432は、ステップST16で算出した瞳孔移動量D#の絶対値を、瞳孔積算移動量Sに加算する(ステップST17)。また、補正部432は、変数Nをインクリメントし、変数Nに1を加算する(ステップST18)。
コンピュータ40は、変数Nが4より大きいか否かを判定する(ステップST19)。コンピュータ40は、変数Nが4より小さい場合、ステップST14に戻り、キャリブレーションを継続する。
一方、補正部432は、変数Nが4より大きい場合、以下の数式(1)を用いて補正係数αを算出し(ステップST19)、処理を終了させる。
α=S/4/Dt …(1)
但し、αは補正係数である。
Sは瞳孔積算移動量である。
Dtは角距離である。
但し、αは補正係数である。
Sは瞳孔積算移動量である。
Dtは角距離である。
なお、上記では、補正部432が補正係数αを算出する場合を例示して説明したが、補正部432は、少なくとも、計測値を補正する補正条件を決定すればよく、例えば、補正式などの関数を決定するように構成されてもよい。
また、上記では、正方形の頂点に対応する位置にターゲット32を投影させる場合を例示して説明したが、これに限定されない。投影制御部431は、長方形の各頂点に対応する位置にターゲット32を投影させるようにしてもよい。この場合においても、補正部432は、あるターゲット32の投影位置から別のターゲット32の投影位置までの角距離Dtに応じて、補正係数を決定することが可能である。
以上説明したように、実施形態の眼球運動計測装置1は、撮像部10と、投影部20と、補正部432とを備える。撮像部10は、被験者の頭部に固定され、被験者の眼球を撮像する。投影部20は、被験者の頭部に固定され、被験者の頭部に対して固定された位置から特定の方向に複数のターゲット32(キャリブレーションターゲット)を投影する。補正部432は、補正係数αを決定する。補正部432は、ターゲット間距離と、あるターゲット32から別のターゲット32の投影に変化したことに対応して被験者が行った眼球運動の計測値との関係とを用いて、補正係数αを決定するターゲット間距離は、投影部20によって投影されたあるターゲット32(第1キャリブレーションターゲット)の投影位置から、別のターゲット32(第2キャリブレーションターゲット)の投影位置までの距離である。
これにより、実施形態の眼球運動計測装置1は、被験者の頭部の向きに応じてターゲット32を投影させる位置(投影位置)を変化させることができる。したがって、被験者が頭部を移動させたか否かに関わらず、ターゲット間の距離に応じて瞳孔が移動するようにしてターゲット32を観察させることができる。したがって、ウエアラブル型の計測装置を用いてキャリブレーションを行う場合において頭部運動の影響を抑制することが可能となる。
また、実施形態の眼球運動計測装置1では、投影部20は、映像プロジェクターであり、投影する映像を変化させることによって、ターゲット32の投影位置を変化させる。これにより、実施形態の眼球運動計測装置1では、任意の投影位置にターゲット32を投影させることができる。
また、実施形態の眼球運動計測装置1では、投影部20は、投影位置が互いに異なる複数のLED21(異なる方向に投影される複数のキャリブレーションターゲットに対応する複数の光源)を備え、LED21を切り替えて点灯させることにより、ターゲット32を投影させる投影位置を変化させる。これにより、実施形態の眼球運動計測装置1では、LED21を切り替えて点灯させるという簡単な処理により、所定の投影位置にターゲット32を投影させることができる。
ここで、実施形態の変形例について説明する。一般に、人間の視野角は水平方向に200度程度、垂直方向に125度程度であることが知られている。情報受容能力に優れる有効視野は水平方向に30度程度であり、垂直方向に20度程度であること、また、注視点が迅速に安定して見える安定注視野は水平方向に60~90度程度であり、垂直方向に45度~70度程度であることが知られている。このような性質から、人間の目は、垂直方向に比べて、水平方向に瞳孔を移動させることが容易であるという性質を有すると考えられる。また、安定注視野の範囲に比べて、視野角の範囲に瞳孔を移動させることが困難であるという性質を有すると考えられる。このため、垂直方向と水平方向とでは、瞳孔の移動量とターゲット間の距離との乖離度合が異なる可能性がある。また、比較的小さく瞳孔を移動させることは容易だが、大きく瞳孔を移動させることは困難であるという性質を有すると考えられる。
実施形態の変形例では、このような性質を鑑み、ターゲット32の投影位置を水平方向に移動させる場合と、垂直方向に移動させる場合とで、異なる補正係数を算出できるように構成する。また、瞳孔を大きく移動させた場合と、小さく移動させた場合とを考慮した補正係数を算出できるように構成する。
(実施形態の変形例1)
図6を用いて、実施形態の変形例1について説明する。図6は、実施形態の変形例1に係るターゲットが投影された投影面31の例を示す図である。本変形例では、投影制御部431が水平方向に沿ってターゲット32を投影させる点において、上述した実施形態と相違する。補正部432は、水平方向におけるターゲット間の角距離Dtと、水平方向に移動した瞳孔の移動量との関係に基づいて、水平方向における補正係数αを決定する。補正係数αを決定する方法は実施形態と同様の方法を用いることができる。
図6を用いて、実施形態の変形例1について説明する。図6は、実施形態の変形例1に係るターゲットが投影された投影面31の例を示す図である。本変形例では、投影制御部431が水平方向に沿ってターゲット32を投影させる点において、上述した実施形態と相違する。補正部432は、水平方向におけるターゲット間の角距離Dtと、水平方向に移動した瞳孔の移動量との関係に基づいて、水平方向における補正係数αを決定する。補正係数αを決定する方法は実施形態と同様の方法を用いることができる。
(実施形態の変形例2)
図7を用いて、実施形態の変形例2について説明する。図7は、実施形態の変形例2に係るターゲットが投影された投影面31の例を示す図である。本変形例では、投影制御部431が垂直方向に沿ってターゲット32を投影させる点において、上述した実施形態と相違する。補正部432は、垂直方向におけるターゲット間の角距離Dtと、垂直方向に移動した瞳孔の移動量との関係に基づいて、垂直方向における補正係数αを決定する。補正係数αを決定する方法は実施形態と同様の方法を用いることができる。
図7を用いて、実施形態の変形例2について説明する。図7は、実施形態の変形例2に係るターゲットが投影された投影面31の例を示す図である。本変形例では、投影制御部431が垂直方向に沿ってターゲット32を投影させる点において、上述した実施形態と相違する。補正部432は、垂直方向におけるターゲット間の角距離Dtと、垂直方向に移動した瞳孔の移動量との関係に基づいて、垂直方向における補正係数αを決定する。補正係数αを決定する方法は実施形態と同様の方法を用いることができる。
なお、変形例2において、補正部432は、上方向に瞳孔を移動させた場合と、下方向に瞳孔を移動させた場合とを区別して補正係数αを算出するようにしてもよい。
また、一般に、人間の瞳孔は、水平方向及び垂直方向と比較して、斜めの方向に瞳孔を移動させることが難しいという性質がある。このため、投影制御部431は、水平方向及び垂直方向に対して斜めとなる方向にターゲット32を投影させないことが好ましい。
(実施形態の変形例3)
ここで、図8を用いて、実施形態の変形例3について説明する。図8は、実施形態の変形例3に係るターゲットが投影された投影面31の例を示す図である。本変形例では、ターゲット間の距離に応じた重み係数が設定される。補正部432は、ターゲット間の距離に応じた重み係数を、そのターゲット間の距離に乗算する。例えば、補正部432は、ターゲット間の距離が比較的大きい角距離Dt1に、比較的小さい重み係数を乗算させる。一方、補正部432は、ターゲット間の距離が比較的小さい角距離Dt2に、比較的大きい重み係数を乗算させる。補正部432は、重み係数を乗算したターゲット間の距離を用いて補正係数αを決定する。補正係数αを決定する方法は実施形態と同様の方法を用いることができる。
ここで、図8を用いて、実施形態の変形例3について説明する。図8は、実施形態の変形例3に係るターゲットが投影された投影面31の例を示す図である。本変形例では、ターゲット間の距離に応じた重み係数が設定される。補正部432は、ターゲット間の距離に応じた重み係数を、そのターゲット間の距離に乗算する。例えば、補正部432は、ターゲット間の距離が比較的大きい角距離Dt1に、比較的小さい重み係数を乗算させる。一方、補正部432は、ターゲット間の距離が比較的小さい角距離Dt2に、比較的大きい重み係数を乗算させる。補正部432は、重み係数を乗算したターゲット間の距離を用いて補正係数αを決定する。補正係数αを決定する方法は実施形態と同様の方法を用いることができる。
以上説明したように、実施形態の変形例1に係る眼球運動計測装置1では、投影部20は、鉛直方向に沿って前記投影位置を変化させる。これにより、実施形態の変形例1に係る眼球運動計測装置1では、鉛直方向に瞳孔を移動させた場合における補正係数αを算出することができる。
また、実施形態の変形例2に係る眼球運動計測装置1では、投影部20は、水平方向に沿って前記投影位置を変化させる。これにより、実施形態の変形例2に係る眼球運動計測装置1では、水平方向に瞳孔を移動させた場合における補正係数αを算出することができる。
したがって、鉛直方向に瞳孔を移動させた場合と、水平方向に瞳孔を移動させた場合とを区別した補正係数αを算出することができる。
また、実施形態の変形例2に係る眼球運動計測装置1では、投影部20は、水平方向に沿って前記投影位置を変化させる。これにより、実施形態の変形例2に係る眼球運動計測装置1では、水平方向に瞳孔を移動させた場合における補正係数αを算出することができる。
したがって、鉛直方向に瞳孔を移動させた場合と、水平方向に瞳孔を移動させた場合とを区別した補正係数αを算出することができる。
また、実施形態の変形例に係る眼球運動計測装置1では、投影部20は、鉛直方向及び水平方向に対して斜めとなる方向には投影位置を変化させない。これにより、実施形態の変形例に係る眼球運動計測装置1では、斜め方向に瞳孔を移動させた場合を除外した補正係数αを算出することができる。
また、実施形態の変形例3に係る眼球運動計測装置1では、補正部432は、ターゲット間の距離に応じた重み係数を計測値に乗算した値を用いて、補正係数αを決定する。これにより、実施形態の変形例3に係る眼球運動計測装置1では、ターゲット間の距離に応じた補正係数αを算出することができる。
なお、上述した実施形態及びその変形例において、投影部20が着脱可能に構成されていてもよい。投影部20は、キャリブレーション時にのみ必要であり、実際に眼球運動を計測する場合には不要となる。このため、投影部20がキャリブレーション時にのみ装着させ、実際の計測時には着脱させる。これにより、実際の計測時における利便性を向上させることができる。例えば、磁石を用いてヘッドマウントに投影部20を取り付けるように構成する。これにより、投影部20を容易に着脱可能とすることが可能となる。
また、安全性の観点から、LED21を、レーザーダイオードとすることなく、通常の可視光を照射するLEDとしてもよい。また、ターゲット32の光束を狭い角度に集中できるよう、半値角が小さいLEDや点光源LEDを用いることが好ましい。半値角が小さいLEDとして、例えば、Vishay(登録商標)社のTLCR5800を用いることができる。点光源LEDとしては、例えば、Marktech社のMTPS9062MC-BKがある。
上述した実施形態における眼球運動計測装置1、及びコンピュータ40の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1…眼球運動計測装置
10…撮像部
20…投影部
32…ターゲット
40…コンピュータ
431…投影制御部
432…補正部
10…撮像部
20…投影部
32…ターゲット
40…コンピュータ
431…投影制御部
432…補正部
Claims (8)
- 被験者の頭部に固定され、前記被験者の眼球を撮像する撮像部と、
前記被験者の頭部に固定され、前記被験者の頭部に対して固定された位置から特定の方向に複数のキャリブレーションターゲットを互いに異なる投影位置に投影する投影部と、
前記投影部によって投影された第1キャリブレーションターゲットの投影位置から第2キャリブレーションターゲットの投影位置までの距離であるターゲット間距離と、第1キャリブレーションターゲットから第2キャリブレーションターゲットの投影に変化したことに対応して前記被験者が行った眼球運動の計測値との関係とを用いて、前記計測値を補正する補正関数を決定する補正部と、
を備えることを特徴とする眼球運動計測装置。 - 前記投影部は、映像プロジェクターであり、投影する映像を変化させることによって、キャリブレーションターゲットの投影位置を変化させる、
ことを特徴とする請求項1に記載の眼球運動計測装置。 - 前記投影部は、異なる方向に投影される複数のキャリブレーションターゲットに対応する複数の光源を備え、前記光源を切り替えて点灯させることによって、キャリブレーションターゲットの投影位置を変化させる、
ことを特徴とする請求項1に記載の眼球運動計測装置。 - 前記投影部は、鉛直方向に沿って、キャリブレーションターゲットの投影位置を変化させる、
ことを特徴とする請求項1に記載の眼球運動計測装置。 - 前記投影部は、水平方向に沿って、キャリブレーションターゲットの投影位置を変化させる、
ことを特徴とする請求項1に記載の眼球運動計測装置。 - 前記投影部は、鉛直方向及び水平方向に対して斜めとなる方向には、キャリブレーションターゲットの投影位置を変化させない、
ことを特徴とする請求項1に記載の眼球運動計測装置。 - 前記補正部は、前記ターゲット間距離に応じた重み係数を前記計測値に乗算した値を用いて、前記補正関数を決定する
ことを特徴とする請求項1に記載の眼球運動計測装置。 - 眼球運動計測装置が行う眼球運動計測方法であって、
撮像部が、被験者の頭部に固定され、前記被験者の眼球を撮像し、
投影部が、前記被験者の頭部に固定され、前記被験者の頭部に対して固定された位置から特定の方向に複数のキャリブレーションターゲットを互いに異なる投影位置に投影し、
補正部が、前記投影部によって投影された第1キャリブレーションターゲットの投影位置から第2キャリブレーションターゲットの投影位置までの距離であるターゲット間距離と、第1キャリブレーションターゲットから第2キャリブレーションターゲットの投影に変化したことに対応して前記被験者が行った眼球運動の計測値との関係とを用いて、前記計測値を補正する補正関数を決定する、
眼球運動計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022094261A JP2023180721A (ja) | 2022-06-10 | 2022-06-10 | 眼球運動計測装置、及び眼球運動計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022094261A JP2023180721A (ja) | 2022-06-10 | 2022-06-10 | 眼球運動計測装置、及び眼球運動計測方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023180721A true JP2023180721A (ja) | 2023-12-21 |
Family
ID=89306993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022094261A Pending JP2023180721A (ja) | 2022-06-10 | 2022-06-10 | 眼球運動計測装置、及び眼球運動計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023180721A (ja) |
-
2022
- 2022-06-10 JP JP2022094261A patent/JP2023180721A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102000865B1 (ko) | 눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법 | |
JP6586523B2 (ja) | 構造化光を用いた視線追跡 | |
US10154254B2 (en) | Time-of-flight depth sensing for eye tracking | |
JP5167545B2 (ja) | 視点検出装置 | |
JP5858433B2 (ja) | 注視点検出方法及び注視点検出装置 | |
US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
US10698482B2 (en) | Gaze tracking using non-circular lights | |
JP5297486B2 (ja) | 眼及びその凝視方向を検知し、追跡する装置 | |
US10481403B2 (en) | Contact lens with retinal camera | |
US20140078517A1 (en) | Medical wide field of view optical tracking system | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
US20110170060A1 (en) | Gaze Tracking Using Polarized Light | |
WO2015083524A1 (ja) | 計測装置及び計測方法 | |
JP7053469B2 (ja) | 視線追跡のためのシステムおよび装置 | |
JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JPWO2018164104A1 (ja) | 眼部画像処理装置 | |
JP7046347B2 (ja) | 画像処理装置及び画像処理方法 | |
KR101817436B1 (ko) | 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법 | |
JP6780161B2 (ja) | 視線検出装置及び視線検出方法 | |
JP2016051317A (ja) | 視線検出装置 | |
JP6687195B2 (ja) | 眼部画像処理装置 | |
JP2023180721A (ja) | 眼球運動計測装置、及び眼球運動計測方法 | |
JP2020140637A (ja) | 瞳孔検出装置 | |
JP6430813B2 (ja) | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 | |
JP7325272B2 (ja) | 眼科装置、及びその制御方法 |