JP2023019659A - 視線検出装置、視線検出方法及び視線検出プログラム - Google Patents
視線検出装置、視線検出方法及び視線検出プログラム Download PDFInfo
- Publication number
- JP2023019659A JP2023019659A JP2021124572A JP2021124572A JP2023019659A JP 2023019659 A JP2023019659 A JP 2023019659A JP 2021124572 A JP2021124572 A JP 2021124572A JP 2021124572 A JP2021124572 A JP 2021124572A JP 2023019659 A JP2023019659 A JP 2023019659A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- center
- light
- detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 311
- 230000000007 visual effect Effects 0.000 title abstract description 8
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 136
- 210000001747 pupil Anatomy 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 59
- 230000001678 irradiating effect Effects 0.000 claims description 7
- 230000011514 reflex Effects 0.000 claims description 6
- 230000006866 deterioration Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 26
- 210000004087 cornea Anatomy 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 13
- 210000003786 sclera Anatomy 0.000 description 10
- 238000005286 illumination Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Images
Abstract
【課題】検出精度の低下を抑制することが可能な視線検出装置、視線検出方法及び視線検出プログラムを提供する。
【解決手段】視線検出装置は、画像を表示する表示部と、検出光を発光して被験者の少なくとも一方の眼球に照射する複数の光源と、検出光が照射された眼球の画像を撮像する撮像部と、撮像された画像から、検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、瞳孔中心の位置と角膜反射中心の位置とに基づいて被験者の注視点の位置を算出する注視点検出部と、瞳孔中心と角膜反射中心との間の対象距離に基づいて、複数の光源のうち検出光を発光する光源を切り替える光源制御部とを備える。
【選択図】図3
【解決手段】視線検出装置は、画像を表示する表示部と、検出光を発光して被験者の少なくとも一方の眼球に照射する複数の光源と、検出光が照射された眼球の画像を撮像する撮像部と、撮像された画像から、検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、瞳孔中心の位置と角膜反射中心の位置とに基づいて被験者の注視点の位置を算出する注視点検出部と、瞳孔中心と角膜反射中心との間の対象距離に基づいて、複数の光源のうち検出光を発光する光源を切り替える光源制御部とを備える。
【選択図】図3
Description
本発明は、視線検出装置、視線検出方法及び視線検出プログラムに関する。
光源で検出光を発光して被験者の眼球に照射し、検出光が照射された眼球の画像を取得し、取得した画像における瞳孔の像と検出光の反射像とに基づいて、瞳孔中心及び角膜曲率中心を算出し、角膜曲率中心から瞳孔中心へ向かうベクトルを被験者の視線方向として検出する視線検出装置が知られている(例えば、特許文献1参照)。
上記のような視線検出装置では、被験者の眼球に照射される検出光の反射像が角膜と強膜との境界又は強膜に存在することがある。角膜と強膜とでは曲率半径が異なるため、このような場合には、視線の検出精度が低下する可能性がある。
本発明は、上記に鑑みてなされたものであり、検出精度の低下を抑制することが可能な視線検出装置、視線検出方法及び視線検出プログラムを提供することを目的とする。
本発明に係る視線検出装置は、画像を表示する表示部と、検出光を発光して被験者の少なくとも一方の眼球に照射する複数の光源と、前記検出光が照射された眼球の画像を撮像する撮像部と、撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、前記瞳孔中心の位置と前記角膜反射中心の位置とに基づいて被験者の注視点の位置を算出する注視点検出部と、前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち前記検出光を発光する前記光源を切り替える光源制御部とを備える。
本発明に係る視線検出方法は、表示部に画像を表示することと、複数の光源から検出光を発光して被験者の少なくとも一方の眼球に照射することと、前記検出光が照射された眼球の画像を撮像することと、撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出することと、前記瞳孔中心の位置と前記角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出することと、前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち前記検出光を発光する前記光源を切り替えることとを含む。
本発明に係る視線検出プログラムは、表示部に画像を表示する処理と、複数の光源から検出光を発光して被験者の少なくとも一方の眼球に照射する処理と、前記検出光が照射された眼球の画像を撮像する処理と、撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、前記瞳孔中心の位置と前記角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち前記検出光を発光する前記光源を切り替える処理とをコンピュータに実行させる。
本発明によれば、検出精度の低下を抑制することが可能な視線検出装置、視線検出方法及び視線検出プログラムを提供することができる。
以下、本発明に係る視線検出装置、視線検出方法及び視線検出プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
(視線検出装置)
図1は、本実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。図1に示すように、視線検出装置100は、表示部101と、ステレオカメラ装置102と、照明装置103とを備える。
図1は、本実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。図1に示すように、視線検出装置100は、表示部101と、ステレオカメラ装置102と、照明装置103とを備える。
表示部101は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OELD)のようなフラットパネルディスプレイを含む。本実施形態において、表示部101は、画像を表示する。本実施形態において、表示部101は、例えば被験者の視機能を評価するための指標を表示する。表示部101は、XY平面と実質的に平行である。X軸方向は表示部101の左右方向であり、Y軸方向は表示部101の上下方向であり、Z軸方向は表示部101と直交する奥行方向である。
ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bを有する。ステレオカメラ装置102は、表示部101よりも下方に配置される。第1カメラ102Aと第2カメラ102BとはX軸方向に配置される。第1カメラ102Aは、第2カメラ102Bよりも-X方向に配置される。第1カメラ102A及び第2カメラ102Bはそれぞれ、赤外線カメラを含み、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
照明装置(光源)103は、第1光源(下部第1光源)103Aと、第2光源(下部第2光源)103Bと、第3光源(上部光源)103Cと、第4光源(上部光源)103Dとを有する。第1光源103A及び第2光源103Bは、表示部101よりも下方に配置される。第3光源103C及び第4光源103D(上部光源)は、表示部101よりも上方に配置される。
第1光源103Aと第2光源103BとはX軸方向に配置される。第1光源103Aは、第1カメラ102Aよりも-X方向に配置される。第2光源103Bは、第2カメラ102Bよりも+X方向に配置される。第3光源103Cと第4光源103Dとは、X軸方向に配置される。第3光源103Cは、第1カメラ102Aよりも-X方向に配置される。第4光源103Dは、第2カメラ102Bよりも+X方向に配置される。
第1光源103A、第2光源103B、第3光源103C及び第4光源103Dはそれぞれ、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、第1光源103A及び第2光源103Bは、第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。同様に、第3光源103C及び第4光源103Dは、X方向について第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。また、ステレオカメラ装置102は、表示部101よりも上方に配置されてもよい。
照明装置103は、検出光である近赤外光を射出して、被験者の眼球111を照明する。ステレオカメラ装置102は、第1光源103A又は第3光源103Cが発光することで射出された検出光が眼球111に照射されたときに第2カメラ102Bで眼球111の一部(以下、これを含めて「眼球」とする)を撮影し、第2光源103B又は第4光源103Dが発光することで射出された検出光が眼球111に照射されたときに第1カメラ102Aで眼球111を撮影する。
第1カメラ102A及び第2カメラ102Bの少なくとも一方からフレーム同期信号が出力される。第1光源103A、第2光源103B、第3光源103C及び第4光源103Dは、フレーム同期信号に基づいて検出光を射出する。第1カメラ102Aは、第2光源103B又は第4光源103Dから射出された検出光が眼球111に照射されたときに、眼球111の画像データを撮影する。第2カメラ102Bは、第1光源103A又は第3光源103Cから射出された検出光が眼球111に照射されたときに、眼球111の画像データを撮影する。
眼球111に検出光が照射されると、その検出光の一部は瞳孔112で反射し、その瞳孔112からの光がステレオカメラ装置102に入射する。また、眼球111に検出光が照射されると、角膜の虚像である角膜反射像113が眼球111に形成され、その角膜反射像113からの光がステレオカメラ装置102に入射する。
第1カメラ102A及び第2カメラ102Bと、第1光源103A、第2光源103B、第3光源103C及び第4光源103Dとの相対位置が適切に設定されることにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。すなわち、ステレオカメラ装置102で撮影される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。視線検出装置100は、撮影される画像の輝度に基づいて、瞳孔112の位置及び角膜反射像113の位置を検出することができる。
図2は、本実施形態に係る視線検出装置100のハードウェア構成の一例を示す図である。図2に示すように、視線検出装置100は、表示部101と、ステレオカメラ装置102と、照明装置103と、コンピュータシステム(制御部)20と、入出力インターフェース装置30と、駆動回路40と、出力装置50と、入力装置60とを備える。
コンピュータシステム20と、駆動回路40と、出力装置50と、入力装置60とは、入出力インターフェース装置30を介してデータ通信する。コンピュータシステム20は、演算処理装置20A及び記憶装置20Bを含む。演算処理装置20Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置20Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置20Aは、記憶装置20Bに記憶されているコンピュータプログラム20Cに従って演算処理を実施する。
駆動回路40は、駆動信号を生成して、表示部101、ステレオカメラ装置102、及び照明装置103に出力する。また、駆動回路40は、ステレオカメラ装置102で撮影された眼球111の画像データを、入出力インターフェース装置30を介してコンピュータシステム20に供給する。
出力装置50は、フラットパネルディスプレイのような表示部を含む。なお、出力装置50は、印刷装置を含んでもよい。入力装置60は、操作されることにより入力データを生成する。入力装置60は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置60が表示部である出力装置50の表示画面に設けられたタッチセンサを含んでもよい。
本実施形態においては、表示部101とコンピュータシステム20とは別々の装置である。なお、表示部101とコンピュータシステム20とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム20、入出力インターフェース装置30、駆動回路40、及び表示部101が搭載されてもよい。
図3は、本実施形態に係る視線検出装置100の一例を示す機能ブロック図である。図3に示すように、入出力インターフェース装置30は、入出力部302を有する。駆動回路40は、表示部101を駆動するための駆動信号を生成して表示部101に出力する表示装置駆動部402と、第1カメラ102Aを駆動するための駆動信号を生成して第1カメラ102Aに出力する第1カメラ入出力部404Aと、第2カメラ102Bを駆動するための駆動信号を生成して第2カメラ102Bに出力する第2カメラ入出力部404Bと、第1光源103A、第2光源103B、第3光源103C及び第4光源103Dを駆動するための駆動信号を生成して第1光源103A、第2光源103B、第3光源103C及び第4光源103Dに出力する光源駆動部406とを有する。また、第1カメラ入出力部404Aは、第1カメラ102Aで撮影された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。第2カメラ入出力部404Bは、第2カメラ102Bで撮影された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。
コンピュータシステム20は、視線検出装置100を制御する。コンピュータシステム20は、表示制御部21と、光源制御部22と、画像データ取得部23と、位置検出部24と、曲率中心算出部25と、注視点検出部26と、記憶部27と、入出力制御部28とを有する。コンピュータシステム20の機能は、演算処理装置20A及び記憶装置20Bによって発揮される。
表示制御部21は、被験者に見せるための画像を表示部101に表示させる。表示制御部21は、例えばキャリブレーション処理における目標画像を表示部101の複数の位置(目標位置)に表示可能である。表示制御部21は、目標画像を1箇所ずつ複数の目標位置に順次切り替えて表示してもよいし、目標画像が表示部101内で複数の目標位置に順次移動するように表示させてもよい。なお、目標画像を表示させる目標位置の数については、例えば操作者が入力装置60等により入力することによって設定可能である。
光源制御部22は、光源駆動部406を制御して、第1光源103A、第2光源103B、第3光源103C及び第4光源103Dの発光と非発光とを制御する。光源制御部22は、瞳孔中心と角膜反射中心との間の対象距離に基づいて、第1光源103A、第2光源103B、第3光源103C及び第4光源103Dのうち検出光を発光する光源を切り替える。対象距離としては、例えば瞳孔中心と角膜反射中心との間の上下方向の距離、瞳孔中心と角膜反射中心との間の左右方向の距離、瞳孔中心と角膜反射中心との間の最短距離、等が挙げられる。光源制御部22は、第1光源103A及び第2光源103Bから検出光が発光している状態において、瞳孔中心と角膜反射中心との間の対象距離が所定の閾値以上となる場合には、第3光源103C及び第4光源103Dから検出光を発光させるように切り替えることができる。また、光源制御部22は、第3光源103C及び第4光源103Dから検出光が発光している状態において、瞳孔中心と角膜反射中心との間の対象距離が所定の閾値以上となる場合には、第1光源103A及び第2光源103Bから検出光を発光させるように切り替えることができる。
また、光源制御部22は、眼球111の画像における検出光の反射像の形状が基準形状に含まれるか否かに基づいて、第1光源103A、第2光源103B、第3光源103C及び第4光源103Dのうち検出光を発光する光源を切り替える。本実施形態において、基準形状は、1つの楕円形状とすることができる。光源制御部22は、第1光源103A及び第2光源103Bから検出光が発光している状態において、眼球111の画像における検出光の反射像の形状が基準形状に含まれないと判定した場合には、第3光源103C及び第4光源103Dから検出光を発光させるように切り替えることができる。また、光源制御部22は、第3光源103C及び第4光源103Dから検出光が発光している状態において、眼球111の画像における検出光の反射像の形状が基準形状に含まれないと判定した場合には、第1光源103A及び第2光源103Bから検出光を発光させるように切り替えることができる。
画像データ取得部23は、第1カメラ102A及び第2カメラ102Bを含むステレオカメラ装置102によって撮影された被験者の眼球111の画像データを、入出力部302を介してステレオカメラ装置102から取得する。
位置検出部24は、画像データ取得部23で取得された眼球111の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部24は、画像データ取得部23で取得された眼球111の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔112の中心である。角膜反射中心は、角膜反射像113の中心である。位置検出部24は、被験者の左右それぞれの眼球111について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
曲率中心算出部25は、画像データ取得部23で取得された眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。
注視点検出部26は、画像データ取得部23で取得された眼球111の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示部101との交点の位置データをいう。注視点検出部26は、眼球111の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球111の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部26は、視線ベクトルと表示部101との交点を示す注視点の位置データを検出する。
記憶部27は、上記の視線検出に関する各種データやプログラムを記憶する。記憶部27は、例えば表示部101に表示させる画像についてのデータを、背景画像の色及び輝度ごとに記憶することができる。また、記憶部27は、各キャリブレーション処理において算出される注視点の位置データを記憶する。
また、記憶部27は、表示部101に画像を表示する処理と、複数の光源から検出光を発光して被験者の少なくとも一方の眼球111に照射する処理と、検出光が照射された眼球111の画像を撮像する処理と、撮像された画像から、検出光が照射された眼球111の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、瞳孔中心と角膜反射中心との間の対象距離に基づいて複数の光源のうち検出光を発光する光源を切り替える処理とをコンピュータに実行させる視線検出プログラムを記憶する。
また、記憶部27は、表示部101に画像を表示する処理と、複数の光源から検出光を発光して被験者の少なくとも一方の眼球111に照射する処理と、検出光が照射された眼球111の画像を撮像する処理と、撮像された画像から、検出光が照射された眼球111の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、眼球111の画像における検出光の角膜反射像113の形状が基準形状に含まれるか否かに基づいて、複数の光源のうち検出光を発光する光源を切り替える処理とをコンピュータに実行させる視線検出プログラムを記憶する。
入出力制御部28は、表示部101及び出力装置50の少なくとも一方にデータを出力する。
次に、本実施形態に係る曲率中心算出部25の処理の概要について説明する。本実施形態では、第1光源103A及び第2光源103Bで眼球111が照明され、第1カメラ102A及び第2カメラ102Bの2つのカメラで眼球111を撮影する場合について説明する。なお、光源及びカメラが2つの場合に限定されず、光源及びカメラが1つである場合にも同様の説明が可能である。以下、本実施形態に係る視線検出方法の原理を説明する。
図4は、第1光源103A及び第2光源103Bで眼球111が照明される例を示す図である。図4に示すように、本実施形態においては、第1カメラ102A及び第2光源103Bと、第2カメラ102B及び第1光源103Aとは、第1カメラ102Aと第2カメラ102Bとの中間位置を通る直線に対して左右対称の位置に配置される。第1カメラ102Aと第2カメラ102Bとの中間位置に仮想光源(光源の基準位置)103Vが存在するとみなすことができる。
角膜反射中心121は、第2カメラ102Bで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心122は、第1カメラ102Aで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心を示す。
角膜反射中心124の位置データは、ステレオカメラ装置102で撮影された角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定される三次元ローカル座標系において角膜反射中心121の位置データ及び角膜反射中心122の位置データを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部27に記憶されている。曲率中心算出部25は、ステレオカメラ装置102で撮影された角膜反射中心121の位置データ及び角膜反射中心122の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部25は、三次元グローバル座標系で規定される角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて、三次元グローバル座標系における角膜反射中心124の位置データを算出する。
角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に存在する。曲率中心算出部25は、直線123上において角膜反射中心124からの距離が所定値となる位置を、角膜曲率中心110の位置として算出する。当該所定値としては、角膜曲率半径109が用いられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。角膜曲率半径109の値としては、例えば一般的な角膜曲率半径値などから予め定められた値を用いることができる。
なお、第3光源103C及び第4光源103Dを用いる場合については、表示部101の上部において、第1光源103A及び第2光源103BとX座標が同一となるように第3光源103C及び第4光源103Dを配置し、第3光源103Cと第4光源103Dとの中間位置に仮想光源103V2(図示せず)が存在すると想定することにより、上記同様の方法で角膜曲率中心110が算出される。
[視線検出方法]
本実施形態に係る視線検出方法では、キャリブレーション処理を行った後、注視点検出処理が行われる。まず、キャリブレーション処理の原理について説明する。図5は、本実施形態に係るキャリブレーション処理の原理を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。表示制御部21は、設定された目標位置130に目標画像を表示する。
本実施形態に係る視線検出方法では、キャリブレーション処理を行った後、注視点検出処理が行われる。まず、キャリブレーション処理の原理について説明する。図5は、本実施形態に係るキャリブレーション処理の原理を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。表示制御部21は、設定された目標位置130に目標画像を表示する。
第1光源103A及び第2光源103Bは、眼球111を照明する。第1カメラ102A及び第2カメラ102Bは、眼球111を撮影する。例えば、第1光源103Aから検出光を射出した場合には、第2カメラ102Bで眼球111を撮影する。また、第2光源103Bから検出光を射出した場合には、第1カメラ102Aで眼球111を撮影する。なお、第1光源103A及び第2光源103Bに代えて第3光源103C及び第4光源103Dを用いる場合については、第3光源103C及び第4光源103Dから検出光を射出して、例えば第1カメラ102A及び第2カメラ102Bで異なるタイミングで眼球111を撮影する。位置検出部24は、画像データ取得部23で取得された眼球111の画像データに基づいて、瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを検出する。位置検出部24は、検出した各位置データをグローバル座標系に変換する。
曲率中心算出部25は、第1光源103A及び第2光源103Bから検出光を出射した場合には、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出する。具体的には、曲率中心算出部25は、仮想光源103Vと、角膜反射中心113Cとを結ぶ第1直線141を求める。また、曲率中心算出部25は、第3光源103C及び第4光源103Dから検出光を出射した場合には、仮想光源103V2の位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出する。
また、曲率中心算出部25は、目標位置130と瞳孔中心112Cとを結ぶ第2直線142を求める。曲率中心算出部25は、第1直線141と第2直線142との交点を角膜曲率中心110の位置データとして求める。そして、曲率中心算出部25は、角膜曲率中心110と瞳孔中心112Cとの距離127を算出し、キャリブレーションデータとして記憶部27に記憶する。本実施形態では、第1光源103A及び第2光源103Bから検出光を発光する場合の角膜曲率中心110と瞳孔中心112Cとの距離(Ra)と、第3光源103C及び第4光源103Dから検出光を発光する場合の角膜曲率中心110と瞳孔中心112Cとの距離(Rb)とのそれぞれについて算出する。
次に、視線検出処理の原理について説明する。図6は、本実施形態に係る視線検出処理の原理を説明するための模式図である。視線検出処理では、キャリブレーション処理と同様に、第1光源103A及び第2光源103Bを用いて、又は第3光源103C及び第4光源103Dを用いて、眼球111を照明する。第1カメラ102A及び第2カメラ102Bは、眼球111を撮影する。位置検出部24は、画像データ取得部23で取得された眼球111の画像データに基づいて、瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを検出する。
曲率中心算出部25は、第1光源103A及び第2光源103Bを用いて検出光を照射した場合には、仮想光源103Vの位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データと、キャリブレーション処理において算出した角膜曲率中心110と瞳孔中心112Cとの距離127とに基づいて、角膜曲率中心110の位置データを算出する。具体的には、曲率中心算出部25は、仮想光源103Vと、角膜反射中心113Cとを結ぶ直線173を求める。同様に、曲率中心算出部25は、第3光源103C及び第4光源103Dを用いて検出光を照射した場合には、仮想光源103V2に対応する位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データと、キャリブレーション処理において算出した角膜曲率中心110と瞳孔中心112Cとの距離127とに基づいて、角膜曲率中心110の位置データを算出する。
また、曲率中心算出部25は、瞳孔中心112Cから眼球111の内側に対して距離127に相当する距離だけ離れた位置を角膜曲率中心110の位置データとして求める。注視点検出部26は、瞳孔中心112Cと角膜曲率中心110とを結ぶ直線178を求め、当該直線178と表示部101との交点166の位置データを注視点の位置データとして算出する。
図7は、検出光の反射像が形成された眼球の一例を示す図である。図7上段に示すように、被験者が仮想光源103Vからそれほど離れない位置を見た場合等、被験者の眼球111に照射される検出光の角膜反射像113が角膜111a上に存在する場合には、角膜反射像113の形状が例えば扁平率の小さい1つの楕円形状となるため、角膜反射中心の位置データを高精度に検出できる。
図7中段及び図7下段に示すように、被験者が仮想光源103Vから大きく外れた位置を見た場合等においては、被験者の眼球111に照射される検出光の角膜反射像113が角膜111aと強膜111bとの境界に存在することがある。この場合、曲率半径及び反射率の違い等により、例えば図7中段に示すように検出光の角膜反射像113の形が歪み、例えば扁平率の大きい楕円形、長円形等の形状となったり、図7下段に示すように複数の角膜反射像113が形成されたりする。このため、角膜反射中心の位置データの検出精度が低下し、視線の検出精度が低下する可能性がある。
これに対して、本実施形態では、一例として、被験者の瞳孔中心と角膜反射中心との間の対象距離に基づいて、検出光の反射像が被験者の角膜111aからはみ出さない位置に形成されるように、当該検出光を発光する光源を切り替える制御を行う。検出光の反射像が形成される位置は、例えば被験者の眼球の位置と、カメラと光源との位置関係と、によって決定される。
図8は、検出光の反射像が形成された眼球の一例を示す図である。図8に示すように、光源制御部22は、眼球111の画像データに基づいて算出された瞳孔中心112Cと角膜反射中心113Cとの間の対象距離を算出する。光源制御部22は、対象距離として、例えば瞳孔中心112Cと角膜反射中心113Cとの間の上下方向(Y方向)及び左右方向(X方向)のそれぞれについて距離を算出することができる。なお、光源制御部22は、瞳孔中心112Cと角膜反射中心113Cとの間の最短距離を対象距離として算出してもよい。以下、瞳孔中心112Cと角膜反射中心113Cとの間の上下方向の距離を対象距離DYと表記し、左右方向の距離を対象距離DXと表記する。図8に示す例において、光源制御部22は、対象距離DYと、対象距離DXとを算出する場合を示している。光源制御部22は、例えば瞳孔中心112CのY座標(Y2)と、角膜反射中心113CのY座標(Y1)との差の絶対値|Y2-Y1|を対象距離DYとして算出することができる。また、光源制御部22は、例えば瞳孔中心112CのX座標(X2)と、角膜反射中心113CのX座標(X1)との差の絶対値|X2-X1|を対象距離DXとして算出することができる。
本実施形態では、被験者が眼球111を移動させることで、瞳孔中心112C、角膜111a及び強膜111bの位置が変化する。このため、角膜反射像113と瞳孔中心112C、角膜111a及び強膜111bとの相対的な位置関係が変化し、対象距離DY及び対象距離DXが変化する。例えば、図8に示すように角膜反射像113が瞳孔中心112Cに対して図中の右下に位置する場合において、被験者が眼球111を角膜反射像113とは反対側に移動させた場合(左上:図中の一点鎖線)、角膜反射像113と瞳孔中心112C、角膜111a及び強膜111bとの相対的な位置関係が変化し、対象距離DY及び対象距離DXが大きくなる。
本実施形態では、角膜反射像113が角膜111a上の位置に収まるような対象距離DY及び対象距離DXの閾値を予め設定しておく。なお、光源制御部22は、キャリブレーション処理において、対象距離DY及び対象距離DXの閾値を設定してもよい。この場合、例えば被験者が表示部101の表示画面101Sの中心位置を注視した場合の対象距離DY及び対象距離DXの値を閾値として用いることができる。光源制御部22は、第1光源103A及び第2光源103Bから検出光を照射する場合の閾値と、第3光源103C及び第4光源103Dから検出光を照射する場合の閾値とをそれぞれ設定する。したがって、第1光源103A及び第2光源103Bから検出光を照射する状態で、対象距離DYが閾値を超える場合には、被験者が表示画面101Sの中心位置よりも上方を注視していると判断できる。また、第3光源103C及び第4光源103Dから検出光を照射する状態で、対象距離DYが閾値を超える場合には、被験者が表示画面101Sの中心位置よりも下方を注視していると判断できる。光源制御部22は、算出した対象距離DY及び対象距離DXが、予め設定した閾値未満となるように、検出光を照射する照明装置103を切り替えるようにする。光源制御部22は、対象距離DY及び対象距離DXの一方の距離のみを用いて照明装置103の切り替え制御を行ってもよい。以下、対象距離DYについて閾値を設定し、対象距離DYが閾値未満となるように制御する場合を例に挙げて説明する。第1光源103A及び第2光源103Bから検出光を照射する場合の対象距離DYの閾値をαとし、第3光源103C及び第4光源103Dから検出光を照射する場合の対象距離DYの閾値をβとする。なお、対象距離DY及び対象距離DXの両方の距離を用いて照明装置103の切り替え制御を行う場合、対象距離DY及び対象距離DXの少なくとも一方の値が閾値未満となるように制御することができる。
図9から図13は、視線検出処理における照明装置103の動作の一例を示す図である。視線検出処理において、初回の注視点の検出を行う場合、光源制御部22は、例えば第1光源103A及び第2光源103Bから検出光が発光するように制御する。図9に示すように、例えば眼球111の画像データにおける瞳孔中心112Cと角膜反射中心113CとのY方向の対象距離DYが閾値α未満である場合、光源制御部22は、下部光源である第1光源103A及び第2光源103Bから検出光が発光するように制御する。
一方、図10に示すように、例えば眼球111の画像データにおける瞳孔中心112Cと角膜反射中心113CとのY方向の対象距離DYが閾値α以上である場合、光源制御部22は、図11に示すように、上部光源である第3光源103C及び第4光源103Dから検出光が発光するように切り替える。
光源制御部22は、上部光源である第3光源103C及び第4光源103Dから検出光が発光される場合においても同様の制御を行うことができる。図11に示すように、例えば眼球111の画像データにおける瞳孔中心112Cと角膜反射中心113CとのY方向の対象距離DYが閾値β未満である場合、光源制御部22は、上部光源である第3光源103C及び第4光源103Dから検出光が発光するように制御する。
一方、図12に示すように、例えば眼球111の画像データにおける瞳孔中心112Cと角膜反射中心113CとのY方向の対象距離DYが閾値β以上である場合、光源制御部22は、図13に示すように、下部光源である第1光源103A及び第2光源103Bから検出光が発光するように切り替える。
光源制御部22は、下部光源である第1光源103A及び第2光源103Bの一方を発光させて眼球111に検出光を照射し、第1カメラ102A及び第2カメラ102Bのうち発光した光源から遠い方のカメラにより、被験者の眼球111を撮影する。その後、第1光源103A及び第2光源103Bの他方を発光させて眼球111に検出光を照射し、第1カメラ102A及び第2カメラ102Bのうち発光した光源から遠い方のカメラにより、被験者の眼球111を撮影する。例えば、第1光源103Aから検出光を射出した場合には、第2カメラ102Bで眼球111を撮影する。また、第2光源103Bから検出光を射出した場合には、第1カメラ102Aで眼球111を撮影する。
同様に、光源制御部22は、上部光源である第3光源103C及び第4光源103Dの一方を発光させて眼球111に検出光を照射し、第1カメラ102A及び第2カメラ102Bのうち発光した光源から遠い方のカメラにより、被験者の眼球111を撮影する。その後、第3光源103C及び第4光源103Dの他方を発光させて眼球111に検出光を照射し、第1カメラ102A及び第2カメラ102Bのうち発光した光源から遠い方のカメラにより、被験者の眼球111を撮影する。例えば、第3光源103Cから検出光を射出した場合には、第2カメラ102Bで眼球111を撮影する。また、第4光源103Dから検出光を射出した場合には、第1カメラ102Aで眼球111を撮影する。
画像データ取得部23は、画像データを取得する。位置検出部24は、取得した画像データに基づいて、瞳孔中心及び角膜反射中心の位置データを検出する。位置検出部24は、角膜反射中心の位置データを正常に検出したか否かを判定する。検出光の反射像が被験者の角膜上に収まっている場合、正常な値が検出される可能性が高くなる。一方、検出光の反射像が被験者の角膜上に収まっておらず、例えば強膜上にはみ出して歪んでいる等の場合、正常な値が検出される可能性が低くなる。正常な値が検出された場合、曲率中心算出部25及び注視点検出部26における各処理により、注視点の位置データが取得される。なお、正常な値が検出されない場合、注視点検出部26は、当該視線検出処理においては、例えばエラー判定とすることができる。
角膜反射中心の正常な値が検出された場合、曲率中心算出部25は、検出された値に基づいて、角膜曲率中心を算出する。このとき、曲率中心算出部25は、当該視線検出処理において検出光を発光する光源が下部光源(第1光源103A及び第2光源103B)であった場合には、キャリブレーション処理において算出された2種類の距離(角膜曲率中心と瞳孔中心との距離)Ra、Rbのうち、検出光を発光する光源を下部光源とした場合に算出された距離Raの値を用いて、角膜曲率中心を算出する。また、曲率中心算出部25は、当該視線検出処理において検出光を発光する光源を上部光源(第3光源103C及び第4光源103D)とした場合には、キャリブレーション処理において検出光を発光する光源を上部光源とした場合に算出された距離Rbの値を用いて、角膜曲率中心を算出する。
次に、本実施形態に係る視線検出方法の一例について、図14を参照しながら説明する。図14は、本実施形態に係る視線検出方法における視線検出処理の一例を示すフローチャートである。図14に示すように、視線検出処理において、光源制御部22は、下部光源(第1光源103A及び第2光源103B)及び上部光源(第3光源103C及び第4光源103D)の一方から検出光を発光させる(ステップS101)。この場合、光源制御部22の制御は、第1光源103A及び第2光源103Bの一方を発光させて眼球111に検出光を照射し、第1カメラ102A及び第2カメラ102Bのうち発光した光源から遠い方のカメラにより、被験者の眼球111を撮影する(ステップS102)。また、光源制御部22の制御により第1光源103A及び第2光源103Bの他方を発光させて眼球111に検出光を照射し、第1カメラ102A及び第2カメラ102Bのうち発光した光源から遠い方のカメラにより、被験者の眼球111を撮影する(ステップS103)。例えば、第1光源103Aから検出光を射出した場合には、第2カメラ102Bで眼球111を撮影する。また、第2光源103Bから検出光を射出した場合には、第1カメラ102Aで眼球111を撮影する。
画像データ取得部23は、画像データを取得する。位置検出部24は、取得した画像データに基づいて、瞳孔中心及び角膜反射中心の位置データを検出する。その後、曲率中心算出部25及び注視点検出部26における各処理により注視点の位置データが取得される(ステップS104)。ステップS104において、曲率中心算出部25は、視線検出処理において検出光を発光する光源を下部光源(第1光源103A及び第2光源103B)とした場合には、キャリブレーション処理において検出光を発光する光源を下部光源とした場合に算出された距離Raの値を用いて、角膜曲率中心を算出する。また、曲率中心算出部25は、視線検出処理において検出光を発光する光源を上部光源(第3光源103C)とした場合には、キャリブレーション処理において検出光を発光する光源を上部光源とした場合に算出された距離Rbの値を用いて、角膜曲率中心を算出する。なお、ステップS104において正常な値が検出されなかった場合、エラー判定として処理を終了してもよい。
ステップS104の後、注視点検出部26は、注視点の検出を終了するか否かを判定する(ステップS105)。ステップS105の判定の結果、注視点の検出を終了する場合(ステップS105のYes)、処理を終了する。また、注視点の検出を終了しない場合(ステップS105のNo)、光源制御部22は、眼球111の画像データにおける瞳孔中心112Cと角膜反射中心113Cとの間の対象距離が閾値未満であるか否かを判定する(ステップS106)。瞳孔中心112Cと角膜反射中心113Cとの間の対象距離が閾値未満であると判定した場合(ステップS106のYes)、光源制御部22は、下部光源と上部光源との間で検出光を発光させる光源を切り替えず、ステップS102以降の処理を繰り返し行わせる(ステップS107)。一方、瞳孔中心112Cと角膜反射中心113Cとの間の対象距離が閾値未満ではないと判定した場合、光源制御部22は、下部光源と上部光源との間で検出光を発光させる光源を切り替えて、ステップS102以降の処理を繰り返し行わせる(ステップS108)。
次に、本実施形態において、検出光を発光する光源を切り替える制御の他の例を説明する。以下では、眼球111の画像データにおける検出光の角膜反射像113の形状が基準形状に含まれるか否かに基づいて、検出光を発光する光源を切り替える制御を行う場合を例に挙げて説明する。
図15は、検出光の反射像が形成された眼球の他の例を示す図である。図15の上段に示すように、被験者の眼球111に照射される検出光の角膜反射像113が角膜111a上に存在する場合には、角膜反射像113の形状が例えば扁平率の小さい1つの楕円形状なる。したがって、本実施形態においては、扁平率が閾値未満の1つの楕円形状を基準形状とすることができる。所定値については、例えば角膜反射像113が角膜111a上に存在する場合の値を予め算出し、算出結果の平均値又は最小値を用いることができるが、この態様に限定されない。被験者の眼球111に照射される検出光の角膜反射像113が角膜111a上に存在する場合には、角膜反射像113の形状は、基準形状に含まれる形状となる。基準形状は、例えば記憶部27に記憶させておくことができる。
一方、被験者の眼球111に照射される検出光の角膜反射像113が角膜111aと強膜111bとの境界に存在する場合、例えば図15の中段に示すように角膜反射像113の形状が例えば扁平率の大きい楕円形、長円形等の形状となったり、図15の下段に示すように複数の角膜反射像113が形成されたりする。つまり、被験者の眼球111に照射される検出光の角膜反射像113が角膜111aと強膜111bとの境界に存在する場合、角膜反射像113の形状は、基準形状には含まれない形状となる。
これを踏まえ、光源制御部22は、眼球111の画像データについて画像処理を行うことにより、検出光の角膜反射像113の形状を求める。例えば、光源制御部22は、画像データにおいて、輝度が所定値を超える領域を角膜反射像113の領域として算出する。光源制御部22は、算出した角膜反射像113の領域の数を算出する。算出結果が2以上の場合、光源制御部22は、角膜反射像113の形状が基準形状には含まれないと判定することができる。
また、算出結果が1の場合、光源制御部22は、算出した角膜反射像113の形状を判定する。光源制御部22は、例えば算出した角膜反射像113と基準形状Qとを比較し、一致する割合が所定値以上である場合に、角膜反射像113の形状が角膜反射像113の形状が基準形状に含まれると判定することができる。一方、光源制御部22は、算出した角膜反射像113と基準形状Qとを比較して一致する割合が所定値未満である場合には、角膜反射像113の形状が角膜反射像113の形状が基準形状には含まれないと判定することができる。
光源制御部22は、角膜反射像113の形状が基準形状には含まれないと判定した場合、下部光源(第1光源103A、第2光源103B)と、上部光源(第3光源103C、第4光源103D)との間で検出光を発光させる光源を切り替える。一方、光源制御部22は、角膜反射像113の形状が基準形状に含まれると判定した場合、検出光を発光させる光源の切り替えを行わないようにする。
図16から図18は、視線検出処理における照明装置103の動作の他の例を示す図である。光源制御部22は、例えば第1光源103A及び第2光源103Bから検出光が発光するように制御する。例えば眼球111の画像データにおける検出光の角膜反射像113の形状が基準形状に含まれるか否かを判定する。
光源制御部22は、角膜反射像113の形状が基準形状に含まれると判定した場合、図16に示すように、検出光を発光させる光源の切り替えを行わないようにする。一方、図17に示すように、例えば角膜反射像113の形状が基準形状には含まれないと判定した場合、光源制御部22は、図18に示すように、上部光源である第3光源103C及び第4光源103Dから検出光が発光するように切り替える。
図19は、本実施形態に係る視線検出方法における視線検出処理の他の例を示すフローチャートである。図19に示すように、ステップS201からステップS205については、上記した被験者の瞳孔中心と角膜反射中心との間の対象距離に基づいて検出光を発光する光源を切り替える制御の場合のステップS101からステップS105(図14参照)と同様である。
ステップS205の判定の結果、注視点の検出を終了する場合(ステップS205のYes)、処理を終了する。また、注視点の検出を終了しない場合(ステップS205のNo)、光源制御部22は、眼球111の画像データにおける角膜反射像113の形状が基準形状に含まれるか否かを判定する(ステップS206)。角膜反射像113の形状が基準形状に含まれると判定した場合(ステップS206のYes)、光源制御部22は、下部光源と上部光源との間で検出光を発光させる光源を切り替えず、ステップS202以降の処理を繰り返し行わせる(ステップS207)。一方、角膜反射像113の形状が基準形状には含まれないと判定した場合、光源制御部22は、下部光源と上部光源との間で検出光を発光させる光源を切り替えて、ステップS102以降の処理を繰り返し行わせる(ステップS208)。
図20は、本実施形態に係る視線検出方法における視線検出処理の他の例を示すフローチャートである。図20に示す例では、被験者の瞳孔中心と角膜反射中心との間の対象距離に基づいて検出光を発光する光源を切り替える制御と、角膜反射像113の形状が基準形状に含まれるか否かに基づいて検出光を発光する光源を切り替える制御とを組み合わせた場合の例を示している。
図20に示すように、ステップS301からステップS304については、上記した角制御におけるステップS101(S201)からステップS104(S204)と同様である(図14、図19参照)。
ステップS304の後、注視点検出部26は、注視点が正常に検出されたか否かを判定する(ステップS305)。ステップS305において、注視点が正常に検出されたと判定された場合(ステップS305のYes)、注視点検出部26及び光源制御部22は、ステップS306からステップS309の処理を行う。ステップS306からステップS309は、被験者の瞳孔中心と角膜反射中心との間の対象距離に基づいて検出光を発光する光源を切り替える制御におけるステップS105からステップS108の各処理と同様である(図14参照)。
一方、ステップS305において、注視点が正常に検出されないと判定された場合(ステップS305のNo)、光源制御部22は、ステップS310からステップS312の処理を行う。ステップS310からステップS312は、角膜反射像113の形状が基準形状に含まれるか否かに基づいて検出光を発光する光源を切り替える制御におけるステップS206からステップS208の各処理と同様である(図19参照)。
被験者の瞳孔中心と角膜反射中心との間の対象距離に基づいて検出光を発光する光源を切り替える制御は、瞳孔中心の位置と角膜反射中心の位置として正常な値が算出された場合、つまり注視点の位置が正常に検出される場合に、当該瞳孔中心の位置と角膜反射中心の位置の正常な値に基づいて行うことができる。一方、角膜反射像113の形状が基準形状に含まれるか否かに基づいて検出光を発光する光源を切り替える制御は、瞳孔中心の位置と角膜反射中心の位置を算出することなく、角膜反射像113の形状に基づいて行うことができる。このため、瞳孔中心の位置と角膜反射中心の位置として正常な値が得られない場合においても、検出光を発光する光源の切り替え制御を適切に行うことができる。
以上のように、本実施形態に係る視線検出装置100は、画像を表示する表示部101と、検出光を発光して被験者の少なくとも一方の眼球111に照射する複数の光源(第1光源103A、第2光源103B、第3光源103C、第4光源103D)と、検出光が照射された眼球111の画像を撮像するステレオカメラ装置102と、撮像された画像から、検出光が照射された眼球111の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部24と、瞳孔中心の位置と角膜反射中心の位置とに基づいて被験者の注視点の位置を算出する注視点検出部26と、瞳孔中心と角膜反射中心との間の対象距離に基づいて、複数の光源のうち検出光を発光する光源を切り替える光源制御部22とを備える。
また、本実施形態に係る視線検出方法は、表示部101に画像を表示することと、複数の光源から検出光を発光して被験者の少なくとも一方の眼球111に照射することと、検出光が照射された眼球111の画像を撮像することと、撮像された画像から、検出光が照射された眼球111の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出することと、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出することと、瞳孔中心と角膜反射中心との間の対象距離に基づいて複数の光源のうち検出光を発光する光源を切り替えることとを含む。
また、本実施形態に係る視線検出プログラムは、表示部101に画像を表示する処理と、複数の光源から検出光を発光して被験者の少なくとも一方の眼球111に照射する処理と、検出光が照射された眼球111の画像を撮像する処理と、撮像された画像から、検出光が照射された眼球111の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、瞳孔中心と角膜反射中心との間の対象距離に基づいて複数の光源のうち検出光を発光する光源を切り替える処理とをコンピュータに実行させる。
本実施形態に係る構成によれば、瞳孔中心と角膜反射中心との間の対象距離に基づいて、複数の光源のうち検出光を発光する光源を切り替えることができるため、被験者の眼球に照射される検出光の反射像が角膜の外側にはみ出すことを抑制できる。これにより、視線の検出精度の低下を抑制できる。
本実施形態に係る視線検出装置100において、複数の光源は、表示部101の下方に設置された第1光源103A及び第2光源103Bと、表示部101の上方に設置された第3光源103C及び第4光源103Dとを含み、距離は、上下方向の対象距離DYであり、光源制御部22は、検出光を発光する光源を下部光源と上部光源との間で切り替える。この構成によれば、上下方向の対象距離DYに基づいて検出光を発光する光源を下部光源と上部光源との間で切り替えるため、検出光の反射像を被験者の角膜内に確実に配置することができる。
本実施形態に係る視線検出装置100において、光源制御部22は、眼球111の画像における検出光の角膜反射像113の形状が基準形状に含まれるか否かに基づいて、検出光を発光する光源を切り替える。これにより、瞳孔中心の位置と角膜反射中心の位置が得られない場合においても、検出光を発光する光源の切り替えを適切に行うことができる。
また、本実施形態に係る視線検出装置100は、画像を表示する表示部101と、検出光を発光して被験者の少なくとも一方の眼球111に照射する複数の光源(第1光源103A、第2光源103B、第3光源103C、第4光源103D)と、検出光が照射された眼球111の画像を撮像するステレオカメラ装置102と、撮像された画像から、検出光が照射された眼球111の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部24と、瞳孔中心の位置と角膜反射中心の位置とに基づいて被験者の注視点の位置を算出する注視点検出部26と、眼球111の画像における検出光の角膜反射像113の形状が基準形状に含まれるか否かに基づいて、複数の光源のうち検出光を発光する光源を切り替える光源制御部22とを備える。
また、本実施形態に係る視線検出方法は、表示部101に画像を表示することと、複数の光源から検出光を発光して被験者の少なくとも一方の眼球111に照射することと、検出光が照射された眼球111の画像を撮像することと、撮像された画像から、検出光が照射された眼球111の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出することと、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出することと、眼球111の画像における検出光の角膜反射像113の形状が基準形状に含まれるか否かに基づいて、複数の光源のうち検出光を発光する光源を切り替えることとを含む。
また、本実施形態に係る視線検出プログラムは、表示部101に画像を表示する処理と、複数の光源から検出光を発光して被験者の少なくとも一方の眼球111に照射する処理と、検出光が照射された眼球111の画像を撮像する処理と、撮像された画像から、検出光が照射された眼球111の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、瞳孔中心の位置と角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、眼球111の画像における検出光の角膜反射像113の形状が基準形状に含まれるか否かに基づいて、複数の光源のうち検出光を発光する光源を切り替える処理とをコンピュータに実行させる。
本実施形態に係る構成によれば、眼球111の画像における検出光の角膜反射像113の形状が基準形状に含まれるか否かに基づいて、複数の光源のうち検出光を発光する光源を切り替えることができるため、被験者の眼球に照射される検出光の反射像が角膜の外側にはみ出すことを抑制できる。これにより、視線の検出精度の低下を抑制できる。
本実施形態に係る視線検出装置100において、基準形状は、扁平率が閾値未満の1つの楕円形状であり、光源制御部22は、角膜反射像113の形状が基準形状に含まれないと判定した場合には、検出光を発光する光源を切り替える。この構成によれば、角膜反射像113の形状が扁平率閾値未満の1つの楕円形状の範囲に含まれないと判定される場合には検出光を発光する光源が切り替わるため、検出光の角膜反射像113を被験者の角膜内に配置することができる。
本実施形態に係る視線検出装置100において、複数の光源は、表示部101の下方に設置された第1光源103A及び第2光源103Bと、表示部101の上方に設置された第3光源103C及び第4光源103Dとを含み、光源制御部22は、検出光を発光する光源を下部光源と上部光源との間で切り替える。この構成によれば、検出光の反射像を被験者の角膜内に確実に配置することができる。
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
例えば、上記実施形態では、複数の光源として、表示部101の下部に配置された下部光源(第1光源103A、第2光源103B)と、表示部101の上部に配置された上部光源(第3光源103C、第4光源103D)とが設けられた構成を例に挙げて説明したが、これに限定されない。例えば、下部光源及び上部光源に加えて又はこれらの光源の少なくとも一方に代えて、表示部101の左右の側部に光源が配置された構成であってもよい。
また、上記実施形態では、上部光源として、2つの光源(第3光源103C、第4光源103D)が設けられた構成を例に挙げて説明したが、これに限定されない。例えば、上部光源として、1つ光源が設けられた構成であってもよい。
また、上記実施形態では、表示部101の下部に第1カメラ102A及び第2カメラ102Bが配置された構成を例に挙げて説明したが、これに限定されない。第1カメラ102A及び第2カメラ102Bは、表示部101の上部又は側部に配置されてもよい。
また、上記実施形態では、光源制御部22が、下部光源(第1光源103A、第2光源103B)及び上部光源(第3光源103C、第4光源103D)の一方から検出光を発光させる構成を例に挙げて説明した。これに加えて、光源制御部22は、下部光源及び上部光源の両方から順に検出光を発光させ、眼球111の画像データにおける瞳孔中心と角膜反射中心の距離をそれぞれ算出してもよい。この場合、注視点検出部26は、下部光源及び上部光源のうち算出された距離がが小さくなる方の光源から検出光が発光された場合の画像データを用いて注視点の検出を行うようにしてもよい。また、光源制御部22は、下部光源及び上部光源の両方から順に検出光を発光させ、眼球111の画像データにおける角膜反射像の形状をそれぞれ算出してもよい。この場合、注視点検出部26は、下部光源及び上部光源のうち算出された角膜反射像の形状が基準形状に最も近い方の光源から検出光が発光された場合の画像データを用いて注視点の検出を行うようにしてもよい。
本開示は、SDGsの「すべての人に健康と福祉を」の実現に貢献し、ヘルスケア製品・サービスによる価値創出に寄与する事項を含む。
DX,DY…対象距離、Q…基準形状、Ra,Rb,127…距離、20…コンピュータシステム、20A…演算処理装置、20B…記憶装置、20C…コンピュータプログラム、21…表示制御部、22…光源制御部、23…画像データ取得部、24…位置検出部、25…曲率中心算出部、26…注視点検出部、27…記憶部、28…入出力制御部、30…入出力インターフェース装置、40…駆動回路、50…出力装置、60…入力装置、100…視線検出装置、101…表示部、101S…表示画面、102…ステレオカメラ装置、102A…第1カメラ、102B…第2カメラ、102C,103C…第3光源、103…照明装置、103A…第1光源、103B…第2光源、103D…第4光源、103V…仮想光源、109…角膜曲率半径、110…角膜曲率中心、111…眼球、111a…角膜、111b…強膜、112…瞳孔、112C…瞳孔中心、113…角膜反射像、113C,121,122,124…角膜反射中心、123,173,178…直線、130…目標位置、141…第1直線、142…第2直線、166…交点、302…入出力部、402…表示装置駆動部、404A…第1カメラ入出力部、404B…第2カメラ入出力部、406…光源駆動部
Claims (5)
- 画像を表示する表示部と、
検出光を発光して被験者の少なくとも一方の眼球に照射する複数の光源と、
前記検出光が照射された眼球の画像を撮像する撮像部と、
撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、
前記瞳孔中心の位置と前記角膜反射中心の位置とに基づいて被験者の注視点の位置を算出する注視点検出部と、
前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち前記検出光を発光する前記光源を切り替える光源制御部と
を備える視線検出装置。 - 複数の前記光源は、前記表示部の下方に設置された下部光源と、前記表示部の上方に設置された上部光源とを含み、
前記対象距離は、上下方向の距離であり、
前記光源制御部は、前記検出光を発光する前記光源を前記下部光源と前記上部光源との間で切り替える
請求項1に記載の視線検出装置。 - 前記光源制御部は、前記眼球の画像における前記検出光の反射像の形状が基準形状に含まれるか否かに基づいて、前記検出光を発光する前記光源を切り替える
請求項1又は請求項2に記載の視線検出装置。 - 表示部に画像を表示することと、
複数の光源から検出光を発光して被験者の少なくとも一方の眼球に照射することと、
前記検出光が照射された眼球の画像を撮像することと、
撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出することと、
前記瞳孔中心の位置と前記角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出することと、
前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち前記検出光を発光する前記光源を切り替えることと
を含む視線検出方法。 - 表示部に画像を表示する処理と、
複数の光源から検出光を発光して被験者の少なくとも一方の眼球に照射する処理と、
前記検出光が照射された眼球の画像を撮像する処理と、
撮像された前記画像から、前記検出光が照射された眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する処理と、
前記瞳孔中心の位置と前記角膜曲率中心の位置とに基づいて被験者の注視点の位置を算出する処理と、
前記瞳孔中心と前記角膜反射中心との間の対象距離に基づいて、複数の前記光源のうち前記検出光を発光する前記光源を切り替える処理と
をコンピュータに実行させる視線検出プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021124572A JP2023019659A (ja) | 2021-07-29 | 2021-07-29 | 視線検出装置、視線検出方法及び視線検出プログラム |
PCT/JP2022/025367 WO2023008023A1 (ja) | 2021-07-29 | 2022-06-24 | 視線検出装置、視線検出方法及び視線検出プログラム |
US18/403,782 US20240153309A1 (en) | 2021-07-29 | 2024-01-04 | Line-of-sight detection device, line-of-sight detection method, and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021124572A JP2023019659A (ja) | 2021-07-29 | 2021-07-29 | 視線検出装置、視線検出方法及び視線検出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023019659A true JP2023019659A (ja) | 2023-02-09 |
Family
ID=85160186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021124572A Pending JP2023019659A (ja) | 2021-07-29 | 2021-07-29 | 視線検出装置、視線検出方法及び視線検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023019659A (ja) |
-
2021
- 2021-07-29 JP JP2021124572A patent/JP2023019659A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3488763B1 (en) | Line-of-sight detection device, line-of-sight detection method, and computer program | |
US11061470B2 (en) | Eye tracking device and eye tracking method | |
WO2023008023A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
WO2019167899A1 (ja) | 視機能検出装置、視機能検出方法及びプログラム | |
JP6996343B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP2023019659A (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP2023019690A (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
US10996747B2 (en) | Line-of-sight detection device, line-of-sight detection method, and medium | |
JP7063045B2 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP2005296383A (ja) | 視線検出装置 | |
JP6958507B2 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
WO2022044395A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP7043889B2 (ja) | 視機能検出装置、視機能検出方法及びプログラム | |
WO2019167626A1 (ja) | 視機能検出装置、視機能検出方法及びプログラム | |
WO2022038814A1 (ja) | 角膜曲率半径算出装置、視線検出装置、角膜曲率半径算出方法、及び角膜曲率半径算出プログラム | |
JP2016122380A (ja) | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 | |
JP2019024571A (ja) | 視線検出装置及び視線検出方法 | |
WO2021246012A1 (ja) | 視線検出装置、視線検出方法、及び視線検出プログラム | |
JP2015046111A (ja) | 視点検出装置および視点検出方法 | |
JP2019150253A (ja) | 視機能検出装置、視機能検出方法及びプログラム | |
JP7027958B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
US11653831B2 (en) | Visual performance examination device, visual performance examination method, and computer program | |
WO2021131335A1 (ja) | 角膜反射検出装置、視線検出装置、角膜反射検出方法、及び角膜反射検出プログラム | |
WO2022038815A1 (ja) | 距離算出装置、距離算出方法及び距離算出プログラム | |
JP2017146987A (ja) | 視点検出装置および視点検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240329 |