JP2022035177A - 距離算出装置、距離算出方法及び距離算出プログラム - Google Patents
距離算出装置、距離算出方法及び距離算出プログラム Download PDFInfo
- Publication number
- JP2022035177A JP2022035177A JP2020139307A JP2020139307A JP2022035177A JP 2022035177 A JP2022035177 A JP 2022035177A JP 2020139307 A JP2020139307 A JP 2020139307A JP 2020139307 A JP2020139307 A JP 2020139307A JP 2022035177 A JP2022035177 A JP 2022035177A
- Authority
- JP
- Japan
- Prior art keywords
- center
- light source
- eyeball
- subject
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 72
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 116
- 238000001514 detection method Methods 0.000 claims abstract description 114
- 238000003384 imaging method Methods 0.000 claims abstract description 46
- 210000004087 cornea Anatomy 0.000 claims abstract description 22
- 230000011514 reflex Effects 0.000 claims description 142
- 238000000034 method Methods 0.000 claims description 36
- 238000010586 diagram Methods 0.000 description 21
- 210000001747 pupil Anatomy 0.000 description 7
- 238000004590 computer program Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Abstract
【課題】簡単な構成で撮像部と被験者との距離を算出できる。
【解決手段】距離算出装置は、互いに異なる位置から検出光を射出して被験者の少なくとも一方の眼球に照射する第1光源及び第2光源と、検出光が照射された被験者の眼球の画像を撮像する撮像部と、撮像部で撮像された被験者の眼球の画像に基づいて、第1光源からの検出光による第1角膜反射中心の位置、及び第2光源からの検出光による第2角膜反射中心の位置をそれぞれ算出する位置算出部と、第1角膜反射中心の位置と第2角膜反射中心との間の中心間距離を算出する中心間距離算出部と、中心間距離と、被験者の眼球の角膜曲率半径とに基づいて、撮像部と被験者の眼球との間の対象距離を算出する対象距離算出部とを備える。
【選択図】図2
【解決手段】距離算出装置は、互いに異なる位置から検出光を射出して被験者の少なくとも一方の眼球に照射する第1光源及び第2光源と、検出光が照射された被験者の眼球の画像を撮像する撮像部と、撮像部で撮像された被験者の眼球の画像に基づいて、第1光源からの検出光による第1角膜反射中心の位置、及び第2光源からの検出光による第2角膜反射中心の位置をそれぞれ算出する位置算出部と、第1角膜反射中心の位置と第2角膜反射中心との間の中心間距離を算出する中心間距離算出部と、中心間距離と、被験者の眼球の角膜曲率半径とに基づいて、撮像部と被験者の眼球との間の対象距離を算出する対象距離算出部とを備える。
【選択図】図2
Description
本発明は、距離算出装置、距離算出方法及び距離算出プログラムに関する。
複数の光源で検出光を発光して被験者の眼球に照射し、検出光が照射された眼球の画像を1つの撮像部により取得し、取得した画像と、撮像部と被験者との距離とに基づいて被験者の視線方向を検出する視線検出装置が知られている(例えば、特許文献1参照)。
上記の視線検出装置では、撮像部と被験者との距離を検出するため、超音波センサを用いる方式、ステレオカメラを用いる方式、カメラで合焦したレンズ位置から求める方式等が用いられている。しかしながら、これらの各方式では、構成が複雑になってしまう。
本発明は、上記に鑑みてなされたものであり、簡単な構成で撮像部と被験者との距離を算出可能な距離算出装置、距離算出方法及び距離算出プログラムを提供することを目的とする。
本発明に係る距離算出装置は、互いに異なる位置から検出光を射出して被験者の少なくとも一方の眼球に照射する第1光源及び第2光源と、前記検出光が照射された前記被験者の眼球の画像を撮像する撮像部と、前記撮像部で撮像された前記被験者の眼球の画像に基づいて、前記第1光源からの前記検出光による第1角膜反射中心の位置、及び前記第2光源からの前記検出光による第2角膜反射中心の位置をそれぞれ算出する位置算出部と、前記第1角膜反射中心の位置と前記第2角膜反射中心との間の中心間距離を算出する中心間距離算出部と、前記中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出する対象距離算出部とを備える。
本発明に係る距離算出方法は、互いに異なる位置に配置された第1光源及び第2光源から検出光を射出して被験者の少なくとも一方の眼球に照射することと、前記検出光が照射された前記被験者の眼球の画像を撮像部により撮像することと、撮像された前記被験者の眼球の画像に基づいて、前記第1光源からの前記検出光による第1角膜反射中心の位置、及び前記第2光源からの前記検出光による第2角膜反射中心の位置をそれぞれ算出することと、前記第1角膜反射中心の位置と前記第2角膜反射中心との間の中心間距離を算出することと、前記中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出することとを含む。
本発明に係る距離算出プログラムは、互いに異なる位置に配置された第1光源及び第2光源から検出光を射出して被験者の少なくとも一方の眼球に照射する処理と、前記検出光が照射された前記被験者の眼球の画像を撮像部により撮像する処理と、撮像された前記被験者の眼球の画像に基づいて、前記第1光源からの前記検出光による第1角膜反射中心の位置、及び前記第2光源からの前記検出光による第2角膜反射中心の位置をそれぞれ算出する処理と、前記第1角膜反射中心の位置と前記第2角膜反射中心との間の中心間距離を算出する処理と、前記中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出する処理とをコンピュータに実行させる。
本発明によれば、簡単な構成で撮像部と被験者との距離を算出可能となる。
以下、本発明の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
[距離算出装置、視線検出装置]
図1は、本実施形態に係る視線検出装置100の一例を模式的に示す図である。本実施形態に係る視線検出装置100は、被験者の視線を検出し、検出結果を出力する。視線検出装置100は、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する。
図1は、本実施形態に係る視線検出装置100の一例を模式的に示す図である。本実施形態に係る視線検出装置100は、被験者の視線を検出し、検出結果を出力する。視線検出装置100は、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する。
図1に示すように、視線検出装置100は、表示装置10と、画像取得装置20と、コンピュータシステム30と、出力装置40と、入力装置50と、入出力インターフェース装置60とを備える。表示装置10、画像取得装置20、コンピュータシステム30、出力装置40及び入力装置50は、入出力インターフェース装置60を介してデータ通信を行う。表示装置10及び画像取得装置20は、それぞれ不図示の駆動回路を有する。
表示装置10は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。本実施形態において、表示装置10は、表示部11を有する。表示部11は、画像等の情報を表示する。表示部11は、XY平面と実質的に平行である。X軸方向は表示部11の左右方向であり、Y軸方向は表示部11の上下方向であり、Z軸方向は表示部11と直交する奥行方向である。表示装置10は、ヘッドマウント型ディスプレイ装置であってもよい。ヘッドマウント型ディスプレイの場合、ヘッドマウントモジュール内に画像取得装置20のような構成が配置されることになる。
画像取得装置20は、被験者の左右の眼球EBの画像データを取得し、取得した画像データをコンピュータシステム30に送信する。画像取得装置20は、光源部21及び撮像部22を有する。
光源部21は、被験者の眼球EBに検出光を射出する。光源部21は、互いに異なる位置に配置される第1光源21A及び第2光源21Bを有する。第1光源21A及び第2光源21Bは、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。第1光源21A及び第2光源21Bは、検出光の射出のタイミングを個別に制御可能である。
撮像部22は、被験者の左右の眼球EBを撮像することで画像データを生成する。本実施形態において、撮像部22は、1つ設けられる。撮像部22としては、被験者の視線を検出する方法に応じた各種カメラが用いられる。本実施形態のように、被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、撮像部22は、赤外線カメラを有し、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。撮像部22は、フレーム同期信号を出力する。フレーム同期信号の周期は、例えば20[msec]とすることができるが、これに限定されない。本実施形態において、撮像部22は、1つのカメラである。撮像部22は、第1光源21Aと第2光源21Bとの中間の位置に配置される。撮像部22により取得される画像データは、例えば8ビットの値(0~255)で設定される輝度を有する画素が2次元状に配列された構成である。輝度は、値が小さいほど暗く、値が大きいほど明るいことを示す。輝度の値が0の画素は、画像データに黒色として表示される。輝度の値が255の画素は、画像データに白色として表示される。
コンピュータシステム30は、視線検出装置100の動作を統括的に制御する。コンピュータシステム30は、演算処理装置30A及び記憶装置30Bを含む。演算処理装置30Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置30Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置30Aは、記憶装置30Bに記憶されているコンピュータプログラム30Cに従って演算処理を実施する。
出力装置40は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置40は、印刷装置を含んでもよい。入力装置50は、操作されることにより入力データを生成する。入力装置50は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置50が表示装置である出力装置40の表示部に設けられたタッチセンサを含んでもよい。
本実施形態に係る視線検出装置100は、表示装置10とコンピュータシステム30とが別々の装置である。なお、表示装置10とコンピュータシステム30とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含んでもよい。この場合、当該タブレット型パーソナルコンピュータに、表示装置、画像取得装置、コンピュータシステム、入力装置、出力装置等が搭載されてもよい。
図2は、視線検出装置100の一例を示す機能ブロック図である。図2に示すように、コンピュータシステム30は、撮像制御部31と、位置算出部32と、中心間距離算出部33と、対象距離算出部34と、検出処理部35と、記憶部36とを有する。コンピュータシステム30の機能は、演算処理装置30A及び記憶装置30B(図1参照)によって発揮される。なお、コンピュータシステム30は、一部の機能が視線検出装置100の外部に設けられてもよい。本実施形態では、画像取得装置20の光源部21(第1光源21A及び第2光源21B)及び撮像部22と、撮像制御部31と、位置算出部32と、中心間距離算出部33と、対象距離算出部34とによって距離算出装置80が構成される。なお、距離算出装置80は、検出処理部35及び記憶部36の少なくとも一方を含んでもよい。
撮像制御部31は、光源部21及び撮像部22を制御する。撮像制御部31は、第1光源21A及び第2光源21Bのそれぞれについて、検出光の射出のタイミング、射出時間等を制御する。撮像制御部31は、撮像部22について、撮像のタイミング等を制御する。撮像制御部31は、撮像部22のフレーム同期信号の周期と同期して、第1光源21A及び第2光源21Bから検出光を射出させる。本実施形態において、撮像制御部31は、例えばフレーム同期信号の周期ごとに、第1光源21A及び第2光源21Bに交互に検出光を射出させる。撮像制御部31は、画像取得装置20により取得される画像データを取得する。撮像制御部31は、取得した画像データを記憶部36に記憶する。
位置算出部32は、撮像部22で撮像された被験者の眼球の画像データに基づいて、第1光源21Aからの検出光による第1角膜反射中心121(図1、図3等参照)の位置、及び第2光源21Bからの検出光による第2角膜反射中心122(図1、図3等参照)の位置をそれぞれ算出する。第1角膜反射中心121及び第2角膜反射中心122は、それぞれの検出光による角膜反射像(第1角膜反射像120A、第2角膜反射像120B)の中心である。位置算出部32は、算出した第1角膜反射中心121及び第2角膜反射中心122の位置を記憶部36に記憶する。
中心間距離算出部33は、第1角膜反射中心121の位置と第2角膜反射中心122との間の中心間距離を算出する。
対象距離算出部34は、中心間距離と、被験者の眼球の角膜曲率半径とに基づいて、撮像部22と被験者の眼球EBとの間の対象距離を算出する。対象距離算出部34は、算出した対象距離を記憶部36に記憶する。対象距離算出部34は、被験者の眼球の角膜曲率半径を、例えば所定の定数として対象距離を算出することができる。角膜曲率半径は、眼球EBの角膜の表面と、角膜曲率中心との距離である。角膜曲率半径及び角膜曲率中心については、後述する。
検出処理部35は、撮像部22により撮像された画像データと、対象距離とに基づいて、被験者の眼球の角膜曲率中心の位置を算出する。検出処理部35は、画像データに基づいて、被験者の瞳孔中心の位置を検出する。瞳孔中心は、瞳孔112の中心である。検出処理部35は、算出した瞳孔中心の位置と、位置算出部32により算出された第1角膜反射中心121及び第2角膜反射中心122の位置とにより、眼球EBの角膜曲率中心の位置を算出する。
検出処理部35において角膜曲率中心の位置を算出する処理の概要について説明する。本実施形態では、第1光源21A及び第2光源21Bで眼球EBが照明され、1つの撮像部22で眼球EBを撮像する場合について説明する。なお、光源が2つ、撮像部が1つの場合に限定されず、光源が1つであり、カメラが2つである場合にも同様の説明が可能である。
図3は、光源部21からの検出光が被験者の眼球EBに照射される状態を模式的に示す図である。図3に示すように、本実施形態においては、光源部21の第1光源21Aと第2光源21Bとは、撮像部22に対して左右対称の位置に配置される。したがって、この場合、撮像部22の位置に仮想光源(光源の基準位置)21Cが存在するとみなすことができる。
第1角膜反射中心121は、第1光源21Aから検出光を眼球EBに照射した場合の画像における角膜反射中心を示す。第2角膜反射中心122は、第2光源21Bから検出光を眼球EBに照射した場合の画像における角膜反射中心を示す。角膜反射中心124は、仮想光源21Cに対応する角膜反射中心を示す。
角膜反射中心124の位置は、第1角膜反射中心121及び第2角膜反射中心122の位置に基づいて算出される。検出処理部35は、第1角膜反射中心121及び第2角膜反射中心122について、撮像部22の画像上での位置を算出する。検出処理部35は、撮像部22と被験者の眼球EBとの対象距離に基づいて、当該位置を三次元座標系に変換する。位置を三次元座標系に変換するための変換パラメータは、例えば記憶部36に記憶しておく。検出処理部35は、三次元座標系で規定される第1角膜反射中心121及び第2角膜反射中心122の位置に基づいて、三次元座標系における角膜反射中心124の位置を算出する。
角膜曲率中心110は、仮想光源21Cと角膜反射中心124とを結ぶ直線123上に存在する。検出処理部35は、直線123上において角膜反射中心124からの距離が所定値となる位置を、角膜曲率中心110の位置として算出する。当該所定値としては、角膜曲率半径rが用いられる。角膜曲率半径rは、角膜表面と角膜曲率中心110との距離である。角膜曲率半径rの値としては、例えば一般的な角膜曲率半径値などに基づいて予め定められた定数を用いることができる。この角膜曲率半径rの値は、例えば上記した対象距離算出部34においても用いられる。
検出処理部35は、瞳孔中心の位置及び角膜曲率中心の位置に基づいて、被験者の左右それぞれの眼球EBの視線ベクトルを検出する。視線ベクトルを検出した後、検出処理部35は、視線ベクトルと表示部11との交点を示す注視点の位置を検出する。
記憶部36は、コンピュータシステム30の各部における処理を行うための各種データやプログラムを記憶する。記憶部36は、例えば表示部11に表示させる画像についてのデータを記憶する。記憶部36は、撮像制御部31によって取得された画像データ、位置算出部32によって算出された第1角膜反射中心121及び第2角膜反射中心122の位置、対象距離算出部34により算出された対象距離、検出処理部35によって算出された角膜曲率半径rのそれぞれを記憶する。
また、記憶部36は、互いに異なる位置に配置された第1光源21A及び第2光源21Bから検出光を射出して被験者の少なくとも一方の眼球EBに照射する処理と、検出光が照射された被験者の眼球EBの画像を撮像部22により撮像する処理と、撮像された被験者の眼球の画像に基づいて、第1光源21Aからの検出光による第1角膜反射中心121の位置、及び第2光源21Bからの検出光による第2角膜反射中心122の位置をそれぞれ算出する処理と、第1角膜反射中心121の位置と第2角膜反射中心122との間の中心間距離を算出する処理と、中心間距離と、被験者の眼球の角膜曲率半径rとに基づいて、撮像部22と被験者の眼球EBとの間の対象距離を算出する処理とをコンピュータに実行させる距離算出プログラムを記憶する。
[距離算出方法]
次に、本実施形態に係る距離算出方法について説明する。図4及び図5は、光源部21からの検出光が被験者の眼球EBに照射される状態を模式的に示す図である。以降、被験者の右側の眼球EB(右眼ER)について説明するが、左側の眼球EB(左眼EL)についても同様の説明が可能である。図4及び図5に示すように、第1光源21A及び第2光源21Bから眼球EBに検出光が照射された場合、眼球EBの角膜には角膜反射像が形成される。ここで、第1光源21Aの角膜反射像の中心が第1角膜反射中心121である。また、第2光源21Bの角膜反射像の中心が第2角膜反射中心122である。
次に、本実施形態に係る距離算出方法について説明する。図4及び図5は、光源部21からの検出光が被験者の眼球EBに照射される状態を模式的に示す図である。以降、被験者の右側の眼球EB(右眼ER)について説明するが、左側の眼球EB(左眼EL)についても同様の説明が可能である。図4及び図5に示すように、第1光源21A及び第2光源21Bから眼球EBに検出光が照射された場合、眼球EBの角膜には角膜反射像が形成される。ここで、第1光源21Aの角膜反射像の中心が第1角膜反射中心121である。また、第2光源21Bの角膜反射像の中心が第2角膜反射中心122である。
図5に示すように、撮像部22と被験者との距離が変化することに伴い、第1角膜反射中心121と第2角膜反射中心122との中心間距離dが変化する。例えば、撮像部22と被験者の眼球EBとの距離である対象距離がx1となる場合(位置P1)の中心間距離d1と、対象距離がx1よりも大きいx2となる場合(位置P2)の中心間距離d2との間には、d1>d2が成立する。
図6は、光源部、撮像部及び被験者の眼球の位置関係の一例を示す図である。図6に示すように、第1光源21Aと撮像部22との距離をa、第2光源21Bと撮像部22との距離をb、撮像部22と被験者との間の対象距離をx、眼球EBに検出される角膜反射中心121と角膜反射中心122との距離をd、角膜曲率半径をrとする。この例において、対象距離xは、撮像部22と被験者の眼球EBの角膜曲率中心110との間の距離とする。ここで、r<<xであることから、角膜曲率中心110及び第1光源21Aを通る直線L1と角膜曲率中心110及び角膜反射中心121を通る直線L2とがなす角度と、角膜曲率中心110及び撮像部22を通る直線L3と上記直線L2とがなす角度とが同等であると近似することができる。以下、この角度をθ1とする。同様に、角膜曲率中心110及び第2光源21Bを通る直線L4と角膜曲率中心110及び角膜反射中心121を通る直線L5とがなす角度と、角膜曲率中心110及び撮像部22を通る直線L3と上記直線L5とがなす角度とが同等であると近似することができる。以下、この角度をθ2とする。
この場合において、以下の式1から式3が成立する。
θ1=arctan(a/x)/2 ・・・(式1)
θ2=arctan(b/x)/2 ・・・(式2)
d=r・sinθ1+r・sinθ2 ・・・(式3)
θ1=arctan(a/x)/2 ・・・(式1)
θ2=arctan(b/x)/2 ・・・(式2)
d=r・sinθ1+r・sinθ2 ・・・(式3)
図7は、撮像部22により撮像された眼球EBの画像データの一例を示す図である。図7に示すように、本実施形態においては、第1光源21Aから検出光を眼球EBに照射した状態で撮像した場合の画像データIM1と、第2光源21Bから検出光を眼球EBに照射した状態で撮像した場合の画像データIM2とが別個の画像データとして取得される。画像データIM1には、第1光源21Aからの検出光による角膜反射像(以下、第1角膜反射像120Aと表記する)が映っている。画像データIM2には、第2光源21Bからの検出光による角膜反射像(以下、第2角膜反射像120Bと表記する)が映っている。本実施形態では、第1光源21Aと第2光源21Bとを異なるタイミングで点灯させる。このため、第1角膜反射像120A及び第2角膜反射像120Bの映り方としては、一方の画像データIM1には第1角膜反射像120Aのみが映り、他方の画像データIM2には第2角膜反射像120Bのみが映る。
位置算出部32は、取得された画像データIM1に基づいて、第1光源21Aからの検出光による第1角膜反射中心121の位置を算出する。また、位置算出部32は、取得された画像データIM2に基づいて、第2光源21Bからの検出光による第2角膜反射中心122の位置を算出する。画像データIM1、IM2において、第1角膜反射像120A及び第2角膜反射像120Bが形成された画素は、他の画素に比べて高輝度となる。位置算出部32は、画像データIM1、IM2において最も輝度が高い画素を探索し、当該画素を基準として一定範囲内の輝度を有する画素が存在する高輝度領域を求め、この領域の輝度重心を求めて、当該輝度重心の画像上における座標を第1角膜反射中心121及び第2角膜反射中心122とする。なお、図7では、高輝度領域の輝度が均一な状態で模式的に示されているが、例えば高輝度領域の一画素から周囲の画素にかけて輝度が低下した状態となる場合もある。
中心間距離算出部33は、画像データIM1に含まれる第1角膜反射中心121と、画像データIM2に含まれる第2角膜反射中心122との距離(撮像素子の画素数)d´(pixel)から、第1角膜反射中心121と第2角膜反射中心122との実際の距離d(mm)を算出する。なお、図7では、第1角膜反射中心121及び第2角膜反射中心122の位置を判別しやすくするため、黒色の点で示しているが、実際には黒色の点は存在しない。
ここで、撮像部22を構成するレンズの焦点距離をf、撮像部22を構成する撮像素子の画素間距離(ピッチ)をpとすると、以下の式4が成立する。
d´=(f・d/x)/p ・・・(式4)
上記の式1から式4をd´について解くと、
d´=r・(sin(arctan(a/x)/2)
+sin(arctan(b/x)/2))・f/(p・x)・・・(式5)
となる。
d´=r・(sin(arctan(a/x)/2)
+sin(arctan(b/x)/2))・f/(p・x)・・・(式5)
となる。
式5において、例えばa、b=100(mm)、f=12(mm)、r=7.9(mm)、p=0.0048(mm/pixel)とすると、以下の式6のようなxとd´との関係式が求められる。なお、本実施形態では、角膜曲率半径rの値(7.9)を所定の定数としている。この角膜曲率半径rの値については、例えば一般的な角膜曲率半径の値などから事前に定められた値を用いてもよいし、キャリブレーション処理において算出された値を用いてもよい。
d´=7.9・(2・sin(arctan(100/x)/2))・12
/(0.0048・x) ・・・(式6)
/(0.0048・x) ・・・(式6)
上記の式6を用いることにより、中心間距離d´に基づいて対象距離xを算出することができる。図8は、中心間距離d´と対象距離xとの関係の一例を示すグラフである。図8では、式6で示される中心間距離d´と対象距離xとの関係について、対象距離xが大きくなるほど、中心間距離d´が小さくなることを示している。
[視線検出方法]
次に、本実施形態に係る視線検出装置100を用いた視線検出方法の一例を説明する。本実施形態における視線検出方法は、キャリブレーション処理を行った後、注視点検出処理が行われる。まず、キャリブレーション処理の原理について説明する。図9は、本実施形態に係るキャリブレーション処理の原理を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。この場合、検出処理部35は、設定された目標位置130に目標画像を表示する。
次に、本実施形態に係る視線検出装置100を用いた視線検出方法の一例を説明する。本実施形態における視線検出方法は、キャリブレーション処理を行った後、注視点検出処理が行われる。まず、キャリブレーション処理の原理について説明する。図9は、本実施形態に係るキャリブレーション処理の原理を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。この場合、検出処理部35は、設定された目標位置130に目標画像を表示する。
第1光源21A及び第2光源21Bは、検出光により交互に眼球EBを照明する。撮像部22は、検出光が照射された眼球EBを撮像する。検出処理部35は、眼球EBの画像データに基づいて、瞳孔中心112Cの位置及び仮想光源21Cに対応する角膜反射中心113Cの位置を検出する。検出処理部35は、対象距離算出部34によって算出された対象距離xを用いて、瞳孔中心112C及び角膜反射中心113Cの各位置をグローバル座標系に変換する。
検出処理部35は、仮想光源21Cの位置と、目標位置130の位置と、瞳孔中心112Cの位置と、角膜反射中心113Cの位置とに基づいて、角膜曲率中心110の位置を算出する。具体的には、検出処理部35は、仮想光源21Cと、角膜反射中心113Cとを結ぶ第1直線141を求める。また、検出処理部35は、目標位置130と瞳孔中心112Cとを結ぶ第2直線142を求める。検出処理部35は、第1直線141と第2直線142との交点を角膜曲率中心110の位置として求める。そして、検出処理部35は、角膜曲率中心110と角膜反射中心113Cとの距離を角膜曲率半径rとして算出する。検出処理部35は、算出した角膜曲率半径rの値をキャリブレーションデータとして記憶部36に記憶する。
次に、視線検出処理の原理について説明する。図10は、本実施形態に係る視線検出処理の原理を説明するための模式図である。視線検出処理では、キャリブレーション処理と同様に、第1光源21A及び第2光源21Bから検出光を交互に射出して眼球EBを照明し、撮像部22により眼球EBを撮像する。検出処理部35は、取得された眼球EBの画像データに基づいて、瞳孔中心112Cの位置及び角膜反射中心113Cの位置を検出する。検出処理部35は、対象距離算出部34によって算出された対象距離xを用いて、瞳孔中心112C及び角膜反射中心113Cの各位置をグローバル座標系に変換する。
検出処理部35は、仮想光源21Cの位置と、瞳孔中心112Cの位置と、角膜反射中心113Cの位置と、キャリブレーション処理において算出した角膜曲率半径rとに基づいて、角膜曲率中心110の位置を算出する。具体的には、検出処理部35は、仮想光源21Cと、角膜反射中心113Cとを結ぶ直線173を求める。また、検出処理部35は、角膜反射中心113Cから眼球EBの内側に対して角膜曲率半径rに相当する距離だけ離れた位置を角膜曲率中心110の位置として求める。検出処理部35は、瞳孔中心112Cと角膜曲率中心110とを結ぶ直線178を求め、当該直線178と表示部11との交点166の位置を注視点の位置として算出する。
次に、本実施形態に係る距離算出方法の一例について、図11を参照しながら説明する。図11は、本実施形態に係る距離算出方法の一例を示すフローチャートである。図11に示すように、撮像制御部31の制御により第1光源21A及び第2光源21Bの一方を発光させて眼球EBに検出光を照射し(ステップS101)、撮像部22により被験者の眼球EBを撮像する(ステップS102)。また、撮像制御部31の制御により第1光源21A及び第2光源21Bの他方を発光させて眼球EBに検出光を照射し(ステップS103)、撮像部22により被験者の眼球EBを撮像する(ステップS104)。撮像制御部31は、撮像部22により撮像された左右の眼球EBについての画像データを取得する。
位置算出部32は、取得された画像データに基づいて、左右の眼球EBについて、それぞれ第1角膜反射像120Aにおける第1角膜反射中心121と、第2角膜反射像120における第2角膜反射中心122とを求める(ステップS105)。中心間距離算出部33は、第1角膜反射中心121と第2角膜反射中心122との距離である中心間距離d´を算出する(ステップS106)。対象距離算出部34は、算出された中心間距離d´に基づいて、対象距離xを算出する(ステップS107)。
以上のように、本実施形態に係る距離算出装置80は、互いに異なる位置から検出光を射出して被験者の少なくとも一方の眼球EBに照射する第1光源21A及び第2光源21Bと、検出光が照射された被験者の眼球EBの画像を撮像する撮像部22と、撮像部22で撮像された被験者の眼球EBの画像に基づいて、第1光源21Aからの検出光による第1角膜反射中心121の位置、及び第2光源21Bからの検出光による第2角膜反射中心122の位置をそれぞれ算出する位置算出部32と、第1角膜反射中心121の位置と第2角膜反射中心122との間の中心間距離d´を算出する中心間距離算出部33と、中心間距離d´と、被験者の眼球EBの角膜曲率半径rとに基づいて、撮像部22と被験者の眼球EBとの間の対象距離を算出する対象距離算出部34とを備える。
本実施形態に係る距離算出方法は、互いに異なる位置に配置された第1光源21A及び第2光源21Bから検出光を射出して被験者の少なくとも一方の眼球EBに照射することと、検出光が照射された被験者の眼球EBの画像を撮像部22により撮像することと、撮像された被験者の眼球EBの画像に基づいて、第1光源21Aからの検出光による第1角膜反射中心121の位置、及び第2光源21Bからの検出光による第2角膜反射中心122の位置をそれぞれ算出することと、第1角膜反射中心121の位置と第2角膜反射中心122との間の中心間距離d´を算出することと、中心間距離d´と、被験者の眼球EBの角膜曲率半径rとに基づいて、撮像部22と被験者の眼球EBとの間の対象距離を算出することとを含む。
本実施形態に係る距離算出プログラムは、互いに異なる位置に配置された第1光源21A及び第2光源21Bから検出光を射出して被験者の少なくとも一方の眼球EBに照射する処理と、検出光が照射された被験者の眼球EBの画像を撮像部22により撮像する処理と、撮像された被験者の眼球EBの画像に基づいて、第1光源21Aからの検出光による第1角膜反射中心121の位置、及び第2光源21Bからの検出光による第2角膜反射中心122の位置をそれぞれ算出する処理と、第1角膜反射中心121の位置と第2角膜反射中心122との間の中心間距離d´を算出する処理と、中心間距離d´と、被験者の眼球EBの角膜曲率半径rとに基づいて、撮像部22と被験者の眼球EBとの間の対象距離を算出する処理とをコンピュータに実行させる。
上記構成によれば、撮像部22による画像データに基づいて第1角膜反射中心121の位置と第2角膜反射中心122との間の中心間距離d´を算出し、算出した中心間距離d´と、被験者の眼球EBの角膜曲率半径rとに基づいて、撮像部22と被験者の眼球EBとの間の対象距離を算出することにより、超音波センサ、ステレオカメラ等の複雑な構成を用いることなく、簡単な構成で撮像部22と被験者との距離を算出可能となる。
本実施形態に係る距離算出装置80において、第1光源21Aと第2光源21Bとは、交互に検出光を射出し、位置算出部32は、第1光源21Aから検出光が射出されたタイミングで撮像された画像に基づいて第1角膜反射中心121の位置を算出し、第2光源21Bから検出光が射出されたタイミングで撮像された画像に基づいて第2角膜反射中心122の位置を算出する。第1光源21Aと第2光源21Bとから同時に検出光を射出する場合、第1光源21Aからの検出光による第1角膜反射像120Aと、第2光源21Bからの検出光による第2角膜反射像120Bとが重なる場合があり、第1角膜反射中心121及び第2角膜反射中心122の検出精度が低下する可能性がある。これに対して、上記構成では、第1角膜反射像120Aと、第2角膜反射像120Bとが別画像として取得できるため、第1角膜反射中心121及び第2角膜反射中心122を精度よく検出できる。
本実施形態に係る距離算出装置80において、対象距離算出部34は、被験者の眼球EBの角膜曲率半径rを所定の定数として対象距離xを算出する。この構成では、被験者の眼球EBの角膜曲率半径rを所定の定数とすることで、対象距離xの算出を容易に行うことができる。
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記した実施形態では、第1光源21Aと第2光源21Bとを異なるタイミングで点灯させる場合を例に挙げているが、これに限定されず、第1光源21Aと第2光源21Bとを同一のタイミングで点灯させて撮像部22で撮像してもよい。
図12から図14は、第1光源21Aと第2光源21Bとを同一のタイミングで点灯させた状態で撮像された眼球EBの画像データの例を示す図である。図12は、例えば撮像部22と被験者との対象距離xが図7と同様の場合の例を示している。図13は、対象距離が図12の状態に比べて近くなっている場合の例を示している。図14は、対象距離が図13の状態に比べてさらに近くなっている場合の例を示している。なお、図12から図14では、第1角膜反射中心121及び第2角膜反射中心122の位置を判別しやすくするため、黒色の点で示しているが、実際には黒色の点は存在しない。
図12及び図13に示す画像データIM3、IM4においては、第1角膜反射像120Aの画像と第2角膜反射像120Bの画像とが分離された状態である。この場合、位置算出部32は、第1角膜反射像120Aの画像と第2角膜反射像120Bの画像とを別個の高輝度領域として求め、当該別個の高輝度領域の輝度重心の座標を独立して求めることができる。これにより、1つの画像データIM3、IM4から第1角膜反射中心121及び第2角膜反射中心122の位置を別個に算出でき、中心間距離d3、d4を算出できる。
一方、図14に示す画像データIM5においては、第1角膜反射像120Aの画像及び第2角膜反射像120Bの画像の一部同士が結合している状態である。この状態において、位置算出部32は、第1角膜反射像120Aの画像と第2角膜反射像120Bの画像とを別個の高輝度領域として求めることは困難となる。したがって、このような場合には、第1光源21Aと第2光源21Bとを異なるタイミングで点灯させた状態で眼球EBを撮像した画像データIM1、IM2を用いることで、第1角膜反射中心121及び第2角膜反射中心122の位置を確実に算出でき、中心間距離d5を算出できる。
EB…眼球、d,d1,d2,d3,d4,d5…中心間距離、IM1,IM2,IM3,IM4,IM5…画像データ、r…角膜曲率半径、x…対象距離、10…表示装置、11…表示部、20…画像取得装置、21…光源部、21A…第1光源、21B…第2光源、21C…仮想光源、22…撮像部、30…コンピュータシステム、30A…演算処理装置、30B…記憶装置、30C…コンピュータプログラム、31…撮像制御部、32…位置算出部、33…中心間距離算出部、34…対象距離算出部、35…検出処理部、36…記憶部、40…出力装置、50…入力装置、60…入出力インターフェース装置、80…距離算出装置、100…視線検出装置、110…角膜曲率中心、112…瞳孔、112C…瞳孔中心、113C,121,122,124…角膜反射中心、120A…第1角膜反射像、120B…第2角膜反射像、121…第1角膜反射中心、122…第2角膜反射中心
Claims (5)
- 互いに異なる位置から検出光を射出して被験者の少なくとも一方の眼球に照射する第1光源及び第2光源と、
前記検出光が照射された前記被験者の眼球の画像を撮像する撮像部と、
前記撮像部で撮像された前記被験者の眼球の画像に基づいて、前記第1光源からの前記検出光による第1角膜反射中心の位置、及び前記第2光源からの前記検出光による第2角膜反射中心の位置をそれぞれ算出する位置算出部と、
前記第1角膜反射中心の位置と前記第2角膜反射中心との間の中心間距離を算出する中心距離算出部と、
前記中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出する対象距離算出部と
を備える距離算出装置。 - 前記第1光源と前記第2光源とは、交互に前記検出光を射出し、
前記位置算出部は、前記第1光源から前記検出光が射出されたタイミングで撮像された画像に基づいて前記第1角膜反射中心の位置を算出し、前記第2光源から前記検出光が射出されたタイミングで撮像された画像に基づいて前記第2角膜反射中心の位置を算出する
請求項1に記載の距離算出装置。 - 前記対象距離算出部は、前記被験者の眼球の角膜曲率半径を所定の定数として前記対象距離を算出する
請求項1又は請求項2に記載の距離算出装置。 - 互いに異なる位置に配置された第1光源及び第2光源から検出光を射出して被験者の少なくとも一方の眼球に照射することと、
前記検出光が照射された前記被験者の眼球の画像を撮像部により撮像することと、
撮像された前記被験者の眼球の画像に基づいて、前記第1光源からの前記検出光による第1角膜反射中心の位置、及び前記第2光源からの前記検出光による第2角膜反射中心の位置をそれぞれ算出することと、
前記第1角膜反射中心の位置と前記第2角膜反射中心との間の中心間距離を算出することと、
前記中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出することと
を含む距離算出方法。 - 互いに異なる位置に配置された第1光源及び第2光源から検出光を射出して被験者の少なくとも一方の眼球に照射する処理と、
前記検出光が照射された前記被験者の眼球の画像を撮像部により撮像する処理と、
撮像された前記被験者の眼球の画像に基づいて、前記第1光源からの前記検出光による第1角膜反射中心の位置、及び前記第2光源からの前記検出光による第2角膜反射中心の位置をそれぞれ算出する処理と、
前記第1角膜反射中心の位置と前記第2角膜反射中心との間の中心間距離を算出する処理と、
前記中心間距離と、前記被験者の眼球の角膜曲率半径とに基づいて、前記撮像部と前記被験者の眼球との間の対象距離を算出する処理と
をコンピュータに実行させる距離算出プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020139307A JP2022035177A (ja) | 2020-08-20 | 2020-08-20 | 距離算出装置、距離算出方法及び距離算出プログラム |
EP21857967.0A EP4184112A4 (en) | 2020-08-20 | 2021-03-08 | DISTANCE CALCULATION DEVICE, DISTANCE CALCULATION METHOD, AND DISTANCE CALCULATION PROGRAM |
PCT/JP2021/008895 WO2022038815A1 (ja) | 2020-08-20 | 2021-03-08 | 距離算出装置、距離算出方法及び距離算出プログラム |
US18/105,907 US20230181034A1 (en) | 2020-08-20 | 2023-02-06 | Distance calculation device, distance calculation method, and distance calculation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020139307A JP2022035177A (ja) | 2020-08-20 | 2020-08-20 | 距離算出装置、距離算出方法及び距離算出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022035177A true JP2022035177A (ja) | 2022-03-04 |
Family
ID=80322876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020139307A Pending JP2022035177A (ja) | 2020-08-20 | 2020-08-20 | 距離算出装置、距離算出方法及び距離算出プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230181034A1 (ja) |
EP (1) | EP4184112A4 (ja) |
JP (1) | JP2022035177A (ja) |
WO (1) | WO2022038815A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2315858A (en) * | 1996-08-01 | 1998-02-11 | Sharp Kk | System for eye detection and gaze direction determination |
JP4649319B2 (ja) * | 2005-11-21 | 2011-03-09 | 日本電信電話株式会社 | 視線検出装置、視線検出方法、および視線検出プログラム |
EP1983884B1 (en) * | 2006-01-26 | 2016-10-26 | Nokia Technologies Oy | Eye tracker device |
JP2010259605A (ja) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | 視線測定装置および視線測定プログラム |
JP5578603B2 (ja) * | 2009-12-04 | 2014-08-27 | 国立大学法人佐賀大学 | 視線制御装置、視線制御方法、及びそのプログラム |
JP6210023B2 (ja) * | 2013-11-28 | 2017-10-11 | 株式会社Jvcケンウッド | 視線検出支援装置および視線検出支援方法 |
JP2019024571A (ja) * | 2017-07-25 | 2019-02-21 | 株式会社Jvcケンウッド | 視線検出装置及び視線検出方法 |
-
2020
- 2020-08-20 JP JP2020139307A patent/JP2022035177A/ja active Pending
-
2021
- 2021-03-08 WO PCT/JP2021/008895 patent/WO2022038815A1/ja unknown
- 2021-03-08 EP EP21857967.0A patent/EP4184112A4/en active Pending
-
2023
- 2023-02-06 US US18/105,907 patent/US20230181034A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022038815A1 (ja) | 2022-02-24 |
EP4184112A1 (en) | 2023-05-24 |
US20230181034A1 (en) | 2023-06-15 |
EP4184112A4 (en) | 2023-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10896324B2 (en) | Line-of-sight detection device and method for detecting line of sight | |
WO2018164104A1 (ja) | 眼部画像処理装置 | |
JP6555707B2 (ja) | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム | |
WO2022038815A1 (ja) | 距離算出装置、距離算出方法及び距離算出プログラム | |
WO2022038814A1 (ja) | 角膜曲率半径算出装置、視線検出装置、角膜曲率半径算出方法、及び角膜曲率半径算出プログラム | |
US11266307B2 (en) | Evaluation device, evaluation method, and non-transitory storage medium | |
US20190391643A1 (en) | Line-of-sight detection device, line-of-sight detection method, and medium | |
US11890057B2 (en) | Gaze detection apparatus, gaze detection method, and gaze detection program | |
US20210153795A1 (en) | Evaluation apparatus, evaluation method, and evaluation program | |
JP2005296383A (ja) | 視線検出装置 | |
JP7063045B2 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP7043889B2 (ja) | 視機能検出装置、視機能検出方法及びプログラム | |
WO2022044395A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
WO2021014868A1 (ja) | 眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラム | |
WO2021246012A1 (ja) | 視線検出装置、視線検出方法、及び視線検出プログラム | |
JP2015046111A (ja) | 視点検出装置および視点検出方法 | |
JP2019024571A (ja) | 視線検出装置及び視線検出方法 | |
JP7027958B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP2023019659A (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
US20210298689A1 (en) | Evaluation device, evaluation method, and non-transitory storage medium | |
JP2021099664A (ja) | 角膜反射検出装置、視線検出装置、角膜反射検出方法、及び角膜反射検出プログラム | |
WO2019181272A1 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP2017146987A (ja) | 視点検出装置および視点検出方法 | |
CN113939790A (zh) | 信息处理装置、信息处理方法、程序、显示系统、显示方法及电子书写用具 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240430 |