JP2016512765A - 軸上視線追跡システム及び方法 - Google Patents
軸上視線追跡システム及び方法 Download PDFInfo
- Publication number
- JP2016512765A JP2016512765A JP2016503499A JP2016503499A JP2016512765A JP 2016512765 A JP2016512765 A JP 2016512765A JP 2016503499 A JP2016503499 A JP 2016503499A JP 2016503499 A JP2016503499 A JP 2016503499A JP 2016512765 A JP2016512765 A JP 2016512765A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- illumination
- pupil
- image
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Eye Examination Apparatus (AREA)
- Studio Devices (AREA)
Abstract
Description
動的照明コントローラ70が行い得る動的照明プロセスの例を図7A及び7Bを参照して記載する。動的照明プロセスは、システム10のフィードバック制御ループを介して、信号が、許容可能な照明範囲内になるように、自動ゲイン制御システムと同様に機能してよい。この例においては、動的照明プロセスは、入力として、時間ステップtで1つまたは複数の信号振幅インジケータと、1つまたは複数の照明変動パラメータとを取り、時間ステップ(t+1)で信号振幅を改良するために、更新した照明パラメータを決定する。この例においては、動的照明プロセスの信号振幅インジケータは、ユーザの眼の強度特性であり、従って、眼の特徴の強度パラメータとみなすことができる。一人または複数のユーザが必ずしもシーンに含まれるわけではないので、多状態システムは、また、図7Bに示す状況を可能にするように構成することができる。
a)瞳孔が露出オーバーにならず、従って、(画像の中で過飽和のブロブになる)角膜グリントやメガネのグレア等の障害物から容易に区別可能であること。
b)瞳孔が露出アンダーにならず、従って、視線追跡の対象となっている眼の特徴(角膜グリント、角膜縁等)がシーンから区別可能なほど十分に照らされること。
c)最も反射しない顔特性である虹彩が、画像の範囲の下部1/4内にほぼおさまるので、容易に区別可能であること。
動的照明プロセスの初期状態においては、瞳孔が発見されていないと仮定することができる。94で瞳孔の位置を突き止めるために、動的照明コントローラ70は、瞳孔を発見するまで、様々なカメラパラメータ設定を周期的に繰り返す。一例において、動的照明コントローラ70は、カメラシャッター時間の全範囲を、各周期で、その範囲の33%と66%との間でカメラゲインを切り替えて、2周期繰り返す。多くの異なるシャッター時間とゲインとの組み合わせは、循環バッファに記憶して、周期的に繰り返すことができる。発見された瞳孔の強度のキューも作成することができる。瞳孔が発見された各繰り返しで、瞳孔の輝度がキューに追加される。動的照明プロセスは、キューが循環バッファのサイズになるまで、または、瞳孔が発見されず、キューが空で無い状態、すなわち、瞳孔(単数または複数)がその前に試したシャッター時間で見つけられた状態まで、毎回、カメラのシャッター時間を変更しながら、循環バッファを周期的に繰り返す。この時点で、プロセスは、理想的な瞳孔の輝度に最も近い瞳孔の輝度を探して、キューを調べ、それに従って、シャッター時間を設定し、図7Aに示す「他の瞳孔を発見」状態92に移動する。
他の瞳孔を発見状態92においては、目的は、現在の瞳孔を見失うことなく、ユーザの他の瞳孔の位置を突き止めることである。そうするために、動的照明プロセスは、図8に示すように、第2の瞳孔が発見されるまで、カメラの線形ゲイン範囲を段階的に上昇、下降することができる。図8の点(a)及び(b)は、瞳孔が所望の瞳孔強度範囲の端で発見される場合を表している、従って、瞳孔を見失わないように他の方向への探索の切り替えを行う。点(c)において、第2の瞳孔が発見され、従って、状態が変更される。
瞳孔の理想化状態86においては、両方の瞳孔が発見されている。この状態での目的は、両方の瞳孔を「視野内に」維持して、常に追跡しながら、理想的な瞳孔の輝度にできるだけ近く、瞳孔の強度値を維持または移動させて、理想的な状態にシステムを維持することである。
ユーザの眼を検出するために赤外線ベースの視線追跡装置よって用いられる一般的な技術は、軸上の(明るい)画像と軸外の(暗い)画像とを最初に区別することによって、シーンの残りから瞳孔50を閾値によって分けることを伴う。瞳孔50は、軸上画像において角膜の再帰反射性のために明るく、他は暗いので、結果として得られる差分画像は、理想的には、瞳孔だけを含むはずである。この画像は、次に、信頼できるレベルで、閾値によって分けられ、瞳孔を含む2値画像となる。しかしながら、実際には、ユーザが動いている時に区別することによって起こるノイズや、瞳孔と同じ特性を示すオブジェクト等のさらなる問題が、かなりの量の誤検出となり得るものを、シーンに加える傾向があり、シーンはフィルタリングが必要であることが分かった。軸外の照明のみを使用する他のシステムは、テンプレート照合または複数のハールカスケード分類器などの、シーンから眼を抽出、決定する、計算的にかなり高価な外観ベースの方法を行う傾向がある。
眼が正確に追跡されることを確実にするために、システム10は、大量のノイズがあり得ると思われる中で、2値画像で目を選択するように構成される。図18を参照すると、2ステップのプロセスを採用して、2値画像から眼をフィルタリングしてよい。400において、全ての眼候補は、眼の類型化に最適であると決定された基準のセットに基づいてフィルタリングされ、410において、「最も合う」(best fit)眼の対を求めて、残った眼候補を分析する。
大抵の眼候補のフィルタリングに用いられる方法は、例えば、多数の簡単な特徴メトリックは、組み合わされて、信頼できるロバストな特徴を提供する傾向があることを考慮して、信頼できる特徴を作成する機械学習法に基づいてよい。記載している各特徴は、実際の瞳孔が、許容可能に、理想化された軸上照明条件下にあるとみなされる所与の範囲で設定される。各眼候補は、次に、全ての特徴に関して分析される。眼候補は、その特徴の一つの範囲内に当てはまらない場合、候補リストから取り除かれる。あるいは、重み付きの特徴セットを実装することができる。この場合、適切な瞳孔候補は、特徴の重みの合計が、ある閾値を超える瞳孔候補である。
最も合う眼の対のマッチング
上述のように、発見された眼の特徴抽出78を行った後、システム10は、特定の眼の特徴を用いて視線推定80を行う。
典型的な瞳孔中央角膜反射(PCCR)マッピング視線推定システムは、瞳孔中央pcと角膜グリントgiとの間のベクトルとして定義された1つまたは複数のベクトル
Claims (56)
- 視線追跡を実行する方法であって、前記方法は、
軸上照明の下で、単一の軸上撮像装置を用いて単一の画像を撮影するステップと、
前記単一の撮影された画像を処理し、視線推定を処理するステップと
を備えたことを特徴とする方法。 - 前記単一の軸上撮像装置に対してシーンの照明を最適化するステップをさらに備えたことを特徴とする請求項1に記載の方法。
- 少なくとも1つの照明基準に対して、前記単一の撮影された画像を分析するステップと、
前記分析するステップに基づいて、最適化された照明に向けて1つまたは複数の照明パラメータを変更するための要求を送ることにより前記シーンを最適化するステップと
をさらに備えたことを特徴とする請求項2に記載の方法。 - アプリケーションへの注視点を出力するステップをさらに備えたことを特徴とする請求項1乃至3のいずれか1つに記載の方法。
- シーンの照明を最適化することは、照明光源を用いて、撮像センサによって検出された前記照明を変更することを含むことを特徴とする請求項2乃至4のいずれか1つに記載の方法。
- シーンの照明を最適化することは、撮像センサを変更し、前記センサによって受信した光の量を調節することと、前記撮像センサによって受信した信号を変更することのうちの少なくとも1つを含むことを特徴とする請求項2乃至5のいずれか1つに記載の方法。
- シーンの照明を最適化することは、
照明コントローラで、前記単一の軸上撮像装置から照明パラメータを取得し、及び前記処理するステップにより現在の眼の特徴強度パラメータを取得することと、
前記照明コントローラで、現在の眼の特徴強度パラメータを用いて新しい照明パラメータを生成することと、
前記照明コントローラによって、前記単一の軸上撮像装置の操作中、前記新しい照明パラメータを、前記単一の軸上撮像装置に提供することと
を含むことを特徴とする請求項2乃至6のいずれか1つに記載の方法。 - 前記新しい照明パラメータを生成することは、
1つはまた複数の眼を発見するために、1つまたは複数の照明パラメータに対する値の範囲を周期的に繰り返すことと、
少なくとも1つの眼を発見することができた場合、前記1つまたは複数の照明パラメータを理想に向けて変更することと
を含むことを特徴とする請求項7に記載の方法。 - 前記理想に対する眼に近づけるためのパラメータを選択するステップをさらに備えたことを特徴とする請求項8に記載の方法。
- 前記シーンにおいて1ユーザより多いユーザを検出した場合、外部インジケータに基づいて用いる眼を決定するステップをさら備えたことを特徴とする請求項8または9に記載の方法。
- 前記値の範囲を1回パスして、及び眼の特徴強度を記憶するステップをさらに備えたことを特徴とする請求項8乃至10のいずれか1つに記載の方法。
- 前記処理するステップは、眼の検出を実行するステップを含むことを特徴とする請求項1乃至11のいずれか1つに記載の方法。
- 前記眼の検出は、眼の候補検出を実行し、及び1つまたは複数の眼の候補のセットを用いて眼の候補フィルタリングを実行することを含むことを特徴とする請求項12に記載の方法。
- 1つまたは複数の発見された眼のセットを用いて眼の特徴抽出を実行することを特徴とする請求項13に記載の方法。
- 1つまたは複数の眼の特徴のセットは、前記視線推定を実行するために用いられることを特徴とする請求項14に記載の方法。
- 前記眼の検出は、
1つまたは複数のバイナリブロブをバイナリ画像から抽出することと、
前記バイナリブロブを用いて瞳孔の候補をランク付けすることと、
1つまたは複数のランク付けされた眼の候補のセットを提供することと
を含むことを特徴とする請求項12乃至15のいずれか1つに記載の方法。 - 前記撮影された画像を閾値によって分け、予期された眼の特徴強度に基づいて前記バイナリ画像を取得するステップをさらに備えたことを特徴とする請求項16に記載の方法。
- 前記撮影された画像から、勾配の向き画像及び勾配の大きさ画像を計算するステップと、
前記勾配の大きさ画像に閾値化を適用し、眼の特徴強度間の予期されたコントラストに基づいて前記バイナリ画像を取得するステップと
をさらに備えたことを特徴とする請求項16に記載の方法。 - 前記眼の候補フィルタリングは、
眼を類型化する少なくとも1つの基準に基づいて眼の候補をフィルタリングすることと、
最も合う目の対に対して残った眼を分析することと
を含むことを特徴とする請求項13乃至18のいずれか1つに記載の方法。 - 前記視線推定は、
発見された眼に対する瞳孔中央と角膜グリントとの間のベクトルを決定することと、
距離メトリックを決定することと、
前記距離メトリック、及び前記瞳孔中央と前記角膜グリントとの間の前記ベクトルを用いて、正規化されたベクトルを生成することと、
前記正規化されたベクトルの関数マッピングから注視点を決定することと
を含むことを特徴とする請求項1乃至19のいずれか1つに記載の方法。 - 前記距離メトリックは、角膜縁の直径または半径、姿勢修正瞳孔間距離、少なくとも1つの予め定められた眼または顔の特徴関係、焦点または被焦点メトリックの深度、及び少なくとも1つの外部から提供された予め定められた距離メトリックのうちのいずれか1つまたは複数を用いることを特徴とする請求項20に記載の方法。
- 前記撮影された画像上で画像前処理を実行するステップをさらに備えたことを特徴とする請求項1乃至21のいずれか1つに記載の方法。
- 前記単一の軸上撮像装置は、少なくとも1つの操作における視線追跡を利用するように構成された電子デバイスと接続されることを特徴とする請求項1乃至22のいずれか1つに記載の方法。
- 請求項1乃至23のいずれか1つに記載の方法を実行するためのコンピュータ実行可能命令を備えたことを特徴とするコンピュータ可読記憶媒体。
- 請求項1乃至23のいずれか1つに記載の方法を実行するように構成された処理モジュールを備えたことを特徴とする視線追跡システム。
- 前記単一の軸上撮像装置をさらに備えたことを特徴とする請求項25に記載の視線追跡システム。
- 電子デバイスと接続されることを特徴とする請求項25または26に記載の視線追跡システム。
- 前記視線追跡システムは、前記電子デバイスに不可欠であることを特徴とする請求項27に記載の視線追跡システム。
- 前記単一の軸上撮像装置は、少なくとも1つの照明光源及び撮像センサを備えることを特徴とする請求項25乃至28のいずれか1つに記載の視線追跡システム。
- 前記撮像センサはカメラであることを特徴とする請求項29に記載の視線追跡システム。
- 前記少なくとも1つの照明光源は、前記撮像センサを囲む照明光源の配列であることを特徴とする請求項29または30に記載の視線追跡システム。
- 前記処理モジュールは、前記単一の軸上撮像装置と接続された照明コントローラを備えることを特徴とする請求項25乃至30のいずれか1つに記載の視線追跡システム。
- 視線追跡システムのために照明を制御する方法であって、前記方法は、
撮像装置から照明パラメータを取得するステップと、
現在の眼の特徴強度パラメータに基づいて新しい照明パラメータを生成するステップと、
単一の軸上撮像装置の操作中、前記新しい照明パラメータを、前記単一の軸上撮像装置に提供するステップと
を備えたことを特徴とする方法。 - 前記視線追跡システムによって実行された処理から前記現在の眼の特徴強度パラメータを取得するステップをさらに備えたことを特徴とする請求項33に記載の方法。
- 照明光源を用いて、撮像センサによって検出された前記照明を変更するステップをさらに備えたことを特徴とする請求項33または34に記載の方法。
- 撮像センサを変更し、前記センサによって受信した光の量を調節するステップと、前記撮像センサによって受信した信号を変更するステップのうちの少なくとも1つをさらに備えたことを特徴とする請求項33乃至35のいずれか1つに記載の方法。
- 前記新しい照明パラメータを生成するステップは、
1つはまた複数の眼を発見するために、1つまたは複数の照明パラメータに対する値の範囲を周期的に繰り返すステップと、
少なくとも1つの眼を発見することができた場合、前記1つまたは複数の照明パラメータを理想に向けて変更するステップと
を含むことを特徴とする請求項33乃至36のいずれか1つに記載の方法。 - 前記理想に対する眼に近づけるためのパラメータを選択するステップをさらに備えたことを特徴とする請求項37に記載の方法。
- シーンにおいて1ユーザより多いユーザを検出した場合、外部インジケータに基づいて用いる眼を決定するステップをさら備えたことを特徴とする請求項37または38に記載の方法。
- 前記値の範囲を1回パスして、及び眼の特徴強度を記憶するステップをさらに備えたことを特徴とする請求項37乃至39のいずれか1つに記載の方法。
- 請求項33乃至40のいずれか1つに記載の方法を実行するためのコンピュータ実行可能命令を備えたことを特徴とするコンピュータ可読記憶媒体。
- プロセッサ及びメモリを備えた照明コントローラであって、前記メモリは、請求項33乃至40のいずれか1つに記載の方法を実行するためのコンピュータ実行可能命令を記憶することを特徴とする照明コントローラ。
- 視線追跡システムのために眼の検出を実行する方法であって、前記方法は、
最適化された照明下で、単一の軸上撮像装置を用いて撮影された単一の画像を受信し、眼の特徴強度間のコントラストの予期された度合いを提供するステップと、
前記撮影された画像上で眼の検出を実行する
を備えたことを特徴とする方法。 - 前記眼の検出は、眼の候補検出を実行し、及び1つまたは複数の眼の候補のセットを用いて眼の候補フィルタリングを実行することを含むことを特徴とする請求項43に記載の方法。
- 1つまたは複数の発見された眼のセットを用いて眼の特徴抽出を実行するステップをさらに備えたことを特徴とする請求項44に記載の方法。
- 1つまたは複数の眼の特徴のセットは、視線推定を実行するために用いられることを特徴とする請求項45に記載の方法。
- 前記眼の検出は、
1つまたは複数のバイナリブロブをバイナリ画像から抽出することと、
前記バイナリブロブを用いて瞳孔の候補をランク付けすることと、
1つまたは複数のランク付けされた眼の候補のセットを提供することと
を含むことを特徴とする請求項43乃至46のいずれか1つに記載の方法。 - 前記撮影された画像を閾値によって分け、予期された眼の特徴強度に基づいて前記バイナリ画像を取得するステップをさらに備えたことを特徴とする請求項47に記載の方法。
- 前記撮影された画像から、勾配の向き画像及び勾配の大きさ画像を計算するステップと、
前記勾配の大きさ画像に閾値化を適用し、眼の特徴強度間の予期されたコントラストに基づいて前記バイナリ画像を取得するステップと
をさらに備えたことを特徴とする請求項47に記載の方法。 - 前記眼の候補フィルタリングは、
眼を類型化する少なくとも1つの基準に基づいて眼の候補をフィルタリングすることと、
最も合う目の対に対して残った眼を分析することと
を含むことを特徴とする請求項44乃至49のいずれか1つに記載の方法。 - 請求項43乃至50のいずれか1つに記載の方法を実行するためのコンピュータ実行可能命令を備えたことを特徴とするコンピュータ可読記憶媒体。
- プロセッサ及びメモリを備えた眼の検出システムであって、前記メモリは、請求項43乃至50のいずれか1つに記載の方法を実行するためのコンピュータ実行可能命令を記憶することを特徴とする眼の検出システム。
- 視線追跡システムのために視線推定を実行する方法であって、前記方法は、
最適化された照明下で、単一の軸上撮像装置を用いて撮影された単一の画像を受信するステップと、
少なくとも1つの発見された眼を決定するステップと、
前記少なくとも1つの発見された眼に対する瞳孔中央と角膜グリントとの間のベクトルを決定するステップと、
距離メトリックを決定するステップと、
前記距離メトリック、及び前記瞳孔中央と前記角膜グリントとの間の前記ベクトルを用いて、正規化されたベクトルを生成するステップと、
前記正規化されたベクトルの関数マッピングから注視点を決定するステップと
を備えたことを特徴とする方法。 - 前記距離メトリックは、角膜縁の直径または半径、姿勢修正瞳孔間距離、少なくとも1つの予め定められた眼または顔の特徴関係、焦点または被焦点メトリックの深度、及び少なくとも1つの外部から提供された予め定められた距離メトリックのうちのいずれか1つまたは複数を用いることを特徴とする請求項53に記載の方法。
- 請求項53または54に記載の方法を実行するためのコンピュータ実行可能命令を備えたことを特徴とするコンピュータ可読記憶媒体。
- プロセッサ及びメモリを備えた視線推定システムであって、前記メモリは、請求項53または54に記載の方法を実行するためのコンピュータ実行可能命令を記憶することを特徴とする眼の検出システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361802881P | 2013-03-18 | 2013-03-18 | |
US61/802,881 | 2013-03-18 | ||
PCT/CA2014/050282 WO2014146199A1 (en) | 2013-03-18 | 2014-03-17 | System and method for on-axis eye gaze tracking |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016512765A true JP2016512765A (ja) | 2016-05-09 |
JP2016512765A5 JP2016512765A5 (ja) | 2017-06-08 |
JP6577454B2 JP6577454B2 (ja) | 2019-09-18 |
Family
ID=51579241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016503499A Active JP6577454B2 (ja) | 2013-03-18 | 2014-03-17 | 軸上視線追跡システム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9733703B2 (ja) |
EP (1) | EP2975997B1 (ja) |
JP (1) | JP6577454B2 (ja) |
CN (1) | CN105431078B (ja) |
CA (1) | CA2882413C (ja) |
WO (1) | WO2014146199A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016093253A (ja) * | 2014-11-12 | 2016-05-26 | 国立大学法人静岡大学 | 瞳孔検出用光源装置の制御方法 |
WO2018051836A1 (ja) * | 2016-09-14 | 2018-03-22 | 株式会社デンソー | 虹彩検出装置、虹彩検出方法、虹彩検出プログラム、及び虹彩検出プログラムを記録した記録媒体 |
JP2019501720A (ja) * | 2015-12-31 | 2019-01-24 | ミラメトリックス インコーポレイテッド | 視線追跡のためのシステムおよび装置 |
JP2019017491A (ja) * | 2017-07-12 | 2019-02-07 | 国立大学法人静岡大学 | 画像特徴追跡方法、視線追跡方法及び注視点追跡方法 |
JP2021527552A (ja) * | 2018-06-20 | 2021-10-14 | アキュセラ インコーポレイテッド | 家庭用眼科用途のための小型化モバイル低コスト光干渉断層撮影システム |
US11890053B2 (en) | 2016-12-21 | 2024-02-06 | Acucela Inc. | Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications |
US11974807B2 (en) | 2020-08-14 | 2024-05-07 | Acucela Inc. | System and method for optical coherence tomography a-scan decurving |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10016130B2 (en) | 2015-09-04 | 2018-07-10 | University Of Massachusetts | Eye tracker system and methods for detecting eye parameters |
US10061383B1 (en) | 2015-09-16 | 2018-08-28 | Mirametrix Inc. | Multi-feature gaze tracking system and method |
US10162651B1 (en) * | 2016-02-18 | 2018-12-25 | Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville | Systems and methods for providing gaze-based notifications |
US10715824B2 (en) * | 2016-03-17 | 2020-07-14 | Facebook Technologies, Llc | System and method for data compressing optical sensor data prior to transferring to a host system |
US11138741B2 (en) | 2016-05-27 | 2021-10-05 | Rochester Institute Of Technology | System and method for eye tracking |
US20180005057A1 (en) * | 2016-07-01 | 2018-01-04 | Hyundai Motor Company | Apparatus and method for capturing face image of decreased reflection on spectacles in vehicle |
CN109716268B (zh) * | 2016-09-22 | 2022-05-17 | 苹果公司 | 眼部和头部跟踪 |
EP3859495B1 (en) * | 2016-12-06 | 2023-05-10 | Vuelosophy Inc. | Systems and methods for tracking motion and gesture of heads and eyes |
US10296786B2 (en) * | 2017-02-15 | 2019-05-21 | International Business Machines Corporation | Detecting hand-eye coordination in real time by combining camera eye tracking and wearable sensing |
WO2018222897A1 (en) * | 2017-06-01 | 2018-12-06 | University Of Washington | Smartphone-based digital pupillometer |
CN107357429B (zh) * | 2017-07-10 | 2020-04-07 | 京东方科技集团股份有限公司 | 用于确定视线的方法、设备和计算机可读存储介质 |
EP3453316B1 (en) * | 2017-09-08 | 2022-02-23 | Tobii AB | Eye tracking using eyeball center position |
US20200183490A1 (en) * | 2017-09-11 | 2020-06-11 | Tobii Ab | Reliability of gaze tracking data for left and right eye |
US11690509B2 (en) * | 2017-12-13 | 2023-07-04 | Medical Diagnostech Pty Ltd. | System and method for obtaining a pupil response profile |
US11003244B2 (en) * | 2018-08-27 | 2021-05-11 | University Of Rochester | System and method for real-time high-resolution eye-tracking |
JP2021536609A (ja) * | 2018-08-31 | 2021-12-27 | アイウェア・テク・ソシエテ・アノニム | 注視点推定方法及びシステム |
CN109725715B (zh) * | 2018-11-16 | 2024-04-05 | 深圳惠智光电子科技有限公司 | 一种眼睛训练引导方法、电子设备及存储介质 |
IL264530B1 (en) * | 2019-01-29 | 2024-03-01 | Eyeway Vision Ltd | Device for tracking eye movement and method therefor |
CN110051319A (zh) * | 2019-04-23 | 2019-07-26 | 七鑫易维(深圳)科技有限公司 | 眼球追踪传感器的调节方法、装置、设备及存储介质 |
US11263634B2 (en) * | 2019-08-16 | 2022-03-01 | Advanced New Technologies Co., Ltd. | Payment method and device |
US10996753B1 (en) * | 2020-04-07 | 2021-05-04 | Eyetech Digital Systems, Inc. | Multi-mode eye-tracking with independently operable illuminators |
US11921917B2 (en) | 2020-04-07 | 2024-03-05 | Eyetech Digital Systems, Inc. | Compact eye-tracking camera systems and methods |
WO2021247435A1 (en) * | 2020-06-05 | 2021-12-09 | Magic Leap, Inc. | Enhanced eye tracking techniques based on neural network analysis of images |
US20240013439A1 (en) | 2020-10-23 | 2024-01-11 | Eyeware Tech Sa | Automated calibration method of a system comprising an external eye-tracking device and a computing device |
EP4027220A1 (en) | 2021-01-08 | 2022-07-13 | Eyeware Tech SA | Method for calibrating an eye-tracking device |
EP4113983A1 (en) | 2021-06-30 | 2023-01-04 | Eyeware Tech SA | Method for gaze tracking calibration with a video conference system |
EP4113982A1 (en) | 2021-06-30 | 2023-01-04 | Eyeware Tech SA | Method for sensing and communicating visual focus of attention in a video conference |
EP4113251A1 (en) | 2021-06-30 | 2023-01-04 | Eyeware Tech SA | Calibration method of a system comprising an eye tracking device and a computing device comprising one or multiple screens |
US11861916B2 (en) * | 2021-10-05 | 2024-01-02 | Yazaki Corporation | Driver alertness monitoring system |
US12002290B2 (en) | 2022-02-25 | 2024-06-04 | Eyetech Digital Systems, Inc. | Systems and methods for hybrid edge/cloud processing of eye-tracking image data |
CA3237333A1 (en) * | 2022-06-02 | 2023-12-07 | Thomas Johannes WAWRZINEK | Eye tracker with hardware filtering and software sorting |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006023949A (ja) * | 2004-07-07 | 2006-01-26 | Canon Inc | 画像処理装置及び画像処理方法 |
WO2007092512A2 (en) * | 2006-02-07 | 2007-08-16 | Attention Technologies, Inc. | Driver drowsiness and distraction monitor |
JP2009116797A (ja) * | 2007-11-09 | 2009-05-28 | Aisin Seiki Co Ltd | 顔画像撮像装置、顔画像撮像方法、及びそのプログラム |
JP2009276849A (ja) * | 2008-05-12 | 2009-11-26 | Toyota Motor Corp | 運転者撮像装置および運転者撮像方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3804496A (en) | 1972-12-11 | 1974-04-16 | Stanford Research Inst | Two dimensional eye tracker and method for tracking an eye |
US4950069A (en) | 1988-11-04 | 1990-08-21 | University Of Virginia | Eye movement detector with improved calibration and speed |
US5231674A (en) * | 1989-06-09 | 1993-07-27 | Lc Technologies, Inc. | Eye tracking method and apparatus |
US6134339A (en) * | 1998-09-17 | 2000-10-17 | Eastman Kodak Company | Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame |
GB9823977D0 (en) * | 1998-11-02 | 1998-12-30 | Scient Generics Ltd | Eye tracking method and apparatus |
US7762665B2 (en) | 2003-03-21 | 2010-07-27 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
US8292433B2 (en) | 2003-03-21 | 2012-10-23 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
US7809160B2 (en) | 2003-11-14 | 2010-10-05 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections |
US7362885B2 (en) * | 2004-04-20 | 2008-04-22 | Delphi Technologies, Inc. | Object tracking and eye state identification method |
US7922670B2 (en) | 2005-02-24 | 2011-04-12 | Warren Jones | System and method for quantifying and mapping visual salience |
EP2049972B1 (en) | 2006-07-28 | 2019-06-05 | Signify Holding B.V. | Gaze interaction for information display of gazed items |
US8077914B1 (en) * | 2006-08-07 | 2011-12-13 | Arkady Kaplan | Optical tracking apparatus using six degrees of freedom |
JP5028073B2 (ja) * | 2006-11-29 | 2012-09-19 | 株式会社ニデック | 角膜手術装置 |
US8348429B2 (en) * | 2008-03-27 | 2013-01-08 | Doheny Eye Institute | Optical coherence tomography device, method, and system |
EP2238889B1 (en) | 2009-04-01 | 2011-10-12 | Tobii Technology AB | Adaptive camera and illuminator eyetracker |
EP2309307B1 (en) | 2009-10-08 | 2020-12-09 | Tobii Technology AB | Eye tracking using a GPU |
US9507418B2 (en) | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
-
2014
- 2014-03-17 CA CA2882413A patent/CA2882413C/en active Active
- 2014-03-17 EP EP14770861.4A patent/EP2975997B1/en active Active
- 2014-03-17 WO PCT/CA2014/050282 patent/WO2014146199A1/en active Application Filing
- 2014-03-17 CN CN201480028893.9A patent/CN105431078B/zh active Active
- 2014-03-17 JP JP2016503499A patent/JP6577454B2/ja active Active
-
2015
- 2015-02-19 US US14/626,288 patent/US9733703B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006023949A (ja) * | 2004-07-07 | 2006-01-26 | Canon Inc | 画像処理装置及び画像処理方法 |
WO2007092512A2 (en) * | 2006-02-07 | 2007-08-16 | Attention Technologies, Inc. | Driver drowsiness and distraction monitor |
JP2009116797A (ja) * | 2007-11-09 | 2009-05-28 | Aisin Seiki Co Ltd | 顔画像撮像装置、顔画像撮像方法、及びそのプログラム |
JP2009276849A (ja) * | 2008-05-12 | 2009-11-26 | Toyota Motor Corp | 運転者撮像装置および運転者撮像方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016093253A (ja) * | 2014-11-12 | 2016-05-26 | 国立大学法人静岡大学 | 瞳孔検出用光源装置の制御方法 |
US10984236B2 (en) | 2015-12-31 | 2021-04-20 | Mirametrix Inc. | System and apparatus for gaze tracking |
JP2019501720A (ja) * | 2015-12-31 | 2019-01-24 | ミラメトリックス インコーポレイテッド | 視線追跡のためのシステムおよび装置 |
JP2018045437A (ja) * | 2016-09-14 | 2018-03-22 | 株式会社デンソーアイティーラボラトリ | 虹彩検出装置、虹彩検出方法、およびプログラム |
US10963695B2 (en) | 2016-09-14 | 2021-03-30 | Denso Corporation | Iris detection device, iris detection method, and recording medium onto which iris detection program is recorded |
WO2018051836A1 (ja) * | 2016-09-14 | 2018-03-22 | 株式会社デンソー | 虹彩検出装置、虹彩検出方法、虹彩検出プログラム、及び虹彩検出プログラムを記録した記録媒体 |
US11890053B2 (en) | 2016-12-21 | 2024-02-06 | Acucela Inc. | Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications |
JP2019017491A (ja) * | 2017-07-12 | 2019-02-07 | 国立大学法人静岡大学 | 画像特徴追跡方法、視線追跡方法及び注視点追跡方法 |
JP7116978B2 (ja) | 2017-07-12 | 2022-08-12 | 国立大学法人静岡大学 | 画像特徴追跡方法、視線追跡方法及び注視点追跡方法 |
JP2021527552A (ja) * | 2018-06-20 | 2021-10-14 | アキュセラ インコーポレイテッド | 家庭用眼科用途のための小型化モバイル低コスト光干渉断層撮影システム |
JP7402866B2 (ja) | 2018-06-20 | 2023-12-21 | アキュセラ インコーポレイテッド | 家庭用眼科用途のための小型化モバイル低コスト光干渉断層撮影システム |
US11896308B2 (en) | 2018-06-20 | 2024-02-13 | Acucela Inc. | Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications |
US11974807B2 (en) | 2020-08-14 | 2024-05-07 | Acucela Inc. | System and method for optical coherence tomography a-scan decurving |
Also Published As
Publication number | Publication date |
---|---|
US20150160726A1 (en) | 2015-06-11 |
CA2882413A1 (en) | 2014-09-25 |
US9733703B2 (en) | 2017-08-15 |
EP2975997A4 (en) | 2016-12-14 |
CN105431078A (zh) | 2016-03-23 |
CA2882413C (en) | 2016-10-25 |
EP2975997B1 (en) | 2023-07-12 |
WO2014146199A1 (en) | 2014-09-25 |
CN105431078B (zh) | 2018-11-02 |
EP2975997A1 (en) | 2016-01-27 |
JP6577454B2 (ja) | 2019-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6577454B2 (ja) | 軸上視線追跡システム及び方法 | |
US11715231B2 (en) | Head pose estimation from local eye region | |
JP6930223B2 (ja) | 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法 | |
CN107111753B (zh) | 用于注视跟踪模型的注视检测偏移 | |
CN113729611B (zh) | 使用眼球中心位置的眼睛追踪 | |
US9411417B2 (en) | Eye gaze tracking system and method | |
US20220301217A1 (en) | Eye tracking latency enhancements | |
US11163994B2 (en) | Method and device for determining iris recognition image, terminal apparatus, and storage medium | |
TW202044828A (zh) | 眼動追蹤裝置及其方法 | |
JP6870474B2 (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
KR20120006819A (ko) | 시선 추적 방법 및 이를 적용하는 장치 | |
KR102442220B1 (ko) | 얼굴 생체 검출 방법과 장치, 전자 기기, 컴퓨터 판독 가능 매체 | |
JP2010123019A (ja) | 動作認識装置及び方法 | |
CN112153363B (zh) | 用于3d角膜位置估计的方法和系统 | |
Heo et al. | Object recognition and selection method by gaze tracking and SURF algorithm | |
Kim et al. | Eye detection for gaze tracker with near infrared illuminator | |
CN109522868A (zh) | 一种检测眨眼的方法和装置 | |
US11156831B2 (en) | Eye-tracking system and method for pupil detection, associated systems and computer programs | |
US20210350554A1 (en) | Eye-tracking system | |
Borsato et al. | xSDL: stroboscopic differential lighting eye tracker with extended temporal support | |
CN112528713A (zh) | 一种注视点估计方法、系统、处理器及设备 | |
Wankhede et al. | Real Time Eye Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170317 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170418 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6577454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |