JP2016500859A - 眼および視線追跡のためのタイル画像ベースの頭位置の走査 - Google Patents
眼および視線追跡のためのタイル画像ベースの頭位置の走査 Download PDFInfo
- Publication number
- JP2016500859A JP2016500859A JP2015533575A JP2015533575A JP2016500859A JP 2016500859 A JP2016500859 A JP 2016500859A JP 2015533575 A JP2015533575 A JP 2015533575A JP 2015533575 A JP2015533575 A JP 2015533575A JP 2016500859 A JP2016500859 A JP 2016500859A
- Authority
- JP
- Japan
- Prior art keywords
- features
- sensor
- eye
- eye tracking
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Image Processing (AREA)
Abstract
Description
・瞳孔
・角膜反射
各特徴としては、典型的なサイズ、輪郭、位置が抽出される。その後の処理によって、これら特徴から視線ベクトルおよび視線ポイントを算出する。
しかしながら、様々な眼追跡アプリケーションは高いサンプリングレートを必要とするが、これは永久フル空間解像度画像取得を用いて提供することができない。
・ROI画像が眼追跡に必要な全ての特徴をカバーし、
・ROI画像取得中のサンプリングレートが時間解像度に関するシステム要件を満たす。
画像センサによって画像データを取り込むこと、
読み出された画像データに基づいて眼追跡を実行するために、センサから読み取られる該センサの1つのサブ領域または複数の非連結サブ領域として、関心領域を決定すること、
該関心領域の決定は、
a)前記センサの領域の一部のみを当初読み取ること、
b)追跡被写体の眼位置および/または頭位置を表す1つ以上の特徴を求めて、前記初期読取部分の画像データを検索すること、
c)1つ以上の特徴を求める前記検索が成功した場合、検索に成功した1つ以上の特徴の位置に基づいて、関心領域を決定すること、および、
d)1つ以上の特徴を求める前記検索が成功しなかった場合、前記センサの別の部分を読み取り、前記別の部分に基づき眼位置および/または頭位置を表す1つ以上の特徴を求めて検索を行うこと。
画像データを取り込むための画像センサ、
センサから読み取られるセンサの1つのサブ領域として関心領域を決定し、該読取画像データに基づき眼追跡を行うためのモジュール。
そして、この関心領域を決定するための前記モジュールは、以下のモジュールを含む。
a)センサの領域の一部のみを当初読み取るためのモジュールと、
b)追跡被写体の眼位置および/または頭位置を表す1つ以上の特徴を求めて、前記初期読取部分の画像データを検索するためのモジュール、
c)1つ以上の特徴を求める前記検索が成功した場合、検索に成功した1つ以上の特徴の位置に基づき関心領域を決定するためのモジュール、
d)1つ以上の特徴を求める前記検索が成功しなかった場合、前記センサの別の部分を読み取り、前記別の部分に基づき眼位置および/または頭位置を表す1つ以上の特徴を求めて検索を行うモジュール。
ある実施形態による眼または視線追跡システムは、「頭位置検索モード」から始まる。このモードの目標は、次の追跡モードで用いることのできる初期ROI位置を見つけることである。「頭位置検索モード」では、システムは、眼や頭の位置を決定するために有用な、眼や瞳孔、角膜反射、あるいは眼や頭の他の特徴を検索し、それに基づいて次の追跡モードで用いる初期ROIの位置を特定または決定する。これに関連して、部分またはタイル11に分割したセンサ領域10を示す模式的図解である図1が参照される。
図3を参照して説明した前記タイルスティッチングを用いる頭位置の走査に代えて、図4は専用タイルを用いる頭位置の走査を示す。
ある実施形態による特徴アキュムレータは、各専用タイルについて画像処理から抽出した特徴の大きさおよび位置等の幾何学的特性を含むデータベースである。露出の時間、信頼度、タイル特性等の追加情報が各特徴データセットに添付される。
特徴アキュムレータの目標は、例えば次のものである。
・蓄積した特徴を最後まで解析して追跡モードに切り替え、「追跡モード」の初期ROI位置を決定する
・「頭位置検索モード」に続く、それ以降のタイルの選択
・眼の生理学的モデルとカメラおよび照明ダイオードの幾何学的セットアップから照明の光線経路が算出される。そこから、角膜反射や瞳孔の位置に関する制約が導き出され、蓄積した特徴に適用される。
・頭移動速度に関する知識は、空間的および時間的距離からその特徴の最後に知った位置までに依存する、誤った肯定的な検出特徴を除外することに用いられる。
・双眼鏡の眼の距離は、左右の眼の特徴の間の距離の範囲に依存する誤った肯定的検出特徴を除外するために用いられる。
図5は、専用タイル(図4)に適用するのが望ましいが、タイルスティッチング(図3)にも用いることができる異なるタイルサイズを示す。図5に示すように、タイルサイズは、
・一定でも
・一定でなくともよい(連続して捉えるであろう2つの隣接するタイルを合併することでより大きな水平または垂直の領域をカバーする等)
実施形態によると、タイルスティッチング(図3)と専用タイル(図4)の両方に適用可能な「頭位置検索モード」には検索の具体化には異なる方法がある。
・静的:途中から開始、または頭位置を見つける可能性が高い場合に直ちに開始
・最後の追跡位置に基づく
・眼位置の近似に用いることができる外部情報(ウェブキャム顔検出結果に基づく等)に基づく
図6から図9は、タイルスティッチング(図3)と専用タイル(図4)の両方に適用可能な頭位置検索モード中、実施形態により連続的に読み込んだタイルの異なる経路を示す。
その後捉えるタイルの順番は、頭位置を見つけるまでの時間に影響する。その後のタイルを捉える順番は次のようにするか、他の好適なパターンでよい。
・最も容易:行毎、列毎
・中心周囲の螺旋
・最後に追跡した位置周囲の螺旋
・中心周囲の放射状
・最後に追跡した位置周囲の放射状
・確率密度関数に基づくサンプリング
・ランダムまたは偽ランダム
タイルスティッチング(図3)と専用タイル(図4)の両方に適用可能な「頭位置検索モード」において、タイルは次のようなその境界の接し方によって定義される
・重合または
・整列または
・タイル間に隙間あり。
重合するエッジを用いることで、ROI境界線に近い特徴の検出が簡易化する。そのため、ROI境界線によって細分化された特徴がカバーする領域の複雑化が回避される。図9は、(下から上の)タイルエッジの、整列、重合、または隙間ありを示す。
頭位置検索が成功して、追跡用ROIが決定するとすぐに、システムは追跡モードに切り替わる。
追跡ROIは頭位置移動に従って移動する。システムがROI内に必要な特徴を検出できない場合、システムは「頭位置検索モード」に戻る。
ある実施形態によると、「頭位置検索モード」は、複数のユーザの追跡量を走査するよう修正される。そのため、「頭位置検索モード」は、生理学的および幾何学的制約に一致する全ての特徴周囲の複数タイルを算出する。各被写体に対して1つの初期タイル位置が生成される。
追跡モードは、頭位置検索モードから通過した複数ROIを各被写体につき1つ取り扱うよう修正される。各ROIは被写体の頭の移動に従って移動する。
1つのROIで眼の特徴が入手可能でない場合、システムは特定の被写体の頭の移動の追跡を停止する。眼の特徴を含むROIが入手可能な限り、システムは頭位置検索モードに戻ることはない。
眼の特徴を含むROIがなくなった場合、システムは頭位置検索モードに切り替わる。
ある実施形態によると、追跡モードにある間、システムは追加ユーザについて永久的に追跡ROI外の領域をスキャンする。これは、頭位置検索モードと同等に実現される。これは、複数ユーザ追跡では、システムは頭位置検索モードと追跡モードで同時に動作していることを意味する。
追跡モードでのサンプリング周波数の増加および/または帯域の減少には、ある実施形態によると、大きなROIの代わりに複数の小さなROIを用いることができ、タスクに必要な特徴の検出に適したROIを配置およびサイズ決めする。例えば、両眼に1つのROIの代わりに、片方の眼の中心に1つの小さなROIを置くことができる。2つのROIを合わせた領域は、大きなROIの領域より小さい。これは、鼻梁になると予想される領域を捉えないことによって実現される。捉えた領域サイズの減少によってサンプリングフレームレートを上げる。
ビニング、(行および/または列の)スキップ、またはサブサンプリングを用いて空間解像度を下げ、フレームレートを上げることができる。頭位置検索モードでこのような解像度低下手段を用いることにより(フル解像度センサ読取に比べて)次のことが可能になる
・同じサンプリング周波数でより大きなタイルを用いることにより、より大きなセンサ領域をカバーする。これによって特徴を見つける確率が高まる。
・より速いサンプリング周波数で同じタイルサイズを用いることにより、頭位置関連の特徴をより早く検出し、システムがより早く追跡モードに切り替わることができる。
画像センサの隣接する画素の信号を加えることで、処理画素数が減少するため、画像処理努力が減少する。隣接は水平、垂直または両方でよく、あらゆる数の隣接画素の追加やその信号を組み合わせることが可能だが、典型的なモードとして、2×1(水平に隣接する2個の画素)、1×2(垂直に隣接する2個)、2×2(水平、垂直および斜めに隣接する4個の画素)、4×1、1×4、4×4等がある。
ビニングは各画素のアナログまたはデジタル出力に関して、センサレベルで行うことができ、あるいは、ソフトウェアまたは装置ドライバによってデジタルに行うことも可能である。
画素の出力が読まれず、送信されず、ある空間的再帰パターンに従って無視される部分的な読み取りをいうが、例えば、垂直、水平または両方で1個置きの画素がスキップされることには限定されない。
これはセンサレベル、ソフトウェアまたはその両方で実行可能である。
1)以下、a)からd)を含むシステム。
a)撮像可能な1つ以上の画像センサまたは光感応要素のアレイ;光感応要素の前記アレイが取り込んだ画像を受信および処理する処理ユニットまたはCPUと、
b)1つ以上のユーザの眼の1つ以上のパラメータを、前記システムで取得した画像を処理し、瞳孔、角膜、虹彩、強膜、角膜輪部、網膜、血管、光源の反射を限定せずに含むユーザの眼の1つ以上の特徴を特定および検出することにより、決定する方法と、
c)前記画像で検出された前記特徴を選択した基準座標系でユーザの眼の実際の位置、向き、寸法に相関させるために用いる、ユーザの眼のモデルと眼追跡システムと、
d)あるサンプリング間隔で前記画像センサまたは光感応要素のアレイの部分読取のみ用いながら1つ以上のユーザの眼の位置を決定する検索方法で、部分読取は、光感応要素のサブセット、アレイ/画像センサの単数または複数のサブ領域(関心領域またはROI)のみの出力を読み取ることか集めることからなるシステム
2)実施形態1)は、1つ以上の発光要素を含むか含まない。
3)送信または処理する画素の数を選択的に減らすため、ビニング、スキッピング、サブサンプリングなどの解像度低下の様態を、水平または垂直または水平および垂直パターンの組み合わせにより用いるか用いない実施形態1〜2。
4)検索方法は、光感応要素の(サブ)セットまたはあるサンプリング間隔内で発生した部分読取によって定義されるROI内の少なくとも1つの前記特徴の少なくとも部分について実質的に位置を確認するか特定しようとする実施形態1〜3。
5)ROIの大きさと形状は一定の値に設定可能な実施形態1〜4。
6)ROIの大きさと形状は異なる期間でダイナミックに変更可能な実施形態1から5
7)検索方法は、処理ユニットのメモリ内で、異なるサンプリング間隔に取り込んだ前記1つ以上の部分読取をスティッチまたは組み合わせ、処理する画像センサの光感応要素のより大きな(サブ)セットを形成し、実施形態4のように前記少なくとも1つの特徴の少なくとも部分について実質的に位置を確認するか特定する実施形態1〜6。
8)ROI内に位置する特徴またはその部分は、計算ユニット内の特徴アキュムレータまたは記憶スペース内に、前記特徴関連特性と共に保存可能で、その特性は、特徴の位置、大きさ、(部分的)形状、検出時間、ROIフレームの大きさおよび位置を含むことができる実施形態1〜6。
9)生理学的および幾何学的制約が特徴アキュムレータに保存された特徴に適用され、誤った肯定的検出を除外し、特徴の完全な形状を1つ以上の部分的フラグメントから再構築し、前記と前記モデルを共に用いて、ユーザの頭位置および/または向きおよび/または1つ以上の眼の位置および/または向きを実質的に決定する実施形態8。
10)1つ以上の前記特徴の検出の時間を用いて、同一領域またはROIからの古い特徴に比べて新しい特徴を優先するのに用いてよい特徴の信頼値を決定することができる実施形態9。
11)特徴の検出の時間を用いて、1つ以上の頭や1つ以上の眼の移動速度を決定し、前記速度を用いて将来の時間間隔で頭および眼の位置を追跡および/または予想し、前記予想は前記ROIの将来の位置の決定に用いることができる前記実施形態。
12)1つ以上のROIの位置が下記a)〜c)で静的に定義される前記実施形態。
a)センサの途中、
b)センサの角
c)頭位置を見つける可能性の高い位置。可能性は、オフラインで作成されている頭位置統計に依存する。
13)1つ以上のROIの位置が下記a)〜c)で動的に定義される前記実施形態。
a)最後に有効な頭位置に基づくか、
b)頭位置に関する情報を与える外部入力に基づくか、
c)現在の単数または複数の被写体の追跡中に作成した確率密度関数に基づくか。
14)その後の時間間隔における1つ以上のROIの移動経路は、ユーザの頭、眼およびその特徴を見つける確率が最も高い専用位置を決定する統計に実質的に依存する前記実施形態。
15)前記移動経路は実質的に螺旋経路をたどる、実施形態14。
16)前記移動経路は実質的に放射状経路をたどる、実施形態14。
17)前記移動経路は実質的に体系的な行毎または列毎経路をたどる、請求項14の方法。
18)前記移動経路は実質的にランダムまたは偽ランダム経路をたどる、実施形態14。
19)その後の時間間隔で想定するROI位置は重合してもしなくてもよい、前記実施形態。
20)その後の時間間隔で想定するROI位置は、センサ読取領域全体を最小限にするよう配列されたエッジであってもなくてもよい前記実施形態。
21)複数のROIは、1人以上のユーザの1つ以上の眼を同時に検出および追跡するよう特に作成され用いられる前記実施形態。
22)ROIは、対応する被写体の頭の移動に従って移動する、前記実施形態。
23)ROIは、その後のフレームで1つ以上のユーザの眼を特定するのに用いる1つ以上の特徴を検出できるよう、各ユーザの頭および眼の移動を予想および追跡するように移動する、前記実施形態。
24)ROIは、潜在的新ユーザまたは一時的に失われたユーザを検索および検出するように位置決めまたは移動する前記実施形態。
25)複数のROIを用いて、予想されるユーザの眼の位置に近く中心決めした単一ROIに比べて、センサ領域読取を実質的に減少させる前記実施形態。
26)1つのROIをユーザの左眼の中心近くに位置決めし、1つのROIをユーザの右眼の中心近くに位置決めし、ユーザの鼻梁になると予想される領域は読み取らない、実施形態25。
Claims (15)
- 画像センサによって画像データを取り込むことと、
前記センサから読み取られる前記センサの1つのサブ領域または複数の非連結サブ領域として関心領域を決定して、該読取画像データに基づき眼追跡を行うことを含む眼追跡方法であって、
前記関心領域の前記決定は、
a)前記センサの領域の一部のみを当初読み取ることと、
b)追跡被写体の眼位置および/または頭位置を表す1つ以上の特徴を求めて、前記初期読取部分の画像データを検索することと、
c)1つ以上の特徴を求める前記検索が成功した場合、検索に成功した1つ以上の特徴の位置に基づき関心領域を決定することと、
d)1つ以上の特徴を求める前記検索が成功しなかった場合、前記センサの別の部分を読み取り、前記別の部分に基づき眼位置および/または頭位置を表す1つ以上の特徴を求めて検索を行うこと
を含む眼追跡方法。 - 1つ以上の特徴を検索し、見つかった特徴の位置に基づき前記関心領域を決定するか、さらにデータを読み取る前記ステップは、前記1つ以上の特徴の位置発見が成功して、関心領域が決定できるまで何度も繰り返すことを特徴とする請求項1に記載の眼追跡方法。
- センサデータの前記読取部分をタイル状にして合成画像を形成し、これに基づき1つ以上の特徴の検索を行う
ことを特徴とする請求項1または2に記載の眼追跡方法。 - 検索に成功した1つ以上の特徴を特徴アキュムレータに保存し、
特徴アキュムレータに保存した特徴を解析し、
解析した特徴に基づき関心領域を決定することを
さらに含む請求項1または2に記載の眼追跡方法。 - 特徴アキュムレータに保存した特徴の前記解析には特徴の検出の時間が含まれることを特徴とする請求項4に記載の眼追跡方法。
- 前記センサから決定した関心領域を繰り返し読み取ることと、その中の1つ以上の特徴を決定することとに基づく眼追跡を行うことをさらに含み、前記関心領域の位置は、決定した特徴の位置に基づき適合されることが望ましい、請求項1〜5のいずれか1項に記載の眼追跡方法。
- 前記センサの一部のみの前記初期読取は、追跡に用いられた最後の関心領域に基づくことを特徴とする請求項1〜6のいずれか1項に記載の眼追跡方法。
- 前記センサの領域の一部のみの前記初期読取は、追跡被写体の眼位置および/または頭位置を表す1つ以上の特徴に関する情報がない場合に行われることを特徴とする請求項1〜7のいずれか1項に記載の眼追跡方法。
- 前記センサの領域の一部のみの前記初期読取は、以前に有効な頭位置、頭位置に関する情報を提供する外部入力、または経験的に供給されるか現在の単数または複数の被写体追跡中に作成される頭位置可能性を記載する確率密度関数に基づくことを特徴とする請求項1〜7のいずれか1項に記載の眼追跡方法。
- 前記センサの別の部分の前記読取は、ユーザの頭をカバーする確率が最も高い別の部分を決定する統計に依存して、別の部分を選択することを特徴とする請求項1〜9のいずれか1項に記載の眼追跡方法。
- 前記センサの別の部分の前記読取は、行毎、列毎、ランダムに、偽ランダムに、中心周囲放射状に、または中心周囲螺旋で別の部分を選択することを含む、請求項1〜10のいずれか1項に記載の眼追跡方法。
- 前記画像データ検索は、複数の追跡被写体の眼位置および/または頭位置を表す1つ以上の特徴を求めて、前記初期読取部分の画像データを検索することを含む、請求項1〜11のいずれか1項に記載の眼追跡方法。
- 前記センサの別の部分の前記読取は、以前に読み取った部分に比べて、別の部分の大きさを変更することを含む、請求項1〜12のいずれか1項に記載の眼追跡方法。
- 前記画像データ検索は、検索を加速するため前記初期読取部分の画像データの、水平または垂直あるいは水平および垂直を組み合わせたビニング、スキッピングまたはサブサンプリングを用いることを含む、請求項1〜13のいずれか1項に記載の眼追跡方法。
- 画像データを取り込むための画像センサと、
関心領域を前記センサから読み取られる前記センサの1つのサブ領域または複数の非連結サブ領域として決定して、該読取画像データに基づき眼追跡を行うためのモジュールとを含む眼追跡システムであって、
前記関心領域を決定するための前記モジュールは、
a)前記センサの領域の一部のみを当初読み取るためのモジュールと、
b)追跡被写体の眼位置および/または頭位置を表す1つ以上の特徴を求めて、前記初期読取部分の画像データを検索するためのモジュールと、
c)1つ以上の特徴を求める前記検索が成功した場合、検索に成功した1つ以上の特徴の位置に基づき関心領域を決定するためのモジュールと、
d)1つ以上の特徴を求める前記検索が成功しなかった場合、前記センサの別の部分を読み取り、前記別の部分に基づき眼位置および/または頭位置を表す1つ以上の特徴を求めて検索を行うモジュールと、を含む眼追跡システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12186357.5 | 2012-09-27 | ||
EP12186357 | 2012-09-27 | ||
EP12189825.8 | 2012-10-24 | ||
EP12189825.8A EP2712541B1 (en) | 2012-09-27 | 2012-10-24 | Tiled image based scanning for head and/or eye position for eye tracking |
PCT/EP2013/070039 WO2014049036A1 (en) | 2012-09-27 | 2013-09-26 | Tiled image based scanning for head position for eye and gaze tracking |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016500859A true JP2016500859A (ja) | 2016-01-14 |
JP5894711B2 JP5894711B2 (ja) | 2016-03-30 |
Family
ID=47296910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015533575A Expired - Fee Related JP5894711B2 (ja) | 2012-09-27 | 2013-09-26 | 眼および視線追跡のためのタイル画像ベースの頭位置の走査 |
Country Status (5)
Country | Link |
---|---|
US (3) | US9465990B2 (ja) |
EP (1) | EP2712541B1 (ja) |
JP (1) | JP5894711B2 (ja) |
CN (1) | CN104853668B (ja) |
WO (1) | WO2014049036A1 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6000602B2 (ja) * | 2012-03-30 | 2016-09-28 | キヤノン株式会社 | 体検出方法及び物体検出装置 |
GB2513579A (en) * | 2013-04-29 | 2014-11-05 | Tobii Technology Ab | Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system |
US9451162B2 (en) | 2013-08-21 | 2016-09-20 | Jaunt Inc. | Camera array including camera modules |
US11019258B2 (en) | 2013-08-21 | 2021-05-25 | Verizon Patent And Licensing Inc. | Aggregating images and audio data to generate content |
US9911454B2 (en) | 2014-05-29 | 2018-03-06 | Jaunt Inc. | Camera array including camera modules |
US11108971B2 (en) | 2014-07-25 | 2021-08-31 | Verzon Patent and Licensing Ine. | Camera array removing lens distortion |
US9774887B1 (en) | 2016-09-19 | 2017-09-26 | Jaunt Inc. | Behavioral directional encoding of three-dimensional video |
US10440398B2 (en) * | 2014-07-28 | 2019-10-08 | Jaunt, Inc. | Probabilistic model to compress images for three-dimensional video |
US9363569B1 (en) | 2014-07-28 | 2016-06-07 | Jaunt Inc. | Virtual reality system including social graph |
US10701426B1 (en) | 2014-07-28 | 2020-06-30 | Verizon Patent And Licensing Inc. | Virtual reality system including social graph |
DE102014223805A1 (de) * | 2014-11-21 | 2016-05-25 | Siemens Aktiengesellschaft | Verfahren und Kommunikationseinrichtung zum Herstellen einer Kommunikationsverbindung |
US10416764B2 (en) * | 2015-03-13 | 2019-09-17 | Apple Inc. | Method for operating an eye tracking device for multi-user eye tracking and eye tracking device |
IN2015CH02866A (ja) * | 2015-06-09 | 2015-07-17 | Wipro Ltd | |
CN107710050A (zh) | 2015-06-30 | 2018-02-16 | 3M创新有限公司 | 照明器 |
US20170094171A1 (en) * | 2015-09-28 | 2017-03-30 | Google Inc. | Integrated Solutions For Smart Imaging |
DE102015013191A1 (de) * | 2015-10-10 | 2017-04-13 | Daimler Ag | Verfahren zum Betrieb einer Leuchteinheit und Leuchteinheit |
US10444972B2 (en) | 2015-11-28 | 2019-10-15 | International Business Machines Corporation | Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries |
US10594974B2 (en) * | 2016-04-07 | 2020-03-17 | Tobii Ab | Image sensor for vision based on human computer interaction |
US10719193B2 (en) * | 2016-04-20 | 2020-07-21 | Microsoft Technology Licensing, Llc | Augmenting search with three-dimensional representations |
US10217275B2 (en) * | 2016-07-07 | 2019-02-26 | Disney Enterprises, Inc. | Methods and systems of performing eye reconstruction using a parametric model |
US10217265B2 (en) | 2016-07-07 | 2019-02-26 | Disney Enterprises, Inc. | Methods and systems of generating a parametric eye model |
US10681341B2 (en) | 2016-09-19 | 2020-06-09 | Verizon Patent And Licensing Inc. | Using a sphere to reorient a location of a user in a three-dimensional virtual reality video |
US11032536B2 (en) | 2016-09-19 | 2021-06-08 | Verizon Patent And Licensing Inc. | Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video |
US11032535B2 (en) | 2016-09-19 | 2021-06-08 | Verizon Patent And Licensing Inc. | Generating a three-dimensional preview of a three-dimensional video |
US11238340B1 (en) * | 2016-12-21 | 2022-02-01 | Facebook Technologies, Llc | Predictive eyetracking using recurrent neural networks |
JP6973258B2 (ja) * | 2018-04-13 | 2021-11-24 | オムロン株式会社 | 画像解析装置、方法およびプログラム |
JP6922821B2 (ja) * | 2018-04-13 | 2021-08-18 | オムロン株式会社 | 画像解析装置、方法およびプログラム |
EP3572910B1 (en) * | 2018-05-21 | 2021-11-24 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method, system and computer program for remotely controlling a display device via head gestures |
CN111127537A (zh) * | 2018-10-29 | 2020-05-08 | 托比股份公司 | 用于检测头戴式装置中的阴影的方法和装置 |
US10694167B1 (en) | 2018-12-12 | 2020-06-23 | Verizon Patent And Licensing Inc. | Camera array including camera modules |
WO2020164693A1 (en) | 2019-02-12 | 2020-08-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Method, computer program, and devices for image acquisition |
CN110275304A (zh) * | 2019-06-17 | 2019-09-24 | 上海宇极文化传播有限公司 | 一种xr头显及调整xr头显中播放图像的视场的方法 |
KR20210024859A (ko) | 2019-08-26 | 2021-03-08 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
US11632501B2 (en) | 2019-12-20 | 2023-04-18 | Tobil AB | Controlling settings of an image sensor device in an eye tracking system |
US11633668B2 (en) * | 2020-10-24 | 2023-04-25 | Motorola Mobility Llc | Eye contact prompting communication device |
CN117148959B (zh) * | 2023-02-27 | 2024-06-18 | 荣耀终端有限公司 | 眼动追踪的帧率调整方法及相关装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05288983A (ja) * | 1992-04-10 | 1993-11-05 | Canon Inc | エリアセンサ駆動方法 |
JPH06138370A (ja) * | 1992-10-29 | 1994-05-20 | Canon Inc | 視線検出装置 |
JPH07313461A (ja) * | 1994-05-20 | 1995-12-05 | Juergen Lamprecht | 画像情報を投写する装置および投写方法 |
JP2004181233A (ja) * | 2002-11-25 | 2004-07-02 | Eastman Kodak Co | 画像中の重要領域決定方法及びプログラム |
JP2006514352A (ja) * | 2002-11-25 | 2006-04-27 | センソヴェイション・アクチェンゲゼルシャフト | 少なくとも1つのオブジェクトの特性を記録する方法 |
JP2009512009A (ja) * | 2005-10-10 | 2009-03-19 | トビイ テクノロジー アーベー | 広範囲の動作距離を有するアイトラッカー |
AU2008229893A1 (en) * | 2007-10-26 | 2009-05-14 | National Ict Australia Limited | Identification of Dry Eye |
US20100045933A1 (en) * | 2000-10-07 | 2010-02-25 | Physoptics Opto-Electronic Gmbh | Device and method for determining the orientation of an eye |
JP2012503996A (ja) * | 2008-09-30 | 2012-02-16 | カール ツァイス メディテック アクチエンゲゼルシャフト | 眼球運動、特に眼底の運動の測定装置および測定方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
GB0119859D0 (en) * | 2001-08-15 | 2001-10-10 | Qinetiq Ltd | Eye tracking system |
US7460940B2 (en) * | 2002-10-15 | 2008-12-02 | Volvo Technology Corporation | Method and arrangement for interpreting a subjects head and eye activity |
SE524003C2 (sv) | 2002-11-21 | 2004-06-15 | Tobii Technology Ab | Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel |
US7362885B2 (en) * | 2004-04-20 | 2008-04-22 | Delphi Technologies, Inc. | Object tracking and eye state identification method |
SE529763C2 (sv) * | 2005-10-10 | 2007-11-20 | Tobii Technology Ab | Ögonrörelseföljare med ett utökat omfång av arbetsavstånd |
US8360578B2 (en) * | 2006-01-26 | 2013-01-29 | Nokia Corporation | Eye tracker device |
US8781162B2 (en) * | 2011-01-05 | 2014-07-15 | Ailive Inc. | Method and system for head tracking and pose estimation |
DE102007056528B3 (de) * | 2007-11-16 | 2009-04-02 | Seereal Technologies S.A. | Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren |
CN101943982B (zh) * | 2009-07-10 | 2012-12-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
EP2490584B1 (en) * | 2009-10-20 | 2019-02-20 | Dignity Health | Eye movements as a way to determine foci of covert attention |
-
2012
- 2012-10-24 EP EP12189825.8A patent/EP2712541B1/en active Active
-
2013
- 2013-09-26 US US14/428,621 patent/US9465990B2/en active Active
- 2013-09-26 CN CN201380050497.1A patent/CN104853668B/zh active Active
- 2013-09-26 JP JP2015533575A patent/JP5894711B2/ja not_active Expired - Fee Related
- 2013-09-26 WO PCT/EP2013/070039 patent/WO2014049036A1/en active Application Filing
-
2016
- 2016-08-30 US US15/251,206 patent/US9779300B2/en not_active Expired - Fee Related
-
2017
- 2017-09-12 US US15/702,567 patent/US10282610B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05288983A (ja) * | 1992-04-10 | 1993-11-05 | Canon Inc | エリアセンサ駆動方法 |
JPH06138370A (ja) * | 1992-10-29 | 1994-05-20 | Canon Inc | 視線検出装置 |
JPH07313461A (ja) * | 1994-05-20 | 1995-12-05 | Juergen Lamprecht | 画像情報を投写する装置および投写方法 |
US20100045933A1 (en) * | 2000-10-07 | 2010-02-25 | Physoptics Opto-Electronic Gmbh | Device and method for determining the orientation of an eye |
JP2004181233A (ja) * | 2002-11-25 | 2004-07-02 | Eastman Kodak Co | 画像中の重要領域決定方法及びプログラム |
JP2006514352A (ja) * | 2002-11-25 | 2006-04-27 | センソヴェイション・アクチェンゲゼルシャフト | 少なくとも1つのオブジェクトの特性を記録する方法 |
JP2009512009A (ja) * | 2005-10-10 | 2009-03-19 | トビイ テクノロジー アーベー | 広範囲の動作距離を有するアイトラッカー |
AU2008229893A1 (en) * | 2007-10-26 | 2009-05-14 | National Ict Australia Limited | Identification of Dry Eye |
JP2012503996A (ja) * | 2008-09-30 | 2012-02-16 | カール ツァイス メディテック アクチエンゲゼルシャフト | 眼球運動、特に眼底の運動の測定装置および測定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150220768A1 (en) | 2015-08-06 |
US9779300B2 (en) | 2017-10-03 |
US20180005010A1 (en) | 2018-01-04 |
US10282610B2 (en) | 2019-05-07 |
JP5894711B2 (ja) | 2016-03-30 |
US9465990B2 (en) | 2016-10-11 |
US20170076135A1 (en) | 2017-03-16 |
EP2712541B1 (en) | 2015-12-30 |
EP2712541A1 (en) | 2014-04-02 |
CN104853668A (zh) | 2015-08-19 |
WO2014049036A1 (en) | 2014-04-03 |
CN104853668B (zh) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5894711B2 (ja) | 眼および視線追跡のためのタイル画像ベースの頭位置の走査 | |
JP6577454B2 (ja) | 軸上視線追跡システム及び方法 | |
JP5949319B2 (ja) | 視線検出装置及び視線検出方法 | |
US10528131B2 (en) | Method to reliably detect correlations between gaze and stimuli | |
JP5709228B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
EP1933694B1 (en) | Eye tracker having an extended span of operating distances | |
US20050084179A1 (en) | Method and apparatus for performing iris recognition from an image | |
US10572008B2 (en) | Apparatus and method for robust eye/gaze tracking | |
US10755422B2 (en) | Tracking system and method thereof | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
JP6870474B2 (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
JP2008194334A (ja) | 内視鏡画像表示方法および装置ならびにプログラム | |
EP3599989A1 (en) | High speed pupil detection system and method | |
US11681371B2 (en) | Eye tracking system | |
JP2017199148A (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム | |
WO2019221724A1 (en) | Method to reliably detect correlations between gaze and stimuli | |
JP3980341B2 (ja) | 目の位置のトラッキング方法、目の位置のトラッキング装置およびそのためのプログラム | |
US20230215015A1 (en) | Tracking device, tracking method, and recording medium | |
JP6575353B2 (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム | |
TW202411949A (zh) | 臉部屬性的串級偵測 | |
Zhang et al. | A low complexity method for real-time gaze tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20151014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5894711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |