JP2011508289A - 両眼の検出および追跡する方法、及び装置 - Google Patents
両眼の検出および追跡する方法、及び装置 Download PDFInfo
- Publication number
- JP2011508289A JP2011508289A JP2010533561A JP2010533561A JP2011508289A JP 2011508289 A JP2011508289 A JP 2011508289A JP 2010533561 A JP2010533561 A JP 2010533561A JP 2010533561 A JP2010533561 A JP 2010533561A JP 2011508289 A JP2011508289 A JP 2011508289A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- face
- eyes
- search area
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000001514 detection method Methods 0.000 title description 34
- 210000000887 face Anatomy 0.000 claims abstract description 23
- 210000001747 pupil Anatomy 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012706 support-vector machine Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004141 dimensional analysis Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 30
- 230000000694 effects Effects 0.000 description 18
- 238000005286 illumination Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 13
- 238000007726 management method Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/745—Details of notification to user or communication with user or patient ; user input means using visual displays using a holographic display
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Geometry (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
閾値=最小輝度値+初期値+(最大距離−距離)/100
式中、最小輝度値は分割される領域内の画素の最低輝度であり、初期値は上述の最適化測定中に判定された値に基づいて定義される値であり、最大距離は画像データを提供する画像センサから観察者までのmm単位の最大可能距離であり、距離は画像データを提供する画像センサから顔又は眼までのmm単位の実際の距離である。
閾値=最小輝度+初期値+反復値+(最大距離−距離)/100
式中、反復値は、ステップ幅を1とする0〜Xの範囲であって、既に実行された反復ステップの数を表す値である。反復ステップの最大数Xは、上述の測定において検出された値の最適化により判定可能である。本明細書中で説明する実施形態において、反復の最大数は4である。
−画像データの取得;
−追跡器インスタンス820の呼び出し;
−有効な眼の位置として検出される全ての眼の位置に対して、追跡器インスタンス820により眼の3D座標を計算;
−3D座標を許容範囲内に制限することによるフィルタリング。更なる実施形態によると、フィルタリングステップは、ノイズフィルタリングと、システムの遅延を補償するための顔の3Dの運動速度に基づく3D位置の事前計算又は予測とを含む。3D位置は、典型的なシステム遅延である、60ms毎の予測であるのが有利である。ここで、システム遅延は、画像データの受信から両眼の3D座標の出力までに経過する時間であると理解される。
−被写体毎に1つの顔検出器インスタンス850及び1つの眼検出器インスタンス860を管理;
−1つの被写体が検出及び追跡の許容範囲内に留まっている間、その被写体に対するこれら2つのインスタンス850、860を参照;
−コンテキスト840の制御割り当て及び管理。利用可能なコンテキスト840より少ない被写体が検出及び追跡範囲内に位置する場合、コンテキスト840はフリーのままであり、全てのコンテキスト840が占有されると、更なる被写体は検出されず且つ追跡されない。
追跡器インスタンス820の主要な処理ステップは以下を含む:
−顔検出器インスタンス850及び眼検出器インスタンス860の2つの検出器オブジェクトを初期化;
−コンテキストインスタンス840−1、...、840−nを管理;
−顔検出器インスタンス850から顔の座標を受信し且つ顔管理インスタンス830へ送信;
−フリーのコンテキスト840に新たに検出された顔を割り当て;
−各占有されたコンテキスト840の顔検出器インスタンス850及び眼検出器インスタンス860に対するアルゴリズムを呼び出し;
−全ての両眼の3D座標を計算。
−新しい顔の座標が未決定であるか否かを入力インタフェース880で確認し、それらデータを読出して現在の顔の位置のリストに追加;
−少なくとも1つのコンテキスト840が利用可能である場合、顔管理インスタンス830を呼び出し;
−顔がコンテキスト840において既に追跡されているか否かを顔管理インスタンス830の顔候補で確認し、重複していると判明した顔候補を削除;
−フリーのコンテキスト840の顔検出器インスタンス850に新しい顔として認識される残りの顔を割り当て;
−全てのコンテキスト840−1、...、840−nに対して、以下のステップを反復:
○顔検出器インスタンス850を呼び出す;
○顔検出器インスタンス850が顔を追跡している場合は眼検出器インスタンス860を呼び出し、それ以外の場合は現在のコンテキスト840がフリーである旨の印を付ける;
○眼検出器インスタンス860が探索モードであり、且つ眼候補が判定された場合に、
・顔検出器インスタンス850により最適な眼候補を選択;
・眼検出器インスタンス860を追跡モードに切り替え;
○全てのコンテキスト840が処理されるまで、次の占有コンテキスト840を処理。
−顔検出器インスタンス850の検出された顔を管理;
−顔検出器インスタンス850により検出された顔に基づいて有効な顔として認識される顔候補のリストを編集;
−立体画像における視差に基づいて画像データを提供する画像センサから顔までの距離を計算。
−現在の顔の位置のリストが変更された場合に:
○そのリストを解析;
○立体解析により画像データを提供する画像センサから有効な顔までの距離を計算し、検出及び追跡範囲内に位置する顔を顔候補のリストに追加。
−検出された顔の位置を管理;
−眼検出器インスタンス860に対する探索域を計算;
−立体画像における視差に基づいて画像データを提供する画像センサから顔までの距離を計算;
−対応する眼検出器インスタンス860の可能な両眼の候補のリストから最適な両眼を決定。
−画像データ;
−検出された顔に関する情報;
−顔追跡インスタンス850に対する探索域;
−両眼の候補のリスト。
−検出された顔及びそれらの座標のリスト;
−眼検出器インスタンス860に対する探索域;
−選択された両眼。
−現在の顔の位置のリストが変更された場合に:
○顔の位置を更新;
○既に検出されている顔がそれ以上検出されないための後続画像の数に対する尺度である検出/喪失参照カウンタを再設定;
−リストが変更されていない場合に:
○眼検出器が眼を追跡する場合:
・眼の位置に基づいて顔の位置を計算;
・顔の距離/眼の距離を計算;
○眼検出器が眼を追跡しない場合:
・顔は見失われ、検出/喪失参照カウンタは増分される。しかし、顔は依然として検出された顔としてカウントされる;
・検出/喪失参照カウンタがある特定の既定値を上回らない限り、前の顔の位置が格納されたままである。カウンタが既定値を上回ると、顔は存在しないとみなされる。
−検出された両眼の位置を管理;
−眼の初期探索;
−追跡に対する探索域を計算;
−眼の位置を追跡;
−検出された眼候補の信頼度を判定し、且つ潜在候補を編集。
−画像データ;
−眼の探索及び追跡に対する探索域;
−検出された眼に関する情報;
出力情報は以下を含む:
−両眼及びその座標。
−眼検出器インスタンス860が探索モードである場合に:
○顔検出器インスタンス850により眼探索域を判定;
○眼探索域内で眼を検出するアルゴリズムを適用;
−眼検出器インスタンス860が追跡モードである場合に:
○以前の眼の位置及び画像データを提供する画像センサから観察者までの距離を使用して判定された眼の速度に基づいて、探索域の新しい位置及びそのサイズを計算し、予測もしくは推定;
○探索域内で眼を追跡するアルゴリズムを適用;
−候補が見つかった場合に:
○両眼の潜在候補を判定する目的で、種々のテストを実行。テスト及び条件は以下を含む:
・互いに関連する眼の位置及び顔の位置に対する眼の位置;
・眼の間隔及び傾斜;
・検出された位置及び周辺位置の領域における輝度パターンの分類に基づく信頼度。この場合、信頼度がより高い周辺位置は、位置の精度を向上するために後で使用される。
−眼検出器インスタンス860が追跡モードである場合に:
○候補が判定された場合:
・予測された眼の位置に最も近い眼の候補対を選択;
・新しい結果として、現在の眼の位置を更新;
○候補が全く検出されなかったか又は適切な候補が検出されなかった場合:
・眼検出器インスタンス860を探索モードに切り替えて、探索を繰り返す。
Claims (21)
- 少なくとも1つの顔の中の両眼の3D座標を検出し、その後追跡する方法であって:
a)少なくとも1つの画像センサから少なくとも1つのデジタルビデオ信号のシーケンスを含む画像データを受信するステップと;
b)前記画像データにおいて、眼を検出、又は既に検出されている眼を追跡するステップと;
c)前記検出された眼又は前記追跡される眼の3D座標を判定するステップと;
d)両眼を形成するために、前記検出された眼又は前記追跡される眼を割り当てるステップと;
e)前記両眼の前記3D座標を出力するステップとを有し、
前記画像データにおいて眼を検出する処理は:
f)前記画像データにおいて1つ又は複数の顔を識別するステップと;
g)少なくとも1つの識別された顔の3D座標を判定するステップと;
h)前記識別された顔上に第1の探索域を定義するステップと;
i)前記第1の探索域内で少なくとも一方の眼を検出するステップとを含み、
前記画像データにおいて既に検出されている眼を追跡する処理が:
j)前記識別された顔上に第2の探索域を定義するステップと;
k)前記第2の探索域内で前記両眼の眼を追跡するステップとを含み、
前記第1の探索域内で少なくとも一方の眼を検出する処理は:
l)前記画像データを提供する画像センサから前記識別された顔までの距離に依存して、前記眼の一部の予想サイズを計算するステップと;
m)前記画像データを提供する画像センサから前記識別された顔までの前記距離に依存して、前記第1の探索域における分割に対する閾値として階調値を計算するステップと;
n)コントラストを向上するために、前記第1の探索域を前処理するステップと;
o)前記前処理後に前記第1の探索域を分割するステップと;
p)前記分割された第1の探索域において、少なくともほぼ同一の階調値を有する隣接画素の集合である1つ又は複数の結合領域を計算するステップと;
q)計算された各結合領域のサイズを判定するステップと;
r)前記眼の前記一部の前記予想サイズと前記結合領域の判定サイズとを比較し、前記結合領域の前記判定サイズが前記眼の前記一部の前記予想サイズと少なくともほぼ一致する場合に前記結合領域は検出された眼を表すものとするステップと
を含むことを特徴とする方法。 - 前記第2の探索域内で前記両眼の眼を追跡する処理は:
s)前記画像データを提供する画像センサから前記識別された顔までの距離に依存して、前記眼の一部の予想サイズを計算するステップと;
t)第2の探索域における最小階調値を判定するステップと;
u)前記第2の探索域における閾値である階調値にわたり反復し、少なくとも両眼が検出されると終了される反復ステップとを含み、反復ステップは、
v)前記画像データを提供する画像センサ、現在の反復ステップ及び前記最小階調値から前記識別された顔までの距離に依存して、前記第2の探索域における分割に対する閾値として前記階調値を計算するステップと;
w)前記第2の探索域を分割するステップと;
x)前記分割された第2の探索域において、少なくともほぼ同一の階調値を有する隣接画素の集合である1つ又は複数の結合領域を計算するステップと;
y)計算された各結合領域のサイズを判定するステップと;
z)前記眼の前記一部の前記予想サイズと前記結合領域の前記判定サイズとを比較し、前記結合領域の前記判定サイズが前記眼の前記一部の前記予想サイズと少なくともほぼ一致する場合に前記結合領域は追跡された眼を表すものとするステップと
を含むことを特徴とする請求項1に記載の方法。 - 前記分割は各画素の2値化であり、前記画素は、前記閾値より小さい場合に値1を与えられ且つ前記閾値より大きい場合に値0を与えられるか、あるいは前記画素は、前記閾値より小さい場合に値0を与えられ且つ前記閾値より大きい場合に値1を与えられることを特徴とする請求項1又は2に記載の方法。
- ステップn)における前記前処理は、階調値ヒストグラムの平坦化であることを特徴とする請求項1乃至3のいずれか1項に記載の方法。
- 前記結合領域は8画素の結合領域であることを特徴とする請求項1乃至4のいずれか1項に記載の方法。
- 前記眼の前記一部は、瞳孔又は瞳孔及び虹彩を含むことを特徴とする請求項1乃至5のいずれか1項に記載の方法。
- 両眼を形成するための前記検出された眼又は前記追跡される眼の前記割り当ては分類を含むことを特徴とする請求項1乃至6のいずれか1項に記載の方法。
- 前記分類はサポートベクトルマシンにより実行されることを特徴とする請求項7に記載の方法。
- 前記サポートベクトルマシンは、眼及び/又は眼以外の1つ又は複数の画像を学習させられることを特徴とする請求項8に記載の方法。
- 前記画像データにおける1つ又は複数の顔の前記識別は、識別された顔の3D座標と先行ステップにおいて識別された顔の3D座標との比較を含むことを特徴とする請求項1乃至9のいずれか1項に記載の方法。
- 顔の3D座標の前記判定は、前記画像データの立体解析を含むことを特徴とする請求項1乃至10のいずれか1項に記載の方法。
- 前記画像データを提供する画像センサから前記識別された顔までの前記距離は、前記顔の前記3D座標に基づく前記顔の前記距離の計算を含むことを特徴とする請求項1乃至11のいずれか1項に記載の方法。
- 前記顔は、前記画像データの記録中に赤外光を用いて能動的に照らされることを特徴とする請求項1乃至12のいずれか1項に記載の方法。
- 前記方法は、前記画像センサから約0.5m〜3.5mの距離に存在する両眼を検出し、且つ追跡することを特徴とする請求項1乃至13のいずれか1項に記載の方法。
- 前記第1の探索域のサイズは、前記第2の探索域のサイズより大きいことを特徴とする請求項1乃至14のいずれか1項に記載の方法。
- 前記第1の探索域は、約50mm×50mmのサイズを有することを特徴とする請求項1乃至15のいずれか1項に記載の方法。
- 前記第2の探索域は、約20mm×15mmのサイズを有することを特徴とする請求項1乃至16のいずれか1項に記載の方法。
- 前記方法は、リアルタイムで実行されることを特徴とする請求項1乃至17のいずれか1項に記載の方法。
- コンピュータ上で実行する場合に、請求項1乃至18のいずれか1項に記載の方法を実行するように前記コンピュータを制御するコンピュータプログラム。
- 請求項19に記載のコンピュータプログラムが格納されたデータ記憶媒体。
- 少なくとも1つの顔の中の両眼の3D座標を検出し、その後追跡する装置であって、請求項1乃至18のいずれか1項に記載の方法を実行できるように設計される装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102007056528.5 | 2007-11-16 | ||
DE102007056528A DE102007056528B3 (de) | 2007-11-16 | 2007-11-16 | Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren |
PCT/EP2008/065352 WO2009062945A1 (de) | 2007-11-16 | 2008-11-12 | Verfahren und vorrichtung zum auffinden und verfolgen von augenpaaren |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011508289A true JP2011508289A (ja) | 2011-03-10 |
JP5470262B2 JP5470262B2 (ja) | 2014-04-16 |
Family
ID=40344911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010533561A Active JP5470262B2 (ja) | 2007-11-16 | 2008-11-12 | 両眼の検出および追跡する方法、及び装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8477996B2 (ja) |
JP (1) | JP5470262B2 (ja) |
KR (1) | KR101550474B1 (ja) |
CN (1) | CN101861118B (ja) |
DE (1) | DE102007056528B3 (ja) |
TW (1) | TW200938162A (ja) |
WO (1) | WO2009062945A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014522495A (ja) * | 2011-06-09 | 2014-09-04 | ジェ.エム.エール.フィ | 誘導用線路に沿って移動する車両の速度及び位置を測定する装置、並びに対応する方法及びコンピュータプログラム製品 |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110255761A1 (en) * | 2007-06-26 | 2011-10-20 | University Of Rochester | Method and system for detecting lung tumors and nodules |
US8596786B2 (en) * | 2008-09-30 | 2013-12-03 | Carl Zeiss Meditec Ag | Arrangements and method for measuring an eye movement, particularly a movement of the fundus of the eye |
CN102006402B (zh) * | 2009-08-28 | 2014-02-19 | 鸿富锦精密工业(深圳)有限公司 | 摄像装置及其身份识别方法 |
KR101082691B1 (ko) | 2009-12-22 | 2011-11-15 | 한양대학교 산학협력단 | 3차원 디스플레이장치에서 홍채 시선 검출을 통한 안구 운동 장치 및 방법 |
US9311551B2 (en) | 2011-03-09 | 2016-04-12 | Bae Systems Information And Electronic Systems Integration Inc. | System and method for situational awareness and target cueing |
US9746918B2 (en) * | 2012-01-26 | 2017-08-29 | Umoove Services Ltd. | Eye tracking |
DE102012004817A1 (de) * | 2012-03-08 | 2013-09-12 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | Scheinwerfersystem für ein Kraftfahrzeug |
JP2013215549A (ja) | 2012-03-16 | 2013-10-24 | Fujitsu Ltd | 画像処理装置、画像処理プログラムおよび画像処理方法 |
US9952663B2 (en) | 2012-05-10 | 2018-04-24 | Umoove Services Ltd. | Method for gesture-based operation control |
KR20130134103A (ko) * | 2012-05-30 | 2013-12-10 | 삼성전자주식회사 | 단말기의 이미지 제공 장치 및 방법 |
CN103565399B (zh) * | 2012-07-27 | 2015-09-30 | 原相科技股份有限公司 | 瞳孔检测装置 |
EP2712541B1 (en) * | 2012-09-27 | 2015-12-30 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Tiled image based scanning for head and/or eye position for eye tracking |
US9911036B2 (en) * | 2012-11-14 | 2018-03-06 | Tascent, Inc. | Focusing method for optically capturing an iris image |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9041642B2 (en) * | 2012-12-17 | 2015-05-26 | Disney Enterprises, Inc. | Large audience 3D display system without glasses |
CN103902958A (zh) * | 2012-12-28 | 2014-07-02 | 重庆凯泽科技有限公司 | 人脸识别的方法 |
KR102175853B1 (ko) * | 2013-02-22 | 2020-11-06 | 삼성전자주식회사 | 동작 제어 방법 및 그 전자 장치 |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US9772679B1 (en) * | 2013-08-14 | 2017-09-26 | Amazon Technologies, Inc. | Object tracking for device input |
CN103996215A (zh) * | 2013-11-05 | 2014-08-20 | 深圳市云立方信息科技有限公司 | 一种实现虚拟视图转立体视图的方法及装置 |
KR101524516B1 (ko) * | 2013-11-29 | 2015-06-02 | 전남대학교산학협력단 | 빈도수 기반의 영상 내 얼굴객체 추적방법 |
WO2015086617A1 (en) * | 2013-12-09 | 2015-06-18 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness |
MY180872A (en) * | 2014-02-25 | 2020-12-10 | Eyeverify Inc | Eye gaze tracking |
US9729865B1 (en) | 2014-06-18 | 2017-08-08 | Amazon Technologies, Inc. | Object detection and tracking |
US10027883B1 (en) * | 2014-06-18 | 2018-07-17 | Amazon Technologies, Inc. | Primary user selection for head tracking |
KR101610525B1 (ko) | 2014-10-20 | 2016-04-07 | 현대자동차주식회사 | 조도를 고려한 동공 검출 장치 및 그 방법 |
KR101619651B1 (ko) * | 2014-11-26 | 2016-05-10 | 현대자동차주식회사 | 운전자 감시장치 및 그의 조명제어방법 |
US9953247B2 (en) | 2015-01-29 | 2018-04-24 | Samsung Electronics Co., Ltd. | Method and apparatus for determining eye position information |
CN104636736A (zh) * | 2015-03-03 | 2015-05-20 | 上海博超联石智能科技有限公司 | 一种基于libjpeg库的高清人脸检测方法 |
US11061233B2 (en) | 2015-06-30 | 2021-07-13 | 3M Innovative Properties Company | Polarizing beam splitter and illuminator including same |
US20180227630A1 (en) | 2015-08-07 | 2018-08-09 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | System and method for displaying a stream of images |
KR102463169B1 (ko) * | 2015-09-07 | 2022-11-04 | 삼성전자주식회사 | 시점 추적 방법 및 장치 |
US9928602B2 (en) * | 2015-12-11 | 2018-03-27 | Novartis Ag | Fast and automated segmentation of layered image with heuristic graph search |
EP3214602B1 (de) * | 2016-03-03 | 2019-05-08 | Sick Ag | Verfahren zur dreidimensionalen erfassung von objekten |
US9704216B1 (en) * | 2016-08-04 | 2017-07-11 | Le Technology | Dynamic size adjustment of rendered information on a display screen |
US10395099B2 (en) * | 2016-09-19 | 2019-08-27 | L'oreal | Systems, devices, and methods for three-dimensional analysis of eyebags |
KR102349543B1 (ko) * | 2016-11-22 | 2022-01-11 | 삼성전자주식회사 | 사용자의 눈을 추적하는 방법 및 장치와 역변환된 저조도 영상을 생성하는 방법 |
EP3859495B1 (en) * | 2016-12-06 | 2023-05-10 | Vuelosophy Inc. | Systems and methods for tracking motion and gesture of heads and eyes |
CN108289151A (zh) * | 2018-01-29 | 2018-07-17 | 维沃移动通信有限公司 | 一种应用程序的操作方法及移动终端 |
CN108446642A (zh) * | 2018-03-23 | 2018-08-24 | 四川意高汇智科技有限公司 | 一种快速人脸识别系统 |
US11010646B2 (en) * | 2018-04-10 | 2021-05-18 | Facebook Technologies, Llc | Object tracking assisted with hand or eye tracking |
US10951875B2 (en) | 2018-07-03 | 2021-03-16 | Raxium, Inc. | Display processing circuitry |
KR20200067465A (ko) | 2018-12-04 | 2020-06-12 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
CN109910567B (zh) * | 2019-02-01 | 2022-09-30 | 信利光电股份有限公司 | 一种用于汽车的智能遮阳装置及其控制方法 |
EP3963566A4 (en) * | 2019-09-24 | 2022-12-21 | Citrix Systems Inc. | SYSTEMS AND METHODS FOR SCREEN BRIGHTNESS CONTROL AND CAR LOCK BASED ON EYE RECOGNITION |
US11474597B2 (en) | 2019-11-01 | 2022-10-18 | Google Llc | Light field displays incorporating eye trackers and methods for generating views for a light field display using eye tracking information |
CN111192241B (zh) * | 2019-12-23 | 2024-02-13 | 深圳市优必选科技股份有限公司 | 一种人脸图像的质量评估方法、装置及计算机存储介质 |
US11475714B2 (en) * | 2020-02-19 | 2022-10-18 | Motorola Solutions, Inc. | Systems and methods for detecting liveness in captured image data |
EP4131158A4 (en) * | 2020-04-02 | 2024-04-24 | Kyocera Corporation | DETECTION DEVICE AND IMAGE DISPLAY MODULE |
KR102254045B1 (ko) | 2020-11-26 | 2021-05-20 | 배이산업 주식회사 | 선박의 프로펠러용 안전 가드 |
WO2023078986A1 (en) * | 2021-11-04 | 2023-05-11 | Trinamix Gmbh | Eye safety for projectors |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11266450A (ja) * | 1998-03-17 | 1999-09-28 | Toshiba Corp | 物体領域追跡装置および物体領域追跡方法 |
WO2007019842A2 (de) * | 2005-08-17 | 2007-02-22 | Seereal Technologies Gmbh | Verfahren und schaltungsanordnung zum erkennen und verfolgen von augen mehrerer betrachter in echtzeit |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5016282A (en) * | 1988-07-14 | 1991-05-14 | Atr Communication Systems Research Laboratories | Eye tracking image pickup apparatus for separating noise from feature portions |
DE19731303B4 (de) * | 1997-07-13 | 2009-02-26 | Smi Senso Motoric Instruments Gmbh | Verfahren und Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei Kopf- und Augenbewegungen |
US6539100B1 (en) * | 1999-01-27 | 2003-03-25 | International Business Machines Corporation | Method and apparatus for associating pupils with subjects |
US7039909B2 (en) * | 2001-09-29 | 2006-05-02 | Intel Corporation | Method and apparatus for performing compiler transformation of software code using fastforward regions and value specialization |
US6997556B2 (en) | 2001-10-01 | 2006-02-14 | Ernst Pfleger | Method for detecting, evaluating, and analyzing look sequences |
US6873714B2 (en) * | 2002-02-19 | 2005-03-29 | Delphi Technologies, Inc. | Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution |
US7206435B2 (en) * | 2002-03-26 | 2007-04-17 | Honda Giken Kogyo Kabushiki Kaisha | Real-time eye detection and tracking under various light conditions |
US8369607B2 (en) * | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
KR100682889B1 (ko) * | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
KR100552709B1 (ko) * | 2004-05-21 | 2006-02-20 | 삼성전자주식회사 | 눈검출 장치 및 방법 |
US20070147671A1 (en) * | 2005-12-22 | 2007-06-28 | Eastman Kodak Company | Analyzing radiological image using 3D stereo pairs |
DE102006002001B4 (de) * | 2006-01-16 | 2009-07-23 | Sensomotoric Instruments Gmbh | Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung |
-
2007
- 2007-11-16 DE DE102007056528A patent/DE102007056528B3/de active Active
-
2008
- 2008-11-12 KR KR1020107012593A patent/KR101550474B1/ko active IP Right Grant
- 2008-11-12 WO PCT/EP2008/065352 patent/WO2009062945A1/de active Application Filing
- 2008-11-12 JP JP2010533561A patent/JP5470262B2/ja active Active
- 2008-11-12 CN CN2008801163371A patent/CN101861118B/zh active Active
- 2008-11-12 US US12/743,077 patent/US8477996B2/en active Active
- 2008-11-13 TW TW097143979A patent/TW200938162A/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11266450A (ja) * | 1998-03-17 | 1999-09-28 | Toshiba Corp | 物体領域追跡装置および物体領域追跡方法 |
WO2007019842A2 (de) * | 2005-08-17 | 2007-02-22 | Seereal Technologies Gmbh | Verfahren und schaltungsanordnung zum erkennen und verfolgen von augen mehrerer betrachter in echtzeit |
Non-Patent Citations (4)
Title |
---|
CSNG200100818003; 川戸 慎二郎、鉄谷 信二: '"目のリアルタイム検出と追跡"' 電子情報通信学会技術研究報告 Vol.100, No.311, 20000914, p.15-22, 社団法人電子情報通信学会 * |
CSNG200401451003; 包 躍、小田 裕弘: '"三次元視点トラッキングシステム"' 画像電子学会誌 Vol.31, No.6, 20021125, p.1192-1198, 画像電子学会 * |
JPN6013020102; 川戸 慎二郎、鉄谷 信二: '"目のリアルタイム検出と追跡"' 電子情報通信学会技術研究報告 Vol.100, No.311, 20000914, p.15-22, 社団法人電子情報通信学会 * |
JPN6013020103; 包 躍、小田 裕弘: '"三次元視点トラッキングシステム"' 画像電子学会誌 Vol.31, No.6, 20021125, p.1192-1198, 画像電子学会 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014522495A (ja) * | 2011-06-09 | 2014-09-04 | ジェ.エム.エール.フィ | 誘導用線路に沿って移動する車両の速度及び位置を測定する装置、並びに対応する方法及びコンピュータプログラム製品 |
Also Published As
Publication number | Publication date |
---|---|
TW200938162A (en) | 2009-09-16 |
CN101861118B (zh) | 2012-05-16 |
JP5470262B2 (ja) | 2014-04-16 |
KR20100105591A (ko) | 2010-09-29 |
KR101550474B1 (ko) | 2015-09-04 |
WO2009062945A1 (de) | 2009-05-22 |
CN101861118A (zh) | 2010-10-13 |
US8477996B2 (en) | 2013-07-02 |
DE102007056528B3 (de) | 2009-04-02 |
US20100303294A1 (en) | 2010-12-02 |
TWI366454B (ja) | 2012-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5470262B2 (ja) | 両眼の検出および追跡する方法、及び装置 | |
CN105933589B (zh) | 一种图像处理方法及终端 | |
CN109583285B (zh) | 对象识别方法 | |
US9892316B2 (en) | Method and apparatus for pattern tracking | |
CN107408205B (zh) | 用红外成像区分前景和背景 | |
US10293252B2 (en) | Image processing device, system and method based on position detection | |
CN106462236B (zh) | 在眼睛追踪中处理眩光 | |
JP2020107349A (ja) | 物体追跡システム、物体追跡方法、プログラム | |
CN105431078B (zh) | 用于同轴眼睛凝视跟踪的系统和方法 | |
Camplani et al. | Depth-color fusion strategy for 3-D scene modeling with Kinect | |
EP3418944A2 (en) | Information processing apparatus, information processing method, and program | |
CN102834837B (zh) | 使用多个虹膜模板的虹膜识别装置及方法 | |
KR101303877B1 (ko) | 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치 | |
US20070269080A1 (en) | Object Pose Estimation and Comparison System, Object Pose Estimation and Comparison Method, and Program Therefor | |
KR102502310B1 (ko) | 적외선 이미징을 사용한 색상 식별 | |
CN105659200A (zh) | 用于显示图形用户界面的方法、设备和系统 | |
US11163994B2 (en) | Method and device for determining iris recognition image, terminal apparatus, and storage medium | |
JP3732757B2 (ja) | 画像認識方法および画像認識装置 | |
CN112257617B (zh) | 多模态目标识别方法和系统 | |
CN102708586A (zh) | 从3d范围图像进行基于绘制的界标定位 | |
CN110532877A (zh) | 一种单摄像头人脸识别方案防欺骗方法、系统、设备及存储装置 | |
JP2022019339A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JPWO2016136214A1 (ja) | 識別器学習装置、滞留物体検出システム、識別器学習方法、滞留物体検出方法およびプログラム | |
RU2803287C1 (ru) | Способ получения набора объектов трехмерной сцены | |
Bazanov et al. | Gaze estimation for near-eye display based on fusion of starburst algorithm and fern natural features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5470262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |