JP2021093125A - 目復元に基づく目追跡方法及び装置 - Google Patents
目復元に基づく目追跡方法及び装置 Download PDFInfo
- Publication number
- JP2021093125A JP2021093125A JP2020142548A JP2020142548A JP2021093125A JP 2021093125 A JP2021093125 A JP 2021093125A JP 2020142548 A JP2020142548 A JP 2020142548A JP 2020142548 A JP2020142548 A JP 2020142548A JP 2021093125 A JP2021093125 A JP 2021093125A
- Authority
- JP
- Japan
- Prior art keywords
- video
- eye tracking
- eye
- image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 239000013598 vector Substances 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 12
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 239000011521 glass Substances 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
【課題】本発明は、目復元に基づく目追跡方法及び装置を提供する。【解決手段】一実施形態によれば、目追跡方法は、入力映像に関する目復元を行って復元映像を生成し、入力映像と復元映像との間の差を決定し、その決定された差に基づいて入力映像、復元映像、及び代替映像のいずれか1つを選定して目追跡を行うステップを含む。【選択図】図1
Description
以下の実施形態は、目復元に基づく目追跡方法及び装置に関する。
ヘッドアップディスプレイ(head up display;HUD)装置は、運転者の前方に虚像(virtual image)を表示し、運行に役立つ様々な運行情報を運転者に提供する。最近、3次元HUD装置が開発されているが、例えば、3次元HUD装置は、拡張現実(augmented reality;AR)方式を使用することができる。この場合、運行情報は、実際の事物に重なるように表現され、運転者は運行情報をより直観的に認知することができる。現在、様々な3次元表示方式が存在するが、そのうち、相対的に高い解像度と自由度を有する視点追跡型3次元表示方式が3次元HUD装置に適用されることができる。
以下の実施形態の目的は、目復元に基づく目追跡方法及び装置を提供することにある。
一実施形態によれば、目追跡方法は、入力映像に関する目復元を行って復元映像を生成するステップと、前記入力映像と前記復元映像との間の差を決定するステップと、前記決定された差に基づいて前記入力映像、前記復元映像、及び代替映像のいずれか1つを対象映像として決定するステップと、前記対象映像に基づいて目追跡を行うステップとを含む。
前記目復元は、前記入力映像でノイズ成分を低減させることを含むことができる。前記復元映像を生成するステップは、前記入力映像に対応する主成分ベクトルのうち、高い順位を有する一部を用いて前記復元映像を生成することを含み、前記主成分ベクトルは、それぞれ様々な顔映像に関する主成分分析に基づいて所定の固有の顔に対応し得る。
前記対象映像を選定するステップは、前記決定された差が第1閾値よりも小さい場合、前記入力映像を前記対象映像として選定し、前記決定された差が第1閾値よりも大きく、第2閾値よりも小さい場合、前記復元映像を前記対象映像として選定するし、前記決定された差が前記第2閾値よりも大きい場合、前記代替映像を前記対象映像として選定することを含み、前記第2閾値は、前記第1閾値よりも大きいとすることができる。
前記代替映像は、前記入力映像及び前記復元映像とは別個のものであることができる。前記目追跡方法は、データベースに格納されたサンプル映像のうち、前記入力映像と類似度の最も高いサンプル映像を前記代替映像として選択するステップをさらに含むことができる。前記類似度は、前記入力映像の特徴点と前記サンプル映像の各サンプル映像の特徴点との間の比較に基づいて決定されることができる。前記入力映像の前記特徴点及び前記各サンプル映像の前記特徴点は、それぞれ目を除いた領域から抽出されたものであってもよい。前記サンプル映像は、過去に目追跡に成功した映像に該当することができる。前記目追跡方法は、前記入力映像又は前記復元映像に基づいて前記目追跡に成功した場合、前記入力映像をデータベースにサンプル映像として格納するステップをさらに含むことができる。
前記復元映像を生成するステップは、前記入力映像に関する目検出が成功した場合に行われることができる。前記代替映像が前記対象映像として選定された場合、前記目追跡を行うステップは、前記代替映像にマッピングされた目位置情報を用いて前記目追跡を行うことを含むことができる。
一実施形態によると、目追跡装置は、プロセッサと、前記プロセッサで実行可能な命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されるときに、前記プロセッサは、入力映像に関する目復元を行って復元映像を生成し、前記入力映像と前記復元映像との間の差を決定し、前記決定された差に基づいて前記入力映像、前記復元映像、及び代替映像のいずれか1つを対象映像として決定し、前記対象映像に基づいて目追跡を行う。
本発明によると、目復元に基づく目追跡方法及び装置を提供することができる。
本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
第1又は第2などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第1構成要素は第2構成要素と命名することができ、同様に第2構成要素は第1構成要素にも命名することができる。
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義されない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、実施形態を添付する図面を参照しながら詳細に説明する。添付の図面を参照して説明することにおいて、図面符号に関係なく、同じ構成要素は同じ参照符号を付し、これに対する重複する説明は省略することにする。
図1は、一実施形態に係る入力映像、復元映像、及び代替映像を用いた目追跡装置の動作を示す図である。図1を参照すると、目追跡装置100は、入力映像110に関する目追跡を行い、その結果として目位置情報を出力する。入力映像110は、ユーザ(例:視聴者、運転者)の顔を含み得る。目位置情報は、裸眼3次元ディスプレイ、運転者状態の監視などのような様々なアプリケーションに用いられる。裸眼3次元ディスプレイは、3次元HUD(head up display)、3DTV、3次元モバイルデバイスなどの様々なタイプのディスプレイを含んでもよい。
裸眼3次元ディスプレイは、ユーザの両目に互いに異なる映像を見せる方式であるが、これを実現するために、ユーザの両目位置の情報が求められる。例えば、3次元映像を提供するために、左目のための左側映像及び右目のための右側映像が提供される。この場合、3次元ディスプレイ装置は、目位置情報を介してユーザの両目の位置を把握し、左目の位置に左側映像を提供し、右目の位置に右側映像を提供することができる。このような方式により、ユーザは3次元映像を視聴することが可能になる。
適切な光が存在してユーザの目が全てあらわれた状態でユーザを撮影し、入力映像110が生成された場合、ユーザの目は比較的容易に追跡されることができる。一方、光が十分に存在していないか、サングラスなどでユーザの目が隠されており、ユーザの目の周辺に光反射成分が存在する状態で、ユーザを撮影して入力映像110が生成された場合、ユーザの目を追跡することが困難になる。目追跡装置100は、状況に合うように入力映像110、復元映像121、及び代替映像131を任意に用いて、このような劣悪な環境でも目追跡を成功的に行うことができる。
入力映像110は、複数のフレームを含むビデオであってもよい。入力映像111は、入力映像110の1つのフレームに該当する。以下で説明される目の追跡過程は、入力映像110の各フレームについて順次に行われる。
入力映像111が受信されると、目追跡装置100は、入力映像111に関する目復元(eye reconstruction)を行って復元映像121を生成する。目復元は、入力映像111でノイズ成分を低減させる様々な方式を含んでもよい。例えば、ノイズ成分は、高周波成分(例えば、メガネに反射された光、後光など)及び遮断成分(例えば、サングラス、厚いメガネ、髪の毛など)などを含み得る。目復元のために、主成分分析(principal component analysis:PCA)を通した次元削減が用いられてもよい。目復元の具体的な例示については後で詳細に説明する。
復元映像121が生成されると、目追跡装置100は、入力映像111と復元映像121とを比較して、入力映像111と復元映像121との間の差を決定する。以下、その決定された差は差値として称する。例えば、目追跡装置100は、入力映像111と復元映像121の対応ピクセルを互いに比較し、入力映像111と復元映像121との間の差を決定する。対応ピクセルとは、各映像で同じ位置に存在するピクセルを意味する。
目追跡装置100は、差値に基づいて入力映像111、復元映像121、及び代替映像131のいずれか1つを選定して対象映像を決定する。対象映像は、目追跡の対象となる映像を意味し、入力映像111、復元映像121、及び代替映像131のいずれか1つに該当する。例えば、差値が第1閾値よりも小さい場合、入力映像111が対象映像に選定されてもよく、差値が第1閾値よりも大きく、第2閾値よりも小さい場合、復元映像121が対象映像に選定されてもよく、差値が第2閾値よりも大きい場合、代替映像131が対象映像に選定されてもよい。第2閾値は、第1閾値よりも大きいものと仮定する。
代替映像131は、入力映像111と復元映像121とは別個のものであって、サンプル映像130から選択されたものとし得る。サンプル映像130は、目追跡に適切な状態の様々な映像を含んでもよく、サンプル映像130のうち、入力映像111と類似度の最も高いものが代替映像131として選択されることができる。例えば、入力映像111の特徴点とサンプル映像130の各サンプル映像の特徴点との間の比較に基づいて、入力映像111と各サンプル映像との間の類似度が決定されてもよい。
目追跡装置100は、類似度と閾値を比較して入力映像111、復元映像121及び、代替映像131のうち目追跡に最も適切ないずれか1つを選定することができる。例えば、入力映像111が目追跡に適切な状態に該当する場合、入力映像111と復元映像121との間に小さい差(例えば、第1閾値よりも小さい差)しか存在しないため、入力映像111が対象映像として選定され得る。
又は、入力映像111に光反射のようなノイズ成分が存在する場合、入力映像111よりも復元映像121が目追跡にもっと適合している。この場合、目復元を介して該当ノイズ成分が除去され、ノイズ成分の有無に応じて、入力映像111と復元映像121との間に差(例えば、第1閾値よりも大きく第2閾値よりも小さい差)が発生する可能性がある。そのため、復元映像121が対象映像として選定され得る。
又は、ユーザがサングラスをしている場合のように、入力映像111に多くのノイズ成分が存在する場合、入力映像111及び復元映像121よりも代替映像131が目追跡にさらに適合している。この場合、目の復元過程において、入力映像111と復元映像121との間に大きい差(例えば、第2閾値よりも大きい差)が発生する可能性があり、そのため、代替映像131が対象映像として選定され得る。
入力映像111を構成している成分のうち、目追跡に妨害となる成分は、目の復元過程から取り除かれる。例えば、目の復元過程において、一般的な顔に対応する成分は保持され、一般的な顔に該当しない成分は取り除かれる。入力映像111において、目の復元過程で除去された成分の比率に応じて、入力映像111、復元映像121、及び代替映像131のいずれか1つが選択される。例えば、高周波成分の場合、除去された成分の比率が小さくなり得るため、復元映像121が対象映像として選択され、遮断成分の場合、除去された成分の比率が大きくなり得るため、代替映像131が対象映像として選択され得る。
対象映像が選択されると、目追跡装置100は、対象映像について目追跡を行って目位置情報を生成する。目追跡装置100は、複数のフレームを順次に受信し、各フレームから目を追跡する。目位置情報は、各フレームに存在する目の位置を含んでもよい。例えば、目の位置は、映像内の目の座標のように表現される。
図2は、一実施形態に係る目検出過程及び目の追跡過程を示したフローチャートである。図2を参照すると、入力映像の第1フレームが受信されると、目追跡装置は、ステップS210において、入力映像の第1フレームに関する目検出を行う。目追跡装置は、目検出過程を介してユーザの目を含んでいる目検出領域を決定する。ステップS220において、目追跡装置は、目検出に成功したか否かを決定する。目検出に失敗した場合、入力映像の第2フレームについてステップS210が行われ、目検出に成功した場合、ステップS230が行われる。言い換えれば、目検出に成功するまで、各フレームに関しステップS210、S220が繰り返される。
ステップS230において、目追跡装置は、入力映像の第1フレームについて目復元を行う。目復元の後に入力映像の第1フレームに対応する復元映像及び代替映像が生成され、入力映像の第1フレーム、復元映像、及び代替映像のいずれか1つが対象映像として選択される。ステップS240において、目追跡装置は、対象映像に関する目追跡を行う。目追跡装置は、目検出領域に基づいて目追跡のための目追跡領域を決定する。目追跡装置は、目追跡領域内で特徴点を抽出し、抽出された特徴点を整列(align)して目追跡を行うことができる。
ステップS250において、目追跡装置は、目追跡に成功したか否かを決定する。目追跡領域内にユーザの目が存在する場合、目追跡に成功したものと決定し、目追跡領域内にユーザの目が存在しない場合、目追跡に失敗したものと決定する。目追跡に成功した場合、目追跡装置は、目追跡領域をアップデートして、入力映像の第2領域についてステップS230を行う。例えば、目追跡装置は、目の位置に合わせて目追跡領域の位置を調整することができる。一例として、目追跡装置は、2つの目の中心が目追跡領域の中間に位置するように目追跡領域の位置を調整する。目追跡装置は、入力映像の第2フレームに対応する対象映像を決定し、対象映像及びアップデートされた目追跡領域を用いて目追跡を継続することができる。
図3は、一実施形態に係る対象映像の決定及び目の追跡過程を示したフローチャートである。図3に示すステップS310〜S390は、図2に示す点線ボックスのように表示されたステップS230、S240に対応し、図2に示すステップS220で目検出に成功したものと決定されることにより、ステップS310が行われる。
図3を参照すると、ステップS310において、目追跡装置は、目復元を行って復元映像を生成する。目復元は、入力映像でノイズ成分を低減する様々な方式が含まれている。例えば、目復元のために、PCAを通した次元削減が適用される。これは図4及び図5を参照してより詳細に説明する。
図4は、一実施形態に係る増強された外見空間を示す図である。様々な参照の顔映像についてPCAを行って主成分ベクトルが取得される。主成分ベクトルの次元数は、各映像のデータ(例えば、ピクセル)の次元数と同一であってもよい。この場合、支配的な顔成分から例外的な顔成分に達する主成分ベクトルが取得され得る。参照の顔映像から、支配的な顔の形を含んでいる映像の比率が高くてもよい。この場合、支配的な顔成分は標準的な顔に該当し、例外的な顔成分はノイズに該当する。主成分ベクトルはそれぞれ互いに直交するため、全ての入力映像内の顔映像は、主成分ベクトルを介して表現されることができる。
主成分ベクトルは再び顔映像として解釈され、解釈された顔映像は、固有の顔(eigenface)と称される。言い換えれば、様々な顔映像に関するPCAに基づいて固有の顔が決定されることができ、主成分ベクトルはそれぞれ固有の顔に対応する。入力映像内の顔映像は、固有の顔を用いて増強された外見空間(augmented appearance space)のように表現される。
図4を参照すると、顔映像AはλiAiの合計のように表現される。Aiは主成分ベクトルを示し、λiは主成分ベクトルの係数を意味する。λiは外見パラメータと称されてもよい。λiは顔映像AでAiが占めている比率を意味する。各λiAiの値により、図4に示すような顔映像が表現される。インデックスiは1〜nの値を有する。Aiはiの値が小さいほど、標準に近い成分であることを意味し、iの値が大きいほどノイズに近い成分であることを意味する。
図5は、一実施形態に係る目の復元過程を示す図である。図5を参照すると、入力映像Iはλ0A0〜λnAnの合計のように表現され、復元映像I‘はλ0A0〜λmAmの合計に表現される。nはmよりも大きいとすることができ、目復元により次元が減少したものと見ることができる。また、入力映像Iにおいて、インデックスの値が大きい成分(ノイズに近い成分)が除去されるため、入力映像Iから高周波成分や遮断成分のようなノイズ成分が取り除かれる。入力映像Iにおいて、λm+1Im+1〜λnAnは、除去された成分又はノイズ成分と称される。インデックス値が小さいほど、主成分ベクトルの優先順位が高いものと表現される。この場合、目追跡装置は、入力映像に対応する主成分ベクトルA0〜Anのうち、高い順位を有する一部A0〜Amを用いて復元映像を生成することができる。
再び図3を参照すると、ステップS320において、目追跡装置は、入力映像と復元映像と間の差を決定する。例えば、目追跡装置は、入力映像と復元映像の対応ピクセルを互いに比較して差値を決定する。目の復元過程で除去された各ノイズ成分の係数が大きいほど、入力映像にノイズが多いと解釈され、また、入力映像と復元映像との間の差が大きく決定される。従って、復元映像や代替映像が対象映像として活用される可能性が高くなる。
一実施形態によれば、差値は、目領域を基準にして決定されてもよい。言い換えれば、目追跡装置は、入力映像の目領域及び復元映像の目領域の対応ピクセルを互いに比較して差値を決定する。目復元により、映像全体に発生する変化を比較することよりも、目領域に発生する変化を比較することが復元映像や代替映像の活用に効果的であるためである。
例えば、ユーザがマスクをした場合、目追跡が可能であるが、ユーザがサングラスをした場合、目追跡が困難になる。従って、マスクをした場合でないサングラスをした場合を検出し、この場合に復元映像や代替映像を使用する必要性が高い。この場合、目領域は目検出領域又は目追跡領域に基づいて決定される。
ステップS330において、目追跡装置は、差値と第1閾値を比較する。差値が第1閾値よりも小さい場合、目追跡装置は、ステップS340において、入力映像を対象映像として決定する。差値が第1閾値よりも大きい場合、目追跡装置は、ステップS350において、差値と第2閾値とを比較する。差値が第2閾値よりも小さい場合、目追跡装置は、ステップS360において、復元映像を対象映像として決定する。差値が第2閾値よりも大きい場合、目追跡装置は、ステップS370において、サンプル映像のうち代替映像を選択し、ステップS380において、代替映像を対象映像として決定する。ステップS390において、目追跡装置は、対象映像から目追跡を行う。
図6は、一実施形態に係る差値が第2閾値よりも小さい場合の対象映像選定動作を示す図である。図6を参照すると、入力映像610に関する目復元により復元映像620が生成される。目復元により入力映像610でメガネの光反射を含んでいる高周波成分が除去され、復元映像620は、入力映像610に比べてスムーズ(smooth)に表現される。
目復元の後、入力映像610と復元映像620との間の差値が決定される。差値が第1閾値よりも小さい場合に入力映像610が対象映像として決定され、差値が第1閾値よりも大きくて第2閾値よりも小さい場合、復元映像620が対象映像として決定される。例えば、入力映像610に含まれている高周波成分が除去されたため、復元映像620が対象映像として決定される。
図7は、一実施形態に係る差値が第2閾値よりも大きい場合の対象映像選定動作を示す図である。図7を参照すると、入力映像710に関する目復元により復元映像720が生成される。目復元により、入力映像710からサングラスの光反射を含んでいる高周波成分及びサングラスを含む遮断成分が除去され、復元映像720は、入力映像710に比べてスムーズに表現される。
目復元の後に入力映像710と復元映像720との間の差値が決定される。差値が第1閾値よりも小さい場合、入力映像710が対象映像として決定され、差値が第1閾値よりも大きくて第2閾値よりも小さい場合、復元映像720が対象映像として決定され、差値が第2閾値よりも大きい場合、代替映像740が生成される。例えば、入力映像710に含まれている遮断成分及び高周波成分が除去されたため、差値が第2閾値よりも大きく決定される。
この場合、入力映像710とサンプル映像730の各サンプル映像との間の特徴マッチングが行われ、サンプル映像730のうち、入力映像710に最も類似のサンプル映像が代替映像740として選択される。その後、代替映像740が対象映像として決定されて目追跡に使用され得る。サンプル映像730は、目追跡に容易な様々な顔映像を含んでもよい。例えば、サンプル映像730は、メガネが存在しない顔映像、メガネが存在するもののメガネ内の光反射がない映像などを含んでもよい。図7に示す実施形態において、メガネが存在するサンプル映像が、サングラスが存在する入力映像710に最も類似するものと決定され、そのため、該当サンプル映像が代替映像740として選択される。
図8は、一実施形態に係る入力映像とサンプル映像との間の特徴マッチング動作を示す図である。図8を参照すると、入力映像810の特徴点及びサンプル映像820の特徴点が比較され、そのため、入力映像810とサンプル映像820の類似度が決定される。入力映像の特徴点及びサンプル映像820の特徴点は、それぞれ目を除いた領域から抽出されてもよい。例えば、特徴点は、鼻、口、顔の輪郭などにより抽出されてもよい。代替映像は、目の位置にサングラスや他の遮断がある場合に使用される可能性が高い。従って、目を除いた領域から特徴点を抽出することが入力映像に類似の代替映像を取得し、代替映像から適切な視点を取得するために有利である。
図9は、一実施形態に係るデータベースに格納されたサンプル映像を示す図である。図9を参照すると、データベース910はサンプル映像921〜923を含む。データベース910は目追跡装置に存在してもよいし、目追跡装置とは別個の他の装置に存在してもよい。データベース910が他の装置に存在する場合、目追跡装置は、ネットワークを介してデータベース910にアクセスしてサンプル映像921〜923を用いることができる。サンプル映像921〜923は、それぞれ目追跡に適切な状態を有する。目追跡に適切な状態は、高周波成分や遮断成分が存在しない状態を含み得る。
サンプル映像921〜923は、過去に目追跡に成功した映像に該当する。ここで、過去は、現在のフレームに関する目追跡が行われる以前を意味する。例えば、目追跡装置の製造過程で目追跡に成功した映像のうち、代替映像に適切な映像がサンプル映像921〜923として選別されてもよい。又は、サンプル映像921〜923は、以前の入力映像の各フレームに関する目追跡が行われる過程、又は現在入力映像の以前フレームに関する目追跡が行われる過程で格納されたものであってもよい。一例として、現在のフレーム又は現在のフレームに対応する復元映像に基づいて目追跡に成功した場合、現在のフレームは、未来の代替映像として活用されるためにデータベース910へ格納される。
サンプル映像921〜923に目位置情報931〜933にマッピングされる。サンプル映像921〜923は、過去に目追跡に成功したものであるため、過去に目追跡に成功したときに、サンプル映像921〜923について目位置情報931〜933が確保される。従って、サンプル映像921〜923が代替映像として活用されるとき、サンプル映像921〜923で別途に目を追跡する代わり、あらかじめ確保されている目位置情報931〜933を使用することができる。例えば、入力映像の代替映像にサンプル映像921が選択されたと仮定すると、目追跡装置は、サンプル映像921から目を追跡して目位置情報を生成する代わりに、サンプル映像921にマッピングされた目位置情報931を直ちに出力することができる。
図10は、一実施形態に係る目復元に基づく目追跡方法を示したフローチャートである。図10を参照すると、目追跡装置は、ステップS1010において、入力映像に関する目復元を行って復元映像を生成し、ステップS1020において、入力映像と復元映像との間の差を決定し、ステップS1030において、決定された差に基づいて入力映像、復元映像、及び代替映像のいずれか1つを選定して対象映像を決定し、ステップS1040において、対象映像に基づいて目追跡を行う。その他に、図1〜図9を参照して説明された事項が図10に示す目追跡方法に適用されてもよい。
図11は、一実施形態に係る目復元に基づく目追跡装置を示すブロック図である。図11を参照すると、目追跡装置1100は、目追跡に関連して本明細書に説明されたり、又は示された1つ以上の動作を行うことができ、目位置情報を目追跡結果としてユーザに提供することができる。
目追跡装置1100は、1つ以上のプロセッサ1110及びメモリ1120を含む。メモリ1120は、プロセッサ1110に接続され、プロセッサ1110によって実行可能な命令語、プロセッサ1110が演算するデータ又はプロセッサ1110によって処理されたデータを格納する。メモリ1120は、非一時的なコンピュータ読み出し可能記録媒体、例えば、高速ランダムアクセスメモリ及び/又は不揮発性コンピュータ読み出し可能記憶媒体(例えば、1つ以上のディスク記憶装置、フラッシュメモリ装置、又は、その他の不揮発性ソリッドステートメモリ装置)を含んでもよい。
プロセッサ1110は、図1〜図10を参照して説明された1つ以上の動作を実行するための命令語を実行する。一実施形態によれば、メモリ1120に格納された命令語がプロセッサ1110で実行されるとき、プロセッサ1110は、入力映像に関する目復元を行って復元映像を生成し、入力映像と復元映像との間の差を決定し、決定された差に基づいて入力映像、復元映像、及び代替映像のいずれか1つを選定して対象映像を決定し、対象映像に基づいて目追跡を行うことができる。
図12は、一実施形態に係る目追跡装置を含む電子装置を示す図である。図12を参照すると、電子装置1200は、図1〜図11を参照して説明された目追跡装置を含むことができ、あるいは、図1〜図12を参照して説明された目追跡装置の機能を行うことができる。
電子装置1200は、プロセッサ1210、メモリ1220、カメラ1230、ストレージ装置1240、入力装置1250、出力装置1260、及びネットワークインターフェース1270を含んでいる。プロセッサ1210、メモリ1220、カメラ1230、ストレージ装置1240、入力装置1250、出力装置1260、及びネットワークインターフェース1270は、通信バス1280を介して通信する。例えば、電子装置1200は、スマートフォン、タブレットPC、ノート型パソコン、デスクトップPC、ウェアラブルデバイス、スマート家電機器、スマートスピーカ、スマートカーなどを含んでもよい。一例として、電子装置1200は、車両に搭載されて3次元HUDのための機能を提供することができる。
プロセッサ1210は、電子装置1200内で実行するための機能及び命令語を実行する。例えば、プロセッサ1210は、メモリ1220又はストレージ装置1240に格納された命令語を処理する。プロセッサ1210は、図1〜図11を参照して説明された1つ以上の動作を行うことができる。
メモリ1220は、ニューラルネットワークの動作を処理するための情報を格納する。メモリ1220は、コンピュータ読み出し可能記憶媒体又はコンピュータ読み出し可能記憶装置を含んでもよい。メモリ1220は、プロセッサ1210によって実行するための命令語を格納し、電子装置1200によってソフトウェア又はアプリケーションが行われる間に関連情報を格納する。
カメラ1230は、静止画、ビデオ映像、又は、これら両方を撮影する。カメラ1230は、目追跡のためにユーザの顔を撮影し、入力映像を生成する。カメラ1230は、オブジェクトに関する深度情報を含む3次元映像を提供することもできる。
ストレージ装置1240は、コンピュータ読み出し可能記憶媒体又はコンピュータで読み出し可能記憶装置を含む。一実施形態によれば、ストレージ装置1240は、メモリ1220よりもさらに多くの量の情報を格納し、情報を長期間保存することができる。例えば、ストレージ装置1240は、磁気ハードディスク、光ディスク、フラッシュメモリ、フロッピー(登録商標)ディスク又はこの技術分野で知られた他の形態の不揮発性メモリを含んでもよい。ストレージ装置1240は、図9に示すデータベース910を含んでもよい。
入力装置1250は、キーボード及びマウスを通した伝統的な入力方式、及びタッチ入力、音声入力、及びイメージ入力のような新しい入力方式を介してユーザから入力を受信する。例えば、入力装置1250は、キーボード、マウス、タッチスクリーン、マイクロホン、又は、ユーザから入力を検出し、検出された入力を電子装置1200に伝達できる任意の他の装置を含んでもよい。入力装置1250を介してユーザの指紋、紅彩、発話、音声、及びオーディオなどのデータが入力される。
出力装置1260は、視覚的、聴覚的又は触覚的なチャネルを介してユーザにユーザデバイス1200の出力を提供する。出力装置1260は、例えば、ディスプレイ、タッチスクリーン、スピーカ、振動発生装置又はユーザに出力を提供できる任意の他の装置を含んでもよい。一例として、出力装置1260は、3次元HUDの実現のためのディスプレイパネル、3次元光学レイヤ(パララックスバリア、レンチキュラレンズ、方向性バックライトなど)、光学システム(鏡、レンズなど)などを含んでもよい。ネットワークインターフェース1270は、有線又は無線ネットワークを介して外部装置と通信する。
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び/又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
100、1100 目追跡装置
111、610、710、810 入力映像
121、620、720 復元映像
130、730、820 サンプル映像
131、740 代替映像
910 データベース
921−923 サンプル映像
931−933 目位置情報
1110、1210 プロセッサ
1120、1220 メモリ
1200 電子装置
1230 カメラ
111、610、710、810 入力映像
121、620、720 復元映像
130、730、820 サンプル映像
131、740 代替映像
910 データベース
921−923 サンプル映像
931−933 目位置情報
1110、1210 プロセッサ
1120、1220 メモリ
1200 電子装置
1230 カメラ
Claims (20)
- 入力映像に関する目復元を行って復元映像を生成するステップと、
前記入力映像と前記復元映像との間の差を決定するステップと、
前記決定された差に基づいて前記入力映像、前記復元映像、及び代替映像のいずれか1つを対象映像として決定するステップと、
前記対象映像に基づいて目追跡を行うステップと、
を含む目追跡方法。 - 前記目復元は、前記入力映像でノイズ成分を低減する、請求項1に記載の目追跡方法。
- 前記復元映像を生成するステップは、前記入力映像に対応する主成分ベクトルのうち、高い順位を有する一部を用いて前記復元映像を生成することを含み、
前記主成分ベクトルは、それぞれ様々な顔映像に関する主成分分析に基づいた所定の固有の顔に対応する、請求項1又は2に記載の目追跡方法。 - 前記対象映像を選定するステップは、
前記決定された差が第1閾値よりも小さい場合、前記入力映像を前記対象映像として選定し、
前記決定された差が第1閾値よりも大きく、第2閾値よりも小さい場合、前記復元映像を前記対象映像として選定し、
前記決定された差が前記第2閾値よりも大きい場合、前記代替映像を前記対象映像として選定する、
ことを含み、
前記第2閾値は、前記第1閾値よりも大きい、請求項1乃至3のいずれか一項に記載の目追跡方法。 - 前記代替映像は、前記入力映像及び前記復元映像とは別個のものである、請求項1に記載の目追跡方法。
- データベースに格納されたサンプル映像のうち、前記入力映像と類似度の最も高いサンプル映像を前記代替映像として選択するステップをさらに含む、請求項1に記載の目追跡方法。
- 前記類似度は、前記入力映像の特徴点と前記サンプル映像の各サンプル映像の特徴点との間の比較に基づいて決定される、請求項6に記載の目追跡方法。
- 前記入力映像の前記特徴点及び前記各サンプル映像の前記特徴点は、それぞれ目を除いた領域から抽出されたものである、請求項7に記載の目追跡方法。
- 前記サンプル映像は、過去に目追跡に成功した映像に該当する、請求項6に記載の目追跡方法。
- 前記入力映像又は前記復元映像に基づいて前記目追跡に成功した場合、前記入力映像をデータベースにサンプル映像として格納するステップをさらに含む、請求項1に記載の目追跡方法。
- 前記復元映像を生成するステップは、前記入力映像に関する目検出が成功した場合に行われる、請求項1に記載の目追跡方法。
- 前記代替映像が前記対象映像として選定された場合、前記目追跡を行うステップは、前記代替映像にマッピングされた目位置情報を用いて前記目追跡を行うことを含む、請求項1に記載の目追跡方法。
- 請求項1乃至12のいずれか一項に記載の方法を実行する命令語を含む1つ以上のプログラムを格納したコンピュータ読み出し可能記憶媒体。
- プロセッサと、
前記プロセッサで実行可能な命令語を含むメモリと、
ユーザを撮影して入力映像を生成するカメラと、
を含み、
前記命令語が前記プロセッサで実行されるときに、前記プロセッサは、前記入力映像に関する目復元を行って復元映像を生成し、前記入力映像と前記復元映像との間の差を決定し、前記決定された差に基づいて前記入力映像、前記復元映像、及び代替映像のいずれか1つを対象映像として決定し、前記対象映像に基づいて目追跡を行う、
電子装置。 - プロセッサと、
前記プロセッサで実行可能な命令語を含むメモリと、
を含み、
前記命令語が前記プロセッサで実行されるときに、前記プロセッサは、入力映像に関する目復元を行って復元映像を生成し、前記入力映像と前記復元映像との間の差を決定し、前記決定された差に基づいて前記入力映像、前記復元映像、及び代替映像のいずれか1つを対象映像として決定し、前記対象映像に基づいて目追跡を行う、目追跡装置。 - 前記プロセッサは、前記入力映像に対応する主成分ベクトルのうち高い順位を有する一部を用いて前記復元映像を生成し、
前記主成分ベクトルは、それぞれ様々な顔映像に関する主成分分析に基づいた所定の固有の顔に対応する、請求項15に記載の目追跡装置。 - 前記プロセッサは、
前記決定された差が第1閾値よりも小さい場合、前記入力映像を前記対象映像として選定し、
前記決定された差が第1閾値よりも大きく、第2閾値よりも小さい場合、前記復元映像を前記対象映像として選定し、
前記決定された差が前記第2閾値よりも大きい場合、前記代替映像を前記対象映像として選定し、
前記第2閾値は前記第1閾値よりも大きい、請求項15に記載の目追跡装置。 - 前記プロセッサは、データベースに格納されたサンプル映像のうち、前記入力映像と類似度の最も高いサンプル映像を前記代替映像として選択する、請求項15に記載の目追跡装置。
- 前記類似度は、前記入力映像の特徴点と前記サンプル映像の各サンプル映像の特徴点との間の比較に基づいて決定され、
前記入力映像の前記特徴点及び前記各サンプル映像の前記特徴点は、それぞれ目を除いた領域から抽出されたものである、請求項18に記載の目追跡装置。 - 前記代替映像が前記対象映像として選定された場合、
前記目追跡を行うステップは、前記代替映像にマッピングされた目位置情報を用いて前記目追跡を行うことを含む、請求項15に記載の目追跡装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2019-0163642 | 2019-12-10 | ||
KR1020190163642A KR20210073135A (ko) | 2019-12-10 | 2019-12-10 | 눈 복원 기반의 눈 추적 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021093125A true JP2021093125A (ja) | 2021-06-17 |
Family
ID=72087947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020142548A Pending JP2021093125A (ja) | 2019-12-10 | 2020-08-26 | 目復元に基づく目追跡方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11327562B2 (ja) |
EP (1) | EP3836073B1 (ja) |
JP (1) | JP2021093125A (ja) |
KR (1) | KR20210073135A (ja) |
CN (1) | CN112950670A (ja) |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3045129B2 (ja) | 1997-11-28 | 2000-05-29 | 沖電気工業株式会社 | 動物の個体識別装置 |
US7206435B2 (en) * | 2002-03-26 | 2007-04-17 | Honda Giken Kogyo Kabushiki Kaisha | Real-time eye detection and tracking under various light conditions |
US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
EP2584525B1 (en) * | 2010-06-17 | 2015-04-01 | Panasonic Intellectual Property Corporation of America | Determining ambient light reflection |
JP5538160B2 (ja) * | 2010-09-24 | 2014-07-02 | パナソニック株式会社 | 瞳孔検出装置及び瞳孔検出方法 |
US9230180B2 (en) * | 2013-01-18 | 2016-01-05 | GM Global Technology Operations LLC | Eyes-off-the-road classification with glasses classifier |
US9239957B2 (en) | 2014-04-04 | 2016-01-19 | Fotonation Limited | Image processing method and apparatus |
CN106462724B (zh) * | 2014-04-11 | 2019-08-02 | 北京市商汤科技开发有限公司 | 基于规范化图像校验面部图像的方法和系统 |
US20160140390A1 (en) * | 2014-11-13 | 2016-05-19 | Intel Corporation | Liveness detection using progressive eyelid tracking |
US9704038B2 (en) * | 2015-01-07 | 2017-07-11 | Microsoft Technology Licensing, Llc | Eye tracking |
US9691165B2 (en) * | 2015-07-24 | 2017-06-27 | Disney Enterprises, Inc. | Detailed spatio-temporal reconstruction of eyelids |
KR102415503B1 (ko) | 2015-08-21 | 2022-07-01 | 삼성전자주식회사 | 분류기 학습 방법 및 객체 검출 방법 |
AU2016310451B2 (en) | 2015-08-21 | 2021-04-22 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
KR102564476B1 (ko) | 2015-11-30 | 2023-08-07 | 삼성전자주식회사 | 영상 내의 객체 정렬 방법 및 장치 |
US10423830B2 (en) * | 2016-04-22 | 2019-09-24 | Intel Corporation | Eye contact correction in real time using neural network based machine learning |
CN109416572A (zh) | 2016-04-29 | 2019-03-01 | 托比股份公司 | 启用眼睛跟踪的可穿戴设备 |
JP6911841B2 (ja) | 2016-05-11 | 2021-07-28 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法、並びに移動体 |
KR102476897B1 (ko) * | 2016-10-05 | 2022-12-12 | 삼성전자주식회사 | 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치 |
EP3404611A1 (en) * | 2017-05-19 | 2018-11-21 | RetinAI Medical GmbH | Reducing noise in an image |
KR102410834B1 (ko) * | 2017-10-27 | 2022-06-20 | 삼성전자주식회사 | 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치 |
KR102495359B1 (ko) | 2017-10-27 | 2023-02-02 | 삼성전자주식회사 | 객체 트래킹 방법 및 장치 |
US11068052B2 (en) * | 2019-03-15 | 2021-07-20 | Microsoft Technology Licensing, Llc | Holographic image generated based on eye position |
KR20190119548A (ko) * | 2019-10-02 | 2019-10-22 | 엘지전자 주식회사 | 이미지 노이즈 처리방법 및 처리장치 |
US11163995B2 (en) * | 2019-12-31 | 2021-11-02 | Logitech Europe S.A. | User recognition and gaze tracking in a video system |
-
2019
- 2019-12-10 KR KR1020190163642A patent/KR20210073135A/ko unknown
-
2020
- 2020-06-08 US US16/895,600 patent/US11327562B2/en active Active
- 2020-07-07 CN CN202010647052.3A patent/CN112950670A/zh active Pending
- 2020-08-14 EP EP20191104.7A patent/EP3836073B1/en active Active
- 2020-08-26 JP JP2020142548A patent/JP2021093125A/ja active Pending
-
2022
- 2022-05-09 US US17/740,076 patent/US20220269343A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20210073135A (ko) | 2021-06-18 |
CN112950670A (zh) | 2021-06-11 |
EP3836073A1 (en) | 2021-06-16 |
US20210173476A1 (en) | 2021-06-10 |
US20220269343A1 (en) | 2022-08-25 |
EP3836073B1 (en) | 2023-11-29 |
US11327562B2 (en) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10579142B2 (en) | Gaze detection method and apparatus | |
EP3602399B1 (en) | Accumulation and confidence assignment of iris codes | |
EP3925186B1 (en) | Distributed processing in computer generated reality system | |
EP3590027B1 (en) | Multi-perspective eye-tracking for vr/ar systems | |
KR102164723B1 (ko) | 3-d 플레놉틱 비디오 이미지들을 생성하는 시스템 및 방법 | |
US10595001B2 (en) | Apparatus for replaying content using gaze recognition and method thereof | |
US11048977B1 (en) | Method and device for pixel-level object segmentation | |
US20230037866A1 (en) | Device and method for acquiring depth of space by using camera | |
US11836842B2 (en) | Moving an avatar based on real-world data | |
JP2021093125A (ja) | 目復元に基づく目追跡方法及び装置 | |
KR20220067964A (ko) | 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치 | |
US20240104967A1 (en) | Synthetic Gaze Enrollment | |
US11205307B2 (en) | Rendering a message within a volumetric space | |
WO2024064378A1 (en) | Synthetic gaze enrollment | |
KR20220090940A (ko) | 스토리 기반 영상매체의 등장인물 시선 추적을 통한 화자-청자 인식 및 시선 상호작용 분석 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240416 |