JP2018536883A - プリズムによる視線追跡 - Google Patents
プリズムによる視線追跡 Download PDFInfo
- Publication number
- JP2018536883A JP2018536883A JP2018507532A JP2018507532A JP2018536883A JP 2018536883 A JP2018536883 A JP 2018536883A JP 2018507532 A JP2018507532 A JP 2018507532A JP 2018507532 A JP2018507532 A JP 2018507532A JP 2018536883 A JP2018536883 A JP 2018536883A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- light
- ray
- hmd device
- display panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002131 composite material Substances 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000000576 coating method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 239000012790 adhesive layer Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 240000001436 Antirrhinum majus Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005102 attenuated total reflection Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/14—Beam splitting or combining systems operating by reflection only
- G02B27/149—Beam splitting or combining systems operating by reflection only using crossed beamsplitting surfaces, e.g. cross-dichroic cubes or X-cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/14—Beam splitting or combining systems operating by reflection only
- G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Eye Examination Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
本開示は、全体的に、ヘッドマウントディスプレイシステムに関し、特に、ヘッドマウントディスプレイシステムにおける視線追跡に関する。
ヘッドマウントディスプレイ(HMD)装置は、ユーザの両目の前に取り付けられた表示パネルを利用して、仮想現実(VR)コンテンツ、拡張現実(AR)コンテンツなどを含む、さまざまな種類のコンテンツを表示する。視線追跡は、フォービエイテッド(foveated)イメージング(眼球運動連動型(gaze−contingent)イメージングとしても知られている)、眼球運動によるユーザ入力またはインタラクションなど、さまざまな機能を容易にするためにHMDシステムに実装されることが多い。従来の視線追跡機構は、通常、レンズおよびミラーの複雑な配置を採用して目の画像を撮影し、この画像から目の視線方向を推定する。しかしながら、HMD装置メーカーは、フォームファクタを低減したHMD装置を提供しようと懸命に努力しており、従来のシステムが表示パネルを遮ることなくこの視線追跡機能を提供するために必要とされる、複雑な光学機構は、HMD装置のスモールフォームファクタの実現を妨げてしまうことが多い。また、従来の方法で撮影された目の画像に基づいて目の視線を推定するために実装されるアルゴリズムは、多くの演算を必要とすることが多いため、高価かつ電力を消耗する高性能コンピュータシステムを持たないHMD装置に実装するには実用的ではない。
以下の説明は、HMDによる視線追跡システムに関するいくつかの具体的な実施の形態および詳細を提供することによって、本開示の十分な理解を伝えるためのものである。しかしながら、本開示は、例示に過ぎないこれらの具体的な実施形態および詳細に限定されず、本開示の範囲は、以下の請求項およびその均等物によってのみ適宜限定されるものであることを理解されたい。説明するために、本明細書に記載の視線追跡システムは、HMDベースのシステムのみならず、その他のシステムにおいて利用されてもよい。当業者は、周知のシステムおよび方法に鑑みて、多くの代替的な実施形態における、具体的な設計およびその他の必要性に応じた、本開示の意図する目的および利益のための本開示の利用を理解するであろうことをさらに理解されたい。
Claims (20)
- イメージを表示するための表示パネル(102、308、310)と、
前記表示パネルとユーザの目(112)の予想位置との間の第1軸(202)に沿って配置されたXプリズムビームスプリッタ(104)とを備え、前記Xプリズムビームスプリッタは、前記表示パネルから前記目へ前記第1軸に沿って第1の光線(212)を第1方向に向け、前記第1軸に実質的に垂直な第2軸(208)に沿って第2の光線(216)を第2方向に向け、前記第2軸に沿って第3の光線(222)を前記第2方向に向け、前記第2の光線は、前記第1の光線を表現し、前記第3の光線は、前記目からの前記第1の光線の反射を表現し、さらに、
前記第2軸と位置合わせされた光軸を有する撮影カメラ(106)を備え、前記撮影カメラは、前記第2の光線の表現と前記第3の光線の表現との結合体を含む合成画像(232)を撮影する、ヘッドマウントディスプレイ(HMD)装置(100、300)。 - 前記表示パネルと関係付けて対応する位置に配置された1つ以上の赤外線(IR)光源(126、127、128、129)からなるセットをさらに備え、
前記第1の光線は、前記1つ以上のIR光源からなるセットから出射されるIR光を含む、請求項1に記載のHMD装置。 - 前記撮影カメラは、グローバルシャッターを有するIRカメラを備え、
前記1つ以上のIR光源からなるセットは、前記グローバルシャッターの垂直同期信号に基づいて起動される、請求項2に記載のHMD装置。 - 前記合成画像に基づいて、前記目の位置、前記目の向き、または前記目の視線方向のうちの少なくとも1つを判断する視線追跡モジュール(412)をさらに備える、請求項2に記載のHMD装置。
- 前記視線追跡モジュールは、前記合成画像に存在する前記1つ以上のIR光源からなるセットからの前記IR光を基準座標系として利用することに基づいて、前記目の位置、前記目の向き、または前記目の視線方向のうちの前記少なくとも1つを判断する、請求項4に記載のHMD装置。
- 前記Xプリズムビームスプリッタは、
前記第1軸に対して第1角度で配置された第1の部分反射面(114)と、
前記第1軸に対して第2角度で配置された第2の部分反射面(115)とを備え、前記第2角度は、前記第1角度に実質的に垂直であり、
前記第1の部分反射面は、可視光およびIR光を部分的に反射し、前記第2の部分反射面は、IR光を部分的に反射し、可視光を実質的に透過させる、請求項2に記載のHMD装置。 - 前記1つ以上のIR光源からなるセットは、1つ以上の垂直共振器面発光レーザからなるセットを含む、請求項2に記載のHMD装置。
- 前記合成画像に基づいて、前記目の位置、前記目の向き、または前記目の視線方向のうちの少なくとも1つを判断する視線追跡モジュール(412)をさらに備える、請求項1に記載のHMD装置。
- 前記判断された目の位置、目の向き、または目の視線方向に基づいて、前記HMD装置の少なくとも1つの構成要素(404、408)が制御される、請求項8に記載のHMD装置。
- ヘッドマウントディスプレイ(HMD)装置(100、300)において、
Xプリズムビームスプリッタ(104)を通して、第1の光線(212)を表示パネル(102、308、310)から第1軸(202)に沿ってユーザの目(112)に透過させるステップと、
前記Xプリズムビームスプリッタからの第2の光線(216)を、前記第1軸に実質的に垂直な第2軸(208)に沿って撮影カメラ(106)に透過させるステップとを含み、前記第2の光線は、前記第1の光線の反射を表現しており、さらに、
前記Xプリズムビームスプリッタからの第3の光線(222)を、前記第2軸に沿って前記撮影カメラに透過させるステップを含み、前記第3の光線は、前記ユーザの目からの前記第1の光線の反射を表現しており、さらに、
前記撮影カメラにおいて、前記第2の光線の表現と前記第3の光線の表現との結合体を表現している合成画像(232)を撮影するステップを含む、方法。 - 前記第1の光線は、前記表示パネルと関係付けて対応する位置に配置された1つ以上のIR光源(126、127、128、129)からなるセットから出射されるIR光を含む、請求項10に記載の方法。
- 前記1つ以上のIR光源からなるセットを、前記撮影カメラのグローバルシャッターの垂直同期信号に基づいて起動するステップをさらに備える、請求項11に記載の方法。
- 前記HMD装置の処理モジュール(412)において、前記合成画像に基づいて、前記目の位置、前記目の向き、または前記目の視線方向のうちの少なくとも1つを判断するステップをさらに備える、請求項11に記載の方法。
- 前記目の位置、前記目の向き、または前記目の視線方向のうちの前記少なくとも1つを判断するステップは、前記合成画像に存在する前記1つ以上のIR光源からなるセットからの前記IR光を基準座標系としての利用ステップを含む、請求項13に記載の方法。
- 前記HMD装置の処理モジュール(412)において、前記合成画像に基づいて、前記目の位置、前記目の向き、または前記目の視線方向のうちの少なくとも1つを判断するステップをさらに備える、請求項11に記載の方法。
- 前記判断された目の位置、目の向き、または目の視線方向に基づいて、前記HMD装置の少なくとも1つの構成要素(404、408)の動作を制御するステップをさらに備える、請求項15に記載の方法。
- ヘッドマウントディスプレイ(HMD)装置(100、300)において、
前記HMD装置の処理モジュール(412)において、前記HMD装置の撮影カメラ(106)からの合成画像(232)を受け付けるステップを含み、前記合成画像は、Xプリズムビームスプリッタ(104)のポート(207)から同時に受光される第1の光線(216)および第2の光線(222)を表現しており、前記第1の光線は、前記HMD装置の表示パネル(102、308、310)から出射される光線(212)の反射を表現しており、前記第2の光線は、前記表示パネルから出射される前記光線のユーザの目(112)からの反射を表現しており、さらに、
前記処理モジュールにおいて、前記合成画像に基づいて、前記目の位置、前記目の向き、または前記目の視線方向のうちの少なくとも1つを判断するステップを含む、方法。 - 前記判断された目の位置、目の向き、または目の視線方向に基づいて、前記HMD装置の少なくとも1つの構成要素(404、408)の動作を制御するステップをさらに備える、請求項17に記載の方法。
- 前記表示パネルから出射される前記光線は、前記表示パネル上の対応する位置に配置された1つ以上のIR光源(126、127、128、129)からなるセットから出射される赤外線(IR)光を含む、請求項17に記載の方法。
- 前記目の位置、前記目の向き、または前記目の視線方向のうちの前記少なくとも1つを判断するステップは、前記合成画像に存在する前記1つ以上のIR光源からなるセットからの前記IR光を基準座標系としての利用ステップを含む、請求項19に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562259761P | 2015-11-25 | 2015-11-25 | |
US62/259,761 | 2015-11-25 | ||
PCT/US2016/062896 WO2017091477A1 (en) | 2015-11-25 | 2016-11-18 | Prism-based eye tracking |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018536883A true JP2018536883A (ja) | 2018-12-13 |
JP6494863B2 JP6494863B2 (ja) | 2019-04-03 |
Family
ID=57472110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018507532A Active JP6494863B2 (ja) | 2015-11-25 | 2016-11-18 | プリズムによる視線追跡 |
Country Status (10)
Country | Link |
---|---|
US (1) | US10303940B2 (ja) |
EP (1) | EP3380883B1 (ja) |
JP (1) | JP6494863B2 (ja) |
KR (1) | KR102078059B1 (ja) |
CN (1) | CN108885341B (ja) |
AU (1) | AU2016359149B2 (ja) |
CA (1) | CA2995746C (ja) |
DE (1) | DE112016005395T5 (ja) |
GB (1) | GB2556588A (ja) |
WO (1) | WO2017091477A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7408202B1 (ja) | 2023-07-10 | 2024-01-05 | 株式会社近藤研究所 | 頭部装着型視認装置 |
JP7500217B2 (ja) | 2020-02-19 | 2024-06-17 | キヤノン株式会社 | 電子機器 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6539654B2 (ja) | 2014-06-27 | 2019-07-03 | フォーブ インコーポレーテッド | 視線検知装置 |
US9885887B2 (en) * | 2015-04-22 | 2018-02-06 | Kurt Matthew Gardner | Method of determining eyeglass frame measurements from an image by executing computer-executable instructions stored on a non-transitory computer-readable medium |
EP3272277A1 (en) * | 2016-07-19 | 2018-01-24 | Stichting IMEC Nederland | A method and a system for eye tracking |
CN105954992B (zh) * | 2016-07-22 | 2018-10-30 | 京东方科技集团股份有限公司 | 显示系统和显示方法 |
WO2018111860A1 (en) * | 2016-12-12 | 2018-06-21 | Princeton Identity, Inc. | Systems and methods of biometric analysis |
US10485420B2 (en) * | 2017-02-17 | 2019-11-26 | Analog Devices Global Unlimited Company | Eye gaze tracking |
CN106908951A (zh) * | 2017-02-27 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
US10585291B2 (en) * | 2017-04-28 | 2020-03-10 | Yonatan Gerlitz | Eye safety system for lasers |
US10420467B2 (en) * | 2017-09-05 | 2019-09-24 | eyeBrain Medical, Inc. | Method and system for measuring binocular alignment |
US10627627B2 (en) | 2017-10-02 | 2020-04-21 | Google Llc | Eye tracking using light guide with faceted combiner |
KR102465654B1 (ko) | 2017-12-19 | 2022-11-09 | 텔레폰악티에볼라겟엘엠에릭슨(펍) | 헤드 마운트 디스플레이 디바이스 및 그에 대한 방법 |
US10845594B1 (en) * | 2017-12-21 | 2020-11-24 | Facebook Technologies, Llc | Prism based light redirection system for eye tracking systems |
US10788892B2 (en) | 2018-05-23 | 2020-09-29 | Facebook Technologies, Llc | In-field illumination and imaging for eye tracking |
US11455031B1 (en) | 2018-06-04 | 2022-09-27 | Meta Platforms Technologies, Llc | In-field illumination for eye tracking |
US11327561B1 (en) | 2018-09-27 | 2022-05-10 | Apple Inc. | Display system |
WO2020123561A1 (en) * | 2018-12-10 | 2020-06-18 | Daqri, Llc | Adaptive viewports for hypervocal viewport (hvp) displays |
US11650426B2 (en) | 2019-05-09 | 2023-05-16 | Meta Platforms Technologies, Llc | Holographic optical elements for eye-tracking illumination |
CN114175630A (zh) * | 2019-07-28 | 2022-03-11 | 谷歌有限责任公司 | 利用注视点网格渲染沉浸式视频内容的方法、系统和介质 |
KR20220049548A (ko) * | 2019-08-30 | 2022-04-21 | 엘지전자 주식회사 | 머리에 착용할 수 있는 전자 디바이스 |
US11438991B2 (en) | 2020-01-21 | 2022-09-06 | Brightlogic, Inc. | Light emitting diode package and electronic display |
JP7387493B2 (ja) * | 2020-03-06 | 2023-11-28 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、記憶媒体 |
CN111700586B (zh) * | 2020-07-01 | 2023-09-29 | 业成科技(成都)有限公司 | 眼动追踪装置及应用其的电子装置 |
US20220122239A1 (en) * | 2020-10-21 | 2022-04-21 | Johnson & Johnson Surgical Vision, Inc. | Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality |
KR20220111575A (ko) * | 2021-02-02 | 2022-08-09 | 삼성전자주식회사 | 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법 |
EP4083567B1 (en) * | 2021-04-30 | 2024-06-12 | TRUMPF Photonic Components GmbH | Laser sensor, system and method for self-mixing interferometry |
CN113795783B (zh) * | 2021-08-06 | 2024-02-06 | 香港应用科技研究院有限公司 | 用于头戴式显示器的与显示器集成的成像设备 |
US12019240B2 (en) * | 2021-08-06 | 2024-06-25 | Hong Kong Applied Science and Technology Research Institute Company Limited | Imaging apparatus integrated with display for head-mounted display |
KR20230174355A (ko) * | 2022-06-20 | 2023-12-28 | 삼성디스플레이 주식회사 | 표시 장치 및 그 제어방법 |
EP4361704A1 (en) * | 2022-10-27 | 2024-05-01 | Pupil Labs GmbH | Eye tracking module and head-wearable device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0850256A (ja) * | 1994-08-05 | 1996-02-20 | Canon Inc | 視線検出系を有した表示装置 |
US20010009478A1 (en) * | 1994-06-13 | 2001-07-26 | Shoichi Yamazaki | Head-up display device with rotationally asymmetric curved surface |
JP2008511874A (ja) * | 2004-09-01 | 2008-04-17 | アプティカル リサーチ アソシエイツ | 傾斜/偏心レンズ素子を有する小形ヘッド取付け表示装置 |
US20150049013A1 (en) * | 2013-08-19 | 2015-02-19 | Qualcomm Incorporated | Automatic calibration of eye tracking for optical see-through head mounted display |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117046A (ja) * | 1999-10-22 | 2001-04-27 | Shimadzu Corp | 視線検出機能付ヘッドマウントディスプレイシステム |
JP2001186442A (ja) * | 1999-12-27 | 2001-07-06 | Minolta Co Ltd | 映像表示装置 |
JP2005025613A (ja) | 2003-07-04 | 2005-01-27 | Alps Electric Co Ltd | 信号処理回路モジュール |
ITPD20050137A1 (it) | 2005-05-17 | 2006-11-18 | Lino Manfrotto & Co Spa | Supporto miniaturizzato per atttrezzature fotografiche quali video e fotocamere |
TWI321946B (en) * | 2006-07-24 | 2010-03-11 | Young Optics Inc | Camera module |
US8604586B2 (en) * | 2009-08-06 | 2013-12-10 | Qualcomm Incorporated | High breakdown voltage embedded MIM capacitor structure |
TWI461824B (zh) * | 2010-06-29 | 2014-11-21 | Hon Hai Prec Ind Co Ltd | 立體取像裝置 |
US8611015B2 (en) * | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
CN104204904B (zh) | 2012-01-24 | 2018-05-18 | 亚利桑那大学评议会 | 紧凑式眼睛跟踪头戴式显示器 |
TWI468147B (zh) * | 2012-03-21 | 2015-01-11 | Optomed Oy | 檢查儀器 |
US10477194B2 (en) * | 2012-04-25 | 2019-11-12 | 3M Innovative Properties Company | Two imager projection device |
US9625723B2 (en) | 2013-06-25 | 2017-04-18 | Microsoft Technology Licensing, Llc | Eye-tracking system using a freeform prism |
JP6124717B2 (ja) * | 2013-07-16 | 2017-05-10 | オリンパス株式会社 | 撮像素子、焦点検出装置 |
US10345903B2 (en) * | 2013-07-30 | 2019-07-09 | Microsoft Technology Licensing, Llc | Feedback for optic positioning in display devices |
TWI505260B (zh) * | 2013-07-30 | 2015-10-21 | Univ Nat Chiao Tung | 頭戴式人眼追蹤系統 |
US9360935B2 (en) * | 2013-12-20 | 2016-06-07 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Integrated bi-sensing optical structure for head mounted display |
EP3119343A4 (en) | 2014-03-19 | 2017-12-20 | Intuitive Surgical Operations, Inc. | Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer |
CN104656286B (zh) * | 2014-10-27 | 2017-10-27 | 徐州旭海光电科技有限公司 | 微型同波长单芯双向光收发模块 |
US20160150219A1 (en) * | 2014-11-20 | 2016-05-26 | Mantisvision Ltd. | Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation |
US11016276B2 (en) * | 2014-12-18 | 2021-05-25 | Fugro Roames Pty Limited | Imaging system |
US10061384B2 (en) * | 2015-02-23 | 2018-08-28 | Sony Corporation | Information processing apparatus, information processing method, and program |
DE102015103735A1 (de) * | 2015-03-13 | 2016-09-15 | Airbus Defence and Space GmbH | Verfahren und Vorrichtung zum Testen eines in einem Luftfahrzeug zu bedienenden Geräts |
US10460165B2 (en) * | 2015-04-01 | 2019-10-29 | Fove, Inc. | Head mounted display |
KR102421649B1 (ko) * | 2015-06-30 | 2022-07-18 | 엘지전자 주식회사 | 의류처리장치 |
US10234686B2 (en) * | 2015-11-16 | 2019-03-19 | Microsoft Technology Licensing, Llc | Rainbow removal in near-eye display using polarization-sensitive grating |
US9984507B2 (en) * | 2015-11-19 | 2018-05-29 | Oculus Vr, Llc | Eye tracking for mitigating vergence and accommodation conflicts |
-
2016
- 2016-11-18 US US15/356,264 patent/US10303940B2/en active Active
- 2016-11-18 AU AU2016359149A patent/AU2016359149B2/en active Active
- 2016-11-18 GB GB1802305.1A patent/GB2556588A/en not_active Withdrawn
- 2016-11-18 WO PCT/US2016/062896 patent/WO2017091477A1/en active Application Filing
- 2016-11-18 KR KR1020187004506A patent/KR102078059B1/ko active IP Right Grant
- 2016-11-18 EP EP16805698.4A patent/EP3380883B1/en active Active
- 2016-11-18 JP JP2018507532A patent/JP6494863B2/ja active Active
- 2016-11-18 CA CA2995746A patent/CA2995746C/en active Active
- 2016-11-18 CN CN201680048501.4A patent/CN108885341B/zh active Active
- 2016-11-18 DE DE112016005395.9T patent/DE112016005395T5/de not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010009478A1 (en) * | 1994-06-13 | 2001-07-26 | Shoichi Yamazaki | Head-up display device with rotationally asymmetric curved surface |
JPH0850256A (ja) * | 1994-08-05 | 1996-02-20 | Canon Inc | 視線検出系を有した表示装置 |
JP2008511874A (ja) * | 2004-09-01 | 2008-04-17 | アプティカル リサーチ アソシエイツ | 傾斜/偏心レンズ素子を有する小形ヘッド取付け表示装置 |
US20150049013A1 (en) * | 2013-08-19 | 2015-02-19 | Qualcomm Incorporated | Automatic calibration of eye tracking for optical see-through head mounted display |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7500217B2 (ja) | 2020-02-19 | 2024-06-17 | キヤノン株式会社 | 電子機器 |
JP7408202B1 (ja) | 2023-07-10 | 2024-01-05 | 株式会社近藤研究所 | 頭部装着型視認装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3380883B1 (en) | 2020-10-28 |
EP3380883A1 (en) | 2018-10-03 |
US10303940B2 (en) | 2019-05-28 |
KR20180033222A (ko) | 2018-04-02 |
CA2995746C (en) | 2020-06-30 |
CA2995746A1 (en) | 2017-06-01 |
JP6494863B2 (ja) | 2019-04-03 |
AU2016359149A1 (en) | 2018-03-08 |
WO2017091477A1 (en) | 2017-06-01 |
KR102078059B1 (ko) | 2020-02-17 |
CN108885341A (zh) | 2018-11-23 |
DE112016005395T5 (de) | 2018-08-02 |
GB2556588A (en) | 2018-05-30 |
GB201802305D0 (en) | 2018-03-28 |
CN108885341B (zh) | 2021-03-09 |
US20170147859A1 (en) | 2017-05-25 |
AU2016359149B2 (en) | 2018-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6494863B2 (ja) | プリズムによる視線追跡 | |
US10877556B2 (en) | Eye tracking system | |
US10877281B2 (en) | Compact optical system with MEMS scanners for image generation and object tracking | |
US11330241B2 (en) | Focusing for virtual and augmented reality systems | |
TW201902212A (zh) | 具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器 | |
US20080198459A1 (en) | Conjugate optics projection display system and method having improved resolution | |
EP3371640A1 (en) | Display of binocular overlapping images in a head mounted display | |
US11841502B2 (en) | Reflective polarizer for augmented reality and virtual reality display | |
US10990062B2 (en) | Display system | |
US10481739B2 (en) | Optical steering of component wavelengths of a multi-wavelength beam to enable interactivity | |
US11536969B2 (en) | Scene camera | |
CN114830621A (zh) | 录制指示灯 | |
JP2024024099A (ja) | 後方散乱レーザスペックルパターンのオプティカルフローの追跡 | |
US11327561B1 (en) | Display system | |
CN108761794A (zh) | 一种基于透明屏幕的ar成像系统 | |
US20240192493A1 (en) | Pupil-steering for three-dimensional (3d) resolution enhancement in single photon avalanche diode (spad) eye tracking (et) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190305 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6494863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |