CN104603673B - 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 - Google Patents
头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 Download PDFInfo
- Publication number
- CN104603673B CN104603673B CN201380045737.9A CN201380045737A CN104603673B CN 104603673 B CN104603673 B CN 104603673B CN 201380045737 A CN201380045737 A CN 201380045737A CN 104603673 B CN104603673 B CN 104603673B
- Authority
- CN
- China
- Prior art keywords
- head
- processing unit
- eye
- designed
- mounted system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000009877 rendering Methods 0.000 title claims description 14
- 210000001508 eye Anatomy 0.000 claims abstract description 257
- 238000012545 processing Methods 0.000 claims abstract description 89
- 230000008569 process Effects 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 210000004247 hand Anatomy 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000036772 blood pressure Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000012190 activator Substances 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 13
- 210000001747 pupil Anatomy 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 10
- 101710147185 Light-dependent protochlorophyllide reductase Proteins 0.000 description 9
- 101710193909 Protochlorophyllide reductase, chloroplastic Proteins 0.000 description 9
- 101710109491 Pyruvate synthase subunit PorA Proteins 0.000 description 9
- 101710109487 Pyruvate synthase subunit PorB Proteins 0.000 description 9
- 101710109489 Pyruvate synthase subunit PorC Proteins 0.000 description 9
- 101710109484 Pyruvate synthase subunit PorD Proteins 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 210000004087 cornea Anatomy 0.000 description 6
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 210000000695 crystalline len Anatomy 0.000 description 4
- 208000002173 dizziness Diseases 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 210000000873 fovea centralis Anatomy 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 208000004547 Hallucinations Diseases 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 229920001621 AMOLED Polymers 0.000 description 1
- 201000009487 Amblyopia Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 210000001742 aqueous humor Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007918 intramuscular administration Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 210000002161 motor neuron Anatomy 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004287 retinal location Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/62—Semi-transparency
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Hardware Design (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Ophthalmology & Optometry (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本发明涉及一种头戴式系统(10),其包括双眼追踪系统(14a,14b)、头戴式显示器(10)和处理单元(24,24a,24b),所述双眼追踪系统(14a,14b)包括设置为捕获使用者的左眼(16a)的至少第一摄像机(14a)和设置为捕获使用者的右眼(16b)的至少第二摄像机(14b);所述头戴式显示器(10)包括用于将图像展示给使用者的左眼(16a)的第一显示装置(18a)、用于将图像展示给使用者的右眼(16b)的第二显示装置(18b);所述处理单元(24,24a,24b)被设计为处理来自眼睛追踪系统(14a,14b)的图像并且至少计算左眼(16a)和右眼(16b)的3D位置以及左眼(16a)和右眼(16b)的定向向量;并且计算和渲染将通过头戴式显示器被投影至使用者的左眼和右眼(16a,16b)上的数字图像流;其中处理单元(24,24a,24b)进一步被设计为在计算和渲染所述数字图像流时考虑左眼和右眼(16a,16b)的3D位置以及左眼和右眼(16a,16b)的定向。本发明进一步涉及一种使用头戴式显示器计算和渲染数字图像流的方法。
Description
技术领域
本发明涉及一种包括双眼追踪系统的头戴式系统,该双眼追踪系统包括设置为用于捕获使用者的左眼的至少一个第一照相机、设置为用于捕获使用者的右眼的第二照相机。该头戴式系统还包括头戴式显示器,该头戴式显示器包括用于给使用者的左眼展示图像的第一显示装置和用于给使用者的右眼展示图像的第二显示装置。该头戴式系统还包括处理单元,该处理单元被设计为处理来自眼睛追踪系统的图像并且至少计算左眼和右眼的3D位置和左眼和右眼的定向向量。处理单元还被设计为计算和渲染将通过头戴式显示器方式被投影至使用者的左眼和右眼上的数字图像流。本发明还涉及一种使用这样的头戴式系统计算和渲染数字图像流的方法。
背景技术
这样的头戴式系统被用于作眼睛追踪、眼睛运动学、生物统计学以及位置和运动测量,以在自由范围的运动设置中尽可能完全地测量和分类人类行为。
US 2012/0179369描述了一种使用头戴式装置(HMD)并且包括处理器的个人导航装置。其使用头部方向和便携式坐标定位传感器(GPS)。US 8,004,765描述了一种光学装置,该光学装置具有第一光线传输基片、具有至少两个主表面的透明层,在该主表面处,光波通过全内反射传输。US 7,672,055描述了一种光学装置,该光学装置包括光线传输基片,该光学传输基片具有彼此平行且平行于边缘的至少两个主表面、用于耦合通过内反射位于进入所述基片的视场中的光波的第一光学元件、和用于耦合在所述基片外的所述被捕获的光波的第二光学元件,其中所述主表面的至少一个涂覆有角度敏感涂层。从US 2010/0171680已知两个单元的光电系统,包括HMD和分离控制单元,其通过窄频带无线信道通信。US 8,189,263 描述了一种用于HMD的光学设备,包括波导、耦合输入镜的一维数组和耦合输出镜的二维数字。US 6,433,760描述了整合头戴式显示器和眼睛追踪装置的装置。它提出了一种非常具体的眼睛追踪技术,该眼睛追踪技术使用四个光源以产生四个闪光、眼睛追踪器和通过使用分光器共享相同的光路的HMD投影机构。US 4,958,925教导了使用一对正交的光线发射元件和光线检测元件的眼睛运动检测。US 5,331,149描述了显示器与光电探测器阵列的组合。光线发射和光线检测元件位于同一位置并且朝眼睛发射以及从眼睛反射的光线共享相同的光路。该显示器可被头盔式地安装。US 7,783,077教导了用于追踪操作者的眼睛的运动的方法,包括视线记录仪、处理装置、定制模板,该定制模板与包括形状、尺寸和照度的所述眼睛的至少一部分类似。WO 2011/156195涉及包括被构造为将被穿戴在使用者头上的项目的头戴式显示单元的语音产生装置,该头戴式显示单元包括用于在使用者的视场内显示一个或多个图像的显示装置、用于产生音频输出的扬声器、和通信地连接至头戴式显示单元和扬声器的处理单元。眼睛追踪是可选的并且可仅用作控制语音产生的光标。US 7,522,344教导了具有眼睛追踪的基于投影的头戴式显示装置。它使用多个光源以照亮眼睛并且产生多边形的多个闪光、明暗的瞳孔交替、镜片以为头戴式显示器路径和眼睛追踪器路径提供光路、定位在眼睛追踪器路径中以反射红外光并且经由接口传输可见光至外部控制器的第一和第二热镜。它涉及一个特定的技术方案,在该技术方案中,HMD和眼睛追踪(ET)装置共享相同的光路,用于将图像朝向眼睛投影并且观察眼睛以作眼睛追踪。这个技术使用热镜并且交替离轴(off-axis)/同轴(on-axis)照明以实现明暗瞳孔效果,以便检测。从US 8,235,529已知用于组合HMD和ET的另一种装置。它描述了通过显示平滑移动的对象并且追踪眼睛路径而在“激活的”大功率运行模式与“锁定的”低功率状态之间切换装置的方法,所述眼睛路径必须大体上跟随移动的对象以“解锁”装置并且切换模式。该匹配通过确定偏移、缩放比例和旋转调整还被用来校正由眼睛追踪器计算的视轨迹的转变。EP 2 499 962 A1涉及一种护目镜形式的头戴式眼睛追踪装置。它不包括HMD。
US 8,130,260 B2公开了一种用于3D显示的系统,其包括具有第一和第二接目镜套筒的至少一个接目镜(eye piece),具有包含在与第一眼睛关联的所述第一接目镜套筒中的第一显示器、被安装以使得第一视线记录仪(eye camera)追踪所述第一眼睛的眼睛参考点和第二视线记录仪追踪第二眼睛的参考点的两个视线记录仪、用于提供所述至少一个接目镜的总体控制的处理器、第二显示器、和主处理器。信号在所述主处理器和所述至少一个接目镜之间传递,其中所述两个视线记录仪追踪所述参考点,所述接目镜收发器通过所述主收发器传送所述参考点至主处理器。所述主处理器基于所述参考点产生图像数据并且传送所述图像数据至所述显示器以产生3D图像。这个文件已经被用来构成本申请的独立权利要求的前序部分。
US 2010/0322479 A1涉及用于3D目标定位的系统和方法。由此,使用两个或多个摄像机在三维空间中对目标成像。使用立体显示将与两个或多个摄像机中的两个摄像机组合的3D图像空间显示给使用者。随着使用者在立体视频显示中观察到目标,使用者的右眼和左眼被成像,右眼的右视线和左眼的左视线在3D图像空间中被计算,并且使用双眼追踪器将3D图像空间的注视点计算为右视线和左视线的交叉点。通过使用处理器将3D图像空间中的注视点从两个摄像机的定位和位置转换为3D真实空间中的真实目标定位,确定真实的目标定位。从US 2009/0189974 A1中已知使用眼戴式显示器的系统。该文件教导了安装在眼睛上和/或安装在眼睛内的显示装置。该眼戴式显示器包含多个子显示器,每一个子显示器投影光线至位于与所述子显示器对应的视网膜的一部分内的不同视网膜位置。投影的光线穿过瞳孔传播但不充满整个瞳孔。以此方式,多个子显示器可以投影它们的光线至视网膜的相关部分上。从瞳孔移动至角膜,瞳孔在角膜上的投影被称为角膜孔。投影的光线通过小于全部的角膜孔传播。子显示器在角膜表面处使用空间多路法。各种电子装置接口连接至眼戴式显示器。US 2012/0200676 A1涉及一种混合立体图像/运动视差系统,该系统使用用于给观察者的每一个眼睛展示不同图像的立体3D视觉技术结合运动视差技术,来调整用于观察者的眼睛的位置的每一个图像。以此方式,随着视野移动同时观察3D场景,观察者接收立体提示(cue)和视差提示(cue), 其易于对观察者带来更大的视觉舒适性/更小的疲劳。还描述了用于追踪观察者位置的护目镜的使用,其包括训练计算机视觉算法以识别护目镜而不是仅为头/眼睛。
另外的相关现有技术从下面的出版物中被已知:出版在Proceedings of theSIGCHI conference on Human Factors in Computing Systems in 2000中的、VildanTanriverdi和Robert J.K.Jacob的“Interacting with eye movements in virtualenvironments”,出版在ETRA’00Proceedings of the 2000symposium on Eye trackingresearch&applications in 2000中的、Andrew T.Duchowsky,Vinay Shivashankaraiah和Tim Rawls的“Binocular eye tracking in virtual reality for inspectiontraining”。the Maersk McKinney Moiler Institute of University of SouthernDenmark of June 1,2012的Morten Lidegaard的题为“Development of a head mounteddevice for point-of-gaze estimation in three dimensions”的硕士论文以及出版在Virtual Environments and Advanced Interface Design in 1995中的RobertJ.K.Jacob的题为“Eye tracking in advanced interface design”的文章。
发明内容
本发明的目的是进一步增强权利要求1的前序部分中所述的头戴式系统的性能。以此相同的方式,本发明的进一步的目的是提供改进的方法,以使用头戴式系统计算和渲染数字图像流。
通过具有权利要求1的特征的头戴式系统和具有权利要求27的特征的计算和渲染数字图像流的方法来实现这些目的。
本发明基于发现已知的头戴式系统假设人眼睛的标准固定位置以渲染这个标准的人将会看见的图像。然而,眼内距离和眼睛相对于鼻子的位置存在明显的个体差异。一些现有系统试图使用一些类型的手动校正程序对其进行改进,然而其既不准确又耗时。基于此,在根据本发明的头戴式系统中,处理单元被进一步设计为在计算和渲染数字图像流时考虑左眼和右眼的3D位置以及左眼和右眼的方向。这个信息由双眼追踪系统提供。这样做了后,处理单元提供的数字图像可以准确地适应个人的眼内距离和眼睛相对于鼻子的位置地被计算和渲染。结果,用于虚拟现实3D场景的 左/右图像渲染的虚拟视点的3D位置与双眼追踪系统测量的使用者眼睛的准确位置(代替现有装置中的标准的固定的或手动校正的眼内距离)相匹配。这减小了压力和头晕并且改进了深度知觉。
在优选的实施例中,头戴式系统包括穿戴装置,并且处理单元机械地连接至所述穿戴装置上。当穿戴装置进一步设置有例如电池或蓄电池的能量存储器时,对于使用者而言实现了非常高的自由度。
代替地,头戴式系统可以包括穿戴装置和机械地连接至所述穿戴装置上的数据接口,处理单元与数据接口连接,特别是有线地或无线地连接。以此方式,根据本发明的头戴式系统可以使用或进入大型计算单元,其相应地提供了大型计算能力并且还被如此设计以使得被使用者简单地穿戴并且没有损伤。通过与大型处理单元连接,本发明需要的计算可以以特定的速度和精度被执行。
特别优选的实施例的特征在于头戴式系统包括光导装置,该光导装置用于将图像投影至所述使用者的眼睛上,与所述眼睛追踪系统使用的光路相比,其沿着基本上分开的光路。基于不同的光路,特别是与深瞳技术联系起来,实现了一个优点:不需要分束器,并且增强了光线传输,在图像中实现了更好的信噪比。
当处理单元被设计为使用左眼和右眼的3D眼睛位置以及左眼和右眼的定向向量计算使用者正固着的注视点的3D位置,特别是注视点的3D位置和至每一个眼睛的距离时,已经证明是有利的。这使得能够确定场景的哪个部分必须被渲染为聚焦(焦点对准)以及哪个部分被渲染为未聚焦(焦点未对准)。而且,其为下面将进一步详细描述的GUI激活机制的一部分。基于此,因为本发明准确地适应每一个个体,所以它可以提供增强的景深感觉。
有利地,处理装置被设计为将注视点的3D位置估计为由左眼和右眼的被计算的3D位置和定向向量限定的左向和右向光线之间的最近点。通过已知注视点,本系统可以适应每一个个人。就这一点而言,当处理单元被设计为通过映射函数、尤其是通过施加偏移量、线性变换或非线性变换来过滤左眼和右眼方向的光线是有利的。
当映射函数是为特定使用者校正头戴式系统的校正程序的结果时,已 经证明是特别有利的。就这一点而言,处理单元可以被设计为,通过借助所述头戴式显示器向使用者显示将被固着的虚拟刺激源,特别是虚拟目标,并且通过确定在一方面由左眼和右眼的3D位置和定向向量计算的注视点与另一方面所述虚拟刺激源的位置之间的差异,实施所述校正程序。
在这一点上,处理单元可以被设计为使所述虚拟目标(和/或刺激源)沿预定的或随机的路径移动。或者,处理单元可以被设计为,通过随着时间连续地计算在一方面由左眼和右眼的3D位置和定向向量计算的注视点与另一方面投影在所述头戴式显示器上的图像中的惯常的感兴趣的对象和/或可见锚定点之间的差异,实施所述校正程序。通过最后提及的变型,校正程序可以在头戴式系统正常使用期间发生,其中由于连续的计算,可以实现在一方面由左眼和右眼的3D位置和定向向量计算的注视点与另一方面在图像中的惯常的感兴趣的对象和/或可见锚定点之间的差异逐渐减小。
处理单元可以被进一步设计为计算眼内距离,并且可以被进一步设计为基于所述眼内距离以及左眼和右眼的3D位置计算虚拟的视野点,并且被设计为在渲染用于左眼和右眼的一对图像以便模拟3D虚拟场景时使用所述虚拟的视野点。这导致了以下优点,使用者将会从他自己的眼睛的视角、而不是从一些标准的总体平均值或不精确的手动校正估计的视角看见虚拟场景。当他注视真实场景(非模拟的)时,这将会更加紧密地匹配他看见的场景,因此,使用者的大脑将发现更紧密地匹配他的期望并且场景将会变得更“真实”且涉及更少的压力和头晕。
在优选的实施例中,处理单元被设计为基于注视点的距离确定被渲染的虚拟图像中将被聚焦地显示的区域,其中所述处理单元进一步被设计为相应地渲染所述虚拟图像,以模拟人眼在它正观看位于与真实场景中所述注视点相同的3D坐标处的真实对象时将会观察到的整个图像的景深。通过借助聚散度计算聚焦距离(借助眼睛追踪器),可以真实地模拟使用者进行的聚焦调节。而且,可以进行根据在虚拟场景中使用者正实际所看的地方的景深模拟,而不用预定义聚焦距离,因此模拟了使用者自己的焦距调节。
在这一点上,处理单元可以被设计为,一方面基于左眼和右眼的3D位置以及另一方面基于至所述注视点的距离,渲染与穿戴所述头戴式系统的使用者所看见的场景融入的至少一个增强的现实元素。在这一点上,可以使 用安装在穿戴装置上的场景摄像机,其提供在使用者前面的场景的图像。就这一点而言,场景摄像机可以被用来执行对象检测和识别。然后一些环境特定信息可以混合进正使用的增强现实中,以给使用者显示混合进使用者所看见的东西中的这样的信息。例如,使用者可能正在看外文的文字或路标:场景摄像机可以捕获文本的图像,其被处理单元OCR,然后被机器翻译,并且翻译的文本以虚拟接近原文的方式被显示在增强现实中。或者使用者可能正在看城市中的纪念碑,该纪念碑被处理单元上的软件识别,并且可以从数据库中获取有关所述文档(历史、艺术风格等)的信息,并且以靠近对象的气球窗的形式显示在增强现实中。
根据特别优选的实施例,处理单元被设计为渲染将被显示在投影至使用者的眼睛上的图像中、特别是场景的图像中的至少一个虚拟激活元素,所述处理单元进一步被设计为在预定激活条件得到满足时激活与所述虚拟激活元素相关联的预定功能。
尽管现有技术已知的HMD通常使用触摸或按钮界面以控制功能,但是在本发明中,提供3D图形用户界面(GUI),其中眼睛追踪和深度估计被用来激活所述3D GUI中的元素。
在这一点上,当处理单元被设计为渲染所述至少一个虚拟激活元素为有限的、多边形的3D或2D形状且该3D或2D形状在场景中在一定的时间内以预定的3D定向定位在预定位置处,已经证明是有利的。所述处理单元可以被设计为以预定的颜色和/或以本身包含文本和/或图像的试和/或以在不透明与完全透明之间改变透明度的方式渲染所述至少一个虚拟激活元素。变化的透明度用来突出显示或淡出可能堆叠在距离使用者不同虚拟距离处的激活元素。因此例如,当使用者使其视线朝向短距离激活元素聚焦时,这些元素将被变成更不透明;然后当他朝向远距离激活元素聚焦时,前面的元素将会变成半透明或甚至完全透明,从而不会挡住清楚地看见使用者目前正聚焦的激活元素。
关于激活元素的激活,可以设计所述处理单元,以使得激活条件包括3D注视点进入由所述激活元素限定的虚拟空间区域的情况。可选地或另外地,可以设计所述处理单元,以使得激活条件包括3D注视点停留在由所述激活元素限定的虚拟空间区域中达预定量的时间的情况。另外,可以 设计所述处理单元,以使得激活条件包括3D注视点在预定量的时间内进入和离开由所述激活元素限定的虚拟空间区域的情况。
还可以设计所述处理单元,以使得激活条件包括3D注视点进入由所述激活元素限定的虚拟空间区域并且随后眼睛追踪系统在预定的时间窗口内检测到眨眼的情况。还可以设计所述处理单元,以使得激活条件包括3D注视点进入由所述激活元素限定的虚拟空间区域并且随后来自外部接口的触发事件被激活的情况。就这一点而言,来自外部接口的所述触发事件可以是下述事件中的一个:推动机械触发器、按钮或触摸敏感表面;检测到连接至使用者的身体的肌电图接口中的变化;发出语音命令;生物监控函数达到阈值水平,该生物监控函数尤其包含脉搏率/心率、血压、EEG接口中的信道;和/或姿势传感器检测的手指、手或手臂姿势。外部激活信号的使用在有效时可以在一些环境中更容易地渲染激活,例如点击按钮可以比让注视点停留在激活元素内达一定的时间更快。生物信号的使用可使得结合一些预定的情绪、精神或身体状态而仅激活某些元素。
有利地,所述处理单元被设计成基于从左眼、右眼和注视点的3D位置计算的图像不均等性和模拟景深突出显示和/或预激活位于相同的虚拟距离处的一组激活元素。通过突出显示或预激活一组激活元素,可以通过共同的上下文对动作分组,例如一组可以与电子邮件相关(例如打开、撰写、回复、回复全部等)。与被限定在另一上下文(组)中的功能相比,预激活机制使得激活某一上下文中的功能的渲染更容易,因此防止了意外的激活。而且预激活使一组中的全部元素比其它组中的元素更“可见”(例如通过使预激活元素不透明以及非预激活元素透明),并且这又有助于其激活并且防止在其它组中的元素的意外误激活。
使用本发明,处理单元被设计成通过基本上聚焦某一组激活元素中的全部元素来突出显示该组激活元素,同时其它组中的全部其它激活元素都被渲染成是未聚焦的。此外地或可选地,可以设计所述处理单元,以进一步将其它组中的全部其它激活元素都渲染为部分或完全透明。这种方式对使用者激活涉及相关的主题的期望组的激活元素是特别有利的。
所述的关于根据本发明的头戴式系统的优选实施例及其优点相应地应用到根据本发明的方法中,其中特别地,处理单元的实施例构成了根据 本发明的方法的优选实施例的步骤。
附图说明
下文中,参照附图更详细地描述本发明的有利的实施例。
它们显示在:
图1a是根据本发明的头戴式系统的第一实施例的示意图;
图1b是远程设置的处理单元的实施例的设计的示意图;
图2是根据本发明的如何基于注视点确定每一个眼睛的聚焦距离的示意图;
图3是根据本发明的估计注视点的示意图;
图4是示出基于注视点确定的对焦区域内的对象聚焦、而对焦区域之外的对象未聚焦的示意图;
图5是示出注视点的3D位置与校正的刺激的3D位置之间的差异的示意图;以及
图6是如何可以借助根据本发明的头戴式系统预选第一组激活元素的示意图。
具体实施方式
图1示出了根据本发明的头戴式系统10的第一实施例的示意图。它包括穿戴装置12,即将头戴式系统安装在使用者头上的机构,其为(但不限于)眼镜框或头盔或鼻夹或耳机的形式。它还包括双眼追踪系统,该双眼追踪系统包括设置为捕获使用者的左眼16a的第一摄像机14a和设置为捕获使用者的右眼16b的至少第二摄像机14b。在本发明中使用的术语“摄像机”之下,允许捕捉使用者眼睛的图像的全部种类的图像传感器都被包括。而且,头戴式系统能够可选地包括一个或多个例如LED的照明器,其朝向使用者的眼睛发射例如红外光谱中的不可见光,其中摄像机14a、14b然后被调整以适应该光谱。头戴式系统10还包括头戴式显示器,该头戴式显示器包括第一发光阵列18a和用于投影图像至使用者的左眼16a上的第一投影装置20a以及第二发光阵列18b和用于投影图像至使用者的右眼16b上的第二投影装置20b。各个光导22a和22b用于将与将被显示的信息有关的各个信息从投 影装置20a、20b朝向发光阵列18a、18b引导的目的。发光阵列18a、18b可以是不透明的或透明的或部分透明的。它们可以被实现为屏幕,例如LCD或AMOLED屏幕,即能够给使用者的眼睛展示图像的任何种类的显示装置都可以被本发明使用。
头戴式系统10还包括分别用于左眼16a和右眼16b的处理单元24a、24b。处理单元24a、24b被设计为处理来自相应的摄像机14a、14b的图像并且至少计算左眼16a和右眼16b的3D位置以及左眼16a和右眼16b的定向向量。处理单元24a、24a还被设计为计算和渲染将通过头戴式显示器投影到使用者的左眼16a和右眼16b上的数字图像流。
尽管在图1a中示出的实施例中,处理单元24a、24b被安装至穿戴装置12上,但是图1b示出了一个实施例,在该实施例中,头戴式系统10包括机械地连接至所述穿戴装置12上的未示出的数据接口,同时单一的处理单元24以有线或无线的方式与所述数据接口连接。
一般地,处理单元24、24a、24b优选包括CPU和存储器,以及可选地包括协同处理器以提高例如GPU、DSP、FPGA或专用ASIC的某些计算的速度。所述的处理单元24a、24b可以整合到头戴式装置10中,或像处理单元24那样,可以通过电缆物理地从头戴式装置10拆卸并且与它连接或可以经由例如WIFI(802.11)、蓝牙、诸如GSM、CDMA、LTE等蜂窝网络的无线连接物理地从头戴式装置10拆卸并且与它通信。
此外,处理单元24、24a、24b优选包括接收和处理外部数据信号的接口,这样的数据信号包括机械触发、按钮或触摸表面、连接至使用者身体的肌电图接口、麦克风和语音检测软件、例如脉搏/心率、血压和EEG接口中的一个或多个信道的生物信号。
眼睛追踪系统使用标准的现有技术。在优选实施例中,为了确保最大精确度,一个或多个光源发射被引导向每一个眼睛16a、16b的红外光,这样的光源在角膜上产生反射,被称为闪烁,其可以被用作参考点以确定眼睛相对于各个摄像机14a、14b的位置以及被检测的瞳孔轮廓和中心、眼睛定向。
另外也可以在不使用闪烁和IR照明器的情况下确定眼睛位置和定向:例如,可以从瞳孔轮廓或角膜缘轮廓的透视变形推断出眼睛定向;可以从不 动态变化的眼睛特征的图像的尺寸计算出至各个眼睛16a、16b的距离,该不动态变化的眼睛特征例如为角膜缘的长轴和短轴、或眼球半径。
头戴式显示器为通常嵌入护目镜或头盔框架的装置,其投影一对虚拟图像至使用者的眼睛16a、16b上。根据装置是否被设计为防止使用者的眼睛16a、16b看见周围环境,这样的虚拟图像可用来产生沉浸入模拟环境(“虚拟现实”)中的体验或在自然环境中混合模拟的虚拟元件(“增强现实”)。
传统的头戴式系统仅仅是投影机构或“屏幕”,本质上是一种便携式个人电脑显示器或电视机。示出的图像可以是预录的视频(例如电影或3D电影),或被电脑实时产生。不管正被显示的图像内容是预录的还是实时产生的视频,在图像正被产生的时候,在现有技术情况下,有关观察者的眼睛的重要信息是未知的,即
a)各个眼睛相对于屏幕的位置,和一个眼睛相对于另一个眼睛的位置(“眼内距离”);以及
b)各个眼睛正聚焦其注意力的距离和位置。
出于感觉自然、放松和逼真的视觉体验并且不产生张力和头晕的目的,上述的眼睛信息的认识是相当重要的,因为
a)场景的视角随着观察者的各个眼睛16a、16b的位置相对于场景变化而变化;以及
b)人的眼睛根据距离而改变光功率,即在眼睛目前正在看的对象上维持完美聚焦的眼睛的屈光力。该过程被称为调节。在不同距离处的其它对象和区域变得模糊不清或代替地未聚焦。
在已知的系统中,使用用于眼睛距离和眼内距离的标准的总体平均值来固定观察者的眼睛相对示出在头戴式系统上的场景的位置。考虑某一使用者,他体验的质量或他将体验到的张力和头晕取决于他的眼睛的位置偏离预定参数或总体平均值多远。
在一些已知的装置中,还可以进行头戴式系统的人工校正,其中使用者自己人工地调整眼内距离。然而,该方法是相当粗糙的,并且使用者通常不可能调整几度旋转角度的改变或一毫米的平移。
在关于对象聚焦的已知系统中,聚焦点根据剧情或艺术目的由视频创作者确定,或者使用其中场景中的所有对象都显得非常锐利并且聚焦的扩大的 景深。然而,看见场景中的所有对象都同时聚焦是不自然的,给人单调的印象并且去除了3D幻觉。在真实的世界中,当场景中的所有对象都同时呈现聚焦时,通常意味着使用者正在看2D的图片或图画。
相反,在仅一个对象为聚焦的情况下,但是如同在电影中那样,聚焦点已经由视频创作者确定,当使用者正看别处并且仅看见模糊强度时,他将会被迷惑或者无论如何3D幻觉将会被破坏掉。
在根据本发明的头戴式系统中,使用能够确定使用者的眼睛16a、16b中的每一个相对于头戴式系统10的3D位置的所述的眼睛追踪系统。然后该信息被渲染虚拟现实或增强现实图像的处理单元24、24a、24b使用。
根据本发明的头戴式系统10可以被设计为执行自动使用者校正,该自动使用者校正然后被用来增强使用者体验的增强/虚拟现实的现实感。处理单元24、24a、24b渲染的每一个图像表示每一个使用者的眼睛16a、16b应该看见的场景,然后被渲染用作虚拟摄像机协调已经由眼睛追踪系统确定的使用者的眼睛16a、16b的精确坐标。
该方法的优点是被显示给使用者的左眼和右眼16a、16b的场景不是从其中眼内距离是基于总体统计值的固定的标准视角渲染的,而是为每一个观察者定制的并且优化的,完全匹配使用者的大脑期望看见的场景。
可选的场景摄像机26可以被用来提供使用者正在看的场景的图像并且在增强现实的情况下使用那些图像,如下文中进一步所述。
此外,使用根据本发明的头戴式系统10,可以确定使用者的眼睛16a、16b正在聚集的注视点POR,其可以被用来确定每一个眼睛16a、16b的聚集距离,关于这一点参见图2。
确定这样的注视点POR的第一种方式是找出起源于由眼睛追踪系统确定的使用者的眼睛的位置中的多个光线的交叉点,每一个光线根据由所述的眼睛追踪系统确定的眼睛定向而被引导。然而,参见图3,在实践中,在一些情况下,这样的光线可能不会在3D空间中交叉,即所述光线是不共面的。根据本发明,表示所述光线之间的最小距离的线段被确定,并且所述线段上的中点的3D位置被视为注视点POR。
对于仅具有一个功能眼睛或具有强烈的斜视的使用者,即大脑有效地忽略了从一个眼睛摄取的视觉摄取,通过找出起源于功能眼睛的光线与场景中的第一个对象交叉的点,仍能确定虚拟场景中的3D注视点。
当已知3D注视点时,参见图4,可以将聚焦区域限定为矩形,在该矩形中,对象显示为聚焦的,而在该区域之外的对象显示为未聚焦。当对象随着其与注视点的距离增加而被渐进地显示为未聚焦时,获得了特别真实的图像。
而且,本领域技术人员已知,在一方面所谓的“视线”或视轴(即连接视网膜中央凹(即最尖锐的视觉点)与注视点的假想线)与另一方面穿过瞳孔中心的轴线(在眼睛追踪文献中已知为瞳孔轴线或光轴)之间存在偏移。
尽管由于视网膜中央凹负责视觉摄入,所以视轴(visual axis)实际上代表注视点的方向,但是因为眼睛追踪器不能看见该视网膜中央凹,因此眼睛追踪器仅可以测量光轴。
为了补偿视轴与光轴之间的偏移,该偏移因人而异并且对于相同的人也根据瞳孔放大、情绪状态和其它因素而改变,眼睛追踪系统可以通过校正程序而被改进,以从一组样本中学习校正模型的一个或多个参数。
本发明的优选实施例中使用的校正程序还提供用来补偿其它误差来源或不确定性的信息,例如系统本身、其光学部件和其构造(即例如摄像机、摄像机镜片等光学部件的位置、方向和特性)中的误差,眼睛追踪算法中和图像中的误差,使用者的眼睛16a、16b的参数的知识包括但不限于眼睛聚散度缺陷(斜视、弱视),前和后表面的曲率半径,散光,瞳孔孔径,角膜缘的长轴和短轴,角膜表面的折射率,眼房水(填充角膜与晶状体之间的腔室的流体)的折射率,晶状体前和后表面的半径,玻璃状液(填充眼后房的液体)的折射率。
将是校正程序的目标的前述参数的集合或子集在下文中将被称为校正参数集。
关于图5,实现这样的校正程序的一种方式是通过头戴式系统10给使用者显示专用的视觉校正刺激28,使用者需要固着(fixate)该专用的视觉校正刺激28。例如,这样的刺激28可以是一个点或圆或十字或被设计为 吸引使用者注意力的任何其它图像。该刺激28对应于单个使用者的真实注视点。然而图5中示出的注视点POR对应于眼睛追踪系统假定的注视点。
该视觉校正刺激能够在一组离散位置S={s1,s2,…sm}处被示出,但是它在一个特定的时间间隔中仅在一个特定的位置(从所述组中选取)中示出,以避免迷惑使用者。这些位置还可以是如此地空间分布并且所述时间间隔是这样短暂地分布,以给出所述视觉校正刺激平滑运动的幻觉,但是这全部都是可选的。
考虑到视觉刺激的一组已知位置、相关联的时间间隔和其中视觉校正刺激28被示出的虚拟空间中的使用者的注视点的第一次不准确的估计,通过为校正参数集确定最小化已知的视觉刺激位置28与由于使用校正参数集而导致的注视点POR之间的偏差的最优值,眼睛追踪系统被校正。
更正式地讲,考虑到将被校正的一组参数p1,..pn,这限定了用于例如前五段所述的校正程序χ=(p1,p2,…pn)的状态空间。
校正程序从代表目标用户群的平均值和用于眼睛追踪系统的几何和光学设置的期望值的标准集合的校正参数的状态空间中的点χ0开始。然后,应用现有技术的优化和回归(regression)技术,例如梯度下降法、高斯-牛顿法、Levenberg-Marquardt法、模拟退火法、进化策略等,以在状态空间中找出最小化适应度函数F(χi,S)的位置,所述适应度函数F(χi,S)将使用一组参数χi计算的一组刺激位置和测量的注视点PORj(χi)作为参数,并且是所谓的PORs与参考S={s1,s2,…sm}的偏差或误差的测量值。
作为一个示例,一个可能的这样的函数是均方误差
在一些情况下,由于n≠m,可能发生不可能准确匹配集合S={s1,s2,…sm}与POR位置集合POR={POR1,POR2,…PORn}的情况。在此情况下,可能重新采样并且使用更小的样本数插值数据集以匹配另一集合,并且在一组样本与另一组样本之间找出最好和最可能的匹配。
在任何情况下,对于本领域技术人员而言,依赖于其实际的应用环境使用选择性的适应度函数和校正策略将是不重要的。
并不总是必须在预定的时间间隔处执行显示离散的校正刺激图像的明确的校正。通过随着时间比较其中未校正的注视点已经固着的一组位置与所述固着位置(fixations)之间采取的路径,一般还可以进行隐含的校正,并且在相同的时间段内将它们与显示给使用者的场景内容比较。这允许确定一方面的被期望吸引使用者的聚焦的场景中的对象和路径与另一方面的实际注视点路径之间的对应性。
例如,当正在统一的背景上显示文本给使用者时,使用者将会开始阅读文本,产生特有的注视点路径,该特有的注视点路径将以代表使用者正在阅读的文本行的平行线的方式被组织。然后可能以最大化期望的可能性的方式匹配注视点路径与实际文本,例如使用期望最大算法,然后应用前述的方法以使用匹配的数据点用于校正。
关于本发明的另一方面,公开了用于头戴式显示器的3D图形用户界面(GUI),其使用眼睛追踪系统而被控制。就这一点而言,3D虚拟激活元素被限定为在使用者的眼睛16a、16b前面的虚拟空间中在某时刻以某一3D方向定位在某一3D位置处的有限的、多边形的、2D或3D形状,被处理单元24、24a、24b渲染并且被头戴式显示器显示。
关于图6,3D虚拟激活元素30被示出,其可以改变颜色,它们本身可包含文本或图像并且可具有变化的透明度。它们可以是完全不透明的并且阻挡观察在其后面的场景元素,或者它们可以是完全透明的(因此是不可见的),或者可以具有在二者之间的任意透明度。
3D虚拟激活元素30与用户界面中的一个或多个功能的激活相关联,例如应用程序的激活(开始网络浏览器或电子邮件客户端等)、或代表与该头戴式系统连接的电脑的文件系统中的(数据)文件(例如,视频或声音文件)。
当满足某一激活条件或事件可以与多个虚拟激活元素30的顺序的激活相关联时,这样的3D虚拟激活元素30可以与事件相关联或触发处理单元24、24a、24b上的某一功能或方法的使用:例如,一个可能性将会是第一次激活视频元件,接着激活视频播放器元件,以触发被激活的视频重播。
该激活条件本身可以以多个可能的方式被执行:
在一个可能的实施例中,当使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间时,如从图6中关于激活元素30c可见的,触发所述激活。 所述激活还可能在使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间并且停留在所述空间中达预定量的时间时发生。所述激活还可能在使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间并且停留在所述空间中达预定的停留时间并且然后再预定的离开时间内离开所述空间时发生。所述激活还可能在使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间并且随后使用者有意地眨眼睛以触发激活时发生。
因为眨眼在其他方面是自然发生的事件并且大多数人不能保持长时间不眨眼,所以可以限定时间窗(最小值,最大值),在该时间窗内,允许发生有意的激活眨眼,在该时间窗之外的眨眼将被简单地忽略。
还可能包括外部触发信号,该外部触发信号不是起源于眼睛追踪系统本身,而是与眼睛追踪系统一起工作以激活某一功能。这样的外部信号可以是(但不限于):
-推动机械触发器或按钮(例如如同在键盘上或鼠标或通过电缆或无线地整合或连接至头戴式系统10的机械按钮)或触摸触摸感应界面(例如电阻或电容触摸板或数位板);
-由连接至使用者身体的肌电图接口(EMG)测量的信号的变化,其匹配某一模式;肌电图接口测量肌肉的电活动并且是运动神经元激活的结果;表面-肌电图可被任何人使用,例如穿戴在臂上,但是这类接口可以具有与残疾人和截肢者特定的相关性,仍然以使用电极的肌肉内的肌电图接口的形式;可以通过训练机器学习分类器进行激活模式的识别,例如使用人工神经网络或支持向量机;使用这个接口,然后通过收缩或放松例如臂的身体中的肌肉,可能激活GUI中的3D虚拟激活元素30,并且其具有不需要使用者的双手的优点;
-语音命令,例如命令“播放(play)”或“开始(start)”,由使用者发出,并且使用语音识别软件和麦克风由系统识别;
-手指、手或手臂姿势,由动作感应装置(体感,体感控制等)识别,例如通过滑动手或用手指捏等来执行激活;
-一个或多个生物监测功能达到阈值水平,这样的生物学水平可以代表某一物理状态(疲劳、休息等)或情绪状态(觉醒、放松、压力、幸福、害怕等);这样的生物监测功能可以是来自监测大脑电活动的脑 电图(EEG)的信号;监测心脏电活动的心电图(EKG);心率;血压;瞳孔扩张;这样,例如,将可能通过集中并且“思考”它以激活功能,或者具有另一功能,在该另一功能中,根据使用者的心境而播放不同的音乐和视频,或者可以给予使用者视觉反馈,如果检测到过度疲劳,则建议在慢跑时慢下来。
通过进一步参考图6,3D虚拟激活元素30可以设置为组的形式,其中一组中的多个元件可以执行密切相关的功能(例如,打开电子邮件,写电子邮件,删除电子邮件)并且位于彼此接近的虚拟空间中和位于离眼睛狭窄的距离范围内。关于图6,第一组由激活元素30a-30d形成,同时第二组激活元素由激活元素30i-2,30i-1和30i形成。然后可以通过将所有的3D虚拟激活元素30a至30d渲染在“聚焦”中而突出显示特定的组,同时另一组的元件30i-2,30i-1和30i将会是“未聚焦”的并且能够可选地渐增地变成半透明的(部分或完全透明的)以不会挡住、分散或干涉突出显示的组的观察。
可以预选一组激活元素30a至30d的这种方式,例如当使用者聚焦在其中的一个30c上并且被检测的注视点位于其边界之内时。然后属于相同的组的所有其它的元件30a、30b、30d都可以被预激活(放入“聚焦”,并且可选地愿意启动相关联的事件)。
以此方式,可以将3D GUI组织成分层界面,其中每一层都包含一组或多组激活元素30,并且使用者能够简单地通过将他的注视聚焦于不同的距离处而在不同的层中导航。
作为此处描述的方法的特例,还可以将激活元素30表示为全部处于3D场景中的相同的虚拟平面上的简单的2D平面对象。该方式有效地实现了用于3D虚拟/增强现实系统的2D用户界面。3D用户界面具有在功率和灵活性方面具有明显的优势,但是在一些应用中,2D界面由于其简易性可能是更好的。
为了改进已知的头戴式系统,本发明特别在一方面考虑到了虚拟摄像机的最优位置以及虚拟摄像机的最优的、现实的聚焦。在前一种情况下,考虑到了图像看起来像什么取决于看所述场景的眼睛的3D位置,反之在后一种情况下,焦点被围绕眼睛所看的点实际地调整。
Claims (36)
1.一种头戴式系统(10),包括:
a)双眼追踪系统(14a,14b),包括:
-设置为捕获使用者的左眼(16a)的至少第一摄像机(14a);
-设置为捕获使用者的右眼(16b)的至少第二摄像机(14b);
b)头戴式显示器(10),包括:
-用于将图像展示给使用者的左眼(16a)的第一显示装置(18a);
-用于将图像展示给使用者的右眼(16b)的第二显示装置(18b);
c)处理单元(24,24a,24b),该处理单元被设计为
-处理来自眼睛追踪系统(14a,14b)的图像并且至少计算左眼(16a)和右眼(16b)的定向向量;
其特征在于,所述处理单元(24,24a,24b)还被设计为
-计算左眼(16a)和右眼(16b)的3D位置;
-计算和渲染将通过头戴式显示器被投影至使用者的左眼和右眼(16a,16b)上的数字图像流;以及
-在计算和渲染所述数字图像流时考虑左眼和右眼(16a,16b)的3D位置以及左眼和右眼(16a,16b)的定向,用于在渲染虚拟3D场景时定位虚拟摄像机和/或确定虚拟场景的被聚焦地渲染的部分。
2.根据权利要求1所述的头戴式系统(10),其特征在于,所述头戴式系统(10)包括穿戴装置(12),并且所述处理单元(24,24a,24b)被机械地连接至所述穿戴装置(12)上。
3.根据权利要求1所述的头戴式系统(10),其特征在于,所述头戴式系统(10)包括穿戴装置(12)和机械地连接至所述穿戴装置(12)上的数据接口,所述处理单元(24,24a,24b)与所述数据接口连接。
4.根据权利要求3所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)有线地或无线地与所述数据接口连接。
5.根据权利要求1所述的头戴式系统(10),其特征在于,所述头戴式系统(10)包括光导装置,该光导装置用于沿着与所述眼睛追踪系统(14a,14b)使用的光路基本上分开的光路将图像投影至所述使用者的眼睛(16a,16b)上。
6.根据权利要求1所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为使用左眼和右眼(16a,16b)的3D眼睛位置以及左眼和右眼(16a,16b)的定向向量来计算使用者正注视的注视点(POR)的3D位置。
7.根据权利要求6所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为计算所述注视点(POR)的3D位置和至每一个眼睛(16a,16b)的距离。
8.根据权利要求6所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为左方向光线与右方向光线不相交时将所述注视点(POR)的3D位置估计为由左眼和右眼(16a,16b)的被计算的3D位置和定向向量限定的左向和右向光线之间的最近点。
9.根据权利要求8所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为通过映射函数过滤左眼和右眼的方向光线和位置。
10.根据权利要求9所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为通过应用偏移量、线性变换或非线性变换过滤左眼和右眼的方向光线和位置。
11.根据权利要求9所述的头戴式系统(10),其特征在于,所述处理单元被设计为针对特定的使用者实施校正所述头戴式系统(10)的校正程序,其中所述映射函数是所述校正程序的结果。
12.根据权利要求11所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为,通过借助所述头戴式显示器向使用者显示将被固着的虚拟刺激源(28),并且通过确定在一方面由左眼和右眼(16a,16b)的3D位置和定向向量计算的注视点(POR)与另一方面所述虚拟刺激源(28)的位置之间的差异,实施所述校正程序。
13.根据权利要求9所述的头戴式系统(10),其特征在于,所述虚拟刺激源(28)是虚拟目标。
14.根据权利要求12所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为使所述虚拟刺激源(28)沿预定的或随机的路径移动。
15.根据权利要求13所述的头戴式系统(10),其特征在于,述处理单元(24,24a,24b)被设计为使所述虚拟目标沿预定的或随机的路径移动。
16.根据权利要求12所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为,通过随着时间连续地计算在一方面由左眼和右眼(16a,16b)的3D位置和定向向量计算的注视点(POR)与另一方面投影在所述头戴式显示器上的图像中的惯常的感兴趣的对象和/或可见锚定点之间的差异,实施所述校正程序。
17.根据权利要求6所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为计算眼内距离,并且被进一步设计为基于所述眼内距离以及左眼和右眼(16a,16b)的3D位置计算虚拟的视野点,并且被设计为在渲染用于左眼和右眼(16a,16b)的一对图像以便模拟3D虚拟场景时使用所述虚拟的视野点。
18.根据权利要求6所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为基于注视点(POR)的距离确定被渲染的虚拟图像中将被聚焦地显示的区域,其中所述处理单元(24,24a,24b)进一步被设计为相应地渲染所述虚拟图像,以模拟人眼在它正观看位于与真实场景中所述注视点(POR)相同的3D坐标处的真实对象时将会观察到的整个图像的景深。
19.根据权利要求18所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为,一方面基于左眼和右眼(16a,16b)的3D位置以及另一方面基于至所述注视点(POR)的距离,渲染与穿戴所述头戴式系统(10)的使用者所看见的场景融入的至少一个增强的现实元素。
20.根据权利要求1所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为渲染将被显示在投影至使用者的眼睛(16a,16b)上的图像中的至少一个虚拟激活元素(30),所述处理单元(24,24a,24b)进一步被设计为在预定激活条件得到满足时激活与所述虚拟激活元素(30)相关联的预定功能。
21.根据权利要求20所述的头戴式系统(10),其特征在于,所述图像是场景的图像。
22.根据权利要求20所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为渲染所述至少一个虚拟激活元素(30)为有限的、多边形的3D形状,该3D形状在场景中在一定的时间内以预定的3D定向定位在预定位置处。
23.根据权利要求20,21或22所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为以预定的颜色和/或以本身包含文本和/或图像的方式和/或以在不透明与完全透明之间改变透明度的方式渲染所述至少一个虚拟激活元素(30)。
24.根据权利要求20,21或22所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计为根据使用者的聚焦的注视的距离以在不透明与完全透明之间改变透明度的方式渲染所述至少一个虚拟激活元素(30)。
25.根据权利要求20所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计成使得激活条件包括3D注视点(POR)进入由所述激活元素(30)限定的虚拟空间区域的情况。
26.根据权利要求20所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计成使得激活条件包括3D注视点(POR)停留在由所述激活元素(30)限定的虚拟空间区域中达预定量的时间的情况。
27.根据权利要求20所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计成使得激活条件包括3D注视点(POR)在预定量的时间内进入和离开由所述激活元素(30)限定的虚拟空间区域的情况。
28.根据权利要求20所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计成使得激活条件包括3D注视点(POR)进入由所述激活元素(30)限定的虚拟空间区域并且随后眼睛追踪系统(14a,14b)在预定的时间窗口内检测到眨眼的情况。
29.根据权利要求20所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计成使得激活条件包括3D注视点(POR)进入由所述激活元素(30)限定的虚拟空间区域并且随后来自外部接口的触发事件被激活的情况。
30.根据权利要求29所述的头戴式系统(10),其特征在于,来自外部接口的所述触发事件为:
-推动机械触发器、按钮或触摸敏感表面;
-检测到连接至使用者的身体的肌电图接口中的变化;
-发出语音命令;
-生物监控函数达到阈值水平,该生物监控函数包含脉搏率/心率、血压、EEG接口中的信道;和/或
-姿势传感器检测的手指、手或手臂姿势。
31.根据权利要求20所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计成基于从左眼(16a)、右眼(16b)和注视点(POR)的3D位置计算的图像不均等性和模拟景深突出显示和/或预激活位于相同的虚拟距离处的一组激活元素(30a至30d)。
32.根据权利要求20所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计成基于从左眼(16a)、右眼(16b)和注视点(POR)的3D位置计算的图像不均等性和模拟景深突出显示和/或预激活位于相同的虚拟距离处的一组激活元素(30a至30d)中的全部激活元素。
33.根据权利要求31或32所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计成通过基本上聚焦某一组激活元素中的全部元素来突出显示该组激活元素(30a至30d),同时其它组中的全部其它激活元素(30i-2,30i-1,30i)都被渲染成是未聚焦的。
34.根据权利要求33所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计成进一步将其它组中的全部其它激活元素(30i-2,30i-1,30i)都渲染为部分或完全透明。
35.根据权利要求1所述的头戴式系统(10),其特征在于,所述处理单元(24,24a,24b)被设计成计算左眼(16a)和右眼(16b)相对于相应的摄像机(14a,14b)的3D位置,其中各个摄像机(14a,14b)至相应的眼睛(16a,16b)的距离是根据眼睛特征的图像中不会动态改变的的尺寸计算的。
36.一种使用头戴式系统(10)计算和渲染数字图像流的方法,该头戴式系统(10)包括双眼追踪系统(14a,14b)、头戴式显示器和处理单元(24,24a,24b),该双眼追踪系统具有设置为捕获使用者的左眼(16a)的至少第一摄像机(14a)和设置为捕获使用者的右眼(16b)的至少第二摄像机;该头戴式显示器具有用于向使用者的左眼(16a)展示图像的第一显示装置(18a)和用于向使用者的右眼(16b)展示图像的第二显示装置(18b);该处理单元(24,24a,24b)被设计为处理来自眼睛追踪系统(14a,14b)的图像并且至少计算左眼和右眼(16a,16b)的定向向量;
其特征在于,该方法包括下述的步骤:
-由所述处理单元(24,24a,24b)计算左眼和右眼(16a,16b)的3D位置;
-由所述处理单元(24,24a,24b)计算和渲染将通过所述头戴式显示器被投影至使用者的左眼和右眼(16a,16b)上的数字图像流;以及
-在计算和渲染所述数字图像流时考虑左眼和右眼(16a,16b)的3D位置以及左眼和右眼(16a,16b)的定向,用于在渲染虚拟3D场景时定位虚拟摄像机和/或确定虚拟场景的被聚焦地渲染的部分。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12182804.0 | 2012-09-03 | ||
EP12182804 | 2012-09-03 | ||
PCT/EP2013/068113 WO2014033306A1 (en) | 2012-09-03 | 2013-09-02 | Head mounted system and method to compute and render a stream of digital images using a head mounted system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104603673A CN104603673A (zh) | 2015-05-06 |
CN104603673B true CN104603673B (zh) | 2017-03-15 |
Family
ID=47008289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380045737.9A Active CN104603673B (zh) | 2012-09-03 | 2013-09-02 | 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9380287B2 (zh) |
EP (1) | EP2893388B1 (zh) |
JP (1) | JP5887026B2 (zh) |
CN (1) | CN104603673B (zh) |
IN (1) | IN2015KN00682A (zh) |
WO (1) | WO2014033306A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11892811B2 (en) | 2017-09-15 | 2024-02-06 | Kohler Co. | Geographic analysis of water conditions |
Families Citing this family (208)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8810598B2 (en) | 2011-04-08 | 2014-08-19 | Nant Holdings Ip, Llc | Interference based augmented reality hosting platforms |
US9699433B2 (en) * | 2013-01-24 | 2017-07-04 | Yuchen Zhou | Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye |
US9672627B1 (en) * | 2013-05-09 | 2017-06-06 | Amazon Technologies, Inc. | Multiple camera based motion tracking |
US20140362110A1 (en) * | 2013-06-08 | 2014-12-11 | Sony Computer Entertainment Inc. | Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
US9715764B2 (en) | 2013-10-03 | 2017-07-25 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
US9630631B2 (en) | 2013-10-03 | 2017-04-25 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
US9547173B2 (en) | 2013-10-03 | 2017-01-17 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
US9536353B2 (en) | 2013-10-03 | 2017-01-03 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
US10318100B2 (en) | 2013-10-16 | 2019-06-11 | Atheer, Inc. | Method and apparatus for addressing obstruction in an interface |
US9582516B2 (en) | 2013-10-17 | 2017-02-28 | Nant Holdings Ip, Llc | Wide area augmented reality location-based services |
KR20150065336A (ko) * | 2013-12-05 | 2015-06-15 | 삼성전자주식회사 | 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
US20150312558A1 (en) * | 2014-04-29 | 2015-10-29 | Quentin Simon Charles Miller | Stereoscopic rendering to eye positions |
AU2014202500A1 (en) * | 2014-05-08 | 2015-11-26 | Canon Kabushiki Kaisha | Method, apparatus and system for rendering virtual content |
KR102262086B1 (ko) * | 2014-05-28 | 2021-06-09 | 삼성전자 주식회사 | 이미지 처리 방법 및 장치 |
JP6780502B2 (ja) * | 2014-08-18 | 2020-11-04 | ソニー株式会社 | 画像表示装置及び表示装置 |
US9773350B1 (en) | 2014-09-16 | 2017-09-26 | SilVR Thread, Inc. | Systems and methods for greater than 360 degree capture for virtual reality |
US9760167B2 (en) | 2014-11-07 | 2017-09-12 | Eye Labs, LLC | Visual stabilization system for head-mounted displays |
JP6459421B2 (ja) | 2014-11-17 | 2019-01-30 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
US9881422B2 (en) * | 2014-12-04 | 2018-01-30 | Htc Corporation | Virtual reality system and method for controlling operation modes of virtual reality system |
KR102284821B1 (ko) * | 2014-12-18 | 2021-08-03 | 페이스북, 인크. | 가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치 |
CN105812777B (zh) * | 2015-01-21 | 2018-02-09 | 成都理想境界科技有限公司 | 双目ar头戴显示设备及其信息显示方法 |
EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
US20160300391A1 (en) * | 2015-04-07 | 2016-10-13 | Purdue Research Foundation | System and method for reducing simulator sickness |
JP2018518709A (ja) * | 2015-05-28 | 2018-07-12 | サルミック ラブス インコーポレイテッド | 視標追跡及び走査レーザ投影をウェアラブルヘッドアップディスプレイに統合するシステム、デバイス、及び方法 |
CN105242400B (zh) * | 2015-07-10 | 2017-12-29 | 上海鹰为智能科技有限公司 | 虚拟现实眼镜 |
CN105068658A (zh) * | 2015-08-19 | 2015-11-18 | 天津先驱领域科技有限公司 | 一种可虚拟环境控制的人机互动装置 |
US9857871B2 (en) | 2015-09-04 | 2018-01-02 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
US10217286B1 (en) * | 2015-09-21 | 2019-02-26 | Amazon Technologies, Inc. | Realistic rendering for virtual reality applications |
KR102501752B1 (ko) * | 2015-09-21 | 2023-02-20 | 삼성전자주식회사 | 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치 |
CN105208370B (zh) * | 2015-09-23 | 2017-02-01 | 暴风集团股份有限公司 | 一种虚拟现实设备的显示校准方法 |
US20170090196A1 (en) * | 2015-09-28 | 2017-03-30 | Deere & Company | Virtual heads-up display application for a work machine |
US10401953B2 (en) * | 2015-10-26 | 2019-09-03 | Pillantas Inc. | Systems and methods for eye vergence control in real and augmented reality environments |
US9983709B2 (en) * | 2015-11-02 | 2018-05-29 | Oculus Vr, Llc | Eye tracking using structured light |
US9984507B2 (en) * | 2015-11-19 | 2018-05-29 | Oculus Vr, Llc | Eye tracking for mitigating vergence and accommodation conflicts |
WO2017090203A1 (ja) * | 2015-11-27 | 2017-06-01 | フォーブ インコーポレーテッド | 視線検出システム、注視点特定方法及び注視点特定プログラム |
US10444972B2 (en) | 2015-11-28 | 2019-10-15 | International Business Machines Corporation | Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries |
US10204451B2 (en) | 2015-11-30 | 2019-02-12 | Microsoft Technology Licensing, Llc | Multi-optical surface optical design |
JP6532393B2 (ja) | 2015-12-02 | 2019-06-19 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置及び表示制御方法 |
US10241569B2 (en) | 2015-12-08 | 2019-03-26 | Facebook Technologies, Llc | Focus adjustment method for a virtual reality headset |
US10445860B2 (en) | 2015-12-08 | 2019-10-15 | Facebook Technologies, Llc | Autofocus virtual reality headset |
CN105507931B (zh) * | 2015-12-11 | 2018-10-23 | 北京天地玛珂电液控制系统有限公司 | 一种采煤工作面支护机器人 |
CN105607256A (zh) * | 2016-01-04 | 2016-05-25 | 深圳市华星光电技术有限公司 | 智能穿戴装置 |
KR102524641B1 (ko) * | 2016-01-22 | 2023-04-21 | 삼성전자주식회사 | Hmd 디바이스 및 그 제어 방법 |
US11006101B2 (en) * | 2016-01-29 | 2021-05-11 | Hewlett-Packard Development Company, L.P. | Viewing device adjustment based on eye accommodation in relation to a display |
US11106276B2 (en) | 2016-03-11 | 2021-08-31 | Facebook Technologies, Llc | Focus adjusting headset |
CN105832503B (zh) * | 2016-03-17 | 2018-10-19 | 广东小天才科技有限公司 | 一种用于斜视矫正的画面输出方法及装置 |
CN115032795A (zh) * | 2016-03-22 | 2022-09-09 | 奇跃公司 | 被配置为交换生物测定信息的头戴式显示系统 |
KR20170111450A (ko) * | 2016-03-28 | 2017-10-12 | 삼성전자주식회사 | 보청장치, 휴대장치 및 그 제어방법 |
US10452227B1 (en) | 2016-03-31 | 2019-10-22 | United Services Automobile Association (Usaa) | System and method for data visualization and modification in an immersive three dimensional (3-D) environment |
US10379356B2 (en) | 2016-04-07 | 2019-08-13 | Facebook Technologies, Llc | Accommodation based optical correction |
WO2017177128A1 (en) * | 2016-04-08 | 2017-10-12 | The Trustees Of Columbia University In The City Of New York | Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface |
US20170336631A1 (en) * | 2016-05-18 | 2017-11-23 | Rockwell Collins, Inc. | Dynamic Vergence for Binocular Display Device |
US10429647B2 (en) | 2016-06-10 | 2019-10-01 | Facebook Technologies, Llc | Focus adjusting virtual reality headset |
CN107544661B (zh) * | 2016-06-24 | 2020-06-23 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US9773438B1 (en) | 2016-06-29 | 2017-09-26 | Meta Company | System and method for providing views of virtual content in an augmented reality environment |
US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
WO2020112986A1 (en) | 2018-11-27 | 2020-06-04 | Facebook Technologies, Inc. | Methods and apparatus for autocalibration of a wearable electrode sensor system |
US11216069B2 (en) * | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
KR102239686B1 (ko) * | 2016-08-04 | 2021-04-13 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 단일 깊이 추적 순응-수렴 솔루션 |
CN106226904A (zh) * | 2016-08-23 | 2016-12-14 | 刘永锋 | Vr眼镜电路 |
CA3034668C (en) * | 2016-08-26 | 2024-02-27 | Ivan YEOH | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
KR20180025797A (ko) * | 2016-09-01 | 2018-03-09 | 삼성전자주식회사 | 영상 스트리밍 방법 및 이를 지원하는 전자 장치 |
WO2018044073A1 (en) * | 2016-09-01 | 2018-03-08 | Samsung Electronics Co., Ltd. | Image streaming method and electronic device for supporting the same |
KR20180028796A (ko) * | 2016-09-09 | 2018-03-19 | 삼성전자주식회사 | 이미지 표시 방법, 저장 매체 및 전자 장치 |
CN106412563A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
US20180095635A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
WO2018076202A1 (zh) * | 2016-10-26 | 2018-05-03 | 中国科学院深圳先进技术研究院 | 能够进行人眼追踪的头戴式可视设备及人眼追踪方法 |
CN107991775B (zh) * | 2016-10-26 | 2020-06-05 | 中国科学院深圳先进技术研究院 | 能够进行人眼追踪的头戴式可视设备及人眼追踪方法 |
CN106774821B (zh) * | 2016-11-08 | 2020-05-19 | 广州视源电子科技股份有限公司 | 基于虚拟现实技术的显示方法和系统 |
CN106405843A (zh) * | 2016-11-24 | 2017-02-15 | 天津临境科技有限公司 | 投射型vr眼镜 |
EP3549095B1 (en) * | 2016-11-30 | 2022-02-16 | Novasight Ltd. | Methods and devices for displaying image with changed field of view |
TWI632395B (zh) * | 2016-12-27 | 2018-08-11 | 廣達電腦股份有限公司 | 虛擬實境裝置以及其畫面產生方法 |
US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
CN106710002A (zh) * | 2016-12-29 | 2017-05-24 | 深圳迪乐普数码科技有限公司 | 基于观察者视角定位的ar实现方法及其系统 |
EP3343267B1 (en) | 2016-12-30 | 2024-01-24 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
US20180190282A1 (en) * | 2016-12-30 | 2018-07-05 | Qualcomm Incorporated | In-vehicle voice command control |
US10310598B2 (en) | 2017-01-17 | 2019-06-04 | Facebook Technologies, Llc | Varifocal head-mounted display including modular air spaced optical assembly |
US10679366B1 (en) | 2017-01-30 | 2020-06-09 | Facebook Technologies, Llc | High speed computational tracking sensor |
US10485420B2 (en) | 2017-02-17 | 2019-11-26 | Analog Devices Global Unlimited Company | Eye gaze tracking |
IL310618A (en) | 2017-03-22 | 2024-04-01 | Magic Leap Inc | A variable focus display system with a dynamic field of view |
CN106880475A (zh) * | 2017-03-23 | 2017-06-23 | 郑州诚优成电子科技有限公司 | 头戴式虚拟现实视力训练装置 |
US9754397B1 (en) * | 2017-04-07 | 2017-09-05 | Mirage Worlds, Inc. | Systems and methods for contextual augmented reality sharing and performance |
CN107247511B (zh) * | 2017-05-05 | 2019-07-16 | 浙江大学 | 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置 |
US10845955B2 (en) | 2017-05-15 | 2020-11-24 | Apple Inc. | Displaying a scrollable list of affordances associated with physical activities |
WO2018213131A1 (en) * | 2017-05-18 | 2018-11-22 | Pcms Holdings, Inc. | System and method for distributing and rendering content as spherical video and 3d asset combination |
CN107315470B (zh) * | 2017-05-25 | 2018-08-17 | 腾讯科技(深圳)有限公司 | 图形处理方法、处理器和虚拟现实系统 |
US11116415B2 (en) * | 2017-06-07 | 2021-09-14 | Bragi GmbH | Use of body-worn radar for biometric measurements, contextual awareness and identification |
US10810773B2 (en) * | 2017-06-14 | 2020-10-20 | Dell Products, L.P. | Headset display control based upon a user's pupil state |
CN107193127A (zh) * | 2017-06-27 | 2017-09-22 | 北京数科技有限公司 | 一种成像方法及穿戴式设备 |
CN107229340B (zh) * | 2017-06-29 | 2020-04-24 | 联想(北京)有限公司 | 一种信息处理方法以及电子设备 |
CN107463251B (zh) * | 2017-07-13 | 2020-12-22 | 咪咕音乐有限公司 | 一种信息处理方法、装置、系统和存储介质 |
US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
KR20200035003A (ko) * | 2017-07-27 | 2020-04-01 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법, 및 프로그램 |
US10489648B2 (en) * | 2017-08-04 | 2019-11-26 | Facebook Technologies, Llc | Eye tracking using time multiplexing |
US11099540B2 (en) | 2017-09-15 | 2021-08-24 | Kohler Co. | User identity in household appliances |
US10448762B2 (en) | 2017-09-15 | 2019-10-22 | Kohler Co. | Mirror |
US11093554B2 (en) | 2017-09-15 | 2021-08-17 | Kohler Co. | Feedback for water consuming appliance |
US10887125B2 (en) | 2017-09-15 | 2021-01-05 | Kohler Co. | Bathroom speaker |
CN111052046B (zh) | 2017-09-29 | 2022-06-03 | 苹果公司 | 使用现实界面访问外部设备的功能 |
CN107682690A (zh) * | 2017-10-19 | 2018-02-09 | 京东方科技集团股份有限公司 | 自适应视差调节方法和虚拟现实vr显示系统 |
EP4270209A3 (en) | 2017-10-26 | 2023-11-22 | Druva Inc. | Deduplicated merged indexed object storage file system |
CN109725418B (zh) * | 2017-10-30 | 2020-10-16 | 华为技术有限公司 | 显示设备、用于调整显示设备的图像呈现的方法及装置 |
US11138301B1 (en) * | 2017-11-20 | 2021-10-05 | Snap Inc. | Eye scanner for user identification and security in an eyewear device |
US10729389B2 (en) * | 2017-11-28 | 2020-08-04 | Hillel Sarel MARESKY | 3D assessment of conjugant eye deviation for the identificaiton of acute ischemic stroke |
JP2021506052A (ja) * | 2017-12-07 | 2021-02-18 | アイフリー アシスティング コミュニケ−ション リミテッドEyeFree Assisting Communication Ltd. | コミュニケーション方法及びシステム |
EP3721270B1 (en) | 2017-12-10 | 2024-04-10 | Magic Leap, Inc. | Anti-reflective coatings on optical waveguides |
JP7171727B2 (ja) | 2017-12-20 | 2022-11-15 | ビュージックス コーポレーション | 拡張現実ディスプレイシステム |
AU2018392482A1 (en) | 2017-12-20 | 2020-07-02 | Magic Leap, Inc. | Insert for augmented reality viewing device |
US10989921B2 (en) * | 2017-12-29 | 2021-04-27 | Letinar Co., Ltd. | Augmented reality optics system with pinpoint mirror |
EP3741109B1 (en) * | 2018-01-17 | 2024-04-24 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US11567573B2 (en) | 2018-09-20 | 2023-01-31 | Meta Platforms Technologies, Llc | Neuromuscular text entry, writing and drawing in augmented reality systems |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
US11194161B2 (en) | 2018-02-09 | 2021-12-07 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
US11556741B2 (en) | 2018-02-09 | 2023-01-17 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
US10564716B2 (en) | 2018-02-12 | 2020-02-18 | Hong Kong Applied Science and Technology Research Institute Company Limited | 3D gazing point detection by binocular homography mapping |
US10521013B2 (en) * | 2018-03-01 | 2019-12-31 | Samsung Electronics Co., Ltd. | High-speed staggered binocular eye tracking systems |
DK180241B1 (en) * | 2018-03-12 | 2020-09-08 | Apple Inc | User interfaces for health monitoring |
DE102018105917A1 (de) | 2018-03-14 | 2019-09-19 | tooz technologies GmbH | Verfahren zur benutzerindividuellen Kalibrierung einer auf den Kopf eines Benutzers aufsetzbaren Anzeigevorrichtung für eine augmentierte Darstellung |
EP3766039B1 (en) * | 2018-03-15 | 2024-08-14 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
US10504288B2 (en) | 2018-04-17 | 2019-12-10 | Patrick Piemonte & Ryan Staake | Systems and methods for shared creation of augmented reality |
US11029521B2 (en) * | 2018-04-24 | 2021-06-08 | Apple Inc. | Head-mounted device with an adjustable opacity system |
US11372243B2 (en) * | 2018-04-28 | 2022-06-28 | Almalence, Inc. | Optical hybrid reality system having digital correction of aberrations |
CN108592865A (zh) * | 2018-04-28 | 2018-09-28 | 京东方科技集团股份有限公司 | 基于ar设备的几何量测量方法及其装置、ar设备 |
WO2019211741A1 (en) | 2018-05-02 | 2019-11-07 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
US11317833B2 (en) | 2018-05-07 | 2022-05-03 | Apple Inc. | Displaying user interfaces associated with physical activities |
DK179992B1 (en) | 2018-05-07 | 2020-01-14 | Apple Inc. | DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES |
CN110488489B (zh) * | 2018-05-15 | 2022-10-11 | 苹果公司 | 用于头戴式壳体的眼睛登记 |
US12076495B2 (en) | 2018-05-23 | 2024-09-03 | Luminopia, Inc. | Visual disorder treatment |
CN112601975B (zh) | 2018-05-31 | 2024-09-06 | 奇跃公司 | 雷达头部姿势定位 |
US10825424B2 (en) | 2018-06-05 | 2020-11-03 | Magic Leap, Inc. | Homography transformation matrices based temperature calibration of a viewing system |
KR20210025020A (ko) * | 2018-07-02 | 2021-03-08 | 스토워스 인스티튜트 포 메디컬 리서치 | 의사 이미지들을 이용한 얼굴 이미지 인식 |
US11579441B2 (en) | 2018-07-02 | 2023-02-14 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
US11510027B2 (en) | 2018-07-03 | 2022-11-22 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
TWI697348B (zh) * | 2018-07-05 | 2020-07-01 | 宏碁股份有限公司 | 立體顯示系統與立體顯示方法 |
WO2020023545A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
US11624929B2 (en) | 2018-07-24 | 2023-04-11 | Magic Leap, Inc. | Viewing device with dust seal integration |
CN112740665A (zh) | 2018-08-02 | 2021-04-30 | 奇跃公司 | 基于头部运动的瞳孔间距离补偿的观察系统 |
CN116820239A (zh) | 2018-08-03 | 2023-09-29 | 奇跃公司 | 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正 |
JP7487176B2 (ja) | 2018-08-22 | 2024-05-20 | マジック リープ, インコーポレイテッド | 患者視認システム |
CN109522789A (zh) * | 2018-09-30 | 2019-03-26 | 北京七鑫易维信息技术有限公司 | 应用于终端设备的眼球追踪方法、装置以及系统 |
US10718942B2 (en) | 2018-10-23 | 2020-07-21 | Microsoft Technology Licensing, Llc | Eye tracking systems and methods for near-eye-display (NED) devices |
US10855979B2 (en) | 2018-10-23 | 2020-12-01 | Microsoft Technology Licensing, Llc | Interpreting eye gaze direction as user input to near-eye-display (NED) devices for enabling hands free positioning of virtual items |
US10838490B2 (en) | 2018-10-23 | 2020-11-17 | Microsoft Technology Licensing, Llc | Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices |
US10996746B2 (en) | 2018-10-23 | 2021-05-04 | Microsoft Technology Licensing, Llc | Real-time computational solutions to a three-dimensional eye tracking framework |
US10852823B2 (en) * | 2018-10-23 | 2020-12-01 | Microsoft Technology Licensing, Llc | User-specific eye tracking calibration for near-eye-display (NED) devices |
EP3881279A4 (en) | 2018-11-16 | 2022-08-17 | Magic Leap, Inc. | IMAGE SIZE-TRIGGERED CLARIFICATION TO MAINTAIN IMAGE SHARPNESS |
US11766296B2 (en) | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
TWI688254B (zh) | 2018-12-11 | 2020-03-11 | 宏碁股份有限公司 | 立體顯示裝置及其參數校正方法 |
WO2020132484A1 (en) | 2018-12-21 | 2020-06-25 | Magic Leap, Inc. | Air pocket structures for promoting total internal reflection in a waveguide |
US11537202B2 (en) | 2019-01-16 | 2022-12-27 | Pupil Labs Gmbh | Methods for generating calibration data for head-wearable devices and eye tracking system |
WO2020163603A1 (en) | 2019-02-06 | 2020-08-13 | Magic Leap, Inc. | Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors |
US11070778B2 (en) * | 2019-02-14 | 2021-07-20 | Facebook Technologies, Llc | Multi-projector display architecture |
SE543332C2 (en) | 2019-02-19 | 2020-12-01 | Tobii Ab | Method, computer program and head mountable arrangement for assisting a subject to acquire spatial information about an environment |
CN109938705B (zh) * | 2019-03-06 | 2022-03-29 | 智美康民(珠海)健康科技有限公司 | 三维脉波的显示方法、装置、计算机设备及存储介质 |
CN109907741B (zh) * | 2019-03-06 | 2022-04-01 | 智美康民(珠海)健康科技有限公司 | 三维脉波的显示方法、装置、计算机设备及存储介质 |
WO2020185405A1 (en) | 2019-03-12 | 2020-09-17 | Magic Leap, Inc. | Registration of local content between first and second augmented reality viewers |
WO2020185219A1 (en) | 2019-03-13 | 2020-09-17 | Hewlett-Packard Development Company, L.P. | Detecting eye tracking calibration errors |
JP6943913B2 (ja) * | 2019-03-18 | 2021-10-06 | Necプラットフォームズ株式会社 | 情報表示システムおよびウェアラブルデバイス |
CN111757089A (zh) * | 2019-03-29 | 2020-10-09 | 托比股份公司 | 利用眼睛的瞳孔增强调节来渲染图像的方法和系统 |
CN117590582A (zh) | 2019-04-11 | 2024-02-23 | 三星电子株式会社 | 头戴式显示设备及其操作方法 |
KR20200120466A (ko) * | 2019-04-11 | 2020-10-21 | 삼성전자주식회사 | 헤드 마운트 디스플레이 장치 및 그 동작방법 |
US11445232B2 (en) | 2019-05-01 | 2022-09-13 | Magic Leap, Inc. | Content provisioning system and method |
US11749018B1 (en) | 2019-05-28 | 2023-09-05 | Apple Inc. | Eye enrollment for head-mounted enclosure |
US11228835B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | User interfaces for managing audio exposure |
DK201970534A1 (en) | 2019-06-01 | 2021-02-16 | Apple Inc | User interfaces for monitoring noise exposure levels |
US11234077B2 (en) | 2019-06-01 | 2022-01-25 | Apple Inc. | User interfaces for managing audio exposure |
US11209957B2 (en) | 2019-06-01 | 2021-12-28 | Apple Inc. | User interfaces for cycle tracking |
US11152100B2 (en) | 2019-06-01 | 2021-10-19 | Apple Inc. | Health application user interfaces |
CN113939760A (zh) * | 2019-06-03 | 2022-01-14 | 维耶尔公司 | 非侵入性头戴式设备 |
EP3979896A1 (en) | 2019-06-05 | 2022-04-13 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
US20220198789A1 (en) * | 2019-06-18 | 2022-06-23 | Pupil Labs Gmbh | Systems and methods for determining one or more parameters of a user's eye |
EP3760157A1 (en) * | 2019-07-04 | 2021-01-06 | Scopis GmbH | Technique for calibrating a registration of an augmented reality device |
US12002588B2 (en) | 2019-07-17 | 2024-06-04 | Apple Inc. | Health event logging and coaching user interfaces |
US11514673B2 (en) | 2019-07-26 | 2022-11-29 | Magic Leap, Inc. | Systems and methods for augmented reality |
US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
EP4025990A1 (en) | 2019-09-05 | 2022-07-13 | Dolby Laboratories Licensing Corporation | Viewer synchronized illumination sensing |
EP4004702A1 (en) | 2019-09-09 | 2022-06-01 | Apple Inc. | Research study user interfaces |
JP2023501574A (ja) | 2019-11-14 | 2023-01-18 | マジック リープ, インコーポレイテッド | 仮想および拡張現実のためのシステムおよび方法 |
JP2023502927A (ja) | 2019-11-15 | 2023-01-26 | マジック リープ, インコーポレイテッド | 外科手術環境において使用するための視認システム |
US11709546B1 (en) * | 2019-11-25 | 2023-07-25 | Robert Edwin Douglas | Visualization of images via an enhanced eye tracking system |
PL3839411T3 (pl) * | 2019-12-17 | 2023-12-27 | John Cockerill Defense SA | Inteligentny układ sterowania funkcjami wieży pojazdu bojowego |
US11382712B2 (en) | 2019-12-22 | 2022-07-12 | Augmedics Ltd. | Mirroring in image guided surgery |
CN110989166A (zh) | 2019-12-25 | 2020-04-10 | 歌尔股份有限公司 | 一种近眼显示设备的眼球追踪系统及近眼显示设备 |
CN111401921B (zh) * | 2020-03-05 | 2023-04-18 | 成都威爱新经济技术研究院有限公司 | 一种基于虚拟人的远程客服方法 |
US11366531B2 (en) * | 2020-04-29 | 2022-06-21 | Science House LLC | Systems, methods, and apparatus for enhanced peripherals |
DK181037B1 (en) | 2020-06-02 | 2022-10-10 | Apple Inc | User interfaces for health applications |
US11698710B2 (en) | 2020-08-31 | 2023-07-11 | Apple Inc. | User interfaces for logging user activities |
US11630556B2 (en) * | 2020-09-16 | 2023-04-18 | Kyndryl, Inc. | Finger control of wearable devices |
US20220104959A1 (en) * | 2020-10-07 | 2022-04-07 | Jay Curtis Beavers | Systems, methods, and techniques for eye gaze control of seat and bed positioning |
US20230412792A1 (en) * | 2020-10-19 | 2023-12-21 | Hewlett-Packard Development Company, L.P. | Rendering format selection based on virtual distance |
DE102020215285A1 (de) | 2020-12-03 | 2022-06-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Parallaxeregelung und binokulare Datenbrille mit einer Recheneinheit zu einem Durchführen des Verfahrens |
KR20220136561A (ko) * | 2021-03-31 | 2022-10-11 | 삼성디스플레이 주식회사 | 표시 장치 및 표시 장치 제어 방법 |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
US11896445B2 (en) | 2021-07-07 | 2024-02-13 | Augmedics Ltd. | Iliac pin and adapter |
KR20230040438A (ko) | 2021-09-15 | 2023-03-23 | 삼성디스플레이 주식회사 | 표시 장치 |
SE545378C2 (en) * | 2021-12-30 | 2023-07-25 | Tobii Ab | Method and system for determining a current gaze direction |
WO2024057210A1 (en) | 2022-09-13 | 2024-03-21 | Augmedics Ltd. | Augmented reality eyewear for image-guided medical intervention |
US20240103618A1 (en) * | 2022-09-23 | 2024-03-28 | Apple Inc. | Corrected Gaze Direction and Origin |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6449309B1 (en) * | 1996-03-12 | 2002-09-10 | Olympus Optical Co., Ltd. | Stereoscopic display that controls binocular parallax between two images and controls image reconstitution according to parallax data |
US6545650B1 (en) * | 1998-06-23 | 2003-04-08 | Nec Corporation | Apparatus for three-dimensionally displaying object and method of doing the same |
CN102200641A (zh) * | 2010-03-24 | 2011-09-28 | 奥林巴斯株式会社 | 头戴式显示设备 |
CN102540464A (zh) * | 2010-11-18 | 2012-07-04 | 微软公司 | 提供环绕视频的头戴式显示设备 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0968670A (ja) * | 1995-08-31 | 1997-03-11 | Olympus Optical Co Ltd | 頭部装着型映像表示装置 |
US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
WO2005093687A1 (ja) * | 2004-03-26 | 2005-10-06 | Atsushi Takahashi | 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム |
JP4270347B2 (ja) * | 2005-12-26 | 2009-05-27 | オリンパス株式会社 | 距離演算装置 |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
EP2042079B1 (en) * | 2006-07-14 | 2010-10-20 | Panasonic Corporation | Visual axis direction detection device and visual line direction detection method |
US8295546B2 (en) * | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
US20110117530A1 (en) * | 2009-05-07 | 2011-05-19 | Technion Research & Development Foundation Ltd. | Method and system of simulating physical object incisions, deformations and interactions therewith |
US20110075257A1 (en) | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
US20120188279A1 (en) * | 2009-09-29 | 2012-07-26 | Kent Demaine | Multi-Sensor Proximity-Based Immersion System and Method |
TWI561941B (en) * | 2010-04-01 | 2016-12-11 | Seereal Technologies Sa | Method and device for encoding three-dimensional scenes which include transparent objects in a holographic system |
KR101729023B1 (ko) | 2010-10-05 | 2017-04-21 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
CA2750287C (en) | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
US20130088413A1 (en) * | 2011-10-05 | 2013-04-11 | Google Inc. | Method to Autofocus on Near-Eye Display |
TW201320717A (zh) * | 2011-11-08 | 2013-05-16 | Unique Instr Co Ltd | 一種三次元影像顯示之方法 |
US20130137076A1 (en) * | 2011-11-30 | 2013-05-30 | Kathryn Stone Perez | Head-mounted display based education and instruction |
US8824779B1 (en) * | 2011-12-20 | 2014-09-02 | Christopher Charles Smyth | Apparatus and method for determining eye gaze from stereo-optic views |
US20130342572A1 (en) * | 2012-06-26 | 2013-12-26 | Adam G. Poulos | Control of displayed content in virtual environments |
-
2013
- 2013-09-02 IN IN682KON2015 patent/IN2015KN00682A/en unknown
- 2013-09-02 EP EP13756161.9A patent/EP2893388B1/en active Active
- 2013-09-02 CN CN201380045737.9A patent/CN104603673B/zh active Active
- 2013-09-02 US US14/439,553 patent/US9380287B2/en active Active
- 2013-09-02 WO PCT/EP2013/068113 patent/WO2014033306A1/en active Application Filing
- 2013-09-02 JP JP2015529048A patent/JP5887026B2/ja active Active
-
2016
- 2016-05-25 US US15/164,489 patent/US20160267708A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6449309B1 (en) * | 1996-03-12 | 2002-09-10 | Olympus Optical Co., Ltd. | Stereoscopic display that controls binocular parallax between two images and controls image reconstitution according to parallax data |
US6545650B1 (en) * | 1998-06-23 | 2003-04-08 | Nec Corporation | Apparatus for three-dimensionally displaying object and method of doing the same |
CN102200641A (zh) * | 2010-03-24 | 2011-09-28 | 奥林巴斯株式会社 | 头戴式显示设备 |
CN102540464A (zh) * | 2010-11-18 | 2012-07-04 | 微软公司 | 提供环绕视频的头戴式显示设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11892811B2 (en) | 2017-09-15 | 2024-02-06 | Kohler Co. | Geographic analysis of water conditions |
Also Published As
Publication number | Publication date |
---|---|
EP2893388A1 (en) | 2015-07-15 |
US20160267708A1 (en) | 2016-09-15 |
JP2016502120A (ja) | 2016-01-21 |
EP2893388B1 (en) | 2016-08-03 |
JP5887026B2 (ja) | 2016-03-16 |
IN2015KN00682A (zh) | 2015-07-17 |
US20150288944A1 (en) | 2015-10-08 |
WO2014033306A1 (en) | 2014-03-06 |
CN104603673A (zh) | 2015-05-06 |
US9380287B2 (en) | 2016-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104603673B (zh) | 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 | |
US10231614B2 (en) | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance | |
US11567336B2 (en) | Display systems and methods for determining registration between display and eyes of user | |
US9370302B2 (en) | System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment | |
Shih et al. | A novel approach to 3-D gaze tracking using stereo cameras | |
US9895057B2 (en) | Functional vision testing using light field displays | |
KR102182605B1 (ko) | 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들 | |
EP1691670B1 (en) | Method and apparatus for calibration-free eye tracking | |
US20170092007A1 (en) | Methods and Devices for Providing Enhanced Visual Acuity | |
CN112805659A (zh) | 通过用户分类为多深度平面显示系统选择深度平面 | |
US11822718B2 (en) | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes | |
CN111603134B (zh) | 眼球运动测试的装置及方法 | |
CN115053270A (zh) | 用于基于用户身份来操作头戴式显示系统的系统和方法 | |
US11774759B2 (en) | Systems and methods for improving binocular vision | |
CN107260506B (zh) | 基于眼动的3d视觉训练系统、智能终端及头戴设备 | |
KR102219659B1 (ko) | 가상현실 기반의 눈 건강 측정방법 및 그 시스템 | |
JP2017191546A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
CN113138664A (zh) | 基于光场感知的眼球追踪系统、方法 | |
Hammoud et al. | Introduction to eye monitoring | |
CN116324610A (zh) | 改善视网膜损伤患者视力的系统与方法 | |
US20200034980A1 (en) | Motion parallax in object recognition | |
JP7556582B2 (ja) | 両眼視を改善するためのシステムおよび方法 | |
Vora et al. | Gaze-contingent Screen Adjustment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190605 Address after: American California Patentee after: Apple Computer, Inc. Address before: German Pavilion Patentee before: Sensomotoric Instruments GmbH |