CN104603673A - 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 - Google Patents

头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 Download PDF

Info

Publication number
CN104603673A
CN104603673A CN201380045737.9A CN201380045737A CN104603673A CN 104603673 A CN104603673 A CN 104603673A CN 201380045737 A CN201380045737 A CN 201380045737A CN 104603673 A CN104603673 A CN 104603673A
Authority
CN
China
Prior art keywords
head
processing unit
eye
mounted system
designed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380045737.9A
Other languages
English (en)
Other versions
CN104603673B (zh
Inventor
沃尔特·尼斯迪克
简·霍夫曼
埃伯哈德·施密特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH filed Critical SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Publication of CN104603673A publication Critical patent/CN104603673A/zh
Application granted granted Critical
Publication of CN104603673B publication Critical patent/CN104603673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Abstract

本发明涉及一种头戴式系统(10)，其包括双眼追踪系统(14a，14b)、头戴式显示器(10)和处理单元(24，24a，24b)，所述双眼追踪系统(14a，14b)包括设置为捕获使用者的左眼(16a)的至少第一摄像机(14a)和设置为捕获使用者的右眼(16b)的至少第二摄像机(14b)；所述头戴式显示器(10)包括用于将图像展示给使用者的左眼(16a)的第一显示装置(18a)、用于将图像展示给使用者的右眼(16b)的第二显示装置(18b)；所述处理单元(24，24a，24b)被设计为处理来自眼睛追踪系统(14a，14b)的图像并且至少计算左眼(16a)和右眼(16b)的3D位置以及左眼(16a)和右眼(16b)的定向向量；并且计算和渲染将通过头戴式显示器被投影至使用者的左眼和右眼(16a，16b)上的数字图像流；其中处理单元(24，24a，24b)进一步被设计为在计算和渲染所述数字图像流时考虑左眼和右眼(16a，16b)的3D位置以及左眼和右眼(16a，16b)的定向。本发明进一步涉及一种使用头戴式显示器计算和渲染数字图像流的方法。

Description

头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
技术领域
本发明涉及一种包括双眼追踪系统的头戴式系统，该双眼追踪系统包括设置为用于捕获使用者的左眼的至少一个第一照相机、设置为用于捕获使用者的右眼的第二照相机。该头戴式系统还包括头戴式显示器，该头戴式显示器包括用于给使用者的左眼展示图像的第一显示装置和用于给使用者的右眼展示图像的第二显示装置。该头戴式系统还包括处理单元，该处理单元被设计为处理来自眼睛追踪系统的图像并且至少计算左眼和右眼的3D位置和左眼和右眼的定向向量。处理单元还被设计为计算和渲染将通过头戴式显示器方式被投影至使用者的左眼和右眼上的数字图像流。本发明还涉及一种使用这样的头戴式系统计算和渲染数字图像流的方法。
背景技术
这样的头戴式系统被用于作眼睛追踪、眼睛运动学、生物统计学以及位置和运动测量，以在自由范围的运动设置中尽可能完全地测量和分类人类行为。
US 2012/0179369描述了一种使用头戴式装置(HMD)并且包括处理器的个人导航装置。其使用头部方向和便携式坐标定位传感器(GPS)。US 8,004,765描述了一种光学装置，该光学装置具有第一光线传输基片、具有至少两个主表面的透明层，在该主表面处，光波通过全内反射传输。US 7,672,055描述了一种光学装置，该光学装置包括光线传输基片，该光学传输基片具有彼此平行且平行于边缘的至少两个主表面、用于耦合通过内反射位于进入所述基片的视场中的光波的第一光学元件、和用于耦合在所述基片外的所述被捕获的光波的第二光学元件，其中所述主表面的至少一个涂覆有角度敏感涂层。从US 2010/0171680已知两个单元的光电系统，包括HMD和分离控制单元，其通过窄频带无线信道通信。US 8,189,263描述了一种用于HMD的光学设备，包括波导、耦合输入镜的一维数组和耦合输出镜的二维数字。US 6,433,760描述了整合头戴式显示器和眼睛追踪装置的装置。它提出了一种非常具体的眼睛追踪技术，该眼睛追踪技术使用四个光源以产生四个闪光、眼睛追踪器和通过使用分光器共享相同的光路的HMD投影机构。US 4,958,925教导了使用一对正交的光线发射元件和光线检测元件的眼睛运动检测。US 5,331,149描述了显示器与光电探测器阵列的组合。光线发射和光线检测元件位于同一位置并且朝眼睛发射以及从眼睛反射的光线共享相同的光路。该显示器可被头盔式地安装。US7,783,077教导了用于追踪操作者的眼睛的运动的方法，包括视线记录仪、处理装置、定制模板，该定制模板与包括形状、尺寸和照度的所述眼睛的至少一部分类似。WO 2011/156195涉及包括被构造为将被穿戴在使用者头上的项目的头戴式显示单元的语音产生装置，该头戴式显示单元包括用于在使用者的视场内显示一个或多个图像的显示装置、用于产生音频输出的扬声器、和通信地连接至头戴式显示单元和扬声器的处理单元。眼睛追踪是可选的并且可仅用作控制语音产生的光标。US 7,522,344教导了具有眼睛追踪的基于投影的头戴式显示装置。它使用多个光源以照亮眼睛并且产生多边形的多个闪光、明暗的瞳孔交替、镜片以为头戴式显示器路径和眼睛追踪器路径提供光路、定位在眼睛追踪器路径中以反射红外光并且经由接口传输可见光至外部控制器的第一和第二热镜。它涉及一个特定的技术方案，在该技术方案中，HMD和眼睛追踪(ET)装置共享相同的光路，用于将图像朝向眼睛投影并且观察眼睛以作眼睛追踪。这个技术使用热镜并且交替离轴(off-axis)/同轴(on-axis)照明以实现明暗瞳孔效果，以便检测。从US 8,235,529已知用于组合HMD和ET的另一种装置。它描述了通过显示平滑移动的对象并且追踪眼睛路径而在“激活的”大功率运行模式与“锁定的”低功率状态之间切换装置的方法，所述眼睛路径必须大体上跟随移动的对象以“解锁”装置并且切换模式。该匹配通过确定偏移、缩放比例和旋转调整还被用来校正由眼睛追踪器计算的视轨迹的转变。EP2 499 962 A1涉及一种护目镜形式的头戴式眼睛追踪装置。它不包括HMD。
US 8,130,260 B2公开了一种用于3D显示的系统，其包括具有第一和第二接目镜套筒的至少一个接目镜(eye piece)，具有包含在与第一眼睛关联的所述第一接目镜套筒中的第一显示器、被安装以使得第一视线记录仪(eye camera)追踪所述第一眼睛的眼睛参考点和第二视线记录仪追踪第二眼睛的参考点的两个视线记录仪、用于提供所述至少一个接目镜的总体控制的处理器、第二显示器、和主处理器。信号在所述主处理器和所述至少一个接目镜之间传递，其中所述两个视线记录仪追踪所述参考点，所述接目镜收发器通过所述主收发器传送所述参考点至主处理器。所述主处理器基于所述参考点产生图像数据并且传送所述图像数据至所述显示器以产生3D图像。这个文件已经被用来构成本申请的独立权利要求的前序部分。
US 2010/0322479 A1涉及用于3D目标定位的系统和方法。由此，使用两个或多个摄像机在三维空间中对目标成像。使用立体显示将与两个或多个摄像机中的两个摄像机组合的3D图像空间显示给使用者。随着使用者在立体视频显示中观察到目标，使用者的右眼和左眼被成像，右眼的右视线和左眼的左视线在3D图像空间中被计算，并且使用双眼追踪器将3D图像空间的注视点计算为右视线和左视线的交叉点。通过使用处理器将3D图像空间中的注视点从两个摄像机的定位和位置转换为3D真实空间中的真实目标定位，确定真实的目标定位。从US 2009/0189974 A1中已知使用眼戴式显示器的系统。该文件教导了安装在眼睛上和/或安装在眼睛内的显示装置。该眼戴式显示器包含多个子显示器，每一个子显示器投影光线至位于与所述子显示器对应的视网膜的一部分内的不同视网膜位置。投影的光线穿过瞳孔传播但不充满整个瞳孔。以此方式，多个子显示器可以投影它们的光线至视网膜的相关部分上。从瞳孔移动至角膜，瞳孔在角膜上的投影被称为角膜孔。投影的光线通过小于全部的角膜孔传播。子显示器在角膜表面处使用空间多路法。各种电子装置接口连接至眼戴式显示器。US2012/0200676 A1涉及一种混合立体图像/运动视差系统，该系统使用用于给观察者的每一个眼睛展示不同图像的立体3D视觉技术结合运动视差技术，来调整用于观察者的眼睛的位置的每一个图像。以此方式，随着视野移动同时观察3D场景，观察者接收立体提示(cue)和视差提示(cue)，其易于对观察者带来更大的视觉舒适性/更小的疲劳。还描述了用于追踪观察者位置的护目镜的使用，其包括训练计算机视觉算法以识别护目镜而不是仅为头/眼睛。
另外的相关现有技术从下面的出版物中被已知：出版在Proceedings ofthe SIGCHI conference on Human Factors in Computing Systems in 2000中的、Vildan Tanriverdi和Robert J.K.Jacob的“Interacting with eyemovements in virtual environments”，出版在ETRA’00Proceedings of the2000symposium on Eye tracking research&applications in 2000中的、Andrew T.Duchowsky，Vinay Shivashankaraiah和Tim Rawls的“Binoculareye tracking in virtual reality for inspection training”。the Maersk McKinneyMoiler Institute of University of Southern Denmark of June 1，2012的MortenLidegaard的题为“Development of a head mounted device for point-of-gazeestimation in three dimensions”的硕士论文以及出版在Virtual Environmentsand Advanced Interface Design in 1995中的Robert J.K.Jacob的题为“Eyetracking in advanced interface design”的文章。
发明内容
本发明的目的是进一步增强权利要求1的前序部分中所述的头戴式系统的性能。以此相同的方式，本发明的进一步的目的是提供改进的方法，以使用头戴式系统计算和渲染数字图像流。
通过具有权利要求1的特征的头戴式系统和具有权利要求27的特征的计算和渲染数字图像流的方法来实现这些目的。
本发明基于发现已知的头戴式系统假设人眼睛的标准固定位置以渲染这个标准的人将会看见的图像。然而，眼内距离和眼睛相对于鼻子的位置存在明显的个体差异。一些现有系统试图使用一些类型的手动校正程序对其进行改进，然而其既不准确又耗时。基于此，在根据本发明的头戴式系统中，处理单元被进一步设计为在计算和渲染数字图像流时考虑左眼和右眼的3D位置以及左眼和右眼的方向。这个信息由双眼追踪系统提供。这样做了后，处理单元提供的数字图像可以准确地适应个人的眼内距离和眼睛相对于鼻子的位置地被计算和渲染。结果，用于虚拟现实3D场景的左/右图像渲染的虚拟视点的3D位置与双眼追踪系统测量的使用者眼睛的准确位置(代替现有装置中的标准的固定的或手动校正的眼内距离)相匹配。这减小了压力和头晕并且改进了深度知觉。
在优选的实施例中，头戴式系统包括穿戴装置，并且处理单元机械地连接至所述穿戴装置上。当穿戴装置进一步设置有例如电池或蓄电池的能量存储器时，对于使用者而言实现了非常高的自由度。
代替地，头戴式系统可以包括穿戴装置和机械地连接至所述穿戴装置上的数据接口，处理单元与数据接口连接，特别是有线地或无线地连接。以此方式，根据本发明的头戴式系统可以使用或进入大型计算单元，其相应地提供了大型计算能力并且还被如此设计以使得被使用者简单地穿戴并且没有损伤。通过与大型处理单元连接，本发明需要的计算可以以特定的速度和精度被执行。
特别优选的实施例的特征在于头戴式系统包括光导装置，该光导装置用于将图像投影至所述使用者的眼睛上，与所述眼睛追踪系统使用的光路相比，其沿着基本上分开的光路。基于不同的光路，特别是与深瞳技术联系起来，实现了一个优点：不需要分束器，并且增强了光线传输，在图像中实现了更好的信噪比。
当处理单元被设计为使用左眼和右眼的3D眼睛位置以及左眼和右眼的定向向量计算使用者正固着的注视点的3D位置，特别是注视点的3D位置和至每一个眼睛的距离时，已经证明是有利的。这使得能够确定场景的哪个部分必须被渲染为聚焦(焦点对准)以及哪个部分被渲染为未聚焦(焦点未对准)。而且，其为下面将进一步详细描述的GUI激活机制的一部分。基于此，因为本发明准确地适应每一个个体，所以它可以提供增强的景深感觉。
有利地，处理装置被设计为将注视点的3D位置估计为由左眼和右眼的被计算的3D位置和定向向量限定的左向和右向光线之间的最近点。通过已知注视点，本系统可以适应每一个个人。就这一点而言，当处理单元被设计为通过映射函数、尤其是通过施加偏移量、线性变换或非线性变换来过滤左眼和右眼方向的光线是有利的。
当映射函数是为特定使用者校正头戴式系统的校正程序的结果时，已经证明是特别有利的。就这一点而言，处理单元可以被设计为，通过借助所述头戴式显示器向使用者显示将被固着的虚拟刺激源，特别是虚拟目标，并且通过确定在一方面由左眼和右眼的3D位置和定向向量计算的注视点与另一方面所述虚拟刺激源的位置之间的差异，实施所述校正程序。
在这一点上，处理单元可以被设计为使所述虚拟目标(和/或刺激源)沿预定的或随机的路径移动。或者，处理单元可以被设计为，通过随着时间连续地计算在一方面由左眼和右眼的3D位置和定向向量计算的注视点与另一方面投影在所述头戴式显示器上的图像中的惯常的感兴趣的对象和/或可见锚定点之间的差异，实施所述校正程序。通过最后提及的变型，校正程序可以在头戴式系统正常使用期间发生，其中由于连续的计算，可以实现在一方面由左眼和右眼的3D位置和定向向量计算的注视点与另一方面在图像中的惯常的感兴趣的对象和/或可见锚定点之间的差异逐渐减小。
处理单元可以被进一步设计为计算眼内距离，并且可以被进一步设计为基于所述眼内距离以及左眼和右眼的3D位置计算虚拟的视野点，并且被设计为在渲染用于左眼和右眼的一对图像以便模拟3D虚拟场景时使用所述虚拟的视野点。这导致了以下优点，使用者将会从他自己的眼睛的视角、而不是从一些标准的总体平均值或不精确的手动校正估计的视角看见虚拟场景。当他注视真实场景(非模拟的)时，这将会更加紧密地匹配他看见的场景，因此，使用者的大脑将发现更紧密地匹配他的期望并且场景将会变得更“真实”且涉及更少的压力和头晕。
在优选的实施例中，处理单元被设计为基于注视点的距离确定被渲染的虚拟图像中将被聚焦地显示的区域，其中所述处理单元进一步被设计为相应地渲染所述虚拟图像，以模拟人眼在它正观看位于与真实场景中所述注视点相同的3D坐标处的真实对象时将会观察到的整个图像的景深。通过借助聚散度计算聚焦距离(借助眼睛追踪器)，可以真实地模拟使用者进行的聚焦调节。而且，可以进行根据在虚拟场景中使用者正实际所看的地方的景深模拟，而不用预定义聚焦距离，因此模拟了使用者自己的焦距调节。
在这一点上，处理单元可以被设计为，一方面基于左眼和右眼的3D位置以及另一方面基于至所述注视点的距离，渲染与穿戴所述头戴式系统的使用者所看见的场景融入的至少一个增强的现实元素。在这一点上，可以使用安装在穿戴装置上的场景摄像机，其提供在使用者前面的场景的图像。就这一点而言，场景摄像机可以被用来执行对象检测和识别。然后一些环境特定信息可以混合进正使用的增强现实中，以给使用者显示混合进使用者所看见的东西中的这样的信息。例如，使用者可能正在看外文的文字或路标：场景摄像机可以捕获文本的图像，其被处理单元OCR，然后被机器翻译，并且翻译的文本以虚拟接近原文的方式被显示在增强现实中。或者使用者可能正在看城市中的纪念碑，该纪念碑被处理单元上的软件识别，并且可以从数据库中获取有关所述文档(历史、艺术风格等)的信息，并且以靠近对象的气球窗的形式显示在增强现实中。
根据特别优选的实施例，处理单元被设计为渲染将被显示在投影至使用者的眼睛上的图像中、特别是场景的图像中的至少一个虚拟激活元素，所述处理单元进一步被设计为在预定激活条件得到满足时激活与所述虚拟激活元素相关联的预定功能。
尽管现有技术已知的HMD通常使用触摸或按钮界面以控制功能，但是在本发明中，提供3D图形用户界面(GUI)，其中眼睛追踪和深度估计被用来激活所述3D GUI中的元素。
在这一点上，当处理单元被设计为渲染所述至少一个虚拟激活元素为有限的、多边形的3D或2D形状且该3D或2D形状在场景中在一定的时间内以预定的3D定向定位在预定位置处，已经证明是有利的。所述处理单元可以被设计为以预定的颜色和/或以本身包含文本和/或图像的试和/或以在不透明与完全透明之间改变透明度的方式渲染所述至少一个虚拟激活元素。变化的透明度用来突出显示或淡出可能堆叠在距离使用者不同虚拟距离处的激活元素。因此例如，当使用者使其视线朝向短距离激活元素聚焦时，这些元素将被变成更不透明；然后当他朝向远距离激活元素聚焦时，前面的元素将会变成半透明或甚至完全透明，从而不会挡住清楚地看见使用者目前正聚焦的激活元素。
关于激活元素的激活，可以设计所述处理单元，以使得激活条件包括3D注视点进入由所述激活元素限定的虚拟空间区域的情况。可选地或另外地，可以设计所述处理单元，以使得激活条件包括3D注视点停留在由所述激活元素限定的虚拟空间区域中达预定量的时间的情况。另外，可以设计所述处理单元，以使得激活条件包括3D注视点在预定量的时间内进入和离开由所述激活元素限定的虚拟空间区域的情况。
还可以设计所述处理单元，以使得激活条件包括3D注视点进入由所述激活元素限定的虚拟空间区域并且随后眼睛追踪系统在预定的时间窗口内检测到眨眼的情况。还可以设计所述处理单元，以使得激活条件包括3D注视点进入由所述激活元素限定的虚拟空间区域并且随后来自外部接口的触发事件被激活的情况。就这一点而言，来自外部接口的所述触发事件可以是下述事件中的一个：推动机械触发器、按钮或触摸敏感表面；检测到连接至使用者的身体的肌电图接口中的变化；发出语音命令；生物监控函数达到阈值水平，该生物监控函数尤其包含脉搏率/心率、血压、EEG接口中的信道；和/或姿势传感器检测的手指、手或手臂姿势。外部激活信号的使用在有效时可以在一些环境中更容易地渲染激活，例如点击按钮可以比让注视点停留在激活元素内达一定的时间更快。生物信号的使用可使得结合一些预定的情绪、精神或身体状态而仅激活某些元素。
有利地，所述处理单元被设计成基于从左眼、右眼和注视点的3D位置计算的图像不均等性和模拟景深突出显示和/或预激活位于相同的虚拟距离处的一组激活元素。通过突出显示或预激活一组激活元素，可以通过共同的上下文对动作分组，例如一组可以与电子邮件相关(例如打开、撰写、回复、回复全部等)。与被限定在另一上下文(组)中的功能相比，预激活机制使得激活某一上下文中的功能的渲染更容易，因此防止了意外的激活。而且预激活使一组中的全部元素比其它组中的元素更“可见”(例如通过使预激活元素不透明以及非预激活元素透明)，并且这又有助于其激活并且防止在其它组中的元素的意外误激活。
使用本发明，处理单元被设计成通过基本上聚焦某一组激活元素中的全部元素来突出显示该组激活元素，同时其它组中的全部其它激活元素都被渲染成是未聚焦的。此外地或可选地，可以设计所述处理单元，以进一步将其它组中的全部其它激活元素都渲染为部分或完全透明。这种方式对使用者激活涉及相关的主题的期望组的激活元素是特别有利的。
所述的关于根据本发明的头戴式系统的优选实施例及其优点相应地应用到根据本发明的方法中，其中特别地，处理单元的实施例构成了根据本发明的方法的优选实施例的步骤。
附图说明
下文中，参照附图更详细地描述本发明的有利的实施例。
它们显示在：
图1a是根据本发明的头戴式系统的第一实施例的示意图；
图1b是远程设置的处理单元的实施例的设计的示意图；
图2是根据本发明的如何基于注视点确定每一个眼睛的聚焦距离的示意图；
图3是根据本发明的估计注视点的示意图；
图4是示出基于注视点确定的对焦区域内的对象聚焦、而对焦区域之外的对象未聚焦的示意图；
图5是示出注视点的3D位置与校正的刺激的3D位置之间的差异的示意图；以及
图6是如何可以借助根据本发明的头戴式系统预选第一组激活元素的示意图。
具体实施方式
图1示出了根据本发明的头戴式系统10的第一实施例的示意图。它包括穿戴装置12，即将头戴式系统安装在使用者头上的机构，其为(但不限于)眼镜框或头盔或鼻夹或耳机的形式。它还包括双眼追踪系统，该双眼追踪系统包括设置为捕获使用者的左眼16a的第一摄像机14a和设置为捕获使用者的右眼16b的至少第二摄像机14b。在本发明中使用的术语“摄像机”之下，允许捕捉使用者眼睛的图像的全部种类的图像传感器都被包括。而且，头戴式系统能够可选地包括一个或多个例如LED的照明器，其朝向使用者的眼睛发射例如红外光谱中的不可见光，其中摄像机14a、14b然后被调整以适应该光谱。头戴式系统10还包括头戴式显示器，该头戴式显示器包括第一发光阵列18a和用于投影图像至使用者的左眼16a上的第一投影装置20a以及第二发光阵列18b和用于投影图像至使用者的右眼16b上的第二投影装置20b。各个光导22a和22b用于将与将被显示的信息有关的各个信息从投影装置20a、20b朝向发光阵列18a、18b引导的目的。发光阵列18a、18b可以是不透明的或透明的或部分透明的。它们可以被实现为屏幕，例如LCD或AMOLED屏幕，即能够给使用者的眼睛展示图像的任何种类的显示装置都可以被本发明使用。
头戴式系统10还包括分别用于左眼16a和右眼16b的处理单元24a、24b。处理单元24a、24b被设计为处理来自相应的摄像机14a、14b的图像并且至少计算左眼16a和右眼16b的3D位置以及左眼16a和右眼16b的定向向量。处理单元24a、24a还被设计为计算和渲染将通过头戴式显示器投影到使用者的左眼16a和右眼16b上的数字图像流。
尽管在图1a中示出的实施例中，处理单元24a、24b被安装至穿戴装置12上，但是图1b示出了一个实施例，在该实施例中，头戴式系统10包括机械地连接至所述穿戴装置12上的未示出的数据接口，同时单一的处理单元24以有线或无线的方式与所述数据接口连接。
一般地，处理单元24、24a、24b优选包括CPU和存储器，以及可选地包括协同处理器以提高例如GPU、DSP、FPGA或专用ASIC的某些计算的速度。所述的处理单元24a、24b可以整合到头戴式装置10中，或像处理单元24那样，可以通过电缆物理地从头戴式装置10拆卸并且与它连接或可以经由例如WIFI(802.11)、蓝牙、诸如GSM、CDMA、LTE等蜂窝网络的无线连接物理地从头戴式装置10拆卸并且与它通信。
此外，处理单元24、24a、24b优选包括接收和处理外部数据信号的接口，这样的数据信号包括机械触发、按钮或触摸表面、连接至使用者身体的肌电图接口、麦克风和语音检测软件、例如脉搏/心率、血压和EEG接口中的一个或多个信道的生物信号。
眼睛追踪系统使用标准的现有技术。在优选实施例中，为了确保最大精确度，一个或多个光源发射被引导向每一个眼睛16a、16b的红外光，这样的光源在角膜上产生反射，被称为闪烁，其可以被用作参考点以确定眼睛相对于各个摄像机14a、14b的位置以及被检测的瞳孔轮廓和中心、眼睛定向。
另外也可以在不使用闪烁和1R照明器的情况下确定眼睛位置和定向：例如，可以从瞳孔轮廓或角膜缘轮廓的透视变形推断出眼睛定向；可以从不动态变化的眼睛特征的图像的尺寸计算出至各个眼睛16a、16b的距离，该不动态变化的眼睛特征例如为角膜缘的长轴和短轴、或眼球半径。
头戴式显示器为通常嵌入护目镜或头盔框架的装置，其投影一对虚拟图像至使用者的眼睛16a、16b上。根据装置是否被设计为防止使用者的眼睛16a、16b看见周围环境，这样的虚拟图像可用来产生沉浸入模拟环境(“虚拟现实”)中的体验或在自然环境中混合模拟的虚拟元件(“增强现实”)。
传统的头戴式系统仅仅是投影机构或“屏幕”，本质上是一种便携式个人电脑显示器或电视机。示出的图像可以是预录的视频(例如电影或3D电影)，或被电脑实时产生。不管正被显示的图像内容是预录的还是实时产生的视频，在图像正被产生的时候，在现有技术情况下，有关观察者的眼睛的重要信息是未知的，即
a)各个眼睛相对于屏幕的位置，和一个眼睛相对于另一个眼睛的位置(“眼内距离”)；以及
b)各个眼睛正聚焦其注意力的距离和位置。
出于感觉自然、放松和逼真的视觉体验并且不产生张力和头晕的目的，上述的眼睛信息的认识是相当重要的，因为
a)场景的视角随着观察者的各个眼睛16a、16b的位置相对于场景变化而变化；以及
b)人的眼睛根据距离而改变光功率，即在眼睛目前正在看的对象上维持完美聚焦的眼睛的屈光力。该过程被称为调节。在不同距离处的其它对象和区域变得模糊不清或代替地未聚焦。
在已知的系统中，使用用于眼睛距离和眼内距离的标准的总体平均值来固定观察者的眼睛相对示出在头戴式系统上的场景的位置。考虑某一使用者，他体验的质量或他将体验到的张力和头晕取决于他的眼睛的位置偏离预定参数或总体平均值多远。
在一些已知的装置中，还可以进行头戴式系统的人工校正，其中使用者自己人工地调整眼内距离。然而，该方法是相当粗糙的，并且使用者通常不可能调整几度旋转角度的改变或一毫米的平移。
在关于对象聚焦的已知系统中，聚焦点根据剧情或艺术目的由视频创作者确定，或者使用其中场景中的所有对象都显得非常锐利并且聚焦的扩大的景深。然而，看见场景中的所有对象都同时聚焦是不自然的，给人单调的印象并且去除了3D幻觉。在真实的世界中，当场景中的所有对象都同时呈现聚焦时，通常意味着使用者正在看2D的图片或图画。
相反，在仅一个对象为聚焦的情况下，但是如同在电影中那样，聚焦点已经由视频创作者确定，当使用者正看别处并且仅看见模糊强度时，他将会被迷惑或者无论如何3D幻觉将会被破坏掉。
在根据本发明的头戴式系统中，使用能够确定使用者的眼睛16a、16b中的每一个相对于头戴式系统10的3D位置的所述的眼睛追踪系统。然后该信息被渲染虚拟现实或增强现实图像的处理单元24、24a、24b使用。
根据本发明的头戴式系统10可以被设计为执行自动使用者校正，该自动使用者校正然后被用来增强使用者体验的增强/虚拟现实的现实感。处理单元24、24a、24b渲染的每一个图像表示每一个使用者的眼睛16a、16b应该看见的场景，然后被渲染用作虚拟摄像机协调已经由眼睛追踪系统确定的使用者的眼睛16a、16b的精确坐标。
该方法的优点是被显示给使用者的左眼和右眼16a、16b的场景不是从其中眼内距离是基于总体统计值的固定的标准视角渲染的，而是为每一个观察者定制的并且优化的，完全匹配使用者的大脑期望看见的场景。
可选的场景摄像机26可以被用来提供使用者正在看的场景的图像并且在增强现实的情况下使用那些图像，如下文中进一步所述。
此外，使用根据本发明的头戴式系统10，可以确定使用者的眼睛16a、16b正在聚集的注视点POR，其可以被用来确定每一个眼睛16a、16b的聚集距离，关于这一点参见图2。
确定这样的注视点POR的第一种方式是找出起源于由眼睛追踪系统确定的使用者的眼睛的位置中的多个光线的交叉点，每一个光线根据由所述的眼睛追踪系统确定的眼睛定向而被引导。然而，参见图3，在实践中，在一些情况下，这样的光线可能不会在3D空间中交叉，即所述光线是不共面的。根据本发明，表示所述光线之间的最小距离的线段被确定，并且所述线段上的中点的3D位置被视为注视点POR。
对于仅具有一个功能眼睛或具有强烈的斜视的使用者，即大脑有效地忽略了从一个眼睛摄取的视觉摄取，通过找出起源于功能眼睛的光线与场景中的第一个对象交叉的点，仍能确定虚拟场景中的3D注视点。
当已知3D注视点时，参见图4，可以将聚焦区域限定为矩形，在该矩形中，对象显示为聚焦的，而在该区域之外的对象显示为未聚焦。当对象随着其与注视点的距离增加而被渐进地显示为未聚焦时，获得了特别真实的图像。
而且，本领域技术人员已知，在一方面所谓的“视线”或视轴(即连接视网膜中央凹(即最尖锐的视觉点)与注视点的假想线)与另一方面穿过瞳孔中心的轴线(在眼睛追踪文献中已知为瞳孔轴线或光轴)之间存在偏移。
尽管由于视网膜中央凹负责视觉摄入，所以视轴(visual axis)实际上代表注视点的方向，但是因为眼睛追踪器不能看见该视网膜中央凹，因此眼睛追踪器仅可以测量光轴。
为了补偿视轴与光轴之间的偏移，该偏移因人而异并且对于相同的人也根据瞳孔放大、情绪状态和其它因素而改变，眼睛追踪系统可以通过校正程序而被改进，以从一组样本中学习校正模型的一个或多个参数。
本发明的优选实施例中使用的校正程序还提供用来补偿其它误差来源或不确定性的信息，例如系统本身、其光学部件和其构造(即例如摄像机、摄像机镜片等光学部件的位置、方向和特性)中的误差，眼睛追踪算法中和图像中的误差，使用者的眼睛16a、16b的参数的知识包括但不限于眼睛聚散度缺陷(斜视、弱视)，前和后表面的曲率半径，散光，瞳孔孔径，角膜缘的长轴和短轴，角膜表面的折射率，眼房水(填充角膜与晶状体之间的腔室的流体)的折射率，晶状体前和后表面的半径，玻璃状液(填充眼后房的液体)的折射率。
将是校正程序的目标的前述参数的集合或子集在下文中将被称为校正参数集。
关于图5，实现这样的校正程序的一种方式是通过头戴式系统10给使用者显示专用的视觉校正刺激28，使用者需要固着(fixate)该专用的视觉校正刺激28。例如，这样的刺激28可以是一个点或圆或十字或被设计为吸引使用者注意力的任何其它图像。该刺激28对应于单个使用者的真实注视点。然而图5中示出的注视点POR对应于眼睛追踪系统假定的注视点。
该视觉校正刺激能够在一组离散位置S＝{s1，s2，…sm}处被示出，但是它在一个特定的时间间隔中仅在一个特定的位置(从所述组中选取)中示出，以避免迷惑使用者。这些位置还可以是如此地空间分布并且所述时间间隔是这样短暂地分布，以给出所述视觉校正刺激平滑运动的幻觉，但是这全部都是可选的。
考虑到视觉刺激的一组已知位置、相关联的时间间隔和其中视觉校正刺激28被示出的虚拟空间中的使用者的注视点的第一次不准确的估计，通过为校正参数集确定最小化已知的视觉刺激位置28与由于使用校正参数集而导致的注视点POR之间的偏差的最优值，眼睛追踪系统被校正。
更正式地讲，考虑到将被校正的一组参数p1，..pn，这限定了用于例如前五段所述的校正程序χ＝(p1，p2，…pn)的状态空间。
校正程序从代表目标用户群的平均值和用于眼睛追踪系统的几何和光学设置的期望值的标准集合的校正参数的状态空间中的点χ0开始。然后，应用现有技术的优化和回归(regression)技术，例如梯度下降法、高斯-牛顿法、Levenberg-Marquardt法、模拟退火法、进化策略等，以在状态空间中找出最小化适应度函数F(χi，S)的位置，所述适应度函数F(χi，S)将使用一组参数χi计算的一组刺激位置和测量的注视点PORj(χi)作为参数，并且是所谓的PORs与参考S＝{s1，s2，…sm}的偏差或误差的测量值。
作为一个示例，一个可能的这样的函数是均方误差
MSE ( S , χ i ) = 1 M Σ j = 1 M ( s j - POR j ( χ i ) ) 2 .
在一些情况下，由于n≠m，可能发生不可能准确匹配集合S＝{s1，s2，…sm}与POR位置集合POR＝{POR1，POR2，…PORn}的情况。在此情况下，可能重新采样并且使用更小的样本数插值数据集以匹配另一集合，并且在一组样本与另一组样本之间找出最好和最可能的匹配。
在任何情况下，对于本领域技术人员而言，依赖于其实际的应用环境使用选择性的适应度函数和校正策略将是不重要的。
并不总是必须在预定的时间间隔处执行显示离散的校正刺激图像的明确的校正。通过随着时间比较其中未校正的注视点已经固着的一组位置与所述固着位置(fixations)之间采取的路径，一般还可以进行隐含的校正，并且在相同的时间段内将它们与显示给使用者的场景内容比较。这允许确定一方面的被期望吸引使用者的聚焦的场景中的对象和路径与另一方面的实际注视点路径之间的对应性。
例如，当正在统一的背景上显示文本给使用者时，使用者将会开始阅读文本，产生特有的注视点路径，该特有的注视点路径将以代表使用者正在阅读的文本行的平行线的方式被组织。然后可能以最大化期望的可能性的方式匹配注视点路径与实际文本，例如使用期望最大算法，然后应用前述的方法以使用匹配的数据点用于校正。
关于本发明的另一方面，公开了用于头戴式显示器的3D图形用户界面(GUI)，其使用眼睛追踪系统而被控制。就这一点而言，3D虚拟激活元素被限定为在使用者的眼睛16a、16b前面的虚拟空间中在某时刻以某一3D方向定位在某一3D位置处的有限的、多边形的、2D或3D形状，被处理单元24、24a、24b渲染并且被头戴式显示器显示。
关于图6，3D虚拟激活元素30被示出，其可以改变颜色，它们本身可包含文本或图像并且可具有变化的透明度。它们可以是完全不透明的并且阻挡观察在其后面的场景元素，或者它们可以是完全透明的(因此是不可见的)，或者可以具有在二者之间的任意透明度。
3D虚拟激活元素30与用户界面中的一个或多个功能的激活相关联，例如应用程序的激活(开始网络浏览器或电子邮件客户端等)、或代表与该头戴式系统连接的电脑的文件系统中的(数据)文件(例如，视频或声音文件)。
当满足某一激活条件或事件可以与多个虚拟激活元素30的顺序的激活相关联时，这样的3D虚拟激活元素30可以与事件相关联或触发处理单元24、24a、24b上的某一功能或方法的使用：例如，一个可能性将会是第一次激活视频元件，接着激活视频播放器元件，以触发被激活的视频重播。
该激活条件本身可以以多个可能的方式被执行：
在一个可能的实施例中，当使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间时，如从图6中关于激活元素30c可见的，触发所述激活。所述激活还可能在使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间并且停留在所述空间中达预定量的时间时发生。所述激活还可能在使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间并且停留在所述空间中达预定的停留时间并且然后再预定的离开时间内离开所述空间时发生。所述激活还可能在使用者的注视点进入由3D虚拟激活元素30限定的虚拟空间并且随后使用者有意地眨眼睛以触发激活时发生。
因为眨眼在其他方面是自然发生的事件并且大多数人不能保持长时间不眨眼，所以可以限定时间窗(最小值，最大值)，在该时间窗内，允许发生有意的激活眨眼，在该时间窗之外的眨眼将被简单地忽略。
还可能包括外部触发信号，该外部触发信号不是起源于眼睛追踪系统本身，而是与眼睛追踪系统一起工作以激活某一功能。这样的外部信号可以是(但不限于)：
-推动机械触发器或按钮(例如如同在键盘上或鼠标或通过电缆或无线地整合或连接至头戴式系统10的机械按钮)或触摸触摸感应界面(例如电阻或电容触摸板或数位板)；
-由连接至使用者身体的肌电图接口(EMG)测量的信号的变化，其匹配某一模式；肌电图接口测量肌肉的电活动并且是运动神经元激活的结果；表面-肌电图可被任何人使用，例如穿戴在臂上，但是这类接口可以具有与残疾人和截肢者特定的相关性，仍然以使用电极的肌肉内的肌电图接口的形式；可以通过训练机器学习分类器进行激活模式的识别，例如使用人工神经网络或支持向量机；使用这个接口，然后通过收缩或放松例如臂的身体中的肌肉，可能激活GUI中的3D虚拟激活元素30，并且其具有不需要使用者的双手的优点；
-语音命令，例如命令“播放(play)”或“开始(start)”，由使用者发出，并且使用语音识别软件和麦克风由系统识别；
-手指、手或手臂姿势，由动作感应装置(体感，体感控制等)识别，例如通过滑动手或用手指捏等来执行激活；
-一个或多个生物监测功能达到阈值水平，这样的生物学水平可以代表某一物理状态(疲劳、休息等)或情绪状态(觉醒、放松、压力、幸福、害怕等)；这样的生物监测功能可以是来自监测大脑电活动的脑电图(EEG)的信号；监测心脏电活动的心电图(EKG)；心率；血压；瞳孔扩张；这样，例如，将可能通过集中并且“思考”它以激活功能，或者具有另一功能，在该另一功能中，根据使用者的心境而播放不同的音乐和视频，或者可以给予使用者视觉反馈，如果检测到过度疲劳，则建议在慢跑时慢下来。
通过进一步参考图6，3D虚拟激活元素30可以设置为组的形式，其中一组中的多个元件可以执行密切相关的功能(例如，打开电子邮件，写电子邮件，删除电子邮件)并且位于彼此接近的虚拟空间中和位于离眼睛狭窄的距离范围内。关于图6，第一组由激活元素30a-30d形成，同时第二组激活元素由激活元素30i-2，30i-1和30i形成。然后可以通过将所有的3D虚拟激活元素30a至30d渲染在“聚焦”中而突出显示特定的组，同时另一组的元件30i-2，30i-1和30i将会是“未聚焦”的并且能够可选地渐增地变成半透明的(部分或完全透明的)以不会挡住、分散或干涉突出显示的组的观察。
可以预选一组激活元素30a至30d的这种方式，例如当使用者聚焦在其中的一个30c上并且被检测的注视点位于其边界之内时。然后属于相同的组的所有其它的元件30a、30b、30d都可以被预激活(放入“聚焦”，并且可选地愿意启动相关联的事件)。
以此方式，可以将3D GUI组织成分层界面，其中每一层都包含一组或多组激活元素30，并且使用者能够简单地通过将他的注视聚焦于不同的距离处而在不同的层中导航。
作为此处描述的方法的特例，还可以将激活元素30表示为全部处于3D场景中的相同的虚拟平面上的简单的2D平面对象。该方式有效地实现了用于3D虚拟/增强现实系统的2D用户界面。3D用户界面具有在功率和灵活性方面具有明显的优势，但是在一些应用中，2D界面由于其简易性可能是更好的。
为了改进已知的头戴式系统，本发明特别在一方面考虑到了虚拟摄像机的最优位置以及虚拟摄像机的最优的、现实的聚焦。在前一种情况下，考虑到了图像看起来像什么取决于看所述场景的眼睛的3D位置，反之在后一种情况下，焦点被围绕眼睛所看的点实际地调整。

Claims (27)

1.一种头戴式系统(10)，包括：
a)双眼追踪系统(14a，14b)，包括：
-设置为捕获使用者的左眼(16a)的至少第一摄像机(14a)；
-设置为捕获使用者的右眼(16b)的至少第二摄像机(14b)；
b)头戴式显示器(10)，包括：
-用于将图像展示给使用者的左眼(16a)的第一显示装置(18a)；
-用于将图像展示给使用者的右眼(16b)的第二显示装置(18b)；
c)处理单元(24，24a，24b)，该处理单元被设计为
-处理来自眼睛追踪系统(14a，14b)的图像并且至少计算左眼(16a)和右眼(16b)的3D位置以及左眼(16a)和右眼(16b)的定向向量；
-计算和渲染将通过头戴式显示器被投影至使用者的左眼和右眼(16a，16b)上的数字图像流；
其特征在于，
处理单元(24，24a，24b)进一步被设计为在计算和渲染所述数字图像流时考虑左眼和右眼(16a，16b)的3D位置以及左眼和右眼(16a，16b)的定向。
2.根据权利要求1所述的头戴式系统(10)，其特征在于，所述头戴式系统(10)包括穿戴装置(12)，并且所述处理单元(24，24a，24b)被机械地连接至所述穿戴装置(12)上。
3.根据权利要求1所述的头戴式系统(10)，其特征在于，所述头戴式系统(10)包括穿戴装置(12)和机械地连接至所述穿戴装置(12)上的数据接口，所述处理单元(24，24a，24b)与所述数据接口连接，特别是有线地或无线地与所述数据接口连接。
4.根据前述权利要求任一项所述的头戴式系统(10)，其特征在于，所述头戴式系统(10)包括光导装置，该光导装置用于沿着与所述眼睛追踪系统(14a，14b)使用的光路基本上分开的光路将图像投影至所述使用者的眼睛(16a，16b)上。
5.根据前述权利要求任一项所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为使用左眼和右眼(16a，16b)的3D眼睛位置以及左眼和右眼(16a，16b)的定向向量来计算使用者正注视的注视点(POR)的3D位置，特别是计算所述注视点(POR)的3D位置和至每一个眼睛(16a，16b)的距离。
6.根据前述权利要求任一项所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为将所述注视点(PRO)的3D位置估计为由左眼和右眼(16a，16b)的被计算的3D位置和定向向量限定的左向和右向光线之间的最近点。
7.根据权利要求6所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为通过映射函数，特别是通过应用偏移量、线性变换或非线性变换，过滤左眼和右眼的方向光线和位置。
8.根据权利要求7所述的头戴式系统(10)，其特征在于，所述映射函数是为特定的使用者校正所述头戴式系统(10)的校正程序的结果。
9.根据权利要求8所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为，通过借助所述头戴式显示器向使用者显示将被固着的虚拟刺激源(28)，特别是虚拟目标，并且通过确定在一方面由左眼和右眼(16a，16b)的3D位置和定向向量计算的注视点(POR)与另一方面所述虚拟刺激源(28)的位置之间的差异，实施所述校正程序。
10.根据权利要求9所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为使所述虚拟目标(和/或刺激源(28))沿预定的或随机的路径移动。
11.根据权利要求9所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为，通过随着时间连续地计算在一方面由左眼和右眼(16a，16b)的3D位置和定向向量计算的注视点(POR)与另一方面投影在所述头戴式显示器上的图像中的惯常的感兴趣的对象和/或可见锚定点之间的差异，实施所述校正程序。
12.根据权利要求5所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为计算眼内距离，并且被进一步设计为基于所述眼内距离以及左眼和右眼(16a，16b)的3D位置计算虚拟的视野点，并且被设计为在渲染用于左眼和右眼(16a，16b)的一对图像以便模拟3D虚拟场景时使用所述虚拟的视野点。
13.根据权利要求5所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为基于注视点(POR)的距离确定被渲染的虚拟图像中将被聚焦地显示的区域，其中所述处理单元(24，24a，24b)进一步被设计为相应地渲染所述虚拟图像，以模拟人眼在它正观看位于与真实场景中所述注视点(POR)相同的3D坐标处的真实对象时将会观察到的整个图像的景深。
14.根据权利要求13所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为，一方面基于左眼和右眼(16a，16b)的3D位置以及另一方面基于至所述注视点(POR)的距离，渲染与穿戴所述头戴式系统(10)的使用者所看见的场景融入的至少一个增强的现实元素。
15.根据前述权利要求任一项所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为渲染将被显示在投影至使用者的眼睛(16a，16b)上的图像中、特别是场景的图像中的至少一个虚拟激活元素(30)，所述处理单元(24，24a，24b)进一步被设计为在预定激活条件得到满足时激活与所述虚拟激活元素(30)相关联的预定功能。
16.根据前述权利要求任一项所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为渲染所述至少一个虚拟激活元素(30)为有限的、多边形的3D或2D形状，该3D或2D形状在场景中在一定的时间内以预定的3D定向定位在预定位置处。
17.根据权利要求15或16所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计为以预定的颜色和/或以本身包含文本和/或图像的方式和/或以在不透明与完全透明之间改变透明度的方式渲染所述至少一个虚拟激活元素(30)。
18.根据权利要求15至17中任一项所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计成使得激活条件包括3D注视点(FOR)进入由所述激活元素(30)限定的虚拟空间区域的情况。
19.根据权利要求15或18所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计成使得激活条件包括3D注视点(FOR)停留在由所述激活元素(30)限定的虚拟空间区域中达预定量的时间的情况。
20.根据权利要求15至19任一项所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计成使得激活条件包括3D注视点(FOR)在预定量的时间内进入和离开由所述激活元素(30)限定的虚拟空间区域的情况。
21.根据权利要求15至20任一项所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计成使得激活条件包括3D注视点(FOR)进入由所述激活元素(30)限定的虚拟空间区域并且随后眼睛追踪系统(14a，14b)在预定的时间窗口内检测到眨眼的情况。
22.根据权利要求15至21任一项所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计成使得激活条件包括3D注视点(FOR)进入由所述激活元素(30)限定的虚拟空间区域并且随后来自外部接口的触发事件被激活的情况。
23.根据权利要求22所述的头戴式系统(10)，其特征在于，来自外部接口的所述触发事件为：
-推动机械触发器、按钮或触摸敏感表面；
-检测到连接至使用者的身体的肌电图接口中的变化；
-发出语音命令；
-生物监控函数达到阈值水平，该生物监控函数尤其包含脉搏率/心率、血压、EEG接口中的信道；和/或
-姿势传感器检测的手指、手或手臂姿势。
24.根据前述权利要求任一项所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计成基于从左眼(16a)、右眼(16b)和注视点(FOR)的3D位置计算的图像不均等性和模拟景深突出显示和/或预激活位于相同的虚拟距离处的一组激活元素(30a至30d)。
25.根据权利要求24所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计成通过基本上聚焦某一组激活元素中的全部元素来突出显示该组激活元素(30a至30d)，同时其它组中的全部其它激活元素(30i-2，30i-1，30i)都被渲染成是未聚焦的。
26.根据权利要求25所述的头戴式系统(10)，其特征在于，所述处理单元(24，24a，24b)被设计成进一步将其它组中的全部其它激活元素(30i-2，30i-1，30i)都渲染为部分或完全透明。
27.一种使用头戴式系统(10)计算和渲染数字图像流的方法，该头戴式系统(10)包括双眼追踪系统(14a，14b)、头戴式显示器和处理单元(24，24a，24b)，该双眼追踪系统具有设置为捕获使用者的左眼(16a)的至少第一摄像机(14a)和设置为捕获使用者的右眼(16b)的至少第二摄像机；该头戴式显示器具有用于向使用者的左眼(16a)展示图像的第一显示装置(18a)和用于向使用者的右眼(16b)展示图像的第二显示装置(18b)；该处理单元(24，24a，24b)被设计为处理来自眼睛追踪系统(14a，14b)的图像并且至少计算左眼和右眼(16a，16b)的3D位置以及左眼和右眼(16a，16b)的定向向量，并且计算和渲染将通过所述头戴式显示器投影至使用者的左眼和右眼(16a，16b)上的数字图像流；
其特征在于，该方法包括下述的步骤：
在计算和渲染所述数字图像流时，考虑左眼和右眼(16a，16b)的3D位置以及左眼和右眼(16a，16b)的定向。
CN201380045737.9A 2012-09-03 2013-09-02 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 Active CN104603673B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12182804 2012-09-03
EP12182804.0 2012-09-03
PCT/EP2013/068113 WO2014033306A1 (en) 2012-09-03 2013-09-02 Head mounted system and method to compute and render a stream of digital images using a head mounted system

Publications (2)

Publication Number Publication Date
CN104603673A true CN104603673A (zh) 2015-05-06
CN104603673B CN104603673B (zh) 2017-03-15

Family

ID=47008289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380045737.9A Active CN104603673B (zh) 2012-09-03 2013-09-02 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法

Country Status (6)

Country Link
US (2) US9380287B2 (zh)
EP (1) EP2893388B1 (zh)
JP (1) JP5887026B2 (zh)
CN (1) CN104603673B (zh)
IN (1) IN2015KN00682A (zh)
WO (1) WO2014033306A1 (zh)

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105068658A (zh) * 2015-08-19 2015-11-18 天津先驱领域科技有限公司 一种可虚拟环境控制的人机互动装置
CN105242400A (zh) * 2015-07-10 2016-01-13 上海鹰为智能科技有限公司 虚拟现实眼镜
CN105607256A (zh) * 2016-01-04 2016-05-25 深圳市华星光电技术有限公司 智能穿戴装置
CN105832503A (zh) * 2016-03-17 2016-08-10 广东小天才科技有限公司 一种用于斜视矫正的画面输出方法及装置
CN106226904A (zh) * 2016-08-23 2016-12-14 刘永锋 Vr眼镜电路
CN106405843A (zh) * 2016-11-24 2017-02-15 天津临境科技有限公司 投射型vr眼镜
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN106547092A (zh) * 2015-09-21 2017-03-29 三星电子株式会社 用于补偿头戴式显示器的移动的方法和设备
CN106557159A (zh) * 2015-09-28 2017-04-05 迪尔公司 用于作业机械的虚拟平视显示应用
CN106710002A (zh) * 2016-12-29 2017-05-24 深圳迪乐普数码科技有限公司 基于观察者视角定位的ar实现方法及其系统
CN106774821A (zh) * 2016-11-08 2017-05-31 广州视源电子科技股份有限公司 基于虚拟现实技术的显示方法和系统
CN106880475A (zh) * 2017-03-23 2017-06-23 郑州诚优成电子科技有限公司 头戴式虚拟现实视力训练装置
CN107229340A (zh) * 2017-06-29 2017-10-03 联想(北京)有限公司 一种信息处理方法以及电子设备
CN107247511A (zh) * 2017-05-05 2017-10-13 浙江大学 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置
CN107315470A (zh) * 2017-05-25 2017-11-03 腾讯科技（深圳）有限公司 图形处理方法、处理器和虚拟现实系统
CN107404642A (zh) * 2016-05-18 2017-11-28 罗克韦尔柯林斯公司 双目显示设备的动态聚散度
CN107463251A (zh) * 2017-07-13 2017-12-12 咪咕音乐有限公司 一种信息处理方法、装置、系统和存储介质
CN107544661A (zh) * 2016-06-24 2018-01-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN107682690A (zh) * 2017-10-19 2018-02-09 京东方科技集团股份有限公司 自适应视差调节方法和虚拟现实vr显示系统
CN107872666A (zh) * 2016-09-01 2018-04-03 三星电子株式会社 图像流传输方法和支持该方法的电子设备
WO2018076202A1 (zh) * 2016-10-26 2018-05-03 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN107991775A (zh) * 2016-10-26 2018-05-04 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN108292490A (zh) * 2015-12-02 2018-07-17 索尼互动娱乐股份有限公司 显示控制装置和显示控制方法
CN109154983A (zh) * 2016-03-22 2019-01-04 奇跃公司 被配置为交换生物测定信息的头戴式显示系统
CN109522789A (zh) * 2018-09-30 2019-03-26 北京七鑫易维信息技术有限公司 应用于终端设备的眼球追踪方法、装置以及系统
CN109863538A (zh) * 2016-08-26 2019-06-07 奇跃公司 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲系统和方法
CN109907741A (zh) * 2019-03-06 2019-06-21 珠海市万瑙特健康科技有限公司 三维脉波的显示方法、装置、计算机设备及存储介质
CN109938705A (zh) * 2019-03-06 2019-06-28 珠海市万瑙特健康科技有限公司 三维脉波的显示方法、装置、计算机设备及存储介质
CN110214339A (zh) * 2016-11-30 2019-09-06 诺瓦赛特有限公司 用于显示具有改变的视场的图像的方法和设备
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
CN110398837A (zh) * 2018-04-24 2019-11-01 苹果公司 具有可调节不透明度系统的头戴式设备
CN110488489A (zh) * 2018-05-15 2019-11-22 苹果公司 用于头戴式壳体的眼睛登记
CN110869980A (zh) * 2017-05-18 2020-03-06 Pcms控股公司 用于将内容分发和呈现为球形视频和3d资产组合的系统和方法
TWI688254B (zh) * 2018-12-11 2020-03-11 宏碁股份有限公司 立體顯示裝置及其參數校正方法
CN110989166A (zh) * 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
US10663938B2 (en) 2017-09-15 2020-05-26 Kohler Co. Power operation of intelligent devices
CN111399623A (zh) * 2015-09-04 2020-07-10 索尼互动娱乐股份有限公司 用于基于眼扫视检测的动态图形渲染的装置和方法
CN111512213A (zh) * 2017-12-29 2020-08-07 株式会社籁天那 具有针孔镜的增强现实光学系统
CN111757089A (zh) * 2019-03-29 2020-10-09 托比股份公司 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
CN112368708A (zh) * 2018-07-02 2021-02-12 斯托瓦斯医学研究所 使用伪图像的面部图像识别
CN113240601A (zh) * 2016-08-04 2021-08-10 杜比实验室特许公司 单一深度追踪调节-聚散解决方案
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
CN113454702A (zh) * 2019-02-14 2021-09-28 脸谱科技有限责任公司 多投影仪显示架构
CN113661433A (zh) * 2019-04-11 2021-11-16 三星电子株式会社 头戴式显示设备及其操作方法
CN113939760A (zh) * 2019-06-03 2022-01-14 维耶尔公司 非侵入性头戴式设备
CN114930112A (zh) * 2019-12-17 2022-08-19 约翰考克利尔防御股份公司 用于控制战斗车辆炮塔功能的智能系统
US11490808B2 (en) 2017-07-27 2022-11-08 Sony Corporation Information processing device and information processing method
US11749018B1 (en) 2019-05-28 2023-09-05 Apple Inc. Eye enrollment for head-mounted enclosure
US11809623B2 (en) 2019-04-11 2023-11-07 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
US11921794B2 (en) 2017-09-15 2024-03-05 Kohler Co. Feedback for water consuming appliance
CN112368708B (zh) * 2018-07-02 2024-04-30 斯托瓦斯医学研究所 使用伪图像的面部图像识别

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US9672627B1 (en) * 2013-05-09 2017-06-06 Amazon Technologies, Inc. Multiple camera based motion tracking
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US9715764B2 (en) 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9547173B2 (en) 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9536353B2 (en) 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US10318100B2 (en) * 2013-10-16 2019-06-11 Atheer, Inc. Method and apparatus for addressing obstruction in an interface
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
KR20150065336A (ko) * 2013-12-05 2015-06-15 삼성전자주식회사 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US20150312558A1 (en) * 2014-04-29 2015-10-29 Quentin Simon Charles Miller Stereoscopic rendering to eye positions
AU2014202500A1 (en) * 2014-05-08 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for rendering virtual content
KR102262086B1 (ko) * 2014-05-28 2021-06-09 삼성전자 주식회사 이미지 처리 방법 및 장치
CN106575045B (zh) * 2014-08-18 2020-06-09 索尼公司 图像显示设备和显示装置
US9773350B1 (en) 2014-09-16 2017-09-26 SilVR Thread, Inc. Systems and methods for greater than 360 degree capture for virtual reality
US10007333B2 (en) 2014-11-07 2018-06-26 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
JP6459421B2 (ja) * 2014-11-17 2019-01-30 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
CN107209561A (zh) 2014-12-18 2017-09-26 脸谱公司 用于在虚拟现实环境中导航的方法、系统及设备
WO2016115870A1 (zh) 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20160300391A1 (en) * 2015-04-07 2016-10-13 Purdue Research Foundation System and method for reducing simulator sickness
US10078219B2 (en) * 2015-05-28 2018-09-18 Thalmic Labs Inc. Wearable heads-up display with integrated eye tracker and different optical power holograms
US10217286B1 (en) * 2015-09-21 2019-02-26 Amazon Technologies, Inc. Realistic rendering for virtual reality applications
CN105208370B (zh) * 2015-09-23 2017-02-01 暴风集团股份有限公司 一种虚拟现实设备的显示校准方法
WO2017075100A1 (en) * 2015-10-26 2017-05-04 Pillantas Inc. Systems and methods for eye vergence control
US9983709B2 (en) 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
US9984507B2 (en) * 2015-11-19 2018-05-29 Oculus Vr, Llc Eye tracking for mitigating vergence and accommodation conflicts
KR101862499B1 (ko) * 2015-11-27 2018-05-29 포브, 아이엔씨. 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
US10204451B2 (en) 2015-11-30 2019-02-12 Microsoft Technology Licensing, Llc Multi-optical surface optical design
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
CN105507931B (zh) * 2015-12-11 2018-10-23 北京天地玛珂电液控制系统有限公司 一种采煤工作面支护机器人
KR102524641B1 (ko) * 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US11006101B2 (en) * 2016-01-29 2021-05-11 Hewlett-Packard Development Company, L.P. Viewing device adjustment based on eye accommodation in relation to a display
US11106276B2 (en) 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
KR20170111450A (ko) * 2016-03-28 2017-10-12 삼성전자주식회사 보청장치, 휴대장치 및 그 제어방법
US10452227B1 (en) 2016-03-31 2019-10-22 United Services Automobile Association (Usaa) System and method for data visualization and modification in an immersive three dimensional (3-D) environment
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
WO2017177128A1 (en) * 2016-04-08 2017-10-12 The Trustees Of Columbia University In The City Of New York Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
US9773438B1 (en) 2016-06-29 2017-09-26 Meta Company System and method for providing views of virtual content in an augmented reality environment
US11216069B2 (en) * 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
WO2018044073A1 (en) * 2016-09-01 2018-03-08 Samsung Electronics Co., Ltd. Image streaming method and electronic device for supporting the same
KR20180028796A (ko) * 2016-09-09 2018-03-19 삼성전자주식회사 이미지 표시 방법, 저장 매체 및 전자 장치
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
TWI632395B (zh) * 2016-12-27 2018-08-11 廣達電腦股份有限公司 虛擬實境裝置以及其畫面產生方法
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
US20180190282A1 (en) * 2016-12-30 2018-07-05 Qualcomm Incorporated In-vehicle voice command control
EP4300160A2 (en) 2016-12-30 2024-01-03 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10310598B2 (en) 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
US10679366B1 (en) 2017-01-30 2020-06-09 Facebook Technologies, Llc High speed computational tracking sensor
US10485420B2 (en) 2017-02-17 2019-11-26 Analog Devices Global Unlimited Company Eye gaze tracking
JP6957635B2 (ja) * 2017-03-22 2021-11-02 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 動的視野の可変焦点ディスプレイシステム
US9754397B1 (en) * 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
US10845955B2 (en) 2017-05-15 2020-11-24 Apple Inc. Displaying a scrollable list of affordances associated with physical activities
US11116415B2 (en) * 2017-06-07 2021-09-14 Bragi GmbH Use of body-worn radar for biometric measurements, contextual awareness and identification
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
CN107193127A (zh) * 2017-06-27 2017-09-22 北京数科技有限公司 一种成像方法及穿戴式设备
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10489648B2 (en) 2017-08-04 2019-11-26 Facebook Technologies, Llc Eye tracking using time multiplexing
WO2019067902A1 (en) 2017-09-29 2019-04-04 Apple Inc. USER INTERACTIONS BASED ON THE LOOK
EP3477490A1 (en) 2017-10-26 2019-05-01 Druva Technologies Pte. Ltd. Deduplicated merged indexed object storage file system
CN109725418B (zh) * 2017-10-30 2020-10-16 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
US10729389B2 (en) * 2017-11-28 2020-08-04 Hillel Sarel MARESKY 3D assessment of conjugant eye deviation for the identificaiton of acute ischemic stroke
IL275071B1 (en) * 2017-12-07 2024-02-01 Eyefree Assisting Communication Ltd Communication system and method
US11280937B2 (en) 2017-12-10 2022-03-22 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
JP7171727B2 (ja) 2017-12-20 2022-11-15 ビュージックス コーポレーション 拡張現実ディスプレイシステム
WO2019126331A1 (en) 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US10564716B2 (en) 2018-02-12 2020-02-18 Hong Kong Applied Science and Technology Research Institute Company Limited 3D gazing point detection by binocular homography mapping
US10521013B2 (en) * 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
DK180246B1 (en) 2018-03-12 2020-09-11 Apple Inc User interfaces for health monitoring
DE102018105917A1 (de) * 2018-03-14 2019-09-19 tooz technologies GmbH Verfahren zur benutzerindividuellen Kalibrierung einer auf den Kopf eines Benutzers aufsetzbaren Anzeigevorrichtung für eine augmentierte Darstellung
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US10504288B2 (en) 2018-04-17 2019-12-10 Patrick Piemonte & Ryan Staake Systems and methods for shared creation of augmented reality
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备
WO2019207350A1 (ru) * 2018-04-28 2019-10-31 Алмаленс Инк. Оптическая система гибридной реальности с цифровой коррекцией аберраций
US11317833B2 (en) 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
DK179992B1 (en) 2018-05-07 2020-01-14 Apple Inc. DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
CN112400157A (zh) 2018-06-05 2021-02-23 奇跃公司 观看系统的基于单应性变换矩阵的温度校准
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
TWI697348B (zh) * 2018-07-05 2020-07-01 宏碁股份有限公司 立體顯示系統與立體顯示方法
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
JP7426982B2 (ja) 2018-07-24 2024-02-02 マジック リープ， インコーポレイテッド 移動検出デバイスの温度依存較正
CN112740665A (zh) 2018-08-02 2021-04-30 奇跃公司 基于头部运动的瞳孔间距离补偿的观察系统
CN116820239A (zh) 2018-08-03 2023-09-29 奇跃公司 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
US10852823B2 (en) 2018-10-23 2020-12-01 Microsoft Technology Licensing, Llc User-specific eye tracking calibration for near-eye-display (NED) devices
US10718942B2 (en) 2018-10-23 2020-07-21 Microsoft Technology Licensing, Llc Eye tracking systems and methods for near-eye-display (NED) devices
US10855979B2 (en) 2018-10-23 2020-12-01 Microsoft Technology Licensing, Llc Interpreting eye gaze direction as user input to near-eye-display (NED) devices for enabling hands free positioning of virtual items
US10996746B2 (en) 2018-10-23 2021-05-04 Microsoft Technology Licensing, Llc Real-time computational solutions to a three-dimensional eye tracking framework
US10838490B2 (en) 2018-10-23 2020-11-17 Microsoft Technology Licensing, Llc Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices
US10914949B2 (en) 2018-11-16 2021-02-09 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
EP3921720A4 (en) 2019-02-06 2022-06-29 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
SE543332C2 (en) 2019-02-19 2020-12-01 Tobii Ab Method, computer program and head mountable arrangement for assisting a subject to acquire spatial information about an environment
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
CN113519154A (zh) * 2019-03-13 2021-10-19 惠普发展公司，有限责任合伙企业 检测眼睛跟踪校准误差
JP6943913B2 (ja) * 2019-03-18 2021-10-06 Ｎｅｃプラットフォームズ株式会社 情報表示システムおよびウェアラブルデバイス
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
US11228835B2 (en) 2019-06-01 2022-01-18 Apple Inc. User interfaces for managing audio exposure
US11234077B2 (en) 2019-06-01 2022-01-25 Apple Inc. User interfaces for managing audio exposure
DK201970534A1 (en) 2019-06-01 2021-02-16 Apple Inc User interfaces for monitoring noise exposure levels
US11209957B2 (en) 2019-06-01 2021-12-28 Apple Inc. User interfaces for cycle tracking
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2020253949A1 (en) * 2019-06-18 2020-12-24 Pupil Labs Gmbh Systems and methods for determining one or more parameters of a user's eye
EP3760157A1 (en) * 2019-07-04 2021-01-06 Scopis GmbH Technique for calibrating a registration of an augmented reality device
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
CN114286975A (zh) 2019-09-09 2022-04-05 苹果公司 调查研究用户界面
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
US11709546B1 (en) * 2019-11-25 2023-07-25 Robert Edwin Douglas Visualization of images via an enhanced eye tracking system
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
CN111401921B (zh) * 2020-03-05 2023-04-18 成都威爱新经济技术研究院有限公司 一种基于虚拟人的远程客服方法
DK181037B1 (en) 2020-06-02 2022-10-10 Apple Inc User interfaces for health applications
US11698710B2 (en) 2020-08-31 2023-07-11 Apple Inc. User interfaces for logging user activities
US11630556B2 (en) * 2020-09-16 2023-04-18 Kyndryl, Inc. Finger control of wearable devices
US20220104959A1 (en) * 2020-10-07 2022-04-07 Jay Curtis Beavers Systems, methods, and techniques for eye gaze control of seat and bed positioning
WO2022086486A1 (en) * 2020-10-19 2022-04-28 Hewlett-Packard Development Company, L.P. Rendering format selection based on virtual distance
DE102020215285A1 (de) 2020-12-03 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Parallaxeregelung und binokulare Datenbrille mit einer Recheneinheit zu einem Durchführen des Verfahrens
KR20220136561A (ko) * 2021-03-31 2022-10-11 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
SE545378C2 (en) * 2021-12-30 2023-07-25 Tobii Ab Method and system for determining a current gaze direction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449309B1 (en) * 1996-03-12 2002-09-10 Olympus Optical Co., Ltd. Stereoscopic display that controls binocular parallax between two images and controls image reconstitution according to parallax data
US6545650B1 (en) * 1998-06-23 2003-04-08 Nec Corporation Apparatus for three-dimensionally displaying object and method of doing the same
CN102200641A (zh) * 2010-03-24 2011-09-28 奥林巴斯株式会社 头戴式显示设备
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0968670A (ja) * 1995-08-31 1997-03-11 Olympus Optical Co Ltd 頭部装着型映像表示装置
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
CA2561274C (en) * 2004-03-26 2015-08-11 Atsushi Takahashi Three-dimensional digital entity magnifying glass system incorporating three-dimensional visual training functions
JP4270347B2 (ja) * 2005-12-26 2009-05-27 オリンパス株式会社 距離演算装置
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US8406479B2 (en) * 2006-07-14 2013-03-26 Panasonic Corporation Visual axis direction detection device and visual line direction detection method
US8295546B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US20110117530A1 (en) * 2009-05-07 2011-05-19 Technion Research & Development Foundation Ltd. Method and system of simulating physical object incisions, deformations and interactions therewith
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20120188279A1 (en) * 2009-09-29 2012-07-26 Kent Demaine Multi-Sensor Proximity-Based Immersion System and Method
EP2553531B1 (en) * 2010-04-01 2019-10-16 SeeReal Technologies S.A. Method and device for encoding three-dimensional scenes which include transparent objects in a holographic system
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US20130088413A1 (en) * 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
TW201320717A (zh) * 2011-11-08 2013-05-16 Unique Instr Co Ltd 一種三次元影像顯示之方法
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449309B1 (en) * 1996-03-12 2002-09-10 Olympus Optical Co., Ltd. Stereoscopic display that controls binocular parallax between two images and controls image reconstitution according to parallax data
US6545650B1 (en) * 1998-06-23 2003-04-08 Nec Corporation Apparatus for three-dimensionally displaying object and method of doing the same
CN102200641A (zh) * 2010-03-24 2011-09-28 奥林巴斯株式会社 头戴式显示设备
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备

Cited By (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105242400B (zh) * 2015-07-10 2017-12-29 上海鹰为智能科技有限公司 虚拟现实眼镜
CN105242400A (zh) * 2015-07-10 2016-01-13 上海鹰为智能科技有限公司 虚拟现实眼镜
CN105068658A (zh) * 2015-08-19 2015-11-18 天津先驱领域科技有限公司 一种可虚拟环境控制的人机互动装置
US11703947B2 (en) 2015-09-04 2023-07-18 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
CN111399623A (zh) * 2015-09-04 2020-07-10 索尼互动娱乐股份有限公司 用于基于眼扫视检测的动态图形渲染的装置和方法
CN111399623B (zh) * 2015-09-04 2023-12-26 索尼互动娱乐股份有限公司 用于基于眼扫视检测的动态图形渲染的装置和方法
CN106547092B (zh) * 2015-09-21 2020-11-10 三星电子株式会社 用于补偿头戴式显示器的移动的方法和设备
CN106547092A (zh) * 2015-09-21 2017-03-29 三星电子株式会社 用于补偿头戴式显示器的移动的方法和设备
CN106557159A (zh) * 2015-09-28 2017-04-05 迪尔公司 用于作业机械的虚拟平视显示应用
US11042038B2 (en) 2015-12-02 2021-06-22 Sony Interactive Entertainment Inc. Display control apparatus and display control method
US11768383B2 (en) 2015-12-02 2023-09-26 Sony Interactive Entertainment Inc. Display control apparatus and display control method
CN108292490A (zh) * 2015-12-02 2018-07-17 索尼互动娱乐股份有限公司 显示控制装置和显示控制方法
CN108292490B (zh) * 2015-12-02 2021-11-16 索尼互动娱乐股份有限公司 显示控制装置和显示控制方法
CN105607256A (zh) * 2016-01-04 2016-05-25 深圳市华星光电技术有限公司 智能穿戴装置
CN105832503A (zh) * 2016-03-17 2016-08-10 广东小天才科技有限公司 一种用于斜视矫正的画面输出方法及装置
CN109154983B (zh) * 2016-03-22 2022-06-24 奇跃公司 被配置为交换生物测定信息的头戴式显示系统
CN109154983A (zh) * 2016-03-22 2019-01-04 奇跃公司 被配置为交换生物测定信息的头戴式显示系统
CN107404642A (zh) * 2016-05-18 2017-11-28 罗克韦尔柯林斯公司 双目显示设备的动态聚散度
CN107544661A (zh) * 2016-06-24 2018-01-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN113240601A (zh) * 2016-08-04 2021-08-10 杜比实验室特许公司 单一深度追踪调节-聚散解决方案
CN113240601B (zh) * 2016-08-04 2024-03-26 杜比实验室特许公司 单一深度追踪调节-聚散解决方案
CN106226904A (zh) * 2016-08-23 2016-12-14 刘永锋 Vr眼镜电路
CN109863538A (zh) * 2016-08-26 2019-06-07 奇跃公司 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲系统和方法
CN109863538B (zh) * 2016-08-26 2023-10-27 奇跃公司 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲系统和方法
CN107872666A (zh) * 2016-09-01 2018-04-03 三星电子株式会社 图像流传输方法和支持该方法的电子设备
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN107991775A (zh) * 2016-10-26 2018-05-04 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
WO2018076202A1 (zh) * 2016-10-26 2018-05-03 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN106774821A (zh) * 2016-11-08 2017-05-31 广州视源电子科技股份有限公司 基于虚拟现实技术的显示方法和系统
CN106774821B (zh) * 2016-11-08 2020-05-19 广州视源电子科技股份有限公司 基于虚拟现实技术的显示方法和系统
CN106405843A (zh) * 2016-11-24 2017-02-15 天津临境科技有限公司 投射型vr眼镜
CN110214339A (zh) * 2016-11-30 2019-09-06 诺瓦赛特有限公司 用于显示具有改变的视场的图像的方法和设备
CN106710002A (zh) * 2016-12-29 2017-05-24 深圳迪乐普数码科技有限公司 基于观察者视角定位的ar实现方法及其系统
CN106880475A (zh) * 2017-03-23 2017-06-23 郑州诚优成电子科技有限公司 头戴式虚拟现实视力训练装置
CN107247511B (zh) * 2017-05-05 2019-07-16 浙江大学 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置
CN107247511A (zh) * 2017-05-05 2017-10-13 浙江大学 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置
CN110869980B (zh) * 2017-05-18 2024-01-09 交互数字Vc控股公司 将内容分发和呈现为球形视频和3d资产组合
CN110869980A (zh) * 2017-05-18 2020-03-06 Pcms控股公司 用于将内容分发和呈现为球形视频和3d资产组合的系统和方法
CN107315470B (zh) * 2017-05-25 2018-08-17 腾讯科技（深圳）有限公司 图形处理方法、处理器和虚拟现实系统
CN107315470A (zh) * 2017-05-25 2017-11-03 腾讯科技（深圳）有限公司 图形处理方法、处理器和虚拟现实系统
CN107229340B (zh) * 2017-06-29 2020-04-24 联想(北京)有限公司 一种信息处理方法以及电子设备
CN107229340A (zh) * 2017-06-29 2017-10-03 联想(北京)有限公司 一种信息处理方法以及电子设备
CN107463251B (zh) * 2017-07-13 2020-12-22 咪咕音乐有限公司 一种信息处理方法、装置、系统和存储介质
CN107463251A (zh) * 2017-07-13 2017-12-12 咪咕音乐有限公司 一种信息处理方法、装置、系统和存储介质
US11490808B2 (en) 2017-07-27 2022-11-08 Sony Corporation Information processing device and information processing method
US10663938B2 (en) 2017-09-15 2020-05-26 Kohler Co. Power operation of intelligent devices
US11949533B2 (en) 2017-09-15 2024-04-02 Kohler Co. Sink device
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11921794B2 (en) 2017-09-15 2024-03-05 Kohler Co. Feedback for water consuming appliance
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
CN107682690A (zh) * 2017-10-19 2018-02-09 京东方科技集团股份有限公司 自适应视差调节方法和虚拟现实vr显示系统
US10572010B2 (en) 2017-10-19 2020-02-25 Boe Technology Group Co., Ltd. Adaptive parallax adjustment method and virtual reality display device
CN111512213A (zh) * 2017-12-29 2020-08-07 株式会社籁天那 具有针孔镜的增强现实光学系统
CN110398837B (zh) * 2018-04-24 2021-10-19 苹果公司 具有可调节不透明度系统的头戴式设备
US11029521B2 (en) 2018-04-24 2021-06-08 Apple Inc. Head-mounted device with an adjustable opacity system
CN110398837A (zh) * 2018-04-24 2019-11-01 苹果公司 具有可调节不透明度系统的头戴式设备
CN110488489A (zh) * 2018-05-15 2019-11-22 苹果公司 用于头戴式壳体的眼睛登记
CN112368708B (zh) * 2018-07-02 2024-04-30 斯托瓦斯医学研究所 使用伪图像的面部图像识别
CN112368708A (zh) * 2018-07-02 2021-02-12 斯托瓦斯医学研究所 使用伪图像的面部图像识别
CN109522789A (zh) * 2018-09-30 2019-03-26 北京七鑫易维信息技术有限公司 应用于终端设备的眼球追踪方法、装置以及系统
TWI688254B (zh) * 2018-12-11 2020-03-11 宏碁股份有限公司 立體顯示裝置及其參數校正方法
US10812785B2 (en) 2018-12-11 2020-10-20 Acer Incorporated Stereoscopic display device and parameter calibration method thereof
CN113454702A (zh) * 2019-02-14 2021-09-28 脸谱科技有限责任公司 多投影仪显示架构
CN109907741B (zh) * 2019-03-06 2022-04-01 智美康民(珠海)健康科技有限公司 三维脉波的显示方法、装置、计算机设备及存储介质
CN109938705B (zh) * 2019-03-06 2022-03-29 智美康民(珠海)健康科技有限公司 三维脉波的显示方法、装置、计算机设备及存储介质
CN109907741A (zh) * 2019-03-06 2019-06-21 珠海市万瑙特健康科技有限公司 三维脉波的显示方法、装置、计算机设备及存储介质
CN109938705A (zh) * 2019-03-06 2019-06-28 珠海市万瑙特健康科技有限公司 三维脉波的显示方法、装置、计算机设备及存储介质
CN111757089A (zh) * 2019-03-29 2020-10-09 托比股份公司 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
CN113661433B (zh) * 2019-04-11 2023-10-24 三星电子株式会社 头戴式显示设备及其操作方法
US11809623B2 (en) 2019-04-11 2023-11-07 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
CN113661433A (zh) * 2019-04-11 2021-11-16 三星电子株式会社 头戴式显示设备及其操作方法
US11749018B1 (en) 2019-05-28 2023-09-05 Apple Inc. Eye enrollment for head-mounted enclosure
CN113939760A (zh) * 2019-06-03 2022-01-14 维耶尔公司 非侵入性头戴式设备
CN114930112A (zh) * 2019-12-17 2022-08-19 约翰考克利尔防御股份公司 用于控制战斗车辆炮塔功能的智能系统
US11782268B2 (en) 2019-12-25 2023-10-10 Goertek Inc. Eyeball tracking system for near eye display apparatus, and near eye display apparatus
CN110989166A (zh) * 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备

Also Published As

Publication number Publication date
US20150288944A1 (en) 2015-10-08
EP2893388A1 (en) 2015-07-15
WO2014033306A1 (en) 2014-03-06
CN104603673B (zh) 2017-03-15
US9380287B2 (en) 2016-06-28
JP5887026B2 (ja) 2016-03-16
IN2015KN00682A (zh) 2015-07-17
JP2016502120A (ja) 2016-01-21
EP2893388B1 (en) 2016-08-03
US20160267708A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
CN104603673B (zh) 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
US10231614B2 (en) Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
Cognolato et al. Head-mounted eye gaze tracking devices: An overview of modern devices and recent advances
US9895057B2 (en) Functional vision testing using light field displays
US9370302B2 (en) System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment
US9994228B2 (en) Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
EP1691670B1 (en) Method and apparatus for calibration-free eye tracking
US20160262608A1 (en) Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
Kinateder et al. Using an augmented reality device as a distance-based vision aid—promise and limitations
US20090295683A1 (en) Head mounted display with variable focal length lens
Linton Does vision extract absolute distance from vergence?
CN111603134A (zh) 眼球运动测试的装置及方法
US11774759B2 (en) Systems and methods for improving binocular vision
CN107260506B (zh) 基于眼动的3d视觉训练系统、智能终端及头戴设备
Hu et al. StereoPilot: A wearable target location system for blind and visually impaired using spatial audio rendering
KR102219659B1 (ko) 가상현실 기반의 눈 건강 측정방법 및 그 시스템
EP3527120B1 (en) Virtual reality headset for visual neurorehabilitation
Singh Near-field depth perception in optical see-though augmented reality
Bhatia et al. A review on eye tracking technology
US20200034980A1 (en) Motion parallax in object recognition
TWI819654B (zh) 改善視網膜損傷患者視力的系統
Lopez Off-the-shelf gaze interaction
Zhao Micro-Scanning Mirror based Eye-tracking Technology
Lazar et al. DEVELOPMENT OF EYE TRACKING PROCEDURES USED FOR THE ANALYSIS OF VISUAL BEHAVIOR-STATE OF ART
Fromm Learning to see and hear in 3D: Virtual reality as a platform for multisensory perceptual learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190605

Address after: American California

Patentee after: Apple Computer, Inc.

Address before: German Pavilion

Patentee before: Sensomotoric Instruments GmbH