CN108136258A - 基于跟踪眼部运动来调整图像帧 - Google Patents

基于跟踪眼部运动来调整图像帧 Download PDF

Info

Publication number
CN108136258A
CN108136258A CN201680060784.4A CN201680060784A CN108136258A CN 108136258 A CN108136258 A CN 108136258A CN 201680060784 A CN201680060784 A CN 201680060784A CN 108136258 A CN108136258 A CN 108136258A
Authority
CN
China
Prior art keywords
cornea
eyes
display
retina
flicker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680060784.4A
Other languages
English (en)
Other versions
CN108136258B (zh
Inventor
B·K·古恩特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108136258A publication Critical patent/CN108136258A/zh
Application granted granted Critical
Publication of CN108136258B publication Critical patent/CN108136258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

在一些示例中，用于操作设备(可以是诸如头戴式设备的可穿戴的设备)的技术和架构可以用于虚拟现实应用。设备的处理器可以通过动态地跟踪用户眼睛的角膜以及由此跟踪注视方向来操作。通过跟踪注视方向，可以计算在视网膜坐标系中测量的投射到视网膜上的显示图像的视网膜速度。可以基于视网膜速度来修改用户可观看的图像帧的显示时间。

Description

基于跟踪眼部运动来调整图像帧
背景技术
头戴式设备可以包括头盔、眼罩、眼镜或者可穿戴到用户的头部上的其他配置，其一般结合显示器和计算机功能性。头戴式设备可以提供针对多媒体的增强观看体验，举例而言，其可以应用于培训、工作活动、休闲、娱乐、日常活动、玩游戏或者看电影。
例如，头戴式设备可以跟踪用户的头部位置以通过使用运动视差来支持3D场景的逼真绘制。已知用户的头部相对于显示器的位置的情况下，头戴式设备的处理器可以改变所显示的3D虚拟对象和场景的视图。因此，在头戴式设备再现用户看到物理对象的方式时，用户能够以自然的方式观察和检查虚拟3D对象和场景。遗憾的是，如果用户的注视方向快速改变，则物体和场景的图像或者视频可能模糊或者包括不期望的色彩伪像。
发明内容
本公开内容部分地描述了用于操作诸如头戴式设备的可以是可穿戴的设备的技术和架构，其可以用于虚拟现实应用。设备的处理器可以通过动态地跟踪用户眼睛的角膜，并且由此跟踪注视方向来操作。通过跟踪注视方向，可以计算在视网膜坐标系中测量的投射到视网膜上的显示图像的视网膜速度。可以基于视网膜速度来修改用户可观看的图像帧的显示时间。由此，例如，如果眼睛正在跟踪快速移动的显示对象，则可以缩短帧时间。如果眼睛没有跟踪显示对象，则可以加长帧时间。在一些示例中，图像的帧时间可以与在眼睛的视网膜上测量的图像的速度(视网膜速度)大致成正比。由此，如果眼睛正在跟踪显示对象以使得视网膜速度基本上是零，则帧时间可以是短的。如果眼睛没有跟踪对象，并且视网膜速度相对较高，则帧时间可以相应地较长。
本文中，虽然示例主要针对可穿戴设备，但是具有相似或者相同功能性的设备不必是可穿戴的。例如，如本文描述的眼睛注视的动态跟踪可以由这样的设备来执行，仅作为示例，该设备可以是手持的、安装在与主体或者用户分离的结构上、或者设置在表面(例如，桌面)上。然而，术语“可穿戴设备”将用于包括所有此类示例。
本发明内容被提供用于以简化形式介绍下文在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键或者必要特征，也不旨在用于辅助确定所要求保护的主题的范围。例如，术语“技术”可以指系统、方法、计算机可读指令、模块、算法、硬件逻辑(例如，FPGA、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD))和/或以上和贯穿该文档的上下文所允许的其他技术。
附图说明
参考附图描述具体实施方式。在附图中，参考标号的最左数位标识该参考标号首先出现的附图。不同附图中的相同参考标号指示相似或者相同的项目。
图1是示例可穿戴设备的框图。
图2是示例可穿戴设备的用户的眼睛的示意截面图。
图3是相对于用户的眼睛定位的示例可穿戴设备的部分的示意截面图。
图4是用户的眼睛的角膜的部分的示例图像。
图5是根据示例的叠加在表示用户的眼睛的球体上的虚拟角膜球体的示意截面图。
图6是关于示例对象的示例注视方向的图。
图7是包括与捕获角膜的图像的时间相对应的示例位置的角膜的示例注视方向的图案。
图8是示例图像帧的时序图。
图9是用于至少部分地基于用户眼睛的角膜的注视方向移动来调整显示帧的持续时间的示例过程的流程图。
具体实施方式
使用彩色顺序技术来生成颜色的显示系统(基于投影的或者直接观看的)可能展示出观察者在某些情况下易于感知到的不期望的视觉伪像。顺序彩色显示器以相对快的刷新循环时间顺序地而不是同时地发射图像的(例如)红色、绿色和蓝色分量(例如，帧)。如果帧速率足够高，并且观察者的眼睛没有移动或者相对于显示器上的图像相对较慢地移动(例如，相对较低的视网膜速度的示例)，则所感知到的图像可能是令人满意的，并且与由使用红色、绿色和蓝色子像素在空间上隔离颜色(而不是像顺序彩色技术一样在时间上进行)的技术生成的视频输出不能区分。另一方面，如果观察者的眼睛相对于显示器上的图像(例如，对象或者整个图像的特定部分)相当快速地移动(例如，眼睛在其眼窝中的转动运动、扫视运动、平移头部运动等导致的相对快速视网膜速度的示例)，则所感知的图像可能包括不期望的伪像，诸如模糊和/或彩虹效应。后者效应可能是由于所显示的图像的组成原色(例如，红色、绿色和蓝色)在不同的时间到达观察者的视网膜。这可能例如在眼睛没有跟踪图像时发生。即使在每秒60帧的高帧速率下，针对特定数值示例，来自显示器的红色、绿色和蓝色信息可能间隔5.5毫秒到达视网膜。在这样的情况下，例如，实际颜色是灰色的图像可能被分为单独的红色、绿色和蓝色分量。眼睛移动越快，彩虹效应或者“图像分裂”越严重。
在各种示例中，技术和架构可以用于确定或者跟踪可穿戴设备的用户的一只或两只眼睛的位置和/或定向，以便计算眼睛的视网膜速度。在一些示例中，系统不需要完全跟踪眼睛的位置和/或定向，但是可以收集与眼睛的位置和/或定向有关的足够信息以便能够计算视网膜速度。在本文中，视网膜速度是在视网膜上测量的图像的速度。换言之，视网膜速度是在视网膜坐标系中测量的投射到视网膜上的图像的速度。可以至少部分地基于所确定的视网膜速度(例如，或者眼睛位置和/或定向)来修改用户可观察的所显示的图像帧的定时。在一些示例中，设备不必是可穿戴的，并且设备可以与主体(例如，人类或动物)相关联，并且不限于设备的用户。可穿戴设备的示例可以包括用户的头部上穿戴的或者作为头盔的一部分的显示设备，并且可以包括位置和/或运动传感器以测量可穿戴设备的惯性位置或者定向。显示设备可以包括在一只眼睛、每只眼睛或者两只眼睛前面的小显示器。仅作为示例，显示设备可以包括CRT、LCD、硅上液晶(LCOS)或者OLED。
可穿戴设备可以显示计算机生成的图像，称为虚拟图像。例如，可穿戴设备的处理器可以绘制和显示包括合成对象的合成(虚拟)场景，以使得观看者(可穿戴设备的穿戴者)将场景感知为现实(或者增强现实)。为了正确地做到这一点，处理器可以使用可穿戴设备显示器与观看者的注视之间的位置关系的相对精确的几何测量，以使得处理器可以在合成场景中正确地放置和定向虚拟相机。这样的位置关系可以在观看者的角膜(和/或观看者的头部)移动或者转移位置时连续地或者不时地改变。如果处理器使用不准确的位置关系信息，则处理器可能绘制看上去不自然地倾斜和畸变的虚拟场景。
在一些示例中，可穿戴设备配置用于跟踪眼睛的角膜的3D位置。此类跟踪是除跟踪注视方向(例如，观看方向)以外的。由此，例如，眼睛的角膜或者其他部分的3D位置包括眼睛的角膜或者其他部分相对于三个空间轴x、y和z中每一个的位置。这样的位置可以相对于可穿戴设备的部分，但是要求保护的主题不限于此。
在一些示例中，可以向绘制用于可穿戴设备的图像的处理器连续地提供用户的眼睛的角膜或者其他部分的3D跟踪信息。由此，处理器可以绘制说明用户的眼睛相对于可穿戴设备的相对运动或者视网膜速度的图像。在一些实现中，可以类似地向处理器提供2D跟踪，其中2D跟踪测量角膜的转动或者横向移动。2D跟踪可以导致确定视网膜速率、转动速率或者眼睛的注视方向的变化率。例如，这样的速率确定可以允许系统检测眼睛是否正在经历扫视运动。
本文描述的3D(或者2D)跟踪技术可以提供多种益处。例如，可以在用户的眼睛相对于可穿戴设备移动(或者静止)时动态地执行3D跟踪。由此，涉及用户的离散校准过程对于可穿戴设备的开始操作不是必需的。另一益处是本文描述的3D跟踪技术可以通过使用在眼睛的表面上产生相对较低强度的光点(例如，闪烁)的光发射器来操作。因此，光发射器能够以相对较低的功率操作，其可以允许操作便携式、电池供电的可穿戴设备。在一些示例中，角膜相关于图像帧中的对象的位置的运动可以被记录到存储器设备中。例如，此类记录的信息可以由系统在稍后的时间使用，以便研究相关于各种显示对象的注视图案。
在一些示例中，可穿戴设备可以包括一个或多个光发射器，用以朝向可穿戴设备的用户的一只眼睛或两只眼睛发射光。例如，如果光在电磁谱的红外部分中，则这样的光可以是对用户不可见的。解除(impinge)到眼睛的角膜上的光可能产生小的光点或者闪烁，其是来自角膜表面的光的镜面反射。可穿戴设备的相机可以捕获具有一个或多个此类闪烁的眼睛的角膜的图像。可穿戴设备的处理器随后可以至少部分地基于图像中的闪烁的相对位置来计算角膜的中心。如下文所述的相机的校准(例如，相机的光圈和图像平面的位置)和发射器的相对定位允许此类计算。
可穿戴设备的相机可以配置用于在眼睛(或者注视)在各个方向对准时捕获角膜的多个图像。在一些示例中，可穿戴设备的处理器可以针对每个对准方向计算角膜的中心。随后，使用角膜的中心中每个的位置，处理器可以计算眼睛的中心。在一些示例中，处理器可以针对特定时间至少部分地基于角膜的中心和眼睛的中心来计算眼睛的注视方向。使用与平均人类眼睛的维度和大小有关的测量信息，可以使用偏移或者其他几何运算从眼睛的其他部分的位置来确定眼睛的角膜的位置。在其他示例中，处理器可以针对特定时间至少部分地基于闪烁相对于彼此的位置来计算眼睛的注视方向。另外，针对由一只眼睛或两只眼睛接收的图像，闪烁可以用于跟踪视网膜上的图像的运动，并且用于计算眼睛的视网膜速度。
参考图1至图9进一步描述各种示例。
下文描述的可穿戴设备配置仅构成一个示例，并且并不旨在将权利要求限制于任何一个特定配置。在不脱离所要求保护的主题的精神和范围的情况下，可以使用其他配置。
图1图示了系统100的示例配置，其可以是可穿戴设备，其中包括如本文所述的系统的用户的眼睛移动的动态跟踪的示例过程可以在该系统100中操作。在一些示例中，系统100可以经由网络102互连。此类网络可以包括一个或多个计算系统，其存储和/或处理从系统100接收和/或向系统100传输的信息(例如，数据)。
系统100可以包括一个或多个处理器104，一个或多个处理器104例如经由总线100可操作地连接至输入/输出接口106和存储器108。在一些示例中，描述为由系统100执行的功能性中的一些或者全部可以由一个或多个远程对等计算设备、一个或多个远程服务器、云计算资源、外部光学发射器或者外部光学检测器或相机来实现。除其他以外，输入/输出接口106可以包括用于系统100的显示设备和网络接口，以用于与此类远程设备通信。
输入/输出设备106可以包括相机112，其能够捕获图像和/或视频。输入/输出模块106还可以结合一个或多个光发射器114，诸如激光二极管、发光二极管或者其他光生成设备。本文中，“光”可以指电磁谱的任何波长或者波长范围，包括远红外(FIR)、近红外(NIR)、可见光和紫外(UV)能量。
输入/输出设备106可以包括显示器116，其可由显示模块118操作或者与显示模块118通信。显示器112可以包括可以支持触摸输入的多种类型的显示器中的任何显示器，诸如LCD显示器、电泳或者电润湿显示器、CRT等等。所要求保护的主题在该方面不受限制。
在一些示例中，存储器108可以存储处理器104可执行的指令(包括操作系统(OS)120、计算模块122)以及处理器104可加载和可执行的程序或者应用124。存储器108还可以包括图像处理模块126和定时模块128。例如，图像处理模块126可以由处理器104用于操作显示模块118，该显示模块118驱动显示器116。定时模块128可以由处理器104用于确定由显示器116显示的图像的显示帧的显示时间。这样确定的显示时间可以由显示模块118在操作显示器116时实现。
一个或多个处理器104可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、视频缓冲处理器，等等。在一些实现中，计算模块122、应用124、图像处理模块126和定时模块128包括存储在存储器108中，并且处理器104可执行的可执行代码，用于由系统100经由输入/输出106本地或远程地收集信息。信息可以与应用124中的一个或多个相关联。
虽然已经将某些模块描述为执行各种操作，但是模块仅是示例，并且可以由更多或者更少数目的模块来执行相同或相似的功能性。另外，由描绘的模块执行的功能不一定是由单个设备本地执行的。相反，一些操作可以由远程设备(例如，对等、服务器、云等)来执行。
备选地或者附加地，可以至少部分地由一个或多个硬件逻辑组件来执行本文描述的功能性中的一些或者全部。例如但不限于，可以使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
输入/输出模块106还可以包括惯性传感器、罗盘、重力计或者其他位置或定向传感器。此类传感器可以允许跟踪系统(以及相应地，在系统100是可穿戴设备的情况下，是穿戴者的头部)的位置和/或定向或者其他移动。
存储器108可以包括计算机可读介质中的一个或者组合。计算机可读介质可以包括计算机存储介质和/或通信介质。计算机存储介质包括以任何方法或技术实现的用于诸如计算机可读指令、数据结构、程序模块或者其他数据的信息的存储的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器或其他存储器技术、压缩盘只读存储器(CD-ROM)、数字通用盘(DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可以用于存储供计算设备访问的信息的任何其他非传输介质。
相反，通信介质以诸如载波的调制数据信号或者其他传输机制来具体化计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。在各种示例中，存储器108是存储计算机可执行指令的存储介质的示例。例如，在由处理器104执行时，计算机可执行指令将处理器配置用于操作相机以捕获在主体注视显示设备时主体的眼睛的角膜的图像，等等，其中所捕获的图像包括由通过角膜的表面的光的镜面反射产生的角膜上的闪烁点的集合；至少部分地基于一系列所捕获的图像来确定角膜是否正在以扫视运动移动或者正在基本上连续地移动；以及使用定时模块128，至少部分地基于角膜是否正在以扫视运动移动或者基本上连续地移动来调整在显示设备上显示的显示帧的持续时间。
在各种示例中，输入/输出模块106的其他输入设备(未图示)可以是直接触摸输入设备(例如，触摸屏)、间接触摸设备(例如，触摸板)、间接输入设备(例如，鼠标、键盘等)，或者另一类型的非接触设备，诸如音频输入设备。
输入/输出模块106还可以包括接口(未图示)，其允许系统100与其他设备通信。此类接口可以包括用以支持系统100与其他联网设备之间的通信的一个或多个网络接口，其他联网设备诸如用户输入外围设备(例如，键盘、鼠标、笔、游戏控制器、语音输入设备、触摸输入设备、手势输入设备等等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等等)。
图2是可穿戴设备的用户的眼睛200的示意截面图，可穿戴设备诸如上文描述的系统100。眼睛200表示平均的人类(或者其他动物)眼睛。眼睛200包括基本上是球形的眼球202，除了其他之外，眼球202包括角膜204、瞳孔206、晶状体208和中央凹(fovea)210。角膜204的中心部分212基本上是球形的，而这样的球形度倾向于朝向角膜204的外围区域214减小。在本文中，角膜球体是指基于中心部分212周围的角膜204的球形度的球体。换言之，如果整个角膜是具有由中心部分212所表示的球形参数的完美球体，则角膜204可以由角膜球体表示。因此，表示角膜204的角膜球体具有在眼球202内部具有中心216。
眼睛200的光学轴可以从角膜的中心部分212延伸到中央凹210。因为中央凹在眼球的背部偏移几度，所以光学轴可能不会穿过眼球的中心218。如下文所述，如果要至少部分地基于角膜的中心部分212的位置来确定用户的注视方向，可以考虑这样的偏移。
图3是相对于用户的眼睛304定位的示例可穿戴设备的部分302的示意截面图。可穿戴设备部分302包括以某些方式安装或者附接至可穿戴设备部分302的框架312的光发射器306、308(例如，与光发射器114相同或者相似)以及相机310(例如，与相机112相同或者类似)。虽然描述了两个光发射器，但是在其他实现中可以使用任何数目的光发射器。
眼睛304与上文描述的眼睛200相同或者相似。例如，眼睛304包括眼球314，其包括角膜316，角膜316可以被视为基本上是球形。
发射器306、308定位在可穿戴设备部分302上，以使得在用户穿戴可穿戴设备时，发射器可以将光指向角膜316上眼球314的转动位置的范围中。换言之，即使眼球转动(例如，在用户在其头部位置基本上静止时将其注视指向不同方向)时，发射器也可以将光照射到角膜的表面上。眼球314的转动可以由θ指示。例如，图3图示了光发射器306将光指向角膜316的表面以创建闪烁318，并且光发射器308将光指向角膜316的表面以创建闪烁320。“闪烁”是指作为从表面镜面反射的光的源的小区域(例如，点)。在目前描述的示例中，由发射器306(和角膜的表面)创建的闪烁318的图像可以被相机310捕获，并且由发射器308(和角膜的表面)创建的闪烁320的图像可以被相机310捕获。在特定时间捕获的角膜的单个图像(例如，“照片”)可以包括闪烁318的图像和闪烁320的图像二者，如下文所述。
发射器306、308、相机310和眼睛304相对于彼此定位，以使得可以由发射器在角膜316的基本上球形部分上产生θ的特定范围(例如，针对特定示例约15至40度)的闪烁，并且可以由相机捕获闪烁的图像。在这样的范围以外，例如，由相机310捕获的图像中的闪烁可以在角膜的非球形部分上，或者可以在眼球314上，由此错过角膜。这样的情景是不期望的，并且可以通过发射器、相机和用户的眼睛的预期位置的判断正确的相对定位来避免。
除了发射器和相机相对于预期眼睛位置的判断正确的放置之外，可以考虑相机的各种参数以用于校准发射器-眼睛-相机光学系统。此类参数可以是相机镜头的焦距、相机的光学系统的畸变参数以及相机的图像平面的中心相关于发射器的位置。
图4是用户眼睛的角膜的部分402的示例图像400。例如，这样的图像可以在特定时间由图3中图示的相机310捕获。角膜部分402的图像包括由多个发射器(例如，发射器306、308)的光接触到角膜的表面上而产生的多个闪烁404。此类闪烁可以部分地表示眼睛相关于发射器、相机以及由此发射器和相机所安装或附接的可穿戴设备的位置。
处理器(例如，处理器104)可以对图像400执行图像分析，以确定每个闪烁相对于所有其他闪烁的位置。例如，处理器可以计算两个闪烁404之间的距离406。在一些实现中，眼睛的角膜(以及眼睛本身)的特定位置(例如，x、y和z位置)可能导致角膜基本上球形的表面上的闪烁布局的唯一集合。除了其他以外，可以包括发射器和相机的系统(例如，可穿戴设备)可以在角膜定向在不同方向时(例如，在可穿戴设备的用户相对于可穿戴设备转移其注视和/或移动其头部时)捕获角膜的图像。每个此类图像可以包括具有对于角膜的特定定向唯一的相对位置的闪烁。如下文所述，可穿戴设备的处理器可以至少部分地基于闪烁的相对位置来确定和跟踪用户的眼睛的位置和定向。例如，针对由一只眼睛或两只眼睛接收的图像，闪烁可以用于跟踪一只眼睛或两只眼睛的视网膜上的图像的运动，并且计算其视网膜速度。
在一些实现中，为了确定或者计算角膜的3D位置，处理器可以实现优化算法，其可以包括通过系统地选择输入值(诸如闪烁404的相对位置、相机310的图像平面的位置以及发射器的位置)来基本上最大化或者最小化实函数。在一些示例中，给定此类输入值的情况下，优化可以包括找到一些目标函数的“最佳可得”值。
图5是根据示例的叠加在表示用户的眼睛的球体504上的虚拟角膜球体502的示意截面图。如下文所解释的，虚拟角膜球体是可以由处理器在确定眼睛的注视方向的过程期间生成的眼睛的角膜的表示。每个虚拟角膜球体502的位置对应于眼睛转动(如箭头R指示)时角膜和眼睛的不同转动位置。例如，虚拟角膜球体502A对应于眼睛和注视看向方向506。虚拟角膜球体502B对应于眼睛和注视看向方向508。
处理器可以至少部分地基于角膜的图像中的闪烁集合之间的位置关系(例如，闪烁图案)来生成虚拟角膜球体。例如，除了其他以外，处理器可以基于闪烁位置中的每个之间的几何关系、平均的人类角膜的半径的先验知识(例如，约8.0毫米)、与捕获图像的相机有关的校准信息和光发射器的位置，来生成虚拟角膜球体。
在特定示例中，处理器可以基于图4的图像400中图示的闪烁图案来生成虚拟角膜球体。在特定示例中，在角膜朝向方向508定向时捕获的角膜的图像可以包括图像中的第一闪烁图案。随后，处理器可以使用利用第一闪烁图案的几何关系(例如，方程式)作为输入来生成虚拟角膜球体502B。在角膜朝向方向506定向时捕获的第二图像可以包括第二图像中的第二闪烁图案。随后，处理器可以使用第二闪烁图案来生成虚拟角膜球体502A。
每个示例虚拟角膜球体502A、502B、502C和502D包括中心。图5中由“x”指示的此类中心位于形成虚拟球体510的点云上。处理器生成的针对眼睛的不同定向的虚拟角膜球体的中心越多，虚拟球体510就越充满中心。由此基于虚拟球体的后续计算的精确度可以由于中心的采样的较大数目而改善。例如，此类计算可以包括计算虚拟球体510的中心512，其基本上与眼睛的中心(例如，图2中的218)相对应。
图6是相关于X-Y坐标系中的示例对象的示例注视方向的图，其表示平面上的相对尺寸(但是所描述的运动不必限于该平面)。例如，此类对象可以在显示的图像中(例如，虚拟现实图像中的椅子或者门口)。注视方向可以部分地通过扫视运动来确定，其包括在用户跟随视觉上移动的对象或者在用户注视固定对象时两只眼睛的快速移动。例如，第一对象的移动可以由箭头602表示。用户的注视方向的跟踪由轨迹604表示。在第一对象相对平滑和连续地移动时，注视方向经历可以被描述为扫视运动的相对快速的改变。这与由箭头606表示的第二对象的移动相反。用户的注视方向的跟踪由轨迹608表示。在第二对象在“平滑追随”中相对平滑和连续地移动时，用户的注视方向也是如此。
第三对象610是静止的，但是由轨迹612表示的注视方向部分地由于扫视运动而相当快速地改变。例如，第三对象610可以是在显示设备上显示的虚拟现实场景中的合成对象。虽然第三对象610可以相关于用户的头部不运动，但是用户的头部能够以探测方式连续地转移注视。如果注视方向相对于虚拟现实场景的图像相对快速地改变(或者，如果眼睛具有相对较高的视网膜速度)，用户可能观察到不期望的效应，诸如所显示的第三对象610模糊或者彩虹效应。
在一些示例中，可以产生诸如604、608和612的轨迹的跟踪眼睛的注视方向可以允许确定眼睛是否正在经历扫视运动或者平滑运动。例如，如果在时间段内测量的眼睛的注视方向的一系列测量包括相对于显示器上的图像的相对快速和/或相对较多的改变，则眼睛可能正在经历扫视运动。例如，可以量化此类一系列注视方向测量结果，并且将其与描述扫视运动、连续和平滑运动以及其他运动类型的经验数据进行比较。
图7是用户的角膜的注视方向的图案702，其包括与捕获角膜的图像的时间相对应的示例位置1-4。图案702被图示为叠加在用户正在注视的对象704上。点1是在由相机捕获用户的角膜的第一图像时的注视方向。点2是在由相机捕获用户的角膜的第二图像时的注视方向。点3是在由相机捕获用户的角膜的第三图像时的注视方向。点4是在由相机捕获用户的角膜的第四图像时的注视方向。例如，所捕获的图像中的每一个与图像400相同或者相似，并且包括具有表示在捕获图像时用户的眼睛的注视方向的相对位置的角膜上的闪烁图案。针对眼睛的每个注视方向，可以存在图像中捕获的唯一闪烁图案。
在至少部分地基于闪烁图案来计算注视方向之后，处理器可以将注视方向彼此比较，以确定视网膜速度。例如，可以通过比较捕获第一图像和第二图像的时间来点1和点2之间的视网膜速度。虽然可以周期性地或者不时地捕获图像，但是连续图像捕获之间的时间可以短到足以提供足够的分辨率，以使得在不错过跟踪的显著部分的情况下跟踪注视方向。例如，如果在点3与点4之间没有捕获角膜的图像，则可以不实现图案702的部分706。在这样的情况下，可以不测量从点3通过顶点708到点4的较大视网膜速率。相反，可以在如同眼睛运动从点3直接到点4(例如，直线运动)那样来测量视网膜速度。因此，为了避免错过注视图案的部分，可以在比图7所示更快的间隔处捕获用户的角膜的图像。这样的间隔与视网膜速度相比可以相对较短。在一些实现中，如果处理器确定眼睛正在经历扫视运动，则处理器可以调整(例如，增加)由相机捕获的图像的频率。
图8是由系统(例如，系统100)在系统的显示设备上显示的示例图像帧的时序图800，例如，系统可以包括一个或多个处理器、显示模块、图像处理模块和定时模块。波形(例如，方波信号)表示个体图像帧的显示时间。图像帧的显示时间是在显示设备上显示图像帧的时间长度。对于视频，每个包括图像的一系列图像帧，仅作为示例，可以以每秒约20-30个图像帧来顺序显示。速率可以改变，并且实施方式不限于以不变的帧速率显示图像。
在每秒30个图像帧的速率下，例如，针对每个图像帧的相对应的显示时间可以多达1/30＝0.033秒。在本文的一些示例中，可以至少部分地基于观察视频(或者任何图像序列)的用户的视网膜速度(例如，注视方向相关于显示设备上的图像的改变速率)，来修改此类显示时间。
作为说明性示例，在时间T0，显示设备开始显示图像帧802。在时间T1，显示设备停止显示图像帧802。图像帧802的显示时间是T0与T1之间的时间差。在时间T2，显示设备开始显示图像帧804。在时间T3，显示设备停止显示图像帧804。图像帧804的显示时间是T2与T3之间的时间差，在该特定示例中，其与图像帧802的显示时间相同。可以针对后续图像帧重复该过程，后续图像帧诸如包括图像帧802和804的图像帧系列806，其具有彼此相同的显示时间。然而，处理器(或者系统的其他组件)可以针对相对较高的视网膜速度加长显示时间，或者针对相对较低的视网膜速度缩短显示时间。
在时间T4，显示设备开始显示图像帧808。在时间T5，例如，系统可以确定用户的视网膜速度相对较低(例如，低于阈值速率)。因此，系统可以延长图像帧808的显示时间超过时间T6，时间T6是系统没有确定视网膜速度的实质性改变的情况下显示设备已经停止显示图像帧808的时间。因此，系统可以确定图像帧808的新的显示时间(例如，这样的确定可以是即时的)。在一些示例中，系统可以在图像帧808的显示期间(例如，在图像帧被停止显示之前)更新(例如，基于最近捕获的图像的闪烁图案)显示时间值。这样的更新可以至少部分地基于用户的视网膜速度的新测量结果。由此，至少部分地基于更新的视网膜速度，显示设备在时间T7停止显示图像帧808。图像帧808的(新)显示时间是T4与T7之间的时间差，在该特定示例中，其大于系列806的图像帧的显示时间。系统可以显示附加图像帧，诸如图像帧的系列810，每个具有彼此相同的显示时间，直到确定视网膜速度的另一改变。
在时间T8，显示设备开始显示图像帧812。在时间T9，例如，系统可以确定用户的视网膜速度相对较高(例如，在阈值速率以上)。因此，系统可以相对于系列810的图像帧的显示时间而缩短图像帧812的显示时间，系列810的图像帧的显示时间是如果系统没有确定视网膜速度的显著改变的情况下将应用于图像帧812的显示时间。因此，系统可以确定图像帧812的新显示时间(例如，这样的确定可以是即时的(on the fly))。在一些示例中，在图像帧812的显示期间(例如，在图像帧被停止显示之前)系统可以更新(例如，基于最近捕获的图像的闪烁图案)显示时间值。这样的更新可以至少部分地基于用户的视网膜速度的新测量结果。由此，至少部分地基于更新的视网膜速度，显示设备在时间T10停止显示图像帧812。图像帧812的(新)显示时间是T8与T10之间的时间差，在该特定示例中，其小于系列806和系列810的图像帧的显示时间。系统可以显示附加图像帧，诸如图像帧的系列814，每个具有彼此相同的显示时间，直到确定视网膜速度的另一改变。
图9是至少部分地基于用户眼睛的角膜的注视方向移动来调整显示帧的持续时间的示例过程的流程图。例如，过程900可以由图1中图示的系统100来执行。
在框902处，相机118可以捕获系统100的主体(例如，用户)的眼睛的角膜的图像。可以在主体注视显示设备时捕获图像。所捕获的图像可以包括由通过角膜的表面的光的镜面反射而产生的闪烁点的集合。
在框904处，处理器104可以至少部分地基于所捕获的图像系列来确定角膜是否正在扫视运动中移动或者正在基本上连续地移动。例如，可以通过跟踪眼睛的注视方向来执行这样的确定，跟踪眼睛的注视方向可能产生诸如图6中的604、608和612的轨迹。跟踪注视方向可以允许关于眼睛是否正在经历扫视运动或者平滑运动的确定。例如，如果在时间段内测量的眼睛的注视方向的一系列测量包括相对快速(例如，相关于显示器上的图像)和/或相对较多的改变，则眼睛可能正在经历扫视运动。例如，可以量化这样的一系列注视方向测量结果，并且将其与描述扫视运动、连续和平滑运动以及其他运动类型的经验数据进行比较。
在框906处，处理器104(例如，使用系统100的其他部分)可以至少部分地基于角膜是否正在扫视运动中移动或者正在基本上连续地移动，而调整显示设备上显示的显示帧的持续时间。
示例条款
A.一种系统，包括：光发射器，其用以朝向主体的眼睛发射光；相机，用以捕获具有来自由眼睛的角膜的光的反射所产生的闪烁的眼睛的角膜的图像；显示设备，由显示模块操作以用以顺序地显示图像帧；以及处理器，用以：至少部分地基于角膜的第一捕获图像来确定显示设备正在显示图像帧时的第一时间的第一闪烁位置；至少部分地基于角膜的第二捕获图像来确定在显示器正在显示图像帧时的第二时间的第二闪烁位置；确定与第一闪烁位置和第二闪烁位置之间的差异相对应的眼睛的视网膜速度；以及至少部分地基于视网膜速度向显示模块提供用以改变图像帧的显示时间的信号。
B.如段落A所述的系统，还包括：图像处理器模块，该图像处理模块由处理器可访问以确定第一捕获图像中的第一闪烁位置以及第二捕获图像中的第二闪烁位置。
C.如段落A所述的系统，其中如果视网膜速度大于阈值，则处理器被配置用以：至少部分地基于角膜的附加捕获图像来确定在显示器正在显示图像帧时的相对应附加时间的附加闪烁位置集合；确定与附加闪烁位置集合之间的差异相对应的附加视网膜速度；以及如果附加视网膜速度大于阈值，则向显示模块提供信号以延长图像帧的显示时间，或者如果附加视网膜速度小于阈值，则终止显示图像帧。
D.如段落C所述的系统，其中处理器被配置用以至少部分地基于附加闪烁位置集合来确定眼睛的角膜移动是否包括扫视运动，并且其中如果眼睛包括扫视运动，则处理器增加由相机捕获的图像的频率。
E.如段落A所述的系统，还包括定时模块，该定时模块由处理器可访问以操作相机以至少部分地基于视网膜速度的频率来捕获角膜的图像。
F.如段落A所述的系统，其中图像帧包括彩色顺序图像的彩色帧。
G.如段落A所述的系统，其中光发射器被配置用以朝向主体的眼睛发射来自不同相应方向的两个或更多个光束。
H.如段落A所述的系统，其中系统包括头戴式显示器。
I.如段落A所述的系统，其中闪烁包括源自光发射器的镜面反射光。
J.如段落A所述的系统，其中系统包括虚拟现实系统。
K.一种头戴式设备，包括：多个光发射器，被配置用以将红外光指向头戴式设备的穿戴者的眼睛；相机，被配置用以捕获穿戴者的眼睛的角膜的图像；以及处理器，用以：确定由相机捕获的图像中的角膜上的闪烁的相对位置；至少部分地基于角膜上的闪烁的相对位置来确定眼睛的视网膜速度；以及至少部分地基于视网膜速度来修改图像帧的显示时间。
L.如段落K所述的头戴式设备，其中处理器被配置用以至少部分地基于注视方向和图像帧中的对象的位置，确定眼睛是否正在扫视运动中移动或者眼睛是否正在基本上跟踪对象的位置，并且其中，如果眼睛包括扫视运动，则处理器增加由相机捕获的图像的频率。
M.如段落L所述的头戴式设备，其中对象是虚拟现实场景中的合成对象。
N.如段落K所述的头戴式设备，其中多个光发射器和相机相对于彼此定位，以使得来自多个光发射器的光从眼睛的角膜反射，并且进入到相机的光圈。
O.如段落K所述的头戴式设备，其中图像中的闪烁的相对位置至少部分地取决于眼睛的转动定向。
P.一种方法，包括：在主体注视显示设备时捕获主体的眼睛的角膜的图像，其中图像包括由通过角膜的表面的光的镜面反射而产生的角膜上的闪烁点集合；至少部分地基于图像的系列来确定角膜是否正在扫视运动中移动或者基本上连续地移动；以及至少部分地基于角膜是否正在扫视运动中移动或者基本上连续地移动，调整显示设备上显示的图像帧的持续时间。
Q.如段落P所述的方法，其中显示设备上显示的图像帧包括彩色顺序图像。
R.如段落P所述的方法，还包括：
向存储器设备记录角膜关于图像帧中的对象的位置的运动。
S.如段落R所述的方法，其中对象是显示设备上显示的虚拟现实场景的合成对象。
T.如段落P所述的方法，其中光包括红外光。
虽然已经以特定于结构特征和/或方法行为的语言描述了技术，但是应当理解，所附权利要求不必限于所描述的特征或者动作。相反，特征和行为被描述为此类技术的示例实现。
除非另外指出，上文描述的所有方法和过程都可以全部或者部分地由软件代码模块具体化，软件代码模块由一个或多个通用计算机或者处理器执行。代码模块可以存储在任何类型的计算机可读存储介质或者其他计算机存储设备中。方法中的一些或者全部可以备选地全部或者部分由专用计算机硬件(诸如FPGA、ASIC等)来实现。
除了其他以外，诸如“可以”、“可能”、“能够”或者“也许”的条件语言，除了另外明确说明，是用于指示某些示例包括而其他示例不包括所提到的特征、元件和/或步骤。由此，除非另外指出，此类条件语言不旨在暗示特征、元件和/或步骤以任何方式对于一个或多个示例是必需的，或者一个或多个示例必定包括用于在有或没有用户输入或者提示的情况下，决定这些特征、元件和/或步骤在任何特定示例中被包括或者要被执行的逻辑。
诸如短语“X、Y或Z中的至少一个”的连接语言，除非另外明确说明，应当理解为表示项、术语等可以是X或Y或Z，或者其组合。
可以对上述示例做出许多变化和修改，上述示例的元件应当理解为在其他可接受示例之中。所有此类修改和变化旨在包括在本公开内容的范围之内。

Claims (15)

1.一种系统，包括：
光发射器，用以朝向主体的眼睛发射光；
相机，用以捕获具有由来自所述眼睛的角膜的光的反射而产生的闪烁的所述角膜的图像；
显示设备，由显示模块操作以用以顺序地显示图像帧；以及
处理器，用以：
至少部分地基于所述角膜的第一捕获图像，确定在所述显示设备正在显示图像帧时的第一时间的第一闪烁位置；
至少部分地基于所述角膜的第二捕获图像，确定在所述显示器正在显示所述图像帧时的第二时间的第二闪烁位置；
确定与所述第一闪烁位置和所述第二闪烁位置之间的差异相对应的所述眼睛的视网膜速度；以及
至少部分地基于所述视网膜速度，向所述显示模块提供用以改变所述图像帧的显示时间的信号。
2.根据权利要求1所述的系统，其中如果所述视网膜速度大于阈值，则所述处理器被配置用以：
至少部分地基于所述角膜的附加捕获图像，确定在所述显示器正在显示所述图像帧时的相对应附加时间的附加闪烁位置集合；
确定与所述附加闪烁位置集合之间的差异相对应的附加视网膜速度；以及
如果所述附加视网膜速度大于所述阈值，则向所述显示模块提供信号以延长用于所述图像帧的显示时间，或者如果所述附加视网膜速度小于所述阈值，则终止显示所述图像帧。
3.根据权利要求2所述的系统，其中所述处理器被配置用以至少部分地基于所述附加闪烁位置集合来确定所述眼睛的角膜移动是否包括扫视运动，并且其中，如果所述眼睛包括扫视运动，则所述处理器增加由所述相机捕获的图像的频率。
4.根据权利要求1所述的系统，还包括定时模块，所述定时模块由所述处理器可访问以操作所述相机来以至少部分地基于所述视网膜速度的频率捕获所述角膜的图像。
5.根据权利要求1所述的系统，其中所述光发射器被配置用以朝向所述主体的所述眼睛发射来自不同相应方向的两个或更多个光束。
6.根据权利要求1所述的系统，其中所述闪烁包括源自所述光发射器的镜面反射光。
7.根据权利要求1所述的系统，其中所述系统包括虚拟现实系统。
8.一种头戴式设备，包括：
多个光发射器，被配置用以将红外光指向所述头戴式设备的穿戴者的眼睛；
相机，被配置用以捕获所述穿戴者的眼睛的角膜的图像；以及
处理器，用以：
确定由所述相机捕获的图像中的所述角膜上的闪烁的相对位置；
至少部分地基于所述角膜上的所述闪烁的相对位置来确定所述眼睛的视网膜速度；以及
至少部分地基于所述视网膜速度来修改图像帧的显示时间。
9.根据权利要求8所述的头戴式设备，其中所述处理器被配置用以至少部分地基于注视方向和所述图像帧中的对象的位置，来确定眼睛是否正在扫视运动中移动或者所述眼睛是否基本上跟踪所述对象的位置，并且其中，如果所述眼睛包括扫视运动，则所述处理器增加由所述相机捕获的图像的频率。
10.根据权利要求9所述的头戴式设备，其中所述对象是虚拟现实场景的合成对象。
11.根据权利要求8所述的头戴式设备，其中所述多个光发射器和所述相机相对于彼此定位，以使得来自所述多个光发射器的光从所述眼睛的所述角膜反射，并且进入到所述相机的光圈。
12.一种方法，包括：
在主体注视显示设备时，捕获所述主体的眼睛的角膜的图像，其中所述图像包括由通过所述角膜的表面的光的镜面反射而产生的所述角膜上的闪烁点集合；
至少部分地基于所述图像的系列，确定所述角膜是否正在扫视运动中移动或者基本上连续地移动；以及
至少部分地基于所述角膜是否正在扫视运动中移动或者基本上连续地移动，调整在所述显示设备上显示的图像帧的持续时间。
13.根据权利要求12所述的方法，其中在所述显示设备上显示的所述图像帧包括彩色顺序图像。
14.根据权利要求12所述的方法，还包括：
向存储器设备记录所述角膜相关于所述图像帧中的对象的位置的运动。
15.根据权利要求12所述的方法，其中所述光包括红外光。
CN201680060784.4A 2015-10-28 2016-10-21 基于跟踪眼部运动来调整图像帧的方法、系统及头戴式设备 Active CN108136258B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/925,892 2015-10-28
US14/925,892 US10338677B2 (en) 2015-10-28 2015-10-28 Adjusting image frames based on tracking motion of eyes
PCT/US2016/058095 WO2017074807A1 (en) 2015-10-28 2016-10-21 Adjusting image frames based on tracking motion of eyes

Publications (2)

Publication Number Publication Date
CN108136258A true CN108136258A (zh) 2018-06-08
CN108136258B CN108136258B (zh) 2020-11-24

Family

ID=57208403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680060784.4A Active CN108136258B (zh) 2015-10-28 2016-10-21 基于跟踪眼部运动来调整图像帧的方法、系统及头戴式设备

Country Status (4)

Country Link
US (1) US10338677B2 (zh)
EP (1) EP3368170B1 (zh)
CN (1) CN108136258B (zh)
WO (1) WO2017074807A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109917908A (zh) * 2019-02-01 2019-06-21 谷东科技有限公司 一种ar眼镜的图像获取方法及系统
CN110716639A (zh) * 2018-07-12 2020-01-21 苹果公司 具有基于眼睛活动的显示器操作的电子设备
CN110968188A (zh) * 2018-09-28 2020-04-07 苹果公司 基于头部位置的应用程序放置
CN112558902A (zh) * 2019-09-26 2021-03-26 苹果公司 用于动态中央凹显示器的与注视无关的抖动
CN112805670A (zh) * 2018-12-19 2021-05-14 徕卡生物系统成像股份有限公司 用于数字病理学的眼睛跟踪的图像查看器
CN112925424A (zh) * 2019-12-05 2021-06-08 原相科技股份有限公司 光学导航装置以及光学导航方法
CN113678435A (zh) * 2019-02-07 2021-11-19 奇跃公司 具有高时间分辨率的轻型低功耗交叉现实设备
CN114967917A (zh) * 2019-02-04 2022-08-30 托比股份公司 用于确定当前注视方向的方法和系统
US11521581B2 (en) 2019-09-26 2022-12-06 Apple Inc. Controlling displays
US11800059B2 (en) 2019-09-27 2023-10-24 Apple Inc. Environment for remote communication
US12013979B2 (en) 2020-02-07 2024-06-18 Magic Leap, Inc. Lightweight and low power cross reality device with high temporal resolution

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US10394320B2 (en) * 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10488919B2 (en) 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
US10540008B2 (en) 2012-01-04 2020-01-21 Tobii Ab System for gaze interaction
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
WO2016141373A1 (en) 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
JP2018536244A (ja) 2015-12-04 2018-12-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 再位置特定システムおよび方法
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
CN117741956A (zh) 2016-08-02 2024-03-22 奇跃公司 固定距离虚拟和增强现实系统及方法
US11914768B2 (en) 2017-01-20 2024-02-27 Adhawk Microsystems Inc. Resonant light scanner having drive-frequency control based on an electrical parameter
US11435823B2 (en) 2017-01-20 2022-09-06 AdHawk Microsystems Eye-tracker with improved beam scanning and method therefor
US10824229B2 (en) * 2017-01-20 2020-11-03 AdHawk Microsystems System and method for resonant eye-tracking
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
EP3596705A1 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
IL303275B1 (en) 2017-03-17 2024-04-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
AU2018236457B2 (en) 2017-03-17 2021-04-29 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US10191539B2 (en) * 2017-03-20 2019-01-29 Intel Corporation User aware odometry correction technology
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
KR102479052B1 (ko) 2017-08-29 2022-12-20 삼성전자주식회사 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
KR102486421B1 (ko) * 2017-10-16 2023-01-10 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 동작 방법
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US11048327B2 (en) 2017-12-28 2021-06-29 AdHawk Microsystems Timer-based eye-tracking
US20190204910A1 (en) * 2018-01-02 2019-07-04 Microsoft Technology Licensing, Llc Saccadic breakthrough mitigation for near-eye display
US10917634B2 (en) 2018-01-17 2021-02-09 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
US11112863B2 (en) 2018-01-17 2021-09-07 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US11250819B2 (en) 2018-05-24 2022-02-15 Lockheed Martin Corporation Foveated imaging system
US11379948B2 (en) 2018-07-23 2022-07-05 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
JP7382387B2 (ja) 2018-07-24 2023-11-16 マジック リープ， インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
US11347056B2 (en) * 2018-08-22 2022-05-31 Microsoft Technology Licensing, Llc Foveated color correction to improve color uniformity of head-mounted displays
US10860032B2 (en) * 2018-10-29 2020-12-08 Dell Products, Lp System and method for adaptive infrared emitter power optimization for simultaneous localization and mapping
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
SE1851597A1 (en) * 2018-12-17 2020-06-02 Tobii Ab Gaze tracking via tracing of light paths
EP3905943A4 (en) * 2019-01-03 2022-04-20 Immersix Ltd. EYE TRACKING SYSTEM AND METHOD
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
US10871823B1 (en) * 2019-05-23 2020-12-22 Facebook Technologies, Llc Systems and methods for using scene understanding for calibrating eye tracking
US11631353B2 (en) * 2020-05-21 2023-04-18 Magic Leap, Inc. Warping for laser beam scanning displays using eye tracking
US11586285B2 (en) * 2021-02-17 2023-02-21 Adhawk Microsystems Inc. Methods and systems for forming images of eye features using a non-imaging, scanning-MEMS-based eye-tracking system
WO2023102500A1 (en) * 2021-12-01 2023-06-08 Magic Leap, Inc. Methods for controlling performance of extended reality display systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作
US20130201080A1 (en) * 2012-02-06 2013-08-08 Allan T. Evans Image Generation Systems And Image Generation Methods
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN104094162A (zh) * 2011-12-02 2014-10-08 杰瑞·G·奥格伦 动态控制沉浸或抬头显示操作的宽视场3d立体视觉平台
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3318680B2 (ja) 1992-04-28 2002-08-26 サン・マイクロシステムズ・インコーポレーテッド 画像生成方法及び画像生成装置
US5684498A (en) 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
US7019736B2 (en) 2002-03-20 2006-03-28 Hewlett-Packard Development Company, L.P. Method and apparatus for image display
US7567241B2 (en) 2004-08-03 2009-07-28 Silverbrook Research Pty Ltd Stylus with customizable appearance
US7593026B2 (en) 2005-05-11 2009-09-22 L-3 Communications Corporation Dynamic display optimization method and system with image motion
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
MX2007014268A (es) 2005-08-02 2008-02-07 Uni Pixel Displays Inc Mecanismo para mitigar los artefactos de separacion de color en sistemas visualizadores de color secuenciales de campo.
FR2901905A1 (fr) 2006-05-30 2007-12-07 Thomson Licensing Sas Procede d'affichage sequentiel couleur par modulation de duree
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP5115151B2 (ja) 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
KR20100115736A (ko) 2007-12-20 2010-10-28 리얼디 인크. 픽셀 내 조명 시스템 및 방법
US8405691B2 (en) 2008-09-22 2013-03-26 Rambus Inc. Field sequential color encoding for displays
US8294633B2 (en) 2009-05-05 2012-10-23 Honeywell International Inc. Methods for reducing artifacts in near-to-eye display systems
US8581923B2 (en) 2009-10-07 2013-11-12 Sharp Laboratories Of America, Inc. Temporal color liquid crystal display
EP2447757A1 (en) 2010-10-26 2012-05-02 BAE Systems PLC Display assembly, in particular a head-mounted display
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
ES2898981T3 (es) 2012-08-09 2022-03-09 Tobii Ab Activación rápida en un sistema de seguimiento de la mirada
US8797340B2 (en) 2012-10-02 2014-08-05 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
WO2014138925A1 (en) 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
GB201310368D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US10345903B2 (en) 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
US10528127B2 (en) * 2013-12-09 2020-01-07 Apple Inc. Method for operating an eye tracking device and eye tracking device for providing an active power management
CN106030458B (zh) 2013-12-31 2020-05-08 谷歌有限责任公司 用于基于凝视的媒体选择和编辑的系统和方法
KR102173699B1 (ko) * 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
US9547365B2 (en) * 2014-09-15 2017-01-17 Google Inc. Managing information display
US9857871B2 (en) * 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101943982A (zh) * 2009-07-10 2011-01-12 北京大学 基于被跟踪的眼睛运动的图像操作
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
CN104094162A (zh) * 2011-12-02 2014-10-08 杰瑞·G·奥格伦 动态控制沉浸或抬头显示操作的宽视场3d立体视觉平台
US20130201080A1 (en) * 2012-02-06 2013-08-08 Allan T. Evans Image Generation Systems And Image Generation Methods

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716639B (zh) * 2018-07-12 2022-06-21 苹果公司 具有基于眼睛活动的显示器操作的电子设备
CN110716639A (zh) * 2018-07-12 2020-01-21 苹果公司 具有基于眼睛活动的显示器操作的电子设备
US11782503B2 (en) 2018-07-12 2023-10-10 Apple Inc. Electronic devices with display operation based on eye activity
CN110968188A (zh) * 2018-09-28 2020-04-07 苹果公司 基于头部位置的应用程序放置
US11960641B2 (en) 2018-09-28 2024-04-16 Apple Inc. Application placement based on head position
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
CN112805670A (zh) * 2018-12-19 2021-05-14 徕卡生物系统成像股份有限公司 用于数字病理学的眼睛跟踪的图像查看器
CN112805670B (zh) * 2018-12-19 2024-02-09 徕卡生物系统成像股份有限公司 用于数字病理学的眼睛跟踪的图像查看器
CN109917908A (zh) * 2019-02-01 2019-06-21 谷东科技有限公司 一种ar眼镜的图像获取方法及系统
CN114967917A (zh) * 2019-02-04 2022-08-30 托比股份公司 用于确定当前注视方向的方法和系统
CN113678435A (zh) * 2019-02-07 2021-11-19 奇跃公司 具有高时间分辨率的轻型低功耗交叉现实设备
US11521581B2 (en) 2019-09-26 2022-12-06 Apple Inc. Controlling displays
US11893964B2 (en) 2019-09-26 2024-02-06 Apple Inc. Controlling displays
CN112558902A (zh) * 2019-09-26 2021-03-26 苹果公司 用于动态中央凹显示器的与注视无关的抖动
US11800059B2 (en) 2019-09-27 2023-10-24 Apple Inc. Environment for remote communication
US12003890B2 (en) 2019-09-27 2024-06-04 Apple Inc. Environment for remote communication
CN112925424A (zh) * 2019-12-05 2021-06-08 原相科技股份有限公司 光学导航装置以及光学导航方法
US12013979B2 (en) 2020-02-07 2024-06-18 Magic Leap, Inc. Lightweight and low power cross reality device with high temporal resolution

Also Published As

Publication number Publication date
CN108136258B (zh) 2020-11-24
EP3368170B1 (en) 2020-01-01
US20170123489A1 (en) 2017-05-04
US10338677B2 (en) 2019-07-02
WO2017074807A1 (en) 2017-05-04
EP3368170A1 (en) 2018-09-05

Similar Documents

Publication Publication Date Title
CN108136258A (zh) 基于跟踪眼部运动来调整图像帧
US9710973B2 (en) Low-latency fusing of virtual and real content
JP6860488B2 (ja) 複合現実システム
CN108139806A (zh) 相对于可穿戴设备跟踪穿戴者的眼睛
KR102281026B1 (ko) 홀로그램 앵커링 및 동적 포지셔닝 기법
CN107439011B (zh) 在后期重投影中的视网膜位置
CN105992965B (zh) 响应于焦点移位的立体显示
US20200363867A1 (en) Blink-based calibration of an optical see-through head-mounted display
CN109791605A (zh) 基于眼睛跟踪信息的图像区域中的自适应参数
US20140176591A1 (en) Low-latency fusing of color image data
US11156843B2 (en) End-to-end artificial reality calibration testing
EP3242274A1 (en) Method and device for displaying three-dimensional objects
CN106575039A (zh) 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
CN106415364A (zh) 立体渲染至眼睛位置
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
KR20130139280A (ko) 증강 현실 디스플레이를 위한 자동 가변 가상 초점
CN107810634A (zh) 用于立体增强现实的显示器
US10248842B1 (en) Face tracking using structured light within a head-mounted display
CN110554501B (zh) 头戴式显示器及用于确定佩戴其的用户的视线的方法
CN112926523B (zh) 基于虚拟现实的眼球追踪方法、系统
JP5021676B2 (ja) モーションキャプチャにおける眼球運動データ置換
Chessa et al. A stereoscopic augmented reality system for the veridical perception of the 3D scene layout
Chessa et al. Veridical perception of 3D objects in a dynamic stereoscopic augmented reality system
PATTI Reducing motion sickness on mobile phone based VR applications using 6DoF tracking
Bergmans An optical tracking system for the integration of input devices into head-mounted virtual reality environments using commodity hardware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant