CN111670001A - 用于眼睛跟踪系统的图像调整 - Google Patents
用于眼睛跟踪系统的图像调整 Download PDFInfo
- Publication number
- CN111670001A CN111670001A CN201980011164.5A CN201980011164A CN111670001A CN 111670001 A CN111670001 A CN 111670001A CN 201980011164 A CN201980011164 A CN 201980011164A CN 111670001 A CN111670001 A CN 111670001A
- Authority
- CN
- China
- Prior art keywords
- gaze
- user
- eye
- images
- squinting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
- G01V8/20—Detecting, e.g. by using light barriers using multiple transmitters or receivers
- G01V8/22—Detecting, e.g. by using light barriers using multiple transmitters or receivers using reflectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
实施方案总体上涉及调整眼睛跟踪系统的图像。在一些实施方案中,一种方法包括向用户呈现一个或多个图像。所述方法还包括获得关于所述用户对于呈现给所述用户的所述一个或多个图像的凝视的凝视跟踪数据。所述方法还包括从所述凝视跟踪数据检测一个或多个第一凝视特性,其中所述一个或多个第一凝视特性指示所述用户的所述凝视的第一状态。所述方法还包括基于所述一个或多个第一凝视特性而降低呈现给所述用户的所述一个或多个图像的至少一部分的亮度。
Description
相关申请的交叉引用
本申请要求于2018年1月31日提交的标题为“IMAGE ADJUSTMENT FOR AN EYETRACKING SYSTEM”的美国专利申请序列No.15/885,176的优先权,所述美国专利申请特此以引用的方式并入如同在本申请中全部阐述以用于所有目的。
背景技术
一种头戴式显示器(HMD)设备是戴在用户头上的图形显示设备。HMD通常通过在一只眼睛或每只眼睛前方使用显示光学器件来向用户提供宽视野。对于一些眼睛跟踪系统,眯眼可能会致使眼睛跟踪不那么准确或完全失败。在眼睛跟踪系统依赖“闪光”或来自从眼睛区域(即,眼球)反射的光源的特定光反射的情况下,可能会发生这种情况。检测到闪光,并且能够将闪光用来解释眼睛的位置。当用户眯眼时,眼睛更多地被周围的皮肤(诸如,眼睑、眼窝底部等)覆盖,并且能够遮挡闪光中的一个或多个或者以其他方式防止其反射回到检测器或传感器。
发明内容
实施方案总体上涉及调整眼睛跟踪系统中的图像。在诸如头戴式显示器(HMD)设备等环境中,如果系统检测到用户眯眼,则系统动态地降低呈现给用户的一个或多个图像的至少一部分的亮度。降低的亮度会促使用户的眼睛停止眯起,然后系统恢复亮度。
在一些实施方案中,一种方法包括向用户呈现一个或多个图像。所述方法还包括获得关于所述用户对于呈现给所述用户的所述一个或多个图像的凝视的凝视跟踪数据。所述方法还包括从所述凝视跟踪数据检测一个或多个第一凝视特性,其中所述一个或多个第一凝视特性指示所述用户的所述凝视的第一状态。所述方法还包括基于所述一个或多个第一凝视特性而降低呈现给所述用户的所述一个或多个图像的至少一部分的亮度。
还关于该方法,在一些实施方案中,通过头戴式显示器的显示设备将一个或多个图像呈现给用户。在一些实施方案中,在头戴式显示器中执行凝视跟踪数据的获得。在一些实施方案中,由头戴式显示器的眼睛跟踪设备执行凝视跟踪数据的获得。在一些实施方案中,使用头戴式显示器的一体地形成的相机执行凝视跟踪数据的获得。在一些实施方案中,凝视跟踪数据包括从用户的至少一只眼睛的角膜反射的光的量。在一些实施方案中,用户的凝视的第一状态是眯眼状态。在一些实施方案中,一个或多个第一凝视特性指示眯眼的量。在一些实施方案中,一个或多个第一凝视特性的检测包括确定用户的至少一只眼睛上的一些缺失的闪光。在一些实施方案中,所述方法还包括生成眯眼值,其中所述眯眼值表示眯眼的量。在一些实施方案中,所述方法还包括生成眯眼值,其中所述眯眼值是基于与用户的至少一只眼睛相关联的角膜反射值的减小。在一些实施方案中,一个或多个第一凝视特性包括与用户的至少一只眼睛相关联的角膜反射值的变化。在一些实施方案中,一个或多个第一凝视特性包括与用户的至少一只眼睛相关联的角膜反射值的减小。在一些实施方案中,所述方法还包括在预定的持续时间内降低一个或多个图像的亮度。在一些实施方案中,所述方法还包括基于第一凝视特性而降低一个或多个图像的亮度。在一些实施方案中,所述方法还包括基于一个或多个第二凝视特性而恢复一个或多个图像的亮度。在一些实施方案中,所述方法还包括基于第一状态的变化而恢复一个或多个图像的亮度。在一些实施方案中,所述方法还包括当用户的凝视从第一状态改变为第二状态时恢复一个或多个图像的亮度,其中第二状态为非眯眼状态。
在一些实施方案中,提供了一种其上具有程序指令的非暂时性计算机可读存储介质。当由一个或多个处理器执行时,所述指令可操作以执行操作,所述操作包括:向用户呈现一个或多个图像;获得关于用户对于呈现给所述用户的一个或多个图像的凝视的凝视跟踪数据;从所述凝视跟踪数据检测一个或多个第一凝视特性,其中所述一个或多个第一凝视特性指示用户的凝视的第一状态;以及基于所述一个或多个第一凝视特性而降低呈现给用户的一个或多个图像的至少一部分的亮度。
在一些实施方案中,一种系统包括一个或多个处理器并且包括逻辑,所述逻辑编码在一个或多个非暂时性计算机可读存储介质中以由一个或多个处理器执行。当被执行时,所述逻辑可操作以执行操作,所述操作包括:向用户呈现一个或多个图像;获得关于用户对于呈现给所述用户的一个或多个图像的凝视的凝视跟踪数据;从所述凝视跟踪数据检测一个或多个第一凝视特性,其中所述一个或多个第一凝视特性指示用户的凝视的第一状态;以及基于所述一个或多个第一凝视特性而降低呈现给用户的一个或多个图像的至少一部分的亮度。
可通过参考说明书的其余部分和附图来实现对本文所公开的特定实施方案的性质和优点的进一步理解。
附图说明
图1是示出了可用于本文所描述的实施方案的凝视跟踪系统的图解。
图2是示出了可用于本文所描述的实施方案的用户的眼睛和显示设备的图解。
图3是描绘了可用于本文所描述的实施方案的眼睛跟踪系统的框图。
图4示出了根据一些实施方案的用于调整眼睛跟踪系统中的图像的示例性流程图。
图5示出了根据一些实施方案的用于降低呈现给用户的一个或多个图像的亮度水平的示例性流程图。
图6是可用于本文所描述的实施方案的图形处理系统的框图。
具体实施方式
本文描述的实施方案总体上涉及调整眼睛跟踪系统中的图像。在诸如头戴式显示器(HMD)设备等环境中,如果系统检测到用户眯眼,则系统动态地降低呈现给用户的一个或多个图像的至少一部分的亮度。降低的亮度会促使用户的眼睛停止眯起,然后系统恢复亮度。
当在诸如虚拟现实(VR)等应用中使用眼睛跟踪时,一些用户行为(诸如眨眼或眯眼)可能会致使渲染有误差。这是由于眼睛跟踪硬件无法可靠地看到眼睛闪光。如本文中更详细地描述的,当系统检测到眯眼时,系统动态地降低屏幕亮度。由于减少的光输出,这将会致使用户重新睁开眼睛。这使得眼睛跟踪能够正确恢复。为此,响应于检测到的眯眼的屏幕亮度调制可消除这些误差中的一些。
在一些实施方案中,所述系统向用户呈现一个或多个图像。所述系统还获得关于用户对于呈现给所述用户的一个或多个图像的凝视的凝视跟踪数据。所述系统还从凝视跟踪数据检测一个或多个第一凝视特性,其中一个或多个第一凝视特性指示用户的凝视的第一状态(例如,眯眼状态)。然后,所述系统基于一个或多个第一凝视特性而降低呈现给用户的一个或多个图像的至少一部分的亮度。然后,系统基于一个或多个第二凝视特性而恢复一个或多个图像的亮度,其中一个或多个第二凝视特性指示用户的凝视的第二状态(例如,非眯眼状态)。
虽然在头戴式设备的语境中描述了本文所公开的实施方案,但是所述实施方案也可以应用于向用户提供宽视野的其他图形显示技术。例如,实施方案可应用于眼镜。实施方案可应用于可能是或可能不是物理地安装在用户的头部上的技术,诸如外部投影设备或系统等。
虽然特定实施方案可能与诸如凹形渲染等图像渲染应用有关,但是本文所描述的特征也能够应用于眼睛跟踪是有用或期望的任何系统或情况。
下文在本文所描述的实施方案的语境内描述凝视跟踪。眼睛凝视跟踪具有广泛的应用,包括医学研究、汽车技术、计算机娱乐和视频游戏程序、VR应用、控制输入设备、增强现实眼镜等。存在用于眼睛跟踪(也称为凝视跟踪)的若干技术。这些技术中的一些根据用户眼睛的瞳孔的取向来确定用户的凝视方向。一些已知的眼睛凝视跟踪技术涉及通过从一个或多个光源发射光来照亮眼睛,以及利用传感器来检测所发射的光从角膜的反射。通常来说,这是通过使用红外范围内的不可见光源并使用红外敏感相机捕获被照眼睛的图像数据(例如,图像或视频)来实现的。然后,将图像处理算法用于分析图像数据,以确定眼睛凝视方向。虽然一些实施方案被描述为使用红外光,但是这些实施方案和其他实施方案也可使用任何可见或不可见光来生成反射。
通常而言,眼睛跟踪图像分析利用与光如何从眼睛反射出来截然不同的特性以根据图像确定眼睛凝视方向。例如,可以分析图像以基于图像数据中的角膜反射而识别眼睛位置,并且可进一步分析图像以基于瞳孔在图像中的相对位置来确定凝视方向。
用于基于瞳孔位置而确定眼睛凝视方向的两种常见凝视跟踪技术被称为亮瞳孔跟踪和暗瞳孔跟踪。亮瞳孔跟踪涉及使用与相机的光轴基本在一条线上的光源照亮眼睛,从而致使发射的光从视网膜反射离开并通过瞳孔反射回到相机。瞳孔在图像中呈现为在瞳孔位置处的可识别亮点,类似于在常见闪光灯摄影期间出现在图像中的红眼效应。在这种凝视跟踪方法中,如果瞳孔与虹膜之间的对比度不够,则来自瞳孔本身的亮反射会帮助系统定位瞳孔。
暗瞳孔跟踪涉及使用与相机的光轴基本不在一条线上的光源来照亮,从而致使穿过瞳孔的光反射离开相机的光轴,从而在图像中瞳孔的位置产生可识别的暗点。在替代的暗瞳孔跟踪系统中,红外光源和对准眼睛的相机能够观察角膜反射。这种基于相机的系统跟踪瞳孔的位置和角膜反射,由于反射深度不同,它们会提供视差并提供额外的精度。
图1是示出了可用于本文所描述的实施方案的凝视跟踪系统100的图解。在各种实施方案中,凝视跟踪系统100可为暗瞳孔凝视跟踪系统。凝视跟踪系统跟踪用户的眼睛E相对于呈现了可见图像的显示屏101的取向。
虽然在示例性系统100中利用了显示屏,但是某些替代实施方案可利用能够将图像直接投影到用户的眼睛中的图像投影系统。在这些实施方案中,将相对于投影到用户的眼睛中的图像来跟踪用户的眼睛E。在该示例中,眼睛E通过可变虹膜I收集来自屏幕101的光;并且晶状体L在视网膜R上投影图像。虹膜中的开口被称为瞳孔。响应于来自大脑的神经脉冲,肌肉控制眼睛E的旋转。响应于其他神经脉冲,上眼睑肌肉ULM和下眼睑肌肉LLM分别控制上眼睑UL和下眼睑LL。
视网膜R上的光敏细胞生成电脉冲,所述电脉冲经由视神经ON被发送到用户的大脑(未示出)。大脑的视皮层解释了所述脉冲。并非视网膜R的所有部分都对光同样敏感。具体而言,光敏细胞集中在称为中央凹的区域。
示出的图像跟踪系统包括一个或多个红外光源102,例如将不可见光(例如,红外光)引向眼睛E的发光二极管(LED)。不可见光的一部分从眼睛的角膜C反射,且一部分从虹膜反射。反射的不可见光通过波长选择镜106被引向合适的传感器104,诸如图像传感器(例如,红外相机)。镜子透射来自屏幕101的可见光,但是反射从眼睛反射的不可见光。
传感器104优选地是图像传感器,例如能够产生眼睛E的图像的数码相机,可对所述图像进行分析以从瞳孔的相对位置确定凝视方向GD。该图像可用本地处理器120或经由将获得的凝视跟踪数据传输到远程计算设备160来产生。本地处理器120可根据熟知的架构(诸如例如,单核、双核、四核、多核、处理器-协处理器、单元处理器等)来配置。图像跟踪数据可经由有线连接(未示出)在传感器104与远程计算设备160之间传输,或者在眼睛跟踪设备中包括的无线收发器125与远程计算设备160中包括的第二无线收发器126之间无线地传输。无线收发器可被配置成实现局域网(LAN)或个人局域网(PAN),经由用于PAN的合适的网络协议(例如,蓝牙)。
凝视跟踪系统100还可包括上传感器108和下传感器109,所述两个传感器被配置成例如分别放置在眼睛E的上方和下方。传感器108和传感器109可为独立的部件,或者可替代地是佩戴在用户的头部上的部件110的一部分,所述部件110可包括但不限于以下所述的传感器104、本地处理器120或惯性传感器115的任何组合。在示例性系统100中,传感器108和传感器109能够收集关于神经系统的电脉冲和/或来自眼睛E周围的那些区域的肌肉系统的移动和/或振动的数据。该数据可包括例如眼睛E周围的肌肉和/或神经的由上传感器108和下传感器109监测到的电生理学和/或振动信息。由传感器108和传感器109收集的电生理学信息可包括例如脑电图(EEG)、肌电图(EMG)或由于眼睛E周围的区域中的神经功能而收集的诱发电位信息。由于检测眼睛E周围的肌肉的肌肉振动或抽搐,传感器108和传感器109还可能够收集例如肌动图信息或表面肌电图信息。由传感器108和传感器109收集的数据可与图像跟踪数据一起递送到如上所述的本地处理器120和/或远程计算设备160。
凝视跟踪系统100还可能够跟踪用户的头部。头部跟踪可以由惯性传感器115执行,所述惯性传感器115能够响应于用户头部的位置、运动、取向或取向变化而产生信号。该数据可被发送到本地处理器120和/或传输到远程计算设备160。惯性传感器115可为独立的部件,或者可替代地是佩戴在用户的头部上的部件110的一部分,所述部件110可包括但不限于如上所述的传感器104、本地处理器120或传感器108和传感器109的任何组合。在替代实施方案中,可以经由对光源的跟踪或通过附接到部件110的其他机构的跟踪来执行头部跟踪。
远程计算设备160可被配置成与眼睛跟踪设备和显示屏101协同操作,以便根据本公开的各方面执行眼睛凝视跟踪并确定照明条件。计算设备160可包括一个或多个处理器单元170,所述处理器单元170可根据熟知的架构(诸如例如,单核、双核、四核、多核、处理器-协处理器、单元处理器等)来配置。计算设备160还可包括一个或多个存储器单元172(例如,随机存取存储器(RAM)、动态随机存取存储器(DRAM)、只读存储器(ROM)等)。
处理器单元170可执行一个或多个程序,所述一个或多个程序的各部分可存储在存储器172中,并且处理器170可操作地耦接到存储器172(例如,通过经由数据总线178访问存储器)。所述程序可被配置成执行眼睛凝视跟踪并确定系统100的照明条件。举例来说而非限制,所述程序可包括凝视跟踪程序173,所述凝视跟踪程序173的执行可致使系统100跟踪用户的凝视。例如,如上面所讨论的,可通过误差和状态参数确定程序174、图像调整程序175(标记为ROI调整)和图像渲染程序176来跟踪用户的凝视,所述各程序的执行渲染将要在显示器上呈现的图像。在一些实施方案中,图像调整程序175可使用误差和/或状态参数来分别确定能够对所呈现的图像做出的潜在调整,并且调整要在显示器上呈现的图像。
举例来说而非限制,凝视跟踪程序173可包括处理器可执行指令,所述指令致使系统100在从光源102发射光的同时从用传感器104收集的眼睛跟踪数据以及分别从上传感器108和下传感器109收集的眼睛移动数据确定系统100的一个或多个凝视跟踪参数。在一些实施方案中,凝视跟踪程序173还可包括指令,所述指令分析用传感器104收集的图像,以便检测照明条件存在变化。
图2是示出了可用于本文所描述的实施方案的用户的眼睛和显示设备的图解。参看图1和图2两者,可分析示出用户的眼睛E的图像180,以根据瞳孔的相对位置确定凝视方向GD。例如,图像分析可确定瞳孔P相对于眼睛E在图像中的中心的2维偏移。通过基于眼球的已知大小和形状的三维矢量的直接几何计算,可将瞳孔相对于中心的位置转换为相对于屏幕101的凝视方向。所确定的凝视方向GD能够示出当眼睛E相对于屏幕101移动时眼睛的旋转和加速度。
所述图像还可包括分别来自角膜C和晶状体L的不可见光的反射187和反射188。因为角膜和晶状体处于不同的深度,所以所述反射之间的视差和折射率可用来在确定凝视方向GD时提供额外的精度。这种类型的眼睛跟踪系统的示例是双重Purkinje跟踪器,其中角膜反射是第一Purkinje图像,而晶状体反射是第四Purkinje图像。在一些情境中,如果用户佩戴了用户的眼镜193,则还可能存在来自用户的眼镜193的反射190。
在一些实施方案中,能够用其他方法来增强基于相机的眼睛跟踪,以在眨眼阶段期间更新眼睛跟踪。增强的示例包括除了图像信息之外还提供EEG信息,以便检测触发眼部肌肉活动的神经脉冲。该信息还可用于帮助检测眨眼和扫视的开始和结束。眼睛跟踪系统能够基于眼睛移动的速度而通过高通滤波来确定视觉系统是否处于扫视状态。
眼睛跟踪系统的性能取决于多种因素,包括:光源(红外[IR]光、可见光等)和相机的放置,用户是否佩戴眼镜或隐形眼镜,HMD光学器件,帧速,曝光时间,相机光学器件,跟踪系统延时,眼睛移动速度,眼睛形状(在白天的过程期间改变或可能因为移动而改变),眼睛状况(例如,弱视),凝视稳定性,对移动对象的注视,呈现给用户的场景以及用户的头部运动。
图3是描绘了可用于本文所描述的实施方案的眼睛跟踪系统300的框图。示例性系统300可包括计算设备360,所述计算设备360耦接到眼睛跟踪设备302和显示设备304,以便根据本公开的各方面执行眼睛凝视跟踪和/或对眼睛跟踪的校准。显示设备304可呈阴极射线管(CRT)、平板屏幕、触摸屏、投影仪、视网膜成像仪或显示文字、数字、图形符号或其他视觉对象的其他设备的形式。根据本公开的各方面,计算设备360可为嵌入式系统、移动电话、个人计算机、平板计算机、便携式游戏设备、工作站、游戏控制台等。此外,计算设备360、眼睛跟踪设备302、显示设备304或它们的任何组合可形成整体单元或被实现为可彼此通信的单独部件。
眼睛跟踪设备302可耦接到计算设备360,并且可包括动态光源310。举例来说而非限制,光源310可为呈一个或多个红外LED形式的不可见光源,所述不可见光源可被配置成照亮用户的眼睛,以便用诸如相机312等传感器收集眼睛跟踪数据。眼睛跟踪设备的相机312可为检测器,所述检测器对从光源310发射的光敏感。例如,相机312可为对光源敏感的相机,诸如红外相机,并且相机312可相对于眼睛跟踪设备302和光源310定位,以使得它可捕获被光源310照亮的区域的图像。
计算设备360可被配置成与眼睛跟踪设备302和显示设备304协同操作,以便根据本公开的各方面执行眼睛凝视跟踪并确定照明条件。计算设备360可包括一个或多个处理器单元370,所述一个或多个处理器单元370可根据熟知的架构(诸如例如,单核、双核、四核、多核、处理器-协处理器、单元处理器等)来配置。计算设备360还可包括一个或多个存储器单元372(例如,随机存取存储器(RAM)、动态随机存取存储器(DRAM)、只读存储器(ROM)等)。
处理器单元370可执行一个或多个程序,所述一个或多个程序的各部分可存储在存储器372中,并且处理器370可操作地耦接到存储器372(例如,通过经由数据总线376访问存储器)。所述程序可被配置成执行眼睛凝视跟踪并确定系统300的照明条件。举例来说而非限制,所述程序可包括:凝视跟踪程序373,所述凝视跟踪程序373的执行可致使系统300跟踪用户的凝视;图像调整程序374,所述图像调整程序374的执行调整将呈现在显示器上的图像;以及图像渲染程序375,所述图像渲染程序375的执行渲染将呈现在显示器上的图像。举例来说而非限制,凝视跟踪程序373可包括处理器可执行指令,所述指令致使系统300在从动态光源310发射光的同时从用相机312收集的眼睛跟踪数据确定系统300的一个或多个凝视跟踪参数。凝视跟踪程序373还可包括指令,所述指令分析用相机312收集的图像。
计算设备360还可包括支持电路378,诸如输入/输出(I/O)电路379、电源(P/S)380、时钟(CLK)381和高速缓存382,它们可例如经由总线376与系统的其他部件通信。I/O电路可包括无线收发器,以促进与眼睛跟踪设备302和显示设备304上类似地配置的收发器的通信。处理器单元370和无线收发器可被配置成实现局域网(LAN)或个人局域网(PAN),经由用于PAN的合适的网络协议(例如,蓝牙)。计算设备360可任选地包括大容量存储设备384(诸如,磁盘驱动器、CD-ROM驱动器、磁带驱动器、快闪存储器等),并且大容量存储设备384可存储程序和/或数据。计算设备360还可包括用于促进系统300与用户之间的交互的用户界面388。用户界面388可包括键盘、鼠标、光笔、游戏控制垫、触摸界面和/或其他设备。
系统300还可包括控制器(未示出),所述控制器与眼睛跟踪设备302介接以便与由处理器单元370执行的程序进行交互。系统300还可执行一个或多个通用计算机应用(未示出),诸如视频游戏,所述应用可并入由眼睛跟踪设备302感测并由跟踪程序373、图像调整程序374和图像渲染程序375处理的眼睛凝视跟踪的各方面。
计算设备360可包括网络接口390,所述网络接口390被配置成支持使用Wi-Fi、以太网端口或其他通信方法。网络接口390可并入合适的硬件、软件、固件或它们的某一组合,以促进经由电信网络来通信。网络接口390可被配置成通过局域网和广域网(诸如互联网)来实现有线或无线通信。网络接口390还可包括前面提及的促进与眼睛跟踪设备302和显示设备304进行无线通信的无线收发器。计算设备360可通过网络经由一个或多个数据包399发送和接收数据和/或对文件的请求。
在各种实施方案中,可基于对用户的眯眼的检测而通过调整渲染过程的某些参数来实现图像渲染。这种调整可包括降低呈现给用户的一个或多个图像的至少一部分的亮度。
如本文所指示,系统使用相机来检测用户的眼睛中的反射并确定用户的凝视。在一些情境中,用户可能会因视力问题、试图专注于某物、眼睛疲劳等而眯眼。此类用户行为可能会致使性能问题。例如,当用户眯眼时,用户的眼睑会遮挡反射。因此,在没有全反射的情况下,眼睛跟踪可能会退化或失败。而且,因为系统无法再准确地跟踪眼睛,所以图像渲染过程可能会失败。因此,图像区域可能会跳转到系统期望用户的凝视的位置,用户可能会注意到。
图4示出了根据一些实施方案的用于调整眼睛跟踪系统中的图像的示例性流程图。参看图1、图2和图4,在框402处启动了一种方法,其中系统向用户呈现一个或多个图像。在各种实施方案中,通过头戴式显示器(HMD)的显示设备向用户呈现一个或多个图像。
在框404处,所述系统获得关于用户对于呈现给所述用户的一个或多个图像的凝视的凝视跟踪数据。在各种实施方案中,在HMD的头戴式显示器中执行凝视跟踪数据的获得。在一些实施方案中,由HMD的眼睛跟踪设备执行凝视跟踪数据的获得。在一些实施方案中,使用HMD的一体地形成的相机执行凝视跟踪数据的获得。虽然一些实施方案可使用相机以获得凝视跟踪数据,但是其他技术也可用于获得凝视跟踪数据。例如,眼睛跟踪系统可使用微机电系统(MEMS)设备或其他检测方法。
在各种实施方案中,凝视跟踪数据包括在给定时间从用户的至少一只眼睛的角膜反射的光的量。从给定角膜反射的光的量可被称为角膜反射值。在各种实施方案中,所述系统收集凝视跟踪数据以每秒多次确定用户的每只眼睛的角膜反射值。
在框406处,所述系统从凝视跟踪数据检测一个或多个第一凝视特性,其中一个或多个第一凝视特性指示用户的凝视的特定状态。例如,在一些实施方案中,用户的凝视的特定状态是眯眼状态。眯眼状态是用户部分地闭合用户的眼睛的情况。例如,如果用户在视觉上专注于特定图像或图像细节,则可能会发生这种情况。为清楚起见,第一凝视特性指示眯眼状态,而第二凝视特性(在下文中更详细地描述)指示非眯眼状态。
在一些实施方案中,一个或多个第一凝视特性可指示眯眼的量。例如,凝视特性可指示眼睛是稍微闭合还是基本上闭合(几乎闭合)。为此,一个或多个第一凝视特性的检测包括确定用户的至少一只眼睛上的一些缺失的闪光。
如本文中更详细地描述的,在一些实施方案中,为了量化眯眼的量,系统可生成眯眼值,其中眯眼值表示眯眼的量。在一些实施方案中,所述系统可生成眯眼值,其中所述眯眼值是基于与用户的至少一只眼睛相关联的角膜反射值的减小。眯眼值可与角膜反射值成反比。例如,如果用户眯眼(眼睛部分闭合),则系统将检测到减小的角膜反射值,并且随后可基于角膜反射值而生成增大的眯眼值。
在一些实施方案中,一个或多个第一凝视特性包括与用户的至少一只眼睛相关联的角膜反射值的变化。例如,如果由于眯眼导致角膜反射值减小,则系统记载/记录角膜反射值改变了。
在一些实施方案中,一个或多个第一凝视特性包括与用户的至少一只眼睛相关联的角膜反射值的减小。例如,如果由于眯眼导致角膜反射值减小,则系统记载/记录角膜反射值改变了多少以及不同时间点上的角膜反射值。
在框408处,所述系统基于一个或多个第一凝视特性而降低呈现给用户的一个或多个图像的至少一部分的亮度,所述第一凝视特性指示眯眼状态。取决于特定实施方案,所述系统可降低屏幕或图像的特定部分、特定图像、多个图像的多个部分或所有图像的亮度。动态地降低屏幕亮度会减少进入眼睛的光的量。反过来,这可致使瞳孔不自主扩张以接收更多的光,并且然后还可致使用户睁开眼睛(停止眯眼)。
在一些实施方案中,所述系统在预定的持续时间内降低一个或多个图像的亮度。例如,所述系统降低一个或多个图像的亮度,并在设定的时间段内(例如,0.10秒、0.20秒等)维持降低的亮度。无意识眯眼的持续时间可能会有所不同,取决于原因(例如,0.5秒、1.0秒等)。即使暂时降低亮度也可能致使用户立即睁开眼睛并停止眯眼。
在一些实施方案中,所述系统基于第一凝视特性而降低一个或多个图像的亮度。所述系统可基于眯眼值而降低一个或多个图像的亮度。例如,如果眯眼值较大,则所述系统可降低一个或多个图像的亮度。相反地,如果眯眼值小,则所述系统可相对较少地降低一个或多个图像的亮度。为此,亮度降低的量与眯眼的量成比例。换句话说,眯眼越大,屏幕越暗。
在各种实施方案中,所述系统降低亮度达足够长的时间以促使或致使用户的眼睛停止眯眼。如下面更详细地描述的,所述系统足够快地恢复亮度,以使得用户不会有意识地知道亮度的变化以至于破坏用户体验。例如,这些操作可以120Hz的屏幕刷新率或240Hz的眼睛跟踪刷新率等发生。
在框410处,所述系统基于一个或多个第二凝视特性而恢复一个或多个图像的亮度,其中第二凝视特性指示非眯眼状态。恢复亮度(例如,恢复到全亮度)可致使用户睁开眼睛(停止眯眼),这反过来又使眼睛跟踪能够接收全反射并正常运行。在一些实施方案中,所述系统基于用户的眼睛的状态的改变而恢复一个或多个图像的亮度。例如,当用户的凝视从眯眼状态变为随后的非眯眼状态时,所述系统可恢复一个或多个图像的亮度。在一些实施方案中,所述系统可通过立即提高亮度来恢复亮度。在一些实施方案中,所述系统可通过迅速提升亮度来恢复亮度。在一些实施方案中,所述系统可以支持用户调整如何自动恢复亮度。
在一些实施方案中,所述系统从凝视跟踪数据检测一个或多个第二凝视特性,其中如上所述,这种第二凝视特性指示用户的凝视的非眯眼状态。在确定用户的凝视处于非眯眼状态后,所述系统增加一个或多个图像的亮度。在一些实施方案中,所述系统将亮度增加到眯眼状态之前期间的先前水平。
虽然可以特定顺序呈现步骤、操作或计算,但是在特定实施方案中可改变顺序。取决于特定实施方案,步骤的其他排序是可能的。在一些特定实施方案中,在本说明书中被示为连续的多个步骤可同时执行。而且,一些实施方案可不具有示出的所有步骤,和/或可具有其他步骤来代替或补充本文中示出的这些步骤。
图5示出了根据一些实施方案的用于降低呈现给用户的一个或多个图像的亮度水平的示例性流程图。参看图1、图2和图5,在框502处启动一种方法,其中所述系统从凝视跟踪数据确定角膜反射值。如本文所指示,角膜反射值表示从用户的至少一只眼睛的角膜反射的光的量。
在框504处,所述系统基于角膜反射值而确定眯眼值的增加。如本文所指示,眯眼值表示眯眼的量。更具体地,眯眼值的增加表示从用户的至少一只眼睛的角膜反射的光的量减少。换句话说,眯眼值的增加对应于角膜反射值的减小。
在框506处,系统确定眯眼值的增加量。
在框508处,所述系统将增加量与预定眯眼值阈值进行比较。
在框510处,所述系统确定增加量是否高于预定眯眼值阈值。如果不高于,则所述系统继续基于框504处的角膜反射值而确定眯眼值的增加。
在框512处,所述系统基于一个或多个第一凝视特性而降低一个或多个图像的至少一部分的亮度水平。在各种实施方案中,凝视特性包括眯眼值的增加量和眯眼值高于预定眯眼值阈值的持续时间。在一些实施方案中,所述系统基于增加到预定眯眼值阈值的量而确定亮度降低值。为此,所述系统基于亮度降低值而降低一个或多个图像的至少一部分的亮度水平。
虽然可以特定顺序呈现步骤、操作或计算,但是在特定实施方案中可改变顺序。取决于特定实施方案,步骤的其他排序是可能的。在一些特定实施方案中,在本说明书中被示为连续的多个步骤可同时执行。而且,一些实施方案可不具有示出的所有步骤,和/或可具有其他步骤来代替或补充本文中示出的这些步骤。
在一些实施方案中,可通过相机检测在虚拟现实(VR)头戴式耳机中显示以产生眼睛闪光的图像(例如,视频游戏图像)。在一些实施方案中,专用图案(“闪光图像”)和/或实际游戏图像(“呈现图像”)可用于读取眼睛的位置,做法是将传感器处的反射与由屏幕所呈现的已知图像相关联。在显示器的渲染和闪光检测受到协调系统(例如,一组相同的处理器和/或软件,或者通信或同步化的两个或更多系统)控制的系统中,与用单独的部件和系统来生成闪光图像相反,显示屏本身可用于在用户的眼睛上生成闪光图像或图案。在一些实施方案中,不必改变呈现图像以便提供闪光检测,而是所述呈现图像可为例如计算机游戏中的渲染的帧的常规过程。关于正在渲染的全部或一部分像素值的数据可用于关联眼睛上的呈现图像的感测反射,并且可用于确定眼睛位置和/或跟踪。
这与本文描述的一些实施方案的不同之处在于,它确定眼睛的位置,而不是使用单独的LED发射器在眼睛上产生图案。在一些实施方案中,对所呈现的图像以及眼睛上的反射的接收有完整的知识和控制。
这种技术可能是替代的或补充的(例如,与LED一起使用)。可由特定跟踪情形触发来打开或关闭补充模式。例如,眼睛的极端周边位置可有助于经由图形创建的闪光添加更多的光。
在一些实施方案中,所述系统可在屏幕的视野内包括内部微型相机或其他传感器。与有传感器安装在视角锥外部的系统相反,一个或多个传感器可在显示系统中使用的屏幕的前方、后方、内部、与其重叠、与其一体地形成或以其他方式占据与所述屏幕相同的视角锥,所述视角锥也称为视野、视角、视锥等。图1中示出了占据与屏幕相同的视野的传感器的示例,其中示出微型相机122在屏幕101后方。所述系统可与LCD或嵌入了多个(例如,几个、许多、数十个、数千个等)小型图像传感器的类似设备进行通信,所述小型图像传感器将允许用户在直视“相机”的同时查看显示器。所述系统可将由个别传感器累积的数据缝合成较大图像,并且将所述图像用于眼睛跟踪以及用于显示图像。
在一些实施方案中,所述系统可执行时分多路复用操作以将呈现图像与闪光图像分离。例如,可在图像数据与传感器之间使用液晶显示器(“LCD”)或其他快门系统,以在容许计算机生成的闪光跟踪图像数据的同时掩盖来自传感器的呈现图像。使用这种方法可具有一个优点,即闪光传感器中的一个或多个能够与用户的观看方向直接成一条直线,这能够提高性能。
图6是可用于本文所描述的实施方案的图形处理系统600的框图。实施方案可包括图形处理系统,所述图形处理系统被配置成实现图形处理,其中通过相对于屏幕空间的被确定为感兴趣部分的各部分调整所述屏幕空间的选定部分的顶点密度,有效分辨率根据屏幕位置而变化。举例来说而非限制,如图所示,计算机系统600可用于根据本公开的各方面实现图形处理。根据本公开的各方面,系统600可为嵌入式系统、移动电话、个人计算机、平板计算机、便携式游戏设备、工作站、游戏控制台等。
系统600通常包括中央处理器单元(CPU)602、图形处理器单元(GPU)604以及CPU和GPU两者可访问的存储器608。系统600还可包括熟知的支持功能610,所述支持功能610可例如经由数据总线609与系统的其他部件通信。此类支持功能可包括但不限于输入/输出(I/O)元件611、电源(P/S)612、时钟(CLK)613和高速缓存614。除了高速缓存614之外,GPU 604还可包括其自身的GPU高速缓存619,并且GPU可被配置以使得在GPU 604上运行的程序能够通过GPU高速缓存619进行读取或写入。
系统600可被配置成获取和分析凝视跟踪信息,以如上面所讨论优化图像渲染。在一些实施方案中,系统600可包括具有光源312和相机312的眼睛跟踪设备302,如上面相关于图3所讨论的。替代地,所述系统可被配置成例如经由I/O元件611与这些部件进行互操作。
系统600可包括显示设备616,以将渲染的图形617呈现给用户。在替代实施方案中,显示设备616是与系统600结合工作的独立部件。显示设备616可呈平板显示器、头戴式显示器(HMD)、阴极射线管(CRT)屏幕、投影仪或能够显示可见文字、数字、图形符号或图像的其他设备的形式。在特别有用的实施方案中,显示器616是大视野(FOV)设备,所述设备具有为90度或更大(例如,114度或更大)的视野的屏幕。显示设备616显示根据本文所述的各种技术处理的渲染的图形图像617(例如,完成的帧660)。
所述系统600可任选地包括大容量存储设备615(诸如,磁盘驱动器、CD-ROM驱动器、快闪存储器、磁带驱动器等),以存储程序和/或数据。所述系统600还可任选地包括用于促进系统600与用户之间的交互的用户界面单元618。用户界面618可包括键盘、鼠标、操纵杆、光笔、游戏控制器和/或可与图形用户界面(GUI)结合使用的其他设备。系统600还可包括网络接口620,以使设备能够通过网络622与其他远程设备625通信。网络622可为例如局域网(LAN)、诸如互联网的广域网、诸如蓝牙网络的个人局域网或其他类型的网络。这些部件可在硬件、软件、或固件或这些中的两个或更多个的某种组合中实现。
一些虚拟现实(VR)应用(例如,多玩家在线视频游戏或虚拟世界)包括VR社交屏幕功能,所述社交屏幕功能允许远程设备625上的观众观看系统600的用户看到的场景。
CPU 602和GPU 604可各自包括一个或多个处理器内核,例如单核、双核、四核、八核或更多。存储器608可呈提供可寻址存储器(例如,RAM、DRAM等)的集成电路的形式。存储器608可包括专用图形存储器628,所述专用图形存储器628可存储图形资源并且临时存储数据的用于图形渲染流水线的图形缓冲器605。图形缓冲器605可包括例如,用于存储顶点参数值的顶点缓冲器VB,用于保持顶点索引的索引缓冲器IB,用于存储图形内容的深度值的深度缓冲器(例如,Z缓冲器)DB,模板缓冲器SB,用于存储要发送给显示器的完整的帧的帧缓冲器FB,以及其他缓冲器。在图6中示出的示例中,图形存储器628被示出为主存储器的一部分。在替代实施方案中,图形存储器628可为单独的硬件部件,可能一体地形成到GPU604中。存储器608(可能是图形存储器628)也可临时存储多边形数据、凹形数据、顶点密度数据、像素分辨率数据和以镶嵌的顶点数据等。
举例来说而非限制,CPU 602和GPU 604可经由一根或多根总线609访问存储器608。在一些情况下,对于系统600而言包括两根或更多根不同的总线可能是有用的。存储器608可包含能够被CPU 602和GPU 604访问的数据。GPU 604可包括被配置成并行执行图形处理任务的多个计算单元。每个计算单元可包括其自身的专用本地存储器存储区,诸如本地数据共享。替代地,计算机单元可各自访问存储器608或专用图形存储器628。
CPU可被配置成执行CPU代码603,所述CPU代码603可包括利用图形的应用、编译器和图形API。CPU代码603还可实现凝视跟踪和图像区域调整。图形API可被配置成向由GPU604实现的程序发出绘制命令。CPU代码603还可实现物理模拟和其他功能。GPU 604可被配置成如上所讨论地操作。另外,GPU代码607还可实现熟知的着色器,诸如计算着色器CS、顶点着色器VS和像素着色器PS。为了促进数据在计算着色器CS与顶点着色器VS之间的传递,系统可包括一个或多个缓冲器605,所述一个或多个缓冲器605可包括帧缓冲器FB。GPU代码607还可任选地实现其他类型的着色器(未示出),诸如像素着色器或几何形状着色器。每个计算单元可包括其自身的专用本地存储器存储区,诸如本地数据共享。GPU 604可包括一个或多个纹理单元606,所述一个或多个纹理单元606被配置成执行用于将纹理应用于图元作为图形流水线的一部分的某些操作。
根据本公开的某些方面,系统600的CPU代码603和GPU代码607以及其他要素被配置成实现图形流水线,GPU 604可在所述图形流水线中接收多边形数据。多边形数据可从由CPU 602执行CPU代码603而实现的计算(例如,三维虚拟空间中的对象的物理模拟)生成。GPU 604执行多边形顶点到显示设备616的屏幕空间上的投影以及所产生的投影多边形的镶嵌。GPU 604可根据图像数据和顶点密度数据来调整顶点的密度以用于多边形的镶嵌,以使得顶点的密度在屏幕空间的所选部分中较高而在其余部分中较低。替代地,GPU 604可根据图像数据和像素分辨率数据来调整要在显示器上呈现的图像的各部分的像素分辨率,以使得像素分辨率在屏幕空间中的感兴趣选定区域中较高而在其余部分中较低。在一些实施方案中,GPU 604可根据图像数据、顶点密度数据和像素分辨率数据来调整顶点密度和像素分辨率两者,以使得顶点密度和像素分辨率在屏幕空间中的感兴趣的选定区域中较高而在其余部分中较低。
然后,GPU 604可在顶点上执行图元组装,以根据顶点在屏幕空间上的投影在屏幕空间中生成一个或多个图元。然后可对一个或多个图元执行扫描转换,以确定屏幕空间的哪些像素是对应图元的一部分。然后,GPU 604可通过执行像素处理以将像素值指派给作为对应图元的一部分的一个或多个像素来生成完成的帧。可将完成的帧存储在存储器608或图形存储器628中(例如,在帧缓冲器FB中)或显示在显示设备616上。
多边形顶点到屏幕空间和图形流水线的其他相关部分上的投影可例如通过实现为计算着色器CS的前端在软件中执行。替代地,将顶点投影到屏幕空间和图形流水线的其他相关部分上能够通过被配置成实现这些功能的专门设计的硬件部件HW来实现。
本公开的各方面还包括图像数据和/或顶点密度数据和/或像素分辨率数据被动态地调整的实施方案。在这种实施方案中,系统600包括硬件,所述硬件用于跟踪用户的凝视,即用户的眼睛看向何处,并将该信息与用户正在查看的对应屏幕位置相关联,例如如上文所讨论的以及下文进一步解释的。这种硬件的一个示例可包括相对于显示设备616的屏幕在已知位置并且指向用户的大致方向的数码相机。数码相机可为用户界面618的一部分或单独部件。CPU代码603可包括图像分析软件,所述图像分析软件分析来自相机的图像以确定:(a)用户是否在图像中;(b)用户是否面向相机;(c)用户是否面向屏幕;(d)用户的眼睛是否可见;(e)用户眼睛的瞳孔相对于用户头部的取向;以及(f)用户的头部相对于相机的取向。根据相机相对于屏幕的已知位置和取向、用户眼睛的瞳孔相对于用户头部的取向以及用户头部相对于相机的取向,图像分析软件可确定用户是否正在观察屏幕,并且如果是,则确定用户正在查看的屏幕部分的屏幕空间坐标。然后,CPU代码603可将这些屏幕坐标传递给GPU代码607,所述GPU代码607可确定对应于一个或多个感兴趣区域的一个或多个子区段。GPU代码607然后可相应地修改顶点和或像素分辨率的调整。
举例来说而非限制,可通过专用硬件(诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)或片上系统(SoC或SOC))来实现下面描述的专门设计的硬件、纹理单元606、某些类型的着色器以及图形流水线的其他部分。
如本文所使用的以及本领域技术人员通常所理解的,专用集成电路(ASIC)是为特定用途而定制的集成电路,而不是意图用于通用用途。
如本文中所使用的以及本领域技术人员通常所理解的,现场可编程门阵列(FPGA)是被设计成由客户或设计人员在制造之后配置的集成电路,因此是“现场可编程的”。通常使用类似于用于ASIC的硬件描述语言(HDL)来指定FPGA配置。
如本文中所使用的以及本领域技术人员通常所理解的,片上系统或片上系统(SoC或SOC)是将计算机或其他电子系统的所有部件集成到单个芯片中的集成电路(IC)。它可包含数字、模拟、混合信号以及通常的射频功能-全部都在单个芯片基板上。典型应用是在嵌入式系统的领域中。
典型的SoC可包括以下硬件部件:一个或多个处理器内核(例如,微控制器、微处理器或数字信号处理器(DSP)内核);存储器块,例如只读存储器(ROM)、随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)和快闪存储器;定时源,诸如振荡器或锁相环;外围设备,诸如计数器-计时器、实时计时器或上电复位发生器;外部接口,例如诸如通用串行总线(USB)、FireWire、以太网、通用异步接收器/发射器(USART)、串行外围接口(SPI)总线等行业标准;模拟接口,包括模数转换器(ADC)和数模转换器(DAC);以及稳压器和电源管理电路。
这些部件通过专有或行业标准总线连接。直接存储器访问(DMA)控制器直接在外部接口与存储器之间路由数据,从而绕过处理器内核并且因此提高了SoC的数据吞吐量。
典型的SoC包括上述硬件部件和控制处理器内核、外围设备和接口的可执行指令(例如,软件或固件)两者。
在一些实施方案中,图形流水线的各部分的一些或全部功能可替代地通过由软件可编程通用计算机处理器执行的适当配置的软件指令来实现,例如实现为由GPU 604执行的计算着色器CS。这种指令可体现在例如存储器608、图形存储器628或存储设备615的计算机可读介质中。
虽然本文中针对头戴式显示器(HMD)应用描述了示例,但是本公开的各方面不限于这样的实施方案。HMD实施方案表示相对直接的实施方案,因为用户的眼睛和显示屏的相对位置或多或少保持固定。然而,原则上,所公开的系统和方法可适于能够与凝视跟踪一起工作的任何图像显示系统。在用户的头部和眼睛相对于显示屏的位置和取向不固定的实施方案中,可修改凝视跟踪系统以跟踪所述位置和所述取向。
虽然已经相对于描述的特定实施方案描述了所述描述,但是这些特定实施方案仅是说明性的,而不是限制性的。示例中示出的概念可应用于其他示例和实施方案。
在各种实施方案中,软件被体现在一个或多个非暂时性计算机可读介质中,以由一个或多个处理器执行。当由一个或多个处理器执行时,所述软件可操作以执行本文描述的实施方案和其他功能。
能够使用任何合适的编程语言来实现特定实施方案的例程,包括C、C++、Java、汇编语言等。能够采用诸如过程或面向对象等不同的编程技术。所述例程能够在单个处理设备或多个处理器上执行。虽然可以特定顺序呈现步骤、操作或计算,但是在不同的特定实施方案中可改变该顺序。在一些特定实施方案中,在本说明书中被示出为连续的多个步骤能够同时执行。
特定实施方案可在非暂时性计算机可读存储介质(也称为机器可读存储介质)中实现,以供指令执行系统、装置或设备使用或与其结合使用。能够以软件或硬件或二者的组合中的控制逻辑的形式来实现特定实施方案。当由一个或多个处理器执行时,所述控制逻辑可操作以执行本文描述的实施方案和其他功能。例如,诸如硬件存储设备等有形介质能够用于存储控制逻辑,所述控制逻辑能够包括可执行指令。
特定实施方案可通过使用可编程通用数字计算机和/或通过使用专用集成电路、可编程逻辑设备、现场可编程门阵列、光学、化学、生物、量子或纳米工程系统、部件和机构来实现。通常而言,能够通过本领域中已知的任何方式来实现特定实施方案的功能。能够使用分布式联网系统、部件和/或电路。数据的通信或传递可能是有线的、无线的或通过任何其他方式。
“处理器”可包括处理数据、信号或其他信息的任何合适的硬件和/或软件系统、机构或部件。处理器可包括具有通用中央处理单元、多个处理单元、用于实现功能的专用电路的系统或其他系统。处理不必限于地理位置或具有时间限制。例如,处理器可以“实时”、“离线”、“批处理模式”等执行其功能。处理的各部分可在不同的时间和不同的位置通过不同的(或相同的)处理系统执行。计算机可为与存储器通信的任何处理器。存储器可为任何合适的数据存储装置、存储器和/或非暂时性计算机可读存储介质,包括:电子存储设备,诸如随机存取存储器(RAM)、只读存储器(ROM);磁性存储设备(硬盘驱动器等);闪存;光学存储设备(CD、DVD等);磁盘或光盘;或适合于存储指令(例如,程序或软件指令)以供处理器执行的其他有形介质。例如,诸如硬件存储设备等有形介质能够用于存储控制逻辑,所述控制逻辑能够包括可执行指令。指令还能包含在电子信号中并作为电子信号提供,例如呈从服务器(例如,分布式系统和/或云计算系统)递送的软件即服务(SaaS)的形式。
还应当了解,在图纸/附图中描述的要素中的一个或多个还能够以更分离或整合的方式来实现,或者在某些情况下甚至将其移除或使其无法使用,如根据特定应用是有用的。实现能够存储在机器可读介质中以容许计算机执行上述方法中的任何一个的程序或代码也在精神和范围内。
除非上下文另有明确规定,否则如本文的说明书中和贯穿以下权利要求所使用的,“一(a)”、“一(an)”和“所述”包括复数个指示物。而且,除非上下文另有明确规定,否则如本文的说明书中和贯穿以下权利要求所使用的,“在...中”的含义包括“在...中”和“在...上”。
因此,虽然本文已经描述了特定实施方案,但是在前述公开中意图进行多种修改、各种改变和替换,并且应当了解,在一些实例中,在不脱离所阐述的范围和精神的情况下,将采用特定实施方案的一些特征而不对应地使用其他特征。因此,可做出许多修改以使特定情况或材料适应基本范围和精神。
Claims (20)
1.一种计算机实现的方法,所述方法包括:
向用户呈现一个或多个图像;
获得关于所述用户对于呈现给所述用户的所述一个或多个图像的凝视的凝视跟踪数据;
从所述凝视跟踪数据检测一个或多个第一凝视特性,其中所述一个或多个第一凝视特性指示所述用户的所述凝视的第一状态;以及
基于所述一个或多个第一凝视特性而降低呈现给所述用户的所述一个或多个图像的至少一部分的亮度。
2.如权利要求1所述的方法,其中通过头戴式显示器的显示设备向所述用户呈现所述一个或多个图像。
3.如权利要求1所述的方法,其中在头戴式显示器中执行所述凝视跟踪数据的所述获得。
4.如权利要求1所述的方法,其中由头戴式显示器的眼睛跟踪设备执行所述凝视跟踪数据的所述获得。
5.如权利要求1所述的方法,其中使用头戴式显示器的一体地形成的相机执行所述凝视跟踪数据的所述获得。
6.如权利要求1所述的方法,其中所述凝视跟踪数据包括从所述用户的至少一只眼睛的角膜反射的光的量。
7.如权利要求1所述的方法,其中所述用户的所述凝视的所述第一状态是眯眼状态。
8.如权利要求1所述的方法,其中所述一个或多个第一凝视特性指示眯眼的量。
9.如权利要求1所述的方法,其中所述一个或多个第一凝视特性的所述检测包括确定所述用户的至少一只眼睛上的一些缺失的闪光。
10.如权利要求1所述的方法,所述方法还包括生成眯眼值,其中所述眯眼值表示眯眼的量。
11.如权利要求1所述的方法,所述方法还包括生成眯眼值,其中所述眯眼值是基于与所述用户的至少一只眼睛相关联的角膜反射值的减小。
12.如权利要求1所述的方法,其中所述一个或多个第一凝视特性包括与所述用户的至少一只眼睛相关联的角膜反射值的变化。
13.如权利要求1所述的方法,其中所述一个或多个第一凝视特性包括与所述用户的至少一只眼睛相关联的角膜反射值的减小。
14.如权利要求1所述的方法,所述方法还包括在预定的持续时间内降低所述一个或多个图像的所述亮度。
15.如权利要求1所述的方法,所述方法还包括基于所述第一凝视特性而降低所述一个或多个图像的所述亮度。
16.如权利要求1所述的方法,所述方法还包括基于一个或多个第二凝视特性而恢复所述一个或多个图像的所述亮度。
17.如权利要求1所述的方法,所述方法还包括基于所述第一状态的变化而恢复所述一个或多个图像的所述亮度。
18.如权利要求1所述的方法,所述方法还包括当所述用户的凝视从所述第一状态改变为第二状态时恢复所述一个或多个图像的所述亮度,其中所述第二状态为非眯眼状态。
19.一种非暂时性计算机可读存储介质,其上存储有程序指令,所述程序指令当由一个或多个处理器执行时可操作以执行操作,所述操作包括:
向用户呈现一个或多个图像;
获得关于所述用户对于呈现给所述用户的所述一个或多个图像的凝视的凝视跟踪数据;
从所述凝视跟踪数据检测一个或多个第一凝视特性,其中所述一个或多个第一凝视特性指示所述用户的所述凝视的第一状态;以及
基于所述一个或多个第一凝视特性而降低呈现给所述用户的所述一个或多个图像的至少一部分的亮度。
20.一种系统,所述系统包括:
一个或多个处理器;以及
逻辑,所述逻辑编码在一个或多个非暂时性计算机可读存储介质中以由所述一个或多个处理器执行,并且当被执行时可操作以执行操作,所述操作包括:
向用户呈现一个或多个图像;
获得关于所述用户对于呈现给所述用户的所述一个或多个图像的凝视的凝视跟踪数据;
从所述凝视跟踪数据检测一个或多个第一凝视特性,其中所述一个或多个第一凝视特性指示所述用户的所述凝视的第一状态;以及
基于所述一个或多个第一凝视特性而降低呈现给所述用户的所述一个或多个图像的至少一部分的亮度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/885,176 | 2018-01-31 | ||
US15/885,176 US10859830B2 (en) | 2018-01-31 | 2018-01-31 | Image adjustment for an eye tracking system |
PCT/US2019/015379 WO2019152306A2 (en) | 2018-01-31 | 2019-01-28 | Image adjustment for an eye tracking system |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111670001A true CN111670001A (zh) | 2020-09-15 |
Family
ID=67392844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980011164.5A Pending CN111670001A (zh) | 2018-01-31 | 2019-01-28 | 用于眼睛跟踪系统的图像调整 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10859830B2 (zh) |
EP (1) | EP3745944B1 (zh) |
JP (1) | JP7001832B2 (zh) |
CN (1) | CN111670001A (zh) |
WO (1) | WO2019152306A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023001007A1 (zh) * | 2021-07-23 | 2023-01-26 | 京东方科技集团股份有限公司 | 成像调整装置及方法、可穿戴设备、存储介质 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10802585B2 (en) * | 2018-07-12 | 2020-10-13 | Apple Inc. | Electronic devices with display operation based on eye activity |
US11003244B2 (en) * | 2018-08-27 | 2021-05-11 | University Of Rochester | System and method for real-time high-resolution eye-tracking |
US11402901B2 (en) * | 2019-03-22 | 2022-08-02 | Hewlett-Packard Development Company, L.P. | Detecting eye measurements |
CN115022616B (zh) * | 2022-08-08 | 2022-12-02 | 太原理工大学 | 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100245093A1 (en) * | 2009-03-30 | 2010-09-30 | Tobii Technology Ab | Eye closure detection using structured illumination |
CN104866082A (zh) * | 2014-02-25 | 2015-08-26 | 北京三星通信技术研究有限公司 | 基于用户行为进行阅览的方法和装置 |
US20160080720A1 (en) * | 2014-09-16 | 2016-03-17 | Scott Fullam | Display with eye-discomfort reduction |
US20160328015A1 (en) * | 2015-05-04 | 2016-11-10 | Adobe Systems Incorporated | Methods and devices for detecting and responding to changes in eye conditions during presentation of video on electronic devices |
CN106569612A (zh) * | 2016-11-09 | 2017-04-19 | 宇龙计算机通信科技(深圳)有限公司 | 一种护眼方法、护眼显示装置和终端 |
CN106598257A (zh) * | 2016-12-23 | 2017-04-26 | 北京奇虎科技有限公司 | 基于移动终端的阅读控制方法及装置 |
CN107168513A (zh) * | 2017-03-22 | 2017-09-15 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
US20170358141A1 (en) * | 2016-06-13 | 2017-12-14 | Sony Interactive Entertainment Inc. | HMD Transitions for Focusing on Specific Content in Virtual-Reality Environments |
US20170365101A1 (en) * | 2016-06-20 | 2017-12-21 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3507183B2 (ja) * | 1995-03-24 | 2004-03-15 | キヤノン株式会社 | 眼屈折計 |
US11428937B2 (en) * | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
JP4961914B2 (ja) | 2006-09-08 | 2012-06-27 | ソニー株式会社 | 撮像表示装置、撮像表示方法 |
US8913004B1 (en) * | 2010-03-05 | 2014-12-16 | Amazon Technologies, Inc. | Action based device control |
JP5636888B2 (ja) | 2010-11-09 | 2014-12-10 | ソニー株式会社 | 情報処理装置、プログラムおよびコマンド生成方法 |
JP5776323B2 (ja) | 2011-05-17 | 2015-09-09 | 富士通株式会社 | 角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法 |
WO2013179424A1 (ja) * | 2012-05-30 | 2013-12-05 | パイオニア株式会社 | 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体 |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US10192528B2 (en) | 2016-03-31 | 2019-01-29 | Sony Interactive Entertainment Inc. | Real-time user adaptive foveated rendering |
JP6647150B2 (ja) | 2016-06-15 | 2020-02-14 | 株式会社Nttドコモ | 情報表示装置 |
WO2018000020A1 (en) * | 2016-06-29 | 2018-01-04 | Seeing Machines Limited | Systems and methods for performing eye gaze tracking |
JP2019008041A (ja) | 2017-06-22 | 2019-01-17 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
-
2018
- 2018-01-31 US US15/885,176 patent/US10859830B2/en active Active
-
2019
- 2019-01-28 JP JP2020541913A patent/JP7001832B2/ja active Active
- 2019-01-28 EP EP19746974.5A patent/EP3745944B1/en active Active
- 2019-01-28 WO PCT/US2019/015379 patent/WO2019152306A2/en unknown
- 2019-01-28 CN CN201980011164.5A patent/CN111670001A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100245093A1 (en) * | 2009-03-30 | 2010-09-30 | Tobii Technology Ab | Eye closure detection using structured illumination |
US20150042477A1 (en) * | 2009-03-30 | 2015-02-12 | Tobii Technology Ab | Eye closure detection using structured illumination |
CN104866082A (zh) * | 2014-02-25 | 2015-08-26 | 北京三星通信技术研究有限公司 | 基于用户行为进行阅览的方法和装置 |
US20160080720A1 (en) * | 2014-09-16 | 2016-03-17 | Scott Fullam | Display with eye-discomfort reduction |
US20160328015A1 (en) * | 2015-05-04 | 2016-11-10 | Adobe Systems Incorporated | Methods and devices for detecting and responding to changes in eye conditions during presentation of video on electronic devices |
US20170358141A1 (en) * | 2016-06-13 | 2017-12-14 | Sony Interactive Entertainment Inc. | HMD Transitions for Focusing on Specific Content in Virtual-Reality Environments |
US20170365101A1 (en) * | 2016-06-20 | 2017-12-21 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
CN106569612A (zh) * | 2016-11-09 | 2017-04-19 | 宇龙计算机通信科技(深圳)有限公司 | 一种护眼方法、护眼显示装置和终端 |
CN106598257A (zh) * | 2016-12-23 | 2017-04-26 | 北京奇虎科技有限公司 | 基于移动终端的阅读控制方法及装置 |
CN107168513A (zh) * | 2017-03-22 | 2017-09-15 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023001007A1 (zh) * | 2021-07-23 | 2023-01-26 | 京东方科技集团股份有限公司 | 成像调整装置及方法、可穿戴设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3745944A4 (en) | 2021-11-03 |
WO2019152306A3 (en) | 2020-04-30 |
US20190235247A1 (en) | 2019-08-01 |
JP7001832B2 (ja) | 2022-01-20 |
US10859830B2 (en) | 2020-12-08 |
WO2019152306A2 (en) | 2019-08-08 |
EP3745944B1 (en) | 2024-03-06 |
EP3745944A2 (en) | 2020-12-09 |
JP2021513154A (ja) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11287884B2 (en) | Eye tracking to adjust region-of-interest (ROI) for compressing images for transmission | |
US10775886B2 (en) | Reducing rendering computation and power consumption by detecting saccades and blinks | |
US10720128B2 (en) | Real-time user adaptive foveated rendering | |
US10739849B2 (en) | Selective peripheral vision filtering in a foveated rendering system | |
CN111263925B (zh) | 用于使用事件相机数据的眼动跟踪的方法和设备 | |
US11892636B2 (en) | Systems and methods for operating a display system based on user perceptibility | |
EP3745944B1 (en) | Image adjustment for an eye tracking system | |
EP3368170B1 (en) | Adjusting image frames based on tracking motion of eyes | |
KR102121134B1 (ko) | 눈 추적 가능한 웨어러블 디바이스들 | |
EP3332554B1 (en) | System and method for displaying a stream of images | |
US20220004253A1 (en) | Data processing apparatus and method | |
US20230288985A1 (en) | Adjusting image content to improve user experience |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |