CN109791605B - 基于眼睛跟踪信息的图像区域中的自适应参数 - Google Patents

基于眼睛跟踪信息的图像区域中的自适应参数 Download PDF

Info

Publication number
CN109791605B
CN109791605B CN201780059271.6A CN201780059271A CN109791605B CN 109791605 B CN109791605 B CN 109791605B CN 201780059271 A CN201780059271 A CN 201780059271A CN 109791605 B CN109791605 B CN 109791605B
Authority
CN
China
Prior art keywords
region
image
screen
encoding
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780059271.6A
Other languages
English (en)
Other versions
CN109791605A (zh
Inventor
马丁·亨里克·塔尔
哈维尔·圣阿古斯丁洛佩斯
拉斯穆斯·达尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN109791605A publication Critical patent/CN109791605A/zh
Application granted granted Critical
Publication of CN109791605B publication Critical patent/CN109791605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas

Abstract

一种显示系统将屏幕分为多个区域并且将不同的一组渲染/编码参数应用于每个区域。该系统将第一组参数应用于由用户的眼睛的中央凹看到的第一区域。该系统还可以将第二组参数应用于由眼睛的旁中央凹看到的第二区域，并且将第三组参数应用于由眼睛的在旁中央凹外部的区域看到的第三区域。选择第一组参数产生相对高的图像质量，而第二组参数产生中间质量，并且第三组参数产生较低质量。结果，可以利用较少计算能力和较少带宽来渲染、编码和传输第二区域和第三区域。

Description

基于眼睛跟踪信息的图像区域中的自适应参数
技术领域
本发明总体上涉及眼睛跟踪，并且更具体地，涉及基于眼睛跟踪信息的图像区域中的自适应参数的使用。
背景技术
在各种不同背景下，图像被渲染、编码和显示给用户。在许多情形下，用于渲染、编码和传输用于显示给用户的图像的过程可以消耗大量计算资源，尤其当图像具有相对高的分辨率，诸如1080p或4K时或者当图像是组成视频的帧序列的一部分，诸如通过游戏应用程序生成的视频文件或场景时。这可以导致不期望的副作用，诸如，较高的功率消耗和较长的处理时间。
发明内容
显示系统将不同的多组参数应用于不同的图像区域。该系统接收观看显示屏的屏幕的用户的一只或两只眼睛的眼睛跟踪信息。该系统基于眼睛跟踪信息确定第一屏幕区域和第二屏幕区域。在一个实施方式中，第一屏幕区域是屏幕的由用户的眼睛的中央凹看到的部分，并且第二屏幕区域是屏幕的由视网膜的在中央凹外部的部分看到的部分。该系统通过将第一组参数应用于第一图像区域并且将第二组参数应用于屏幕的第二图像区域来处理用于显示在屏幕上的图像。第一图像区域是要显示在第一屏幕区域中的图像的部分，并且第二图像区域是要显示在第二图像区域中的图像的部分。第二组参数比第一组参数导致更低的图像质量，但是用户不太可能感知到较低的图像质量，因为视网膜的在中央凹外部的部分比中央凹的敏感度低。因此，可以利用较少的计算能力和较少的带宽处理图像。
显示系统可以是头戴式显示器(HMD)的一部分。HMD可以是虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统、或者它们的某种组合的一部分。
尤其在所附权利要求中公开了根据本发明的针对一种系统、存储介质和方法的实施方式，其中，在一个权利要求类别(例如，系统)中提及的任何特征也可以在另一个权利要求类别(例如，方法、存储介质或计算机程序)中要求保护。仅由于形式的原因而选择了所附权利要求中的从属关系或后向引用。然而，也可以要求保护对任何上述权利要求的故意后向引用(具体地，多个从属关系)导致的任何主题内容，以便权利要求及其特征的任何组合被公开并且不管在所附权利要求中选择的从属权利要求都可以要求保护。可以要求保护的主题内容不仅包括所附权利要求中阐述的特征的组合，而且还包括权利要求中的特征的任何其他组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文中描述或描绘的任何实施方式和特征可以在单独权利要求中和/或与本文中描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合中要求保护。
在实施方式中，一种方法可包括：
接收包括看到显示装置的屏幕的用户的眼睛的至少一个图像的眼睛跟踪信息；
基于眼睛跟踪信息，确定与屏幕的一区域对应的第一屏幕区域，第一屏幕区域包含用户的注视点，该注视点表示在眼睛跟踪信息被捕获时用户看向的屏幕上的点；
基于眼睛跟踪信息，确定与屏幕的一区域对应的与第一屏幕区域分离的第二屏幕区域；
编码用于显示在屏幕上的图像，该编码包括：
基于第一组编码参数编码图像的第一图像区域，第一图像区域要显示在第一屏幕区域中，并且
基于第二组编码参数编码图像的第二图像区域，第二图像区域要显示在第二屏幕区域中，第二组编码参数比第一组编码参数导致更低的质量；并且
将编码的图像传输至显示装置以显示在屏幕上。
在实施方式中，第一屏幕区域可以与屏幕的由眼睛的中央凹看到的区域对应。
第二屏幕区域可以与屏幕的由眼睛的视网膜的在中央凹外部的部分看到的区域对应。
第一组编码参数可包括第一图像分辨率，第二组编码参数包括第二图像分辨率，并且第二图像分辨率低于第一图像分辨率。
编码第一图像区域可包括生成第一编码的图像区域，其中，编码第二图像区域可包括生成第二编码的图像区域，并且可以进一步包括：
生成包括第一编码的图像区域和第二编码的图像区域的打包图像。
第一组编码参数可包括第一帧速率，第二组编码参数可包括第二帧速率，并且第二帧速率可以低于第一帧速率。
该方法可进一步包括：
基于眼睛跟踪信息，确定与屏幕的一区域对应的与第一屏幕区域和第二屏幕区域分离的第三屏幕区域，
其中，编码用于显示在屏幕上的图像进一步包括：
基于第三组编码参数编码图像的第三图像区域，第三图像区域要显示在第三屏幕区域中，第三组编码参数比第一组编码参数导致更低的质量并且比第二组编码参数导致更高的质量。
第三屏幕区域可以与屏幕的由眼睛的旁中央凹看到的区域对应。
显示装置可以是虚拟现实头戴设备。
在根据本发明的实施方式中，一种存储指令的非暂时性计算机可读存储介质，该指令在由一个或多个处理器执行时，可使一个或多个处理器执行包括以下项的操作：
接收包括看到显示装置的屏幕的用户的眼睛的至少一个图像的眼睛跟踪信息；
基于眼睛跟踪信息，确定与屏幕的一区域对应的第一屏幕区域，第一屏幕区域包含用户的注视点，该注视点表示在眼睛跟踪信息被捕获时用户看向的屏幕上的点；
基于眼睛跟踪信息，确定与屏幕的一区域对应的与第一屏幕区域分离的第二屏幕区域；
编码用于显示在屏幕上的图像，该编码包括：
基于第一组编码参数编码图像的第一图像区域，第一图像区域要显示在第一屏幕区域中，并且
基于第二组编码参数编码图像的第二图像区域，第二图像区域要显示在第二屏幕区域中，第二组编码参数比第一组编码参数导致更低的质量；并且
将编码的图像传输至显示装置以显示在屏幕上。
第一屏幕区域可以与屏幕的由眼睛的中央凹看到的区域对应。
第二屏幕区域可以与屏幕的由眼睛的视网膜的在中央凹外部的部分看到的区域对应。
第一组编码参数可包括第一图像分辨率，第二组编码参数可包括第二图像分辨率，并且第二图像分辨率可以低于第一图像分辨率。
编码第一图像区域可包括生成第一编码的图像区域，其中，编码第二图像区域可包括生成第二编码的图像区域，并且可以进一步包括：
生成包括第一编码的图像区域和第二编码的图像区域的打包图像。
第一组编码参数可包括第一帧速率，第二组编码参数可包括第二帧速率，并且第二帧速率可以低于第一帧速率。
该操作可进一步包括：
基于眼睛跟踪信息，确定与屏幕的一区域对应的与第一屏幕区域和第二屏幕区域分离的第三屏幕区域，
其中，编码用于显示在屏幕上的图像可进一步包括：
基于第三组编码参数编码图像的第三图像区域，第三图像区域要显示在第三屏幕区域中，第三组编码参数比第一组编码参数导致更低的质量并且比第二组编码参数导致更高的质量。
第三屏幕区域可以与屏幕的由眼睛的旁中央凹看到的区域对应。
显示装置可以是虚拟现实头戴设备。
在实施方式中，一种系统可包括：
一个或多个处理器；以及
存储指令的非暂时性计算机可读存储介质，该指令在由一个或多个处理器执行时，可使得一个或多个处理器执行包括以下项的操作：
接收包括看到显示装置的屏幕的用户的眼睛的至少一个图像的眼睛跟踪信息，
基于眼睛跟踪信息，确定与屏幕的一区域对应的第一屏幕区域，第一屏幕区域包含用户的注视点，该注视点表示在眼睛跟踪信息被捕获时用户看向的屏幕上的点，基于眼睛跟踪信息，确定与屏幕的一区域对应的与第一屏幕区域分离的第二屏幕区域，
编码用于显示在屏幕上的图像，该编码包括：
基于第一组编码参数编码图像的第一图像区域，第一图像区域要显示在第一屏幕区域中，并且
基于第二组编码参数编码图像的第二图像区域，第二图像区域要显示在第二屏幕区域中，第二组编码参数比第一组编码参数导致更低的质量，并且
将编码的图像传输至显示装置以显示在屏幕上。
该操作可进一步包括：
基于眼睛跟踪信息，确定与屏幕的一区域对应的与第一屏幕区域和第二屏幕区域分离的第三屏幕区域，
其中，编码用于显示在屏幕上的图像进一步包括：
基于第三组编码参数编码图像的第三图像区域，第三图像区域要显示在第三屏幕区域中，第三组编码参数比第一组编码参数导致更低的质量并且比第二组编码参数导致更高的质量。
附图说明
图1A是根据实施方式的显示装置操作的系统的框图。
图1B是根据实施方式的渲染/编码引擎的框图。
图2是根据实施方式的头戴式显示器的示图。
图3A和图3B示出了凝视屏幕的眼睛并且描绘了根据实施方式的中央凹区域和旁中央凹区域、以及中央凹视锥和旁中央凹视锥。
图3C示出了根据实施方式的中央凹区域、旁中央凹区域以及屏幕上的外部区域。
图4是示出了根据实施方式的基于眼睛跟踪信息应用图像区域中的自适应参数的过程的框图。
图5A是示出了根据实施方式的利用不同的多组渲染参数渲染图像的不同部分的过程的框图。
图5B是示出了根据实施方式的利用不同的多组编码参数来编码图像的不同部分的过程的框图。
图5C是示出了根据实施方式的利用不同的多组参数来渲染和编码图像的不同部分的过程的框图。
图6A示出了根据实施方式的利用不同的多组编码参数来编码图像的不同区域并然后将图像的编码的图像区域打包为打包图像的实例。
图6B示出了根据实施方式的编码和打包图像序列的实例。
附图仅为了说明的目的描述了本公开内容的各种实施方式。本领域技术人员从以下讨论中容易认识到，在不偏离本文中提供的本公开内容的原理的情况下，可以采用本文中示出的结构和方法的可替换的实施方式。
具体实施方式
概述
存在许多涉及用户以及其中用户连续凝视屏幕的不同区域的图像的应用程序。实例包括视频游戏、虚拟现实场景、视频流和增强现实投影。
当看向屏幕时，用户的眼睛对围绕注视点的屏幕区域中较高的分辨率敏感。注视点与中央凹对齐，中央凹是提供最高的视觉敏锐度并且视锥细胞的浓度最高的视网膜的区域。在视网膜的超出中央凹的区域中，对分辨率的灵敏度降低，并且随着远离中央凹，视觉敏锐度下降。在旁中央凹(眼睛中的限制中央凹的环形区域)中，眼睛仍然对分辨率敏感，但是比在中央凹中的程度低。在旁中央凹外部的区域中，眼睛明显对分辨率的差异更不敏感。
在显示在屏幕上的图像具有较高分辨率的情形下，通常以较高分辨率渲染整个图像、以较高分辨率编码整个图像，并且适当地使用高带宽设备传输编码的图像。但是因为眼睛对中央凹和旁中央凹外部的区域中的图像分辨率相对不敏感，因此以较高分辨率渲染、编码并传输整个图像的过程会导致不必要使用计算能力和带宽。
代替使用整个图像的更高分辨率，显示系统将显示装置的屏幕分成多个区域并且针对每个区域应用不同的一组渲染/编码参数。例如，显示系统识别由用户的眼睛的中央凹看到的屏幕的第一区域(以下称为中央凹区域)并且将第一组参数应用于第一区域。选择第一组参数以产生相对高的图像质量。例如，第一组参数可以指定相对高的帧速率和分辨率。类似地，显示系统可以识别由用户的眼睛的旁中央凹看到的屏幕的第二区域(以下称为旁中央凹区域)并且将第二组参数应用于第二区域。显示系统可以进一步识别由用户的眼睛的中央凹和旁中央凹外部的区域看到的屏幕的第三区域(以下称为外部区域)并且将第三组参数应用于第三区域。选择第二组参数以产生中间的图像质量(例如，中间的帧速率和分辨率)，并且选择第三组参数以产生较低的图像质量(例如，较低的帧速率和分辨率)。因此，可以利用较少的计算能力和较少的带宽渲染、编码和传输第二区域和第三区域，这减少用于渲染、编码和传输图像的计算能力和带宽的总量。
显示系统基于从眼睛跟踪单元接收的眼睛跟踪信息识别第一区域和第二区域。显示系统使用眼睛跟踪信息确定用户看向的屏幕上的点(以下称为注视点)。显示系统然后可以基于注视点确定中央凹区域、旁中央凹区域以及外部区域的边界。在一个实施方式中，中央凹区域是以注视点为中心并且以2.5度视角为半径的圆，并且旁中央凹区域是以注视点为中心的环面，具有2.5度视角的内半径和5度视角的外半径。外部区域是屏幕中的超出旁中央凹区域的外半径的部分。
在确定屏幕区域的边界之后，显示系统可以自适应地渲染和编码图像。此外，显示系统可以随着用户的眼睛在屏幕的不同位置之间偏移而每隔一定间隔更新眼睛跟踪信息，并且显示系统可以基于更新的眼睛跟踪信息再计算注视点和屏幕区域的边界。因此，对于用户，屏幕中的围绕注视点的区域(即，中央凹区域)将看起来具有更高的图像质量，并且这是眼睛对图像质量最敏感的区域。在旁中央凹区域中，可以应用中间参数而无显著的图像劣化，并且在外部区域中，可以应用较低的参数而无显著的图像质量劣化。
即使当用户的眼睛在屏幕上快速移动时，眼睛跟踪信息也可以跟上凝视位置的变化并且可以足够迅速地中继更新的眼睛跟踪信息以允许自适应参数被应用于图像的不同的中央凹和旁中央凹区域。因此，无论用户看向哪里，图像似乎都具有高分辨率。然而，显示系统利用较高质量的参数渲染和编码图像的一部分，而利用中间或较低质量的参数渲染和编码图像的剩余部分。
基于眼睛跟踪信息应用自适应参数的净效果是减小用于渲染和编码图像数据的总计算能力，并且减少用于传输由用户的显示装置显示的图像数据的带宽的量。
系统概述
图1A是显示系统110在其中操作的系统100的框图。系统100可以在VR系统环境、AR系统环境、MR系统环境或者它们的某种组合中操作。由图1A示出的系统100包括各自耦接至显示系统110的显示装置105(例如，头戴式显示器)、成像装置135和输入接口140。
尽管图1A示出了包括一个显示装置105、一个成像装置135和一个输入接口140的示例性系统100，但是在其他实施方式中，系统100中可以包括任意数量的这些部件。例如，可能存在各自具有相关联的输入接口140并由一个或多个成像装置135监测的多个显示装置105，其中每个显示装置105、输入接口140以及成像装置135与显示系统110通信。在可替换配置中，在系统100中可包括不同的和/或额外的部件。类似地，一个或多个部件的功能可以以除了本文中描述的方式的不同方式分布在这些部件之中。例如，显示系统110的一些或所有功能可以包含在显示装置105内。
显示装置105是利用计算机生成的元素(例如，二维或三维图像、二维或三维视频、声音等)将包括物理的真实世界环境的虚拟和/或增强视图的内容呈现给用户的头戴式显示器(HMD)。在一些实施方式中，经由从显示装置105、显示系统110或者这两者接收音频信息并且基于音频信息呈现音频数据的外部装置(例如，扬声器和/或头戴耳机)呈现音频。以下结合图2进一步描述显示装置105的一些实施方式。显示装置105可包括一个或多个刚体，刚体可刚性地或非刚性地彼此耦接。刚体之间的刚性耦接使耦接的刚体充当单个刚性实体。相反，刚体之间的非刚性耦接允许刚体相对彼此移动。显示装置105包括电子显示器115、光学块118、一个或多个定位器120、一个或多个位置传感器125、惯性测量单元(IMU)130、以及眼睛跟踪单元160。显示装置105的一些实施方式具有与本文描述的部件不同的部件。类似地，在各种实施方式中，各种部件的功能可以以与本文中描述的方式不同的方式分布在系统100的其他部件之中。例如，眼睛跟踪单元160的一些功能可以由显示系统110执行。
电子显示器115(在本文中也称为屏幕)根据从显示系统110接收的数据将图像显示给用户。在各种实施方式中，电子显示器115可包括单个电子显示器或多个电子显示器(例如，用于用户的每只眼睛的显示器)。电子显示器115的实例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、一些其他显示器或者它们的某种组合。
光学块118放大从电子显示器115接收的图像光，校正与图像光相关联的光学误差，并且将校正的图像光呈现给显示装置105的用户。在各种实施方式中，光学块118包括一个或多个光学元件。示例性光学元件包括：孔、菲涅尔透镜、凸透镜、凹透镜、滤波器、或者影响从电子显示器115发射的图像光的任何其他合适的光学元件。此外，光学块118可包括不同光学元件的组合。在一些实施方式中，光学块118中的一个或多个光学元件可具有一个或多个涂层，诸如部分反射器或者抗反射涂层。
通过光学块118放大图像光允许电子显示器115与较大的显示器相比在物理上更小、重量更轻、并且消耗更少的功率。另外，放大可增加所显示的内容的视野。例如，所显示的内容的视野使得使用几乎全部(例如，110°对角线)的用户的视野并且在一些情况下是全部的用户的视野来呈现所显示的内容。在一些实施方式中，光学块118被设计成使得它的有效焦距大于到达电子显示器115的间隔，这使通过电子显示器115投射的图像光被放大。另外，在一些实施方式中，可通过添加光学元件或从光学块118移除光学元件来调节放大量。
光学块118可被设计成校正一种或多种类型的光学误差。光学误差的实例包括：二维光学误差、三维光学误差或者它们的某种组合。二维误差是发生在二维上的光学像差。二维误差的实例类型包括：桶形失真、枕形失真、纵向色差、横向色差、或者任何其他类型的二维光学误差。三维误差是发生在三维上的光学误差。三维误差的实例类型包括球面像差、色像差、场曲率、像散或任何其他类型的三维光学误差。在一些实施方式中，提供给电子显示器115用于显示的内容是预失真的，并且当光学块118从电子显示器115接收基于内容生成的图像光时，该光学块校正失真。
定位器120是相对于彼此并且相对于显示装置105上的特定参考点定位在显示装置105上的特定位置的对象。定位器120可以是发光二极管(LED)、隅角立方体反射器、反射标记、与显示装置105运行的环境形成对比的一种类型的光源、或它们的某种组合。在定位器120是有源的(即，LED或其他类型的发光装置)的实施方式中，定位器120可发射可见频带(～380nm至750nm)、红外(IR)频带(～750nm至1700nm)、紫外频带(10nm至380nm)、电磁光谱的一些其他部分或其某种组合的光。
在一些实施方式中，定位器120位于显示装置105的外表面下方，其对于由定位器120发射或反射的光的波长是透明的，或者足够细到不大量衰减由定位器120发射或反射的光的波长。另外，在一些实施方式中，显示装置105的外表面或其他部分在光波长的可见频带内是不透明的。因此，定位器120可以在作为在IR频带中透明但在可见频带中不透明的外表面下方，在IR频带中发射光。
IMU 130是基于从一个或多个位置传感器125接收的测量信号生成快速校准数据的电子装置。位置传感器125响应于显示装置105的运动生成一个或多个测量信号。位置传感器125的实例包括：一个或多个加速计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一种合适类型的传感器、用于IMU 130的误差校正的一种类型的传感器或者它们的某种组合。位置传感器125可以位于IMU 130的外部、IMU 130的内部、或其某种组合。
基于来自一个或多个位置传感器125的一个或多个测量信号，IMU 130生成指示相对于显示装置105的初始位置而言的显示装置105的估计位置的快速校准数据。例如，位置传感器125包括测量平移运动(前/后、上/下、左/右)的多个加速计和测量旋转运动(例如，倾斜、偏转、滚动)的多个陀螺仪。在一些实施方式中，IMU 130对测量信号进行快速采样并且根据采样数据计算显示装置105的估计位置。例如，IMU 130对从加速计接收的测量信号随时间积分以估计速度矢量并且将速度矢量随时间积分以确定显示装置105上的参考点的估计位置。可替换地，IMU 130将采样的测量信号提供至显示系统110，该显示系统确定快速校准数据。参考点是可以用于描述显示装置105的位置的点。尽管参考点可通常定义为空间点，然而，实际上参考点通常被定义为显示装置105内的点(例如，IMU 130的中心)。
IMU 130从显示系统110接收一个或多个校准参数。如以下进一步讨论的，一个或多个校准参数用于保持对显示装置105的跟踪。基于所接收的校准参数，IMU 130可调节一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些校准参数使IMU 130更新参考点的初始位置，使得其对应于参考点的下一校准位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少与所确定的估计位置相关联的累积误差。累积误差，也称为漂移误差，使参考点的估计位置随着时间推移“漂移”远离参考点的实际位置。
眼睛跟踪单元160跟踪用户的眼睛的移动。通常，所跟踪的眼睛移动可以包括眼睛的角旋转、以及眼睛的平移、眼睛的扭转变化、或者眼睛的形状变化。眼睛的角旋转是眼睛的角定向的变化。眼睛的角定向与用户的视线在显示装置105内的方向对应并且在本文中被定义为中央凹轴的方向，该中央凹轴线是眼睛的中央凹(眼睛的视网膜上的凹陷)和眼睛瞳孔的中心之间的轴线。通常，当用户的眼睛固定在点上时，用户的眼睛的中央凹轴线与该点相交。眼睛还包括瞳孔轴线，该瞳孔轴线是穿过瞳孔的中心的与角膜表面垂直的轴线。通常，瞳孔轴线不与中央凹轴线直接对齐。瞳孔和中央凹轴线在瞳孔的中心处相交，但是中央凹轴线的定向偏离瞳孔轴线侧向约-1°至8°以及纵向±4°。因为中央凹轴线是相对于位于眼睛的背面中的中央凹定义的，因此当使用眼睛跟踪的某种方法时中央凹轴线的检测可能是困难的或不可行的。因此，在一些实施方式中，眼睛跟踪单元160检测瞳孔轴线的定向并且基于检测出的瞳孔轴线估计中央凹轴线。可替换地，眼睛跟踪单元160通过直接检测中央凹的位置或眼睛的视网膜的其他特征来估计中央凹轴线。
眼睛的平移是眼睛相对于眼眶的位置的变化。在一些实施方式中，不能直接检测出眼睛的平移，但是基于从检测出的角定向的映射近似眼睛的平移。还可以检测与眼睛的位置相对于眼睛跟踪单元160的一个或多个部件的变化对应的眼睛的平移。当用户的头部的显示装置105的位置转移时，可发生眼睛相对于眼睛跟踪单元160的一个或多个部件的平移。眼睛跟踪单元160还可以检测眼睛的扭转，该扭转是眼睛关于瞳孔轴线的旋转。眼睛跟踪单元160可以使用检测出的眼睛的扭转以便基于检测出的瞳孔轴线来估计中央凹轴线的定向。眼睛跟踪单元160还可以跟踪眼睛的形状的变化，这可以近似为偏斜、缩放线性变换或扭曲失真(例如，由于扭转变形)。基于瞳孔轴线的角定向、眼睛的平移、眼睛的扭转以及眼睛跟踪单元160的当前形状的组合可以估计中央凹轴线。
眼睛跟踪单元160使用跟踪的眼睛移动确定眼睛跟踪信息。眼睛跟踪信息描述了用户的眼睛的位置和/或定向。眼睛跟踪单元160可以使用确定的眼睛跟踪信息以进一步估计眼睛跟踪值，诸如，凝视方向(还称为作为平分中央凹的中心和眼睛瞳孔的中心的轴线的中央凹轴线的方向)、凝视位置(还称为用户看向的固定点)、以及凝视时间(用户看向具体方向的时间)、聚散角(当用户改变观察距离和凝视方向时的两只眼睛之间的角度)、用户的瞳孔间距离(IPD，定义为两只眼睛的瞳孔的中心之间的距离)、用户的身份、眼睛的扭转状态、眼睛的形状、基于一只或两只眼睛的位置的一些其他功能、或者它们的某种组合。例如，当用户聚焦在无穷远或者例如远离用户的另一个对象时，眼睛跟踪单元160可以通过估计眼睛位置确定IPD。在另一个实例中，眼睛跟踪单元160通过估计用户的观察距离和凝视方向的变化确定聚散角。眼睛跟踪单元160还能够通过估计眼睛关于瞳孔轴线的旋转来确定眼睛的扭转状态。在一些实施方式中，眼睛跟踪单元160能够确定中央凹轴线、中央凹轴线与瞳孔轴线的定向、以及眼睛的形状的变化。
眼睛跟踪单元160可包括一个或多个照明源、一个或多个成像装置和眼睛跟踪控制器。照明源(还称为照明器)利用光照亮用户的眼睛的一部分。预定的照明功率小于对眼睛造成伤害的阈值。照明源可以是红外光源。红外光源的实例包括：激光器(例如，可调谐激光器、连续波激光器、脉冲激光器、发射红外光的其他合适的激光器)、发光二极管(LED)、光纤光源、发射红外光和/或可见光的另一个其他合适的光源、或者它们的某种组合。在各种实施方式中，照明源可以发射可见光或者近红外光。在一些实施方式中，从一个或多个照明源发射的光是结构化光图案。在一些实施方式中，由于在眼睛移动期间来自照亮部分的信号与围绕照亮部分的其他信号之间的明显变化，为了便于检测，选择由照明源照亮的眼睛的一部分。例如，照亮部分可具有最大对比度(例如，具有来自用户的巩膜的边缘或角膜表面的最强的逆反射或逆散射的位置)。例如，照亮部分可以位于巩膜的边缘、角膜的表面、角膜缘(例如，角膜和巩膜的接合处、虹膜和巩膜的接合处、虹膜和瞳孔的接合处、或者眼睛中的任何其他合适的接合处)上。
成像装置检测从眼睛的照亮部分反射和/或散射的光。成像装置输出与检测出的光成比例的检测信号。检测信号与眼睛的照亮部分的反射率对应，该反射率与通过用户的眼睛170的照亮部分的表观对比度变化(例如，角膜反射的对比度变化)相关。在实施方式中，成像装置包括被配置为捕获眼睛的照亮部分的图像的相机。在一些实施方式中，检测器可基于单点检测(例如，光电二极管、平衡/匹配的光电二极管、或者雪崩光电二极管、或者光电倍增管)，或者基于一维或二维检测器阵列(例如，相机、线性光电二极管阵列、CCD阵列、或者CMOS阵列)。在一些实施方式中，眼睛跟踪单元160可包括多个检测器以捕获从眼睛的一个或多个照亮部分反射的光。
眼睛跟踪单元160基于从一个或多个成像装置捕获的光(例如，捕获的图像)确定眼睛跟踪信息。在一些实施方式中，眼睛跟踪单元160可以将捕获的光信息(例如，眼睛的反射、投射到眼睛上的结构化光图案的失真)与预定查找表或预定的眼睛模型进行比较以估计眼睛的眼睛跟踪信息。预定查找表或预定的眼睛模型描述捕获的光信息和眼睛跟踪信息之间的关系。例如，在一些实施方式中，眼睛跟踪单元160识别用户的眼睛的捕获图像中的来自一个或多个照明源的光的反射位置，并且基于所识别的反射的形状和/或位置与预定查找表(或者预定的眼睛模型)之间的比较确定眼睛跟踪信息。或者，如果用结构化光图案照亮眼睛，则眼睛跟踪单元160可以检测投射到眼睛上的结构化光图案的失真，并且基于检测出的失真和预定的查找表(或者预定的眼睛模型)之间的比较来估计眼睛跟踪信息。眼睛跟踪单元160可以使用眼睛跟踪信息进一步估计其他眼睛跟踪值，诸如，瞳孔轴线、凝视角度(例如，与中央凹轴线对应)、眼睛的平移、眼睛的扭转、以及眼睛的当前形状。在替换的实施方式中，代替使用从一只或两只眼睛反射的光确定眼睛跟踪信息，眼睛跟踪单元160可以使用确定眼睛位置的一些其他方法，诸如，超声波或雷达。
在一些实施方式中，眼睛跟踪单元160存储用户的眼睛的模型并且结合眼睛的一个或多个扫描使用该模型估计眼睛的当前定向。模型可以是眼睛的表面的3D模型或者眼睛的一部分的3D体积。模型进一步包括眼睛的视网膜的不同部分的边界，例如，包括中央凹、旁中央凹以及远中央凹。例如，可以通过以下描述的校准序列确定眼睛的这些部分的边界。在其中扫描用户的两只眼睛的实施方式中，显示系统110或显示装置105可以存储每只眼睛的分离的模型。
在确定屏幕区域之前，眼睛跟踪单元160可以执行校准序列以生成或训练眼睛的模型。在一个实施方式中，眼睛跟踪单元160在校准序列期间利用一个或多个收发器反复扫描眼睛。例如，指示用户看向显示在显示装置105的电子显示器115上的某个虚拟对象或目视指示器。在用户看向目视指示器的同时扫描眼睛的一部分，允许眼睛跟踪单元160在眼睛的已知定向捕获眼睛的采样扫描。这些采样扫描可以组合成模型。在眼睛跟踪单元160生成模型之后，眼睛跟踪单元160可以随后跟踪用户的眼睛。在一些实施方式中，眼睛跟踪单元160在眼睛跟踪期间更新模型。
成像装置135根据从显示系统110接收的校准参数生成慢速校准数据。慢速校准数据包括示出可由成像装置135检测的定位器120的所观察位置的一个或多个图像。成像装置135可包括一个或多个相机、一个或多个摄像机、能够捕获包括一个或多个定位器120的图像的任何其他装置、或它们的某种组合。此外，成像装置135可包括一个或多个滤波器(例如，用于增大信噪比)。成像装置135被配置为在成像装置135的视野中检测从定位器120发射或反射的光。在定位器120包括无源元件(例如，后向反射器)的实施方式中，成像装置135可包括照亮一些或全部定位器120的光源，该定位器向成像装置135中的光源反向反射光。慢校准数据从成像装置135传送到显示系统110，并且成像装置135接收来自显示系统110的一个或多个校准参数来调节一个或多个成像参数(例如，焦距、焦点、帧速率、ISO、传感器温度、快门速度、孔径等)。
输入接口140是允许用户将动作请求发送至显示系统110的装置。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用程序或者在应用程序内执行特定动作。输入接口140可包括一个或多个输入装置。示例性输入装置包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将所接收的动作请求传送至显示系统110的任何其他合适的装置。由输入接口140接收的动作请求被传送至显示系统110，该显示系统执行对应于动作请求的动作。在一些实施方式中，输入接口140根据从显示系统110接收的指令将触觉反馈提供至用户。例如，当接收动作请求时提供触觉反馈，或者在显示系统110执行动作时当输入接口140从显示系统110接收使输入接口140生成触觉反馈的指令时提供触觉反馈。
显示系统110根据从成像装置135、显示装置105和输入接口140中的一项或多项接收的信息将内容提供给显示装置105以用于呈现给用户。在图1A中示出的实例中，显示系统110包括应用存储器145、跟踪模块150、引擎155和图像处理引擎165。显示系统110的一些实施方式具有与结合图1A描述的那些模块不同的模块。类似地，以下进一步描述的功能可以以与此处描述的方式不同的方式分布在显示系统110的模块之中。
应用存储器145存储由显示系统110执行的一个或多个应用程序。应用程序是一组指令，该组指令在由处理器执行时生成用于呈现给用户的内容。由应用程序生成的内容可响应于经由显示装置105的移动或输入接口140从用户接收的输入。应用程序的实例包括：游戏应用程序、会议应用程序、视频播放应用程序、或其他合适的应用程序。
跟踪模块150使用一个或多个校准参数校准系统100并且可以调节一个或多个校准参数以减少确定显示装置105或输入接口140的位置时的误差。例如，跟踪模块150调整成像装置135的焦点以获得针对显示装置105上观察的定位器的更精确的位置。此外，由跟踪模块150执行的校准还考虑从IMU 130接收的信息。另外，如果显示装置105的跟踪丢失(例如，成像装置135失去显示装置105上的至少阈值数量的定位器120的视线)，则跟踪模块150重新校准系统100的一些或全部。
跟踪模块150使用来自成像装置135的慢校准信息跟踪显示装置105的移动。例如，跟踪模块150使用观察的定位器根据慢校准信息和显示装置105的模型来确定显示装置105的参考点的位置。跟踪模块150还使用来自快校准信息的位置信息来确定显示装置105的参考点的位置。另外，在一些实施方式中，跟踪模块150可使用快速校准信息、慢速校准信息或它们的某种组合的部分来预测显示装置105的未来位置。跟踪模块150将显示装置105的估计或预测的未来位置提供至引擎155。
引擎155执行系统100内的应用程序并且从跟踪模块150接收显示装置105的位置信息、加速度信息、速度信息、预测的未来位置或它们的某种组合。基于所接收的信息，引擎155确定提供给显示装置105以呈现给用户的内容。例如，如果接收到的信息指示用户看向左边，则引擎155生成用于在虚拟环境中反映用户移动的显示装置105的内容。此外，引擎155响应于从输入接口140接收的动作请求在显示系统110上执行的应用程序内执行动作并且将该动作被执行的反馈提供至用户。所提供的反馈可以是经由显示装置105的视觉反馈或听觉反馈或者经由输入接口140的触觉反馈。
图像处理引擎165(例如，从眼睛跟踪单元160)接收眼睛跟踪信息，将屏幕划分为表示由用户的视网膜的不同部分看到的屏幕的部分的两个或更多个屏幕区域，并且通过将不同的多组参数应用于要显示在每个屏幕区域中的图像的部分来处理用于显示在屏幕上的图像。如本文中参考的，处理用于显示在屏幕上的图像可包括渲染图像(例如，渲染游戏中的场景)、编码图像、或者渲染和编码图像的某种组合。以下参考图1B详细描述图像处理引擎165的部件。
在图1A中示出的实施方式中，图像处理引擎165在可以在VR系统环境、AR系统环境、MR系统环境或者它们的某种组合中操作的系统100中实现。然而，如本文中描述的图像处理引擎165也可以在也包括眼睛跟踪部件的其他类型的系统中实现。例如，在另一个实施方式中，引擎165在便携式电子装置(例如，智能电话或平板电脑)上实现。在这个实施方式中，引擎165接收眼睛跟踪信息(例如，从便携式电子装置的前向相机捕获的图像)并且将自适应参数应用于在便携式电子装置的屏幕上显示的图像。在又一实施方式中，引擎165在具有能够执行眼睛跟踪的部件(例如，面向用户的相机，诸如，建立在膝上型电脑显示器的边框中或安装在监视器的顶部上的相机)的膝上型电脑或台式计算机上实现，并且将自适应参数应用于显示在计算机的屏幕上的图像。
图1B是根据实施方式的图像处理引擎165的框图。在图1B中示出的渲染/编码引擎包括屏幕区域模块162、渲染模块164和编码模块166。在可替换配置中，渲染/编码引擎中可包括不同的和/或额外的部件。类似地，一个或多个部件的功能可以以除了本文中描述的方式的不同方式分布在这些部件之中。
屏幕区域模块162(例如，从眼睛跟踪单元160)接收眼睛跟踪信息并且确定与用户的视网膜的不同部分(诸如，中央凹、旁中央凹、以及视网膜中的超出旁中央凹的部分)对应的屏幕区域。如本文中参考的，屏幕区域是由用户的视网膜的特定部分看到的屏幕的一部分。例如，屏幕区域模块162可以确定与由中央凹看到的屏幕的一部分对应的第一屏幕区域(中央凹区域)、与由旁中央凹看到的屏幕的一部分对应的第二屏幕区域(旁中央凹区域)、以及与由视网膜的在旁中央凹外部的部分看到的屏幕的一部分对应的第三屏幕区域(外部区域)。
屏幕区域模块162从诸如眼睛跟踪单元160的眼睛跟踪部件接收眼睛跟踪信息。在一个实施方式中，眼睛跟踪信息包括由眼睛跟踪单元160确定的用户的眼睛的角定向。在另一个实施方式中，眼睛跟踪信息包括额外的或不同的信息，诸如，用户的眼睛的一个或多个图像。以下参考图3A至图3C详细描述屏幕区域模块162基于眼睛跟踪信息确定屏幕区域的方式。
渲染模块164基于通过在显示系统110上执行的应用程序生成的信息渲染图像。该应用程序可存储在应用存储器145中或者经由输入接口140从另一个系统接收。例如，显示系统110执行游戏应用程序，该游戏应用程序生成在场景内的各个位置包括一个或多个虚拟对象(诸如，播放器字符、非播放器字符、环境对象和背景)的场景。模块164通过将图像划分为两个或更多个图像区域并且将对应的一组渲染参数应用于每个区域来渲染图像。例如，在以上描述的实例中，渲染模块164通过利用对应的一组渲染参数渲染每个图像区域中的虚拟对象来渲染场景的图像。如本文中参考的，图像可以是静止图片或者帧序列中的一个帧(例如，视频或游戏应用程序的帧)。
编码模块166(例如，从渲染模块164或输入接口140)接收图像并且编码图像以用于传输。模块166通过将图像划分为两个或更多个图像区域并且将对应的一组编码参数应用于每个区域来编码图像。在一个实施方式中，编码模块166根据参考图6A和图6B描述的过程编码图像。在它们被编码之后，显示系统110可以将图像传输至显示装置105以显示给用户。
如本文中参考的，图像区域是当显示在显示装置105的屏幕上时由用户的视网膜的特定部分看到的图像的一部分。例如，模块164、166将不同的多组参数应用于由中央凹看到的第一图像区域、由旁中央凹看到的第二图像区域、以及由视网膜的在旁中央凹的外部的部分看到的第三图像区域。在一些实施方式中，通过渲染模块164渲染和/或通过编码模块166编码的图像以覆盖整个屏幕的方式显示(即，图像以全屏模式显示)。在这些实施方式中，参考渲染模块164和编码模块166描述的图像区域与参考屏幕区域模块162描述的屏幕区域在图像内具有相同的形状和位置。在其他实施方式中，图像显示在屏幕的一部分上(例如，在没有占用整个屏幕的窗口内)。在这些实施方式中，模块164、166通过将屏幕区域裁切为包括屏幕的在其上显示图像的一部分并且不包括屏幕的其他部分，来确定图像区域的边界。
图2是根据实施方式的头戴式显示器(HMD)200的示图。HMD 200是显示装置105的实施方式，并且包括前刚体205和带210。前刚体205包括电子显示器115(在图2中未示出)的电子显示元件、光学块118(在图2中未示出)、IMU 130、一个或多个位置传感器125、眼睛跟踪单元160和定位器120。在图2示出的实施方式中，位置传感器125位于IMU 130内，并且IMU130和位置传感器125都对用户不可见。
定位器120相对于彼此并且相对于参考点215位于前刚体205上的固定位置。在图2的实例中，参考点215位于IMU 130的中心。各个定位器120发射成像装置135可检测到的光。在图2的实例中，定位器120、或定位器120的一部分位于前刚体205的前侧220A、顶侧220B、底侧220C、右侧220D和左侧220E上。
图像区域中的自适应参数
图3A和图3B示出了根据实施方式的用户的眼睛302沿由凝视矢量306表示的方向凝视屏幕304。首先参考图3A，示出的是用户的眼睛302、凝视矢量306和屏幕304。图3A进一步示出了基于例如由眼睛跟踪单元160捕获的眼睛的图像由屏幕区域模块162生成的屏幕上的中央凹区域308、旁中央凹区域310和外部区域312。
屏幕区域模块162确定表示眼睛看向的方向的凝视矢量。在一些实施方式中，屏幕区域模块162基于与眼睛相关联的多个眼睛特性，包括眼球中心(A)、角膜中心(C)、瞳孔(E)以及角膜中心和瞳孔中心之间的距离(h)来确定凝视矢量。在一个实施方式中，眼睛跟踪单元160计算这些眼睛特性的估计并且将这些估计作为眼睛跟踪信息的一部分发送至屏幕区域模块162。在另一个实施方式中，屏幕区域模块162从眼睛跟踪单元160接收眼睛的角定向并且基于角旋转通过将旋转应用于眼睛的模型来生成这些眼睛特性。在其他实施方式中，屏幕区域模块162从眼睛跟踪单元160接收眼睛的中央凹轴线并且使用中央凹轴线的方向作为凝视矢量306。在确定凝视矢量306之后，模块162通过计算凝视矢量306和屏幕304之间的交点来确定注视点314。在其他实施方式中，通过其他方式计算注视点314。
描述为308的屏幕的区域是其中眼睛会对分辨率中的差异最敏感的中央凹区域。描述为310的区域是离308最近的眼睛对分辨率中的差异较不敏感的旁中央凹区域。区域308和310外部的区域是其眼睛对分辨率中的差异最不敏感的外部图像区域312。
在图3A中示出的实施方式中，屏幕区域模块162通过绘制以注视点为中心的预定半径的圆来确定中央凹区域308。类似地，屏幕区域模块162通过绘制以注视点为中心的第二预定半径的第二圆并且减去中央凹区域以产生环面(环形形状)来确定旁中央凹区域310。屏幕区域模块162可以将外部区域312额外确定为屏幕中的未由中央凹区域308和旁中央凹区域310覆盖的区域。
利用预定半径确定屏幕区域308、310、312的这个过程在操作期间屏幕304与用户的眼睛302保持已知距离的实现方式(例如，其中显示装置105是头戴式显示器，诸如在图2中示出的HMD 200的实现方式)中特别有利，这是因为例如，可以选择预定半径以与视角的具体度数对应，并且可以选择中央凹区域308和旁中央凹区域310的视角的度数表示用户的中央凹和旁中央凹的解剖学边界的估计。例如，如上所述，可以选择预定半径使得中央凹区域308对应于2.5度的视角的半径并且旁中央凹区域310对应于5.0度的视角的半径。在一些实施方式中，基于以上参考眼睛跟踪单元160描述的用户的眼睛的模型选择预定半径。
图3B根据实施方式示出了图3A的眼睛并且进一步描述中央凹视锥316和旁中央凹视锥318。在图3B中示出的实施方式中，中央凹区域和旁中央凹区域由3D锥形定义。描述为316的锥形形状是中央凹视锥，然而描述为318的锥形形状是旁中央凹视锥。
在图3B中示出的实施方式中，屏幕区域模块162基于锥形316、318确定屏幕区域308、310。更具体地，屏幕区域模块162基于眼睛特性以以上参考图3A描述的方式确定凝视矢量。在确定凝视矢量306之后，屏幕区域模块162将中央凹视锥316定义为具有与凝视矢量306匹配的轴线、角膜中心(C)处的顶点以及相对于该轴线偏离预定角度(例如，2.5度)的锥形面的锥形。类似地，屏幕区域模块162将旁中央凹视锥318定义为具有与凝视矢量306匹配的轴线、角膜中心(C)处的顶点以及相对于该轴线偏离不同的预定角度(例如，5度)的锥形面的锥形。与以上参考图3A描述的预定半径相似，定义视锥316、318的预定角度可以被选择以表示一般人类用户的中央凹和旁中央凹的解剖学边界的估计并且可以基于眼睛的模型。在定义视锥316、318之后，屏幕区域模块162通过计算对应视锥316、318和屏幕304之间的交点来确定中央凹区域308和旁中央凹区域310。屏幕区域模块162可以将外部区域312进一步确定为屏幕的中未由中央凹区域308和旁中央凹区域310覆盖的区域。
图3C示出了根据实施方式的出现在屏幕304上的中央凹区域308、旁中央凹区域310和外部区域312。尽管中央凹区域308和旁中央凹区域310在图3A至图3C中示出为圆，但是在其他实施方式中这些区域可以具有不同的形状。在一个实施方式中，中央凹和旁中央凹区域是以注视点314为中心的正方形并且它的边具有与图3A至图3C中示出的圆形中央凹区域308和旁中央凹区域310的直径相同的长度。在另一个实施方式中，中央凹和旁中央凹区域是矩形。使用正方形或矩形的中央凹和旁中央凹区域是有利的，这是因为例如，在其像素用直角坐标系索引的屏幕上更易于定义正方形或矩形区域。
在一些实施方式中，屏幕区域模块162生成额外的区域以在层之间提供更平滑的转变。在一些实施方式中，每个区域的尺寸是自适应的并且可以基于眼睛特性中的噪声、眼睛特性的估计精度、凝视矢量的方向或者它们的任意组合进行更新。在一些实施方式中，当检测到扫视(固定点之间的快速眼睛移动)时增加每个屏幕区域的尺寸，并且一旦固定点稳定就再次减少。
图4是示出了根据实施方式的基于眼睛跟踪信息在图像区域中应用自适应参数的过程的框图。显示系统110接收402眼睛跟踪信息。例如，系统110从显示装置105的眼睛跟踪单元160接收用户的眼睛的角定向。系统110另外地或可替换地接收其他类型的眼睛跟踪信息，诸如，参考图3A描述的用户的眼睛的图像或者一个或多个眼睛特性。
在接收402眼睛跟踪信息之后，系统110基于眼睛跟踪信息确定404两个或更多个屏幕区域。例如，系统110执行参考图3A和图3B描述的一个或两个过程以确定404中央凹区域、旁中央凹区域和外部区域。在其他实施方式中，系统110可以确定404不同数量的区域。例如，系统110可以确定两个区域(例如，中央凹区域和外部区域，但没有旁中央凹区域)。如另一实例，系统可以确定如上所述的中央凹区域、旁中央凹区域和外部区域，并且另外确定与用户的眼睛的远中央凹对应的远中央凹区域(视网膜的限制旁中央凹的一部分)。
系统110通过将不同的多组参数应用406于图像内的不同的图像区域来渲染和/或编码图像。在图像要被显示在整个屏幕上的实施方式中，图像区域与屏幕区域共同扩展。在图像要被显示在屏幕的一部分上的实施方式中，系统110通过将屏幕区域裁切为屏幕的要在其上显示图像的一部分来确定图像区域的边界。显示系统110将图像传输408至显示装置105以显示在屏幕上。
图5A至图5C示出了通过将不同的多组参数应用于不同的图像区域来渲染和编码图像的过程的各种实施方式。例如，可以将图5A至图5C中示出的一个或多个过程执行为参考图4描述的渲染/编码步骤406。在一个实施方式中，通过图像处理引擎165执行图5A至图5C中示出的每一个过程。
首先参考图5A，示出的是示出了根据实施方式的利用不同的多组渲染参数渲染图像的不同部分的过程的框图。显示系统110基于第一组渲染参数渲染502第一图像区域。显示系统110还基于第二组渲染参数渲染第二图像区域。例如，第一图像区域可以是与由中央凹看到的图像的一部分对应的中央凹区域，并且第二图像区域可以是与由视网膜的在中央凹外部的部分看到的图像的一部分对应的外部区域。
如本文中参考的，一组渲染参数指定影响在显示系统110上执行以渲染图像的渲染过程的操作的一个或多个因素。渲染参数的实例可包括图像分辨率、帧速率、反锯齿设置或纹理质量。可以调整一些或所有渲染参数以使渲染过程消耗更多计算资源为代价实现较高的图像质量或者实现较低的质量但是允许利用较少的计算资源执行渲染过程。在一个实施方式中，第二组渲染参数比第一组渲染参数产生更低的图像质量。
在图像被渲染之后，显示系统110编码506渲染图像。在图5A中示出的实施方式中，基于单组编码参数编码506整个图像。然而，在其他实施方式中，诸如图5B至图5C中示出的实施方式，显示系统110基于不同的多组编码参数来编码506不同区域的渲染图像。
尽管在图5A中未示出，但是显示系统110还可以基于第三组渲染参数渲染第三图像区域。在一个实施方式中，第三图像区域可以是与由旁中央凹看到的图像的一部分对应的旁中央凹区域(在这种情况下，外部区域可以与由视网膜的在中央凹和旁中央凹这两者外部的部分看到的图像的一部分对应)。在这个实施方式中，第三组渲染参数产生中间水平的图像质量(即，比第一组渲染参数更低的图像质量并且比第二组渲染参数更高的图像质量)。
更广泛地，显示系统110可以利用提供递减的图像质量水平的不同的多组渲染参数来渲染中央凹区域、旁中央凹区域和外部区域(在以上提供的描述中分别称为第一区域、第三区域和第二区域)。因为眼睛对图像质量的灵敏度随着距中央凹的距离递减，因此许多用户难以察觉到旁中央凹区域中的中间图像质量和外部区域中的较低的图像质量。然而，旁中央凹区域和外部区域的较低质量的渲染参数的使用允许利用较少的计算资源执行图像的渲染过程，这有利地允许渲染过程以较少时间完成和/或消耗较少功率。因此，利用不同的多组渲染参数渲染不同的图像区域的这个过程允许显示系统110执行在充分高的图像质量和计算资源较低使用之间取得平衡的渲染过程。
在一些实施方式中，被渲染的图像描述由应用程序(例如，游戏)生成的场景并且包括场景内的各个位置处的多个对象。在一个实施方式中，一组渲染参数可以基于对象的一部分是否出现在对应区域内部来应用于场景中的对象。例如，如果用户看向对象并且对象的一部分延伸到中央凹区域的外部，则显示系统110可以分配用第一组渲染参数渲染整个对象使得用户感知不到对象的一些部分中的质量的任何变化。
在一些实施方式中，场景中的一个或多个对象具有表示对象和用户之间的距离的深度值。可以通过生成场景的应用程序来确定场景中的每个对象的深度值。例如，通过游戏应用程序生成的场景中的对象的深度值可以表示场景中的游戏对象的位置与玩家的视点的位置之间的距离。
在这些实施方式中，显示系统110可以至少部分基于对象的深度来选择应用于对象的该组渲染参数。在一个实施方式中，如果用户看向位于近距离的对象(例如，如果注视点定位在具有低于第一阈值的深度值的对象上)，则即使背景对象在中央凹或旁中央凹区域内，显示系统110也将较低质量的一组渲染参数应用于位于背景中的对象(例如，具有高于第二阈值的深度值的对象)。
在另一个实施方式中，单独确定针对用户的两只眼睛的两个凝视矢量，并且显示系统110基于两个凝视矢量的汇聚确定用户的焦点深度。在这个实施方式中，显示系统110确定焦点深度与场景中的对象的深度值之间的深度差异(以下称为深度差异)，并且系统110将较低质量的一组渲染参数应用于其深度差异在阈值以上的对象，即使那些对象在中央凹或旁中央凹区域中也如此。
在一些实施方式中，显示系统110执行一起组成帧序列的多个图像的渲染过程。例如，图像可以是视频的帧或游戏应用程序的帧。在这些实施方式中，显示系统110可以以不同的帧速率渲染图像的不同区域。在一个实施方式中，显示系统110渲染每一帧的中央凹区域并且每隔一个帧渲染外部区域。在一些实施方式中，显示系统110可以应用时间反锯齿以便校正针对给定帧的尚未被渲染的区域。
在另一个实施方式中，显示系统110基于场景内容确定帧中的图像区域被渲染的频率。例如，如果图像区域包含在连续帧之间保持稍微静态的对象(例如，背景中的云)，则该图像区域可以以比包含运动对象的图像区域更低的频率渲染。
图5B是示出了根据实施方式的用于利用不同的多组编码参数来编码图像的不同部分的过程的框图。在显示系统110中提供512渲染的图像。在各种实施方式中，渲染的图像可以在显示系统110上渲染(例如，作为游戏应用程序的一部分或者在显示系统上执行的一些其他应用程序)，存储在显示系统110的存储介质中(例如，图像文件或视频文件)，或者通过输入接口140在显示系统110中接收(例如，来自诸如YOUTUBE等流服务的视频流)。
在提供512渲染的图像之后，显示系统110基于第一组编码参数编码514第一图像区域。显示系统110还基于第二组编码参数编码516第二图像区域。例如，第一图像区域可以是与由中央凹看到的图像的一部分对应的中央凹区域，并且第二图像区域可以是与由视网膜的在中央凹外部的部分看到的图像的一部分对应的外部区域。
如本文中参考的，一组编码参数指定影响在显示系统110上执行以渲染图像的编码过程的操作的一个或多个因素。编码参数的实例可包括图像分辨率、帧速率、以及诸如用于转换编码的转换类型的压缩因数、量化级别的数量和范围、色度子采样以及彩色空间减小。与以上描述的渲染参数相似，可以调整一些或所有编码参数以使编码过程消耗更多计算资源为代价实现较高的图像质量，或者实现较低的质量但是允许利用较少的计算资源执行编码过程。此外，较高质量的一组编码参数可以产生具有较大文件大小的编码图像文件，同时较低质量的一组编码参数可以产生具有较小文件大小的编码图像文件。在一个实施方式中，第二组渲染参数比第一组渲染参数产生更低的图像质量和更小的文件大小。
尽管在图5B中未示出，但是显示系统110还可以基于第三组编码参数编码第三图像区域。在一个实施方式中，第三图像区域可以是与由旁中央凹看到的图像的一部分对应的旁中央凹区域(在这种情况下，外部区域可以与由视网膜的在中央凹和旁中央凹这两者外部的部分看到的图像的一部分对应)。在这个实施方式中，第三组渲染参数产生中间水平的图像质量(即，比第一组编码参数更低的图像质量并且比第二组编码参数更高的图像质量)。
总之，执行编码图像的这个过程的显示系统110可以将较高质量的编码参数应用于中央凹区域，将中间质量的编码参数应用于旁中央凹区域，并且将较低质量的编码应用于外部区域。如上所述，眼睛对图像质量的灵敏度随着距中央凹的距离递减；因此，旁中央凹区域中的中间质量和外部区域中的较低质量不太可能使用户对图像的整体图像质量的感知造成不利印象。然而，在旁中央凹区域中使用中间质量的编码参数并且在外部区域中使用较低质量的编码参数允许利用较少的计算资源执行编码过程，因此可以较少时间和/或消耗较少功率完成编码过程。此外，在旁中央凹区域中使用中间质量的编码参数并且在外部区域中使用较低质量的编码参数产生具有较小文件大小的编码图像，这有利于减少当将图像传输至显示装置105时使用的带宽量。
图5C是示出了根据实施方式的用于利用不同的多组参数来渲染和编码图像的不同部分的过程的框图。显示系统110基于第一组渲染参数渲染522第一图像区域并且基于第二组渲染参数渲染524第二图像区域。在渲染图像之后，显示系统110基于第一组编码参数编码526第一图像区域并且基于第二组编码参数编码528第二图像区域。
在一个实施方式中，用于渲染步骤522、524的图像区域与用于编码步骤526、528的图像区域相同。换言之，第一组编码参数应用于利用第一组渲染参数所渲染的图像区域，并且第二组编码参数应用于利用第二组渲染参数所渲染的图像区域。在其他实施方式中，用于渲染步骤522、524的图像区域与用于编码步骤526、528的图像区域不同。例如，用于渲染步骤522、524的图像区域是圆形的，但是用于编码步骤526、528的图像区域是正方形(如以下参考图6A和图6B描述的实例中示出的)。
图6A示出了根据实施方式的利用不同的多组编码参数来编码图像的不同区域并然后将图像的图像区域打包成单个帧的过程的实例。显示系统110编码被分成中央凹区域602、旁中央凹区域604和外部区域606的图像601。显示系统110基于第一组编码参数编码中央凹区域602，基于第二组渲染参数编码旁中央凹区域604，并且基于第三组渲染参数编码外部区域。在图6A中示出的实例中，三组编码参数指定不同的分辨率。具体地，第一组编码参数指定第一相对高的分辨率，第二组编码参数指定较低的分辨率(例如，第一分辨率的二分之一)，并且第三组编码参数指定甚至更低的分辨率(例如，第一分辨率的四分之一)。
这个编码过程生成三个编码的图像区域：编码的中央凹区域612、编码的旁中央凹区域614和编码的外部区域616。显示系统110执行打包过程以将编码的图像区域打包成单个打包图像622并且将打包图像622传输至显示装置105。在接收打包图像622之后，显示装置105通过对每个编码的图像区域相应地放大和合成来解包并重建图像601，以便将其显示在屏幕上。以此方式打包编码的图像区域是有利的，这是因为例如，得到的打包图像622包含比特定分辨率的图像明显更少的像素。例如，如果图像601具有1920×1080像素的分辨率，则打包图像622包括38万像素，对比原始的1920×1080图像的200万像素，这显著降低用于传输每个图像的带宽和时间。
图6B示出了根据实施方式的编码和打包图像序列的实例。在图6B中示出的实例中，该系列图像组成帧序列(例如，在视频或游戏应用程序中的)，并且每组编码参数指定不同频率(即，不同的帧速率)。更具体地，中央凹区域652以第一频率(例如，120Hz)进行编码和传输；旁中央凹区域654以低于第一频率的第二频率(例如，80Hz)进行编码和传输；并且外部区域656以低于第一频率和第二频率的第三频率(例如，40Hz)进行编码和传输。
对于每个帧，显示系统110将图像区域编码并打包成打包帧，然后打包帧被传输至显示装置105。当帧不包含所有的区域(例如，帧n+1 660B、帧n+2 660C和帧n+4 660E)时，显示系统110通过使用每个图像区域可用的最近帧生成下一帧。在一些实施方式中，应用后处理技术以便校正未对准。
图6B示出了五个帧的序列，帧n 660A至帧n+4 660E。帧n包括中央凹区域652A、旁中央凹区域654A和外部区域656A。在帧n+1 660B中，包括中央凹区域652B和旁中央凹区域654B，但是不包括外部区域，从而减少要传输至显示装置105的数据量。帧n+2包括最新编码的中央凹区域652C，但是不包括旁中央凹区域或外部区域，从而进一步减少数据量。然后该系列以帧n+3 660D和帧n+4 660E重复其本身。在这种情况下，用户的眼睛最敏感的图像区域(即，中央凹区域652)以每个连续帧进行重新编码和传输。用户的眼睛较不敏感的图像区域(即，旁中央凹区域654)以每三取二个帧进行重新编码和传输。并且用户的眼睛甚至更不敏感的图像区域(即，外部区域)以每三个帧一次进行编码和传输。这显著减少传送的数据量，并且因此减少传输每个帧所需的带宽和时间。
在一些实施方式中，显示系统110对于给定帧不会渲染没有进行编码并传输至显示装置105的区域。在一些实施方式中，显示系统110基于场景中的活动确定要渲染哪些区域。例如，如果对象在图像区域中保持静态，则针对该图像区域的渲染频率可能低于呈现移动对象时的频率。
附加配置信息
本公开内容的实施方式的上述描述出于说明的目的而呈现；并且不旨在穷尽或者将本公开内容局限于所公开的确切形式。相关领域的技术人员应理解，根据上述公开内容，可以做出许多修改和变化。
本说明书的一些部分从信息运算的算法和符号表示的角度描述了本公开内容的实施方式。这些算法描述和表示通常由数据处理领域的技术人员使用，以便将他们的工作实质有效传达给本领域的其他技术人员。当被描述为功能性的、计算性的或逻辑性的时，这些运算被理解为由计算机程序或等同电路、微码等实现。此外，有时把这些运算的安排称为模块也是方便的，并且不失其一般性。所描述的运算及其关联模块可体现在软件、固件、硬件或它们的任意组合中。
本文中描述的任何步骤、操作或过程可利用一个或多个硬件或软件模块单独或与其他装置组合执行或实现。在一个实施方式中，软件模块利用计算机程序产品实现，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可通过用于执行描述的任何或所有步骤、操作或过程的计算机处理器执行。
本公开内容的实施方式还可涉及一种用于执行本文中的操作的设备。出于需要之目的，可特别构造该设备，和/或该设备可包括由存储在计算机中的计算机程序选择性激活或者重新配置的通用计算装置。这种计算机程序可被存储在非暂时性的、有形的计算机可读存储介质中、或者适用于存储电子指令的可耦接至计算机系统总线的任何类型的介质中。此外，本说明书中所提及的任何计算系统可包括单个处理器或者可以是采用多处理器设计以增强计算能力的体系结构。
本公开内容的实施方式还可以涉及由本文中所描述的计算过程产生的产品。这种产品可包括由计算过程产生的信息，其中，信息存储在非暂时性的、有形的计算机可读存储介质中并且可包括本文中描述的计算机程序产品或其他数据组合的任何实施方式。
最后，主要出于可读性和指导性之目的选择本说明书中使用的语言，并且选择其不是为了划定或者限制本发明的主题。因此，本公开的范围并不旨在由具体实施方式来限定，而是由基于具体实施方式的本申请所发布的任何权利要求来限定。因此，实施方式的公开旨在用于说明而非限制所附权利要求中阐述的本公开的范围。

Claims (20)

1.一种图像处理方法，包括：
接收包括观看显示装置的屏幕的用户的眼睛的至少一个图像的眼睛跟踪信息；
基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的第一屏幕区域，所述第一屏幕区域包含所述用户的注视点，所述注视点表示在所述眼睛跟踪信息被捕获时所述用户看向的所述屏幕上的点；
基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的与所述第一屏幕区域分离的第二屏幕区域；
基于所述眼睛跟踪信息确定所述用户的焦点深度；
编码用于显示在所述屏幕上的图像，所述图像包括对象，所述对象的至少一部分要显示在所述第一屏幕区域内，编码包括：
基于第一组编码参数编码所述图像的第一图像区域，所述第一图像区域包括所述图像要显示在所述第一屏幕区域中的一部分，
基于第二组编码参数编码所述图像的第二图像区域，所述第二图像区域与所述第一图像区域分离并且要显示在所述第二屏幕区域中，所述第二组编码参数比所述第一组编码参数导致更低的质量；并且
响应于所述图像中所述对象的深度与所述用户的焦点深度之间的差异超过阈值，使用所述第二组编码参数对所述对象进行编码，所述对象包括要在所述第一屏幕区域内显示的部分；以及
将编码的图像传输至所述显示装置以显示在所述屏幕上。
2.根据权利要求1所述的方法，其中，所述第一屏幕区域与所述屏幕的由所述眼睛的中央凹看到的区域对应。
3.根据权利要求1所述的方法，其中，所述第二屏幕区域与所述屏幕的由所述眼睛的视网膜的在中央凹外部的部分看到的区域对应。
4.根据权利要求1所述的方法，其中，所述第一组编码参数包括第一图像分辨率，所述第二组编码参数包括第二图像分辨率，并且所述第二图像分辨率低于所述第一图像分辨率。
5.根据权利要求4所述的方法，其中，编码所述第一图像区域包括生成第一编码的图像区域，其中，编码所述第二图像区域包括生成第二编码的图像区域，并且进一步包括：
生成包括所述第一编码的图像区域和所述第二编码的图像区域的打包图像。
6.根据权利要求1所述的方法，其中，所述第一组编码参数包括第一帧速率，所述第二组编码参数包括第二帧速率，并且所述第二帧速率低于所述第一帧速率。
7.根据权利要求1所述的方法，进一步包括：
基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的与所述第一屏幕区域和所述第二屏幕区域分离的第三屏幕区域，
其中，编码用于显示在所述屏幕上的所述图像进一步包括：
基于第三组编码参数编码所述图像的第三图像区域，所述第三图像区域与所述第一图像区域和所述第二图像区域分离并且所述第三图像区域要显示在所述第三屏幕区域中，所述第三组编码参数比所述第一组编码参数导致更低的质量并且比所述第二组编码参数导致更高的质量。
8.根据权利要求7所述的方法，其中，所述第三屏幕区域与所述屏幕的由所述眼睛的旁中央凹看到的区域对应。
9.根据权利要求1所述的方法，其中，所述显示装置是虚拟现实头戴设备。
10.一种存储指令的非暂时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行包括以下项的操作：
接收包括观看显示装置的屏幕的用户的眼睛的至少一个图像的眼睛跟踪信息；
基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的第一屏幕区域，所述第一屏幕区域包含所述用户的注视点，所述注视点表示在所述眼睛跟踪信息被捕获时所述用户看向的所述屏幕上的点；
基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的与所述第一屏幕区域分离的第二屏幕区域；
基于所述眼睛跟踪信息确定所述用户的焦点深度；
编码用于显示在所述屏幕上的图像，所述图像包括对象，所述对象的至少一部分要显示在所述第一屏幕区域内，编码包括：
基于第一组编码参数编码所述图像的第一图像区域，所述第一图像区域包括所述图像要显示在所述第一屏幕区域中的一部分，
基于第二组编码参数编码所述图像的第二图像区域，所述第二图像区域与所述第一图像区域分离并且要显示在所述第二屏幕区域中，所述第二组编码参数比所述第一组编码参数导致更低的质量；并且
响应于所述图像中所述对象的深度与所述用户的焦点深度之间的差异超过阈值，使用所述第二组编码参数对所述对象进行编码，所述对象包括要在所述第一屏幕区域内显示的部分；以及
将编码的图像传输至所述显示装置以显示在所述屏幕上。
11.根据权利要求10所述的计算机可读存储介质，其中，所述第一屏幕区域与所述屏幕的由所述眼睛的中央凹看到的区域对应。
12.根据权利要求10所述的计算机可读存储介质，其中，所述第二屏幕区域与所述屏幕的由所述眼睛的视网膜的在中央凹外部的部分看到的区域对应。
13.根据权利要求10所述的计算机可读存储介质，其中，所述第一组编码参数包括第一图像分辨率，所述第二组编码参数包括第二图像分辨率，并且所述第二图像分辨率低于所述第一图像分辨率。
14.根据权利要求10所述的计算机可读存储介质，其中，编码所述第一图像区域包括生成第一编码的图像区域，其中，编码所述第二图像区域包括生成第二编码的图像区域，并且进一步包括：
生成包括所述第一编码的图像区域和所述第二编码的图像区域的打包图像。
15.根据权利要求10所述的计算机可读存储介质，其中，所述第一组编码参数包括第一帧速率，所述第二组编码参数包括第二帧速率，并且所述第二帧速率低于所述第一帧速率。
16.根据权利要求10所述的计算机可读存储介质，所述操作进一步包括：
基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的与所述第一屏幕区域和所述第二屏幕区域分离的第三屏幕区域，
其中，编码用于显示在所述屏幕上的所述图像进一步包括：
基于第三组编码参数编码所述图像的第三图像区域，所述第三图像区域与所述第一图像区域和所述第二图像区域分离并且所述第三图像区域要显示在所述第三屏幕区域中，所述第三组编码参数比所述第一组编码参数导致更低的质量并且比所述第二组编码参数导致更高的质量。
17.根据权利要求16所述的计算机可读存储介质，其中，所述第三屏幕区域与所述屏幕的由所述眼睛的旁中央凹看到的区域对应。
18.根据权利要求10所述的计算机可读存储介质，其中，所述显示装置是虚拟现实头戴设备。
19.一种图像处理系统，包括：
一个或多个处理器；以及
存储指令的非暂时性计算机可读存储介质，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下项的操作：
接收包括观看显示装置的屏幕的用户的眼睛的至少一个图像的眼睛跟踪信息，
基于所述眼睛跟踪信息，确定与屏幕的一区域对应的第一屏幕区域，所述第一屏幕区域包含所述用户的注视点，所述注视点表示在所述眼睛跟踪信息被捕获时所述用户看向的所述屏幕上的点，
基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的与所述第一屏幕区域分离的第二屏幕区域，
基于所述眼睛跟踪信息确定所述用户的焦点深度；
编码用于显示在所述屏幕上的图像，所述图像包括对象，所述对象的至少一部分要显示在所述第一屏幕区域内，编码包括：
基于第一组编码参数编码所述图像的第一图像区域，所述第一图像区域包括所述图像要显示在所述第一屏幕区域中的一部分，
基于第二组编码参数编码所述图像的第二图像区域，所述第二图像区域与所述第一图像区域分离并且要显示在所述第二屏幕区域中，所述第二组编码参数比所述第一组编码参数导致更低的质量，并且
响应于所述图像中所述对象的深度与所述用户的焦点深度之间的差异超过阈值，使用所述第二组编码参数对所述对象进行编码，所述对象包括要在所述第一屏幕区域内显示的部分；以及
将编码的图像传输至所述显示装置以显示在所述屏幕上。
20.根据权利要求19所述的系统，所述操作进一步包括：
基于所述眼睛跟踪信息，确定与所述屏幕的一区域对应的与所述第一屏幕区域和所述第二屏幕区域分离的第三屏幕区域，
其中，编码用于显示在所述屏幕上的所述图像进一步包括：
基于第三组编码参数编码所述图像的第三图像区域，所述第三图像区域与所述第一图像区域和所述第二图像区域分离并且所述第三图像区域要显示在所述第三屏幕区域中，所述第三组编码参数比所述第一组编码参数导致更低的质量并且比所述第二组编码参数导致更高的质量。
CN201780059271.6A 2016-08-01 2017-07-31 基于眼睛跟踪信息的图像区域中的自适应参数 Active CN109791605B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662369336P 2016-08-01 2016-08-01
US62/369,336 2016-08-01
US15/662,582 US10373592B2 (en) 2016-08-01 2017-07-28 Adaptive parameters in image regions based on eye tracking information
US15/662,582 2017-07-28
PCT/US2017/044749 WO2018026730A1 (en) 2016-08-01 2017-07-31 Adaptive parameters in image regions based on eye tracking information

Publications (2)

Publication Number Publication Date
CN109791605A CN109791605A (zh) 2019-05-21
CN109791605B true CN109791605B (zh) 2023-05-23

Family

ID=61010531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780059271.6A Active CN109791605B (zh) 2016-08-01 2017-07-31 基于眼睛跟踪信息的图像区域中的自适应参数

Country Status (6)

Country Link
US (2) US10373592B2 (zh)
EP (2) EP4180920A1 (zh)
JP (2) JP6886510B2 (zh)
KR (2) KR102403304B1 (zh)
CN (1) CN109791605B (zh)
WO (1) WO2018026730A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11284109B2 (en) * 2016-01-29 2022-03-22 Cable Television Laboratories, Inc. Visual coding for sensitivities to light, color and spatial resolution in human visual system
US10115205B2 (en) * 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
EP3329316B1 (en) * 2016-03-11 2023-09-20 Facebook Technologies, LLC Corneal sphere tracking for generating an eye model
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
KR20180025524A (ko) * 2016-08-31 2018-03-09 엘지디스플레이 주식회사 개인 몰입형 표시장치 및 이의 구동방법
CN109863502A (zh) * 2016-11-10 2019-06-07 纽诺创科技术公司 将图像拍摄设备与人类用户相关联以分析认知能力的方法和系统
CN107168668A (zh) * 2017-04-28 2017-09-15 北京七鑫易维信息技术有限公司 图像数据传输方法、装置以及存储介质、处理器
TWI646466B (zh) * 2017-08-09 2019-01-01 宏碁股份有限公司 視覺範圍映射方法及相關眼球追蹤裝置與系統
US20190066368A1 (en) * 2017-08-30 2019-02-28 Texas Instruments Incorporated Three-Dimensional Cluster Simulation on GPU-Less Systems
EP3468187A1 (en) * 2017-10-03 2019-04-10 Axis AB Method and system for encoding video streams
GB2568261B (en) * 2017-11-08 2022-01-26 Displaylink Uk Ltd System and method for presenting data at variable quality
US10627899B2 (en) * 2018-02-09 2020-04-21 Microsoft Technology Licensing, Llc Eye tracking system for use in a visible light display device
US10551914B2 (en) * 2018-02-09 2020-02-04 Microsoft Technology Licensing, Llc Efficient MEMs-based eye tracking system with a silicon photomultiplier sensor
US10694170B2 (en) * 2018-03-05 2020-06-23 Valve Corporation Controlling image display via real-time compression in peripheral image regions
US11194389B2 (en) * 2018-06-21 2021-12-07 Qualcomm Incorporated Foveated rendering of graphics content using a rendering command and subsequently received eye position data
CN108833976B (zh) * 2018-06-27 2020-01-24 深圳看到科技有限公司 一种全景视频动态切流后的画面质量评估方法及装置
CN112703464A (zh) * 2018-07-20 2021-04-23 托比股份公司 基于用户注视的分布式注视点渲染
CN109242943B (zh) 2018-08-21 2023-03-21 腾讯科技（深圳）有限公司 一种图像渲染方法、装置及图像处理设备、存储介质
GB2567553B (en) * 2018-09-06 2021-04-07 Sony Interactive Entertainment Inc Foveated rendering system and method
JP7256491B2 (ja) * 2018-09-13 2023-04-12 凸版印刷株式会社 映像伝送システム、映像伝送装置、および、映像伝送プログラム
US10915776B2 (en) * 2018-10-05 2021-02-09 Facebook, Inc. Modifying capture of video data by an image capture device based on identifying an object of interest within capturted video data to the image capture device
CN109377503A (zh) * 2018-10-19 2019-02-22 珠海金山网络游戏科技有限公司 图像更新方法和装置、计算设备及存储介质
US11513593B2 (en) * 2018-11-29 2022-11-29 Blink Technologies Inc. Systems and methods for anatomy-constrained gaze estimation
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
US10554940B1 (en) 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
US10466489B1 (en) 2019-03-29 2019-11-05 Razmik Ghazaryan Methods and apparatus for a variable-resolution screen
CN110602475B (zh) * 2019-05-29 2021-06-01 珠海全志科技股份有限公司 提高图像质量的方法及装置、vr显示设备及控制方法
US10976816B2 (en) 2019-06-25 2021-04-13 Microsoft Technology Licensing, Llc Using eye tracking to hide virtual reality scene changes in plain sight
CN110267025B (zh) * 2019-07-03 2021-04-13 京东方科技集团股份有限公司 虚拟3d显示的渲染方法、装置以及其显示方法、系统
CN110347265A (zh) * 2019-07-22 2019-10-18 北京七鑫易维科技有限公司 渲染图像的方法及装置
KR20230144093A (ko) * 2019-07-28 2023-10-13 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
US11100899B2 (en) * 2019-08-13 2021-08-24 Facebook Technologies, Llc Systems and methods for foveated rendering
US11106039B2 (en) 2019-08-26 2021-08-31 Ati Technologies Ulc Single-stream foveal display transport
ES2809648A1 (es) * 2019-09-04 2021-03-04 Alias Antonio Jose Casado Sistema y procedimiento de optimizacion del renderizado de imagenes a partir del seguimiento de las pupilas
JP2021057770A (ja) * 2019-09-30 2021-04-08 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置および画像圧縮方法
JP2021057768A (ja) * 2019-09-30 2021-04-08 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置および画像圧縮方法
JP2021057769A (ja) * 2019-09-30 2021-04-08 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像圧縮方法
US20210134250A1 (en) * 2019-11-05 2021-05-06 Htc Corporation Display system
TWI827874B (zh) * 2019-11-05 2024-01-01 宏達國際電子股份有限公司 顯示系統
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
CN114787752A (zh) * 2019-12-17 2022-07-22 托比股份公司 用于在显示器上应用适应性颜色渲染的方法和系统
CN111142827B (zh) * 2019-12-31 2021-04-13 镁佳(北京)科技有限公司 应用显示方法及装置，存储介质及电子设备
US20210304705A1 (en) * 2020-03-27 2021-09-30 Samsung Electronics Co., Ltd. Image display apparatus and method for managing data packet loss
CN111553972B (zh) * 2020-04-27 2023-06-30 北京百度网讯科技有限公司 用于渲染增强现实数据的方法、装置、设备及存储介质
WO2021241073A1 (ja) * 2020-05-27 2021-12-02 ソニーグループ株式会社 表示装置及び表示方法
CN113810696A (zh) * 2020-06-12 2021-12-17 华为技术有限公司 一种信息传输方法、相关设备及系统
KR102384411B1 (ko) * 2020-07-29 2022-04-06 한국항공대학교산학협력단 Vr 영상 제공 시스템 및 방법
US11297332B1 (en) 2020-10-30 2022-04-05 Capital One Services, Llc Gaze-tracking-based image downscaling for multi-party video communication
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer
CN115933952B (zh) * 2021-08-28 2023-11-24 荣耀终端有限公司 一种触控采样率调节方法及相关装置
CN115236871A (zh) * 2022-05-17 2022-10-25 北京邮电大学 基于人眼跟踪和双向背光的桌面式光场显示系统及方法
US20240007771A1 (en) * 2022-07-01 2024-01-04 Meta Platforms Technologies, Llc Readout methods for foveated sensing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697506B1 (en) * 1999-03-17 2004-02-24 Siemens Corporate Research, Inc. Mark-free computer-assisted diagnosis method and system for assisting diagnosis of abnormalities in digital medical images using diagnosis based image enhancement
CN102034088A (zh) * 2009-10-08 2011-04-27 托比技术股份公司 利用gpu的眼动跟踪
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
WO2016046514A1 (en) * 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
CN105814584A (zh) * 2013-12-09 2016-07-27 传感运动器具创新传感技术有限公司 用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JP3263278B2 (ja) * 1995-06-19 2002-03-04 株式会社東芝 画像圧縮通信装置
DE59906217D1 (de) 1999-12-30 2003-08-07 Swisscom Mobile Ag Verfahren für die übermittlung von bilddaten
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
JP2004056335A (ja) * 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
US8020993B1 (en) * 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
JP2009009253A (ja) * 2007-06-27 2009-01-15 Renesas Technology Corp プログラム実行方法、プログラム、およびプログラム実行システム
JP2009118072A (ja) * 2007-11-05 2009-05-28 Ihi Corp 遠隔操作装置及び遠隔操作方法
KR20110136040A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 사용자 시선 기반 증강현실 기능이 구비된 단말
US8902970B1 (en) 2010-12-01 2014-12-02 Amazon Technologies, Inc. Altering streaming video encoding based on user attention
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
JP2012124784A (ja) * 2010-12-09 2012-06-28 Canon Marketing Japan Inc 動画再生システム
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
EP2805523B1 (en) * 2012-01-19 2019-03-27 VID SCALE, Inc. Methods and systems for video delivery supporting adaption to viewing conditions
KR102001950B1 (ko) * 2012-07-26 2019-07-29 엘지이노텍 주식회사 시선 추적 장치 및 이의 시선 추적 방법
US10514541B2 (en) 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US9244529B2 (en) * 2013-01-27 2016-01-26 Dmitri Model Point-of-gaze estimation robust to head rotations and/or device rotations
US9064295B2 (en) * 2013-02-04 2015-06-23 Sony Corporation Enhanced video encoding using depth information
US9727991B2 (en) 2013-03-01 2017-08-08 Microsoft Technology Licensing, Llc Foveated image rendering
NZ751593A (en) * 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
JP6608137B2 (ja) * 2014-01-03 2019-11-20 ハーマン インターナショナル インダストリーズ インコーポレイテッド ディスプレイ上の両眼転導検出
US10264211B2 (en) 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
US9791924B2 (en) 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US10475370B2 (en) * 2016-02-17 2019-11-12 Google Llc Foveally-rendered display
US10218968B2 (en) 2016-03-05 2019-02-26 Maximilian Ralph Peter von und zu Liechtenstein Gaze-contingent display technique
US10460704B2 (en) * 2016-04-01 2019-10-29 Movidius Limited Systems and methods for head-mounted display adapted to human visual mechanism
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697506B1 (en) * 1999-03-17 2004-02-24 Siemens Corporate Research, Inc. Mark-free computer-assisted diagnosis method and system for assisting diagnosis of abnormalities in digital medical images using diagnosis based image enhancement
CN102034088A (zh) * 2009-10-08 2011-04-27 托比技术股份公司 利用gpu的眼动跟踪
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
CN105814584A (zh) * 2013-12-09 2016-07-27 传感运动器具创新传感技术有限公司 用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备
WO2016046514A1 (en) * 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Arzu Coltekin.Foveation for 3D visualization and stereo imaging.《TKK institute of Photogrammetry and Remote Sensing》.2006, *
Foveation for 3D visualization and stereo imaging;Arzu Coltekin;《TKK institute of Photogrammetry and Remote Sensing》;20060203;第2.5.3.2-2.5.3.4章节 *

Also Published As

Publication number Publication date
WO2018026730A1 (en) 2018-02-08
CN109791605A (zh) 2019-05-21
JP7177213B2 (ja) 2022-11-22
JP2021144227A (ja) 2021-09-24
KR102403304B1 (ko) 2022-06-02
JP6886510B2 (ja) 2021-06-16
US10373592B2 (en) 2019-08-06
EP3345125A4 (en) 2019-05-01
KR102543341B1 (ko) 2023-06-16
JP2019533325A (ja) 2019-11-14
US10984756B2 (en) 2021-04-20
US20190318708A1 (en) 2019-10-17
KR20190026030A (ko) 2019-03-12
EP4180920A1 (en) 2023-05-17
EP3345125A1 (en) 2018-07-11
US20180033405A1 (en) 2018-02-01
KR20220080000A (ko) 2022-06-14

Similar Documents

Publication Publication Date Title
CN109791605B (zh) 基于眼睛跟踪信息的图像区域中的自适应参数
US10504207B1 (en) Rendering composite content on a head-mounted display including a high resolution inset
US11016301B1 (en) Accommodation based optical correction
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US10268290B2 (en) Eye tracking using structured light
US10140695B2 (en) Head-mounted compound display including a high resolution inset
CN108780223B (zh) 用于生成眼睛模型的角膜球跟踪
CN108352075B (zh) 使用光流的眼睛跟踪
US9984507B2 (en) Eye tracking for mitigating vergence and accommodation conflicts
US10417784B1 (en) Boundary region glint tracking
US10120442B2 (en) Eye tracking using a light field camera on a head-mounted display
US10109067B2 (en) Corneal sphere tracking for generating an eye model
US10848753B1 (en) Eye-tracking system using a scanning laser assembly
CN117496098A (zh) 使用深度神经网络的稀疏颜色重建

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Martin Henrik Tall

Inventor after: Javier Saint Agustin Lopez

Inventor after: Rasmuss Dahl

Inventor before: Martin Henrik Tall

Inventor before: Javier Sam Agustin Lopez

Inventor before: Rasmuss Dahl

GR01 Patent grant
GR01 Patent grant