CN115885237A - 头戴式显示器图像和中心凹区亮度计算 - Google Patents

头戴式显示器图像和中心凹区亮度计算 Download PDF

Info

Publication number
CN115885237A
CN115885237A CN202080103083.0A CN202080103083A CN115885237A CN 115885237 A CN115885237 A CN 115885237A CN 202080103083 A CN202080103083 A CN 202080103083A CN 115885237 A CN115885237 A CN 115885237A
Authority
CN
China
Prior art keywords
image
pixel
foveal
hmd
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080103083.0A
Other languages
English (en)
Inventor
J·努里
K·斯马瑟斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN115885237A publication Critical patent/CN115885237A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Psychology (AREA)
  • Biomedical Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Educational Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

可显示在头戴式显示器(HMD)处的图像被下采样为表示所述图像的图像像素。从图像像素的颜色值计算出图像像素的照度以确定图像亮度。从HMD的用户的眼睛跟踪信息来计算图像的中心凹区。图像的中心凹区被下采样到代表中心凹区的中心凹像素。从中心凹像素的颜色值计算出中心凹像素的照度以确定中心凹区亮度。

Description

头戴式显示器图像和中心凹区亮度计算
背景技术
扩展现实(XR)技术包括虚拟现实(VR)、增强现实(AR)和混合现实(MR)技术，并且相当确实地扩展了用户体验的现实。XR技术可以采用头戴式显示器(HMD)。HMD是可以佩戴在头部上的一种显示设备。在VR技术中，HMD佩戴者沉浸在完全虚拟的世界中，而在AR技术中，HMD佩戴者对物理的、真实世界环境的直接或间接视图被增强了。在MR或混合现实技术中，HMD佩戴者体验现实和虚拟世界的融合。
附图说明
图1是用于计算头戴式显示器(HMD)图像和中心凹(foveal)区亮度的一个示例性拓扑的图。
图2是一个示例性图像及其中心凹区的图。
图3是用于确定表示图像的图像像素和表示该图像的中心凹区的中心凹像素的一个示例性方法的流程图。
图4是图像或中心凹区到代表性图像或中心凹区像素的示例性下采样的图。
图5是用于从图像或中心凹区像素中计算图像或中心凹区的照度作为图像或中心凹区亮度的一个示例性方法的流程图。
图6是一个示例性非暂时性计算机可读数据存储介质的图。
图7是一个示例性方法的流程图。
具体实施方式
如背景技术中所述，头戴式显示器(HMD)可以被用作扩展现实(XR)技术以扩展HMD的佩戴者体验的现实。HMD可包括在佩戴者的每只眼睛前方的小显示面板，以及用于检测或感测佩戴者和/或佩戴者的环境的各种传感器，使得显示面板上的图像使佩戴者令人信服地沉浸在XR其中，该XR是虚拟现实(VR)、增强现实(AR)、混合现实(MR)或另一种类型的XR。HMD可包括位于每个显示面板与用户的对应眼睛之间的光路中的一个透镜或多个透镜。
HMD可用作生物计量推断处理的附件，该生物计量推断处理是对HMD的佩戴者的生物计量信息的分析以作出关于佩戴者的状态的推断。一种类型这样的生物计量推断处理是认知负荷的估计或测定。用户的认知负荷可以非限制性地定义为多维构造，其表示执行特定任务对用户的认知系统施加的负荷。任务可能客观上要求更高或更低，人们可以具有不同的认知能力，并且某些任务对于精通该任务的那些人来说可能较容易。
认知负荷可以从瞳孔变化来计量，这使其自身很好地针对HMD佩戴者进行估计，因为HMD通常测量的眼睛跟踪信息可以包括这样的瞳孔度量。然而，为了使用瞳孔变化作为认知负荷的准确估计，必须首先去除或以其他方式补偿图像和中心凹区亮度的影响。这是因为除了HMD佩戴者的认知负荷之外，图像和中心凹区亮度两者也影响瞳孔变化。
图像亮度是显示给眼睛并因此被眼睛观看到的整个图像的亮度。在HMD是具有在使用期间邻近地定位成抵靠着佩戴者的面部的眼罩的护目镜或头盔形式的情况下，佩戴者的眼睛不暴露于除了来自显示图像的HMD的面板的光之外的光。相比之下，在HMD是眼镜形式的情况下，佩戴者的眼睛也可能会暴露于外部或环境周围光。
图像的中心凹区可被估计为HMD佩戴者正注视的图像的部分。更准确地说，中心凹区是显示的图像的一部分，所述部分的光进入眼睛的瞳孔并入射在眼睛的中心凹区上。眼睛的中心凹区位于眼睛的内侧后部，在那里眼睛对光是最敏感的。也就是说，眼睛的中心凹区是眼睛的具有最大锥体密度的部分。
本文描述的技术提供了可以以实时计算图像和中心凹区亮度而不影响HMD处的图像显示的方式。例如，当眼睛跟踪信息被刷新时以及当显示给每只眼睛的图像被刷新时，可以为每只眼睛计算图像和中心凹区亮度。更具体讲，图像和中心凹区亮度可以被计算为每只眼睛的图像和中心凹区的照度，如在HMD的显示面板处显示的。
因此可以计算四个照度：针对左眼的图像的照度和该图像的中心凹区的照度，以及针对右眼的图像的照度和该图像的中心凹区的照度。如果照度是实际上实时可测量的，则每个照度可以准确地对应于HMD处的实际测量照度。这种照度与感知照度形成对比，感知照度是由人类感知系统在大脑中感知的照度，并且可以因人而异。
图1示出了整个过程的一个示例性拓扑100，通过该过程可以结合HMD 102来计算左和右图像以及中心凹区亮度。HMD 102包括左目镜组件104L和右目镜组件104R，它们被统称为目镜组件104。左目镜组件104L和右目镜组件104R在与HMD 102的用户将他或她的眼睛定位在的端部110L和110R相对的端部108L和108R处具有各自的显示面板106L和106R，其统称为显示面板106。显示面板106可以是扁平面板显示器，诸如液晶显示器(LCD)或发光二极管(LED)显示器，如有机LED(OLED)和微LED显示器。
HMD 102还包括左眼跟踪传感器109L和右眼跟踪传感器109R，它们被统称为眼睛跟踪传感器109。眼睛跟踪传感器109跟踪HMD用户的眼睛相对于显示面板108的注视，并且可以包括例如相机和其他类型的硬件组件。HMD 102本身也可以包括其他组件，诸如在目镜组件104的端部110L和110R处的用户眼睛与组件104的端部108L和108R处的显示面板106之间的光路中的一个或多个各种透镜。
左图像112L和右图像112R，统称为图像112，分别显示在显示面板108L和108R上。图像112彼此不同，但是彼此对应，使得在眼睛同时观看图像112时，HMD用户的大脑立体地感知单个图像。左眼跟踪信息114L和右眼跟踪信息114R，统称为眼跟踪信息114，是从HMD102获取的，基于此，可以估计地确定图像112L和112R的左中心凹区116L和右中心凹区116R。中心凹区116L和116R被统称为中心凹区116。
左图像112L被下采样或压缩以确定表示图像112L的左图像像素118L，并且右图像112R同样被下采样或压缩以确定表示图像112R的右图像像素118R。图像像素118L和118R统称为图像像素118。每个图像像素118代表其相应的图像112，因为图像像素118具有作为相应图像112的组成像素的颜色值的平均值的颜色值。颜色值可以被表达为三个颜色值(诸如红色、绿色和蓝色值)的元组。
类似地，左中心凹区116L被下采样或压缩以确定代表左图像112L的中心凹区116L的左中心凹像素120L，并且右中心凹区116R同样被下采样或压缩以确定代表右图像112R的中心凹区116R的右中心凹像素120R。中心凹像素120L和120R被统称为中心凹像素120。每个中心凹像素120代表其相应中心凹区116，因为中心凹像素120具有作为所讨论的图像112的相应中心凹区116的像素的颜色值的平均值的颜色值。
左图像亮度122L和右图像亮度122R分别从左图像像素118L和右图像像素118R中计算。左图像亮度122L和右图像亮度122R统称为图像亮度122。每个图像亮度122表示其相应图像112的总亮度，并且可以从该像素118的颜色值而被确定为其相应图像像素118的照度。
类似地，左中心凹区亮度124L和右中心凹区亮度124R分别从左中心凹像素120L和右中心凹像素120R中计算。左中心凹区亮度124L和右中心凹区亮度124R被统称为中心凹区亮度124。每个中心凹区亮度124表示所讨论的图像112的其相应中心凹区116的总亮度，并且可以从该像素120的颜色值中确定为其相应中心凹像素120的照度。
生物计量推断处理126可以基于图像亮度122和中心凹区亮度124以及其他信息来执行。例如，眼睛跟踪信息114可以包括HMD用户的每只眼睛的瞳孔变化(例如，瞳孔直径变化)，根据其去除或以其他方式补偿亮度122和124的影响。如所述，生物计量推断处理126可以包括测定或估计HMD用户的认知负荷。
在一个实施方式中，HMD 102向用户显示的图像112可以基于生物计量推断处理126的结果来调整。作为一个示例，HMD用户可以通过遵循HMD 102处呈现的指令来在机器上执行任务。基于HMD用户在执行任务时的估计认知负荷以及诸如用户执行任务多么良好或正确等其它信息，可以更详细地简化或呈现指令。HMD用户将犯错误的可能性甚至可以在错误实际发生之前就被预测到。
生物计量推断处理126和对所显示的图像126的所得到的调整可以由在确定亮度122和124的程序代码外部并与之分开的应用软件来执行。即，所执行的生物计量推断处理126以及如何基于推断处理126来调整所显示的图像112使用所确定的亮度122和124，但是本文所描述的用于确定亮度122和124的技术是独立于这样的推断处理126和图像126调整的。这种推断处理126和所显示的图像126的调整可以与亮度122和124的确定实时或离线地发生。
图2示出了识别出与其相关的其中心凹区216的示例性图像212。图像212可以是显示给HMD用户的左眼的左图像或显示给HMD用户的右眼的右图像。中心凹区216是用户的注视所指向的图像212的部分，其可以从HMD所捕获的眼睛跟踪信息来确定。当用户将他或她的焦点注意力引导到图像212的不同部分时，中心凹区216会相应地改变。
图3示出了用于确定表示图像的图像像素和表示图像的中心凹区的中心凹像素的一个示例性方法300。方法300是关于一个这样的图像来描述的，但是是针对向HMD用户的左眼显示的左图像和向HMD用户的右眼显示的右图像中的每一个来执行的。方法300可由HMD通信地连接到的主机计算设备来执行，该主机计算设备诸如台式或膝上型计算机或移动计算设备，如智能电话或平板计算设备。方法300可以被实现为存储在非暂时性计算机可读数据存储介质上并且可由主机计算设备的处理器执行的程序代码。
在一个实施方式中，与如设备的中央处理器单元(CPU)的不同处理器相对，方法300是由主机计算设备的图形处理器单元(GPU)执行的。方法300在图3的示例中具体示出用于这样的实施方式，并且利用GPU(与CPU相比)所独有的处理能力来准许实时的图像和中心凹像素确定(并且因此图像和中心凹区亮度)，而不减慢HMD处的图像的显示。相比之下，在CPU处执行这样的处理可使CPU过度负担，且可能不准许实时确定图像和中心凹像素。
方法300是关于其中更新眼睛跟踪信息的刷新速率比更新HMD处显示的图像的刷新速率快的一个示例来描述的。在这样的示例中，对于左眼和右眼二者，在眼睛跟踪信息的每次刷新时重复方法300。在眼睛跟踪信息(302)的刷新时，要在HMD处显示的图像可以是或可以不是自从眼睛跟踪信息刷新的最后刷新以来已经被刷新的。如果图像刷新已经发生(304)，则方法300包括然后诸如从生成用于显示的图像的合成器获取图像(306)。
方法300包括复制和发布图像以便在HMD的显示面板处显示(308)。例如，图像可以是从GPU的存储器的一个区位块发送(即，位位图传送(blit)或位图传送)到另一区的。位图传送非常快速地执行。方法300的剩余部分作用于图像的位图传送的副本。因此，原始图像可以被发布以在显示面板处显示，而不必等待方法300的完成。这样，在HMD处的图像的显示没有被减慢，因为在实践中可以以比图像刷新速率快得多的速度执行位图传送。
方法300可以包括将遮挡掩模应用于图像(310)。尽管图像可以完美地是矩形或正方形，但是HMD的物理几何形状或其当前物理配置可能导致图像的部分的遮挡。HMD用户的眼睛不暴露于被遮挡的图像部分，并且因此在确定总图像亮度时不考虑这些部分。遮挡掩模定义了图像的哪些部分是可见的以及哪些部分被遮挡，并且掩模的应用从图像中去除被遮挡部分。然而，在另一实施方式中，在HMD处可能没有发生遮挡，或者在部分306中获取的图像可能已经考虑了遮挡，在这种情况下，必须应用遮挡掩模。
方法300然后包括将图像下采样为表示图像(312)的图像像素。如上所述，下采样的图像像素具有作为图像的组成图像的颜色值的平均值的颜色值。GPU特别良好地适合于这种下采样，因为它可以执行纹理映射(mipmap)。纹理映射是按二的数量级渐进地对图像进行下采样的过程，这可以在可以对应于所确定的图像像素的图像的一个像素乘一个像素的纹理映射中达到顶点。下采样过程也可以被称为压缩过程，因为GPU可以递归地对图像执行小波或其他压缩以实现一个像素乘一个像素的纹理映射。稍后在详细描述中说明性地描述示例图像下采样。
然后，可以基于图像像素来确定图像的亮度(314)。稍后在详细描述中描述从所确定的图像像素中计算图像亮度的特定方式。图像亮度计算可以在主机计算设备的CPU处执行，或者在主机计算设备的GPU处执行。例如，与GPU的处理能力相比，被执行以从图像像素计算出图像亮度的计算可能更适合于CPU的处理能力，因此使其自身通过CPU执行以既与HMD处的图像的显示实时地计算图像亮度又避免GPU的不必要的负担。
关于中心凹区亮度确定，方法300包括从HMD获取眼睛跟踪信息(316)。方法300然后包括使用所获取的眼睛跟踪信息来确定在HMD处显示的图像的中心凹区(318)。如果在眼睛跟踪信息刷新时，自从眼睛跟踪信息的最后刷新以来图像被刷新，则在方法300的当前迭代中针对在部分306中获取的图像确定中心凹区。作为比较，如果在眼睛跟踪信息刷新时，自从眼睛跟踪信息的最后刷新以来图像未被刷新，则针对在方法300的先前迭代中在部分306中获取的图像确定中心凹区。
眼睛跟踪信息可以指定在三维空间中从HMD用户的眼睛瞳孔的中心朝向显示图像的HMD的显示面板向外延伸的向量。因此，确定图像的中心凹区可以需要将三维向量投影到表示显示面板的二维表面上。中心凹区是作为整体的图像的连续部分。如上所述，中心凹区是用户的注视所指向的图像的部分，作为对入射到用户眼睛的中心凹区的图像的部分的估计。
方法300然后包括将图像的中心凹区下采样到代表中心凹区的中心凹像素(320)。以与图像下采样相同的方式执行对中心凹区下采样，但是是从图像的中心凹区而不是作为整体的图像开始。一旦中心凹区已被下采样或压缩至中心凹像素，则中心凹区的亮度就可以基于中心凹像素(322)以与从图像像素中确定图像亮度相同的方式来确定。
如所述，图3示出了方法300的一个示例性实施方式，其中，眼睛跟踪信息比在HMD处显示图像更快地刷新。然而，在另一实施方式中，图像刷新速率可以比眼睛跟踪信息被刷新的速率更快。在这种情况下，方法300的执行是基于图像刷新预测的，因此每次刷新图像时重复方法300。即使眼睛跟踪信息可能尚未刷新，中心凹区也随着方法300的每次迭代而确定，因为中心凹区是其一部分的图像将已改变。
图4示出了如可由图3的部分312中的主机计算设备的GPU执行的图像至图像像素的示例下采样。下采样过程从可具有n像素乘n像素的分辨率的图像开始。(诸如在部分318中，将图像的中心凹区下采样至中心凹像素是以相同方式执行的，但是开始于图像的中心凹区，而不是整个图像)图像可以被认为是全n像素乘n像素分辨率的初始图像表示400A。
图像表示400A以二的数量级下采样为具有n/2像素乘n/2像素的分辨率的图像表示400B。然后，图像表示400B以二的数量级下采样为具有n/4像素乘n/4像素的分辨率的图像表示400C。连续重复这种下采样或压缩，得到四像素乘四像素图像表示400L，然后在经压缩的一像素乘一像素图像表示400N(其是表示整个图像的单个图像像素)中达到顶点之前，得到两像素乘二像素图像表示400M。
图像表示400A、400B、400C、...、400L、400M和400N被统称为图像表示400。除第一图像表示400A之外的图像表示可以是按二的数量级降低分辨率的渐进纹理映射，其由GPU使用其纹理映射功能来计算。纹理映射是图像(即对应于初始图像表示400A的图像)的较低表示。
如上所述，图像像素(即，一个像素乘一个像素的图像表示400N)表示整个图像，并且具有作为图像的组成n乘n像素的平均颜色值的颜色值。可以从该图像像素确定整体图像的亮度。然而，在另一实施方式中，可以存在针对其确定图像亮度的多于一个图像像素。例如，可以针对两像素乘两像素图像表示400M的每个图像像素确定图像亮度。
在这种情况下，图像表示400M的左上图像像素具有作为图像的组成像素的对应左上象限的平均颜色值的颜色值。类似地，图像表示400M的右上、右下和左下图像像素具有分别是图像的像素的对应右上、右下和左下象限的平均颜色值的颜色值。如果瞳孔变化不是均匀地受亮度影响，则确定多于一个图像像素的图像亮度(以及类似地，多于一个中心凹像素的中心凹区亮度)可以是有益的。
可以使用不同于纹理映射的方法将图像下采样为像素。例如，可以使用不使用纹理映射的计算着色器。计算着色器是由GPU执行的计算机程序(例如，可编程阶段，包括顶点和几何结构阶段)，其实例可以由GPU的对应硬件处理单元同时执行。例如，这种硬件处理单元的一个示例是单指令多数据(SIMD)单元。
图5示出了用于从图像或中心凹像素计算出图像或中心凹区的照度的一个示例性方法500。计算的图像照度对应于并用作图像的所确定的亮度，并且同样地，计算的中心凹区照度对应于并用作中心凹区的所确定的亮度。因此，方法500可被执行以实现图3的部分314和322。方法500是关于计算图像照度来描述的，但同样可应用于计算中心凹区照度。
方法500可以由HMD通信地连接到的主机计算设备来执行。与方法300类似，方法500可以被实现为存储在非暂时性计算机可读数据存储介质上并且可由主机计算设备的处理器执行的程序代码。如所述的，图像亮度可以更合适地由主机计算设备的CPU而不是由设备的GPU来确定，使得方法500可以相应地由CPU来执行。
方法500包括获取图像像素(512)。例如，主机计算设备的CPU可以读取GPU确定的图像像素。图像的颜色空间以及因此图像像素的颜色值可以处在线性颜色空间或非线性颜色空间中。如果颜色空间是非线性的(504)，则方法500包括将颜色值转换到线性颜色空间(506)，使得图像像素的照度被适当地计算出来。红-绿-蓝(RGB)颜色空间是线性颜色空间的一个示例，而标准RGB(sRGB)颜色空间是非线性颜色空间的一个示例。
方法500可以包括调整图像像素以补偿显示图像的HMD显示面板(508)。更具体讲，图像像素的颜色值被调整以补偿显示面板在显示不同颜色时的亮度变化特性。因此，可以使用实验导出的查找表(LUT)或以另一种方式来调整图像像素的颜色值，以补偿这种变化。显示面板的不同特性可能会导致这些亮度变化。
例如，显示面板的物理像素可以由红色、绿色和蓝色子像素组成，其中的一些可以与面板的相邻物理像素共享。尽管理想的显示面板以均匀的亮度显示每个子像素颜色，但是实际上一些颜色可能比其它颜色更亮或更暗。对应于每种子像素颜色的物理子像素元件(诸如LCD单元或LED)的数量可以变化。对于相同显示面板的不同颜色和对于不同的面板，在形成子像素中的子像素元件的物理排列可以不同。
方法500以从像素的颜色值计算出图像像素的照度结束(510)。由于颜色值是针对线性颜色空间的，所以可以使用方程来计算照度。例如，对于RGB颜色空间，照度可以被计算为红色、绿色和蓝色颜色值的最大值。作为另一示例，照度可以是该最大值减去红色、绿色和蓝色颜色值的最小值，得到的差值除以二。如上所述，计算的照度用作图像的亮度。针对左图像亮度和右图像亮度两者以及针对左中心凹区亮度和右中心凹区亮度两者执行方法500。如果针对每个图像和每个中心凹区确定多于一个像素，则同样地针对每个图像像素和每个中心凹区执行方法500。
图6示出了存储程序代码602的一个示例性非暂时性计算机可读数据存储介质600。程序代码602可由计算设备执行以实行处理，所述计算设备诸如连接到HMD的主机计算设备。该处理包括从图像像素的颜色值计算出表示可在HMD处显示图像的图像像素的照度以确定图像亮度(604)。该处理包括从中心凹像素的颜色值计算出表示图像的中心凹区的中心凹像素的照度以确定中心凹区亮度(606)。从HMD的用户的眼睛跟踪信息确定中心凹区。
图7示出了一个示例性方法700，其可以由计算设备执行，所述计算设备例如是连接到HMD的主机计算设备。方法700包括将HMD处可显示的图像下采样为表示图像的图像像素(702)，以及从图像像素的颜色值计算出图像像素的照度以确定图像亮度(704)。方法700包括从HMD的用户的眼睛跟踪信息确定图像的中心凹区(706)。方法700包括将图像的中心凹区下采样到表示图像的中心凹区的中心凹像素(708)，以及从中心凹像素的颜色值计算出中心凹像素的照度以确定中心凹区亮度(710)。
已经从在HMD处显示图像时实时确定图像和中心凹区亮度描述了技术。图像和中心凹区亮度被确定为分别从表示图像和中心凹区的图像和中心凹像素计算的图像和中心凹区照度。当执行关于HMD的用户的生物计量推断处理时，可以使用所确定的图像和中心凹区亮度。

Claims (15)

1.一种方法，包括：
由计算设备将可显示在头戴式显示器(HMD)处的图像下采样为表示所述图像的图像像素；
由所述计算设备从所述图像像素的颜色值计算出所述图像像素的照度，以确定图像亮度；
由所述计算设备从所述HMD的用户的眼睛跟踪信息确定所述图像的中心凹区；
由所述计算设备将所述图像的中心凹区下采样至表示所述图像的中心凹区的中心凹像素；以及
由所述计算设备从所述中心凹像素的颜色值计算出所述中心凹像素的照度，以确定中心凹区亮度。
2.根据权利要求1所述的方法，其中，所述图像是左眼图像，所述中心凹区是左眼中心凹区，所述图像亮度是左眼图像亮度，并且所述中心凹区亮度是左眼中心凹区亮度，
并且其中，重复所述方法以确定右眼图像的右眼图像亮度和所述右眼图像的右眼中心凹区的右眼中心凹区亮度。
3.根据权利要求1所述的方法，其中，在关于所述HMD的所述用户的生物计量推断处理期间在评估瞳孔直径变化时去除计算的图像和中心凹区亮度。
4.根据权利要求3所述的方法，其中，所述生物计量信息处理包括计量所述HMD的用户的认知负荷。
5.根据权利要求3所述的方法，其中，基于关于所述HMD的用户的生物计量推断处理来调整可显示在所述HMD处的图像。
6.根据权利要求1所述的方法，其中，所述眼睛跟踪信息具有比所述图像大的刷新速率，且在所述眼睛跟踪信息的每次刷新时重复所述方法，
并且其中，如果自从眼睛跟踪信息的先前刷新以来所述图像已经被刷新，则在眼睛跟踪信息的每次刷新时图像被下采样并且图像亮度被确定。
7.根据权利要求1所述的方法，其中，所述图像具有比所述眼睛跟踪信息大的刷新速率，且在所述图像的每次刷新时重复所述方法。
8.根据权利要求1所述的方法，其中，通过将所述图像纹理映射到一像素乘一像素纹理映射作为图像像素来对所述图像进行下采样，
并且其中，通过将所述图像纹理映射到一像素乘一像素纹理映射作为中心凹像素来对所述图像的中心凹区下采样。
9.根据权利要求1所述的方法，其中，所述图像像素是所选图像像素，通过将所述图像纹理映射到包括所选图像像素的多个图像像素的n像素乘n像素纹理映射来对所述图像进行下采样，并且计算每个图像像素的照度，
其中，所述中心凹像素是所选中心凹像素，通过将所述图像的中心凹区纹理映射到包括所选中心凹图像像素的多个中心凹像素的n像素乘n像素纹理映射来对所述图像下采样，并且计算每个中心凹像素的照度。
10.根据权利要求1所述的方法，其中，所述眼睛跟踪信息包括在注视方向上从用户的眼睛向外辐射朝向显示图像的HMD的显示面板的三维向量，
并且其中，通过将所述三维向量投影到表示所述显示面板的二维表面上来确定所述中心凹区。
11.根据权利要求1所述的方法，其中，所述图像以遮挡方式显示在所述HMD处，所述方法还包括：
在对所述图像进行下采样之前，由所述计算设备将遮挡掩模应用于在HMD处显示时的所述图像的图像对应被遮挡部分。
12.根据权利要求1所述的方法，其中，显示所述图像的HMD的显示面板针对不同的子像素颜色具有变化的亮度特性，所述方法还包括：
在从所述图像像素的颜色值确定所述图像像素的照度之前，由所述计算设备调整所述图像像素的颜色值以针对不同子像素颜色补偿所述显示面板的变化的亮度特性；以及
在从所述中心凹像素的颜色值确定所述中心凹像素的照度之前，由所述计算设备调整所述中心凹像素的颜色值以针对不同子像素颜色补偿所述显示面板的变化的亮度特性。
13.一种非暂时性计算机可读数据存储介质，其存储可由计算设备执行以实行包括以下各项的处理的程序代码：
从图像像素的颜色值计算出表示可在头戴式显示器(HMD)处显示的图像的所述图像像素的照度，以确定图像亮度；以及
从中心凹像素的颜色值计算出表示所述图像的中心凹区的中心凹像素的照度以确定中心凹区亮度，所述中心凹区是从所述HMD的用户的眼睛跟踪信息确定的。
14.根据权利要求13所述的非暂时性计算机可读数据存储介质，其中，所述处理还包括：
通过在所述计算设备的图形处理单元(GPU)处以二的数量级对所述图像连续下采样来确定所述图像像素，以产生包括所述图像像素的压缩图像表示；以及
通过在所述计算设备的所述GPU处以二的数量级对所述图像连续地下采样来确定所述中心凹像素，以产生包括所述中心凹像素的压缩中心凹区表示。
15.根据权利要求14所述的非暂时性计算机可读数据存储介质，其中，所述图像和中心凹像素的所述照度是在所述计算设备的中央处理单元(CPU)处计算的。
CN202080103083.0A 2020-07-17 2020-07-17 头戴式显示器图像和中心凹区亮度计算 Pending CN115885237A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/042465 WO2022015319A1 (en) 2020-07-17 2020-07-17 Head-mountable display (hmd) image and foveal region brightness computation

Publications (1)

Publication Number Publication Date
CN115885237A true CN115885237A (zh) 2023-03-31

Family

ID=79554975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080103083.0A Pending CN115885237A (zh) 2020-07-17 2020-07-17 头戴式显示器图像和中心凹区亮度计算

Country Status (4)

Country Link
US (1) US12094378B2 (zh)
EP (1) EP4182752A4 (zh)
CN (1) CN115885237A (zh)
WO (1) WO2022015319A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252989B1 (en) * 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US20150324568A1 (en) * 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
US20170336641A1 (en) * 2017-08-07 2017-11-23 Maximilian Ralph Peter von und zu Liechtenstein Apparatus und Method for Rendering a Virtual Monitor on Smart Ophthalmic Devices in Augmented Reality Environments
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品
WO2020018458A1 (en) * 2018-07-17 2020-01-23 Dolby Laboratories Licensing Corporation Foviation and hdr
WO2020040865A1 (en) * 2018-08-22 2020-02-27 Microsoft Technology Licensing, Llc Foveated color correction to improve color uniformity of head-mounted displays

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11101935A (ja) * 1997-09-26 1999-04-13 Canon Inc 注視状態検出装置及び電子機器の制御装置
EP1147900A1 (en) 2000-04-20 2001-10-24 Hewlett-Packard Company, A Delaware Corporation Method of recovering a printhead when mounted in a printing device
EP1147910B1 (en) 2000-04-20 2005-08-24 Hewlett-Packard Company, A Delaware Corporation Method and apparatus for improving the quality of an image produced by a printing device
US6533384B1 (en) 2001-10-30 2003-03-18 Hewlett-Packard Company System and method for selective printhead based servicing operations
US7477794B2 (en) 2005-06-30 2009-01-13 Microsoft Corporation Multi-level image stack of filtered images
US9087471B2 (en) 2011-11-04 2015-07-21 Google Inc. Adaptive brightness control of head mounted display
US9858721B2 (en) 2013-01-15 2018-01-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
NZ773844A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US11010956B2 (en) 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering
KR102520143B1 (ko) 2016-07-25 2023-04-11 매직 립, 인코포레이티드 광 필드 프로세서 시스템
JP6711295B2 (ja) 2017-02-08 2020-06-17 株式会社デンソー 車両用表示制御装置
US11164352B2 (en) 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
US10922878B2 (en) 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US11403810B2 (en) 2018-11-02 2022-08-02 Facebook Technologies, Llc. Display engine for post-rendering processing
US11009944B1 (en) * 2019-07-24 2021-05-18 Facebook Technologies, Llc Systems and methods for displaying foveated images
GB2589325B (en) * 2019-11-26 2021-12-22 Sony Interactive Entertainment Inc Image rendering method and apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252989B1 (en) * 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US20150324568A1 (en) * 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
US20170336641A1 (en) * 2017-08-07 2017-11-23 Maximilian Ralph Peter von und zu Liechtenstein Apparatus und Method for Rendering a Virtual Monitor on Smart Ophthalmic Devices in Augmented Reality Environments
WO2020018458A1 (en) * 2018-07-17 2020-01-23 Dolby Laboratories Licensing Corporation Foviation and hdr
WO2020040865A1 (en) * 2018-08-22 2020-02-27 Microsoft Technology Licensing, Llc Foveated color correction to improve color uniformity of head-mounted displays
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品

Also Published As

Publication number Publication date
US20230282139A1 (en) 2023-09-07
EP4182752A1 (en) 2023-05-24
US12094378B2 (en) 2024-09-17
WO2022015319A1 (en) 2022-01-20
EP4182752A4 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
US10733783B2 (en) Motion smoothing for re-projected frames
US10192292B2 (en) Accommodation-invariant computational near-eye displays
Kelly et al. Recalibration of perceived distance in virtual environments occurs rapidly and transfers asymmetrically across scale
JP2022512013A (ja) ライトフィールド・ディスプレイ、そのための調整画素レンダリング方法、並びに視力補正システム及びその使用方法
WO2019105323A1 (zh) 显示模组、头戴式显示设备及图像立体显示方法和装置
EP3409013B1 (en) Viewing device adjustment based on eye accommodation in relation to a display
US9905168B1 (en) Luminance-based non-uniformity correction for display panels in head-mounted displays
Jones et al. Degraded reality: using VR/AR to simulate visual impairments
US20180374258A1 (en) Image generating method, device and computer executable non-volatile storage medium
US10778953B2 (en) Dynamic convergence adjustment in augmented reality headsets
WO2013139067A1 (zh) 对彩色数字图像进行视觉立体感知增强的方法及系统
US11206364B1 (en) System configuration for peripheral vision with reduced size, weight, and cost
US11170678B2 (en) Display apparatus and method incorporating gaze-based modulation of pixel values
KR20210092228A (ko) 밝기 제어 환경에서 로컬 디밍을 위한 장치 시스템 및 방법
Ahn et al. Real-time adjustment of contrast saliency for improved information visibility in mobile augmented reality
US12008711B2 (en) Determining display gazability and placement of virtual try-on glasses using optometric measurements
Zhang et al. Color contrast enhanced rendering for optical see-through head-mounted displays
US20240202005A1 (en) Encoding stereo splash screen in static image
US11521297B2 (en) Method and device for presenting AR information based on video communication technology
CN115668355A (zh) 具有相干上下文的分段渐进和连续校准
US10930244B2 (en) Data processing systems
CN115885237A (zh) 头戴式显示器图像和中心凹区亮度计算
CN113726981B (zh) 图像数据处理方法、电子设备及存储介质
Ikeda et al. Shadow induction on optical see-through head-mounted displays
Hussain et al. Improving depth perception in immersive media devices by addressing vergence-accommodation conflict

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination