CN117859320A - 改进中心凹渲染图像的感知质量的方法 - Google Patents
改进中心凹渲染图像的感知质量的方法 Download PDFInfo
- Publication number
- CN117859320A CN117859320A CN202280055748.4A CN202280055748A CN117859320A CN 117859320 A CN117859320 A CN 117859320A CN 202280055748 A CN202280055748 A CN 202280055748A CN 117859320 A CN117859320 A CN 117859320A
- Authority
- CN
- China
- Prior art keywords
- foveal
- region
- image
- rendered
- pixel resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 131
- 230000002093 peripheral effect Effects 0.000 claims abstract description 90
- 238000009877 rendering Methods 0.000 claims abstract description 86
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000004806 packaging method and process Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000004424 eye movement Effects 0.000 claims description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims 1
- 239000004973 liquid crystal related substance Substances 0.000 claims 1
- 238000005259 measurement Methods 0.000 claims 1
- 229910052710 silicon Inorganic materials 0.000 claims 1
- 239000010703 silicon Substances 0.000 claims 1
- 238000005070 sampling Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000004438 eyesight Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004304 visual acuity Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000005043 peripheral vision Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012464 large buffer Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/391—Resolution modifying circuits, e.g. variable screen formats
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
一种使用时间复用生成中心凹渲染的方法包括：通过将FOV划分为第一中心凹区域和第一外围区域来生成用于FOV的第一空间轮廓。第一中心凹区域将以第一像素分辨率渲染，并且第一外围区域将以低于第一像素分辨率的第二像素分辨率渲染。该方法还包括：通过将FOV划分为第二中心凹区域和第二外围区域来生成用于FOV的第二空间轮廓，第二中心凹区域与第一中心凹区域在空间上偏移。第二中心凹区域和第二外围区域将分别以第一像素分辨率和第二像素分辨率渲染。该方法还包括：在帧序列中在时间上复用第一空间轮廓和第二空间轮廓。
Description
相关申请的交叉引用
本申请要求于2021年8月13日提交的题为“METHODS TO IMPROVE THE PERCEPTUALQUALITY OF FOVEATED RENDERED IMAGES(改进中心凹渲染图像的感知质量的方法)”的美国临时专利申请号63/232,787的优先权的权益，其全部内容通过引用并入本文用于所有目的。
背景技术
在人眼中，中央凹负责注视的中心处的锐利(sharp)中心视觉。外围(peripheral)视觉是远离注视的中心发生的视觉。与中央凹视觉相比较，视觉敏锐度对于外围视觉是差的。中心凹(foveate)渲染(FR)是一种渲染技术，其中图像分辨率或细节量在图像的对应于注视点的区域中较高，而在远离注视点时较低。FR可以实现渲染能力和带宽的显著降低，这可以在具有有限资源的应用中是有利的，诸如虚拟现实(VR)和增强现实(AR)。
一些FR技术涉及使用与VR/AR头戴式装置集成的眼睛注视跟踪器实时跟踪观看者的眼睛注视。对于关于FR的令人满意的观看者体验，眼睛注视跟踪需要具有足够高的准确度、快速和低延迟，这可能难以实现。一些FR技术不使用眼睛注视跟踪，并且相反使用固定(fix)的焦点。这样的FR技术被称为固定FR。例如，假设观看者观看显示器的中心，则显示器的视场(FOV)可以被划分为具有最大分辨率的中心区域和具有减少分辨率的若干外围区域。由于观看者可能并不总是观看显示器的中心，因此观看者体验可能受到损害。诸如基于内容的FR的其他技术也不要求眼睛注视跟踪，但是可能要求大量的计算资源。
因此，在本领域中需要改进的FR技术。
发明内容
根据一些实施例，一种使用时间复用生成中心凹渲染的方法包括：通过将FOV划分为第一中心凹区域和第一外围区域来生成用于FOV的第一空间轮廓。第一中心凹区域将以第一像素分辨率渲染，并且第一外围区域将以低于第一像素分辨率的第二像素分辨率渲染。该方法还包括：通过将FOV划分为第二中心凹区域和第二外围区域来生成用于FOV的第二空间轮廓。第二中心凹区域与第一中心凹区域在空间上偏移(offset)。第二中心凹区域将以第一像素分辨率渲染，并且第二外围区域将以第二像素分辨率渲染。该方法还包括：在帧序列(sequence of frame)中在时间上复用第一空间轮廓和第二空间轮廓，使得观看者感知在以第一像素分辨率渲染时在第一中心凹区域的与第二中心凹区域不重叠的区域中和/或在第二中心凹区域的与第一中心凹区域不重叠的区域中渲染的图像。
根据一些实施例，一种使用双目复用生成中心凹渲染的方法包括：通过将FOV划分为第一中心凹区域和第一外围区域来生成用于FOV的第一空间轮廓。第一中心凹区域将以第一像素分辨率渲染，并且第一外围区域将以低于第一像素分辨率的第二像素分辨率渲染。该方法还包括：通过将FOV划分为第二中心凹区域和第二外围区域来生成用于FOV的第二空间轮廓。第二中心凹区域与第一中心凹区域在空间上偏移。第二中心凹区域将以第一像素分辨率渲染，并且第二外围区域将以第二像素分辨率渲染。该方法还包括：复用分别用于观看者的左眼和右眼的第一空间轮廓和第二空间轮廓，使得观看者感知在以第一像素分辨率渲染时在第一中心凹区域的与第二中心凹区域不重叠的区域中和/或在第二中心凹区域的与第一中心凹区域不重叠的区域中渲染的图像。
根据一些实施例，一种使用时间复用和双目复用的组合生成中心凹渲染的方法包括：通过将FOV划分为第一中心凹区域和第一外围区域来生成用于FOV的第一空间轮廓。第一中心凹区域将以第一像素分辨率渲染，并且第一外围区域将以低于第一像素分辨率的第二像素分辨率渲染。该方法还包括：通过将FOV划分为第二中心凹区域和第二外围区域来生成用于FOV的第二空间轮廓。第二中心凹区域与第一中心凹区域在空间上偏移。第二中心凹区域将以第一像素分辨率渲染，并且第二外围区域将以第二像素分辨率渲染。该方法还包括：通过将FOV划分为第三中心凹区域和第三外围区域来生成用于FOV的第三空间轮廓。第三中心凹区域与第一中心凹区域在空间上偏移。第三中心凹区域将以第一像素分辨率渲染，并且第三外围区域将以第二像素分辨率渲染。该方法还包括：通过将FOV划分为第四中心凹区域和第四外围区域来生成用于FOV的第四空间轮廓。第四中心凹区域与第三中心凹区域在空间上偏移。第四中心凹区域将以第一像素分辨率渲染，并且第四外围区域将以第二像素分辨率渲染。该方法还包括：在奇数帧中，复用分别用于观看者的左眼和右眼的第一空间轮廓和第二空间轮廓；以及在偶数帧中，复用分别用于观看者的左眼和右眼的第三空间轮廓和第四空间轮廓。
根据一些实施例，一种实现动态复用中心凹渲染的视频管线实现的方法包括：渲染包括中心凹区域和外围区域的中心凹图像，其中，中心凹区域具有第一组图像数据并以第一像素分辨率渲染，并且外围区域具有第二组图像数据并以低于第一像素分辨率的第二像素分辨率渲染。该方法还包括：将第一组图像数据打包(pack)到第一图像块中，并且将第二组图像数据打包到第二图像块中。该方法还包括：生成包括与中心凹图像相关联的渲染信息的控制分组(packet)，将控制分组与第一图像块和第二图像块联接以形成帧，并且将帧发送到显示单元。从发送的帧中解析控制分组，并对其进行解码以获得渲染信息。最后，将根据解码的渲染信息来渲染显示图像。
根据一些实施例，一种实现包括时间扭曲的动态复用中心凹渲染的视频管线实现的方法包括：渲染包括中心凹区域和外围区域的中心凹图像，其中，中心凹区域具有第一组图像数据并以第一像素分辨率渲染，并且外围区域具有第二组图像数据并以低于第一像素分辨率的第二像素分辨率渲染，以及生成包括与中心凹图像相关联的渲染信息的控制分组。该方法还包括：针对观看者的位置的移动，时间扭曲中心凹图像以形成时间扭曲图像，并且将时间扭曲图像和控制分组发送到视频处理器。该方法还包括：将时间扭曲图像重新映射成中心凹区域打包数据块和低分辨率区域打包数据块，将控制分组与中心凹区域打包数据块和低分辨率区域打包数据块联接以形成帧，并且将帧发送到显示单元。接下来，从帧中解析控制分组，并对其进行解码以获得渲染信息。该方法还包括：投影根据解码的渲染信息所渲染的显示图像。
根据一些实施例，一种实现包括时间扭曲的双目复用中心凹渲染的视频管线实现的方法包括：渲染包括第一中心凹区域和第一外围区域的用于左眼的第一中心凹图像，其中，中心凹区域具有第一组图像数据并以第一像素分辨率渲染，并且外围区域具有第二组图像数据并以低于第一像素分辨率的第二像素分辨率渲染，以及渲染包括第二中心凹区域和第二外围区域的用于右眼的第二中心凹图像，其中，第二中心凹区域具有第三组图像数据并以第三像素分辨率渲染，并且外围区域具有第四组图像数据并以低于第三像素分辨率的第四像素分辨率渲染。该方法还包括：生成包括与第一中心凹图像和第二中心凹图像相关联的渲染信息的控制分组，针对观看者的位置的移动，时间扭曲第一中心凹图像和第二中心凹图像以形成第一时间扭曲图像和第二时间扭曲图像，压缩第一时间扭曲图像和第二时间扭曲图像以形成第一压缩图像和第二压缩图像，以及将第一压缩图像、第二压缩图像和控制分组发送到视频处理器。接下来，该方法还包括：将第一压缩图像解压缩为第一恢复中心凹图像，将第二压缩图像解压缩为第二恢复中心凹图像，基于最新的观看者的姿势数据对第一恢复中心凹图像和第二恢复中心凹图像执行第二时间扭曲，将第一恢复中心凹图像重新映射到第一组三个单独的颜色通道中以形成第一通道图像，将第一通道图像与控制分组打包以形成第一帧，以及将第一帧发送到用于左眼的第一显示器，其中，用于左眼的第一显示器从第一帧解析控制分组，解码控制分组以获得用于第一帧的三个单独的颜色通道中的每一个的渲染信息，以及将第一帧的渲染信息保存在第一显示器的存储器中。对于右眼显示器，该方法包括：将第二恢复中心凹图像重新映射到第二组三个单独的颜色通道中以形成第二通道图像，将第二通道图像与控制分组打包以形成第二帧，以及将第二帧发送到用于右眼的第二显示器，其中，用于右眼的第二显示器从第一帧解析控制分组，解码控制分组以获得用于第二帧的三个单独的颜色通道中的每一个的渲染信息，以及将第二帧的渲染信息保存在第二显示器的存储器中。
根据一些实施例，一种实现具有后期时间扭曲和栅格扫描输出的动态复用中心凹渲染的视频管线实现的方法包括：渲染包括中心凹区域和外围区域的中心凹图像，其中，中心凹区域具有第一组图像数据并以第一像素分辨率渲染，并且外围区域具有第二组图像数据并以低于第一像素分辨率的第二像素分辨率渲染，以及生成包括与中心凹图像相关联的渲染信息的控制分组。该方法还包括：针对观看者的位置的移动，时间扭曲中心凹图像以形成时间扭曲图像，将时间扭曲图像和控制分组发送到视频处理器，以及基于最新的观看者的姿势数据执行时间扭曲图像的后期时间扭曲以形成经更新的图像。该方法还包括：将经更新的图像和控制分组打包以形成帧，将帧发送到显示单元，其中，显示单元从帧解析控制分组，解码控制分组以获得渲染信息，以及将帧的渲染信息保存在显示单元的存储器中，以及投影根据渲染信息所渲染的显示图像。
附图说明
图1是示出中心凹渲染(FR)的实施方式的示例性图像。
图2A-2E示出了可以由FR中的子采样引起的一些示例伪影。
图3A-3C是示出根据一些实施例的使用时间复用的视场和中心凹渲染的空间轮廓。
图3D-3F是示出根据本发明的实施例的原始分辨率、子采样和图像混合的图像。
图3G-3H是示出根据本发明的实施例的子采样和时间复用的文本框。
图4示出了示出根据一些实施例的使用时间复用来生成中心凹渲染的方法的简化流程图。
图5A-5D是示出根据一些实施例的用于使用双目复用的中心凹渲染的左视场和右视场的空间轮廓。
图6A-6C是示出根据一些实施例的用于使用双目复用与时间复用组合的中心凹渲染的左视场和右视场的空间轮廓。
图7示出了示出根据一些实施例的使用双目复用来生成中心凹渲染的方法的简化流程图。
图8示出了示出根据一些实施例的使用时间复用和双目复用的组合来生成中心凹渲染的方法的简化流程图。
图9示出了根据一些实施例的将要被嵌入视频帧中的示例性控制分组，该控制分组提供FR信息用于在视频管线中使用。
图10示出了根据一些实施例的用于动态复用FR的示例性视频管线的框图。
图11示出了根据一些实施例的用于包括时间扭曲的动态复用FR的示例性视频管线的框图。
图12示出了根据一些实施例的用于动态复用中心凹渲染的示例性视频管线的框图，该视频管线包括被配置用于顺序颜色显示的时间扭曲。
图13示出了根据一些实施例的用于具有后期时间扭曲和栅格扫描输出的动态复用中心凹渲染的示例性视频管线的框图。
具体实施方式
在中心凹渲染(FR)中，用于视场(FOV)的空间轮廓可以用于将渲染质量与人眼的视觉敏锐度相匹配。空间轮廓包括中心凹区域和一个或多个外围区域。中心凹区域将以最大保真度(例如，以原始像素分辨率)进行渲染，而外围区域将以较低分辨率进行渲染。空间轮廓可以在FOV内固定，或者可以基于眼睛注视跟踪数据或基于内容估计而移位(shift)。由于眼睛注视跟踪或内容估计中的不准确度和延迟，在FR中经常看到感知伪影。
根据一些实施例，提供了使用空间轮廓的时间复用和/或双目复用的FR的方法。这样的方法可以改进FR的感知视觉质量并减少FR的视觉伪影。方法可以在没有眼睛注视跟踪的情况下使用，或者可以与眼睛注视跟踪结合使用。这样的方法可以在从图形处理器到显示单元的视频管线中使用为每个帧提供FR的信息的帧特定控制分组来实现。因此，可以实现FR的令人满意的视觉质量，同时节省计算能力和传输带宽。下文更详细地讨论了这些方法。
图1是示出FR的实施方式的示例性图像。视场(FOV)110被划分为两个区域：在中心区域中的中心凹区域120和在中心凹区域周围的外围区域130。中心凹区域120以原始分辨率(用更精细的像素网格示出)进行渲染，而外围区域130以减少的分辨率(用更粗糙的像素网格示出)进行渲染。中心凹区域120在FOV 110内的位置可以通过使用眼睛注视跟踪器测量眼睛注视来确定，或者通过根据内容推断观看者正在观看的位置来确定。可替代地，中心凹区域120的位置可以是固定的，例如，在FOV 110的中心，假设观看者正在观看FOV 110的中心。
外围区域130中的渲染像素大小通常等于中心凹区域120中的像素大小的整数倍，例如，通过像素合并(pixel binning)或子采样。例如，一组m×n个原始像素可以用一个超级像素替换。在图1所示的示例中，一组2×2个原始像素被合并到外围区域130中的一个大像素中。因此，与中心凹区域120中的分辨率相比较，分辨率在外围区域130中在水平和垂直维度上减半。在以下讨论中使用了该示例。
以FR为基础的假设是，观看者用他或她的周围视觉看到减少分辨率的区域，其中视觉敏锐度足够差，使得分辨率减少的影响是不可感知的。实际上，由于眼睛注视跟踪误差，或者由于固定FR中的眼睛移动，该假设可能是无效的。因此，由于FR中的子采样，观看者可能看到一些伪影。
图2A-2E示出了可以由子采样引起的一些示例伪影。假设2×2子采样，图2A所示的一个像素宽的线210将变为图2B所示的两个像素宽的线220。即，最大空间频率减半。由于相邻像素被组合，因此它们的亮度被平均。因此，对比度减少，如图2A和2B所示。由于子采样，颜色也可能改变。例如，如图2C和2D所示，在红色区域与绿色区域之间的边界处的红线230和绿线240可以组合成宽的黄线250。子采样还可以减少精细文本的易读性，如图2E所示，其中左侧以原始像素示出文本，而右侧以子采样像素示出文本。
当内容由于观看者的头部运动或内容本身的运动而移动时，上述伪影可能更显著。例如，如由亮度和/或对比度差异所指示的，可以在中心凹区域与外围区域之间看到边界。当内容具有高对比度时，例如，用VR头戴式装置看到的黑色背景上的白色文本或用AR头戴式装置看到的深色背景上的文本，上述伪影可能更显著。
根据一些实施例，提供了通过减少上文所讨论的伪影的显著性来改进由FR渲染的图像的感知质量的方法。取代使用固定的空间轮廓用于渲染(即，中心凹原始分辨率vs.外围减少的分辨率)，变化的空间轮廓的时间和/或双目复用用于渲染。这些方法在本文中也称为时间“抖动”。解决方案可以具有计算上重量轻并且尚未要求准确和快速的眼睛注视跟踪的优点。
图3A-3C是示出根据一些实施例的使用时间复用的视场和中心凹渲染的空间轮廓。图3A示出了第一空间轮廓，其中FOV 310被划分为第一中心凹区域320(由深色像素表示)和第一外围区域330(由白色像素表示)。图3B示出了第二空间轮廓，其中FOV 310被划分为第二中心凹区域340和第二外围区域350。如图所示，第二中心凹区域340在水平方向上相对于第一中心凹区域320移位(例如，在X方向上移位4个原始像素)。
根据一些实施例，第一空间轮廓和第二空间轮廓在帧序列中被时间复用。例如，第一空间轮廓可以用于渲染奇数帧，并且第二空间轮廓可以用于渲染偶数帧。以这种方式，中心凹区域在帧序列中逐帧动态地移动。因此，对于第一中心凹区域320和第二中心凹区域340重叠的FOV 310的区域(例如，图3C所示的暗中间行)，始终呈现以原始分辨率渲染的图像。对于第一中心凹区域320的与第二中心凹区域340不重叠的区域或第二中心凹区域340的与第一中心凹区域320不重叠的区域(例如，图3C所示的灰色行)，逐帧交替地呈现原始分辨率图像和子采样图像。
假设显示器具有足够高的刷新率(例如，120Hz)，则可以将原始分辨率图像和子采样图像混合成如由观看者所感知的图像。原始分辨率图像和子采样图像的混合可以帮助恢复观看者的视觉感知中的高空间频率和亮度对比度。图3D-3F示出了示例。
图3D-3F是示出根据本发明的实施例的原始分辨率、子采样和图像混合的图像。图3D示出了包括一像素宽的线360的原始分辨率图像。图3E示出了其中一像素宽的线360变成两像素宽的线370的子采样图像。图3F示出了混合图3D和3E中所示的两个图像的结果，如由观看者所感知的。如图3F所示，原始分辨率图像的高空间分辨率和对比度在一定程度上被恢复。
图3G-3H是示出根据本发明的实施例的子采样和时间复用的文本框。图3G示出了子采样图像中的一些文本。图3H示出了其中原始分辨率图像和子采样图像被复用的文本。如图所示，与图3G相比较，改进了图3H中的文本的易读性。因此，在图3A-3C所示的示例中，通过在时间上复用图3A所示的第一空间轮廓和图3B所示的第二空间轮廓，与每个单独空间轮廓中的中心凹区域320或340相比较，有效中心凹区域(例如，图3C中的组合的深色区域和灰色区域)可以被放大。
根据各种实施例，中心凹区域的位置可以在连续帧之间水平地(例如，在X方向上)、或垂直地(例如，在Y方向上)、或在两个方向上(例如，X和Y方向的组合)空间移位。另外，空间移位的方向以及量可以动态地变化。帧速率可能由显示器(例如，空间光调制器或SLM)的能力限制。例如，帧速率可以是120Hz或更高。在一些实施例中，中心凹区域可以以固定顺序或随机顺序空间移位到一组预定位置，以覆盖尽可能多的FOV 310。因此，即使当观看者的眼睛注视改变时，观看者也可以在整个FOV中感知到高质量的图像。
图4示出了示出根据一些实施例的使用时间复用来生成中心凹渲染的方法400的简化流程图。
方法400包括：在402处，通过将FOV划分为第一中心凹区域和第一外围区域来生成用于FOV的第一空间轮廓。第一中心凹区域将以第一像素分辨率渲染，并且第一外围区域将以低于第一像素分辨率的第二像素分辨率渲染。
方法400还包括：在404处，通过将FOV划分为第二中心凹区域和第二外围区域来生成用于FOV的第二空间轮廓。第二中心凹区域与第一中心凹区域在空间上偏移。第二中心凹区域将以第一像素分辨率渲染，并且第二外围区域将以第二像素分辨率渲染。
方法400还包括：在406处，在帧序列中在时间上复用第一空间轮廓和第二空间轮廓，使得观看者感知在以第一像素分辨率渲染时在第一中心凹区域的不与第二中心凹区域重叠的区域中和/或在第二中心凹区域的不与第一中心凹区域重叠的区域中渲染的图像。
应当理解，图4中所示的特定步骤提供了根据一些实施例的生成中心凹渲染的特定方法。还可以根据可替代实施例执行其他步骤序列。例如，本发明的可替代实施例可以以不同的顺序执行上述步骤。而且，图4所示的单独步骤可包括多个子步骤，该子步骤可以以适合于单独步骤的各种顺序执行。此外，取决于特定应用，可以添加附加的步骤，并且可以移除一些步骤。本领域普通技术人员将认识到许多变型、修改和替代。
根据一些实施例，附加地或者替代地，可以应用双目复用来减少感知伪影。图5A-5D示出了示出根据一些实施例的用于使用双目复用的中心凹渲染的左视场和右视场的空间轮廓。参考图5A，在第一空间轮廓中，用于左眼510的视场(FOV)被划分为第一中心凹区域520(由灰色像素表示)和第一外围区域530(由白色像素表示)。在第二空间轮廓中，用于右眼540的FOV被划分为第二中心凹区域550和第二外围区域560。假设用于左眼510的FOV和用于右眼540的FOV是相同的。如图所示，取代固定在FOV的中心，第一中心凹区域520向右移位，并且第二中心凹区域550向左移位。
参考图5B，如果观看者的眼睛注视落在FOV的中心，其中第一中心凹区域520和第二中心凹区域550重叠，则观看者可以在他或她的中心视觉中在两只眼睛中看到原始分辨率图像。参考图5A，如果观看者的眼睛注视落在FOV的右侧，则观看者可以在他或她的中心视觉中在左眼中看到原始分辨率图像，并且在右眼中看到子采样图像。参考图5C，如果观看者的眼睛注视落在FOV的左侧，则观看者可以在他或她的中心视觉中在右眼中看到原始分辨率图像，并且在左眼中看到子采样图像。
图5D示出了有效空间轮廓。当观看由深色像素表示的区域时，观看者可以在两只眼睛中看到原始分辨率的图像。当观看由灰色像素表示的区域时，观看者可以在双眼中的仅一只眼睛中看到原始分辨率的图像。如图5D所示，在每个单独的空间轮廓中，原始分辨率图像由至少一只眼睛看到的组合区域(由灰色和深色像素表示)大于中心凹区域520或550。因此，可以抑制归因于子采样的伪影。根据各种实施例，中心凹区域520和550的位置可以水平地(例如，在X方向上)、或垂直地(例如，在Y方向上)、或在两个方向上(例如，X和Y方向的组合)移位。
根据一些实施例，双目复用可以与时间复用组合。图6A-6C是示出根据一些实施例的用于使用双目复用与时间复用组合的中心凹渲染的左视场和右视场的空间轮廓。参考图6A，在第一帧中，用于左FOV的第一空间轮廓可以具有向右移位的中心凹区域610，并且用于右FOV的第二空间轮廓可以具有向左移位的中心凹区域620。参考图6B，在第二帧中，用于左FOV的第三空间轮廓可以具有向左移位的中心凹区域630，并且用于右FOV的第四空间轮廓可以具有向右移位的中心凹区域640。在一些实施例中，在帧序列中，如图6A所示的第一帧可以用于每个奇数帧，并且如图6B所示的第二帧可以用于每个偶数帧。
参考图6C，在第三帧中，用于左FOV的第五空间轮廓可以具有向上移位的中心凹区域650，并且用于右FOV的第六空间轮廓可以具有向下移位的中心凹区域660。在一些实施例中，空间移位的方向以及量可以动态地变化。例如，用于左FOV和右FOV二者的中心凹区域可以以固定顺序或随机顺序空间移位到一组预定位置，以覆盖尽可能多的FOV。因此，观看者可以在整个FOV中感知到高质量的图像，同时显著节省带宽。可以使用最小和最大可能的瞳孔间距离(IPD)来计算中心凹区域的移动，以确保可以为目标观看者获得良好的视觉结果。
根据一些实施例，空间轮廓的时间复用和双目复用的方法可以应用于各种类型的RF实现，包括例如固定FR、具有眼睛注视跟踪的FR、或基于内容的FR。当应用于具有眼睛注视跟踪的FR时，本文所描述的方法可以有效地扩展中心凹区域，并且因此减少由不准确的眼睛注视跟踪产生的伪影。当应用于基于内容的FR时，本文所描述的方法可以减少归因于预测误差的伪影。当应用于固定FR时，本文所描述的方法可以帮助视觉质量从中心凹区域的最高分辨率平滑过渡到近周边的复用分辨率，以及远周边的子采样分辨率。
图7示出了示出根据一些实施例的使用双目复用来生成中心凹渲染的方法700的简化流程图。
方法700包括：在702处，通过将FOV划分为第一中心凹区域和第一外围区域来生成用于FOV的第一空间轮廓。第一中心凹区域将以第一像素分辨率渲染，并且第一外围区域将以低于第一像素分辨率的第二像素分辨率渲染。
方法700还包括：在704处，通过将FOV划分为第二中心凹区域和第二外围区域来生成用于FOV的第二空间轮廓。第二中心凹区域与第一中心凹区域在空间上偏移。第二中心凹区域将以第一像素分辨率渲染，并且第二外围区域将以第二像素分辨率渲染。
方法700还包括：在706处，复用分别用于观看者的左眼和右眼的第一空间轮廓和第二空间轮廓，使得观看者感知在以第一像素分辨率渲染时在第一中心凹区域的不与第二中心凹区域重叠的区域中和/或在第二中心凹区域的不与第一中心凹区域重叠的区域中渲染的图像。
应当理解，图7中所示的特定步骤提供了根据一些实施例的生成中心凹渲染的特定方法。还可以根据可替代实施例执行其他步骤序列。例如，本发明的可替代实施例可以以不同的顺序执行上述步骤。而且，图7所示的单独步骤可包括多个子步骤，该子步骤可以以适合于单独步骤的各种顺序执行。此外，取决于特定应用，可以添加附加的步骤，并且可以移除一些步骤。本领域普通技术人员将认识到许多变型、修改和替代。
图8示出了示出根据一些实施例的使用时间复用和双目复用的组合来生成中心凹渲染的方法800的简化流程图。
方法800包括：在802处，通过将FOV划分为第一中心凹区域和第一外围区域来生成用于FOV的第一空间轮廓。第一中心凹区域将以第一像素分辨率渲染，并且第一外围区域将以低于第一像素分辨率的第二像素分辨率渲染。
方法800还包括：在804处，通过将FOV划分为第二中心凹区域和第二外围区域来生成用于FOV的第二空间轮廓。第二中心凹区域与第一中心凹区域在空间上偏移。第二中心凹区域将以第一像素分辨率渲染，并且第二外围区域将以第二像素分辨率渲染。
方法800还包括：在806处，通过将FOV划分为第三中心凹区域和第三外围区域来生成用于FOV的第三空间轮廓。第三中心凹区域与第一中心凹区域在空间上偏移。第三中心凹区域将以第一像素分辨率渲染，并且第三外围区域将以第二像素分辨率渲染。
方法800还包括：在808处，通过将FOV划分为第四中心凹区域和第四外围区域来生成用于FOV的第四空间轮廓。第四中心凹区域与第三中心凹区域在空间上偏移。第四中心凹区域将以第一像素分辨率渲染，并且第四外围区域将以第二像素分辨率渲染。
方法800还包括：在810处，在奇数帧中，复用分别用于观看者的左眼和右眼的第一空间轮廓和第二空间轮廓。
方法800还包括：在812处，在偶数帧中，复用分别用于观看者的左眼和右眼的第三空间轮廓和第四空间轮廓。
应当理解，图8中所示的特定步骤提供了根据一些实施例的生成中心凹渲染的特定方法。还可以根据可替代实施例执行其他步骤序列。例如，本发明的可替代实施例可以以不同的顺序执行上述步骤。而且，图8所示的单独步骤可包括多个子步骤，该子步骤可以以适合于单独步骤的各种顺序执行。此外，取决于特定应用，可以添加附加的步骤，并且可以移除一些步骤。本领域普通技术人员将认识到许多变型、修改和替代。
本文所描述的FR渲染的方法可以以各种方式在硬件和/或软件管线中实现。例如，它们可以通过固件或中间件在AR/VR系统的设计中实现。这样的实施方式对应用可以是透明的。可替代地，它们可以通过操作系统(OS)或单独应用中的软件在现有AR/VR系统中实现。
根据一些实施例，可以通过从渲染到显示的整个管线来实现资源节约。图形驱动器(例如，图形处理单元或GPU)可以首先为每一帧生成低分辨率和高分辨率图像，并将它们打包以最小化视频有效载荷(payload)。低分辨率图像和高分辨率图像的位置可以假设为每帧改变。控制分组可以被嵌入在视频帧内，该控制分组提供FR的帧特定信息，包括中心凹区域的像素索引。由控制分组提供的信息可以帮助显示单元(例如，SLM ASIC)解包用于每个帧的图像数据。
图9示出了根据一些实施例的示例性控制分组。控制分组可以被嵌入在由GPU生成的视频帧中。控制分组可以包括诸如是否启用FR模式、下采样率(例如，4:1、9:1、16:1等)、中心凹区域的起始行和起始列的索引的信息。控制分组可以用作用于显示单元的映射(例如，通过SLM ASIC)以解包视频帧中的图像数据。下采样率可以逐帧动态地改变。例如，对于大多数帧，比率可以是16:1，对于具有文本内容的那些帧，比率可以改变为4:1。
在一些实施例中，每个视频帧可以包括用于三原色(例如，红色、绿色和蓝色)的颜色通道。每个颜色通道可以独立地启用或禁用FR模式。例如，由于人眼具有最强的绿色感知，因此在整个帧中具有全分辨率的绿色内容，并且仅将FR应用于红色内容和蓝色内容可能是有利的。用于每个颜色通道的中心凹区域可以具有其自己的下采样率、大小和具有起始行和起始列的索引的位置。例如，绿色内容可以具有比红色和蓝色的下采样率更低的下采样率。而且，用于三个颜色通道的中心凹区域不需要相对于彼此对准。
应当理解，可以包括在控制分组中的信息不限于上文所讨论的特定信息。可以在控制分组中包括可能影响图像渲染、处理、显示等的任何信息或因素。
图10示出了根据一些实施例的动态复用中心凹渲染的示例性视频管线实现的框图。可以在GPU 1010处渲染图像1020(例如，视频帧)。图像1020包括以高分辨率渲染的中心凹区域1022和以低分辨率渲染的外围区域1024。图像数据(包括用于中心凹区域1022的高分辨率图像数据和用于外围区域1024的低分辨率图像数据)被打包到视频帧1030中。例如，高分辨率图像数据可以打包到第一图像块1034中，并且低分辨率图像数据可以打包到第二图像块1036中。
控制分组1032然后与第一图像块1034和第二图像块1036联接。控制分组1032可以包括关于FR渲染的信息(例如，如图9所示)。视频帧1030可以经由信道链路1040发送到显示单元1050(例如，SLM ASIC)。将视频帧与控制分组1032打包可以显著地减少所要求的有效载荷和数据速率，从而最小化信道链路1040上的带宽和功率。
显示单元1050可以使用帧解析器1060(例如，解码器)从第一图像块1034和第二图像块1036中解析控制分组1032。例如，控制分组1032可以在视频帧1030的第一行(例如，行0)中。控制分组解码器1070可以对控制分组1032进行解码。然后，由控制分组1032提供的信息可以用于将第一图像块1034和第二图像块1036中的图像数据分别映射到视频存储器1080中的中心凹区域和外围区域。对于低分辨率区域，可以将大像素映射到显示器的若干原始像素(例如，如果子采样率是4:1，则映射到四个原始像素)。显示单元1050针对每个帧执行该解码过程。显示单元1050然后将保存在视频存储器1080中的图像投影到观看者(例如，经由SLM输出光子)。在一些实施例中，时间戳也可以包括在视频帧1030中，以帮助同步和管理延迟，以及部分屏幕刷新任务、空白模式等。
根据一些实施例，GPU渲染中心凹图像并生成相关联的控制分组。可以基于来自计算机视觉处理器的最新的姿势预测对图像数据执行时间扭曲功能，以将图像提供给显示单元，以基于最新的姿势预测反映观看者的视点。根据一些实施例，可以在将图像数据和控制分组发送到显示单元之前执行时间扭曲。如图11所示，在图像数据和控制分组被发送到视频处理器1150之前，可以在时间扭曲块1140处以及在视频处理器1150的时间扭曲和重新映射块1152处执行时间扭曲。因此，在一些实施例中，时间扭曲可以由耦接到显示单元的计算机视觉处理器来执行。中心凹图像然后被发送到可穿戴视频处理器，而控制分组通过辅助数据信道发送。然后，视频处理器执行后期(late)时间扭曲(例如，使用来自可穿戴设备的传感器套件的最新的姿势数据)，并且以中心凹区域和低分辨率区域重新格式化中心凹图像。该方法可以很好地用于全局刷新SLM，该SLM能够在显示之前解包图像。对于颜色顺序显示器，可以分别生成和发送红色、绿色和蓝色打包图像。
图11示出了根据一些实施例的用于包括时间扭曲的动态复用中心凹渲染的示例性视频管线的框图。GPU 1110生成中心凹图像1120和相关联的控制分组1130(例如，如图9所示)。时间扭曲块1140对中心凹图像1120执行时间扭曲功能，以说明观看者的位置的移动。图像数据和控制分组1130然后经由头戴式装置链路被发送到可穿戴设备的视频处理器1150。
在视频处理器1150处，时间扭曲和重新映射块1152可以使用最新的姿势数据(例如，来自可穿戴设备的传感器套件)来执行后期时间扭曲。例如，在存在显著头部运动的情况下，最新的姿势数据可用于更新边界。时间扭曲和重新映射块1152还可以将中心凹图像1120重新映射到中心凹区域数据块1154和低分辨率区域数据块1156。控制分组1130可以与中心凹区域数据块1154和低分辨率区域数据块1156联接以形成视频帧，以发送到显示单元1160(例如，SLM ASIC)。显示单元1160可以以类似于图10中所示和上文所讨论的显示单元1050的方式的方式使用控制分组来解包视频帧。
图12示出了根据一些实施例的用于动态复用中心凹渲染的示例性视频管线的框图，该视频管线包括被配置用于顺序颜色显示的时间扭曲。GPU 1210渲染用于左眼的第一中心凹图像1212和用于右眼的第二中心凹图像1214。生成相关联的控制分组1216，其提供用于第一中心凹图像1212和第二中心凹图像1214的FR的信息(例如，如图9所示)。时间扭曲块1218对第一中心凹图像1212和第二中心凹图像1214执行时间扭曲功能。压缩块1219执行图像数据的压缩。压缩的图像数据和控制分组1216然后经由头戴式装置链路被发送到可穿戴设备处的视频处理器1220。
在视频处理器1220处，解压缩块1222对图像数据进行解压缩，并且恢复第一中心凹图像1212和第二中心凹图像1214。第一时间扭曲和重新映射块1224基于最新的姿势数据对第一中心凹图像1212执行时间扭曲。第一时间扭曲和重新映射块1224还将第一中心凹图像1212映射到三个单独的颜色通道(例如，红色1232a/1232b、绿色1234a/1234b、和蓝色1236a/1236b)中。三个颜色通道(即，1232a、1234a和1236a)连同控制分组一起被打包为第一视频帧1228，以发送到用于左眼的第一显示器1230(例如，LCOS显示器)。第二时间扭曲和重新映射块1226基于最新的姿势数据对第二中心凹图像1214执行时间扭曲。第二时间扭曲和重新映射块1226还将第二中心凹图像1214映射到三个单独的颜色通道(即，1232b、1234b和1236b)中。三个颜色通道连同控制分组一起被打包为第二视频帧1229，以发送到用于右眼的第二显示器1240(例如，LCOS显示器)。
第一显示器1230可以以类似于图10中所示和上文所讨论的显示单元1050的方式的方式使用控制分组来解包第一视频帧1228。在这种情况下，用于三个颜色通道1232a、1234a和1236a中的每一个的图像数据被保存在视频存储器中，以被投影到观看者的左眼。如上文所讨论的，三个颜色通道1232a、1234a和1236a中的每一个可以具有其独立的中心凹区域、下采样率等。用于三个颜色通道1232a、1234a和1236a的中心凹区域不需要相对于彼此对准。在一些实施例中，三个颜色通道1232a、1234a和1236a可以顺序地显示给观看者。第二显示器1240可以以类似的方式对第二视频帧1229进行解包。
对于滚动快门类型的显示器，图像数据可以被不同地打包，以保持其以栅格化形式。图13示出了根据一些实施例的用于具有后期时间扭曲和栅格扫描输出的动态复用中心凹渲染的示例性视频管线的框图。在GPU 1310处渲染中心凹图像1312。时间扭曲块1314对中心凹图像1312执行时间扭曲功能。可以为中心凹图像1312创建包括关于FR渲染的信息(例如，如图9所示)的控制分组1316。图像数据和控制分组1316经由头戴式装置链路被发送到可穿戴设备的视频处理器1320。
在视频处理器1320处，时间扭曲和重新映射块1324可以使用最新的姿势数据(例如，来自可穿戴设备的传感器套件)对中心凹图像执行后期时间扭曲。时间扭曲图像和控制分组1316被打包在一起作为视频帧1322，其然后被发送到显示单元1330。
在显示单元1330处，帧解析器1334可以从图像数据1312中解析控制分组1316。控制分组解码器1336可以对伴随图像数据1312的控制分组1316进行解码。由控制分组1316提供的信息然后可以用于将图像数据1312映射到视频存储器1332。例如，低分辨率区域中的大像素可以映射到显示器的若干原始像素(例如，如果子采样率是4:1，则映射到四个原始像素)。显示单元1050然后可以将保存在视频存储器1332中的图像投影到观看者(例如，经由SLM输出光子)。由于中心凹渲染可以逐帧动态地改变，因此显示单元1330针对每一帧使用控制分组1316中提供的FR信息，以便确保正确的映射。
对于滚动快门类型的显示器，图像数据1312在整个管线中保持栅格化形式，使得图像数据可以在其被扫描入时被扫描出。将不需要等待整个帧被接收。因此，视频存储器1332可以是用于馈出新到达的图像数据的相对小的线(line)缓冲器；不需要大的缓冲器来保持整个帧。而且，延迟可以保持相对低。
还应理解，本文所描述的示例和实施例仅用于说明目的，并且将向本领域技术人员建议根据其进行的各种修改或改变，并且将包括在本申请的精神和范围内以及权利要求书的范围内。
Claims (55)
1.一种生成中心凹渲染的方法，所述方法包括：
通过将视场FOV划分为第一中心凹区域和第一外围区域来生成用于所述FOV的第一空间轮廓，所述第一中心凹区域将以第一像素分辨率被渲染，并且所述第一外围区域将以低于所述第一像素分辨率的第二像素分辨率被渲染；
通过将所述FOV划分为第二中心凹区域和第二外围区域来生成用于所述FOV的第二空间轮廓，所述第二中心凹区域与所述第一中心凹区域在空间上偏移，所述第二中心凹区域将以所述第一像素分辨率被渲染，并且所述第二外围区域将以所述第二像素分辨率被渲染；以及
在帧序列中在时间上复用所述第一空间轮廓和所述第二空间轮廓，以使得观看者感知在以所述第一像素分辨率渲染时在所述第一中心凹区域的不与所述第二中心凹区域重叠的区域中和/或在所述第二中心凹区域的不与所述第一中心凹区域重叠的区域中被渲染的图像。
2.根据权利要求1所述的方法，其中，所述第一中心凹区域和所述第二中心凹区域彼此部分地重叠。
3.根据权利要求1所述的方法，其中，所述帧序列具有大约120Hz的帧频率。
4.根据权利要求1所述的方法，其中，在两个正交方向中的每个方向上，所述第一像素分辨率与所述第二像素分辨率之间的比率为2:1。
5.根据权利要求1所述的方法，其中，所述第二中心凹区域在第一方向上、在与所述第一方向正交的第二方向上、或在所述第一方向和所述第二方向两者上与所述第一中心凹区域在空间上偏移。
6.根据权利要求5所述的方法，其中，所述第二中心凹区域与所述第一中心凹区域之间的空间偏移在一系列帧中动态地改变。
7.根据权利要求6所述的方法，其中，所述第二中心凹区域与所述第一中心凹区域之间的所述空间偏移的动态改变遵循模式。
8.根据权利要求1所述的方法，其中，所述第一空间轮廓和所述第二空间轮廓中的每一个包括用于三原色中的每一个的三个子空间轮廓，并且其中，对于整个所述FOV，所述三个子空间轮廓中的至少一个将以所述第二像素分辨率被渲染。
9.根据权利要求1所述的方法，其中，所述第一中心凹区域或所述第二中心凹区域被设置在所述FOV中的预定位置处。
10.根据权利要求9所述的方法，其中，基于观看者的眼睛位置和眼睛运动的测量结果来确定所述第一中心凹区域或所述第二中心凹区域的所述预定位置。
11.一种生成中心凹渲染的方法，所述方法包括：
通过将视场(FOV)划分为第一中心凹区域和第一外围区域来生成用于所述FOV的第一空间轮廓，所述第一中心凹区域将以第一像素分辨率被渲染，并且所述第一外围区域将以低于所述第一像素分辨率的第二像素分辨率被渲染；
通过将所述FOV划分为第二中心凹区域和第二外围区域来生成用于所述FOV的第二空间轮廓，所述第二中心凹区域与所述第一中心凹区域在空间上偏移，所述第二中心凹区域将以所述第一像素分辨率被渲染，并且所述第二外围区域将以所述第二像素分辨率被渲染；以及
复用分别用于观看者的左眼和右眼的所述第一空间轮廓和所述第二空间轮廓，以使得所述观看者感知在以所述第一像素分辨率渲染时在所述第一中心凹区域的不与所述第二中心凹区域重叠的区域中和/或在所述第二中心凹区域的不与所述第一中心凹区域重叠的区域中被渲染的图像。
12.根据权利要求11所述的方法，其中，所述第一中心凹区域和所述第二中心凹区域彼此部分地重叠。
13.根据权利要求11所述的方法，其中，帧序列具有大约120Hz的帧频率。
14.根据权利要求11所述的方法，其中，在两个正交方向中的每个方向上，所述第一像素分辨率与所述第二像素分辨率之间的比率为2:1。
15.根据权利要求11所述的方法，其中，所述第二中心凹区域在第一方向上、在与所述第一方向正交的第二方向上、或在所述第一方向和所述第二方向两者上与所述第一中心凹区域在空间上偏移。
16.根据权利要求11所述的方法，其中，所述第一空间轮廓和所述第二空间轮廓中的每一个包括用于三原色中的每一个的三个子空间轮廓，并且其中，对于整个所述FOV，所述三个子空间轮廓中的至少一个将以所述第二像素分辨率被渲染。
17.根据权利要求11所述的方法，其中，所述第一中心凹区域或所述第二中心凹区域被设置在所述FOV中的预定位置处。
18.根据权利要求11所述的方法，其中，所述第二中心凹区域在第一方向上、在与所述第一方向正交的第二方向上、或在所述第一方向和所述第二方向两者上与所述第一中心凹区域在空间上偏移。
19.根据权利要求18所述的方法，其中，所述第二中心凹区域与所述第一中心凹区域之间的空间偏移在帧序列中动态地改变。
20.根据权利要求19所述的方法，其中，所述第二中心凹区域与所述第一中心凹区域之间的所述空间偏移的动态改变遵循模式。
21.一种生成中心凹渲染的方法，所述方法包括：
通过将视场(FOV)划分为第一中心凹区域和第一外围区域来生成用于所述FOV的第一空间轮廓，所述第一中心凹区域将以第一像素分辨率被渲染，并且所述第一外围区域将以低于所述第一像素分辨率的第二像素分辨率被渲染；
通过将所述FOV划分为第二中心凹区域和第二外围区域来生成用于所述FOV的第二空间轮廓，所述第二中心凹区域与所述第一中心凹区域在空间上偏移，所述第二中心凹区域将以所述第一像素分辨率被渲染，并且所述第二外围区域将以所述第二像素分辨率被渲染；
通过将所述FOV划分为第三中心凹区域和第三外围区域来生成用于所述FOV的第三空间轮廓，所述第三中心凹区域与所述第一中心凹区域在空间上偏移，所述第三中心凹区域将以所述第一像素分辨率被渲染，并且所述第三外围区域将以所述第二像素分辨率被渲染；
通过将所述FOV划分为第四中心凹区域和第四外围区域来生成用于所述FOV的第四空间轮廓，所述第四中心凹区域与所述第三中心凹区域在空间上偏移，所述第四中心凹区域将以所述第一像素分辨率被渲染，并且所述第四外围区域将以所述第二像素分辨率被渲染；
在奇数帧中，复用分别用于观看者的左眼和右眼的所述第一空间轮廓和所述第二空间轮廓；以及
在偶数帧中，复用分别用于观看者的左眼和右眼的所述第三空间轮廓和所述第四空间轮廓。
22.根据权利要求21所述的方法，其中，所述第三中心凹区域在第一方向上与所述第一中心凹区域在空间上偏移，以及所述第四中心凹区域在与所述第一方向相反的第二方向上与所述第二中心凹区域在空间上偏移。
23.根据权利要求22所述的方法，其中，所述第一中心凹区域与所述第三中心凹区域之间的空间偏移在帧序列中动态地改变。
24.根据权利要求22所述的方法，其中，所述第二中心凹区域与所述第四中心凹区域之间的所述空间偏移在帧序列中动态地改变。
25.根据权利要求21所述的方法，其中，所述第一空间轮廓、所述第二空间轮廓、所述第三空间轮廓、以及所述第四空间轮廓中的每一个包括用于三原色中的每一个的三个子空间轮廓，并且其中，对于整个所述FOV，所述三个子空间轮廓中的至少一个将以所述第二像素分辨率被渲染。
26.根据权利要求23所述的方法，其中，所述第一中心凹区域与所述第三中心凹区域之间的所述空间偏移的动态改变遵循模式。
27.根据权利要求24所述的方法，其中，所述第二中心凹区域与所述第四中心凹区域之间的所述空间偏移的动态改变遵循模式。
28.一种方法，包括：
渲染包括中心凹区域和外围区域的中心凹图像，其中，所述中心凹区域具有第一组图像数据并以第一像素分辨率被渲染，并且所述外围区域具有第二组图像数据并以低于所述第一像素分辨率的第二像素分辨率被渲染；
将所述第一组图像数据打包到第一图像块中；
将所述第二组图像数据打包到第二图像块中；
生成包括与所述中心凹图像相关联的渲染信息的控制分组；
将所述控制分组与所述第一图像块和所述第二图像块联接以形成帧；
将所述帧发送到显示单元；
从所述帧中解析所述控制分组；
解码所述控制分组以获得所述渲染信息；以及
投影根据经解码的渲染信息所渲染的显示图像。
29.根据权利要求28所述的方法，还包括：在将所述帧发送到所述显示单元之前，对所述帧进行时间扭曲。
30.根据权利要求28所述的方法，其中，与所述图像相关联的所述渲染信息包括：是否启用FR模式、下采样率、所述中心凹区域的起始行或起始列的索引。
31.根据权利要求28所述的方法，其中，所述帧经由信道链路被发送到所述显示单元。
32.根据权利要求28所述的方法，其中，在图形处理单元(GPU)中渲染所述中心凹图像。
33.根据权利要求28所述的方法，其中，在图形处理单元(GPU)中生成所述控制分组。
34.根据权利要求28所述的方法，其中，所述第一组图像数据和所述第二组图像数据中的每一组包括改进帧同步的时间戳。
35.根据权利要求28所述的方法，其中，所述第一组图像数据中的每一个图像数据和所述第二组图像数据中的每一个图像数据包括用于三原色中的每一个的三个数据子集，并且其中，对于整个FOV，所述三个数据子集中的至少一个将以所述第二像素分辨率被渲染。
36.一种方法，包括：
渲染包括中心凹区域和外围区域的中心凹图像，其中，所述中心凹区域具有第一组图像数据并以第一像素分辨率被渲染，并且所述外围区域具有第二组图像数据并以低于所述第一像素分辨率的第二像素分辨率被渲染；
生成包括与所述中心凹图像相关联的渲染信息的控制分组；
针对观看者的位置的移动，对所述中心凹图像进行时间扭曲以形成时间扭曲图像；
将所述时间扭曲图像和所述控制分组发送到视频处理器；
将所述时间扭曲图像重新映射成中心凹区域打包数据块和低分辨率区域打包数据块；
将所述控制分组与所述中心凹区域打包数据块和所述低分辨率区域打包数据块联接以形成帧；
将所述帧发送到显示单元；
从所述帧中解析所述控制分组；
解码所述控制分组以获得所述渲染信息；以及
投影根据经解码的渲染信息所渲染的显示图像。
37.根据权利要求36所述的方法，还包括：对所述时间扭曲图像执行后期时间扭曲以更新所述时间扭曲图像中的内容边界，其中，所述后期时间扭曲基于观看者的最新的观看者的姿势数据。
38.根据权利要求37所述的方法，其中，所述观看者的所述最新的观看者的姿势数据由包括至少一个运动传感器的可穿戴设备收集。
39.根据权利要求36所述的方法，其中，所述时间扭曲图像和所述控制分组经由头戴式装置链路被发送到所述视频处理器。
40.根据权利要求36所述的方法，其中，所述显示单元是空间光调制器(SLM)。
41.根据权利要求36所述的方法，其中，在图形处理单元(GPU)中生成所述控制分组。
42.根据权利要求36所述的方法，其中，由所述显示单元执行从所述帧中解析所述控制分组和解码所述控制分组。
43.一种方法，包括：
渲染包括第一中心凹区域和第一外围区域的用于左眼的第一中心凹图像，其中，所述中心凹区域具有第一组图像数据并以第一像素分辨率被渲染，并且所述第一外围区域具有第二组图像数据并以低于所述第一像素分辨率的第二像素分辨率被渲染；
渲染包括第二中心凹区域和第二外围区域的用于右眼的第二中心凹图像，其中，所述第二中心凹区域具有第三组图像数据并以第三像素分辨率被渲染，并且所述第二外围区域具有第四组图像数据并以低于所述第三像素分辨率的第四像素分辨率被渲染；
生成包括与所述第一中心凹图像和所述第二中心凹图像相关联的渲染信息的控制分组；
针对观看者的位置的移动，对所述第一中心凹图像和所述第二中心凹图像进行时间扭曲以形成第一时间扭曲图像和第二时间扭曲图像；
压缩所述第一时间扭曲图像和所述第二时间扭曲图像以形成第一压缩图像和第二压缩图像；
将所述第一压缩图像、所述第二压缩图像和所述控制分组发送到视频处理器；
将所述第一压缩图像解压缩为第一恢复中心凹图像；
将所述第二压缩图像解压缩为第二恢复中心凹图像；
基于第二最新的观看者的姿势数据，对所述第一恢复中心凹图像和所述第二恢复中心凹图像执行第二时间扭曲；
将所述第一恢复中心凹图像重新映射到第一组三个单独的颜色通道中以形成第一通道图像；
将所述第一通道图像与所述控制分组打包以形成第一帧；
将所述第一帧发送到用于所述左眼的第一显示器，其中，用于所述左眼的所述第一显示器从所述第一帧中解析所述控制分组，解码所述控制分组以获得用于所述第一帧的三个单独的颜色通道中的每一个颜色通道的渲染信息，以及将所述第一帧的所述渲染信息保存在所述第一显示器的存储器中；
将所述第二恢复中心凹图像重新映射到第二组三个单独的颜色通道中以形成第二通道图像；
将所述第二通道图像与所述控制分组打包以形成第二帧；以及
将所述第二帧发送到用于所述右眼的第二显示器，其中，用于所述右眼的所述第二显示器从所述第二帧中解析所述控制分组，解码所述控制分组以获得用于所述第二帧的三个单独的颜色通道中的每一个颜色通道的渲染信息，以及将所述第二帧的所述渲染信息保存在所述第二显示器的存储器中。
44.根据权利要求43所述的方法，其中，所述视频处理器是可穿戴设备的部件。
45.根据权利要求43所述的方法，其中，所述第一压缩图像和所述第二压缩图像经由头戴式装置链路被发送到所述视频处理器。
46.根据权利要求43所述的方法，其中，所述第一显示器和所述第二显示器是硅上液晶(LCOS)显示器。
47.根据权利要求43所述的方法，其中，所述三个单独的颜色通道中的每一个颜色通道具有独立的中心凹区域或下采样率。
48.根据权利要求43所述的方法，其中，所述三个单独的颜色通道中的每一个颜色通道被顺序地显示给所述观看者。
49.根据权利要求43所述的方法，其中，在一系列帧中，所述三个单独的颜色通道中的每一个颜色通道中的所述第一中心凹区域和所述第二中心凹区域的位置相对于彼此不对准。
50.一种方法，包括：
渲染包括中心凹区域和外围区域的中心凹图像，其中，所述中心凹区域具有第一组图像数据并以第一像素分辨率被渲染，并且所述外围区域具有第二组图像数据并以低于所述第一像素分辨率的第二像素分辨率被渲染；
生成包括与所述中心凹图像相关联的渲染信息的控制分组；
针对观看者的位置的移动，对所述中心凹图像进行时间扭曲以形成时间扭曲图像；
将所述时间扭曲图像和所述控制分组发送到视频处理器；
基于最新的观看者的姿势数据，执行所述时间扭曲图像的后期时间扭曲以形成经更新的图像；
将所述经更新的图像和所述控制分组打包以形成帧；
将所述帧发送到显示单元，其中，所述显示单元从所述帧中解析所述控制分组，解码所述控制分组以获得所述渲染信息，以及将所述帧的所述渲染信息保存在所述显示单元的存储器中；以及
投影根据所述渲染信息所渲染的显示图像。
51.根据权利要求50所述的方法，其中，由控制分组解码器解码所述控制分组。
52.根据权利要求50所述的方法，其中，所述时间扭曲图像经由头戴式装置链路被发送到所述视频处理器。
53.根据权利要求50所述的方法，其中，相同的控制分组被用于一系列帧。
54.根据权利要求50所述的方法，其中，所述中心凹区域的位置在一系列帧中动态地改变。
55.根据权利要求50所述的方法，其中，所述第一组图像数据和所述第二组图像数据采用栅格化的形式。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163232787P | 2021-08-13 | 2021-08-13 | |
| US63/232,787 | 2021-08-13 | ||
| PCT/US2022/040267 WO2023018997A1 (en) | 2021-08-13 | 2022-08-12 | Methods to improve the perceptual quality of foveated rendered images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117859320A true CN117859320A (zh) | 2024-04-09 |
Family
ID=85200358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280055748.4A Pending CN117859320A (zh) | 2021-08-13 | 2022-08-12 | 改进中心凹渲染图像的感知质量的方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240185380A1 (zh) |
| EP (1) | EP4385202A1 (zh) |
| CN (1) | CN117859320A (zh) |
| WO (1) | WO2023018997A1 (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10317670B2 (en) * | 2017-03-03 | 2019-06-11 | Microsoft Technology Licensing, Llc | MEMS scanning display device |
| US10949947B2 (en) * | 2017-12-29 | 2021-03-16 | Intel Corporation | Foveated image rendering for head-mounted display devices |
| GB2567553B (en) * | 2018-09-06 | 2021-04-07 | Sony Interactive Entertainment Inc | Foveated rendering system and method |
-
2022
- 2022-08-12 WO PCT/US2022/040267 patent/WO2023018997A1/en active Application Filing
- 2022-08-12 EP EP22856697.2A patent/EP4385202A1/en active Pending
- 2022-08-12 CN CN202280055748.4A patent/CN117859320A/zh active Pending
-
2024
- 2024-02-12 US US18/439,296 patent/US20240185380A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240185380A1 (en) | 2024-06-06 |
| WO2023018997A1 (en) | 2023-02-16 |
| EP4385202A1 (en) | 2024-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10621934B2 (en) | Display and display method | |
| JP5062674B2 (ja) | ステレオコンテンツの表示の際にクロストークを補償するためのシステム、方法、及びコンピュータプログラム製品 | |
| CN109074234B (zh) | 混合显示器全局命令接口、对应方法、装置和头戴显示系统 | |
| JP6644371B2 (ja) | 映像表示装置 | |
| US8325164B2 (en) | Display apparatus and method | |
| JP4453647B2 (ja) | 動画像表示装置および動画像表示方法 | |
| US20100033555A1 (en) | Image display apparatus and method | |
| US20080151040A1 (en) | Three-dimensional image display apparatus and method and system for processing three-dimensional image signal | |
| US20110007136A1 (en) | Image signal processing apparatus and image display | |
| JP5472122B2 (ja) | 画像伝送システムおよび画像伝送方法 | |
| US20110304713A1 (en) | Independently processing planes of display data | |
| JP2011090079A (ja) | 表示装置、表示方法およびコンピュータプログラム | |
| US9478196B2 (en) | Display method and display device | |
| US20120069147A1 (en) | Display device and display method | |
| CN112230776B (zh) | 虚拟现实显示方法、装置及存储介质 | |
| JP2012028963A (ja) | 画像表示装置、画像表示方法、及び、画像供給装置 | |
| US20200029057A1 (en) | Systems and methods for correcting color separation in field-sequential displays | |
| WO2022166712A1 (zh) | 图像的显示方法、装置、可读介质和电子设备 | |
| US11917167B2 (en) | Image compression method and apparatus, image display method and apparatus, and medium | |
| US20130176393A1 (en) | Signal processing device and video display device including the same | |
| US20030103062A1 (en) | Apparatus and method for controlling a stereo 3D display using overlay mechanism | |
| US20240185380A1 (en) | Methods to improve the perceptual quality of foveated rendered images | |
| CN115185083B (zh) | 一种ar头戴显示器自适应刷新率和分辨率渲染方法 | |
| US8952957B2 (en) | Three-dimensional display apparatus | |
| CN112351267A (zh) | 视频显示方法、显示控制器、显示控制卡和显示控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |