CN109891381A

CN109891381A - 双路径中央凹图形管线

Info

Publication number: CN109891381A
Application number: CN201780065231.2A
Authority: CN
Inventors: 马克·斯皮策; 卡林·维耶里; 埃里克·特纳; 贝南·巴斯塔尼
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2016-11-14
Filing date: 2017-09-20
Publication date: 2019-06-14
Anticipated expiration: 2037-09-20
Also published as: EP3538986A1; CN109891381B; US10564715B2; DE202017105882U1; EP3538986B1; US20180136720A1; WO2018089105A1

Abstract

一种中央凹显示系统，包括渲染设备，所述渲染设备包括至少一个图形处理单元(GPU)以渲染第一图像的中央凹区域和外围区域，其中，中央凹区域具有比外围区域更高的分辨率。该系统还包括经由至少一个物理层耦合到渲染设备的显示设备。显示设备包括像素阵列和耦合到像素阵列的显示控制器。显示控制器包括：缩放组件，用于放大第一外围区域以生成缩放的第一外围区域；以及，混合组件，用于将中央凹区域与缩放的第一外围区域混合以生成第二图像。

Description

双路径中央凹图形管线

背景技术

虚拟现实(VR)和增强现实(AR)显示系统需要相当大的计算资源和传输带宽来生成高分辨率图像并传输图像以足够高的刷新率进行显示。这尤其是当针对用户的每只眼睛并行执行高通过量图像渲染和传输过程时在利用头戴式显示器(HMD)设备的系统中的情况。如此一来。传统的基于HMD的显示系统通常需要大量计算资源以足够的速率渲染图像，并且需要复杂且高功率的物理层，用于将表示渲染图像的数据传输到一个或多个显示设备。

为了减少计算和传输要求，传统VR系统、AR系统和其他近眼显示系统可以实现中央凹渲染过程，在中央凹渲染过程中，以较高的分辨率渲染作为眼睛的焦点(即，落在中央凹上)的图像的区域，而以较低分辨率渲染图像的其余部分。因此，中央凹渲染通常具有比传统全分辨率渲染过程更低的计算负荷。然而，至少部分地由于显示器能够从用户可以注视的任何显示区域向用户的中央凹区域提供图像的要求，用于VR或AR的传统显示器通常在整个显示面板上具有恒定或一致的显示像素密度。结果，在传统的显示系统中仍然需要传送高分辨率的像素数据来驱动这种传统的显示面板。因此，虽然在渲染显示图像时可以减少计算负荷，但是传统的中央凹渲染实现需要在渲染图像数据的设备和显示图像的设备之间传输显示面板的每个像素的像素数据，并且因此这样的系统并未降低用于将显示数据传输到显示器的带宽要求，也未降低显示器背板消耗的功率，以便为用于中央凹渲染的显示图像的像素数据计时。此外，这种传统显示系统缺乏分配中央凹过程、子像素渲染过程以及其他图像和像素处理功能以便更好地优化功耗、集成电路可用性、成本和其他考虑因素中的一个或多个的灵活性。

附图说明

通过参考附图，本领域技术人员可以更好地理解本公开，并且其众多特征和优点被使得对于本领域技术人员而言是显而易见的。在不同附图中使用相同的附图标记表示相似或相同的项目。

图1是示出根据一些实施例的利用头戴式显示器(HMD)设备和渲染设备的中央凹显示系统的图。

图2是示出根据一些实施例的图1的中央凹显示系统的图像处理系统的图。

图3是示出根据一些实施例的具有中央凹区域和单个外围区域的中央凹图像的图。

图4是示出根据一些实施例的具有中央凹区域和多个外围区域的中央凹图像的图。

图5是示出根据一些实施例的具有基于眼睛注视跟踪的动态定位的中央凹区域的中央凹图像的图。

图6是示出根据一些实施例的利用双路径中央凹图形管线的中央凹显示系统的图。

图7是示出根据一些实施例的图6的系统中的双路径中央凹图像渲染和显示过程的流程图。

图8是示出根据一些实施例的利用单个物理层来传输具有中央凹区域和至少一个外围区域的图像的显示系统的图。

图9是示出根据一些实施例的具有不同垂直分辨率的两个图像区域的图像的示例整形过程的图。

图10是示出根据一些实施例的具有不同垂直分辨率的三个图像区域的图像的示例整形过程的图。

图11是示出根据一些实施例的用于将图像的成像器区域整形为具有恒定宽度行的单个组合像素阵列的方法的流程图。

图12是示出根据一些实施例的图11的方法的示例的图。

图13是示出根据一些实施例的用于将组合像素阵列划分为不同垂直分辨率的组成图像区域的方法的流程图。

图14是示出根据一些实施例的实现低分辨率RGB渲染过程的显示系统的图。

图15是示出根据一些实施例的用于图14的系统中的低分辨率RGB渲染的方法的流程图。

图16是示出根据一些实施例的用于图15的低分辨率RGB渲染方法的示例的图。

具体实施方式

以下描述旨在通过提供涉及特别是在利用头戴式显示器(HMD)设备的VR或AR系统的背景下的中央凹显示系统和子像素渲染显示系统的多个特定实施例和细节来传达对本公开的透彻理解。然而，应该理解，本公开不限于仅作为示例的这些特定实施例和细节，并且本公开的范围因此仅旨在由以下权利要求及其等同物限制。还应理解，根据已知的系统和方法，本领域普通技术人员将理解，根据具体设计和其他需要，本公开在任何数目的替代实施例中用于其预期目的和益处。

图1至图16示出了示例系统和技术，用于在基于HMD的VR/AR系统或其他显示系统中有效且灵活地分发图像和像素处理过程，以便减少总体计算工作并减少要在显示系统的渲染设备和显示系统的显示设备之间传输的像素数据量，并且因此减少了显示功耗、带宽要求和相关的复杂性。如下面参考图1至图13所述，显示系统利用多路径中央凹图形管线，其中，待渲染的显示图像的像素阵列或图像空间在逻辑上被分割成两个或更多个区域，包括：表示预期或估计为用户注视的目标的显示图像的区域的至少一个中央凹区域；以及，围绕该中央凹区域的至少一个外围区域。渲染设备采用中央凹渲染过程来基于所识别的区域来中央凹渲染显示图像，其中，中央凹区域以最高分辨率渲染，并且一个或多个外围区域以较低分辨率渲染，其中，在一些实施方案中，外围区域的分辨率可以至少部分地基于该区域距中央凹区域的距离。然后，中央凹图形管线经由渲染设备的一个或多个图形处理单元(GPU)与包括用于显示显示图像的像素阵列的显示设备的显示控制器之间的不同处理/传输路径来处理和传输显示图像的不同区域。

用于显示图像的每个区域的单独的处理/传输路径的实现允许：灵活地分配与渲染设备和显示控制器之间的显示图像的处理有关的各种过程，并且从而有助于减少要通过连接渲染设备和显示控制器的一个或多个物理层传输的像素数据；以及，在渲染设备和显示控制器之间有效地分配像素计算过程。为了说明而不是在传输到具有传统的中央凹系统中找到的显示器的显示设备之前缩放任何渲染的较低分辨率外围区域，在一些实施例中，缩放过程被分配给显示设备，因此外围区域通过物理层以非标定形式被传输到显示设备，于是显示设备然后缩放外围区域。通过物理层以外围区域的较低分辨率形式传输外围区域，可以用较低带宽和相应较慢的像素时钟来实现物理层。

通常，显示设备采用红绿蓝(RGB)像素格式，其中，显示面板的像素阵列的每个像素包括红色子像素、绿色子像素和蓝色子像素(并且在某些情况下，还可以包括白色子像素)。因此，传统的渲染系统以RGB像素格式渲染图像，该RGB像素格式对应于显示设备的RGB像素格式。然而，一些显示设备采用非RGB像素格式(即，其中每个像素缺少红色、绿色或蓝色子像素中的至少一个的像素格式)。为了说明，在基于有机发光二极管(OLED)的显示面板中经常发现的非RGB像素格式是红-绿、蓝-绿(RGBG)像素格式(通常通过商品名“PenTile”(商标)来识别)，其中，每个像素仅由两个子像素组成：红色子像素和绿色子像素(RG)或蓝色子像素和绿色子像素(BG)。

在采用这种显示面板的传统系统中，渲染系统以RGB像素格式渲染每个显示图像并将该显示图像传输到显示面板，于是显示面板的显示控制器然后将RGB像素格式变换为像素阵列的RGBG或其他非RGB像素格式。然而，这种传统方法具有某些缺点。例如，在渲染设备和显示设备之间传输的显示图像中的每个像素具有三个值——即，对于显示图像的每个像素的三个子像素(或者在实现白色子像素的情况下为四个子像素)中的每一个的值。相反，由显示控制器提供给像素阵列的像素格式变换图像对于每个像素仅具有两个值——即每个像素的两个子像素中的每一个的值。结果，通过连接渲染设备和显示设备的物理层计算和传输不必要的像素数据，从而增加了物理层的复杂性和功耗。传统的子像素渲染方法的另一个缺点是在显示设备处实现用于对图像执行RGB到非RGB像素格式变换的算法。由于开发人员可能无法访问实现此算法的显示设备的固件或硬件，或者无法有效地修改此固件或硬件，因此开发人员优化渲染过程以利用子像素格式的能力受损。

应当注意，一些基于RGB的像素格式包括第四颜色元素，诸如红绿蓝白(RGBW)像素格式或红绿蓝黄(RGBY)像素格式。这里对“RGB像素格式”的引用适用于具有至少三个颜色元素红色、蓝色和绿色的所有像素格式，因此还包括RGBW、RGBY和其他基于RBG的像素格式。

图6和图7示出了用于早期子像素渲染(SPR)的示例系统和技术，以便解决这些缺点。在至少一个实施例中，渲染设备不是在显示设备处执行子像素渲染，而是生成显示设备的像素阵列的非RGB像素格式的显示图像，并向显示设备传输该非RGB像素格式的显示图像，而无需缩放。以这种格式生成显示图像可以包括例如渲染设备以非RGB像素格式本地渲染显示图像，或者显示设备可以以RGB像素格式渲染显示图像，然后将显示图像的像素格式从RGB像素格式变换为非RGB像素格式，用于传输到显示设备。这导致通过连接渲染设备和显示设备的物理层传输的像素数据量减少，并且在以非RGB像素格式本地渲染显示图像的情况下减少渲染设备的计算工作量。此外，通过在显示设备处生成非RGB像素格式的显示图像，像素阵列的子像素可由渲染设备单独寻址，因此显示设备的开发者或用户可配置由渲染设备使用以利用该子像素可寻址性的SPR算法。

在许多非RGB像素格式中，一种颜色分量以比像素格式的其他颜色分量更高的分辨率或频率出现。例如，在RGBG像素格式中，绿色子像素的分辨率是红色子像素或蓝色子像素的两倍。这在一定程度上模拟了人眼视网膜中蓝色和绿色视锥的密度比。图14至图16示出了示例系统和技术，用于降低的分辨率的渲染以利用非RGB像素格式的颜色分量的不同分辨率，从而减少渲染图像的计算负荷并减少将这些图像传输到显示设备以供显示的所需的传输带宽。在至少一个实施例中，低分辨率RGB渲染过程最初以用于在显示设备处显示图像的显示器的非RGB像素格式在次要颜色分量的较低分辨率下渲染RGB像素格式的图像。这减少了渲染计算要求，并且导致表示图像的像素值更少，因此需要更低的传输带宽。在显示设备处，图像被变换为非RGB像素格式，从而允许以显示设备的像素阵列的兼容像素格式显示所得到的图像。作为该格式变换过程的一部分，图像的RGB像素被放大以生成更大数目的输出非RGB子像素，并因此增加在所述过程中所得到的非RGB图像的分辨率。

图1示出了根据一些实施例的实现本文描述的一种或多种图像处理技术的示例显示系统100。显示系统100包括经由至少一个物理层(PHY)106耦合到显示设备104的显示器114和116的渲染设备102。渲染设备102包括实现为渲染表示用于在显示设备104处显示的AR或VR内容的图像序列的系统100的组件。PHY 106包括用于将表示图像序列的像素数据从渲染设备102传输到显示器114和116的电路和导线或迹线。PHY的示例包括移动工业处理器接口(MIPI-DSI)互连、显示端口或嵌入式显示端口互连、低压差分信号(LVDS)互连和专有互连等。

在所示示例中，显示设备104被描绘为头戴式显示器(HMD)设备，因此在本文中也称为HMD设备104。然而，显示设备104可以被实现为包含一个或多个显示器的另一类型的设备，例如电视、计算机监视器、蜂窝电话显示器或其他手持设备等。HMD设备104通过使用绑在或否则安装在用户头部上的装置安装到用户的头部，使得HMD设备104固定地定位在用户的脸部附近并因此随着用户的移动而移动。然而，在某些情况下，用户可以将手持设备保持在用户的脸部并限制手持设备的移动，使得即使用户的头部移动，手持设备朝向用户的头部的方向也是相对固定的。在这种情况下，以这种方式操作的手持设备也可以被认为是HMD设备104的实现，即使它没有通过物理附件“安装”到用户的头部。

HMD设备104包括壳体108，壳体108具有面向用户的表面110和相对的向前表面(未示出)、光学目镜透镜118、120和面垫(或垫圈)112和一组带子或线束(为清楚起见，在图1中省略)以将壳体108安装在用户头部上，使得用户面向壳体108的表面110。在所示实施例中，HMD装置104是双目HMD，因此具有设置在光学目镜透镜118、120后面(相对于用户的眼睛)的左眼显示面板114和右眼显示面板116。在其他实施例中，HMD设备104实现单个显示面板，其在逻辑上划分为用于向左眼显示图像的左眼区域和用于向右眼显示图像以进行显示的右眼区域。壳体108还包括与左眼显示面板114对准的目镜透镜组件118和与右眼显示面板116对准的目镜透镜组件120。尽管示出为单个透镜，但目镜透镜组件118、120每个可以包括两个或更多个透镜和其他光学元件。

在一些实现中，HMD设备104经由一个或多个PHY 106栓到台式计算机、笔记本计算机或其他外部处理系统，该其他外部处理系统渲染图像数据并传输图像数据以在HMD设备104的显示面板114、116处显示。在这样的实现中，外部处理系统构成渲染设备102，并且PHY106构成外部处理系统和HMD设备104之间的无线或有线互连。在其他实施例中，HMD设备104是一种独立的显示系统，其中，在HMD设备104处渲染图像，在这种情况下，渲染设备102对应于涉及渲染图像数据的渲染和其他初始处理的HMD设备104的电路和其他组件。在这样的实现中，渲染设备102被实现为例如一个或多个片上系统(SoC)、专用集成电路(ASIC)等。此外，在这样的实现中，PHY 106表示将HMD设备104中的渲染设备102的组件耦合到HMD设备104的显示面板114、116和相关联的显示控制器(图2中所示)的电路和导电路径。

图2示出了根据一些实施例的图1的系统100的HMD设备104和渲染设备102的图像处理组件的示例实现。在所描绘的示例中，渲染设备102包括至少一个图形处理单元(GPU)202和存储一个或多个软件应用(在此单独或统称为“VR/AR软件应用206”)的系统存储器204。一个或多个GPU 202可以在例如SoC、ASIC或其他设备硬件组件208中实现。尽管系统存储器204被示出为与硬件组件208分开，但是在一些实施例中，系统存储器204被实现为嵌入在硬件组件208中的存储器。

HMD设备104的左眼显示面板114包括显示控制器210和实现以行和列排列的像素的阵列的像素阵列212。像素阵列212的每个像素可以实现为子像素矩阵，例如红色、绿色或蓝色子像素的特定排列，每个子像素被控制为以相应的亮度发射相应颜色的光，并且，光色和它们的亮度的组合导致整体的像素的意欲亮度和颜色。用于像素的示例像素架构可以包括例如发光二极管(LED)和有机发光二极管(OLED)。左眼显示面板114还包括列控制组件214和行控制组件216。列控制组件106包括像素数据缓冲器、线驱动器和列组合逻辑，它们一起运行以逐列控制像素阵列212的像素。类似地，行控制组件216包括行选择逻辑和行组合逻辑，它们一起运行以逐行地控制像素阵列212的像素。

列控制组件214和行控制组件216通常被实现为在实现像素阵列212的显示面板基板上的集成电路，但是在一些实现中可以实现为单独的分立硬件组件。同样，显示控制器210可以实现为分立的硬件组件，例如一个或多个ASIC、现场可编程门阵列(FPGA)或在印刷电路板(PCB)或柔性电路上实现的其他可编程逻辑器件，或者可以是实现为与显示面板基板集成的电路。HMD设备104的右眼显示面板116类似地配置有显示控制器220、像素阵列222、列控制组件224和行控制组件226。

渲染设备102的一个或多个GPU 202经由一个或多个PHY 232连接到显示面板114并经由一个或多个PHY 234连接到显示面板116，其中，PHY 232、234是图1的PHY 106的实施例。如上类似地所述，PHY 232、234包括：用于在实现GPU 202的硬件组件208和显示面板114、116之间传输信号的导线、光纤线或其他电或光信号传导结构；以及，在硬件组件208和显示面板114、116处实现与这些信号传导结构的接口的电路。这种PHY的标准化示例包括但不限于MIPI-DSI互连、显示端口或嵌入式显示端口互连、LVDS互连等等。

作为一般操作概述，包括一个或多个GPU 202的渲染设备102的一个或多个处理器执行存储在系统存储器204中的VR/AR软件应用206，以为HMD的用户提供VR/AR功能。作为该过程的一部分，VR/AR应用206操纵一个或多个GPU 202以渲染并行图像序列以用于在显示面板114、116处显示，其中，图像序列表示基于所提供的显示场境信息236的VR或AR场景的图像。显示场境信息236可以包括：表示AR或VR环境和其中包含的对象的空间特征的信息；以及，关于HMD设备102相对于所表示的环境的姿势的传感器信息。当渲染相应序列的每个图像时，渲染设备102提供像素数据和相应的控制数据，用于经由PHY 232、234的相应一个传输到显示面板114、116中的相应一个，于是相应的显示面板的显示控制器处理接收的像素数据，并将得到的修改的像素数据提供给列控制组件和行控制组件，以便驱动像素阵列显示由修改的像素数据表示的图像。渲染这些并行图像序列的计算能力能够对渲染设备的GPU资源造成负担，并且压倒PHY 232、234的传输带宽或者需要使用用于PHY 232、234的复杂且成本过高的实现。因此，为了减少用于该渲染和传输过程的计算负荷和带宽要求，渲染设备102和HMD设备/显示设备104可以实现在此描述的双路径中央凹渲染技术、早期SPR技术或者分辨率降低的SPR技术中的一个或多个。

在一些实施例中，显示系统100包括双路径或多路径中央凹图形管线，其中，待渲染的每个图像在空间上被划分为：对应于用户相对于其上显示图像的对应显示面板上的像素阵列(例如，像素阵列212或222)的注视方向的中央凹区域；以及围绕中央凹区域的一个或多个外围区域。以预期的注视方向为中心的中央凹区域以更高的分辨率渲染，而一个或多个外围区域以较低的分辨率渲染，在不止一个外围区域的情况下，每个外围区域的分辨率通常随着距中央凹区域的距离而减小。

在一些实施例中，该中央凹区域在图像序列的每个图像内具有固定位置。例如，可以预期用户可以主要注视像素阵列的中心，因此可以将中央凹区域设置为以图像的中心点为中心的像素区域，该区域又对应于旨在其上显示图像的像素阵列的中心点。为了说明，图3描绘了图像的示例像素阵列300，在该像素阵列300中，中央凹区域302包括像素304的子集。例如，中央凹区域302可以在像素阵列300内的所示位置中包括像素304的9×12子集阵列，并且单个外围区域306被定义为像素阵列300的像素304的剩余子集。应当注意，为了说明的目的，与典型实现相比，减小了像素阵列和相应子集区域的尺寸和分辨率。

尽管图3的例子描绘了单个外围区域306，但是在一些实施例中，中央凹区域外部的像素阵列的像素可以被划分为多个外围区域。为了说明，图4描绘了图像的示例像素阵列400，其中，中央凹区域402在所示位置中被指定为像素404的8×7阵列子集，并且像素阵列400的剩余像素404被划分为两个同心外围区域：围绕中央凹区域402的邻近外围区域406和围绕邻近外围区域406的远侧外围区域408。在存在多个外围区域的情况下，可以中心凹渲染显示图像，使得在每个外围区域内实现的所得分辨率随着距中央凹区域的距离而降低。

在其他实施例中，渲染设备102可以采用注视跟踪系统，该注视跟踪系统跟踪用户眼睛中的一个或两个的注视方向，并且由此动态地更新对应显示面板的像素阵列中作为用户注视目标的位置(此位置在本文中称为“注视目标位置”)，并且因此更新基于注视目标位置的中央凹区域的位置。为了说明，图5描绘了要渲染的图像的示例像素阵列500，其中，注视跟踪系统识别用户的注视方向并且由此估计对应显示面板的像素阵列中的位置501作为当前注视目标位置。在此基础上，渲染系统可以指定例如以该位置501为中心的像素504的8×8阵列子集作为中央凹区域502，并将剩余的像素504指定为要渲染的图像的外围区域506。或者，剩余像素504可以被划分为多于一个外围区域，如上面参考图4所述。以这种方式，中央凹区域502被投射到用户的视网膜上，其中，中央凹区域502与用户的中央凹位置近似对齐。

中央凹区域的尺寸(以像素为单位测量)可以基于多个因素，包括显示面板的对应像素阵列的总分辨率、要实现的不同外围区域的数目、在显示面板和用户的眼睛之间的距离以及在像素阵列和用户眼睛之间的任何镜头或其他光学系统的存在和它们对用户对显示器的感知的影响等。为了说明，假设中央凹视觉发生在眼睛的光轴的水平+/-5度和垂直+/-5度的区域内，中央凹区域的尺寸可以被调整以覆盖该中央凹视野并且还可以包括额外的边缘。在利用注视跟踪来动态选择中央凹区域的位置的实现中，要包括的边缘量可以基于在估计眼睛的注视方向时的可能误差。为了说明，对于图5的示例，可以假设6×6像素的区域表示中央凹视野，并且在水平方向上的注视跟踪存在误差余量，其通过在6×6区域的侧面上添加两列像素和两行像素来补偿(在该示例中假设可忽略的垂直眼睛跟踪误差)，并且因此导致示例性中央凹区域502的尺寸被调整在8像素×8像素。应注意，为了便于描述，简化了前述说明。在典型的实现中，水平和垂直方向上的+/-5度的中央凹区域(每个像素的弧度为1分钟的敏度)每度需要60个像素，使得中央凹区域的总尺寸为600×600像素。

通过识别中央凹区域的位置和尺寸(以及作为结果识别的一个或多个外围区域的位置和尺寸)，显示系统100使用中央凹渲染过程来渲染下一显示图像，该过程渲染得到的显示图像，该显示图像在对应于中央凹区域的区域内具有较高分辨率并且在一个或多个外围区域内具有较低分辨率。在用于在传统显示器上显示图像的传统的中央凹渲染过程中，得到的渲染图像对于显示器的每个像素具有单独的像素数据。这种传统的中央凹渲染过程中的计算负荷节省来自下述事实：在不是必须为每个像素计算唯一值的外围区域中，许多像素值可以从附近的像素复制、插值或否则近似——这个过程有时被称为“放大”。然而，虽然外围区域中像素的像素值的这种复制或近似减少了渲染计算的数目，但它仍然导致像素值的完整表格，并且因此对于相同的给定显示分辨率，使用传统的中央凹渲染过程渲染的、传输到显示器的像素数据的量与没有中央凹渲染的情况下传输到显示器的像素数据的量相同。

图6至图16示出了显示系统100的示例实现和操作，这些示例实现和操作利用了提供用于处理中央凹区域的一个数据路径和用于处理一个或多个外围区域的至少一个其他单独数据路径的中央凹图形管线。通过这种双路径(或更一般地，多路径)方法，每个外围区域可以以其降低的分辨率的形式通过相应的PHY传输，而不是在传输之前需要对外围区域进行放大。此外，该方法使得能够在渲染设备102和显示设备104之间灵活地分配像素和图像处理任务，从而有助于考虑带宽、功率和容量考虑因素。

参见图6，示出了根据一个实施例的实现中央凹图形管线的显示系统600(显示系统100的一个实施例)。显示系统600包括渲染设备602(渲染设备102的一个实施例)和显示设备604(显示设备104的一个实施例)。渲染设备602包括SoC 605或包括至少一个GPU 606并且在一些实现中还包括可以完全以硬件(例如，作为ASIC或FPGA)实现的压缩组件608的其他硬件组件作为GPU 606或执行表示本文描述的功能的软件的其他处理器，或其组合。显示设备604包括至少一个显示面板，每个显示面板包括经由列控制组件614和行控制组件616耦合到像素阵列612的显示控制器610。显示控制器610可以完全用硬件实现为执行软件的一个或多个处理器，或其组合。

在显示系统600利用跟踪用户注视的中央凹区域的情况下，显示系统600还可以包括注视跟踪系统618，其周期性地执行合适的注视跟踪过程以确定用户眼睛的当前注视方向619，并向GPU 606提供当前注视方向619的表示(例如，通过将表示当前注视方向619的一个或多个值存储到GPU 606可访问的寄存器或其他存储位置)以用于确定要渲染的下一个显示图像中的中央凹区域的位置。为此，注视跟踪系统618可以使用各种公知的注视跟踪技术中的任何一种。

在至少一个实施例中，显示系统600实现用于要在像素阵列612处显示的图像序列的渲染、传输和预显示处理的双数据路径。两个数据路径中的一个是实现为在GPU 606处执行的中央凹渲染过程624的中央凹数据路径620、在压缩组件608处执行的中央凹压缩过程626、在PHY 632的相对端处的物理接口628、630以及在显示设备604的显示控制器610处执行的中央凹解压缩过程634(并且在一些实施例中，可以进一步包括放大过程)。另一数据路径是被实现为在GPU 606处执行的外围渲染过程636的外围数据路径622、在压缩组件608处执行的外围压缩过程638、在PHY 644的相对端处的物理接口640、642以及在显示设备604的显示控制器610处执行的外围解压缩过程646和缩放过程648。

如本文中更详细描述的，对于要在显示设备604处显示的图像序列的每个图像，中央凹数据路径620渲染用于显示图像的中央凹区域，压缩中央凹区域以经由PHY 632传输到显示控制器610，在此，压缩的中央凹区域被解压缩。并行地，外围数据路径622以针对外围区域确定的较低分辨率渲染用于显示图像的外围区域，压缩外围区域以经由PHY 644传输到显示控制器610，在此，显示控制器610对压缩的外围区域进行解压缩，并且对解压缩的外围区域进行放大，以便与解压缩的中央凹区域相容。在一些实施例中，显示控制器610还以类似的方式对解压缩的中央凹区域进行放大。然后，显示控制器610执行混合过程650以混合解压缩的中央凹区域和放大的外围区域，以生成表示由GPU 606渲染的图像的修改图像。然后，在将得到的图像的像素数据提供给控制器614、616以用于驱动像素阵列612以显示图像之前，显示控制器610可以对于该修改的图像执行一个或多个附加的预显示过程，例如，失真校正过程652，然后是补偿过程654。

在一些实现中，显示系统600针对数据路径620、622中的每一个使用物理上不同的PHY。即，针对中央凹数据路径620实现的PHY 632是与针对外围数据路径622实现的PHY 644不同的PHY。在其他实施例中，PHY 632、644是数据路径620、622使用例如时间复用和竞争技术等共享的相同PHY。下面参考图10和图11更详细地描述PHY632、644的利用。

如上所述，不是实现其中一个红色子像素、一个蓝色子像素和一个绿色子像素被条带化或否则布置为单个像素的传统RGB像素格式，而是像素阵列612可以实现非RGB像素格式，例如上述RGBG像素格式，其中，每个像素仅具有两个子像素，像素的一半具有一个红色子像素和一个绿色子像素，像素的另一半具有一个蓝色子像素和一个绿色子像素。传统方法是将RGB像素格式的图像数据传输到显示面板，于是显示面板根据显示器制造商实现的算法将每个RGB像素变换为非RGB像素，以执行像素数据从RGB向非RGB的必要的变换格式，以便它可以由显示面板的像素阵列显示。在像素阵列612实现非RGB像素格式的一些实施例中，显示系统600可以例如通过下述方式实现这种传统方法：在显示控制器610处采用子像素渲染过程656来将由补偿过程654生成的图像数据从RGB像素格式变换为由像素阵列612实现的非RGB像素格式。

然而，传统的子像素渲染方法限制了系统的灵活性，因为像素格式变换算法是固定的并且难以修改或替换为替代算法。此外，具有RGB像素格式的图像通常由比具有非RGB像素格式的图像更多的像素数据表示。为了说明，假设每个子像素由8位表示，RGB像素格式中的每个像素具有三个子像素，因此需要24位，而RGBG格式中的每个像素具有两个子像素，因此仅需要16位。在至少一个实施例中，显示系统600通过将子像素渲染过程移动到中央凹图形管线中的较早的点来利用RGBG格式的较低数据要求。具体地，当像素阵列612实现非RGB像素格式时，在一些实施例中，中央凹数据路径620实现在GPU 606处执行的中央凹子像素渲染过程660，以便生成具有非RGB像素格式的中央凹区域，而外围数据路径622实现在GPU 606处执行的外围子像素渲染过程662，以便生成具有非RGB像素格式的外围区域。然后可以压缩非RGB像素格式的中央凹区域和外围区域，并将其通过PHY632、634传输，如本文所述。然而，通过在数据路径620、622中早期执行SPR过程，与以RGB像素格式表示的相同图像相比，通过PHY632、644传输所需的像素数据量减少，因此由于PHY的时钟的相应减少使得能够以较低的复杂度或较低的功耗使用PHY。

可以通过使用并行操作的两个单独组件、在相同组件处处理任务的交织或其组合来实现由数据路径620、622执行的并行过程。例如，中央凹渲染过程624可以由一个GPU 606执行，而另一个GPU 606并行执行外围渲染过程636，或者一个GPU 606可以用于执行两个渲染过程624、636，由此GPU 606在渲染用于中央凹区域的一个或多个像素行然后渲染用于外围区域的一个或多个像素行之间交织或断续，等等。

图7示出了根据一些实施例的用于中央凹显示图像的双数据路径处理的显示系统600的操作的示例方法700。方法700开始于块702，其中，GPU 606开始生成图像序列的显示图像。GPU 606可以接收描述要渲染的图像的绘图指令和其他场境信息，包括实现显示设备604的HMD设备的当前姿势的表示、从该姿势观看的AR或VR环境的描述以及对象在环境中的描述等。在利用注视跟踪用于中心凹目的的实施例中，GPU 606还可以从注视跟踪系统618接收当前注视方向619，并且根据该信息确定要生成的显示图像中的中央凹区域和一个或多个外围区域的位置。利用所接收的图像的绘制指令以及所识别的中央凹区域和一个或多个外围区域的位置(如果中央凹区域可以动态地重新定位)，显示系统600经由方法700的路径703和704触发并行渲染和处理显示图像的区域，在该示例中，路径703表示中央凹数据路径620的操作，并且路径704表示单个外围区域的外围数据路径622的操作。

在路径703的块705处，GPU 606执行中央凹渲染过程624以根据在块702处接收的绘制指令和其他绘制信息来渲染显示图像的中央凹区域。同时，在路径704的块706处，GPU606执行外围渲染过程636以渲染显示图像的外围区域。如上所述，以更高的分辨率(例如，像素阵列612的分辨率)渲染中央凹区域，而以更低的分辨率(例如，在像素阵列612的分辨率的一半、四分之一或十分之一)渲染外围区域。渲染过程624、636可以不仅包括相应图像的区域的生成，还包括对图像的各种初始校正，诸如用于执行预期由像素阵列612和用于观察像素阵列612的任何光学元件引入的横向色差和失真的校正的过程。

在实现早期子像素渲染的实施例中，在路径703的块707处，GPU606执行中央凹子渲染过程660以生成具有像素阵列612的非RGB像素格式的中央凹区域，而在路径704的块708处，GPU 606执行外围子渲染过程662以生成具有非RGB像素格式的外围区域。在一些实施例中，这些区域本地以非RGB像素格式渲染(其最初以直接来自GPU 606接收的绘制指令的非RGB像素格式渲染以开始渲染显示图像)。在这种情况下，子像素渲染过程660、662被认为分别是渲染过程624、636的实现，因此块705和707的过程是相同的过程，并且块706和708的过程是同样的过程。在其他实施例中，首先以RGB像素格式渲染中央凹区域和外围区域，然后使用适当的像素格式变换算法将中央凹区域和外围区域的像素格式变换为非RGB像素格式。在这样的情况下，子像素渲染过程660、662可以被认为是与块705、706的渲染过程分开的过程。

由于渲染设备602可以利用各种非RGB像素格式之一连接到各种显示设备604中的任何一种，因此渲染设备602可能不具有像素阵列612的特定非RGB像素格式的先验了解。因此，为了确定像素阵列612用于块707和708的子渲染过程所采用的非RGB像素格式，在一个实施例中，渲染设备602在块715处对于显示设备604查询由显示设备604采用的非RGB像素格式的指示符，或者否则从显示设备604获得该指示符。为了说明，渲染设备602可以经由在PHY 632、644中的一个或两个中实现的控制信道或者作为嵌入在像素流的头部或其他字段中的参数传输查询并接收作为响应的指示符。或者，渲染设备602和显示设备604可以经由单独的边带信道传送该指示符。

在路径703的块709处，压缩组件608执行中央凹压缩过程626以便压缩中央凹区域以生成压缩的中央凹区域，而在路径704的块710处，压缩组件608执行外围压缩过程638以便压缩外围区域以生成压缩的外围区域。可以对压缩过程626、638采用诸如显示流压缩的各种压缩算法中的任何一种或压缩算法的组合。此外，中央凹压缩过程626可以采用与外围压缩过程638不同的压缩算法。例如，因为高分辨率，高保真中央凹区域比高分辨率、高保真度外围区域更可能导致令人满意的用户体验，所以中央凹压缩过程626可以采用无损压缩算法，而外围压缩过程638可以采用有损压缩算法，因为外围区域中的一些图像信息损失可能是为了有损压缩算法的改进效率的可接受的折衷。此外，在(经由块707、708)实现早期SPR的情况下，在一些实施例中，SPR过程660和中央凹压缩过程626被组合或实现为相同的操作；同样地，SPR过程662和外围压缩过程6238被组合或实现为相同的操作，这可以在组合实现这些过程的逻辑时提供某些优化。

在路径703的块711处，表示所得到的压缩的中央凹区域的像素数据被流传输到接口628以经由PHY 632传输到显示设备604，而在路径703的块712处，表示所得到的压缩的外围区域的像素数据被流传输到接口640以经由PHY 640传输到显示设备604。压缩过程626、638提供的压缩导致用于传输显示图像的区域的减少的带宽需求。此外，在采用早期子像素渲染的实施例中，表示显示图像所需的像素值的减小进一步降低了用于通过PHY 632、640传输显示图像的区域的带宽要求。这允许PHY 632、640的较不复杂的实现以及PHY 632、640的实现中的一个或两个，PHY 632、640的实现由于以较低数据速率传输数据所需的较低时钟要求而消耗较少功率。

当在显示控制器610处接收到压缩的中央凹区域和外围区域的像素数据时，在路径703的块713处，显示控制器610执行中央凹解压缩过程634以对压缩的中央凹区域进行解压缩，而在路径704的块714处，显示控制器610执行外围解压缩过程646以对压缩的外围区域进行解压缩。

当外围区域或中央凹区域中的一个或两个以比像素阵列612和中央凹区域的分辨率更低的分辨率渲染时，在执行联合利用中央凹区域和外围区域的任何过程之前将像素阵列的较低分辨率区域放大到较高分辨率通常是有用的。如上所述，在传统的显示系统中，在将图像传输到显示设备之前在渲染设备处执行该放大，并且因此导致更大量的数据通过连接渲染设备和显示设备的PHY传输。相反，在方法700中，渲染设备向显示设备604传输外围区域(并且在一些实施例中，中央凹区域)而不将其放大(即，以其原始的较低分辨率形式)，从而需要较低的传输带宽。因此，为了准备接收的解压缩的外围区域以进行进一步处理，在路径704的块716，显示控制器610执行缩放过程648以将外围区域放大到中央凹区域或像素阵列612的较高分辨率。同样，如果以较低分辨率渲染中央凹区域，那么为了准备接收的解压缩外围区域以进行进一步处理，在路径703的块715，显示控制器610执行缩放过程以将中央凹区域放大到较高分辨率。作为外围区域的传输过程的一部分，渲染设备602可以提供指示外围区域的预期尺寸和中央凹区域的位置的尺寸信息。该尺寸信息可以嵌入在用于外围区域的数据流中(例如，作为一个或多个报头或者在垂直消隐间隔或水平消隐间隔期间)，或者可以通过单独的边带通道在渲染设备602和显示设备604之间提供。利用该尺寸信息，缩放过程648可以实现用于放大外围区域的各种公知放大技术中的任何一种。例如，可以使用基于像素复制的过程、基于像素插值的过程或基于运动预测的过程中的一个或多个来实现放大。

在外围区域放大到较高分辨率的情况下，在块720处，显示控制器610执行混合过程650，以在中央凹区域的边缘处在空间上和时间上混合中央凹区域和外围区域，以生成在渲染设备602处所生成的原始图像的修改表示。如果像素阵列612实现非RGB像素格式并且如果在渲染设备602处未实现早期SPR，则在块718处，显示控制器610执行SPR过程656、658(图6)以在由块720表示的混合过程650之前，将中央凹区域和外围区域的RGB像素格式(在放大之后)变换为非RGB格式。或者，可以在混合过程之后执行SPR过程以将原始图像的修改表示的像素格式从RGB格式变换为非RGB格式。否则，如果像素阵列612采用RGB像素格式或者早期SPR被实现，则可以跳过块718的过程。在块722处，显示控制器610对修改的图像执行一个或多个补偿过程654。这样的补偿过程654可以包括例如诸如伽马颜色校正过程的光学畸变校正过程、用于改善基于OLED的像素阵列612的均匀性的校正过程或者用于线性化基于LCD的像素阵列612的液晶响应的校正过程。此外，补偿过程654被示为在显示控制器610处执行，在其他实施例中，一个或多个补偿过程654可以替代地在GPU 606处的管线中更早地实现。

在混合和校正之后，所得到的图像准备好在像素阵列612处显示。因此，在块724，显示控制器驱动像素阵列612以通过下述方式来显示所得到的图像：顺序地将所得到的图像的像素数据的行读取到列控制组件614的行缓冲器(未示出)内，并根据相应的显示定时时钟控制行控制组件616和列控制组件614，以根据本领域公知的缓冲的像素数据行在相应的行处照射像素阵列612的像素。对于图像序列的每个图像重复方法700的过程，并且在基于HMD的显示系统或其他基于双显示器的系统中执行方法700的两个并行实例，从而向用户呈现代表AR或VR场景的立体图像。

如上所述，中央凹PHY 632和外围PHY 644可以实现为单独的PHY或者一起实现为单个PHY。使用单独的PHY具有通过任何一个PHY仅传输图像的一部分像素数据的优点，因此更低功率或更低复杂度的PHY可以被实现，但是以使用多个PHY来向显示设备604传输图像序列为代价。相反，使用单个PHY避免了为图像序列的传输实现多个PHY的复杂性，但是因为中央凹区域和外围区域具有不同的垂直分辨率，所以简单地通过将一个或多个外围区域附加到中央凹区域组合传输中央凹区域和一个或多个外围区域通常与传统的PHY协议不兼容，因为这样的协议期望传输的图像的每一行具有相同的长度。图8至图13示出了用于将用于中央凹区域和一个或多个外围区域的像素流组合成与许多传统PHY实现的固定行长度要求兼容的组合像素流的示例技术。

转到图8，描绘了具有经由单个PHY 806耦合到显示设备804(显示设备604的一个实施例)的渲染设备802(渲染设备602的一个实施例)的显示系统800(显示系统600的一个实施例)。如图所示，PHY 806包括一组809的导线或其他信号导体，其一端连接到接口808，其另一端连接到接口810。PHY 806实现信令协议，该信令协议期望或强制任何传输的像素阵列具有恒定宽度的行。在渲染设备802处连接到接口808的是具有缓冲器816的像素流组合组件812，而接口810在显示设备804处连接到具有缓冲器818的像素流分离组件814。组件812、814可以实现为硬编码逻辑、执行软件的一个或多个处理器或其组合。

在操作中，所示的中央凹数据路径部分820-1(表示在渲染设备602处实现的中央凹数据路径620的一部分)将表示正在生成以用于显示的图像的中央凹区域的像素数据流传输到像素流组合组件812，并且外围数据路径部分822-1(表示在渲染设备602处实现的外围数据路径622的部分)将表示图像的外围区域的像素数据流传输到像素流组合组件812。像素流组合组件812当这些像素流被接收时，将这些像素流缓冲在缓冲器816中。然后，像素流组合组件812将具有较高垂直分辨率的图像区域(在本文中称为“基本区域”以便于引用)的像素阵列的每一行与来自具有较低的垂直分辨率的每个图像区域(在此称为“非基本区域”)的像素阵列的一行或多行的设定数目的像素进行组合，以生成组合像素阵列的相应的行，使得组合像素阵列的每一行具有相同数目的像素，因此适合于通过PHY 806进行传输。作为该过程的一部分，像素流组合组件812确定来自非基本区域的像素的数目以附加到基本图像的对应的像素行，该数目被称为非基本区域的“分区计数”。为每个非基本图像区域确定分区计数。

在显示设备804处，像素流分离组件814接收表示该组合像素阵列的数据流，并当该数据流被接收时将该数据流缓冲在缓冲器818中。然后，像素流分离器组件814使用从像素流组合组件812接收(并指示图像区域的水平和垂直分辨率)的尺寸信息824以将组合的像素阵列分割成重构的基本图像区域和一个或多个非基本区域。然后，将构成中央凹区域的图像区域提供给图示的中央凹数据路径部分820-2(其表示显示设备处的中央凹数据路径620的一部分)，并且然后将构成一个或多个外围区域的图像区域提供到所示的外围数据路径部分822-2(其表示显示设备处的外围数据路径622的一部分)以进行进一步处理，如上所述。

参考图9和图10，可以更好地理解像素流组合组件812所采用的图像区域组合技术。在图9的框图900中，示出了与单个非基本图像区域904(其在该示例中是外围区域)相邻的基本图像区域902(其在该示例中是中央凹区域)，其中，表示区域902、904的框的水平和垂直尺寸表示区域902、904的相对水平和垂直分辨率。如果仅通过将非基本图像区域904的每一行附加到基本图像区域902的对应行来进行通过PHY 806传输两个区域902、904的尝试。则协议问题可能出现，因为基本图像区域902的行的集合906将没有来自非基本图像区域904的相应行要附加，并且因此区域902、904的传输将导致两个不同长度的像素行的传输。

如框图901所示，像素流组合组件812所采用的特定技术通过下述方式来提供均匀长度的组合行：实际上将非基本区域904整形成整形的非基本区域908，该非基本区域908实际上具有与基本图像区域902相同的垂直分辨率(以及相应地降低的水平分辨率，使得非基本区域904的像素计数保持恒定)。因此，基本图像区域902的每一行在整形的非基本区域908中具有对应的行，并且因此这些行对的附加导致组合的像素阵列910，其中，每行具有相同的宽度，并且因此有助于经由PHY 806有效地传输组合像素阵列910。

如图10所示，类似地实现图像区域整形和组合过程以用于将图像划分为中央凹区域和多个外围区域的实现。如框图1000所示，可以对图像进行中央凹渲染，以便得到基本图像区域1002和非基本区域1003和1004，其中，表示区域1002、1003、1004的框的水平和垂直尺寸表示区域1002、1003、1004的水平和垂直分辨率。如框图1001所示，非基本区域1003、1004由像素流组合组件812整形，以具有与具有对应的降低的水平分辨率的基本图像区域1002相同的垂直分辨率，得到整形的非基本图像区域1006、1008。然后，将基本图像区域1002的每一行与来自整形的非基本图像区域1006的像素“行”和来自整形的非基本图像区域1008的像素“行”组合，以形成所得到的组合像素阵列1010的对应行。由于组合像素阵列1010的每一行具有相同宽度，所以组合像素阵列1010非常适合经由PHY 806进行传输。

图11示出了根据一些实施例的用于由像素流组合组件812采用的整形和组合过程的示例方法1100，用于将不同垂直分辨率的多个图像区域组合成具有恒定行宽的组合像素阵列。对于以下内容，假设所有图像区域的帧速率相同。方法1100在块1102处开始，其中，像素流组合组件812确定由渲染设备802渲染的图像的每个图像区域的水平分辨率和垂直分辨率。对于通过渲染设备802生成的图像序列的每个图像，这些分辨率可以是固定的，在这种情况下，默认设置用于确定水平分辨率和垂直分辨率。在其他实施例中，渲染设备802可以根据各种因素动态地调整在图像之间的区域的分辨率，该各种因素例如是眼睛移动的速率、图像中表示的运动的移动速率等。在这种情况下，GPU 606可以将每个渲染图像区域的分辨率值传送到像素流组合组件812。

在块1104处，像素流组合组件812确定每个图像区域是否具有相同的垂直分辨率。如果是这样，则不需要整形任何图像区域，因此在块1106处，像素流组合组件812可以通过将图像区域的每一行与每个其他图像区域的对应行组合以生成组合像素阵列的相应行来将图像区域组合成组合像素阵列以进行传输。

然而，在图像区域具有不同垂直分辨率的情况下，在块1108，像素流组合组件812将具有最大垂直分辨率的图像区域识别为“基本”图像区域，并将其他图像区域识别为“非基本区域”。此外，基本图像区域的垂直分辨率在此表示为“Vb”。在块1110处，像素流组合组件812识别每个非基本区域的分区计数。如下所述，非基本区域的分区计数表示从非基本区域的一个或多个相邻行中提取的像素的数目，非基本区域的一个或多个相邻行在形成用于被构造和传输的组合像素阵列的组合行时被附加到基本图像区域的对应行。可以根据以下表达式(等式1)确定非基本区域的分区计数：

其中，partition_count表示非基本图像区域的分区计数，Vr表示非基本图像区域的原始垂直分辨率，Hr表示非基本图像区域的原始水平分辨率，Vb表示基本图像区域的垂直分辨率。此外，像素流组合组件812将图像区域的水平分辨率和垂直分辨率的指示作为尺寸信息824(图8)传输到显示设备804。

在块1112，像素流组合组件812从缓冲器816中缓冲的一行或多行中选择行序列中的基本图像区域的下一行，在块1112的第一次迭代中选择行0。在块1114，像素流组合组件812从非基本区域提取等于分区计数的多个像素，并将提取的像素附加到在块1112的当前迭代中选择的基本图像区域的像素行。在存在多于一个非基本图像的情况下，对每个非基本图像区域重复进行该提取和附加过程。

从上面定义的用于计算分区计数的表达式理解，非基本图像区域可以不由等于分区计数的整数倍的像素组成。在这种情况下，将没有来自非基本图像区域的足够的剩余像素来提取以附加到组合像素阵列的最后一行或最后几行。在这种情况下，像素流组合组件812可以为每个丢失的像素插入默认值，其中，该默认值可以包括空值或“不关心”值，因为像素流分离组件814将丢弃默认值，如下所述。

在已经提取并附加来自所有非基本图像区域的像素之后，在块1116，由像素流组合组件812将所得到的组合像素行输出到接口808，以经由PHY 806传输到显示设备804以作为通过方法1100生成并传输的组合像素阵列的一行。通常，经由诸如PHY 806的PHY传输图像或其他像素阵列涉及使用像素时钟和水平消隐间隔来描绘每个像素的传输并描绘正在传输的每行像素的末尾。因此，用于传输组合像素阵列的每个组合行的像素时钟被设置为否则将用于单独传输每个图像区域的像素时钟之和。为了说明，如果正在处理的渲染图像具有具有像素时钟CLK_F的一个中央凹区域和具有像素时钟CLK_P的一个外围区域，则用于传输组合像素阵列的每一行的像素时钟CLK_C将是CLK_C＝CLK_K+CLK_P。如果正在处理的渲染图像具有具有像素时钟CLK_F的一个中央凹区域和分别具有像素时钟CLK_P1和CLKP2的两个外围区域，则用于传输组合像素阵列的每一行的像素时钟CLK_C将是CLK_C＝CLK_K+CLK_P1+CLK_P2。出于类似的原因，用于传输的组合像素阵列的水平同步(Hsync)周期和垂直同步(Vsync)周期将分别设置为基本图像区域的Hsync周期和Vsync周期。

在块1118，像素流组合组件812确定是否已经选择并处理了基本图像区域的所有行。如果不是，则方法1100返回到用于选择基本图像的下一行的块1112以及用于所选择的下一行的块1114和1116的下一次迭代。否则，如果已经选择、处理和传输了所有行，则方法1100的当前迭代结束，并且对于显示序列中的下一图像开始另一次迭代。

图12示出了根据至少一些实施例的用于组合两个图像区域的方法1100的示例实现。在该示例中，具有10×16像素的分辨率的图像区域1202将与具有6×10像素的分辨率的图像区域1204组合。由于图像区域1202具有较高的垂直分辨率，因此将其指定为基本图像区域1201，并且因此将图像区域1204识别为非基本图像区域1204。使用等式1，分区计数被计算为6个像素。因此，如框图1206所示，提取基本图像区域1202的第一行1208(行0)的像素，也提取来自非基本图像区域1204的行0的前6个像素的集合1210，并且这些像素被组合以生成得到的组合像素阵列的二十二个像素的所示行1212(行0)。如框图1214所示，为了生成组合像素阵列的第二行1222(行1)，提取基本图像区域1202的第二行1216(行1)，来自非基本图像区域1204的接下来的六个像素被提取。如图所示，在非基本图像区域1204的第一行中仅剩下四个未提取的像素，因此从第一行提取该四个像素的集合1220以及非基本图像区域的下一行(行1)中前两个像素的集合1221，使得用于组合像素阵列的第二行1222的从非基本图像区域提取的像素的总数等于分区计数。然后，对于基本图像区域1202的剩余八行中的每一行，该过程将继续，从而生成具有十行的组合像素阵列，每行有二十二个像素。

图13示出了根据一些实施例的用于通过像素流分离组件814将所接收的组合像素阵列划分成其组成图像区域的示例方法1300。对于以下内容，假设接收的组合像素阵列是根据图11的方法1100构造的，并且包括单个非基本区域。然而，方法1300可以使用本文提供的指南适用于多个非基本区域。方法1300在块1302处开始，其中，像素流分离组件814确定每个图像区域的水平分辨率和垂直分辨率。如上所述，该信息可以与表示组合像素阵列的数据一起传输，或者经由边带信道传输。或者，中央凹区域和外围区域的尺寸由渲染设备802和显示设备804两者预先确定，因此不必单独确定该信息。在块1304，像素流分离组件814设置各种临时变量，包括将变量X设置为基本图像区域的水平分辨率，将变量Y设置为非基本图像区域的水平分辨率，将变量K设置为基本图像区域的垂直分辨率，将变量J设置为非基本图像区域的垂直分辨率，将变量S设置为分区计数，将变量MAX设置为非基本图像区域中的像素数目(即Y*J)，并将变量CUR_ROW、Q、I和PIXEL_CNT初始化为零。在像素流分离组件814如此初始化的情况下，在块1306，像素流分离组件814开始接收和缓冲表示组合像素阵列的数据流。然后，像素流分离组件814初始化由块1308-1334表示的行分段过程的迭代。

变量I用于跟踪针对基本图像区域提取的行数，变量K表示基本图像区域的垂直分辨率。因此，在块1308，像素流分离组件814通过确定是否变量I>＝K来确定是否已完成基本图像区域的提取。如果是，则在块1310处，像素流分离组件814将基本图像区域的重构表示为完成，并将得到的基本图像区域提供给显示控制器610的其他组件以进行进一步处理，并且方法1300变换到块1314。否则，在块1312，像素流分离组件814从像素流提取接下来的X个像素(或者，第一次迭代的前X个像素)，并输出该组的X个像素作为重构的基本图像区域的对应行。

变量PIXEL_CNT用于确定到目前为止针对非基本图像区域已经提取的像素的数目。因此，在块1314，像素流分离组件814通过确定是否变量PIXEL_CNT＝MAX来确定是否已完成非基本图像区域的提取。如果是，则在块1316，像素流分离组件814将非基本图像区域的重构表示为完成，并将得到的非基本图像区域提供给显示控制器610的其他组件以进行进一步处理，并且方法1300终止当前图像(尽管可以针对像素流中的下一图像重新初始化方法1300)。否则，像素流分离组件814准备提取组合的像素行的行的剩余部分。

应当理解，在一些情况下，非基本图像部分中的像素总数不是分区计数的整数倍，并且因此组合图像部分的最后一行将不是实际像素值的整行，但可能需要“不关心”填充；也就是说，用一个或多个不关心值完成最后一行。为了防止提取这些不关心值并将它们用作实际像素值，在块1318，像素流分离组件814将变量S设置为S的值中的较小值或MAX和PIXEL_CNT之间的差值(也就是MAX-PIXEL_CNT)。因此，直到最后一行，变量S继续被设置为分区计数的值，但是对于最后一行，如果最后一行包含不关心值，则S的值将被设置为除了这些不关心值之外剩余的像素值的数目。

利用针对该迭代确定的S的值，在块1320，像素流分离组件814从像素流中提取来自像素流的下一个S像素，并输出该组Y个像素作为重构的非基本图像区域的对应行。在块1322处，像素流分离组件814确定正在重构的非基本图像的当前行是否具有大于在块1320处从像素流提取的像素的数目S的未填充像素的数目。即，如果Y表示非基本图像的水平分辨率，并且变量CUR_ROW表示已经针对当前行提取的提取像素的数目，则S与Y和CUR_ROW之间的差的比较可以表示该确定。如果该差大于S，则正在重构的当前行将需要所有S个提取的像素加上来自组合图像区域的下一行的附加像素，因此在块1324，所有S个提取的像素被附加到已经在当前行存在的像素。否则，在块1326，像素流分离组件814通过确定是否CUR_ROW＝Y来确定当前行是否完成。如果是，则在块1328，开始非基本图像区域的新行，并且该新行被指定为当前行。此外，来自块1320的所有S个提取的像素被附加或插入作为该行的前S个像素，并且变量CUR_ROW被设置为S以反映此时的当前行现在具有S个像素。

返回到块1326，如果当前行未完成，并且当前行需要少于S个像素来完成，则在块1330，像素流分离组件814将变量Q设置为Y和CUR_ROW之间的差(即，Q＝Y-CUR_ROW)并将提取的S个像素的前Q个像素附加到当前像素行，从而完成当前行。因此，在块1332，像素流分离组件814开始非基本图像的新行并将该新行设置为当前行，插入/附加剩余的S-Q个提取的像素作为当前行的最前面的像素，并且然后将CUR_ROW设置为值S-Q以反映当前行当前包含S-Q个像素。

在块1324、1328或1332中合适的一个处的过程后，在块1334，像素流分离组件814反映该S个像素已经通过将PIXEL_CNT增加了S而加入到非基本图像区域，并且还反映通过将变量I递增1而在块1312添加基本图像区域的行。然后，方法1300的流程返回到块1308以进行下一次迭代。

如上所述，显示系统可以在渲染设备处采用早期子像素渲染，以便减少用于渲染图像区域的计算资源以及将图像区域传输到显示设备的带宽要求。图14至图16示出了用于通过低分辨率RGB渲染过程利用非RGB像素阵列进一步降低在显示系统中渲染和传输图像区域的计算和带宽要求的技术。尽管在渲染图像区域(例如，上述中央凹形图形管线中的中央凹区域或外围区域)的场境中描述了这种低分辨率RGB渲染过程，但是该过程不限于这样的场境，而是可以在利用具有非RGB像素格式的像素阵列的显示设备的各种显示系统中的任何一种中使用，其中，一种颜色分量以比像素格式的其他颜色分量更高的频率呈现。也就是说，虽然下面描述的低频子像素渲染过程可以由显示系统100、600和800实现，但是该过程不限于这样的系统。这样，对于图14至图16的描述中的“图像区域”的引用除非另有说明，否则也同样适用于整个图像。

现在转向图14，示出了根据至少一个实施例的实现低分辨率RGB渲染过程的显示系统1400。显示系统1400包括经由具有接口1408和1410的PHY 1406耦合到显示设备1404的渲染设备1402。渲染设备1402包括接口1408、至少一个GPU 1412和低分辨率RGB模块1414。设备1404包括接口1410、具有非RGB像素格式的像素阵列1416以及子像素缩放模块1420。在图14的示例中，低分辨率RGB模块1414被示为由GPU 1412执行的软件实现的模块，但是在其他实施例中，低分辨率SPR模块1414可以完全以硬编码逻辑或可编程逻辑实现，或者作为软件实现的模块和硬编码逻辑或可编程逻辑的组合实现。子像素缩放模块1420同样可以实现为硬编码或可编程逻辑、由显示控制器1418的处理器执行的软件实现的模块或其组合。

作为一般操作概述，低分辨率RGB模块1414用于以比像素阵列1416的分辨率更低的分辨率渲染RGB格式的图像区域。像素阵列1416的非RGB像素格式具有颜色分量，其具有比像素阵列1416的其他分量更高的频率。即，非RGB像素格式导致一种颜色的子像素以比像素阵列1416的另一分量的子像素更高的频率出现。为了便于参考，在非RGB像素格式中更频繁地出现/具有更高分辨率的颜色分量在本文中称为“主要颜色分量”，而非RGB像素格式的其他颜色分量是这里称为“次要颜色分量”。为了说明，RGBG像素格式导致绿色分量的分辨率是红色分量或蓝色分量的两倍。因此，对于RGBG像素格式，绿色分量将是主要颜色分量，而红色分量和蓝色分量将是次要颜色分量。

不是渲染图像区域使得子像素以由显示器的非RGB像素格式的主要颜色分量指示的分辨率呈现，而是在至少一个实施例中，低分辨率RGB模块1414改为以次要颜色分量的较低频率渲染具有RGB像素的图像区域。再次使用RGBG像素格式作为示例，具有400个像素的水平分辨率的RGBG格式图像将具有400个绿色子像素，但是仅200个红色子像素和200个蓝色子像素。因此，在这样的示例中，不是按照传统方法以400个RGB像素的水平分辨率渲染图像区域，而是低分辨率RGB模块1414将以200个RGB像素的水平分辨率渲染图像区域。通过RGB渲染具有该较低分辨率的图像区域，由比使用RGB格式以等于基于RGBG的像素阵列1416的水平分辨率的水平分辨率表示图像区域所需的数据更少的数据来表示所得到的图像区域。因此，需要较少的带宽、复杂性和功率来计算图像区域并将其传输到显示设备1404。

由于在显示设备1404的显示控制器1418处接收的图像区域由于处于不同的像素格式和较低的分辨率而不具有与像素阵列1416的像素格式直接兼容的格式，所以子像素缩放模块1420操作以将接收的图像变换为与像素阵列1416兼容的像素格式和分辨率。作为该过程的一部分，子像素缩放模块1420将表示图像的输入RGB流的每个对应部分放大为更大数量的RGBG输出像素。为了使用RGBG像素格式说明，由于RGBG像素格式具有两倍于红色或蓝色子像素的绿色子像素，因此该放大过程包括从渲染图像部分的RGB数据中放大绿色子像素，同时以原始分辨率保持红色和蓝色子像素。由此使得到的重新格式化的图像区域与像素阵列1416的非RGB像素格式兼容。

图15示出了根据一些实施例的更详细地描绘低分辨率RGB渲染过程的方法1500。为了便于说明，参考图16中描绘的相对简单的示例来描述方法1500。如上所述，渲染设备1402可以适于连接到具有具有不同非RGB像素格式的像素阵列的各种类型的显示设备中的任何一种。这样，渲染设备1402可能不具有由显示设备1404实现的特定非RGB像素格式的先验了解。因此，方法1500在块1502处启动，其中，低分辨率SPR模块1414确定像素阵列1416使用的非RGB像素格式。在一个实施例中，渲染设备1402向显示设备1404查询显示设备1404采用的非RGB像素格式的指示符，或者否则从显示设备1404获得该指示符。为了说明，渲染设备1402可以经由在PHY 1406中实现的控制信道或者作为嵌入在像素流的头部或其他字段中的参数来传输查询并接收作为响应的指示符。或者，渲染设备1402和显示设备1404可以经由单独的边带信道传送该指示符。出于图16的示例的目的，假设像素阵列1416实现RGBG像素格式。

在块1504处，低分辨率RGB模块1414基于非RGB像素格式识别哪个颜色分量是主要颜色分量以及哪些颜色分量是次要颜色分量，以及每个颜色分量的分辨率。为了说明，对于传统的RGBG像素格式，每个像素由两个子像素组成，这两个子像素可以包括红色子像素和绿色子像素或蓝色子像素和绿色子像素。结果，对于像素分辨率为H×V的图像，红色分量将具有H/2×V/2的分辨率，蓝色分量将具有H/2×V/2的分辨率，而绿色分量具有HxV的较高分辨率。因此绿色分量将被识别为主要颜色分量，红色和绿色分量将被识别为次要颜色分量。

在块1506，低分辨率RGB模块1414渲染RGB像素格式并且具有基于像素阵列1416的非RGB格式的次要颜色分量的分辨率的分辨率的图像区域，如块1502和1504所示。图16示出了以次要颜色的较低频率渲染的图像区域1600的示例。在该简化示例中，像素阵列1416具有4行，并且对于绿色分量具有8个子像素的水平分辨率，并且对于红色和蓝色分量中的每一个具有4个子像素的水平分辨率。因此，图像区域1600被渲染为RGB像素的4×4阵列，每个RGB像素由一个红色子像素、一个绿色子像素和一个蓝色子像素组成(例如，RGB像素1602具有红色子像素1604、绿色子像素1606和蓝色子像素1608)。应当理解，在典型的实现中，分辨率将远大于该简单示例

在块1508，经由PHY 1406将得到的低分辨率图像区域传输到显示设备1404。由于与传统方法相比，低分辨率图像区域以较低分辨率被渲染，所以低分辨率图像区域需要通过PHY 1406传输的功率和带宽较少。为了说明，图16的图像区域1600具有48个子像素(4行×4列×3个子像素/像素)，并且假设每个子像素由8位值表示，图像区域1600需要384比特。相反，在传统方法中，图像部分将以4×8个RGB像素的分辨率被渲染，因此具有96个子像素，因此需要768比特或者像素数据量的两倍。

在块1510，在显示控制器1418处接收低分辨率RGB图像区域，并且子像素缩放模块1420将RGB图像区域变换为像素阵列1416的非RGB格式。作为该格式变换过程的一部分，子像素缩放模块1420对RGB图像区域中的主要颜色子像素进行放大，使得主要颜色子像素以与像素阵列1416的非RGB像素格式中找到的相同的频率/分辨率呈现于所得到的高分辨率图像区域中，而次要颜色子像素以与RGB图像区域中找到的相同的频率，因此与像素阵列1416中找到的相同频率呈现。为了参照图像区域1610进行说明，图像区域1610表示由显示控制器1418接收的图像区域1600，并且在初始格式变换之后，图像区域1600的RGB像素的红色、绿色和蓝色子像素用于生成包括红色子像素和绿色子像素组合或蓝色子像素和绿色子像素组合的RGBG像素。然而，由于RGB图像具有与红色子像素和蓝色子像素的数目相同的多个绿色子像素，因此放大过程可以包括复制主要颜色子像素(即，该示例中的绿色子像素)以替换省略的子像素，例如复制绿色子像素1612以替换同一行中省略的绿色子像素1614，或者复制绿色子像素1616以替换在不同的行中的省略的绿色子像素1218。或者，放大过程可以包括相邻主要颜色子像素的内插以生成省略的子像素，例如使用靠近省略的子像素1620的一个或多个绿色子像素进行内插，以便生成图像区域1610中的省略的子像素1620的值，图16的图像区域1622示出了所得到的图像区域，其包括新引入的绿色子像素，以填充从先前渲染和传输的低分辨率图像区域中省略的绿色子像素。

如图所示，图像区域1622具有RGBG像素格式，因此对于基于RGBG的像素阵列1416的显示兼容。然而，块1510的格式变换和放大过程导致水平分辨率的增加而没有所得到的图像部分的垂直分辨率的相称的增加。因此，为了在像素阵列1416处维持用于适当显示的图像部分的纵横比，在块1512处，子像素缩放模块1420使用一种或多种颜色分量使用各种公知放大技术中的任何一种来垂直放大图像区域1622。因此，所得到的水平和垂直缩放图像部分准备好进行进一步处理，以准备在像素阵列1416处的显示，如上所述。

上述许多发明功能和许多发明原理非常适合于与诸如专用集成电路(ASIC)之类的集成电路(IC)一起实现或在其中实现。预期普通技术人员，即使在可用的时间、当前技术和经济考虑因素的推动下可能作出重大努力和许多设计选择，当由本文公开的概念和原理引导时，将能够用最少的实验容易地生成这样的IC。因此，为了简化和最小化模糊根据本公开的原理和概念的任何风险，对这样的软件和IC的进一步讨论(如果有的话)将限于相对于在优选实施例中的原理和概念的基本要素。

在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器实现。该软件包括存储或否则有形地体现在非暂时性计算机可读存储介质上的一组或多组可执行指令。软件可以包括指令和某些数据，其当由一个或多个处理器执行时，操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可包括例如磁盘或光盘存储设备、诸如闪存的固态存储设备、高速缓存和随机存取存储器(RAM)或其他非易失性存储设备或等等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或由一个或多个处理器解释或否则可执行的其他指令格式。

在本文中，诸如第一和第二之类的关系术语等可以仅用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这些实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”或其任何其他变型旨在涵盖非排他性包含，使得包括元素列表的过程、方法、物品或装置不仅包括那些元素，而是可以包括未明确列出的或者这种过程、方法、物品或装置固有的其他元素。在没有更多约束的情况下，前面带有“包括......”的元素不排除在包括该元素的过程、方法、物品或装置中存在另外的相同元素。如本文所用，术语“另一个”定义为至少第二或更多个。这里使用的术语“包括”和/或“具有”被定义为包括。这里参考电光技术使用的术语“耦合”被定义为连接，但不一定是直接连接，也不一定是机械连接。这里使用的术语“程序”被定义为设计用于在计算机系统上执行的指令序列。“应用”或“软件”可以包括子例程、函数、过程、对象方法、对象实现、可执行应用、小应用、servlet、源代码、目标代码、共享库/动态加载库和/或设计用于在计算机系统上执行的其他指令序列。

说明书和附图应仅被视为示例，并且本公开的范围因此仅旨在由所附权利要求及其等同物限制。注意，并非需要在一般描述中上述的所有活动或元素，可能不需要特定活动或设备的一部分，并且可以执行一个或多个其他活动，或者除了所述的那些之外还包括元素。此外，列出活动的顺序不一定是它们的执行顺序。除非另有说明，否则上述流程图的步骤可以是任何顺序，并且取决于实现，可以消除、重复和/或添加步骤。而且，已经参考特定实施例描述了这些概念。然而，本领域普通技术人员认识到，在不脱离如所附权利要求所阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图应被视为说明性而非限制性意义的，并且所有这些修改旨在包括在本公开的范围内。

上面已经针对特定实施例描述了益处、其他优点和问题的解决方案。但是，益处、优点、问题的解决方案以及可能导致任何益处、优点或解决方案发生或变得更加明显的任何特征不应被解释为任何或任何或所有权利要求的关键、必需或必要特征。

Claims

1.一种中央凹显示系统，包括：

渲染设备，所述渲染设备包括用于渲染第一图像的中央凹区域和第一外围区域的至少一个图形处理单元GPU，所述中央凹区域具有比所述第一外围区域更高的分辨率；以及

显示设备，所述显示设备经由至少一个物理层耦合到所述渲染设备，所述显示设备包括：

像素阵列；以及

耦合到所述像素阵列的显示控制器，所述显示控制器包括：

缩放组件，所述缩放组件用于放大所述第一外围区域以生成缩放的第一外围区域；以及

混合组件，所述混合组件用于将所述中央凹区域与所述缩放的第一外围区域混合以生成第二图像。

2.根据权利要求1所述的中央凹显示系统，其中，所述渲染设备用于经由相同的物理层将所述中央凹区域和所述第一外围区域传输到所述显示设备。

3.根据权利要求2所述的中央凹显示系统，其中：

所述中央凹区域由以第一数目的行和第二数目的列的第一像素阵列组成；

所述第一外围区域由以第三数目的行和第四数目的列的第二像素阵列组成；以及

所述渲染设备进一步包括：

像素流组合组件，所述像素流组合组件用于将所述中央凹区域和所述第一外围区域组合为具有第五数目的行和第六数目的列的第三像素阵列以用于传输，从而行的所述第五数目等于所述第一数目和所述第三数目中的较大者，并且所述第六数目是基于所述第二数目和所述第四数目。

4.根据权利要求3所述的中央凹显示系统，其中，所述像素流组合组件用于通过下述方式来生成所述第三像素阵列的行：基于所述第三数目来确定第七数目，并且将来自所述第一阵列或所述第二阵列中具有较小数目的行的一个阵列中的一行或多行的、等于所述第七数目的数目的像素附加到所述第一阵列或所述第二阵列中具有较大数目的行的一个阵列中的像素行。

5.根据权利要求3所述的中央凹显示系统，其中，所述显示控制器进一步包括：

像素流分离组件，所述像素流分离组件用于接收所述第三像素阵列并将所述第三像素阵列分离成所述第一像素阵列和所述第二像素阵列。

6.根据权利要求1所述的中央凹显示系统，其中，所述渲染设备用于经由第一物理层将所述中央凹区域传输到所述显示设备，并且经由不同于所述第一物理层的第二物理层将所述第一外围区域传输到所述显示设备。

7.根据权利要求1所述的中央凹显示系统，其中：

所述渲染设备进一步被配置为压缩所述中央凹区域以生成压缩的中央凹区域，并压缩所述第一外围区域以生成压缩的外围区域；以及

所述显示控制器进一步用于对所述压缩的中央凹区域进行解压缩，并对所述压缩的第一外围区域进行解压缩。

8.根据权利要求1所述的中央凹显示系统，其中，所述显示控制器进一步包括：

子像素渲染组件，所述子像素渲染组件用于对所述中央凹区域进行子像素渲染以生成所述中央凹区域，并且对所述第一外围区域进行子像素渲染以生成所述第一外围区域。

9.根据权利要求1所述的中央凹显示系统，其中：

所述GPU进一步用于渲染所述第一图像的第二外围区域，所述第二外围区域具有比所述第一外围区域低的分辨率；

所述缩放组件进一步用于放大所述第二外围区域以生成缩放的第二外围区域；以及

所述混合组件进一步用于混合所述中央凹区域、所述缩放的第一外围区域和所述缩放的第二外围区域，以生成所述第二图像。

10.根据权利要求1所述的中央凹显示系统，其中：

所述显示设备是头戴式显示设备；以及

所述像素阵列在左眼显示面板或右眼显示面板中的一个中实现。

11.根据权利要求10所述的中央凹显示系统，其中：

所述HMD设备包括注视跟踪系统，所述注视跟踪系统用于跟踪用户的至少一只眼睛的注视方向；以及

所述GPU用于基于所述注视方向确定所述第一图像的所述中央凹区域的位置。

12.在包括经由至少一个物理层连接到显示设备的渲染设备的中央凹显示系统中，一种方法包括：

使用所述显示设备的至少一个图形处理单元GPU渲染第一图像的中央凹区域和第一外围区域，所述中央凹区域具有比所述第一外围区域的更高分辨率；

经由所述至少一个物理层，将所述中央凹区域和所述第一外围区域传输到所述显示设备；

在所述显示设备的显示控制器处，放大所述第一外围区域以生成缩放的第一外围区域；以及

在所述显示控制器处，混合所述中央凹区域和所述缩放的第一外围区域以生成第二图像。

13.根据权利要求12所述的方法，其中：

传输所述中央凹区域和所述第一外围区域包括：经由相同的物理层将所述中央凹区域和所述第一外围区域传输到所述显示设备。

14.根据权利要求13所述的方法，其中：

所述方法进一步包括：

将所述中央凹区域和所述第一外围区域组合为具有第五数目的行和第六数目的列的第三像素阵列以用于传输，从而行的所述第五数目等于所述第一数目和所述第三数目中的较大者，并且所述第六数目是基于所述第二数目和所述第四数目。

15.根据权利要求14所述的方法，其中，组合所述中央凹区域和第一外围区域包括：

通过下述方式来生成所述第三像素阵列的行：基于所述第三数目来确定第七数目，并且将来自所述第一阵列或所述第二阵列中具有较小数目的行的一个阵列的中一行或多行的、等于所述第七数目的数目的像素附加到所述第一阵列或所述第二阵列中具有较大数目的行的一个阵列中的像素行。

16.根据权利要求14所述的方法，进一步包括：

在所述显示控制器处经由相同的物理层接收所述第三像素阵列；以及

在所述显示控制器处，将所述第三像素阵列分离成所述第一像素阵列和所述第二像素阵列。

17.根据权利要求16所述的方法，其中：

传输所述中央凹区域和所述第一外围区域包括：经由第一物理层将所述中央凹区域传输到所述显示设备，并且经由不同于所述第一物理层的第二物理层将所述第一外围区域传输到所述显示设备。

18.根据权利要求12所述的方法，进一步包括：

在所述渲染设备处，压缩所述中央凹区域以生成压缩的中央凹区域；

在所述渲染设备处，压缩所述第一外围区域以生成压缩的外围区域；

在所述显示控制器处，对所述压缩的中央凹区域进行解压缩以生成所述中央凹区域；

在所述显示控制器处，对所述压缩的第一外围区域进行解压缩以生成所述第一外围区域；以及

其中，传输所述中央凹区域和所述第一外围区域包括传输所述压缩的中央凹区域和所述压缩的第一外围区域。

19.根据权利要求18所述的方法，进一步包括：

使用所述渲染设备的至少一个GPU，将所述中央凹区域和所述第一外围区域的像素格式从红绿蓝RGB像素格式变换为非RGB像素格式。

20.根据权利要求12所述的方法，进一步包括：

使用所述渲染设备的至少一个GPU，将所述中央凹区域和所述第一外围区域的格式从红绿蓝RGB像素格式变换为非RGB像素格式。

21.根据权利要求12所述的方法，进一步包括：

使用所述渲染设备的至少一个GPU渲染所述第一图像的第二外围区域，所述第二外围区域具有比所述第一外围区域低的分辨率；

经由所述至少一个物理层将所述第二外围区域从所述渲染设备传输到所述显示设备；

在所述显示控制器处，放大所述第二外围区域以生成缩放的第二外围区域；以及

混合所述中央凹区域和所述第一外围区域进一步包括：混合所述中央凹区域、所述第一外围区域和所述第二外围区域，以生成所述第二图像。

22.根据权利要求12所述的方法，其中，所述显示设备是头戴式显示器(HMD)设备。

23.根据权利要求22所述的方法，进一步包括：

跟踪用户的至少一只眼睛的注视方向；以及

在所述渲染设备处，基于所述注视方向确定在所述第一图像中所述中央凹区域的位置。

24.一种系统，包括：

头戴式显示器HMD设备，包括：

像素阵列；以及

耦合到所述像素阵列的显示控制器；

包括至少一个图形处理单元GPU的渲染设备；

将所述渲染设备耦合到所述HMD设备的第一物理层和第二物理层；以及

其中，所述系统实现：

第一数据路径，所述第一路径用于生成第一图像的第一中央凹区域，并使用所述像素阵列来准备所述第一中央凹区域以供显示给用户的眼睛，所述第一数据路径包括所述至少一个GPU、所述第一物理层和所述显示控制器；以及

第二数据路径，所述第二路径用于生成所述第一图像的第一外围区域，并使用所述像素阵列来准备所述第一外围区域以供显示给用户的眼睛，所述第二数据路径包括所述至少一个GPU、所述第二物理层和所述显示控制器。

25.根据权利要求24所述的系统，其中：

所述第一数据路径包括：在所述渲染设备处的压缩组件，所述所述压缩组件用于压缩所述第一中央凹区域以生成压缩的第一中央凹区域的；以及，在所述显示控制器处的解压缩组件，所述解压缩组件用于对所述压缩的第一中央凹区域进行解压缩；以及

所述第二数据路径包括：在所述渲染设备处的压缩组件，所述压缩组件用于压缩所述第一外围区域以生成压缩的第一外围区域；以及，在所述显示控制器处的解压缩组件，所述解压缩组件用于对所述压缩的第一外围区域进行解压缩。

26.根据权利要求24所述的系统，其中：

所述第二数据路径包括缩放组件，所述缩放组件用于对所述第一外围区域进行放大以生成缩放的第一外围区域；以及

所述显示控制器进一步包括混合组件，所述混合组件用于将所述第一中央凹区域与所述缩放的第一外围区域混合，以生成所述第一图像的表示。

27.根据权利要求24所述的系统，其中：

所述第一数据路径包括用于将所述第一中央凹区域的格式从红绿蓝RGB格式变换为非RGB像素格式的所述渲染设备的子像素变换组件；以及

所述第二数据路径包括用于将所述第一外围区域的格式从所述RGB像素格式变换为所述非RGB像素格式的所述渲染设备的子像素变换组件。