CN111819798A - 经由实时压缩控制周边图像区域中的图像显示 - Google Patents

Abstract

描述了用于通过压缩一些图像区域中的图像数据而在其它(例如，周边视图)区域中执行较少或不执行压缩的技术来控制图像显示的技术，其中特定于颜色的压缩保留色差补偿。这种技术可与用于虚拟现实显示的头戴式显示设备的显示面板一起使用。可通过跟踪用户的目光来确定以最高分辨率水平对数据进行编码和显示的图像的主区域，同时可选择其它次要区域围绕或位于主区域之外。在次要区域中，可以以第一压缩水平对第一(例如，绿色)颜色通道的图像数据进行编码，以获得比其他第二颜色通道更低更高的第一分辨率水平，并且可以以比颜色特定的数据更高的压缩水平来压缩HDR数据。

Description

经由实时压缩控制周边图像区域中的图像显示

技术领域

下面的公开内容总体涉及用于控制图像数据在显示面板上的显示的技术，并且更具体地，涉及用于通过在图像的周边区域中使用压缩来减小用于将图像数据传输到显示面板的带宽的技术。

背景技术

对增加视觉显示能力的需求已经导致图像数据大小的较大的相应增加以及对相关联的传输带宽使用的需求。例如，增加游戏设备、视频显示设备、移动计算、通用计算等中的视觉显示分辨率已经导致了更高的传输带宽，如同高动态范围(“HDR”)数据一样，高动态范围数据使用更大的每像素带宽来呈现增强的图像真实感。此外，虚拟现实(“VR”)和增强现实(“AR”)系统，特别是使用头戴式显示(“HMD”)设备的那些系统的日益普及的普及进一步增加了这种需求。虚拟现实系统通常完全包围佩戴者的眼睛，并用“虚拟”现实代替佩戴者前方的实际视图(或实际现实)，而增强现实系统通常提供佩戴者眼睛前方的一个或多个屏幕的半透明或透明覆盖，从而用附加信息增强实际视图。

然而，这种头戴式显示器具有观察者眼睛与显示器之间的距离减小并且经常具有完全模糊的视场，以传统的显示和传输能力不能满足并且经常在显示器上具有不同的最佳分辨率密度的方式增加了显示系统的性能要求。

附图说明

图1A是包括适于执行本公开中所描述的至少一些技术的一个或多个系统的网络化环境的示意图，包括图像数据传输管理器(“IDTM”)系统和图像显示管理器(“IDM”)系统的实施方式。

图1B是示出示例性环境的图，在该示例性环境中，所述技术中的至少一些与示例性头戴式显示设备一起使用，该头戴式显示设备连接至视频再现计算系统并且向用户提供虚拟现实显示。

图1C是示出可与所述技术中的至少一些一起使用的示例性头戴式显示设备的图。

图2A至图2C示出根据本文中所述技术中的至少一些的对图像数据进行编码和解码以用于显示的示例。

图3是图像数据传输管理器例程的示例性实施方式的流程图。

图4是图像显示管理器例程的示例性实施方式的流程图。

具体实施方式

本公开大体上涉及用于控制图像数据在显示面板上的显示的技术，诸如通过在图像的周边区域中使用图像数据的特定于颜色的压缩来减小图像数据传输到显示面板的带宽。这种技术可与例如视频数据和/或其它图像的帧一起使用，并且在一些实施方式中，与一个或多个显示面板一起使用，所述显示面板是用于VR和/或AR显示技术的头戴式显示(“HMD”)设备的一部分。在其中执行特定于颜色的压缩的图像的周边区域可包括例如图像的边缘，或者用户不聚焦或者不期望聚焦注意力的一个或多个其它图像部分处。本文中描述的技术中的一些或全部可经由图像数据传输管理器(“IDTM”)系统的实施方式的自动化操作来执行，该系统在将编码的数据传输到一个或多个显示面板之前在视频再现系统上对图像数据进行编码，和/或经由图像显示管理器(“IDM”)系统的自动化操作来执行，该系统在容纳显示面板的设备上或附近对这样的图像数据进行解码，并且在显示面板上显示解码的图像数据，如下面更详细讨论的。

在至少一些这样的实施方式中，该技术包括确定图像的至少一个主区域，在该主区域处以主分辨率水平(例如，没有任何压缩或任何有损压缩，以便提供全分辨率，或者以比一个或多个其它次要区域更高的分辨率)对数据进行编码和显示，例如，在各种实施方式中，可以以各种方式来确定主区域，包括基于跟踪用户的实际或预期的目光并且使用图像的相应区域作为主区域，确定图像的对应于图像的一个或多个主要内容部分的区域并且使用图像的相应区域作为主区域，所述一个或多个主要内容部分可能是观众最感兴趣的(例如，如由生成图像的软件程序所标识的)，至少部分地基于将观看图像的终端用户的一个或多个偏好或由终端用户指定的其它信息等，以预定义的方式用于一些或所有图像(例如，使用图像的中心和周围部分作为主区域)。应当理解，不同的图像可具有作为它们主区域的不同位置或区域，诸如当基于当前条件在确定时间或确定时间附近动态地确定主区域时(例如，当用户的目光从一个角落移动到另一个角落时，所确定的主区域的位置跟随目光的焦点变化而变化)。下面包括与确定主区域以及编码和显示这种主区域的数据有关的附加细节。

这种图像的另外的次要区域可围绕一个或多个主区域或者在一个或多个主区域之外(例如，如果主区域在图像的中心附近或者在图像的中心处居中，则在图像的侧部和/或角落处)，并且因此在用户的实际或预期焦点的周边之外或周边处(例如，由用户经由用户的周边视觉整体地或者部分地感知)。此外，在至少一些实施方式中，显示在次要区域中的数据的较低分辨率至少部分地通过在周边次要区域中执行图像数据的颜色特定的压缩来获得，从而以提供低于主区域的主分辨率水平的第一分辨率水平的第一压缩水平来编码和显示绿色通道的图像数据，以及以一个或多个第二压缩水平来编码和显示红色和/或蓝色通道的图像数据，所述第二压缩水平提供低于绿色通道的第一分辨率水平的一个或多个第二分辨率水平。虽然在一些实施方式中，可整体或部分地基于一个或多个主区域来确定次要区域(例如，作为一个或多个主区域的周围或以其它方式在一个或多个主区域之外)，在其它实施方式中，可以以其它方式整体或部分地确定次要区域，诸如基于次要区域的一个或多个肯定属性或特性(例如，基于内容的类型、基于图像内的特定位置等)。还应当理解，不同的图像可具有作为它们次要区域的不同位置或区域，诸如当在确定时间或确定时间附近基于当前条件动态地确定次要区域时。下面包括与确定次要区域以及编码和显示用于这种次要区域的数据有关的附加细节。

在至少一些实施方式中，可类似地确定图像的一个或多个第三区域，对于该区域将不显示图像数据，并且因此可不在至少一些这样的实施方式中进行编码，或者可在其它实施方式中以最低的可能分辨率水平进行编码。作为一个示例，图像可构造为矩形形状，但是可使用该矩形的圆形或椭圆形子集来显示，诸如对于HMD设备的显示面板，其经由HMD设备中的圆形或半球形透镜来观看，如果是这样，则可选择该圆形或椭圆形子集之外的图像部分(例如，角落和/或边缘)作为第三区域。在其它实施方式中，可以以其它方式选择第三区域，诸如如果目光跟踪或其它功能允许确定图像的某些部分将观看不到(例如，对于具有360度图像的图像，但是观看者仅在单个方向上观看)。还应当理解，不同的图像可具有作为它们的第三区域的不同位置或区域，诸如当在确定时间或确定时间附近基于当前条件动态地确定第三区域时，而其它图像和/或实施方式可不包括任何这样的第三区域。以下包括与确定第三区域和编码和显示这种第三区域的数据有关的其它细节。

如上所述，可经由IDTM系统和/或IDM系统的实施方式的自动化操作来执行本文中所述的技术中的一些或全部，诸如通过一个或多个配置的硬件处理器和/或其它配置的硬件电路(例如，在视频再现系统上和/或在HMD设备或包括一个或多个显示面板的其它设备上)来实施。这种系统或设备的一个或多个硬件处理器或其它配置的硬件电路可包括例如一个或多个GPU(“图形处理单元”)和/或CPU(“中央处理单元”)和/或其它微控制器(“MCU”)和/或其它集成电路，诸如硬件处理器是HMD设备或其它设备的一部分或者是计算系统的一部分，HMD设备或其它设备包括一个或多个显示面板，图像数据将在显示面板上显示，计算系统生成或以其它方式准备要发送到显示面板的图像数据以供显示，如下面进一步讨论的。更一般地，这样的硬件处理器或其它配置的硬件电路可包括但不限于一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如，通过执行适当的指令，并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)、数字信号处理器(DSP)。可编程逻辑控制器(PLC)等。附加细节包括在本文别处，包括以下关于图1A的细节。

在至少一些实施方式中，待传输的编码数据的大小(或来自编码的尺寸缩减程度)可以以各种方式动态修改，包括基于修改程度或使用的压缩水平和/或图像的主和/或次要区域的修改大小或形状。用于确定编码数据大小或尺寸缩减的因素的非限制性示例可包括：图形计算能力限制或目标，从而反映处理器需求水平；数据传输带宽和/或信号强度限制或目标；媒体内容(例如，基于场景复杂度或其它内容特征，诸如由生成图像的软件程序和/或由分析图像的IDTM系统指定；基于与观看者用户的预测或期望焦点相对应的图像的一部分；等)；媒体类型(例如，要被编码的内容先前是否已经以可能影响传输带宽的另一种方式编码，诸如经由无损或有损压缩)；指示类型的目的地显示设备；图形限制和目标(例如，目标图像分辨率或目标帧速率)；视觉跟踪信息(诸如基于用户眼睛或目光位置和焦点的一个或多个指示)；一个或多个预定用户偏好等。

在所描述的技术的至少一些实施方式中的益处包括：通过减小图像数据大小来寻址和减轻用于图像编码的增加的媒体传输带宽，提高控制显示面板像素的速度(例如，至少部分地基于对应的减小的图像数据大小)，改进凹形图像系统和反映显示面板的子集和/或特定兴趣的图像的其它技术等。凹形图像编码系统利用人类视觉系统的特定方面(其可提供仅焦点处和焦点周围的详细信息)，但通常使用专门的计算处理来避免周边视觉非常敏感的视觉伪像(例如，与视频和图像数据中的运动和对比度有关的伪像)。在某些VR和AR显示器的情况下，用于处理高分辨率媒体的带宽和计算使用量都被加剧，因为特定的显示设备涉及具有两个可单独寻址的像素阵列的两个单独的显示面板(即，每只眼睛一个)，每个像素阵列涉及适当的分辨率。因此，所描述的技术可用于例如减小视频帧或其它图像的本地和/或远程显示的传输带宽，同时保持图像内的观看者的“感兴趣区域”中的分辨率和细节，同时使用于处理这样的图像数据的计算使用量最小化。此外，在头戴式显示设备中使用透镜并具有其它显示器可在显示面板的子集上提供更大的焦点或分辨率，使得当在这样的实施方式中使用这样的技术时，使用这样的技术在显示面板的其它部分中显示较低分辨率的信息可进一步提供益处。

出于说明性目的，下面描述一些实施方式，其中以用于特定类型的结构的特定类型的方式并通过使用特定类型的设备获取和使用特定类型的信息。然而，应当理解，这样描述的技术可在其它实施方式中以其它方式使用，因此本发明不限于所提供的示例性细节。作为一个非排他性示例，在此讨论的各种实施方式包括使用作为视频帧的图像，然而，尽管为了方便起见，在此描述的许多示例涉及“视频帧”，但是应当理解，可针对各种类型的一个或多个图像来使用参考这些示例描述的技术，包括连续的多个视频帧(例如，以每秒30或60或90或180或一些其它量的帧)、其它视频内容、照片、计算机生成的图形内容、其它可视媒体制品或其一些组合的非排他性示例。作为另一非排他性示例，虽然一些所示的实施方式讨论了所描述的技术的实施方式的实现，该技术以特定的方式对于不同的特定颜色通道使用不同的压缩水平和技术，但是其它实施方式可以以其它方式实现压缩。此外，出于示例性目的，在附图和文本中提供了各种细节，但并不旨在限制本发明的范围。此外，如本文中所使用的，“像素”是指显示器的最小的可寻址图像元件，其可被激活从而为该显示器提供所有可能的颜色值。在许多情况下，像素包括单独的相应子元件(在一些情况下作为单独的“子像素”)，用于单独产生红光、绿光和蓝光以供人类观看者感知，其中单独的颜色通道用于对不同颜色的子像素的像素值进行编码。本文中使用的像素“值”是指对应于单个像素的那些相应RGB元件中的一个或多个的相应激励水平的数据值。

图1A是包括本地媒体再现(LMR)系统110(例如，游戏系统)的网络化环境100a的示意图，本地媒体再现(LMR)系统110包括本地计算系统120和显示设备180(例如，具有两个显示面板的HMD)，显示设备180适于执行本文中所述的至少一些技术。在图1A所示的实施方式中，本地计算系统120经由传输链路115(其可以是有线的或系绳的，例如经由如图1B所示的一个或多个电缆，或者替代地可以是无线的)通信地连接至显示设备180。在其它实施方式中，本地计算系统120可经由链路116提供经编码的图像数据以供显示到面板显示设备182(例如，TV、控制台或监视器)，无论是作为HMD设备180的补充还是替代，并且显示设备180和/或182各自均包括一个或多个可寻址像素阵列，可寻址像素阵列在图1A内以旨在清楚而不是比例精确的方式(通常地基于像素的显示器的每个像素例如通常以微米为单位测量)图形地描述。在各种实施方式中，本地计算系统120可包括(作为非限制性示例)：通用计算系统；游戏控制台；视频流处理设备；移动计算设备(例如，蜂窝电话、PDA或其它移动设备)；VR或AR处理设备；或其它计算系统。

在所示实施方式中，本地计算系统120具有包括以下的部件：一个或多个通用硬件处理器(例如，集中式处理单元或“CPU”)125；存储器130；各种I/O(“输入/输出”)硬件部件127(例如，键盘、鼠标、一个或多个游戏控制器、扬声器、麦克风、IR发射器和/或接收器等)；视频子系统140，其包括一个或多个专用硬件处理器(例如，图形处理单元或“GPU”)144和视频存储器(VRAM)148；计算机可读存储装置150；以及网络连接160。同样在所示实施方式中，IDTM(图像数据传输管理器)系统135的实施方式在存储器130中执行，以便执行所述技术中的至少一些，诸如通过使用CPU 125和/或GPU 144来执行实现所述技术的自动化操作，并且可选地存储器130还可执行一个或多个其它程序133(例如，生成要显示的视频或其它图像，诸如游戏程序)。作为实现本文中所述的至少一些技术的自动化操作的一部分，在存储器130中执行的IDTM系统135和/或其它图像生成程序133可存储和/或检索各种类型的数据，包括在存储装置150的示例性数据库数据结构中，在该示例中，所使用的数据可包括数据库(“DB”)154中的各种类型的图像数据信息、DB 152中的各种类型的应用数据、DB 157中的各种类型的配置数据，并且可包括附加信息，诸如系统数据或其它信息。在所描绘的实施方式中，LMR系统110还经由一个或多个计算机网络101和网络链路102可通信地连接至示例性网络可访问媒体内容提供商190，该媒体内容提供商190还可向LMR系统110提供内容以供显示，无论是作为图像生成程序133的补充还是替代，该媒体内容提供商190可包括一个或多个计算系统(未示出)，该计算系统可各自具有与本地计算系统120的部件类似的部件，包括一个或多个硬件处理器、I/O部件，本地存储设备和存储器，尽管为了简洁起见未示出服务器计算系统的一些细节。

IDM系统184还示出为在显示设备180(或显示设备182)上实现或与显示设备180(或显示设备182)结合实现，以便接收和解码通过连接115从本地计算系统120接收的编码形式的图像数据。图1C示出了头戴式显示设备180的一个示例，该头戴式显示设备180包括用于执行这种图像解码技术的硬件电路，如下面进一步讨论的。应当理解，虽然在图1A所示的实施方式中，显示设备180和/或显示设备182描述为与本地计算系统120不同和分离，但是在某些实施方式中，本地媒体再现系统110的一些或所有部件可集成和/或容纳在单个设备内，诸如移动游戏设备、便携式VR娱乐系统等，在这样的实施方式中，传输链路115和/或116可例如包括一个或多个系统总线和/或视频总线架构。

作为涉及由本地媒体再现系统本地执行的操作的一个示例，假定本地计算系统120是游戏计算系统，使得应用数据152包括经由CPU 125使用存储器130执行的一个或多个游戏应用，并且各种视频帧显示数据由IDTM系统135生成和/或处理，诸如结合视频子系统140的GPU 144。为了提供高质量的游戏体验，由本地计算系统生成大量的视频帧数据(对应于每个视频帧的高图像分辨率，以及约每秒60至180个这样的视频帧的高“帧速率”)，并经由传输链路115将其提供给显示设备180。

还应当理解，计算系统120和显示设备180仅仅是说明性的，而不是旨在限制本发明的范围。计算系统可替代地包括多个交互计算系统或设备，并且可连接至未示出的其它设备，包括通过诸如因特网的一个或多个网络、经由Web、或经由私有网络(例如，移动通信网络等)。更一般地，计算系统或其它计算节点可包括可交互并执行所述类型的功能的硬件或软件的任何组合，包括但不限于台式或其它计算机、游戏系统、数据库服务器、网络存储设备和其它网络设备、PDA、蜂窝电话、无线电话、寻呼机、电子记事簿、因特网设备、基于电视的系统(例如，使用机顶盒和/或个人/数字录像机)。以及包括适当的通信能力的各种其它消费产品。显示设备180可类似地包括具有各种类型和形式的一个或多个显示面板的一个或多个设备，并且可选地包括各种其它硬件和/或软件部件。此外，IDTM系统135和/或IDM系统184所提供的功能在一些实施方式中可分布在一个或多个部件中，并且在一些实施方式中，系统135和/或系统184的功能中的一些可不提供和/或其它附加功能可以是可用的。还应当理解，虽然在使用时将各种项目示出为存储在存储器中或存储在存储装置上，但是出于存储器管理和数据完整性的目的，可在存储器与其它存储设备之间传送这些项目或它们的部分。因此，在一些实施方式中，所描述的技术中的一些或全部可由包括一个或多个处理器或其它配置的硬件电路和/或存储器和/或存储装置的硬件装置来执行，诸如当由一个或多个软件程序(例如，由系统135和/或其部件)和/或数据结构(例如，通过执行一个或多个软件程序的软件指令和/或通过存储这样的软件指令和/或数据结构)来配置时。部件、系统和数据结构中的一些或全部也可存储(例如，作为软件指令或结构化数据)在非暂时性计算机可读存储介质上，诸如硬盘或闪存驱动器或其它非易失性存储设备、易失性或非易失性存储器(例如，RAM)、网络存储设备或要由适当驱动器读取的便携式媒体制品(例如，DVD盘、CD盘、光盘等)或经由适当的连接。在一些实施方式中，系统、部件和数据结构还可作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)在各种计算机可读传输介质上传输，所述计算机可读传输介质包括基于无线和基于有线/电缆的介质，并且可采用各种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。在其它实施方式中，这种计算机程序产品也可采用其它形式。因此，本发明可用其它计算机系统配置来实践。

图1B示出了示例性环境100b，其中所述技术中的至少一些与示例性HMD设备112一起使用，该HMD设备112经由有线系绳145系接到视频再现计算系统142以向人类用户113提供虚拟现实显示，尽管在其它实施方式中HMD设备可经由无线连接(未示出)执行与计算系统142的一些或全部交互。用户佩戴HMD设备并经由HMD设备从模拟环境的计算系统接收所显示的信息，该模拟环境不同于实际的物理环境，其中计算系统充当图像再现系统，该图像再现系统将模拟环境的图像提供给HMD设备以显示给用户，诸如由在计算系统上执行的游戏程序(未示出)和/或其它软件程序(未示出)生成的图像。在该示例中，用户还能够在实际物理环境周围移动，并且还可具有一个或多个I/O(输入/输出)设备，以允许用户进一步与模拟环境交互，在该示例中，I/O(输入/输出)设备包括手持控制器111。计算系统上的IDTM系统(未示出)的实施方式可至少部分地基于减少传输到HMD设备的数据量来对要通过系绳电缆传输到HMD设备的图像数据进行编码，并且HMD设备上的IDM系统(未示出)的实施方式可对接收到的数据进行解码并且使用它来控制信息在HMD设备的一个或多个显示面板上的显示。

当用户移动HMD设备的位置和/或改变HMD设备的定向时，跟踪HMD设备的位置，以便允许在HMD设备上向用户显示模拟环境的相应部分，并且控制器111还可使用类似的技术来跟踪控制器的位置(并且可选地使用该信息来帮助确定和/或验证HMD设备的位置)。在已知HMD设备的跟踪位置之后，经由电缆145将相应的信息传输至计算系统142，计算系统142使用跟踪的位置信息来生成模拟环境的一个或多个下一图像以显示给用户。此外，虽然这里未示出，但是HMD设备还可包括眼睛和/或瞳孔跟踪传感器，以确定用户目光的方向，该信息可类似地经由电缆145传输至计算系统142，使得计算系统上的IDTM系统的实施方式可使用该信息作为对发送到HMD设备的图像进行编码的一部分，诸如用于确定图像的主区域和/或次要区域。其它因素可用作确定如何对数据进行编码的部分，包括图像的哪些部分用作主区域和/或次要区域，如本文别处更详细讨论的。

图1C是包括一对近眼显示系统103和104的HMD设备100c的简化的顶视平面图，诸如可用于图1A至图1B的示例中或以其它方式与所述技术一起使用。近眼显示系统103和104分别包括显示面板106和108(例如，OLED或LCD微显示器)，以及各自具有一个或多个光学透镜的光学透镜系统110和112。显示系统103和104可安装至框架114，框架114包括前部116、左镜腿118、右镜腿123和内表面121，当用户佩戴HMD设备时，内表面121接触佩戴者用户124的脸部或邻近佩戴者用户124的脸部。两个显示系统103和104可以以眼镜布置固定至框架114，该眼镜布置可佩戴在佩戴者用户124的头部122上。左镜腿118和右镜腿123可分别搁置在用户的耳朵126和128上，而内表面121的鼻子部件(未示出)可搁置在用户的鼻子129上。框架114的形状和尺寸可设计成将两个光学系统110和112中的每个分别定位在用户眼睛132和134中的一个的前面。尽管出于说明性目的，以类似于眼镜的简化方式示出了框架114，但是应当理解，可使用其它结构(例如，护目镜、集成头带、头盔、带子等)来将显示系统103和104支承和定位在用户124的头部122上。图1C的HMD设备100c能够向用户124呈现虚拟现实显示，诸如经由以显示速率(例如，每秒30、60、90、180个等帧或图像)呈现的相应视频，而类似系统的其它实施方式可以以类似的方式向用户124呈现增强现实显示。显示器106和108中的每个均可产生光，该光分别通过相应的光学系统110和112透射并聚焦到用户124的眼睛132和134上。虽然这里未示出，但是每个眼睛通常将包括瞳孔，光通过瞳孔进入眼睛，进入用户瞳孔的光被用户124看成是图像和/或视频。

在所示实施方式中，HMD设备100还包括硬件传感器和附加部件，它们可由所公开的实施方式用作所描述的技术的一部分。该示例中的硬件传感器包括一个或多个加速度计和/或陀螺仪198(例如，作为一个或多个IMU单元的一部分)，如本文别处更详细讨论的，来自加速度计和/或陀螺仪的值可用于局部地确定HMD设备的定向。此外，HMD设备100c可包括一个或多个前置摄像头，诸如在前部116外部的摄像头185，并且其信息可用于捕获HMD设备前面的实际物理环境的图像(诸如用于提供AR功能)。所示实施方式中的硬件传感器还包括一个或多个传感器或其它部件195，用于跟踪用户的瞳孔/目光，诸如位于光学透镜系统110和112附近的内表面121上，尽管在其它实施方式中，这样的传感器可在显示面板106和/或108上或附近，以分别通过光学系统110和/或112跟踪瞳孔/目光，如本文别处更详细讨论的，来自部件195的信息可用于识别要显示给用户的模拟环境的特定视图，例如基于用户的目光方向结合关于HMD设备的位置(例如，位置和定向)的其它信息，以及用于确定图像的作为用户的当前焦点的部分(例如，在选择图像的主区域时使用)。此外，HMD设备100可包括其它部件175，诸如以下的一个或多个：配置的硬件电路(未示出)，以实现IDM系统的实施方式，如本文别处所讨论的；有线和/或无线输入端口，以接收图像数据，以便经由电缆系绳和/或无线连接进行显示，诸如从视频再现系统(未示出)或其它源接收图像数据；内存；一个或多个电池；位置跟踪设备，以与外部基站交互等，如本文别处更详细讨论的。其它实施方式可不包括部件175、185、198和/或195中的一个或多个。虽然这里未示出，但是这种HMD的一些实施方式可包括各种附加的内部和/或外部传感器，以便跟踪用户身体的各种其它类型的运动和位置等。

虽然所描述的技术可在一些实施方式中与类似于图1C所示的显示系统一起使用，但是在其它实施方式中也可使用其它类型的显示系统，包括与单个光学透镜和显示设备一起使用，或者与多个这样的光学透镜和显示设备一起使用。其它这样的设备的非排他性示例包括摄像头、望远镜、显微镜、双目镜、瞄准镜、观测镜等。此外，所描述的技术可与发射光以形成图像的各种显示面板或其它显示设备一起使用，一个或多个用户通过一个或多个光学透镜观看该图像。在其它实施方式中，用户可通过一个或多个光学透镜观看一个或多个图像，该一个或多个图像通过显示面板以外的方式产生，诸如在部分或全部反射来自另一光源的光的表面上。

图2A示出了根据本文所述技术的一个实施方式的用于显示图像的显示面板的一部分。特别地，图2A描绘了所描述的技术与头戴式显示设备295的一个显示面板的使用，在该示例中，显示面板包括像素阵列(未示出)，像素阵列用于显示图像的像素值，该图像已被编码成主区域250、次要区域254(包括区域254a和254b)和256(包括区域256a和256b)以及第三区域266(包括区域266a、266b、266c和266d)。次要区域256a和256b分别位于主区域与像素阵列的顶边缘和底边缘之间，次要区域254a和254b分别位于主区域与像素阵列的右边缘和左边缘之间，以及第三区域266a至266d分别位于像素阵列的角落中并勾画出次要区域254和256的四个连接点。在其它实施方式中，区域266a至266d中的一些或全部也可替代地被视为次要区域，如本文别处所讨论的。

图2B继续图2A的示例，并且如下面进一步讨论的，主区域250中的图像数据可以以允许以最高的第一分辨率(例如，全分辨率)显示的方式进行编码和传输，次要区域中的图像数据可以以允许以一个或多个较低分辨率(例如，以比第一分辨率低的第二分辨率显示次要区域中的绿色数据，以及以低于第二分辨率的一个或多个第三分辨率显示次要区域中的红色和蓝色数据)显示的方式进行编码和传输，以及第三区域中的图像数据可以以允许以最低分辨率显示(或者根本不显示)的方式进行编码和发送。在图像是HDR图像的实施方式和情形中，HDR图像包括HDR亮度值(例如，对于具有红色、绿色和蓝子像素的相关联像素的每个控制强度或亮度)，有时也被称为HDR指数数据，HDR亮度值中的至少一些(例如，与次要区域中的像素相关联的那些)可以以高于颜色数据中的一些或全部的压缩水平进行编码和传输(例如，从而在以对应于低于一个或多个第三分辨率的第四分辨率的水平进行解码之后进行显示)。

特别地，图2B示出了次要区域254b中的两个像素阵列210和211，以及示出了IDTM系统对数据进行编码之前的相应图像数据，以及编码之后的结果信息，以及第三区域266c中的附加像素阵列212。像素阵列211表示用于绿色通道的图像数据，而像素阵列210表示用于红色或蓝色通道的图像数据，虽然两个像素阵列210和211被示为对应于次要区域254b内的图像的分开的部分，它们可替代地表示图像的相同部分，但是对于该单个部分使用不同的相应颜色通道图像数据。

对于表示红色或蓝色通道的图像数据的像素阵列210，图示210b提供了8×8像素阵列210的放大显示，其将以特定于次要区域中的红色或蓝色通道的分辨率进行编码，以及少量的附加周围像素将被单独编码(未示出)。考虑像素阵列210的右上4×2(4列和2行)部分，其以放大形式225示出，以说明像素中的每个的示例值。例如，如果像素阵列210对应于每个像素均具有在0和255之间的值的红色通道，所述值表示用于显示该像素的红色强度，则4×2阵列225中的示例性红色像素值从040变化到200，而较大像素阵列210中的其它像素值(未示出)具有从0到255范围的其它值。

4×4编码的像素阵列215表示8×8像素阵列210的压缩和编码版本，以便通过选择4个可能的像素值并使用对应的映射值0至3来表示编码的像素阵列215中的每个像素值，从而减少由4倍编码的像素值的量，以及减少要编码的颜色数据的量。作为编码的一部分，首先将8×8像素阵列210中的每个2×2像素子阵列缩减为作为四个可能像素值中的一个的单个像素值，然后在编码像素阵列215中使用对应的映射值来表示该像素值。例如，考虑具有示例值“042”、“074”、“040”和“056”的2×2像素子阵列225a。像素子阵列225a的单个代表像素值可以各种方式选择，诸如下采样、平均、子采样、拾取4个值中的单个值、使用卷积或其它图像处理技术等。在该示例中，通过对225a中的实际像素值求平均得到53的像素值来拾取2×2像素子阵列225a的代表像素值，且类似地将具有示例像素值“200”、“150”、“245”和“141”的第二2×2像素子阵列225b的平均代表像素值确定为184。为了进一步减小编码图像数据的大小，确定可能的像素值的限定数量，并且将每个2×2像素子阵列的平均代表像素值进一步舍入到最接近的可能像素值。在该示例中，将可能的像素值的数目选择为4，其通过取8×8像素阵列210中的最小实际像素值，8×8像素阵列210中的最大实际像素值，并在最小值和最大值之间内插两个中间像素值来确定。如信息220所示，在该示例中，用于8×8像素阵列210的编码矩阵导致“040”作为最小值(例如，来自2×2像素子阵列225a)，“250”作为最大值(例如，来自8×8像素阵列210的除子阵列225a和225b以外的部分)，以及“110”和“180”作为两个内插中间值，然后将4个可能值分别从最小到最大可能像素值赋值为0、1、2和3，导致在4×4编码像素阵列215中仅用2位表示每个平均代表像素值，使得编码像素阵列215的所有像素值可存储在32位中。在该特定示例中，用于第一2×2像素子阵列225a的平均代表像素值53被舍入到最小值40并在编码像素阵列215中用“0”编码(如第一行的第三列中所示)，以及用于第二2×2像素子阵列225b的平均代表像素值184被舍入到内插值180并在编码像素阵列215中用“2”编码(如第一行的第四列中所示)。类似地确定4×4编码像素阵列215中的其它像素值中的每个，且将那些值连同用于在解码时(例如，通过存储实际最小值和最大值)重构对应于经编码值的4个可能像素值的信息一起存储在所得经修改的编码图像数据中。然后对次要区域中的每个8×8像素阵列重复该过程，并且在该示例中对红色和蓝色通道中的每个单独地进行该过程。

当随后对相应的编码图像文件进行解码和显示时，用于8×8像素阵列210的红色或蓝色通道的4×4编码像素阵列215用于生成要显示的新的8×8像素阵列，诸如通过将映射值0至3中的每个转换回4个可能像素值040、110、180或250中的一个，然后将解码图像中的2×2像素块设置为该可能像素值。对次要区域中的红色和蓝色通道的编码压缩图像文件中的每个其它4×4编码像素阵列执行类似的过程。因此，4×4编码像素阵列215示出了用于红色或蓝色通道的8×8像素阵列210的示例性编码版本，从而在解码和显示时导致比原始8×8像素阵列210更低的分辨率。

以类似于8×8像素阵列210和4×4编码像素阵列215的方式，4×4编码像素阵列216示出了使用用于绿色通道的8×8像素阵列211产生的示例编码版本，然而，与像素阵列210和215相比，4×4编码像素阵列216仅表示8×8像素阵列211的对应4×4像素子阵列。使得整个8×8像素阵列211由4个这样的4×4编码像素阵列表示(用于8×8像素阵列211的其它3个这样的4×4编码像素阵列在本例中未示出)。以这种方式，用于8×8像素阵列211的4个这样的4×4编码像素阵列不减少编码压缩图像文件中的像素值的总数，而是减少通过类似地仅使用4个可能的像素值来编码的颜色数据的量，所述4个可能的像素值映射到4×4编码像素阵列中的对应值0至3。在该示例中，信息221说明用于8×8像素阵列211的编码矩阵，其中“005”作为映射到值“0”的最小值，“245”作为映射到值“3”的最大值，而“085”和“165”作为分别映射到值“1”和“2”的两个内插中间值。虽然仅示出了用于8×8像素阵列211的四个4×4编码像素阵列中的一个，但是对8×8像素阵列211的其它三个相应的4×4像素子阵列中的每个重复该过程，然后对用于绿色通道的次要区域中的每个8×8像素阵列重复该过程。

当相应的编码图像文件随后进行解码和显示时，用于绿色通道的8×8像素阵列211的相应的4×4像素子阵列的4×4编码像素阵列216用于生成要显示的新的4×4像素阵列，诸如通过将映射值0至3中的每个转换回4个可能的像素值005、085、165、245中的一个，然后将解码后的图像中的单个像素设置为该可能的像素值。对次要区域中的用于绿色通道的编码压缩图像文件中的四个其它4×4编码像素阵列执行类似的过程。因此，4×4编码像素阵列216示出了用于绿色通道的8×8像素阵列211的对应4×4像素子阵列的示例性编码版本，导致在解码和显示时比8×8像素阵列211的原始对应4×4像素子阵列的更低分辨率，但分辨率水平高于用于次要区域的红色和蓝色通道的分辨率水平(因为编码像素值的量相对于原始像素值的量没有减少)。

4×4编码像素阵列217还表示如何对第三区域中的像素值进行编码以减小数据大小的一个示例，尽管在其它实施方式中，来自这种第三区域的数据可被完全丢弃且不包括在经编码的压缩图像中。在该示例中，示出了来自第三区域266c的像素阵列212的代表性的4×4像素阵列227，其中不同的实际像素值抽象地表示为“N”、“L”、“J”和“K”，但是每个均表示红色、蓝色或绿色通道中的任一个的0至255范围内的值，实际的像素值被丢弃并且在4×4编码像素阵列217中每个均变为“0”，因此，不需要在编码的压缩图像中存储附加的颜色数据。虽然仅示出了用于第三区域的一个4×4编码像素阵列，但是可在整个第三区域中以及对于红色、蓝色和绿色通道中的每个重复该过程。当随后对相应的编码图像文件进行解码和显示时，可丢弃来自4×4编码像素阵列217的数据，并且在设置显示面板中的相应像素时不使用该数据，或者替代地，可将那些像素都设置为0的值。

尽管图2B的示例讨论了在至少一些区域中，诸如在次要区域中，以及对于要以比红色或蓝色数据更高的分辨率使用的绿色数据，对不同颜色执行不同的编码和分辨率，但是应当理解，其它实施方式可使用不同类型的编码和/或分辨率。在一些实施方式中，红色、绿色和蓝色数据可各自具有相同的编码和分辨率，并且在其它实施方式中，红色、绿色和蓝色数据可各自具有不同的编码和分辨率，此外，在该示例中，虽然绿色数据以较高分辨率编码，但是在其它实施方式中，红色和/或蓝色数据可以以比绿色数据更高的分辨率进行编码。因此，可设想其它类型的编码和分辨率，如本文别处进一步讨论的。

虽然在图2B中未示出，但正被编码的图像可以是包括HDR亮度值的HDR图像，例如RGBE格式的图像，其中每个像素使用一个字节表示红色、绿色和蓝色子像素中的每个，并且使用一个字节表示共享HDR指数(总共4个字节)。HDR指数亮度值可例如各自具有在0和100之间的值，并且存储在阵列中，其中每个HDR指数亮度值均与相关像素的相应RGB子像素值相关联。作为对这种HDR指数亮度值进行编码的一个示例，考虑与像素阵列210相关联的8×8阵列，但是其包含64个HDR指数亮度值，每个均对应于阵列210中的像素值中的一个(并且对应于用于两个其它颜色通道的两个其它这样的8×8像素阵列中的对应像素)。然而，在该示例中，虽然8×8像素阵列210压缩为4×4编码像素阵列215(因此将像素值的量减少4倍)，但在至少一些实施方式中，HDR指数亮度值的示例性8×8阵列可压缩为2×2编码HDR亮度值阵列(因此将HDR亮度值的量减少16倍)。虽然在各种实施方式中可以以各种方式执行压缩，但是在至少一些实施方式中，以与针对阵列210的彩色像素值所描述的方式类似的方式执行压缩。例如，对于HDR指数亮度值的示例性8×8阵列，可通过将示例性8×8HDR指数亮度值阵列的四个4×4子阵列中的每个转换为单个HDR指数亮度值，诸如通过求平均或上述各种其它技术中的一种，来确定2×2编码的HDR指数亮度值阵列(类似于4×4编码像素阵列215)的初始值。在一些这样的实施方式中，还可生成与信息220的编码矩阵类似的编码矩阵，并将其用于将2×2编码的HDR指数亮度值阵列的初始值替换为来自一个或多个可能的HDR指数亮度值的子集的值(例如，通过确定示例性8×8HDR指数亮度值阵列中的最低和最高HDR指数亮度值，可选地在它们之间内插两个中间HDR指数亮度值。将两个或四个可能的HDR指数亮度值分配给诸如0和1或0至3的编码值，并且用两个或四个可能的HDR指数亮度值中最接近的对应的一个的编码值来替换2×2编码的HDR指数亮度值阵列的初始值中的每个)。然后，对至少次要区域(并且在一些实施方式中也在主区域中)中的每个8×8HDR指数亮度值阵列重复该过程。因此，所得到的2×2编码的HDR指数亮度阵列使用比4×4编码像素阵列215和216的压缩更多的压缩来编码，从而在解码和显示时导致较低的分辨率。

图2C继续图2A至图2B的示例，并且特别示出了对主区域、次要区域和第三区域的替代性编码，诸如对于与图2A中所示的图像不同的图像。特别地，图2C的主区域270不再居中，以便反映穿戴者用户的实际或预期的目光，并且次要区域和第三区域相应地偏离中心，以及具有不同的尺寸和形状。此外，图2C中的圆254b表示显示面板的子集，其例如由于使用的光学系统而对于观察者用户是可见的。在该示例中，由于圆254b不包括区域288a、288c或254a中的任一个，因此这些区域被动态地选择为用于该图像的第三区域，并且可不具有任何编码数据(以类似于图2A的区域266a至266d的方式)。其它区域286a至286c、276a至276b和254b在主区域270之外，但在圆254b内至少部分可见，因此被动态地选择作为该图像的次要区域。一旦确定了主区域、次要区域和第三区域，就可以以与关于图2B所讨论的方式类似的方式对它们中的像素值进行编码和解码，或者可替代地以不同的方式进行编码。

应当理解，提供图2A至图2C的细节仅用于示例性目的，并且可使用各种其它类型的编码和解码方案，以及改变从原始像素阵列到编码像素阵列的减少量以及可能的像素值的数量可导致不同的数据尺寸缩减量和相应的分辨率减小。作为一个示例，HDR指数数据可以以不同于RGB颜色通道中的一些或所有的缩减量的缩减量来包括。此外，图2A至2C的所示示例利用由代表性视频帧的矩形分区组成的图像分区布置。然而，应当理解，在不脱离所提出的技术的预期范围的情况下，可使用各种替代性的分区形状。例如，在某些实施方式中，可利用圆形或椭圆状主区域，显示像素阵列的剩余部分根据与主区域的相对距离、与所显示的像素阵列的一个或多个边缘的相对距离或其它方式划分成一个或多个次要区域。

图3是图像数据传输管理器例程300的示例性实施方式的流程图。例程300可由例如图1A的图像数据传输管理器系统135和/或执行用于对图像数据进行编码的操作的系统来执行，如关于图2A至图2C以及本文中其它地方所讨论的，以便对图像数据进行编码，从而通过在图像的周边区域中使用颜色特定的压缩来减小图像数据传输到显示面板的带宽。虽然所示的例程300的实施方式讨论了一次对单个图像执行操作，但是应当理解，例程300的操作可应用于多个图像(例如，多个连续视频帧)的序列。还应当理解，例程的所示实施方式可适当地以软件和/或硬件来实现，并且可由例如在计算系统上操作以将图像数据传送至相关联的HMD设备的系统来执行。

例程300的所示实施方式在框305处开始，在框305处，例程获得图像数据和关于显示该图像数据的显示面板的信息。在框310中，例程识别用于对数据进行编码的区域，诸如通过接收关于在框305中使用的布置的信息(例如，用于所有图像的固定结构)，或者替代地通过基于当前上下文(例如，诸如来自观看者的目光跟踪的关于图像的重点部分的信息，来自生成或以其它方式提供图像的程序的信息等)动态地确定要使用的结构。特别地，在框310中例程识别图像的至少一个主区域和主区域之外的至少一个次要区域，以及可选地识别一个或多个第三区域。在框315中，例程然后启动创建图像的修改副本，该副本是原始图像的编码压缩版本，可选地，与要编码的原始图像的生成或者与接收原始图像的部分同时地执行编码压缩版本的生成。

在框315之后，例程进行到执行框320到385的循环，以完成编码的压缩图像文件的生成。在框320中，该例程接收用于颜色通道的图像像素值区块，诸如如关于图2B所讨论的图像像素值的8×8区块。在框325中，例程然后确定区块所属的区域的类型，分别继续到用于主要的、次要的或第三的区域类型的框330、340或335。在用于主区域区块的框330中，例程将所有图像像素值保留在正生成的经编码的压缩副本中，尽管在其它实施方式中可使用无损压缩方案来压缩像素值。在用于第三区域区块的框335中，例程从正生成的经编码的压缩副本中移除对应图像像素值信息中的一些或所有，诸如以类似于图2B中所说明的方式移除所有颜色数据，或替代地在其它实施方式中对于正生成的经编码的压缩副本完全丢弃区域像素值。

在用于次要区域区块的框340中，例程在例程框340中确定像素块所属的颜色通道，继续到用于绿色的颜色通道的框345或者继续到用于红色或蓝色的颜色通道的框350。在用于绿色通道的框345中，将区块分成多个子区块，每个子区块将被单独编码，诸如以类似于图2B所示的方式的4个这样的4×4像素子阵列。相反，在用于红色或蓝色通道的框350中，通过平均重采样，将区块缩减为较小的单个子区块，诸如如图2B所示的四分之一尺寸的4×4像素子区块。在至少一些实施方式中，在例程框345中生成的多个像素子区块和在例程框350中生成的单个像素子区块具有相同的尺寸。在框345或350之后，例程继续到框360，在框360中，对于在例程框345或350中生成的每个子区块，例程通过以下步骤来编码正生成的经编码的压缩副本的像素值：通过确定在例程框320中接收的像素块的最小和最大像素值以及通过经由内插进一步确定它们之间的两个中间像素值，通过将4个确定的可能像素值映射到相应的标识符(例如，值0至3)，然后将每个子区块像素值替换为4个确定的可能像素值中的较近的一个的相应标识符，以及存储用于标识符的颜色数据(例如，存储最小和最大可能像素值)。

在框345、350或360之后，例程继续到例程框385，以确定在原始图像中是否存在要编码的更多像素块，并且如果是，则返回例程框320，以接收下一个这样的像素块。否则，例程继续到框390，以可选地进一步在整体基础上压缩所生成的编码压缩图像文件，并将所得到的编码压缩图像文件存储和/或发送至具有显示面板的设备，在该显示面板上显示图像。

在框390之后，例程继续到框395以确定是否继续，诸如直到接收到要终止的明确指示。如果确定继续，则例程返回到框305以获得要编码的下一图像的图像数据，并且如果不是，则例程前进到框399并结束。

图4是图像显示管理器例程400的示例性实施方式的流程图。例程400可由例如图1A的图像显示管理器部件184和/或执行用于接收、解码和显示图像数据的操作的系统来执行，所述图像数据被编码和压缩，如关于图2A至图2C以及本文别处所讨论的。虽然所示的例程400的实施方式讨论了一次对单个图像执行操作，但是应当理解，例程400的操作可应用于多个图像(例如，多个连续视频帧)的序列。还将理解，例程的所示实施方式可适当地以软件和/或硬件来实现，并且可由例如HMD上或另一单独计算设备上的一个或多个处理器或其它配置的硬件电路来执行。

例程400的所示实施方式在框405处开始，在框405处获得经编码的压缩图像数据信息以供在显示面板上显示，诸如由图像数据传输管理器系统生成并传输的经编码的压缩图像数据，如关于图3所论述的。在框410中，可确定图像的主区域和其它区域，诸如基于接收在图像中编码的这种信息(例如，对于结构可针对不同图像动态地改变的情况)，通过使用不改变的预定区域信息，或者通过以其它方式确定区域信息。如果编码的压缩文件具有所应用的整体压缩，诸如关于图3的框390，则在对图像的次要区域执行进一步的颜色特定的解压缩之前也执行相应的整体解压缩。

在框410之后，例程继续执行框420至470的循环，以解码所接收的图像数据并准备所得到的新图像用于显示，其中，在图像的周边区域中具有不同的颜色特定的分辨率。特别地，该例程从编码的压缩图像(诸如如图2B和图3中讨论的4×4图像像素阵列)中提取颜色通道的图像像素值的子区块。在框425中，例程然后确定子区块所属的区域的类型，继续到分别用于主要的、次要的或第三得区域类型的框430、440或435。在用于主区域区块的框430中，该例程通过将每个图像像素值加载到显示面板中的相应主区域像素中来使用子区块中的所有图像像素值。在用于第三区域子区块的框435中，该例程从该子区块中丢弃任何相应的像素信息。

在用于次要区域子区块的框440中，例程确定子区块所属的颜色通道，继续到用于绿色的颜色通道的框445，或者继续到用于红色或蓝色的颜色通道的框450。在用于绿色通道的框445中，子区块的每个像素值均从所存储的映射值改变为有限数量(例如，4个)的可能的像素值中的相应一个，并且该可能的像素值被加载到显示面板中的相应次要区域像素中。相反地，在用于红色或蓝色通道的框450和460中，子区块的每个像素值均从所存储的映射值改变为有限数量(例如，4个)的可能的像素值中相应的一个，然后通过将该可能的像素值加载到显示面板中的4个相应的次要区域像素中来创建4倍大的像素值区块。在框430、445或460之后，例程继续到例程框470以确定是否有要解码和显示的更多子区块，并且如果是，则返回到例程框420以获得下一个这样的子区块。

如果替代地在例程块470中确定不再有要解码的子区块，则例程继续到框480，以可选地调整沿着主区域和次要区域的边界加载到显示面板像素中的像素值，从而从主区域的全分辨率平稳过渡到次要区域的较低分辨率。在框480之后，例程继续到框490，以启动在显示面板上显示所加载的像素值。

在框490之后，例程继续到框495以确定是否继续，诸如直到接收到要终止的明确指示。如果确定继续，则例程返回到框405以获得要编码的下一图像的图像数据，并且如果不是，则例程前进到框499并结束。

如上所述，在一些实施方式中可使用所述技术来解决HMD设备的性能，其使用光学透镜来减少用户眼睛与显示器之间的距离，并且其可以可选地具有相对较高的刷新率和低延时以防止用户的晕动病。当通过HMD的透镜观看时，尺寸和形状均匀的像素在周边处发生空间失真，使得图像数据在用户的视场上发生不一致地密集，并且导致当使用旨在用于常规显示器的方法传输图像数据时效率降低。

在一些实施方式中，可使用各种形式的附加压缩/解压缩技术来提供有效的数据传输，诸如通过除了(例如，在之后)使用上述压缩和编码之外还进行一个或多个这样的附加压缩技术，尽管在其它实施方式中使用上述压缩和编码代替了一些或所有这样的附加压缩/解压缩技术的可能使用。这种附加的压缩技术可例如利用YUV颜色空间中的色度子采样，由此图像数据被分离成亮度和色度分量，并且基于人眼对光强度的变化比对颜色的变化更敏感，以及典型地红色、绿色和蓝色通道中的强度之间的高相关性，色度数据的密度被减小。然而，这种方法可能在HMD设备中产生不合适的结果，其中显示器提供补偿由光学透镜产生的色差的图像，因为这种补偿的图像通常在RGB颜色通道之间表现出更高程度的空间分离，并且这种分离有效地消除了YUV方法利用的RGB通道相关性的大部分，并且这种分离也朝着显示器的周边增加，其中显示器的周边对于改进的带宽效率的需求较高。这种附加的压缩技术还可包括例如易受人类周边视觉非常敏感的条带和闪烁伪像影响的区块压缩方法(例如，在硬件中运行并且实时运行)。这种附加的压缩技术通常不能解决周边视觉的方面，而是替代地设计成期望直接在非周边区域中观看结果。

因此，在至少一些实施方式中，所描述的技术全部或部分地针对将使用人类周边视觉感知的图像数据，并且相对于中央凹视觉呈现以下特性中的一个或一些或全部：较低的细节敏感度(较高频域中的信息、较细的细节，不是可感知的)；高对比度敏感度，特别是在较低的光水平下(例如，保持感知对比度)；等效的时间敏感度(例如，周边图像显示不会因处理而延迟，而是与扫描输出一起实时地进行压缩/解压缩)；对几何空间伪像的高敏感度(例如，足够光学精确以避免晕厥，诸如相对于编码和解码之前的图像数据的相同或更高的光学精确性)；对一阶运动更高的敏感度(例如，显而易见的条带、闪光或闪烁的伪像)；对颜色调制的敏感度较低(例如，图像可表现出相对于中央凹部的较小的色度差异)等。如上所述，由于不保留色差补偿，基于YUV的方法在某些条件下可能是不合适的。修改的区块压缩方法可提供快速(例如，没有帧增量或引入显著延时的其它计算，可选地在硬件中实现等)和稳定(例如，具有很小的或没有几何移位)的益处，包括如上述技术中所示的提供以下特征功能中的一个或一些或全部：保持RGB通道分离和相关的色差补偿；避免条带化(例如，不通过从24位更改为16位颜色来限制颜色值，如在一些压缩技术中所做的那样)；在一些通道中保留更多细节，而在其它通道中保留更少细节(例如，在绿色通道中保留更多细节，而在蓝色中保留更少细节)；在HDR指数数据中保留的细节比对于颜色通道中的一些或全部(例如，对于次要区域)保留的细节更少；允许与全未压缩数据或空数据动态混合；与模糊图像一起使用，因此不会增加周边视觉所感知的过度闪烁或闪光等。这允许在周边区域中的较高压缩和更多颜色边缘伪像之间提供(并且可选地调节)平衡，以便在牺牲周边区域中的一些细节的同时良好地保持对比度，同时图像数据显著减少(例如，20％)。

应当理解，在一些实施方式中，可以以替代的方式来提供由上述例程提供的功能，诸如在更多的例程之间进行拆分，或者合并成更少的例程。类似地，在一些实施方式中，所示例程可提供比所描述的更多或更少的功能，诸如当其它所示例程替代地分别缺少或包括这样的功能时，或者当所提供的功能量改变时。此外，虽然可将各种操作示出为以特定方式(例如，串行或并行)和/或以特定顺序执行，但是本领域技术人员将理解，在其它实施方式中，可以以其它顺序和其它方式执行操作。将类似地理解，上述数据结构可以以不同的方式构造，包括用于数据库或用户界面屏幕/页面或其它类型的数据结构，诸如通过将单个数据结构分成多个数据结构或通过将多个数据结构合并成单个数据结构。类似地，在一些实施方式中，所示的数据结构可存储比所描述的更多或更少的信息，诸如当其它所示的数据结构替代地分别缺少或包括这样的信息时，或者当所存储的信息量或类型改变时。

此外，附图中的元件的尺寸和相对位置不必按比例绘制，包括各种元件和角度的形状，其中一些元件被放大和定位以改进图的可读性，并且选择至少一些元件的特定形状以便于识别，而不需要传送关于那些元件的实际形状或比例的信息。此外，为了清楚性和强调，可省略一些元件。此外，在不同附图中重复的参考标记可表示相同或相似的元件。

从上文可理解，尽管本文为了说明的目的描述了特定的实施方式，但是可在不脱离本发明的精神和范围的情况下进行各种修改。此外，虽然本发明的某些方面有时以某些权利要求的形式呈现，或者有时可能不在任何权利要求中体现，但发明人以任何可用的权利要求的形式设想了本发明的各个方面。例如，虽然在计算机可读介质中体现的特定时间可仅叙述本发明的一些方面，但是也可同样体现其它方面。

本发明要求优先权的于2018年3月5日提交的第No.15/912,323号美国专利申请通过引用以其整体并入本文中。

Claims (29)

1.一种方法，包括：

由一个或多个硬件处理器接收具有多个像素值以在显示面板上显示的图像的数据，所述多个像素值包括在所述图像的主区域中的属于多个颜色通道的目标像素值、在所述图像的一个或多个次要区域中的属于所述多个颜色通道的第一颜色通道的第一像素值、以及在所述次要区域中的属于所述多个颜色通道的第二颜色通道的第二像素值；

由所述硬件处理器生成要传输至所述显示面板的所述图像的压缩副本，所述图像的压缩副本保留所述主区域的所述目标像素值，并且通过以特定于颜色的方式去除所述第一像素值和所述第二像素值中的至少一些来降低所述次要区域中的分辨率，包括：

使用第一压缩水平，缩减所述压缩副本中的表示所述第一颜色通道的所述第一像素值的第一信息，其中，所述第一压缩水平缩减所述第一信息中的像素值的量，并且从具有比所述第一像素值更少的唯一值的第一可能像素值的缩减集合中，选择所述第一信息中的每个像素值；以及

使用第二压缩水平，缩减所述压缩副本中的表示所述第二颜色通道的所述第二像素值的第二信息，其中，所述第二压缩水平具有比所述第一压缩水平更小的压缩，并且从具有比所述第二像素值更少的唯一值的第二可能像素值的缩减集合中选择所述第二信息中的每个像素值，而不缩减所述第二信息中的像素值的量；以及

由所述硬件处理器将所述图像的压缩副本传输至所述显示面板，以使所述图像显示在所述显示面板上。

2.如权利要求1所述的方法，其中，缩减所述压缩副本中的所述第一信息和所述第二信息包括：

对于所述图像中的所述第一像素值的多个区块中的每个，用较小尺寸的单个第一子区块来表示所述压缩副本中的区块，所述第一子区块的像素值从所述第一可能像素值的缩减集合中选择，并且所述第一子区块的每个像素值均表示来自所述区块的所述第一像素值中的多个；以及

对于所述图像中的所述第二像素值的多个区块中的每个，用多个第二子区块来表示所述压缩副本中的区块，所述多个第二子区块合计具有与所述区块相同的大小，并且所述第二子区块的像素值从所述第二可能像素值的缩减集合中选择。

3.如权利要求2所述的方法，还包括：使用所述压缩副本以在所述显示面板上显示所述图像，包括使用所述保留的目标像素值中的每个来控制用于所述多个颜色通道的第一显示面板像素中的一个在对应于所述主区域的区域中的显示，以及通过使用所述第二子区块中的每个像素值来控制所述第二显示面板像素在对应于所述次要区域的一个或多个区域中的显示，以控制用于所述第二颜色通道的所述第二显示面板像素中的一个显示为所述第二可能像素值的缩减集合中的一个，并且通过使用所述第一子区块中的像素值来产生更大量的另外的像素值，所述另外的像素值各自控制用于所述第一颜色通道的所述第二显示面板像素中的一个显示为所述第一可能像素值的缩减集合中的一个。

4.如权利要求1所述的方法，其中，所述一个或多个硬件处理器是再现系统的部分，其中，所述显示面板是具有一个或多个硬件电路的头戴式显示(HMD)设备的部分，所述硬件电路配置成解压缩所述压缩副本中的至少包括所缩减的第一信息的信息，并将解压缩的信息用作控制所述图像在所述显示面板上的显示的部分，以及其中，所述压缩副本的生成包括缩减所述压缩副本的大小，以缩减用于将所述压缩副本从所述再现系统传输至所述HMD设备的带宽。

5.如权利要求4所述的方法，其中，所述HMD设备经由无线连接而连接至所述再现系统，通过所述无线连接进行所述传输，以及其中，至少部分地基于所述无线连接的一个或多个特性来使用所述第一压缩水平或所述第二压缩水平中的至少一个。

6.如权利要求4所述的方法，其中，所述再现系统和所述HMD设备是游戏系统的部分，其中，所述HMD设备是经由系绳连接至所述再现系统的虚拟现实设备，在所述系绳上进行所述传输，其中，所述图像是由执行游戏程序生成的多个视频帧的序列中的一个，以及其中，对所述多个视频帧中的每个连续地执行所述接收、所述生成和所述传输。

7.如权利要求4所述的方法，还包括：在所述一个或多个硬件电路的控制下，控制所述图像在所述显示面板上的显示，包括以第一分辨率在所述主区域中显示信息，以低于所述第一分辨率的第二分辨率，在用于所述第二颜色通道的所述次要区域中显示信息，以及以低于所述第二分辨率的第三分辨率，在用于所述第一颜色通道的所述次要区域中显示信息。

8.如权利要求7所述的方法，还包括：在所述一个或多个硬件电路的控制下，生成要以第四分辨率显示的附加信息，所述第四分辨率低于所述第一分辨率且高于所述第二分辨率，以及在所述主区域和所述次要区域的至少一些部分之间的中间区域中，以所述第四分辨率显示所述附加信息。

9.如权利要求1所述的方法，其中，所述第一颜色通道包括红色通道或蓝色通道中的至少一个，以及其中，所述第二颜色通道包括绿色通道。

10.如权利要求1所述的方法，还包括：在生成所述图像的所述压缩副本之前，确定所述图像的所述主区域对应于观看所述显示面板的用户的目光方向。

11.如权利要求1所述的方法，还包括：在生成所述图像的所述压缩副本之前，至少部分地基于在所述图像中显示所标识的内容的位置来确定所述图像的所述主区域。

12.如权利要求1所述的方法，还包括：基于一个或多个当前条件，确定用于所述图像的所述压缩副本的压缩量，以及执行所述压缩副本的生成以包括所确定的压缩量，其中，所述一个或多个当前条件包括所述图像中的信息的复杂度、所述一个或多个处理器上的负载、用于所述传输的连接的属性、或观看所述显示面板的用户的一个或多个偏好中的至少一个。

13.如权利要求1所述的方法，其中，所述图像以矩形格式构造并显示在所述显示面板上，仅所述图像的非矩形子集是可见的，所述非矩形子集不包括所述图像的一个或多个第三区域，以及其中，所述压缩副本的生成包括防止所述第三区域的至少一些像素值信息包括于所述压缩副本中。

14.如权利要求1所述的方法，其中，接收所述图像的数据包括生成所述图像，以及其中，所述图像的所述压缩副本的生成与所述图像的生成以实时方式同时执行。

15.如权利要求1所述的方法，其中，所述图像的数据还指定多个高动态范围(HDR)亮度值，所述多个高动态范围(HDR)亮度值包括与所述目标像素值相关联的目标HDR亮度值、以及与所述第一像素值相关联的第一HDR亮度值、以及与所述第二像素值相关联的第二HDR亮度值，以及其中，所述图像的所述压缩副本的生成还包括：使用比所述第一压缩水平和所述第二压缩水平压缩小的第三压缩水平来缩减所述压缩副本中的第三信息，所述第三信息至少表示所述第一HDR亮度值和所述第二HDR亮度值。

16.如权利要求15所述的方法，其中，缩减所述第三信息包括通过使用所述第三信息中的每个HDR亮度值来表示所述第一HDR亮度值和所述第二HDR亮度值中的多个HDR亮度值，从而缩减所述第三信息中的HDR亮度值的量，以及还包括从具有比所述第一HDR亮度值和所述第二HDR亮度值更少的唯一值的可能HDR亮度值的缩减集合中，选择所述第三信息中的每个HDR亮度值。

17.如权利要求15所述的方法，其中，所述图像的所述压缩副本的生成还包括：保留与所述目标像素值相关联的所有所述目标HDR亮度值，以在显示所述图像时，致使所述主区域的所述目标像素值和与所述目标像素值相关联的所述目标HDR亮度值的分辨率未减小。

18.一种系统，包括：

头戴式显示(HMD)设备的显示面板，具有多个像素；以及

一个或多个硬件电路，配置成使所述系统执行至少包括以下的自动化操作：

接收图像的具有多个像素值的编码副本；

从所述编码副本中的所述多个像素值中，识别用于所述图像的主区域的所述多个像素值中的多个像素值，其中，所识别的多个像素值属于多个颜色通道，并且用于控制所述显示面板的与所述主区域相对应的像素；

从所述编码副本中识别所述多个像素值的附加第一像素值，所述附加第一像素值用于所述图像的一个或多个次要区域，并且属于所述多个颜色通道中的至少一个第一颜色通道，其中，所述附加第一像素值中的每个均是具有比所述多个像素值更少的唯一值的第一可能像素值的缩减集合中的一个；

生成用于所述图像的所述次要区域的其它像素值，所述其它像素值属于所述多个颜色通道中的至少一个第二颜色通道，包括：从所述编码副本中识别所述多个像素值的附加第二像素值，所述附加第二像素值用于所述次要区域，并且属于所述至少一个第二颜色通道；以及使用每个所识别的附加第二像素值来产生所述其它像素值中的多个，其中，所述其它像素值中的每个均是具有比所述多个像素值更少的唯一值的第二可能像素值的缩减集合中的一个；以及

在所述显示面板上显示所述图像，包括：使用所识别的附加第一像素值和所生成的其它像素值中的每个，控制所述显示面板的对应于所述次要区域的像素的显示；以及使用所识别的多个像素值中的每个，控制所述显示面板的对应于所述主区域的像素中的一个。

19.如权利要求18所述的系统，还包括：具有存储指令的再现系统的存储器，所述存储指令在由所述再现系统的一个或多个硬件处理器执行时，使所述再现系统生成所述编码副本，并通过执行进一步的自动化操作将所述编码副本传输至所述HMD设备，所述进一步的自动化操作至少包括：

由所述再现系统接收所述图像的数据，所述图像包括属于所述多个颜色通道的多个像素值；

由所述再现系统在所述次要区域中使用特定于颜色的压缩来生成所述图像的所述编码副本，包括：

在所述编码副本中，保留所述主区域中的所接收数据的像素值、以及所保留的像素值的颜色数据的大小；

在所述编码副本中，对于所接收数据中的用于所述次要区域并属于所述第一颜色通道的附加第一像素值，通过针对所述附加第一像素值的多个区块中的每个，在所述编码副本中，用较小尺寸的单个第一子区块替换该区块来缩减颜色数据的像素量和大小，所述第一子区块的像素值每个均从可能的像素值的第一缩减集合中选择，并且所述第一子区块的每个像素值均表示来自该区块的所述附加第一像素值中的多个；以及

在所述编码副本中，对于所接收数据中的用于所述次要区域并属于所述第二颜色通道的附加第二像素值，通过针对所述附加第二像素值的多个区块中的每个，在所述编码副本中，用多个第二子区块替换该区块来缩减颜色数据的大小，所述第二子区块的像素值每个均从可能的像素值的第二缩减集合中选择；以及

由所述再现系统将所述图像的所述编码副本传输至所述HMD设备。

20.如权利要求19所述的系统，其中，所述存储指令还使所述再现系统执行软件应用程序，所述软件应用程序生成用于在所述显示面板上显示的多个视频帧的序列，并在通过至少一个连接传输至所述HMD设备之前，对所述多个视频帧中的每个进行编码，其中，所述图像是所述多个视频帧中的一个，以及其中，对所述多个视频帧中的每个执行所述多个像素值的所述接收和所述识别、以及所述附加第一像素值的所述识别、以及所述其它像素值的所述生成、以及所述显示。

21.如权利要求18所述的系统，还包括：所述HMD设备的第二显示面板，其中，所述HMD设备将所述显示面板保持在能够由所述HMD设备的佩戴者的一只眼睛观看的位置，并且将所述第二显示面板保持在能够由所述佩戴者的另一只眼睛观看的位置，以及其中，所述自动化操作还包括：在所述显示面板上显示所述图像的同时，在所述第二显示面板上显示第二图像，以向所述佩戴者提供虚拟现实显示。

22.如权利要求18所述的系统，其中，在所述图像面板上显示所述图像包括：以第一分辨率在所述主区域中显示信息；以低于所述第一分辨率的第二分辨率，在用于所述第一颜色通道的所述次要区域中显示信息；以低于所述第二分辨率的第三分辨率，在用于所述第二颜色通道的所述次要区域中显示信息；以及以低于所述第一分辨率且高于所述第二分辨率的第四分辨率，生成和显示另外的信息，其中，在所述主区域和所述次要区域的部分之间执行所述另外的信息的显示。

23.如权利要求18所述的系统，其中，所述图像以矩形格式构造并显示在所述显示面板上，仅所述图像的非矩形子集是可见的，所述非矩形子集不包括所述图像的一个或多个第三区域，以及其中，在所述显示面板上显示所述图像包括不显示来自所述编码副本的对应于所述第三区域的任何像素值。

24.如权利要求18所述的系统，其中，所述编码副本还包括对与所述多个像素值相关联的多个高动态范围(HDR)亮度值进行编码的附加信息，其中，所述自动化操作还包括：

识别所述多个HDR亮度值中的与用于所述图像的所述主区域的所述多个像素值相关联的多个HDR亮度值；以及

通过针对所述附加信息中的多个经编码的HDR亮度值中的每个，使用经编码的HDR亮度值以产生其它HDR亮度值中的多个，从所述附加信息中生成所述多个HDR亮度值中的所述其它HDR亮度值，所述其它HDR亮度值中的每个均是具有比所述多个HDR亮度值更少的唯一值的可能HDR亮度值的缩减集合中的一个；以及

其中，所述图像的显示还包括：使用所生成的其它HDR亮度值作为控制所述显示面板的、对应于所述次要区域的像素的显示的部分，并且使用所识别的多个HDR亮度值来控制所述显示面板的、对应于所述主区域的像素的显示。

25.一种方法，包括：

由视频再现计算系统的一个或多个硬件处理器，接收在多个颜色通道中具有多个像素值的图像的视频帧数据，以在头戴式显示(HMD)设备上显示；

由所述一个或多个硬件处理器，确定要以全分辨率显示的所述图像的主区域和要以小于全分辨率显示的所述图像的一个或多个次要区域；

由所述一个或多个硬件处理器对所述图像进行编码，以生成所述图像的修改副本，所述修改副本用于传输至所述HMD设备，所述修改副本在所述次要区域中以特定于颜色的方式进行压缩，包括：

对于所述主区域中的所接收的视频帧数据的第一像素值，保留所述修改副本中的所有第一像素值；以及

对于所述次要区域中的所接收的视频帧数据的第二像素值，并且以不同于对于所述多个颜色通道中的一个或多个第二颜色通道的方式对于所述多个颜色通道中的一个或多个第一颜色通道，通过以下步骤来替换所述修改副本中的所述第二像素值中的至少一些：

将所述第二像素值划分成多个区块，每个区块均具有单个颜色通道的限定的第一数量的多个像素值；

创建较小的子区块，所述子区块表示所述多个区块，并且每个子区块均具有比所述限定的第一数量小的第二数量的多个像素值，包括：为具有所述第一颜色通道中的一个的像素值的每个区块创建单个子区块，所述单个子区块的像素值每个均表示该区块中的两个或更多个像素值，以及还包括：为具有所述第二颜色通道中的一个的像素值的每个区块创建多个子区块，所述多个子区块的像素值合计地复制该区块；以及

对于每个子区块，将该子区块中的每个像素值改变为用于该子区块的多个允许像素值中的一个，包括确定用于该子区块的所述多个允许像素值，以包括来自该子区块的最小像素值和最大像素值，以及包括在所述最小像素值和所述最大像素值之间的一个或多个中间像素值；

将所述修改副本传输至所述HMD设备；以及

在所述HMD设备的至少一个控制器的控制下，在所述HMD设备上显示来自所述修改副本的图像，包括：使用所保留的第一像素值来控制所述主区域中的显示，以及通过从所创建的子区块和所改变的像素值生成新的区块，使用所替换的至少一些像素值来控制所述次要区域中的显示。

26.如权利要求25所述的方法，其中，所述一个或多个第一通道为红色和蓝色，并且执行为具有红色像素值或蓝色像素值的每个区块创建所述单个子区块，以缩减用于所述次要区域中的红色通道和蓝色通道的颜色数据的像素量和大小，以及其中，所述一个或多个第二通道为绿色，并且执行为具有绿色像素值的每个区块创建所述多个子区块，以缩减用于所述次要区域中的绿色通道的颜色数据的大小，同时为所述次要区域中的所述绿色通道提供比所述次要区域中的所述红色通道和所述蓝色通道更高的分辨率。

27.如权利要求26所述的方法，其中，所述视频帧数据以矩形格式接收，其中，所述图像显示在所述HMD设备上，仅所述图像的非矩形子集是可见的，所述非矩形子集不包括所述图像的一个或多个第三区域，以及其中，对所述图像进行编码以生成所述修改副本包括：通过将像素值改变为恒定值来缩减所述第三区域的颜色数据的大小。

28.如权利要求25所述的方法，其中，对多个视频帧的序列中的每个执行所述接收和所述编码以及所述传输和所述显示，以及其中，基于跟踪所述HMD设备的用户的目光来对每个视频帧动态地执行所述确定，以将所述主区域标识为目光所指向的区域。

29.如权利要求25所述的方法，其中，所述HMD设备经由无线连接而连接至所述视频再现计算系统，通过所述无线连接进行所述传输，以及其中，以基于所述无线连接的信号强度或带宽中的至少一个的压缩水平执行对所述图像的编码，以生成所述修改副本。

Images