CN110012290A - 对图像的片段进行排序以用于编码和发送至显示设备 - Google Patents

Abstract

本公开涉及对图像的片段进行排序以用于编码和发送至显示设备。公开了用于对图像的多个片段进行排序以用于编码和无线发送至显示设备的方法、装置、系统和制品。装置包括片段排序器，用于以编码顺序来排列片段以用于编码。编码顺序不同于扫描线顺序，并且编码顺序使得多个片段的中心片段在编码顺序中占据第一位置。第一位置在中心片段在扫描线顺序中占据的第二位置之前，并且中心片段对应于图像的中心。装置还包括：编码器，用于以编码顺序来编码片段；以及无线发送器，用于以编码的片段被编码的编码顺序将编码的片段发送到显示设备。

Description

对图像的片段进行排序以用于编码和发送至显示设备

技术领域

本公开总体涉及虚拟现实系统，并且更具体地，涉及对图像的片段进行排序以用于编码和发送至显示设备。

背景技术

虚拟现实技术的最新进展已经使得虚拟现实系统提供了极大改进的用户体验。作为结果，虚拟现实系统正在变得越来越流行，并且很快就会成为家庭娱乐系统、主题公园景点、与工作相关的培训工具、教育方法等的主要产品。

发明内容

本公开的实施例提供了一种用于对图像的多个片段进行排序以用于编码和发送至显示设备的装置，装置包括：片段排序器，用于以编码顺序来排列片段以用于编码，编码顺序不同于扫描线顺序，并且编码顺序使得多个片段的中心片段在编码顺序中占据第一位置，第一位置在中心片段在扫描线顺序中占据的第二位置之前，中心片段对应于图像的中心；编码器，用于以编码顺序来编码片段；以及无线发送器，用于以编码的片段被编码的编码顺序将编码的片段发送到显示设备。

本公开的实施例还提供了一种或多种非暂态机器可读存储介质，包括机器可读指令，机器可读指令在被执行时使得一个或多个处理器执行至少以下操作：以非扫描线顺序来排列一组图像区域；以非扫描线顺序来编码图像区域，使用非扫描线顺序使得该组图像区域的中心图像区域与中心图像区域将在扫描线顺序中被编码相比更早地被编码，并且使得该组图像区域的外围图像区域与外围图像区域将在扫描线顺序中被编码相比更晚地被编码；以及以非扫描线顺序将编码的图像区域提供给发送器以用于发送到显示单元。

本公开的实施例还提供了一种用于对多个图像图块进行排序的设备，设备包括：用于以非扫描线顺序来定位多个图像图块的装置，多个图像图块包括与图像的中心相对应的中心图像图块，中心图像图块在非扫描行顺序中占据与中心图像图块在扫描线顺序中占据的位置相比更早的编码位置；用于以非扫描线顺序来编码多个图像图块的装置；以及用于以非扫描线顺序将编码的图像图块发送到显示器的装置。

本公开的实施例还提供了一种用于对图像的多个片段进行排序以用于编码和发送至显示设备的方法，方法包括：以编码顺序来排列片段以用于编码，编码顺序不同于扫描线顺序，并且编码顺序使得多个片段的中心片段在编码顺序中占据第一位置，第一位置在中心片段在扫描线顺序中占据的第二位置之前，并且中心片段对应于图像的中心；以编码顺序来编码片段；以及以编码的片段被编码的编码顺序将编码的片段发送到显示设备。

附图说明

图1示出了根据本公开的教导的示例虚拟现实系统，该示例虚拟现实系统包括示例虚拟现实控制台，用于对图像的片段进行排序以用于编码和发送至虚拟现实系统的示例头戴式显示器。

图2是图1的示例虚拟现实控制台和图1的示例头戴式显示单元的框图。

图3是被划分为九个图像片段的示例图像。

图4A是包括以扫描线顺序排列的图像片段的示例图像片段队列。

图4B是包括以第一增强编码顺序排列的图像片段的示例图像片段队列。

图5是示出扫描线解码顺序、示例第一增强编码顺序、以及每个图像片段的编码与每个图像片段的解码之间的时间段差异的表。

图6A是示出当使用扫描线编码顺序时针对每个图像片段实现的示例解码成功率的曲线图。

图6B是示出当使用第一增强编码顺序来编码/发送图像片段时针对每个图像片段实现的示例解码成功率的曲线图。

图7是包括以第二增强编码顺序排列的图像片段的示例图像片段队列。

图8是示出扫描线解码顺序、示例第二增强编码顺序、以及每个图像片段的编码与每个图像片段的解码之间的时间段差异的表。

图9是示出当使用第二增强编码顺序来编码/发送图像片段时针对每个图像片段实现的示例解码成功率的曲线图。

图10是表示可以被执行以实现图1和/或图2的示例虚拟现实控制台的示例机器可读指令的流程图。

图11是表示可以被执行以实现图1和/或图2的示例头戴式显示单元的示例机器可读指令的流程图。

图12是被构造为执行图10的指令以实现图1和/或图2的示例虚拟现实控制台的示例处理平台的框图。

图13是被构造为执行图11的指令以实现图1和/或图2的示例头戴式显示单元的示例处理平台的框图。

附图未按比例绘制。通常，在整个附图和随附的书面描述中将使用相同的附图标记来表示相同或相似的部分。

具体实施方式

由于最近在底层技术方面的进步极大地改善了用户的体验，因此预测虚拟现实系统将成为家庭娱乐主要产品。在当前的无线虚拟现实系统中，虚拟现实控制台通过无线链路与用户佩戴的头戴式显示器进行通信。经由无线链路发送的信息包括当在头戴式显示器的屏幕上显示时给予用户/佩戴者占据虚拟现实的错觉的图像。

在传统的虚拟现实系统中，随着头戴式显示器的方向改变，虚拟现实控制台与头戴式显示器进行通信的无线链路的带宽/实际吞吐量动态地改变。因此，当用户/佩戴者的头部移动时，头戴式显示器的朝向改变并且无线链路的质量改变。不幸的是，在某些情况下，朝向的改变使得无线链路的质量充分地降低，从而使得图像数据的传送受到不利影响。在一些情况下，在头戴式显示器上显示的图像帧的一个或多个片段/区域/部分在传送期间被丢弃，和/或一个或多个图像帧的传送被延迟。头戴式显示单元的解码器对接收到的图像片段进行解码，以在头戴式显示器上渲染图像帧(也称为图像)。当与当前图像相对应的图像片段被丢弃或接收得太晚而不能及时解码时，解码器使得来自先前显示的图像的相应图像片段的图像数据被渲染在显示器上。此外或替代地，可以使用一个或多个其他错误缓解、错误处理算法来补偿不存在的图像片段。虽然这种纠错/缓解技术有助于减轻由丢失或延迟的图像片段引起的不利影响，但是丢弃/延迟的片段仍然可能对用户体验造成不利影响。在一些这样的实例中，使用当前和先前发送的图像片段渲染的图像可能具有人眼可辨别的伪像并且足以损害虚拟现实体验的错觉。因此，仍然一直需要改进图像片段被编码/传送到头戴式显示单元的方式。

本文公开的虚拟现实技术通过以非扫描线顺序来排列图像片段以用于编码和传输，极大地提高了虚拟现实控制台和头戴式显示器之间的无线链路的吞吐量。在传统系统中，要从控制台发送到头戴式显示器的图像被分割/分区为较小片段(本文也称为部分、区域、部分分区等)。分割/分区使得图像被划分为一组行，该组行被进一步划分为列，从而形成图像片段的网格。图像片段从顶行开始编号，并且顶行中的每个片段从左到右被分配编号，直到到达顶(第一)行的末尾。接下来，编号在第二行的最左片段再次开始。编号以这种方式进行(逐行，从上到下，并且在行内从左到右)，直到所有图像片段都分配有编号。这在本文中称为图像片段的扫描线顺序/排序，因为图像片段以图像被扫描的方式(例如，从上到下，从左到右)被排序。因此，在被划分为包括在三行和三列中的九个片段的图像中，顶行的三个片段从左到右被编号为一、二和三。第二行的三个片段从左到右被编号为四、五和六，并且第三行的三个片段从左到右被编号为七、八和九。

在传统的虚拟现实系统中，编号的片段以扫描线顺序被编码(然后被发送)，例如，首先编码片段1，然后编码片段2、3、4、5、6、7、8，并且最后编码片段9。编码的片段也由虚拟现实控制台以扫描线顺序(例如，从1到9)发送到头戴式显示器。

然而，图像的中心通常在视觉上对用户更重要，因为它保持用户的凝视。此外，由于包括在头戴式显示器中的镜头的设计，内容保真度在图像的中心处最大。因此，在上面的示例九个片段图像中，包括位于图像的中心的内容的图像片段5对于在头戴式显示单元处显示的图像的完整性更重要(与其他图像片段相比)。然而，如上所述，在传统的虚拟现实系统中，片段5在片段1、2、3和4之后被编码和传送到头戴式显示器。

如上所述，头戴式显示单元的用户/佩戴者的头部移动改变了头戴式显示单元的朝向，从而使得无线链路的状况劣化。在一些情况下，头戴式显示单元的重新定向将触发波束成形操作，虚拟现实控制台的无线发送器试图通过该波束成形操作重新对准无线波束(无线链路通过该无线波束与头戴式显示单元进行通信)。作为结果，虚拟现实控制台的发送器停止对图像片段的发送，直到波束被重新对准。该发送暂停操作可以持续几毫秒，从而延迟图像片段的传送。遗憾的是，由波束重新对准引起的延迟可能使得一个或多个图像片段到达头戴式显示单元的解码器太晚，这进而可能使得图像片段传送失败。此外，参考上面的示例九个片段图像，由于图像片段5包括位于图像中心的内容，图像片段5的图像片段传送失败可能对于在头戴式显示器处渲染的所得到的图像的完整性具有更大的影响(与其他片段的传送失败相比)。

本文公开的虚拟现实系统通过实现更丰富、更高质量的图像/视频内容的显示来改善用户体验。通过以非扫描线顺序来排列图像片段以用于编码和发送至头戴式显示器，来实现更丰富、更高质量的图像/视频内容的显示。在一些示例中，图像片段以如下方式排序：向具有中心图像内容的图像片段提供用于到达头戴式显示单元的更大时间量的方式。这样，包括更重要的图像内容的较高优先级图像片段在头戴式显示器处被接收(例如，未被丢弃)并且在足以允许解码的时间量内被接收(例如，没有不允许的延迟)的可能性更大。作为结果，由所公开的虚拟现实系统的头戴式显示器渲染的图像异常更少并且向用户提供更丰富、更逼真的虚拟现实体验。

本文公开的技术不仅适用于虚拟现实系统，还适用于混合现实和增强现实系统。实际上，本文公开的技术可以被用来改进将图像/图像片段无线地传输到远程显示单元的任意系统。

图1是示例虚拟现实系统100的示例实现方式，该示例虚拟现实系统100包括示例虚拟现实控制台110，该示例虚拟现实控制台110与用户130佩戴的示例虚拟现实头戴式显示器120无线地进行通信。在一些示例中，虚拟现实控制台110将图像数据无线地发送至头戴式显示器120，该头戴式显示器120使用图像数据来渲染相应图像以供用户130观看。

图2是图1的示例虚拟现实控制台110和示例头戴式显示单元120的示例实现方式的框图。在一些示例中，虚拟现实控制台110包括与存储软件指令和/或图像/视频数据的示例存储装置(例如，存储器)204进行通信的示例图像处理器202、示例分割器206、示例片段队列208、和示例片段排序器210、示例编码器212、和示例无线发送器214。在一些示例中，示例头戴式显示单元120包括示例无线接收器216、示例解码器存储装置217、示例解码器218、和在其上渲染图像的示例显示器/屏幕/镜头220。

在一些示例中，示例图像处理器202处理、生成和/或选择要传送到头戴式显示器120以用于在那里渲染的图像帧。在一些示例中，图像处理器202向示例图像分割器206标识示例存储装置204中存储图像帧的位置。图像分割器206通过将图像帧分割/划分/分区为一组图像片段(本文也称为图像部分、图像区域、图像分区、图像图块等)来响应位置信息。

图3示出了被划分为一组图像片段的示例图像帧300。在一些示例中，示例图像分割器206通过将图像帧300划分为一组行(例如，顶行304、中间行306、和底行308)和一组列(例如，第一列310、第二列312、和第三列314)由此形成定义图像片段的网格，来将图像帧分割/划分为图像片段。在一些示例中，图像可以被划分为任意数量的行/列，或以任意期望的方式被划分。出于引用目的，使用从顶行开始逐行升序并且在每行内以从左到右的方式递增的编号来引用图像片段。作为结果，最顶行的图像片段被称为第一图像片段318、第二图像片段316和第三图像片段320。类似地，中间行的图像片段被称为第四图像片段322、第五图像片段324和第六图像片段326。并且，底行的图像片段被称为第七图像片段328、第八图像片段330和第九图像片段332。

出于引用目的，图像片段316-332还被描述为与三个层中的一个层相关联。第一层包括最中心图像片段(例如，第五图像片段324)，第二层包括与最中心、第五图像片段共享边界的图像片段(例如，第二图像片段318、第四图像片段322、第六图像片段326和第八图像片段330)，并且第三层包括在最中心的第五图像片段324的外围的图像片段(例如，第一图像片段316、第三图像片段320、第七图像片段328和第九图像片段332)。从图3中可以看出，外围图像片段包括位于图像帧300的角处的图像内容。

在一些示例中，示例分割器206将图像片段以传统(也称为扫描线)顺序放置到示例片段队列208中。在一些示例中，扫描线是传统虚拟现实系统用于编码/发送图像片段的顺序。因此，第一片段316占据扫描线顺序中和片段队列208中的第一位置，第二片段318占据扫描线顺序中和片段队列208中的第二位置，第三片段320占据扫描行顺序和片段队列208中的第三位置等等。

在一些示例中，当图像片段以扫描线顺序被放置在片段队列208中时，示例图像分割器206通知示例片段排序器210。响应于该通知，片段排序器210根据第一示例增强编码顺序来重新排列片段队列208中的图像片段。

图4A示出了示例段队列208中以扫描线顺序410放置的图像片段，并且图4B示出了第一示例增强编码顺序420中的图像片段。在一些示例中，示例片段排序器210将片段队列208中的图像片段重新排列为第一增强编码顺序，使得第五图像片段324占据第一位置，第二图像片段318占据第二位置，第一图像片段316占据第三位置，第四图像片段322占据第四位置，第三图像片段320占据第五位置，第六图像片段326占据第六位置，第八图像片段330占据第七位置，第七图像片段328占据第八位置，第九图像片段332占据第九位置。在片段排序器210已经将图像片段重新排列为非扫描线顺序之后，片段排序器210通知示例编码器212，该示例编码器212以第一增强编码顺序从片段队列208中提取和编码图像片段。编码器212以第一增强编码顺序将编码的图像片段提供给示例无线发送器214。无线发送器214以第一增强编码顺序将编码的片段发送至示例头戴式显示单元120。

示例头戴式显示单元120的示例无线接收器216以第一示例增强编码顺序接收图像片段。在一些示例中，示例解码器218以上述扫描线顺序对图像片段进行解码(例如，第一个解码第一图像片段316，第二个解码第二图像片段320，第三个解码第三图像片段322，以此类推)。解码器218以扫描线顺序将解码的图像片段提供给头戴式显示单元120的屏幕/显示器/镜头220以在其上进行渲染。

图5是示出示例解码器218解码图像片段的扫描线顺序(参见图5的第一行510)与图像片段被编码/发送至头戴式显示单元120的第一示例增强编码顺序(参见图5的第二行520)的比较的表500。因为扫描线顺序和第一增强编码顺序不同，所以图5还标识了每个图像片段的编码/发送与每个图像片段的解码之间的时间差(参见图5的第三行530)。图5的第三行530的时间差被表示为时间段“t₀”的倍数，其中图像片段在由示例无线发送器214(参见图2)发送之后预期在该时间段“t₀”中到达示例解码器218(参见图2)。使用负数来指示如下实例：图像片段的发送发生时间在被设置的解码发生时间之后。

如图5的第一行510中所示，扫描线解码顺序指示第一个解码第一图像片段316，第二个解码第二图像片段318，第三个解码第三图像片段320，依此类推，直到解码并且显示所有九个图像片段。如图5的第二行520中所示，第一增强编码顺序指示第一个编码第五图像片段324，第二个编码第二图像片段318，第三个编码第一图像片段316，第四个编码第四图像片段322，第五个编码第三图像片段320，第六个编码第六图像片段326，第七个编码第八图像片段328，第八个编码第七图像片段330，第九个编码第九图像片段332。图5的第三行530示出了当使用第一增强编码顺序来编码/发送每个图像片段时使用扫描线顺序来解码图像片段的效果。

如图5的第三行530所示，当使用第一增强编码顺序来编码/发送图像的片段时，与示例解码器218(参见图2)准备解码第五图像片段324相比，该第五图像片段324早四个时间段(4t₀)被编码/发送。相比而言，当使用扫描线顺序来进行编码/发送时，第五图像片段324在相同时间段中被编码/发送和解码。因此，与使用扫描线顺序来进行图像片段编码和发送相比，第一增强编码顺序向第五图像片段324提供了到达解码器218的额外时间，从而提高了成功解码第五图像片段324的可能性。相比而言，当使用第一增强编码顺序来进行编码/发送时，第二图像片段318在与解码器218将准备解码该第二图像片段318相同的时间段中被编码/发送。当使用扫描线顺序来进行编码/发送时，也是这样的情况。因此，针对第二图像片段318，使用第一增强编码顺序与使用扫描线顺序相比具有相同的成功可能性。

仍然参考图5的第三行530，当使用第一增强编码顺序时，与解码器218准备开始解码第一图像片段316的时间段相比，该第一图像片段316晚两个时间段被编码/发送。相比而言，当使用扫描线顺序来进行编码/发送，第一图像片段316在相同时间段中被编码/发送和解码。因此，与使用扫描线顺序来进行编码相比，使用第一增强编码顺序对成功解码第一图像片段316的可能性产生负面影响。当使用第一增强编码顺序来进行编码/发送时，第四图像片段322在相同时间段中被编码/发送和解码。同样，当使用扫描线顺序来进行编码/发送时，第四图像片段322在相同时间段中被编码/发送和解码。因此，与使用扫描线顺序相比，使用第一增强编码顺序不改变成功解码第四图像片段322的可能性。当使用第一增强编码顺序来进行编码/发送时，与解码器218准备开始解码第三图像片段320的时间相比，该第三图像片段320晚两个时间段被编码/发送。当使用扫描线顺序来进行编码/发送时，第三图像片段316在相同时间段中被编码/发送和解码。因此，与使用扫描线顺序进行编码相比，使用第一增强编码顺序对成功解码第三图像片段320的可能性产生负面影响。

仍然参见图5，当使用第一增强编码顺序来进行编码/发送时，第六图像片段326在相同时间段中被编码/发送和解码。当使用扫描线顺序时，对于第六图像片段326也是如此。因此，与使用扫描线顺序进行编码相比，使用第一增强编码顺序不会改变成功解码第六图像片段326的可能性。相比而言，当使用第一增强编码顺序来进行编码/发送时，与示例解码器218(参见图2)准备开始解码第八图像片段330的时间相比，该第八图像片段330早一个时间段被编码/发送。相反，当使用扫描线顺序来进行编码/发送时，第八图像片段316在相同时间段中被编码/发送和解码。因此，与使用扫描线顺序进行编码相比，使用第一增强编码顺序使得第八图像片段330有更多时间到达解码器218，从而对成功解码第八图像片段330的可能性产生正面影响。

仍然参见图5，当使用第一增强编码顺序来进行编码/发送时，与示例解码器218(参见图2)准备开始解码第七图像片段328的时间相比，该第七图像片段328晚一个时间段被编码/发送。相反，当使用扫描线顺序来进行编码/发送时，第七图像片段316在相同时间段中被编码/发送和解码。因此，与在使用扫描线顺序时提供的时间量相比，使用第一增强编码顺序使得第七图像片段328有更少时间到达解码器218。作为结果，与使用扫描线顺序进行编码相比，使用第一增强编码顺序对成功解码第七图像片段328的可能性产生负面影响。

当使用第一增强编码顺序来进行编码/发送时，第九图像片段332在相同时间段中被编码/发送和解码。当使用扫描线编码时也是如此。因此，与使用扫描线顺序来进行编码相比，使用第一增强编码顺序不会改变成功解码第九图像片段332的可能性。

为了进一步量化使用第一增强编码顺序与使用扫描线顺序来编码/发送图像片段的效果，图6A呈现了示出当以扫描线顺序来编码/发送(和解码)九个图像片段时接收和解码九个图像片段中的每个图像片段的示例成功率的图表。在示出的示例中，当使用扫描线顺序来编码/发送和解码图像片段时，针对九个图像片段中的每个图像片段的接收和解码的成功率是90％。图。图6B呈现了示出当以第一示例增强编码顺序来编码/发送图像片段并且以扫描线顺序来进行解码时接收和解码九个图像片段中的每个图像片段的示例成功率的图表。在示出的示例中，如图6B所示，当使用第一增强编码顺序时，接收和解码第五图像片段的成功率是100％。当使用第一增强编码顺序时，接收和解码第二图像片段、第四图像片段、第六图像片段和第九图像片段的成功率是90％。这是预期的，因为第二图像片段、第四图像片段、第六图像片段和第九图像片段在传统的顺序和修改的顺序中占据相同的位置。当使用第一增强编码顺序时，接收和解码第一图像片段、第三图像片段和第七图像片段的成功率是80％或更低。如图5的表所示，这种成功率从90％降至80％或更低是由第一图像片段、第三图像片段和第七图像片段在第一增强编码顺序中的发送相对于第一图像片段、第三图像片段和第七图像片段的解码时间的延迟引起的。因此，针对包括图像的中心的第五图像片段，提升了在使用第一增强编码顺序时实现的成功率，并且针对第八图像片段(其包括非外围图像内容)，也提升了在使用第一增强编码顺序时实现的成功率。因为第五图像片段和第八图像片段包括对于图像的渲染更重要的非外围图像内容，所以成功解码这些片段的增加的可能性向由图像片段组成的图像的渲染提供了重要的益处。虽然第一图像片段、第三图像片段和第七图像片段的成功率从90％下降到80％或更低，但是第一图像片段、第三图像片段和第七图像片段中的每个图像片段都包括对于渲染不太重要的外围图像内容，因此，这是可以容忍的。

图7示出了当以第二增强编码顺序来排列示例图像片段时示例片段队列208的示例内容。在一些示例中，对于任意图像片段，不能容忍低于80％的解码成功率。在一些这类示例中，示例片段排序器210可以替代地被配置为使用第二示例增强编码顺序来排列示例片段队列208中的图像片段。在一些这类示例中，片段排序器210响应于来自示例图像分割器206的指示片段已经被放入队列208的通知，将图像片段重新排列成第二增强编码顺序。在一些示例中，当片段排序器210以第二增强修改顺序来排列图像片段时，第二图像片段318在片段队列208中占据第一位置，第一图像片段316占据第二位置，第五图像片段324占据第三位置，第三图像片段320占据第四位置，第四图像片段322占据第五位置，第六图像片段326占据第六位置，第八图像片段330占据第七位置，第七图像片段328占据第八位置，第九图像片段332占据第九位置。在片段排序器210已经将片段队列208中的图像片段重新排列为增强修改的顺序之后，示例片段排序器210通知示例编码器212(参见图2)，该示例编码器212以第二增强编码顺序从片段队列208中提取和编码图像片段。编码器212将编码的图像片段提供给示例无线发送器214，该示例无线发送器214将编码的图像片段无线地发送至示例头戴式显示单元120。

如上所述，示例头戴式显示单元120的示例无线接收器216以第二增强编码顺序接收图像片段。在一些示例中，头戴式显示单元120的示例解码器218以上述扫描线解码顺序对图像片段进行解码(例如，第一个解码第一图像片段，第二个解码第二图像片段，第三个解码第三图像片段，依此类推)。在解码时，解码器218以扫描线解码顺序将图像片段提供给头戴式显示单元120的屏幕/显示器/镜头220以在其上进行渲染。

图8是用于比较解码器解码图像片段的扫描线顺序(第一行810)与图像片段被编码/发送至头戴式显示单元120的示例第二增强编码顺序(第二行820)的表800。因为扫描线顺序和第二增强编码顺序不同，所以图8还标识了编码/发送每个图像片段与示例解码器218准备解码每个图像片段之间的时间差(第三行830)(以时间段“t₀”的倍数的形式)。使用负数来指示如下实例：其中图像片段的发送发生时间在解码器218准备解码该图像片段的时间之后的实例。

如图8的第一行810中所示，示例解码器218(参见图2)以扫描线顺序对图像片段进行解码，使得第一个解码第一图像片段316，第二个解码第二图像片段318，第三个解码第三图像片段320，依此类推，直到解码并且显示所有九个图像片段。如图8的第二行820中所示，第二增强编码顺序指示第一个编码第二图像片段318，第二个编码第一图像片段316，第三个编码第五图像片段324，第四个编码第三图像片段320，第五个编码第四图像片段322，第六个编码第六图像片段326，第七个编码第八图像片段330，第八个编码第七图像片段328，第九个编码第九图像片段332。

图8的第三行830示出了当使用第二增强编码顺序来编码/发送每个图像片段时使用扫描线顺序来解码图像片段的效果。使用第二增强编码顺序，与解码器218(参见图2)准备解码第二图像片段318相比，该第二图像片段318早一个时间段(1t₀)被编码/发送。相比而言，当使用扫描线顺序来进行编码/发送和解码，第二图像片段在相同时间段中被编码/发送和解码，因此，当使用增强编码顺序进行编码/发送时，与扫描线顺序相比，第二图像片段具有被成功解码的更大可能性。当使用第二增强编码顺序进行编码/发送时，与解码器218准备解码第一图像片段316相比，该第一图像片段316晚一个时间段被编码/发送。相比而言，当使用扫描线顺序时，第一图像片段在相同时间段内被编码/发送和解码。因此，与使用扫描线顺序进行编码/发送相比，使用第二增强编码顺序对第一图像片段被成功解码的可能性产生负面影响。

仍然参考图8的第三行830，当使用第二增强编码顺序时，与解码器218准备开始解码第五图像片段324的时间段相比，该第五图像片段324早两个时间段被编码/发送。相比而言，当使用扫描时线序来进行编码/发送，第五图像片段324在相同时间段中被编码/发送和解码。因此，与使用扫描线顺序进行编码相比，使用第二增强编码顺序对成功解码第五图像片段324的可能性产生正面影响。相反，当使用第二增强编码顺序进行编码/发送时，与解码器218准备解码第三图像片段320相比，该第三图像片段320晚一个时间段被编码/发送。当使用扫描线顺序来进行编码/发送时，第三图像片段在相同时间段中被编码/发送和解码。因此，与使用扫描线顺序相比，使用第二增强编码顺序对成功解码第三图像片段320的可能性具有负面影响。

当使用第二增强编码顺序来进行编码/发送时，与示例解码器218(参见图2)准备开始解码第四图像片段322的时间相比，该第四图像片段322晚一个时间段被编码/发送。相比而言，当使用扫描线顺序来进行编码/发送时，第四图像片段322在相同时间段中被编码/发送和解码。因此，与使用扫描线顺序来进行编码相比，使用第二增强编码顺序对成功解码第四图像片段322的可能性产生负面影响。

仍然参见图8，当使用第二增强编码顺序来进行编码/发送时，第六图像片段326在相同时间段中被编码/发送和解码。当使用扫描线顺序时，对于第六图像片段326也是如此。因此，与使用扫描线顺序来进行编码相比，使用第二增强编码顺序不会改变成功解码第六图像片段326的可能性。当使用第二增强编码顺序来进行编码/发送时，与示例解码器218(参见图2)准备开始解码第八图像片段的时间相比，第八图像片段330早一个时间段被编码/发送。当使用扫描线顺序来进行编码/发送时，第八图像片段330在相同时间段中被编码/发送和解码。因此，与使用扫描线顺序进行编码相比，使用第二增强编码顺序使得第八图像片段330有更多时间到达解码器218，从而对成功解码第八图像片段330的可能性产生正面影响。

当使用第二增强编码顺序进行编码/发送时，与示例解码器218(参见图2)准备开始解码第七图像片段328的时间相比，该第七图像片段328晚一个时间段被编码/发送。相反，当使用扫描线顺序来进行编码/发送时，第七图像片段328在相同时间段中被编码/发送和解码。因此，与在使用扫描线顺序时提供的时间量相比，使用第二增强编码顺序使得第七图像片段328有更少时间到达解码器218。作为结果，与使用扫描线顺序进行编码相比，使用第二增强编码顺序对成功解码第七图像片段328的可能性产生负面影响。

当使用第二增强编码顺序来进行编码/发送时，第九图像片段332在相同时间段中被编码/发送和解码。当使用扫描线编码时也是如此。因此，与使用扫描线顺序来进行编码相比，使用第二增强编码顺序不会改变成功解码第九图像片段332的可能性。

因此，使用第二增强编码顺序来编码和发送图像片段(与使用扫描线顺序相比)增加了成功解码第二图像片段、第五图像片段和第八图像片段的可能性，对成功解码第六图像片段和第九图像片段的可能性没有影响，并且对成功解码第一图像片段、第三图像片段、第四图像片段和第七图像片段的可能性具有不利影响。如上所述，当使用第二增强编码顺序来编码/发送图像片段时，成功解码一些图像片段(例如，第一图像片段、第三图像片段、第四图像片段和第七图像片段)的可能性受到不利影响。在一些示例中，当示例编码器212(参见图2)(与示例解码器218解码接收到的图像片段相比)编码得更快时，这种不利影响被减少。例如，在一些示例中，编码器212以每个图像帧花费约5毫秒(ms)编码时间的速率进行编码，并且编码器正在产生要以大约11.1ms的速率显示的数据(即，编码器花费5ms来对要花费11ms被显示的图像进行编码)。该时间差使得图像片段有更多时间到达，因此对成功传送和解码图像片段的可能性产生正面影响。

图9是示出当以第二示例增强编码顺序来编码/发送图像片段并且以扫描线顺序来进行解码时九个图像片段中的每个图像片段的示例解码成功率的图表900。如图9的示例中所示，当使用第二增强编码顺序时，解码第二图像片段、第五图像片段和第八图像片段的成功率为100％或接近100％。当使用第二增强编码顺序时，接收和解码第六图像片段和第九图像片段的成功率是90％。注意，这是预期的，因为当使用扫描线顺序来进行编码/发送时，这些片段的成功率也是90％，并且第六图像片段和第九图像片段在传统的顺序和修改的顺序中占据相同的位置。当使用第二增强编码顺序时，解码第一图像片段、第三图像片段、第四图像片段和第七图像片段的成功率是80％。如还可以参考图8所示，这种成功率从90％下降到80％可以归因于第一图像片段、第三图像片段、第四图像片段和第七图像片段在第二增强编码顺序中的发送相对于第一图像片段、第三图像片段、第四图像片段和第七图像片段的解码时间的延迟。

因此，针对包括位于图像的中心或与图像的中心接壤的图像内容的第二图像片段、第五图像片段和第八图像片段(例如，第1层和第2层)，提升了在使用第二增强编码顺序时实现的成功率。因为第二图像片段、第五图像片段和第八图像片段包括位于图像的中心或与图像的中心接壤的内容，所以这些图像片段包括重要内容，并且对于图像的渲染更为重要。作为结果，成功解码第二图像片段、第五图像片段和第八图像片段的增加的可能性为虚拟现实系统实现的虚拟现实带来了重要的益处。此外，虽然第一图像片段、第三图像片段、第四图像片段和第七图像片段的成功率从90％下降到80％，但是第一图像片段、第三图像片段、第四图像片段和第七图像片段中的每个图像片段都包括对于渲染不太重要的外围图像内容，因此，这是可以容忍的。此外，第二增强编码顺序决不会使得成功率下降到80％以下。

虽然在图2中示出了实现图1的虚拟现实控制台110和头戴式显示单元120的示例方式，但是图2中示出的元件、过程和/或设备中的一个或多个可以以任意其他方式被组合、划分、重新布置、省略、消除和/或实现。此外，示例图像处理器202、示例存储装置204、示例图像分割器206、示例片段队列208、示例片段排序器210、示例编码器212、示例无线发送器214、示例无线接收器216、示例解码器存储装置217、示例图像解码器218、示例显示器220、和/或更一般地图1的示例虚拟现实控制台110和头戴式显示单元120可以通过硬件、软件、固件、和/或硬件、软件和/或固件的任意组合来实现。因此，例如，示例图像处理器202、示例存储装置204、示例图像分割器206、示例片段队列208、示例片段排序器210、示例编码器212、示例无线发送器214、示例无线接收器216、示例解码器存储装置217、示例图像解码器218、示例显示器220、和/或更一般地示例虚拟现实控制台110和头戴式显示单元120可以由一个或多个模拟或数字电路、逻辑电路、(一个或多个)可编程处理器、(一个或多个)可编程控制器、(一个或多个)图形处理单元(GPU)、(一个或多个)数字信号处理器(DSP)、(一个或多个)专用集成电路(ASIC)、(一个或多个)可编程逻辑器件(PLD)、和/或(一个或多个)现场可编程逻辑器件(FPLD)来实现。当阅读本专利的任意装置或系统权利要求以涵盖纯粹的软件和/或固件实现方式时，示例图像处理器202、示例存储装置204、示例图像分割器206、示例片段队列208、示例片段排序器210、示例编码器212、示例无线发送器214、示例无线接收器216、示例解码器存储装置217、示例图像解码器218、和/或示例显示器220中的至少一个被明确地定义为包括具有软件和/或固件的非暂态计算机可读存储设备或存储盘，例如，存储器、数字通用盘(DVD)、光盘(CD)、蓝光盘等。此外，图2的示例图像处理器202、示例存储装置204、示例图像分割器206、示例片段队列208、示例片段排序器210、示例编码器212、示例无线发送器214、示例无线接收器216、示例解码器存储装置217、示例图像解码器218、示例显示器220可以包括一个或多个元件、过程和/或设备(除了图2中示出的那些之外，或代替图2中示出的那些)，和/或可以包括不止一个任意或所有示出的元件、过程和设备。如本文所使用的，短语“通信”(包括其变体)包括直接通信和/或通过一个或多个中间组件的间接通信，并且不需要直接物理(例如，有线)通信和/或持续通信，而是附加地还包括以周期性间隔、调度间隔、非周期性间隔和/或一次性事件的方式进行的选择性通信。

图10中示出了表示用于实现图2的虚拟现实控制台110的示例硬件逻辑和/或机器可读指令的流程图，并且图11示出了表示用于实现图2的头戴式显示单元120的示例硬件逻辑或机器可读指令的流程图。机器可读指令可以是用于由处理器(例如，下面结合图12讨论的示例处理器平台1200中示出的处理器1212)执行的程序或程序的一部分。程序可以体现在存储在非暂态计算机可读存储介质(例如，CD-ROM、软盘、硬盘驱动器、DVD、蓝光盘、或与处理器1212相关联的存储器)上的软件中，并且整个程序和/或其部分可以替代地由除了处理器1212之外的设备来执行，和/或被体现在固件或专用硬件中。此外，虽然参考图10和11中示出的流程图描述了示例程序，但是可以替代地使用实现示例虚拟现实控制台110和/或头戴式显示单元120的许多其他方法。例如，可以改变框的执行顺序，和/或可以改变、消除或组合所描述的一些框。附加地或替代地，任意或所有框可以由被构造为在不执行软件或固件的情况下执行相应操作的一个或多个硬件电路(例如，分立和/或集成的模拟和/或数字电路、FPGA、ASIC、比较器、运算放大器(op-amp)、逻辑电路等)来实现。

如上所述，图10和图11的示例过程可以使用存储在非暂态计算机和/或机器可读介质(例如，硬盘驱动器、闪存、只读存储器、光盘、数字通用光盘、缓存、随机存取存储器、和/或其中信息被存储任意持续时间(例如，用于信息的延长时间段的存储、用于永久地存储信息、用于存储信息的简短实例、用于暂时缓冲信息、和/或用于缓存信息)的任意其他存储设备或存储盘)上的可执行指令(例如，计算机和/或机器可读指令)来实现。如本文所使用的，术语非暂态计算机可读介质被明确地定义为包括任意类型的计算机可读存储设备和/或存储盘，并且排除传播信号和传输介质。

本文使用的“包括”和“包含”(及其所有形式和时态)是开放式术语。因此，每当权利要求采用任意形式的“包括”或“包含”(例如，包括、包含、拥有、含有、具有等)作为前导或在任意类型的权利要求书中使用时，应当理解，在不落在相应权利要求或引用的范围之外的情况下，可以存在附加元素、术语等。如本文所使用的，当短语“至少”被用作例如权利要求的前导中的过渡术语时，其是开放式的，这与术语“包括”和“包含”是开放式的相同。当以例如A、B和/或C的形式使用时，术语“和/或”是指A、B、C的任何组合或子集，例如，(1)单独的A、(2)单独的B、(3)单独的C、(4)A和B、(5)A和C、(6)B和C、(7)A和B和C。

图10的程序1000在框1002处开始，其中示例处理器202(参见图2)标识要从示例虚拟现实控制台110(参见图1和图2)编码和发送至示例头戴式显示单元120(参见图1和2)的图像。在一些示例中，处理器202将要编码的图像放置到示例存储装置204中。示例图像分割器206(参见图2)将存储在示例存储装置204中的图像帧划分为片段(框1004)。在一些示例中，图像分割器206通过将图像划分为具有三个行和三个列的网格，来将图像划分为九个图像片段。在一些示例中，九个图像片段包括非重叠的图像内容。在一些示例中，示例第一图像片段、第二图像片段和第三图像片段位于图像网格的顶行中，第一图像片段是顶行的最左片段，第二图像片段是顶行的中间片段，并且第三图像片段是顶行的最右片段。在一些示例中，示例第四图像片段、第五图像片段和第六图像片段位于图像网格的中间行中，第四图像片段是中间行的最左片段，第五图像片段是中间行的中间片段，并且第六个图像片段是中间行的最右片段。在一些示例中，示例第七图像片段、第八图像片段和第九图像片段位于图像网格的底行，并且第七图像片段是底行的最左片段，第八图像片段是底行的中间片段，并且第九图像片段是底行的最右片段。

示例图像分割器206以扫描线顺序将图像片段放置到示例片段队列208(参见图2)中(框1006)。作为结果，第一片段被放置在片段队列208的第一位置，第二片段被放置在片段队列208的第二位置，并且第三片段被放置在片段队列208的第三位置。此外，第四片段被放置在片段队列208的第四位置，第五片段被放置在片段队列208的第五位置，第六图像片段被放置在片段队列208的第六位置，第七图像片段被放置在片段队列208中的第七位置，第八图像片段被放置在片段队列208中的第八位置，并且第九图像片段被放置在片段队列208中的第九位置。此外，在一些示例中，图像分割器206通知示例片段排序器210图像片段已经被放入图像队列208中(也在框1006处)。

示例片段排序器210重新排列图像片段在片段队列208中被存储的顺序(框1008)。在一些示例中，片段排序器210重新排列图像片段，使得图像片段以第一增强编码顺序排列(例如，第五图像片段占据第一位置，第二图像片段占据第二位置，第一图像片段占据第三位置，第四图像片段占据第四位置，第三图像片段占据第五位置，第六图像片段占据第六位置，第八图像片段占据第七位置，第七图像片段占据第八位置，并且第九图像片段占据第九位置)。在一些示例中，示例片段排序器210以第二增强编码顺序来排列图像片段(例如，第二图像片段占据第一位置，第一图像片段占据第二位置，第五图像片段占据第三位置，第三图像片段占据第四位置，第四图像片段占据第五位置，第六图像片段占据第六位置，第八图像片段占据第七位置，第七图像片段占据第八位置，并且第九图像片段占据第九位置)。在一些示例中，片段排序器210对片段队列208中的图像片段进行排列，使得与第一层和/或第二层相关联的一个或多个图像片段被移动到片段队列208中的较前位置(与相同图像片段在扫描线顺序中占据的位置相比)。在一些这类示例中，第一层和第二层包括位于图像的中心的图像片段(例如，第五图像片段)、或与位于图像的中心的片段共享边界的图像片段。在一些示例中，片段排序器210对片段队列208中的图像片段的顺序进行排列，使得包括处于第三层(例如，位于图像的角中)的图像内容的一个或多个相应图像片段移动到片段队列208中的较后位置(与相应图像片段在以扫描线顺序排列时占据的位置相比)。

在示例片段排序器210已经重新排序图像片段之后，示例编码器212以与图像片段被存储在片段队列208中的顺序相同的顺序对图像片段进行编码(例如，第一个编码占据第一位置的图像片段，第二个编码占据第二位置的图像片段，第三个编码占据第三位置的图像片段，以此类推)(框1010)。编码器212以与图像片段被编码相同的顺序将每个编码的图像片段提供给示例发送器214(参见图2)(框1012)，并且发送器214以与图像片段被编码相同的顺序无线地发送图像片段(框1014)。在已经对图像片段进行编码之后，程序返回到框1002以及后续框以编码下一图像，或如果不编码/发送其他图像(如框1016所确定的)，则程序1000结束。

图11的程序1100在框1102处开始，其中示例头戴式显示单元120(参见图1和图2)的示例接收器216(参见图2)从虚拟现实控制台110(参见图1和图2)的示例发送器214(参见图2)无线地接收一个或多个图像片段。在一些示例中，接收器216将接收到的图像片段放入解码器存储装置217中，并且将解码器计数器变量“M”设置为等于1(框1102)。在一些这类示例中，示例接收器216通知解码器218已经接收到并且存储了编码的图像片段(也在框1104)。

响应于该通知，图像解码器218基于要使用的解码顺序并且基于计数器变量“M”的值，来标识将第一个解码第一图像片段、第二图像片段、第三图像片段、第四图像片段、第五图像片段、第六图像片段、第七图像片段、第八图像片段和第九图像片段中的哪一个(框1106)。在一些这类示例中，在程序1100的第一次执行期间，图像解码器218基于解码器计数器变量M等于1来标识要第一个要被解码的图像片段的编号。在程序1100的后续执行中，图像解码器218基于解码器计数器变量M的当前值来标识要解码的图像片段的编号。因此，如果解码器计数器变量“M”等于2，则解码器基于要使用的顺序来标识第二个要被解码的图像片段的编号。如果解码器计数器变量“M”等于3，则解码器基于要使用的顺序来标识第三个要被解码的图像片段的编号，等等以此类推。图像解码器218开始解码过程，通过该解码过程对从虚拟现实控制台接收到的存储的图像片段进行解码(框1104)。在一些示例中，图像解码器218被配置为以扫描线顺序来解码图像片段。在一些示例中，图像解码器218被配置为以第一增强编码顺序、第二增强编码顺序或任何其他期望顺序来解码图像片段。例如，新兴的图像/视频显示技术(例如，遵守VESA displayID 2.0规范的显示器)具有以任意顺序(例如，非扫描线顺序)从解码器输出像素的能力。图2的图像解码器218类似地可以被配置为以任意顺序来解码/输出图像片段以用于显示。在一些示例中，图像解码器被配置为以尽可能早地解码和显示具有最重要内容的图像片段的顺序来输出图像片段。在一些示例中，选择编码/发送并且然后解码/显示图像片段的顺序(例如，第一增强编码顺序，第二增强编码顺序等)以确保，具有最重要内容的图像片段及时通过无线链路，并且具有最高可能的解码成功率，从而通过在头戴式显示器上提供更好质量的图像来丰富用户体验。

在一些示例中，为了帮助图像解码器208基于所采用的解码顺序(例如，扫描线顺序、第一示例增强顺序、第二示例增强顺序等)来选择要解码的适当图像片段，示例图像片段与标识图像片段的编号的信息一起被发送。该信息可以被包括在报头、标签等中。在一些这类示例中，图像解码器208使用片段编号信息来标识图像片段编号，并且将图像片段放置于适当的顺序以用于解码。图像片段编号还被用来标识将如何显示图像片段中包括的内容(相对于被包括在其他图像片段中的内容)。可以使用任意其他技术来向解码器标识图像片段的编号，以用于以期望的顺序来解码图像片段并且适当地显示图像片段。

在标识要解码的图像片段时，示例图像解码器218确定是否已经接收到标识的图像片段(例如，存储在解码器存储装置中)(框1108)。如果已经接收到标识的图像片段，则图像解码器218对标识的图像片段进行解码，并且将标识的图像片段的解码的内容提供给示例显示器220(参见图2)以用于在示例显示器220处进行渲染(框1110)。如果尚未接收到标识的图像片段，则图像解码器218将具有与标识的图像片段相同编号的、但是与较早发送的帧/图像相对应的图像片段的解码内容提供给显示器220以用于在显示器220处进行渲染(框1112)。

在一些示例中，在已经解码/显示标识的图像片段或已经显示先前图像帧的相应图像片段之后，图像解码器218确定计数器变量M是否等于与当前帧相关联的图像片段的总数量(框1114)。如果不等于，则针对当前帧存在更多的图像片段要被解码，并且图像解码器递增计数器变量M(框1116)，然后返回到框1106和后续框，从而以使用的顺序来解码和显示下一图像片段。如果(在框1114处)确定计数器变量M等于与当前帧相关联的图像片段的总数量，则完成当前帧的解码。作为结果，图像解码器218确定是否要解码/显示与另一图像相关联的另一组图像片段(框1118)。如果存在要解码/显示的另一组图像片段，则程序1100返回到框1104以及后续框。如果没有要解码/显示的另一组图像片段，则程序1100结束。

图12是被构造为执行图10的指令以实现图1和图2的虚拟现实控制台110的示例处理器平台1200的框图。处理器平台1200可以是例如服务器、个人计算机、工作站、自学习机器(例如，神经网络)、移动设备(例如，手机、智能手机、平板电脑(例如，iPad^TM))、个人数字助理(PDA)、互联网设备、DVD播放器、CD播放器、数字视频录像机、蓝光播放器、游戏机、个人录像机、机顶盒、或任意其他类型的计算设备。

所示示例的处理器平台1200包括处理器1212。所示示例的处理器1212是硬件。例如，处理器1212可以由来自任意期望的系列或制造商的一个或多个集成电路、逻辑电路、微处理器、GPU、DSP、或控制器来实现。硬件处理器可以是基于半导体的(例如，基于硅的)设备。在该示例中，处理器实现示例图像处理器202、示例图像片段器206、示例片段队列208、示例片段排序器210、和示例编码器212。

所示示例的处理器1212包括本地存储器1213(例如，缓存)。所示示例的处理器1212经由总线1218与包括易失性存储器1214和非易失性存储器1216的主存储器进行通信。易失性存储器1214可以由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、动态随机存取存储器和/或任意其他类型的随机存取存储器设备来实现。非易失性存储器1216可以由闪存和/或任意其他期望类型的存储器设备来实现。对主存储器1214和1216的访问由存储器控制器来控制。

所示示例的处理器平台1200还包括接口电路1220。接口电路1220可以由任意类型的接口标准来实现，例如，以太网接口、通用串行总线(USB)、蓝牙接口、近场通信(NFC)接口、和/或PCI express接口。

在所示示例中，一个或多个输入设备1222连接到接口电路1220。(一个或多个)输入设备1222允许用户将数据和/或命令输入到处理器1212中。(一个或多个)输入设备可以通过例如音频传感器、麦克风、相机(静止相机或视频相机)、键盘、按钮、鼠标、触摸屏、跟踪板、轨迹球、感光点(isopoint)、和/或语音识别系统来实现。

一个或多个输出设备1224还被连接到所示示例的接口电路1220。输出设备1224可以例如通过显示设备(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器(LCD)、阴极射线管显示器(CRT)、就地切换(IPS)显示器、触摸屏等)、触觉输出设备、打印机、和/或扬声器来实现。因此，所示示例的接口电路1220通常包括图形驱动器卡、图形驱动器芯片、和/或图形驱动器处理器。

所示示例的接口电路1220还包括通信设备，例如，发送器、接收器、收发器、调制解调器、住宅网关、无线接入点、和/或网络接口，用于通过网络1226与外部机器(例如，任意类型的计算设备)进行通信来促进数据的交换。通信可以通过例如以太网连接、数字用户线(DSL)连接、电话线连接、同轴电缆系统、卫星系统、现场无线系统、蜂窝电话系统等来进行。接口电路1220被用来实现图2的示例无线发送器214。在一些示例中，接口1220电路使用IEEE标准802.11中定义的WiFi来进行通信。在其他示例中，接口电路1220使用(如802.11ad和/或802.11ay中所定义的)WiGig来发送图像片段。

所示示例的处理器平台1200还包括用于存储软件和/或数据的一个或多个大容量存储设备1228。这种大容量存储设备1228的示例包括软盘驱动器、硬盘驱动器、压缩盘驱动器、蓝光盘驱动器、独立磁盘冗余阵列(RAID)系统、和数字通用盘(DVD)驱动器。图12的任意存储设备都可以被用来实现示例存储装置204和示例片段队列208。

图12的机器可执行指令1232(例如，程序1000)可以被存储在大容量存储设备1228、易失性存储器1214、非易失性存储器1216、和/或可移动的非暂态计算机可读存储介质(例如，CD或DVD)上。

图13是被构造为执行图11的指令(例如，程序1100)以实现图1和图2的示例头戴式显示单元120的示例处理器平台1300的框图。处理器平台1300可以是例如头戴式设备或任意其他类型的可穿戴设备。

所示示例的处理器平台1300包括处理器1312。所示示例的处理器1312是硬件。例如，处理器1312可以由来自任意期望的系列或制造商的一个或多个集成电路、逻辑电路、微处理器、GPU、DSP、或控制器来实现。硬件处理器可以是基于半导体的(例如，基于硅的)设备。在该示例中，处理器实现图2的示例图像解码器218。

所示示例的处理器1312包括本地存储器1313(例如，缓存)。所示示例的处理器1312经由总线1318与包括易失性存储器1314和非易失性存储器1316的主存储器进行通信。易失性存储器1314可以由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、动态随机存取存储器和/或任意其他类型的随机存取存储器设备来实现。非易失性存储器1316可以由闪存和/或任意其他期望类型的存储器设备来实现。对主存储器1314和1316的访问由存储器控制器来控制。

所示示例的处理器平台1300还包括接口电路1320。接口电路1320可以由任意类型的接口标准来实现，例如，以太网接口、通用串行总线(USB)、蓝牙接口、近场通信(NFC)接口、和/或PCI express接口。

在所示示例中，一个或多个输入设备1322连接到接口电路1320。(一个或多个)输入设备1322允许用户将数据和/或命令输入到处理器1312中。(一个或多个)输入设备可以通过例如音频传感器、麦克风、相机(静止相机或视频相机)、按钮、和/或语音识别系统来实现。

一个或多个输出设备1324还连接到所示示例的接口电路1320。输出装置1324可以例如通过显示装置(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器(LCD)、阴极射线管显示器(CRT)、就地切换(IPS)显示器、触摸屏等)、触觉输出设备、打印机、和/或扬声器来实现。因此，所示示例的接口电路1320通常包括图形驱动器卡、图形驱动器芯片、和/或图形驱动器处理器。接口电路1320用于实现图2的示例显示器220。

所示示例的接口电路1320还包括通信设备，例如，发送器、接收器、收发器、调制解调器、住宅网关、无线接入点、和/或网络接口，用于通过网络1326与外部机器(例如，任意类型的计算设备)进行通信来促进数据的交换。通信可以通过例如以太网连接、数字用户线(DSL)连接、电话线连接、同轴电缆系统、卫星系统、现场无线系统、蜂窝电话系统等来进行。接口电路1320被用来实现图2的示例无线接收器216。在一些示例中，接口1320电路使用IEEE标准802.11中定义的WiFi来进行通信。在其他示例中，接口电路1320使用(如802.11ad和/或802.11ay中所定义的)WiGig来发送图像片段。

所示示例的处理器平台1300还包括用于存储软件和/或数据的一个或多个大容量存储设备1328。这种大容量存储设备1328的示例包括软盘驱动器、硬盘驱动器、压缩盘驱动器、蓝光盘驱动器、独立磁盘冗余阵列(RAID)系统、和数字通用盘(DVD)驱动器。图13的任意存储设备都可以被用来实现图2的示例解码器存储装置217。

图13的机器可执行指令1332(例如，程序1100)可以被存储在大容量存储设备1328、易失性存储器1314、非易失性存储器1316、和/或可移动的非暂态计算机可读存储介质(例如，CD或DVD)上。

从前述内容可以理解，已经公开了提高虚拟现实系统的虚拟现实控制台和头戴式显示单元之间的吞吐量的示例方法、装置和制品。所公开的虚拟现实控制台优先考虑包括图像的视觉上重要部分的图像片段(包括例如，具有包括图像的中心的内容的中心图像片段)的编码和发送。一些示例另外优先考虑与中心图像片段共享边界的图像片段。本文公开的一些示例系统、方法和装置平衡对中心图像片段的优先级排序和其他图像片段的及时传送。这样的示例系统、方法和装置被配置为编码和发送图像片段，使得中心图像片段比使用扫描线顺序编码中心片段更早地被编码/发送，同时保持期望的(例如，80％)传送/解码非中心图像片段的成功率。(与使用扫描线顺序来编码/发送这些图像片段相比)更早地对中心图像片段和与中心图像片段接壤的图像片段进行编码/发送，产生针对用户的改进的“虚拟现实”体验，因为最重要的图像内容更可能被成功解码并且因此被包括在头戴式显示单元上显示的图像中。

应当理解，虽然为了示例性目的将要编码的图像示出为被划分为九个片段，但示例图像分割器206、示例片段排序器210、示例编码器212、示例发送器214、示例性接收器216、示例性解码器218可以被配置为对被划分为任意数量的图像片段的图像帧进行操作。在使用多于或少于九个片段的示例中，包括位于图像的中心、图像的外围、和图像的非外围的内容的图像片段的编号当然将被不同地编号(与相同的片段在第一增强编码顺序和第二增强编码顺序中被编号相比)。无论图像被划分为多少数量的片段，适用相同的概念，即第一增强编码顺序对发送中心图像片段给予最高优先级(因此将中心片段放置为第一编码/发送的图像片段)，而第二增强编码顺序对中心图像片段和非外围图像片段给予更高的优先级(与扫描线顺序对相同片段给予的优先级相比)并且不以使得外围图像片段存在过多延迟为代价。因此，第一增强编码顺序第一个编码/发送中心图像片段，从而给予中心图像片段成功到达和解码的最大成功可能性，并且第二增强编码试图在提高中心图像片段的优先级和所有图像片段的及时到达之间取得平衡。

本文公开了以下进一步的示例。

示例1是用于对图像的多个片段进行排序以用于编码和发送到显示设备的装置。示例1的装置包括片段排序器，用于以编码顺序来排列片段以用于编码。编码顺序不同于扫描线顺序，并且在编码顺序中，多个片段的中心片段占据第一位置，该第一位置在中心片段在扫描线顺序中占据的第二位置之前，并且中心片段对应于图像的中心。装置还包括：编码器，用于以编码顺序来编码片段；以及无线发送器，用于以编码的片段被编码的编码顺序将编码的片段发送到显示设备

示例2包括示例1的装置。在示例2中，编码顺序还使得多个片段中的外围片段在顺序中占据第三位置，该第三位置是以下位置中的至少一个：1)与外围片段在扫描线顺序中占据的位置相同的位置、或2)外围片段在扫描线顺序中占据的第四位置之后的位置，并且外围片段不与中心片段共享边界。

示例3包括示例2的装置。在示例3中，外围片段是多个外围片段中的第一外围片段，并且多个外围片段对应于图像的角。

示例4包括示例2的装置。在示例4中，编码顺序还使得多个片段中的至少一个非外围片段在顺序中占据第五位置，第五位置在非外围片段在扫描线顺序中占据的第六位置之前，并且至少一个非外围片段与中心片段共享边界。

示例5包括示例1-4中任一项的装置，并且还包括分割器，用于通过划分图像来形成多个片段。在示例5中，分割器以扫描线顺序将多个片段存储在队列中。

示例6包括示例5的装置。在示例6中，分割器将图像划分为包括顶行、底行、和中间行、左列、中间列、和右列的网格，并且多个片段包括九个片段。在示例6中，第一片段是顶行中的最左片段，第二片段是顶行中的中间片段，第三片段是顶行中的最右片段，第四片段是中间行中的最左片段，第五片段是中间行中的中间片段，第六片段是中间行中的最右片段，第七片段是底行中的最左片段，第八片段是底行中的中间片段，第九片段是底行中的最右片段。在示例6中，扫描线顺序是第一片段、第二片段、第三片段、第四片段、第五片段、第六片段、第七片段、第八片段、和第九片段，并且编码顺序是第二片段、第一片段、第五片段、第三片段、第四片段、第六片段、第八片段、第七片段、和第九片段。

示例7包括示例1-6中任一项的装置。在示例7中，图像的部分不包括重叠的图像内容。

示例8包括一种或多种非暂态机器可读存储介质，存储有机器可读指令，该机器可读指令在被执行时使得一个或多个处理器至少以非扫描线顺序来排列一组图像区域，并且以非扫描线顺序来编码图像区域。在示例8中，使用非扫描线顺序使得该组图像区域的中心图像区域与中心图像区域将在扫描线顺序中被编码相比更早地被编码，并且使得该组图像区域的外围图像区域与外围图像区域将在扫描线顺序中被编码相比更晚地被编码。在示例8中，指令还使得一个或多个处理器以非扫描线顺序将编码的图像区域提供给发送器以用于发送到显示单元。

示例9包括示例8的一种或多种非暂态机器可读存储介质。在示例9中，外围图像区域是多个外围区域中的第一外围区域，并且多个外围区域对应于图像的角。

示例10包括示例8的一种或多种非暂态机器可读存储介质。在示例10中，使用非扫描线顺序还使得该组图像区域中的非外围图像区域与非外围图像区域将在扫描线顺序中被编码相比更早地被编码。

示例11包括权利要求8-10中任一项的一种或多种非暂态机器可读存储介质。在示例11中，指令还使得一个或多个处理器将图像划分为非重叠的图像区域以形成一组图像区域，并且将该组图像区域存储在队列中。

示例12包括示例11的一种或多种非暂态机器可读存储介质。在示例12中，为了划分图像，指令使得一个或多个处理器将图像划分为包括顶行、底行、和中间行、左列、中间列、和右列的网格。此外，该组图像区域包括九个图像区域。在示例12中，第一图像区域是顶行中的最左图像区域，第二图像区域是顶行中的中间图像区域，第三图像区域是顶行中的最右图像区域，第四图像区域是中间行中的最左图像区域，第五图像区域是中间行中的中间图像区域，第六图像区域是中间行中的最右图像区域，第七图像区域是底行中的最左图像区域，第八图像区域是底行中的中间图像区域，第九图像区域是底行中的最右图像区域。此外，在示例12中，非扫描线顺序包括第二片段位于第一位置、第一片段位于第二位置、第五片段位于第三位置、第三片段位于第四位置、第四片段位于第五位置、第六片段位于第六位置、第八片段位于第七位置、第七片段位于第八位置、以及第九片段位于第九位置。

示例13是一种用于对多个图像图块进行排序的设备。示例13的设备包括用于以非扫描线顺序来定位多个图像图块的装置。在示例13中，多个图像图块包括与图像的中心相对应的中心图像图块，并且中心图像图块在非扫描线顺序中占据与该中心图像图块在扫描线顺序中占据的位置相比更早的编码位置。设备还包括用于以非扫描线顺序来编码多个图像图块的装置，以及用于以非扫描线顺序将编码的图像图块发送到显示器的装置。

示例14包括示例13的设备。在示例14中，非扫描线顺序是第一编码顺序，其中具有与图像的中心相对应的内容的中心图像图块在多个图像图块中的其他图像图块被编码和发送之前被编码和发送。

示例15包括示例13的设备。在示例15中，非扫描线顺序是第二编码顺序，其中具有与图像的中心相对应的内容的中心图像图块与中心图像区块在扫描线顺序中出现相比更早地出现，并且具有与图像的角相对应的内容的外围图像图块与外围图像图块在扫描线顺序中出现相比更晚地出现。

示例16包括示例13-15中任一项的设备。在示例16中，多个图像图块还包括与图像的外围相对应的外围图像图块。外围图像图块在非扫描线顺序中占据与外围图像图块在扫描线顺序中占据的位置相比更晚的编码位置。

示例17包括示例13-15中任一项的设备。此外，示例17的设备还包括用于分割图像以形成多个图像图块的装置。

示例18包括示例17的设备。在示例18中，用于分割的装置将图像划分为包括顶行、底行、和中间行、左列、中间列、和右列的网格。在示例18中，多个图像图块包括九个图像图块。第一图像图块是顶行中的最左图像图块，第二图像图块是顶行中的中间图像图块，第三图像图块是顶行中的最右图像图块，第四图像图块是中间行中的最左图像图块，第五图像图块是中间行中的中间图像图块，第六图像图块是中间行中的最右图像图块，第七图像图块是底行中的最左图像图块，第八图像图块是底行中的中间图像图块，第九图像图块是底行中的最右图像图块。在示例18中，扫描线顺序是第一图像图块、第二图像图块、第三图像图块、第四图像图块、第五图像图块、第六图像图块、第七图像图块、第八图像图块、和第九图像图块，并且第一编码顺序是第二图像图块、第一图像图块、第五图像图块、第三图像图块、第四图像图块、第六图像图块、第八图像图块、第七图像图块、和第九图像图块。

示例19包括示例13-18中任一项的设备。在示例19中，图像图块不包括重叠的图像内容。

示例20包括示例13-18中任一项的设备。在示例20中，设备被包括在虚拟现实控制台中，并且编码的图像图块是被无线地发送的。

示例21是一种用于对图像的多个片段进行排序以用于编码和发送至显示设备的方法。示例21的方法包括以编码顺序来排列片段以用于编码。编码顺序不同于扫描线顺序不同，并且编码顺序使得多个片段的中心片段在编码顺序中占据第一位置，第一位置在中心片段在扫描线顺序中占据的第二位置之前，并且中心片段对应于图像的中心。示例21还包括以编码顺序来编码片段，并且以编码的片段被编码的编码顺序将编码的片段发送到显示设备。

示例22包括示例21的方法。在示例22中，编码顺序还使得多个片段中的外围片段在顺序中占据第三位置，该第三位置是以下位置中的至少一个：1)与外围片段在扫描线顺序中占据的位置相同的位置、或2)外围片段在扫描线顺序中占据的第四位置之后的位置。在示例22中，外围片段不与中心片段共享边界。

示例23包括示例22的方法，在示例23中，外围片段是多个外围片段中的第一外围片段，并且多个外围片段对应于图像的角。

示例24包括示例22的方法。在示例24中，编码顺序使得多个片段中的至少一个非外围片段在按顺序中占据第五位置，该第五位置在非外围片段在扫描线顺序中占据的第六位置之前，并且至少一个非外围片段与中心片段共享边界。

示例25包括示例21-24中任一项的方法。示例25的方法还包括划分图像以形成多个片段，并且以扫描线顺序将片段存储在队列中。

虽然本文已经公开了某些示例方法、装置和制品，但是本专利的覆盖范围不限于此。相反，该专利涵盖了完全属于本专利权利要求范围内的所有方法、装置和制品。

Claims (25)

1.一种用于对图像的多个片段进行排序以用于编码和发送至显示设备的装置，所述装置包括：

片段排序器，用于以编码顺序来排列所述片段以用于编码，所述编码顺序不同于扫描线顺序，并且所述编码顺序使得所述多个片段的中心片段在所述编码顺序中占据第一位置，所述第一位置在所述中心片段在所述扫描线顺序中占据的第二位置之前，所述中心片段对应于所述图像的中心；

编码器，用于以所述编码顺序来编码所述片段；以及

无线发送器，用于以编码的片段被编码的所述编码顺序将编码的片段发送到所述显示设备。

2.根据权利要求1所述的装置，其中，所述编码顺序还使得所述多个片段中的外围片段在顺序中占据第三位置，所述第三位置是以下位置中的至少一个：1)与所述外围片段在所述扫描线顺序中占据的位置相同的位置、或2)所述外围片段在所述扫描线顺序中占据的第四位置之后的位置，所述外围片段不与所述中心片段共享边界。

3.根据权利要求2所述的装置，其中，所述外围片段是多个外围片段中的第一外围片段，所述多个外围片段对应于所述图像的角。

4.根据权利要求2所述的装置，其中，所述编码顺序还使得所述多个片段中的至少一个非外围片段在顺序中占据第五位置，所述第五位置在所述非外围片段在所述扫描线顺序中占据的第六位置之前，所述至少一个非外围片段与所述中心片段共享边界。

5.根据权利要求1所述的装置，还包括：分割器，用于通过划分所述图像来形成所述多个片段，所述分割器用于以扫描线顺序将所述多个片段存储在队列中。

6.根据权利要求5所述的装置，其中，所述分割器将所述图像划分为包括顶行、底行、和中间行、左列、中间列、和右列的网格，并且所述多个片段包括九个片段，第一片段是所述顶行中的最左片段，第二片段是所述顶行中的中间片段，第三片段是所述顶行中的最右片段，第四片段是所述中间行中的最左片段，第五片段是所述中间行中的中间片段，第六片段是所述中间行中的最右片段，第七片段是所述底行中的最左片段，第八片段是所述底行中的中间片段，第九片段是所述底行中的最右片段，所述扫描线顺序是所述第一片段、所述第二片段、所述第三片段、所述第四片段、所述第五片段、所述第六片段、所述第七片段、所述第八片段、和所述第九片段，并且所述编码顺序是所述第二片段、所述第一片段、所述第五片段、所述第三片段、所述第四片段、所述第六片段、所述第八片段、所述第七片段、和所述第九片段。

7.根据权利要求1所述的装置，其中，所述图像的部分不包括重叠的图像内容。

8.一种或多种非暂态机器可读存储介质，包括机器可读指令，所述机器可读指令在被执行时使得一个或多个处理器执行至少以下操作：

以非扫描线顺序来排列一组图像区域；

以所述非扫描线顺序来编码所述图像区域，使用所述非扫描线顺序使得该组图像区域的中心图像区域与所述中心图像区域将在扫描线顺序中被编码相比更早地被编码，并且使得该组图像区域的外围图像区域与所述外围图像区域将在所述扫描线顺序中被编码相比更晚地被编码；以及

以所述非扫描线顺序将编码的图像区域提供给发送器以用于发送到显示单元。

9.根据权利要求8所述的一种或多种非暂态机器可读存储介质，其中，所述外围图像区域是多个外围区域中的第一外围区域，所述多个外围区域对应于所述图像的角。

10.根据权利要求8所述的一种或多种非暂态机器可读存储介质，其中，使用所述非扫描线顺序还使得该组图像区域中的非外围图像区域与所述非外围图像区域将在所述扫描线顺序中被编码相比更早地被编码。

11.根据权利要求8所述的一种或多种非暂态机器可读存储介质，其中，所述指令还使得所述一个或多个处理器执行以下操作：

将所述图像划分为非重叠的图像区域以形成该组图像区域；以及

将该组图像区域存储在队列中。

12.根据权利要求11所述的一种或多种非暂态机器可读存储介质，其中，为了划分所述图像，所述指令使得所述一个或多个处理器将所述图像划分为包括顶行、底行、和中间行、左列、中间列、和右列的网格，并且该组图像区域包括九个图像区域，第一图像区域是所述顶行中的最左图像区域，第二图像区域是所述顶行中的中间图像区域，第三图像区域是所述顶行中的最右图像区域，第四图像区域是所述中间行中的最左图像区域，第五图像区域是所述中间行中的中间图像区域，第六图像区域是所述中间行中的最右图像区域，第七图像区域是所述底行中的最左图像区域，第八图像区域是所述底行中的中间图像区域，第九图像区域是所述底行中的最右图像区域，并且所述非扫描线顺序包括第二片段位于第一位置、第一片段位于第二位置、第五片段位于第三位置、第三片段位于第四位置、第四片段位于第五位置、第六片段位于第六位置、第八片段位于第七位置、第七片段位于第八位置、以及第九片段位于第九位置。

13.一种用于对多个图像图块进行排序的设备，所述设备包括：

用于以非扫描线顺序来定位所述多个图像图块的装置，所述多个图像图块包括与图像的中心相对应的中心图像图块，所述中心图像图块在所述非扫描行顺序中占据与所述中心图像图块在扫描线顺序中占据的位置相比更早的编码位置；

用于以所述非扫描线顺序来编码所述多个图像图块的装置；以及

用于以所述非扫描线顺序将编码的图像图块发送到显示器的装置。

14.根据权利要求13所述的设备，其中，所述非扫描线顺序是第一编码顺序，其中具有与所述图像的中心相对应的内容的中心图像图块在所述多个图像图块中的其他图像图块被编码和发送之前被编码和发送。

15.根据权利要求13所述的设备，其中，所述非扫描线顺序是第二编码顺序，其中具有与所述图像的中心相对应的内容的中心图像图块与所述中心图像区块在扫描线顺序中出现相比更早地出现，并且具有与所述图像的角相对应的内容的外围图像图块与所述外围图像图块在所述扫描线顺序中出现相比更晚地出现。

16.根据权利要求13所述的设备，其中，所述多个图像图块还包括与所述图像的外围相对应的外围图像图块，所述外围图像图块在所述非扫描线顺序中占据与所述外围图像图块在所述扫描线顺序中占据的位置相比更晚的编码位置。

17.根据权利要求13所述的设备，还包括用于分割所述图像以形成所述多个图像图块的装置。

18.根据权利要求17所述的设备，其中，所述用于分割的装置将所述图像划分为包括顶行、底行、和中间行、左列、中间列、和右列的网格，并且所述多个图像图块包括九个图像图块，第一图像图块是所述顶行中的最左图像图块，第二图像图块是所述顶行中的中间图像图块，第三图像图块是所述顶行中的最右图像图块，第四图像图块是所述中间行中的最左图像图块，第五图像图块是所述中间行中的中间图像图块，第六图像图块是所述中间行中的最右图像图块，第七图像图块是所述底行中的最左图像图块，第八图像图块是所述底行中的中间图像图块，第九图像图块是所述底行中的最右图像图块，所述扫描线顺序是第一图像图块、第二图像图块、第三图像图块、第四图像图块、第五图像图块、第六图像图块、第七图像图块、第八图像图块、和第九图像图块，并且第一增强编码顺序是第二图像图块、第一图像图块、第五图像图块、第三图像图块、第四图像图块、第六图像图块、第八图像图块、第七图像图块、和第九图像图块。

19.根据权利要求13所述的设备，其中，所述图像图块不包括重叠的图像内容。

20.根据权利要求13所述的设备，其中，所述设备被包括在虚拟现实控制台中，并且所述编码的图像图块是被无线地发送的。

21.一种用于对图像的多个片段进行排序以用于编码和发送至显示设备的方法，所述方法包括：

以编码顺序来排列所述片段以用于编码，所述编码顺序不同于扫描线顺序，并且所述编码顺序使得所述多个片段的中心片段在所述编码顺序中占据第一位置，所述第一位置在所述中心片段在所述扫描线顺序中占据的第二位置之前，并且所述中心片段对应于所述图像的中心；

以所述编码顺序来编码所述片段；以及

以编码的片段被编码的所述编码顺序将编码的片段发送到所述显示设备。

22.根据权利要求21所述的方法，其中，所述编码顺序还使得所述多个片段中的外围片段在顺序中占据第三位置，所述第三位置是以下位置中的至少一个：1)与所述外围片段在所述扫描线顺序中占据的位置相同的位置、或2)所述外围片段在所述扫描线顺序中占据的第四位置之后的位置，所述外围片段不与所述中心片段共享边界。

23.根据权利要求22所述的方法，其中，所述外围片段是多个外围片段中的第一外围片段，所述多个外围片段对应于所述图像的角。

24.根据权利要求22所述的方法，其中，所述编码顺序还使得所述多个片段中的至少一个非外围片段在顺序中占据第五位置，所述第五位置在所述非外围片段在所述扫描线顺序中占据的第六位置之前，所述至少一个非外围片段与所述中心片段共享边界。

25.根据权利要求21所述的方法，还包括：

划分所述图像以形成所述多个片段；以及

以扫描线顺序将所述片段存储在队列中。