CN113767423A - 生成图像信号的装置和方法 - Google Patents

Abstract

图像源(407)提供被划分成不同大小的片段的图像，其中，仅这些片段的子组包括图像数据。元数据生成器(409)生成根据树状数据结构而结构化的元数据，其中，每个节点被链接到所述图像的片段。每个节点是分支节点或叶节点，所述分支节点将父节点链接到子节点，所述子节点被链接到作为所述父节点的细分的片段，所述叶节点没有子节点。叶节点要么是被链接到其中所述第一图像不包括图像数据的片段的不使用的叶节点，要么是被链接到其中所述第一图像包括图像数据的片段的使用的叶节点。所述元数据指示每个节点是分支节点、使用的叶节点还是不使用的叶节点。图像信号生成器(405)生成图像信号，所述图像信号包括所述第一图像的所述图像数据以及所述元数据。

Description

生成图像信号的装置和方法

技术领域

本发明涉及用于生成图像信号的装置和方法，并且特别地但非排他性地涉及生成和/或处理包括针对同一场景的多幅图像的图像信号。

背景技术

近年来，随着不断开发和引入新的利用和消费视频的服务和方式，图像和视频应用的种类和范围大大增加了。

例如，一种越来越流行的服务是以这样的方式提供图像序列的：即，观看者能够与系统主动且动态地交互以改变绘制的参数。在许多应用中，一个非常有吸引力的特征是能够改变观看者的有效的观看位置和观看方向，例如允许观看者在所呈现的场景中移动和“环顾四周”。

这样的特征能够特别允许向用户提供虚拟现实体验。这可以允许用户例如在虚拟环境中(相对)自由地移动并且动态地改变他的位置以及他正在观看的地方。通常，这样的虚拟现实应用基于场景的三维模型，其中，该模型正被动态地评价以提供特定请求的视图。从例如用于计算机和控制台的游戏应用中(例如在第一人称射击者类型中)，这种方法是众所周知的。

特别是对于虚拟现实应用来说，还期望所呈现的图像是三维图像。实际上，为了优化观看者的沉浸感，通常优选使患者体验的呈现场景为三维场景。实际上，虚拟现实体验应当优选允许用户选择他/她自己的位置、相机视点和相对于虚拟世界的时刻。

大量虚拟现实应用的固有限制在于它们基于存在的场景的预定模型，并且通常基于(例如用于游戏应用的)虚拟世界的人工模型。

然而，期望能够提供允许用户能够体验现实世界捕获的虚拟现实体验。这样的应用包括例如允许用户自由地改变在现实世界场景的表示中的位置和观看方向的应用。然而，在许多情况下，很难满足为了支持这样的自由度的要求，例如，特别是在现实世界场景(特别是实时场景)也在动态变化的情况下。例如，提供足够的数据以允许用户自由地移动和改变针对对应于例如体育赛事的实况、实时播送的场景的观看方向通常是不切实际的或者不可行的。因此，在用户在移动和/或观看方向上具有受限的自由度的应用和体验受到越来越多的关注。例如，可以播送体育赛事，其中，用户可以在180°的范围内自由地旋转他的头部，但是只能将他的头部移动相对较小的量。这样的受限的移动会大大减小需要提供的数据的要求。

对于允许针对场景的不同视点的本地图像绘制的大多数应用来说，关键问题是如何表示这样的场景并且特别是如何有效地生成、分布和处理表示现实世界场景的数据，使得终端用户设备被提供有足够的数据以本地生成现实世界(并且常常是实时)场景的观看图像。生成现实世界场景的模型通常是不可行的或者不切实际的，并且特别是不是在服务支持正在动态变化的场景(例如，实时事件)时的情况。

在许多系统中，场景可以由已经由合适的捕获装置(例如，相机)捕获的图像来表示。例如，相机可以以给定的配置(例如以行)来布置，其中，每个相机从给定的捕获姿态来捕获场景。来自不同位置的图像可以提供场景的不同部分的表示。例如，背景目标可以被来自一些捕获位置的前景目标所遮挡，但不被来自其他捕获位置的前景目标所遮挡，因此与该背景目标有关的信息可以存在于一些捕获图像中但不存在于其他捕获图像中。

在许多实际系统中，捕获的图像可以由深度信息(例如，针对相关联的深度图中的每个像素所提供的z值或视差值)来补充。这样的图像+深度表示可以被认为是3D图像。使用针对一定范围的视点所提供的图像+深度信息可以具有许多应用，并且对于许多场景来说提供了允许本地生成观看图像的有利场景表示。图像+深度信息可以被发送到绘制设备，该绘制设备可以动态地生成针对用户的当前的观看位置和观看方向的观看图像。

然而，虽然在许多实施例中包括来自不同捕获位置的多幅图像的场景的图像表示可以提供期望的性能和操作，但是它还倾向于要求将图像表示传送到绘制设备的高数据速率。实际上，直接分布所有捕获的观看图像常常是不可行的，因为像素速率(因此数据速率)太高。直接发送所有图像也很浪费，因为它包括发送大量冗余数据。例如，从多个捕获位置都可以看见前景目标的前部，因此在多幅要发送的捕获图像中都将包括针对该目标的视觉信息。

然而，如何降低所要求的数据速率的问题是难以解决的复杂问题。已经提出了识别和省去某个冗余数据，然后在没有该冗余数据的情况下生成图像信号。然而，虽然这可能会降低数据速率，但是如何具体实现这一点并使得图像质量、数据速率、复杂度、资源要求等都尽可能得到优化是个很困难的挑战。

实际上，在传送潜在的冗余数据/信息时经常遇到的问题不仅是如何选择或减少数据以减少冗余，而且具体还包括如何指示哪个被发送的数据是相关的以及哪个被发送的数据是不相关的。例如，对于发送针对包括至少部分冗余数据的若干图像的图像数据来说，不仅确定要传送哪个数据以及如何有效地传送该数据是个挑战，而且如何有效地指示哪个数据是有效的/适当的/相关的而哪个数据不是有效的/适当的/相关的也是个挑战。例如，对于部分图像来说，如何指示哪些部分包括有效的图像数据而哪些部分不包括有效的图像数据是个挑战。

因此，改进的方法将是有利的。特别地，以下方法将是有利的：该方法用于通过从不同的视图看到的图像来生成和/或处理表示场景的图像信号的方法，该方法允许改进操作，提高灵活性，改善虚拟现实体验，降低数据速率，提高效率，便于分布，降低复杂度，便于实施，提高图像质量和/或改善性能和/或操作。

发明内容

因此，本发明试图单独地或者以任何组合方式优选减轻、减缓或者消除上面提到的缺点中的一种或多种缺点。

根据本发明的一个方面，提供了一种用于生成图像信号的装置，所述装置包括：图像源(407)，其用于提供第一图像，所述第一图像被划分成一组不同大小的片段，所述第一图像仅包括所述一组片段的片段子组中的图像数据，所述片段子组中的片段的所述图像数据是来自一组观看源图像中的观看源图像的片段的图像数据，所述一组观看源图像表示从视点看到的场景；元数据生成器(409)，其用于生成指示所述第一图像的图像数据内容的元数据，所述元数据根据树状数据结构被结构化，其中，每个节点被链接到所述第一图像的片段；每个节点是分支节点或叶节点，分支节点是将父节点链接到至少一个子节点的所述父节点，所述父节点的每个子节点被链接到通过对所述父节点的所述片段的细分而生成的子片段，叶节点没有子节点并且与所述一组片段中的片段相链接，叶节点要么是被链接到其中所述第一图像不包括图像数据的片段的不使用的叶节点，要么是被链接到其中所述第一图像包括图像数据的片段的使用的叶节点，并且所述元数据指示每个节点是分支节点、使用的叶节点还是不使用的叶节点；以及图像信号生成器，其用于生成图像信号，所述图像信号包括所述第一图像的所述图像数据以及所述元数据。

本发明可以提供改善的场景表示。在许多实施例中，能够提供更有效的场景表示，其例如允许针对降低的数据速率实现给定的质量。

在许多实施例中，该方法可以提供改善的图像信号，这种改善的图像信号具有适合用于针对不同观看位置/姿态而灵活、高效且高性能地本地生成观看图像的场景表示。在许多实施例中，它可以允许提高感知的图像质量和/或降低数据速率。

在许多实施例和场景中，该方法可以允许特别高效和/或低复杂度地生成图像信号。

图像可以是包括深度信息的3D图像，例如具体是具有相关联的深度图像/深度图的2D图像或纹理图。响应于预测质量而从一组候选图像中选择一组选定图像可以包括选择要被包括在一组选定图像中的、一组候选图像中具有最低预测质量度量的图像。

该组片段包括包含针对不同观看源图像的图像数据的片段。该组片段可以包括：包括来自第一观看源图像的图像数据的至少一个片段，以及包括来自该组观看源图像的第二(不同的)观看源图像的图像数据的至少一个片段。

所述第一图像的所述图像数据根据所述树状数据结构被结构化。

该组片段可以是观看源图像的部分图像的片段。部分图像可以仅包括对应观看源图像的像素值的子组。

在许多实施例中，图像信号可以包括对针对片段子组的至少一个片段的观看源图像起源的指示。对观看源图像起源的指示可以指示一组观看源图像中至少一个片段的图像数据所源自的观看源图像，并且/或者可以指示至少一个片段的图像数据在该组观看源图像中的观看源图像中的位置的指示。

根据本发明的任选特征，所述元数据还包括对多幅观看源图像中针对被链接到使用的叶节点的片段的所述图像数据的所述观看源图像的指示。

这可以提供有效的图像信号，从而便于生成原始观看源图像或这些原始观看源图像的部分表示。

根据本发明的任选特征，所述元数据还包括对被链接到使用的叶节点的第一片段在所述第一图像中的位置与所述观看源图像的对应片段在所述观看源图像中的位置之间的位置差异的指示。

这可以在允许根据图像信号重新创建原始观看源图像或其部分图像的同时将不同的观看源图像的有效组合提供到第一图像中。该指示可以具体是对片段从第一图像中的位置到观看源图像中的位置的平移或移动的指示。

根据本发明的任选特征，所述图像信号包括所述元数据中的至少一些元数据作为数据流，所述数据流包括针对所述数据树结构的至少多个节点的节点数据块的有序序列，每个节点数据块包括指示针对所述节点的一组属性的数据，所述一组属性包括对所述节点是分支节点还是叶节点的指示。

在许多实施例中，这可以提供对元数据和图像数据的特别有效的传送。在一些实施例中，有序序列可以被预先确定并且被图像信号的任何接收器提前知晓。

根据本发明的任选特征，所述有序序列包括多个片段属性指示，每个片段属性指示对可应用于后续节点数据块的至少一个片段属性的属性进行指示。

这可以提供对元数据的高效编码。该属性可以应用于后续节点数据块，直到接收到指示针对属性的不同值的片段属性指示为止。片段属性指示可以是节点数据块的部分，也可以例如作为节点数据块之间的单独数据而被包括在内。该属性也可以应用于其中接收到片段属性指示的节点数据块。

在一些实施例中，片段属性指示对针对后续节点数据块的观看源图像指示和观看源图像位置指示中的至少一项进行指示。

根据本发明的任选特征，所述图像数据包括对所述有序序列的指示。

在许多实施例中，这可以提供有利的操作和/或性能。

根据本发明的任选特征，对分支节点的片段的细分是根据一组可允许的细分中的一个细分来选择的，并且所述元数据包括针对分支节点的指示用于所述分支节点的所述一组可允许的细分中的细分的数据。

这可以提供特别有效的图像信号。在一些实施例中，可以预先确定一组可允许的细分。

根据本发明的任选特征，所述元数据包括对所述一组可允许的细分的指示。

这可以允许使用有效的通信和有效的分割。这可以特别允许灵活的分割调整。

根据本发明的任选特征，所述一组观看源图像包括表示从不同视点看到的所述场景的多幅观看源图像。

根据本发明的任选特征，所述数据树结构的根节点与对应于整幅第一图像的片段相链接。

根据本发明的任选特征，所述元数据包括对最小片段大小的指示，并且其中，所述一组片段中的所述片段的大小是所述最小片段大小的倍数。

这可以提供适合用于由树状数据结构表示的有利分割。

可以描画能够通过使用具有最小片段大小的片段进行平铺而创建的片段的轮廓线。因此，所有片段能够被划分成具有与可能的最小片段相对应的大小的多个片段。

根据本发明的任选特征，所述装置还包括：分割器(401)，其用于生成针对所述一组观看源图像中的所述观看源图像中的至少一些观看源图像中的每幅观看源图像的经分割的部分图像，针对观看源图像的所述经分割的部分图像包括具有轮廓线的多个片段，所述轮廓线是从一组预定轮廓线中选择的，并且其中，所述片段被划分成其中至少一些像素包括来自所述观看源图像的图像数据的使用的片段以及其中没有像素包括来自所述观看源图像的图像数据的不使用的片段；以及组合器(403)，其用于通过包括来自所述第一图像中的所述至少一些观看源图像的使用的片段并不且包括来自所述第一图像中的所述至少一些观看源图像的不使用的片段来生成所述一组不同大小的片段中的至少一些片段，从而生成所述第一图像。

根据本发明的任选特征，所述分割器(401)被布置为通过以下操作来生成针对第一观看源图像的第一经分割的部分图像：将所述第一观看源图像的所述像素划分成其中像素数据要被包括在所述图像数据中的第一组像素以及其中像素数据不要被包括在所述图像数据中的第二组像素；并且将所述第一观看源图像平铺成具有轮廓线的片段，所述轮廓线是从所述一组预定轮廓线中选择的，所述平铺使得不使用的片段是通过将所述预定轮廓线适配到属于所述第二组像素的像素的区域来生成的。

根据本发明的另一方面，提供了一种用于处理图像信号的装置，所述装置包括：接收器(303)，其用于接收图像信号，所述图像信号包括：第一图像的图像数据，所述第一图像被划分成一组不同大小的片段，所述第一图像仅包括所述一组片段的片段子组中的图像数据，所述片段子组中的片段的所述图像数据是来自一组观看源图像中的观看源图像的片段的图像数据，所述一组观看源图像表示从视点看到的场景；元数据，其指示所述第一图像的所述图像数据，所述图像数据根据树状数据结构被结构化，其中，每个节点被链接到所述第一图像的片段；每个节点是分支节点或叶节点，分支节点是将父节点链接到至少一个子节点的所述父节点，所述父节点的每个子节点被链接到通过对所述父节点的所述片段的细分而生成的子片段，叶节点没有子节点并且与所述一组片段中的片段相链接，叶节点要么是被链接到其中所述第一图像不包括图像数据的片段的不使用的叶节点，要么是被链接到其中所述第一图像包括图像数据的片段的使用的叶节点，并且所述元数据指示所述节点是分支节点、使用的叶节点还是不使用的叶节点；绘制器，其用于根据所述图像信号来绘制合成的观看图像。

在一些实施例中，绘制器被布置为：响应于元数据而从第一图像中提取针对一组观看源图像的图像数据；并且响应于所提取的针对该组观看源图像的图像数据而绘制合成的观看图像。

在一些实施例中，该装置可以包括观看源生成器，所述观看源生成器用于通过用基于元数据得到的图像数据的片段填充部分图像的区域来生成针对该组观看源图像的第一观看源图像的部分图像。绘制器可以根据部分图像来绘制合成的观看图像。

根据本发明的另一方面，提供了一种生成图像信号的方法，所述方法包括：提供第一图像，所述第一图像被划分成一组不同大小的片段，所述第一图像仅包括所述一组片段的片段子组中的图像数据，所述片段子组中的片段的所述图像数据是来自一组观看源图像中的观看源图像的片段的图像数据，所述一组观看源图像表示从视点看到的场景；生成指示所述第一图像的图像数据内容的元数据，所述元数据根据树状数据结构被结构化，其中，每个节点被链接到所述第一图像的片段；每个节点是分支节点或叶节点，分支节点是将父节点链接到至少一个子节点的所述父节点，所述父节点的每个子节点被链接到通过对所述父节点的所述片段的细分而生成的子片段，叶节点没有子节点并且与所述一组片段中的片段相链接，叶节点要么是被链接到其中所述第一图像不包括图像数据的片段的不使用的叶节点，要么是被链接到其中所述第一图像包括图像数据的片段的使用的叶节点，并且所述元数据指示每个节点是分支节点、使用的叶节点还是不使用的叶节点；并且生成图像信号，所述图像信号包括所述第一图像的所述图像数据以及所述元数据。

根据本发明的另一方面，提供了一种处理图像信号的方法，所述方法包括：接收图像信号，所述图像信号包括：第一图像的图像数据，所述第一图像被划分成一组不同大小的片段，所述第一图像仅包括所述一组片段的片段子组中的图像数据，所述片段子组中的片段的所述图像数据是来自一组观看源图像中的观看源图像的片段的图像数据，所述一组观看源图像表示从视点看到的场景；元数据，其指示所述第一图像的所述图像数据，所述图像数据根据树状数据结构被结构化，其中，每个节点被链接到所述第一图像的片段；每个节点是分支节点或叶节点，分支节点是将父节点链接到至少一个子节点的所述父节点，所述父节点的每个子节点被链接到通过对所述父节点的所述片段的细分而生成的子片段，叶节点没有子节点并且与所述一组片段中的片段相链接，叶节点要么是被链接到其中所述第一图像不包括图像数据的片段的不使用的叶节点，要么是被链接到其中所述第一图像包括图像数据的片段的使用的叶节点，并且所述元数据指示所述节点是分支节点、使用的叶节点还是不使用的叶节点；并且根据所述图像信号来绘制合成的观看图像。

参考下文描述的(一个或多个)实施例，本发明的这些和其他方面、特征和优点将是显而易见的并且得到阐明。

附图说明

将参考附图并仅通过举例的方式来描述本发明的实施例，在附图中：

图1图示了用于提供虚拟现实体验的装置的示例；

图2图示了根据本发明的一些实施例的图像信号发送器的元件的示例；

图3图示了根据本发明的一些实施例的图像信号接收器的元件的示例；

图4图示了根据本发明的一些实施例的用于图像信号发送器的图像生成器的元件的示例；

图5图示了根据本发明的一些实施例的组合的部分图像的示例；

图6图示了根据本发明的一些实施例的放大的组合的部分图像的示例；并且

图7图示了根据本发明的一些实施例的树状数据结构的示例；并且

图8图示了根据本发明的一些实施例的片段的细分的示例。

具体实施方式

允许用户在虚拟世界中四处移动的虚拟体验变得越来越受欢迎，并且正在开发服务以满足这样的需求。然而，提供有效的虚拟现实服务非常具有挑战性，特别是在体验是基于现实世界环境的捕获而不是基于完全虚拟生成的人工世界的情况下。

在许多虚拟现实应用中，确定反映虚拟观看者在场景中的姿态的观看者姿态输入。然后，虚拟现实装置/系统/应用生成与对应于观看者姿态的观看者场景视图和视口相对应的一幅或多幅图像。

通常，虚拟现实应用生成呈针对左眼和右眼的单独观看图像的形式的三维输出。然后可以通过合适的模块(例如，VR头戴式设备的通常为独立的左眼显示器和右眼显示器)向用户呈现这些三维输出。在其他实施例中，图像可以例如被呈现在自动立体显示器上(在这种情况下，可以针对观看者姿态生成较大数量的观看图像)，或者实际上在一些实施例中，可以(例如使用常规的二维显示器)仅生成单幅二维图像。

在不同的应用中，可以以不同的方式确定观看者姿态输入。在许多实施例中，可以直接跟踪用户的物理移动。例如，查看用户区的相机可以检测和跟踪用户的头部(甚至是眼睛)。在许多实施例中，用户可以佩戴VR头戴式设备，能够通过外部模块和/或内部模块来跟踪该VR头戴式设备。例如，头戴式设备可以包括加速度计和陀螺仪，该加速度计和陀螺仪提供关于头戴式设备的移动和旋转的信息，由此提供关于头部的移动和旋转的信息。在一些示例中，VR头戴式设备可以发送信号或者包括(例如视觉)识别符，该(例如视觉)识别符使得外部传感器能够确定VR头戴式设备的移动。

在一些系统中，可以通过手动途径(例如通过用户手动控制操纵杆或类似的手动输入部)来提供观看者姿态。例如，用户可以通过用一只手控制第一模拟操纵杆来将虚拟观看者在场景中四处移动，并且用另一只手手动移动第二模拟操纵杆来手动控制虚拟观看者正在观看的方向。

在一些应用中，可以使用手动方法与自动方法的组合来生成输入观看者姿态。例如，头戴式设备可以跟踪头部的取向，并且用户可以使用操纵杆来控制观看者在场景中的移动/位置。

图像的生成基于虚拟世界/环境/场景的合适表示。在一些应用中，可以提供针对场景的完整的三维模型，并且能够通过评价该模型来确定从特定观看者姿态看到的场景的视图。在其他系统中，可以通过与从不同捕获姿态捕获的视图相对应的图像数据来表示场景，并且具体地可以通过具有相关联的深度的多幅源图像来表示场景，其中，每幅图像表示从不同视点看到的场景。在这样的方法中，可以通过三维图像处理来生成针对除了这(一个或多个)捕获姿态以外的其他姿态的观看图像，例如具体通过使用观看移位算法来实现这一点。在通过针对离散视点/位置/姿态所存储的观看数据来描述/引用场景的系统中，这些离散视点/位置/姿态也可以被称为锚视点/位置/姿态。通常，当已经通过从不同点/位置/姿态捕获图像而捕获了现实世界环境时，这些捕获点/位置/姿态也是锚点/位置/姿态。

典型的VR应用相应地(至少)提供了与针对当前观看者姿态的场景视口相对应的图像，其中，该图像被动态更新以反映观看者姿态的变化，并且其中，图像是基于表示虚拟场景/环境/世界的数据而生成的。

在该领域中，术语放置和姿态被用作针对位置和/或方向/取向的公用术语。例如，目标、相机、头部或视图的位置和方向/取向的组合可以被称为姿态或放置。因此，放置或姿态指示可以包括六个值/分量/自由度，其中，每个值/分量通常描述对应目标的位置/定位或取向/方向的各个属性。当然，在许多情况下，可以利用较少的分量来考虑或表示放置或姿态，例如，如果考虑一个或多个分量被认为是固定的或不相关的(例如，如果所有目标都被认为处于相同高度并且具有水平取向，那么四个分量可以提供目标的姿态的完整表示)。在下文中，术语姿态用于指代可以由一个至六个值(对应于最大可能的自由度)表示的位置和/或取向。

许多VR应用基于具有最大自由度(即，位置和取向中的每项具有三个自由度使得总共得到六个自由度)的姿态。因此，姿态可以由表示六个自由度的六个值的集合或向量来表示，并且因此姿态向量可以提供三维位置和/或三维方向指示。然而，应当理解，在其他实施例中，姿态可以由更少的值来表示。

姿态可以是取向和位置中的至少一项。姿态值可以指示取向值和位置值中的至少一项。

基于为观看者提供最大自由度的系统或实体通常是指具有6个自由度(6DoF)。许多系统和实体仅提供取向或位置，并且这些系统和实体通常是指具有3个自由度(3DoF)。

在一些系统中，可以通过例如独立设备将VR应用本地提供给观看者，该独立设备接收来自远程设备/服务器的场景数据(其独立于针对本地观看者的特定观看者姿态)，然后本地生成针对本地观看者的特定当前视图的观看图像。因此，在许多应用中，特别是对于播送服务，源可以发送呈独立于观看者姿态的场景的图像(包括视频)表示的形式的场景数据。例如，可以接收包括多幅捕获的观看图像和相关联的深度图的图像表示。然后，各个客户端可以本地合成对应于当前观看者姿态的观看图像。

特别令人感兴趣的特定应用是支持有限量的移动，使得所呈现的视图被更新以遵循与基本上静态的观看者相对应的小的移动和旋转，从而仅产生小的头部移动和头部旋转。例如，坐下的观看者能够转动他的头部并略微移动他的头部，其中，所呈现的视图/图像被调整以遵循这些姿态变化。这样的方法可以提供具有高度沉浸感的(例如视频体验)。例如，观看体育赛事的观看者可能会觉得他处在竞技场中的特定位置处。

这样的有限自由应用具有以下优点：提供了改善的体验，同时不要求从许多不同位置看到的场景的准确表示，从而大大降低了捕获要求。类似地，能够大大减少需要被提供给绘制器的数据量。实际上，在许多场景中，只需要将针对单个视点的图像以及通常还有深度数据提供给本地绘制器，该本地绘制器能够根据这些图像和深度数据来生成所期望的视图。为了支持头部旋转，通常期望从视点看到的视图的大区是由所提供的数据表示的，并且优选地，以视点为中心的视球的整个表面被所提供的图像和深度数据覆盖。

特别地，该方法可以非常适合用于需要在有限带宽的通信信道上将数据从源传送到目的地的应用，例如，播送应用或客户端服务器应用。

图1图示了VR系统的这样的示例，其中，远程VR客户端设备101例如经由网络105(例如，互联网)与VR服务器103联系。服务器103可以被布置为同时支持潜在大量的客户端设备101。

VR服务器103可以例如通过以下操作来支持播送体验：发送针对多个视点的图像数据和深度，其中，客户端设备然后被布置为处理该信息以本地合成对应于当前姿态的观看图像。

为了提供有效的分布，期望对于给定的图像质量来说保持尽可能低的数据速率，因此可以具体包括寻求减少生成的冗余数据的量。

图2图示了用于生成图像信号的装置的示例，该图像信号包括从不同观看姿态(锚姿态)看到的场景的多幅图像的表示。该装置还将被称为图像信号发送器200。图像信号发送器200可以例如被包括在图1的VR服务器103中。

图3图示了用于基于接收到的图像信号来呈现观看图像的装置的示例，该接收到的图像信号包括场景的多幅图像的表示。该装置可以具体接收由图2的装置生成的数据信号并继续处理该数据信号，以便绘制针对特定观看姿态的图像。图3的装置还将被称为图像信号接收器300。图像信号接收器300可以例如被包括在图1的客户端设备101中。

图像信号发送器200包括图像源接收器201，图像源接收器201被布置为接收场景的多幅源图像。源图像可以表示从不同捕获姿态看到的场景的视图。例如，源图像可以包括从一行等距捕获姿态看到的图像。

在许多实施例中，源图像可以是3D图像，该3D图像包括具有相关联的深度信息的2D图像。该2D图像可以具体是从对应捕获姿态看到的针对场景视口的观看图像，并且该2D图像可以伴随有针对2D图像的像素中的每个像素的深度值的深度图像或深度图。该2D图像可以是纹理图。

深度值可以例如是(例如通过z坐标指示的)视差值或距离值。在一些实施例中，源图像可以是呈具有相关联的3D网格的纹理图的形式的3D图像。在一些实施例中，在这样的纹理图和网格表示之前，这样的纹理图和网格表示可以先由图像源接收器转换成图像+深度表示，之后再由图像信号发送器200进一步处理。

相应地，图像源接收器201接收多幅源图像，这多幅源图像表征和表示从不同姿态看到的场景。这样一组源图像将允许使用诸如技术人员已知的观看移位之类的算法来针对其他姿态生成观看图像。相应地，图像信号发送器200被布置为生成图像信号，该图像信号包括针对源图像的图像数据并且将该数据发送到远程设备以用于本地绘制。然而，直接发送所有源图像将要求不可行的高数据速率并且还将包括大量冗余信息。

图像信号发送器200被布置为通过生成已经去除了冗余信息的部分图像来降低数据速率。随后对部分图像进行组合和编码以生成图像信号。

图像源接收器201被耦合到像素选择器203，像素选择器203被布置为根据源图像来生成一组图像，其中，这一组图像中的至少一幅图像是部分图像。像素选择器203可以通过以下操作来生成这组部分图像：通过选择源图像中要包括在图像信号中的像素的子组来生成源图像中的一幅或通常为大多数(甚至全部)源图像的部分版本。部分图像也将被称为修剪图像，并且选择图像的像素的子组以生成其部分图像也将被称为修剪图像。

因此，像素选择器203的输出可以是与源图像相对应的一组修剪图像或部分图像，但是其中，图像中的一幅或通常为大多数图像是对应源图像的部分版本。像素选择器203寻求选择该像素子组以包括在部分图像中，使得所生成的一组部分图像的总体冗余被减小或者优选被最小化。所生成的部分图像还可以包括未被修剪的一幅或多幅原始源图像。

像素选择器203被耦合到图像生成器205，图像生成器205被馈送有这组部分图像。图像生成器205被布置为将部分图像组合成组合图像，其中，每幅图像可以表示部分图像中的一幅或多幅部分图像。特别地，组合图像可以包括源自多幅部分图像的像素。例如，可以将来自一幅部分图像的像素插入另一部分图像的不使用的区中。图像生成器205能够被视为将部分图像打包到更密集打包的组合图像中。

图像生成器205生成较少但不太稀疏的图像。这组组合图像被馈送到编码器207，编码器207继而执行对图像的编码。由于图像生成器205已经减少了要发送的图像的数量，因此通常实现了更有效的编码。另外，通常可以将部分图像打包到组合图像中，使得结果得到的图像非常适合用于编码。

该方法的特殊优点是以允许由编码器207执行的对常规图像和视频的编码方法实现了通过部分图像得到的场景表示。例如，在许多实施例中，可以使用诸如高效视频编码(HEVC)(也被称为由联合视频研究组(JVET)开发的H.265和MPEG-H Part 2或多功能视频编码(VVC))之类的编码格式。

图2的图像信号发送器200可以相应地提供了有效方法来生成表示从一定范围的观看姿态看到的场景的有效图像信号。

图像信号被发送到图像信号接收器300，图像信号接收器300包括解码器301，解码器301被布置为接收图像信号并解码该图像信号以生成一组组合信号，这组组合信号被馈送到编码器207。因此，解码器301可以被布置为根据编码器207所使用的标准来执行解码，例如通过执行HEVC或VVC解码来执行解码。

应当理解，图像信号发送器200和图像信号接收器300还包括用于传送图像信号所要求的功能，包括用于编码、调制、发送、接收图像信号等所要求的功能。应当理解，这样的功能将取决于各个实施例的偏好和要求，并且这样的技术将是本领域技术人员已知的，因此为了清楚和简洁，本文将不再进一步讨论这样的技术。

解码器301被耦合到图像检索器303，图像检索器303被布置为从接收到的组合图像中检索部分图像。相应地，图像检索器303可以执行图像生成器205的逆向功能，以便将组合图像的像素划分成个体部分图像。因此，虽然组合图像通常包括对应于多个不同视点或姿态的像素，但是部分图像被生成为使得每幅图像都包括仅源自一幅源图像(因此仅对应于一个观看姿态)的像素。

在许多实施例中，图像信号还包括一幅或多幅完整的源图像，并且图像检索器303的输出相应地提供对应于源图像(因此表示从一定范围的观看姿态看到的场景)的一组图像，其中，图像中的一幅或多幅图像只是部分图像。然而，给定的部分图像中的缺失部分通常对应于可从来自图像检索器303的一组输出图像的其他图像中获得的冗余信息。

图像被馈送到第一绘制器305，第一绘制器305被布置为基于一组接收到的部分图像(和任何完整图像)来生成新的观看图像。这些图像对应于原始源图像。应当理解，可以使用任何合适的算法来绘制对应于给定的观看者姿态的观看图像。例如，第一绘制器305可以被布置为首先基于接收到的完整源图像来生成观看图像。这通常会导致由于视点改变而造成遮挡所引起的多个孔。然后可以使用来自部分图像的数据以填入这样的孔。应当理解，本领域技术人员将意识到用于基于来自其他视点的图像来合成用于特定目的的视图的许多不同的算法和方法并且任何合适的算法都可以由第一绘制器305来实施。

在一些实施例中，图像信号接收器300可以包括第二绘制器307，第二绘制器307被布置为直接根据接收到的组合图像来合成观看图像。在许多实施例中，图像信号接收器300要么将包括第一绘制器305和图像检索器303，要么将包括第二绘制器307。应当理解，第二绘制器307可以使用任何合适的方法来呈现针对给定的观看者姿态的观看图像。

第一绘制器和第二绘制器可以使用相同的合成方法和参数，这可以是有利的，因为这可以增大预测的值。

应当理解，可以使用任何合适的方法或途径来生成部分图像。例如，在一些实施例中，像素选择器203可以通过以下操作来迭代地生成一组部分图像：在每次迭代中选择新的输入图像，针对该新的输入图像，像素选择器203然后生成部分图像，该部分图像被添加到这组部分图像。在每次迭代中，可以例如随机地或者以距捕获姿态的中心位置的距离的顺序选择图像。然后，像素选择器203可以尝试根据先前选择的部分图像来预测所选择的图像。

根据一组包括图像中的第一包括图像得到的针对一组候选图像中的第一候选图像的预测图像可以是针对通过根据第一包括图像进行的视图合成所生成的第一候选图像的观看姿态的图像。由于第一包括图像和第一候选图像对应于针对不同观看姿态的源图像，因此视图合成包括观看姿态移位，并且通常包括观看位置移位。视图合成可以是观看移位图像合成。因此，根据第一包括图像得到的针对第一候选图像的预测图像可以是反映能够根据第一包括图像来预测/估计从候选图像的观看姿态的视口的良好程度的图像。

根据第二图像对第一图像的预测可以具体是基于第二图像(和第二图像的观看姿态)对第一图像的观看姿态处的图像的视图合成。因此，根据第二图像来预测第一图像的预测操作可以是第二图像从与其相关联的观看姿态到第一图像的观看姿态的观看姿态移位。

应当理解，在不同的实施例中可以使用不同的方法和算法来进行视图合成和预测。在许多实施例中，可以使用视图合成/预测算法，该视图合成/预测算法取用要针对其生成合成图像的合成观看姿态以及多幅输入图像作为输入，所述多幅输入图像中的每幅输入图像与不同的观看姿态相关联。然后，视图合成算法可以基于输入图像来生成针对该观看姿态的合成图像，该输入图像通常可以包括纹理图和深度。

已知许多这样的算法，并且可以使用任何合适的算法而不减损本发明。作为这样的方法的示例，可以首先针对每幅输入图像生成中间合成/预测图像。这可以例如通过首先基于图像的深度图生成针对输入图像的网格来实现。然后可以基于几何计算将网格从输入图像的观看姿态扭曲/移位到合成观看姿态。然后可以将结果得到的网格的顶点投影到中间合成/预测图像上，并且可以将纹理图叠加在该图像上。例如，可以使用例如根据标准图形管线已知的顶点处理和片段着色器来实施这样的过程。

以这种方式，可以针对输入图像中的每幅输入图像生成针对合成观看姿态的中间合成/预测图像(此后简称为中间预测图像)。

然后，可以例如通过加权组合/求和或者通过选择组合来将中间预测图像组合在一起。例如，在一些实施例中，可以通过从最前方的中间预测图像选择像素来生成针对合成观看姿态的合成/预测图像的每个像素，或者可以通过针对所有中间预测图像的对应像素值的加权和来生成像素，其中，针对给定的中间预测图像的权重取决于针对该像素所确定的深度。组合操作也被称为混合操作。

因此，像素选择器203可以基于在先前迭代中选择的部分图像来生成对在给定迭代中所选择的图像的预测。它可以将所预测的图像与所选择的图像进行比较，并且识别未能足够准确地预测的每个像素，例如通过确定针对所预测的图像和所选择的图像中的对应像素的差异度量是否高于阈值来实现这一点。然后可以生成部分图像以仅包括这些像素，因此部分图像并不包括能够通过先前选择的部分图像来足够准确地预测的像素。然后将部分图像添加到这组部分图像中，并且像素选择器205进行到下一迭代，在下一迭代中选择新的图像。

在一些实施例中，图像可以被选择为根据先前选择的部分图像最不能被准确预测的图像。

在许多实施例中，像素选择器203因此可以生成部分图像，针对观看源图像中的每幅观看源图像，该部分图像指示其中像素值数据/图像数据应当被包括在图像信号中的一组像素以及其中像素值数据/图像数据不应被包括在图像信号中的一组像素。针对给定的源图像的部分图像可以通过包括属于前一组的像素的像素值并且不包括属于后一组的像素的像素值(而不是例如包括预定的恒定像素值(例如，零))来简单地指示这两个子组。应当理解，在许多实施例中，像素被包括在部分图像中，或者并不基于对它们改善对针对其他视点的视图的预测能力的评估，而是可以使用任何合适的方法，并且针对有效打包和传送这样的部分图像所描述的方法并不取决于用于生成部分图像的任何特定方法。还应当理解，对像素值的引用包括对给定像素的多个值的引用。例如，像素值可以是包括多个值(例如，针对不同颜色通道、透明度和/或深度的值)的向量。

图4图示了图像生成器205的一些元件的示例。图像生成器205被馈送有部分图像并且继而将这些部分图像组合成更少的组合图像。该组合基于对图像的分割以及将经分割的部分图像组合成一幅或多幅经分割的组合图像。分割和组合基于使用不同大小和轮廓线的片段进行的层次分割和组合，其中，较大的片段被细分成较小的片段。相应地，对部分图像的分割和组合是生成呈树状数据结构的形式的层次和元数据，以描述(一幅或多幅)组合图像的内容。

图像生成器205包括分割器401，分割器401接收来自像素选择器203的部分图像。分割器401被布置为针对部分图像中的每幅部分图像生成经分割的部分图像，因此针对原始观看源图像中的每幅原始观看源图像生成经分割的原始观看源图像。分割器401可以特别地将部分图像划分成具有从一组预定轮廓线中选择的轮廓线的片段。

因此，可以选择一组片段轮廓线，并且对部分图像的分割基于以下限制：片段的轮廓线必须选自这些轮廓线中的一条轮廓线。片段的轮廓线可以对应于片段的大小和形状。例如，片段可以被限制为矩形，并且轮廓线可以由(例如以像素为单位测量的)宽度和高度(垂直片段维度和水平片段维度)来限定。

片段轮廓线可以是层次相关的，使得较小的片段是较大的片段的细分。例如，这组片段轮廓线可以包括具有最大大小的一个或多个片段。例如，最大片段轮廓线可以是具有给定的像素维度的矩形片段。最大片段轮廓线可以具体等于整幅图像。

然后，下一水平的片段轮廓线可以被选择为最大轮廓线的细分，例如通过使用给定的细分(例如通过水平划分将片段划分成两半)来实现这一点。在一些实施例中，可以使用多个细分，例如，可以通过垂直划分将片段划分成两半来生成另一组轮廓线。通过使用相同(或不同)的细分等，可以生成下一水平的片段轮廓线。因此，这组可能的片段轮廓线可以包括不同大小以及可能不同形状的轮廓线。

分割器401可以继而将部分图像划分成具有从一组预定/可能的轮廓线中选择的轮廓线的片段。片段被生成为使得一些片段包括提供图像数据的像素(并且可能还包括不提供图像数据的像素)，并且一些片段仅包括不提供图像数据的像素。因此，生成不包括任何图像数据的图像片段以及包括图像数据的图像片段。然后可以丢弃不包括图像数据的图像片段(不使用的片段)，而确实包括图像数据的图像片段(使用的片段)将被包括在组合图像中的一幅组合图像中。

因此，分割器可以通过将预定轮廓线适配到属于第二组像素的像素的区域将图像划分成使用的片段和不使用的片段来平铺部分图像。例如，分割器401可以从对应于整幅图像的片段开始。然后分割器可以将该片段划分成四个子片段。针对这四个子片段中的每个子片段，分割器401可以确定片段是否包括任何使用的像素(其中部分图像包括图像数据的像素)。如果不是这样，则不会进一步处理该片段，而将该片段指定为不使用的片段。然而，如果该片段确实包括任何使用的像素，则重复细分片段的过程。可以重复该过程，直到包括使用的像素的片段达到片段允许的最小大小为止。现在将图像划分成不使用的片段和通常大量的包括使用的像素的最小大小片段，该不使用的片段具有针对适配不使用的像素的区域的给定的片段形状的最大大小。分割器401现在可以继而将具有使用的像素的最小大小片段组合成更大的片段，例如，如果更大的片段的所有细分包括使用的像素，则通过迭代地将更小的片段组合成更大的片段来实现这一点。这将创建更大的使用的片段，因此该过程将得到一组使用的片段和一组不使用的片段。

在一些实施例中，可以对给定的片段进行多个细分，并且分割器401可以使用给定的准则在这些细分中进行选择，例如选择使得不同片段中的使用的像素的浓度之间的差异最大(即，处于最大平衡状态)的细分。

应当理解，可以使用许多其他方法或算法来生成层次分割的部分图像。

分割器401可以继而生成针对所有观看源图像的经分割的部分图像，并且这些经分割的部分图像然后被馈送到组合器403，组合器403被布置为生成一幅或多幅组合的部分图像。以下描述将专注于生成单幅组合的部分图像，但是应当理解，在许多实施例中，可以生成多幅部分图像。

组合器403可以具体包括将针对多幅部分图像的使用的片段生成单幅组合图像。例如，在一些实施例中，组合器403可以开始于选择一幅经分割的部分图像(例如，其中使用的片段覆盖最大区的经分割的部分图像)作为初始的组合的部分图像。然后，组合器403可以选择第二经分割的部分图像，并且继而通过第二经分割的部分图像的使用的片段来填入组合的部分图像的不使用的片段。例如，组合器403可以顺序地选择第二经分割的部分图像中的每个使用的片段，并且针对这些使用的片段中的每个使用的片段识别组合的部分图像中具有相同轮廓线的不使用的片段。然后(例如通过复制像素值)将第二经分割的部分图像的使用的片段移动到组合的部分图像中的不使用的片段中，在此之后将其指定为使用的片段。然后，组合器403可以继而选择第三经分割的部分图像，并且继而将该第三经分割的部分图像的使用的片段包括到组合的部分图像的不使用的片段中。可以对经分割的部分图像重复该方法，直到处理了所有这些经分割的部分图像为止，或者直到在组合的部分图像中没有合适的不使用的片段可用为止，在这种情况下，可以启用新的组合的部分图像。

应当理解，在许多实施例中，可以使用更复杂的算法，该算法寻求更好地优化对经分割的部分图像的片段的组合，包括例如组合或者划分片段以提供更好的适配。

相应地，组合的部分图像包括来自多幅部分图像的使用的片段。片段中的一些片段被定位在组合的部分图像中的位置可以与这些片段被定位在在经分割的部分图像中的位置相同，而其他片段可能已经被移动以适配组合的部分图像的不使用的片段。

因此，组合器403可以针对每个使用的片段存储该片段的起源或指示该片段的起源或源的源数据。特别地，起源数据可以指示片段所选自的经分割的部分图像并且通常还可以指示反映该片段在组合的部分图像中的位置与在经分割的部分图像中的位置之间的差异的数据。

因此，组合器403可以生成组合的部分图像，该组合的部分图像被分割成不同大小的片段，并且其中，片段包括来自不同的经分割的部分图像的像素值。图5图示了组合的部分图像的示例。图5图示了组合的部分图像的示例，并且图6图示了图5的组合的部分图像的区段的凑近视图。

可以在生成组合的部分图像时使用的算法的特定示例如下：

1、最大节点大小设置为二的最高次幂，该二的最高次幂至多为最小帧的宽度或高度(针对1080p为1024)。

2、使用二的幂生成从最小节点大小到最大节点大小的一组尺度不变的节点类型，例如，(8，8)、(16，8)、(8，16)、(16，16)、(32，8)等，在不同的尺度上具有相同的细分，例如，将块水平或垂直地分成两半。

3、列举所有的源视图和打包的观看帧大小。

4、按帧大小的顺序递增：

a.维持矩形框的第一列表并且针对整个帧插入框。

b.维持从空开始的框的第二列表。

c.迭代操作，直到第一列表为空，

i.从列表中取用矩形，

ii.寻找在矩形内适配的最大节点类型，

iii.平铺矩形，将框添加到第二列表。

iv.将任何剩余的像素划分成矩形并添加到第一列表。

d.针对帧大小创建节点类型，该帧大小包括根据第二列表中的框的单个细分。

所生成的组合的部分图像被馈送到图像信号生成器405，图像信号生成器405被馈送有(一幅或多幅)组合的部分图像。因此，分割器401和组合器403形成图像源407，图像源407提供一幅或多幅组合的部分图像，其中，组合的部分图像中的每幅组合的部分图像被划分成不同大小的片段，并且其中，一些片段被使用并且包括来自观看源图像的图像数据，而其他片段不被使用并且不包括来自观看源图像的图像数据。

图像信号生成器405被布置为生成包括组合的部分图像的图像信号，并且可以特别包括/对应于编码器207。

然而，除了图像数据以外，图像生成器205还包括元数据生成器409，元数据生成器409被布置为生成元数据，该元数据被馈送到图像信号生成器405并且也被包括在图像信号中。

元数据被生成为指示(一幅或多幅)组合的部分图像的图像数据内容，并且可以特别指示组合的部分图像的分割结果以及组合的部分图像中的个体片段与经分割的部分图像中的个体片段之间的关系。

根据反映组合的部分图像的分割结果的树状数据结构来对图像数据和元数据进行结构化。图7图示了树状数据结构的示例。元数据特别包括树状数据结构，其中，每个节点被链接到组合的部分图像的片段。被链接到给定的片段的片段要么可以是定义的使用的片段或定义的不使用的片段中的一项，要么可以是多个片段的组合，即，节点可以被链接到组合的部分图像中的片段，其轮廓线和位置等于在图像中形成的使用的组合的部分图像或不使用的组合的部分图像中的一项的轮廓线和位置，或者节点可以被链接到多个相邻片段的组合的轮廓线和位置。每个节点可以在以下意义上被链接到片段，即，每个节点被链接到与一组片段中由组合器403生成并包括在组合的部分图像中的片段或多个邻接片段的组合相对应的区域。

树状数据结构的节点是分支节点或叶节点。

分支节点是具有一个或通常多个子节点的父节点。分支节点的子节点表示分支节点的片段根据分支节点的片段的细分而得到的子片段。

因此，例如，分支节点可以被链接到在组合的部分图像中的给定位置处的例如100×200个像素的片段。分支节点可以与将片段划分成四个相等片段的细分相链接，并且因此该片段可以被细分成大小为25×50个像素的四个角片段。对于这些片段中的每个片段，树状数据结构可以包括分支节点的子节点。

因此，分支节点表示将片段划分成较小片段的划分。

叶节点不具有子节点，因此对应于不被进一步细分的组合的部分图像的片段。相应地，叶节点可以对应于由组合器403生成的使用的片段和不使用的片段。

例如，在上面的示例中，如果这四个25×50个像素的片段是由组合器403生成的使用的片段或不使用的片段，则它们将不会被进一步细分并且因此不具有子节点。

然而，如果例如这25×50个像素的片段中的一个覆盖了例如一个使用的片段和一个不使用的片段，那么针对该片段的节点将不会是叶节点而是具有两个子节点的分支节点，一个子节点对应于针对使用的片段的叶节点，并且一个子节点对应于针对不使用的片段的叶节点。

虽然分支节点对应于在组合的部分图像中进一步细分的片段且并不直接匹配一个使用的片段或不使用的片段，但是叶节点不会被细分，而是直接被链接到使用的片段或不使用的片段。

因此，叶节点叶要么是被链接到其中第一图像不包括图像数据的片段(即，被链接到不使用的片段)的不使用的叶节点，要么是被链接到其中第一图像包括图像数据的片段(即，被链接到组合的部分图像的使用的片段)的使用的叶节点。

相应地，树状数据结构具有与组合的部分图像和针对该组合的部分图像的分割直接匹配的结构和配置。树状数据结构包括针对组合的部分图像中的每个生成的使用的片段和不使用的片段的叶节点。树状数据结构还包括许多分支节点，这些分支节点定义分割并且特别地还定义对片段的细分，对片段的细分被执行以在组合的部分图像中将来自不同部分图像的片段有效地打包在一起。

元数据生成器409生成描述树状数据结构的元数据，并且特别地生成指示每个节点是分支节点、使用的叶节点还是不使用的叶节点的元数据。元数据被馈送到图像信号生成器405并被包括在图像信号中。

在许多实施例中，树状数据结构的根节点可以与对应于整幅组合的部分图像的片段相链接。这可以提供一种有效的方法，其具有提供针对整幅图像的信息的一个树状数据结构。因此，在许多实施例中，可以针对每幅组合的部分图像提供一个树状数据结构。

树状数据结构描述了对组合的部分图像的分割和将片段作为使用的片段或不使用的片段的分配。另外，在许多实施例中，树状数据结构可以包括针对片段的额外信息。特别地，针对每个叶节点的元数据可以包括指示针对对应片段的一个或多个属性的数据。

应当理解，在不同的实施例中，可以包括不同的数据。例如，对于使用的片段，可以提供对片段内的像素是使用的像素的比例的指示，即，它是稀疏打包的片段还是密集打包的片段。

然而，大多数实施例中，元数据包括对针对观看源图像的至少一些使用的叶节点和作为针对被连接到该叶节点的使用的片段的起源的部分图像的指示。在许多实施例中，元数据还包括对该片段在组合的部分图像中的位置与在原始观看源图像/部分图像中的位置之间的位置差异(包括例如旋转/取向)的指示。例如，可以包括针对使用的片段的平移信息。这种方法可以以这种方式提供对组合的部分图像的内容以及能够如何对这些内容解包以提供原始部分图像的非常有效的通信。

在一些实施例中，针对使用的片段/叶节点中的一些使用的片段/叶节点可以仅包括显式起源数据。例如，不存在显式起源数据可以指示针对组合的部分图像以及针对相同位置处的片段的基础部分图像的默认起源。作为更高级的示例，生成多个预测，并且元数据要么包括起源数据，要么包括对预测中的一个预测的选择。

实际上，虽然通常优选在针对至少一个片段的元数据/图像信号中包括至少一些起源数据，以便提供提高的灵活性和适应性，但是在其他实施例中，图像信号和元数据也可能根本不包括任何起源数据。

在一些实施例中，可以例如将起源数据与图像信号分开提供，例如通过其他手片段来实现这一点。通常对于例如视频帧，图像分割可以比个体图像帧内容变化慢得多，并且可以针对多个帧(可能针对非常大量的帧)使用相同的图像分割。在这样的示例中，包括视频帧的图像信号可以通过高速通信信道来传送，而起源数据可以以完全单独的信号来提供并且通过不同的通信信道来传送。

在一些实施例中，图像信号发送器可能不管怎样都不发送任何起源/源指示数据。例如，位置或位置差异数据通常仅适用于其中片段可以从部分图像移动到组合图像的实施例。在一些实施例中，根据部分图像来生成组合图像可以使得片段不被移动，因此不要求或不适合使用位置起源信息。虽然这样的方法会导致组合图像中的片段打包的效率较低，但是在一些应用中它可能是有利的，因为它会使得复杂度降低和处理便利性提高。例如，它可以适合用于其中最相关的场景信息趋向于存在于不同部分图像的不同和特定区域中的应用。

而且，在一些实施例中，对于所有观看源图像来说，并不需要对源/起源图像的指示，或者实际上，对于一些实施例，对于任何观看源图像来说，并不需要对源/起源图像的指示。例如，可以应用片段在观看源图像中的位置或起源与片段在(一幅或多幅)组合图像中的位置或顺序之间的预定关系，并且可以通过图像信号发送器和图像信号接收器这两者独立且分开地应用这种关系而不要求图像信号或元数据来描述这种关系。在一些这样的情况下，根本不需要传送起源数据。

作为特定示例，可以将组合图像的固定区域分配给部分图像中的每幅部分图像，例如，可以将对应于组合图像的50％的区域分配给第一图像，可以将对应于组合图像的25％的区域分配给第二图像，可以将对应于组合图像的15％的区域分配给第三图像，并且可以将对应于组合图像的10％的区域分配给第四图像。像素选择/片段生成可以循序以下要求：所选择的像素/所生成的片段的数量必须以合适的裕量低于被分配给该图像的组合图像的比例(以允许不完全打包)。然后将片段打包到组合图像中可以遵循将片段分配到针对该部分图像的片段所分配的区域中的分配。组合图像的打包的总体表示可以是所描述的层次表示，并且由于针对片段位置的已知约束，将不要求进一步的图像起源数据。

在一些实施例中，可以利用要求、约束和方法的各种组合。例如，组合图像可以大于部分图像以允许更灵活的打包，从而允许施加更多的打包约束(例如，打包可以使得维持片段的位置并且将每幅部分/源图像约束到被分配给该图像的特定区域)。

在一些实施例中，特殊已知的或假设的图像特性可以用于决定片段在源图像中的位置或序列与片段在(一幅或多幅)组合图像中的位置或顺序之间的合适的预定关系。例如，如果场景在给定的发送中被认为是静态的，其中，变化主要发生在场景的一个区域(例如，剧院中的舞台)中，那么可以在不同的观看源图像中识别对应于该区域的特定区并且使用该特定区来确定在图像信号发送器和图像信号接收器这两者处都可知的预定关系，例如，可以以预定/已知的关系将不同的部分图像中的识别区域分配给组合图像中的不同区域。

因此，在大多数实施例中，优选包括指示观看图像源和/或观看图像源中针对组合图像的片段中的一个或多个片段(特别是针对由使用的叶节点表示的至少一个片段)的位置的起源数据。在许多实施例中，这种方法将允许更加灵活和有效的方法。然而，虽然这常常会是有利的，但是在所有实施例中，这绝不是必要的、必须的或要求的。

在一些实施例中，可能只有一个可能的片段细分。例如，矩形片段可以始终被细分成通过沿着垂直中心线和水平中心线进行的划分而生成的四个子片段。在这样的情况下，元数据可以不包括关于用于给定的分支节点的细分的额外信息。

然而，在许多实施例中，部分图像的分割可以允许使用不同的细分，并且特别地，可以从一组允许的细分中选择细分。在这样的情况下，针对分支节点中的一个或多个分支节点，元数据可以包括对应用于分支节点的片段以生成子节点的片段的细分的指示。

特别地，分割可以基于从一组可允许的细分中选择的细分，例如，通过垂直中心划分来分成两半，通过水平中心划分来分成两半，通过垂直中心划分和水平中心划分来分成四等分等。然后，针对给定的分支节点，元数据可以包括指示一组可允许的细分中的哪个细分已经用于分支节点的片段的数据。

应当理解，可以使用更复杂的细分，并且细分可以取决于可以具有不同形状和轮廓线的片段的属性。例如，如图8所示，可以将(40，40)像素片段/节点分成两个(40，20)片段/节点或两个(10，40)片段/节点和一个(20，40)片段/节点。相应地，40×40片段/节点具有两个细分。40×20片段/节点可以仅具有单个细分，例如被分成两个20×20片段/节点。因此，这组可允许的细分也可以取决于特定片段并且特别取决于轮廓线(大小和/或形状)。

在所描述的示例中，系统使用片段，该片段能够被递归细分，直到最小的节点大小/片段为止。因此，在示例中，片段可以全部具有能够被生成为最小大小的片段的组合的轮廓线。特别地，能够通过最小大小的片段来平铺任何给定的片段。片段能够被看成是通过组合对应于最小大小的一个(或可能多个)片段的基本构建块而生成的。这样的方法可以具有许多优点，包括：

·利用视频编码器(例如，HEVC编码块树)改善块对齐

·减少当能够用较少数据表示分割时所要求的元数据的量

在许多实施例中，元数据生成器409还可以被布置为生成配置信息，该配置信息可以被发送到图像信号接收器300以供在对组合的部分图像的解包中使用。

特别地，在许多实施例中，图像信号发送器200可以生成针对分割的限制性参数和针对组合的部分图像的树状数据结构。在许多实施例中，元数据可以被生成为包括对形成所有其他片段的基础的最小片段的指示。

作为另一示例，在许多实施例中，元数据可以被生成为包括对节点/片段可能有哪些细分的指示。例如，可以通过向正被划分的片段和将针对特定细分而形成的子片段提供轮廓线数据(例如，形状)来定义一组或多组可允许的细分。每个细分可以被分配有识别符，随后在指示针对分支节点的特定细分时可以使用该识别符。

可以使用任何合适的方法和算法来实现在生成针对图像信号的数据时对元数据的表示、编码和结构化。

在许多实施例中，描述树状数据结构的元数据可以被有利地生成为数据流，该数据流具有针对树状数据结构的节点中的一些节点并且通常为全部节点的节点数据块的有序序列。例如，可以预先确定解析树状数据结构的树的顺序，并且可以以该顺序来顺序地提供节点数据块。

每个节点数据块可以包括与该节点相关的数据。例如，针对分支节点的节点数据块可以指示所应用的细分。针对叶节点的节点数据块可以指示它是使用的叶节点还是不使用的叶节点，并且针对使用的叶节点的节点数据块还可以指示片段的起源(例如如果不是默认图像/位置的话)，例如通过提供多个起源的部分图像/观看源图像和针对起源的部分图像中的片段的位置指示来实现这一点。

例如，数据流可以开始于针对对应于整幅图像的根节点的节点数据块。这可以指示细分，由此指示多个子节点。根节点数据块可以后跟有针对第一子节点的节点数据块。如果这是分支节点，那么节点数据块可以指示细分。下一节点数据块然后可以用于该节点的第一子节点。这可以继续，直到针对第一个遇到的叶节点包括节点数据块为止。然后，该顺序可以转到第一叶节点的父节点的下一子节点等。因此，在该示例中，以以下顺序布置节点数据块：基本上在垂直方向上执行对树的解析，其中，当一条垂直路径已经完成时才会发生水平移位。在其他实施例中，排序可以专注于水平解析。例如，可以针对给定的层次级别处的所有节点提供节点数据块，然后针对下一层次级别的所有节点提供节点数据块等。

在一些实施例中，元数据生成器409可以被布置为还包括对元数据中的节点数据块的序列的顺序的指示，例如作为初始配置数据的部分。这可以允许灵活且自适应的方法，并且可以例如允许图像信号发送器200根据树状数据结构的特定特性来调整顺序。

在一些实施例中，当使用节点数据块的结构化序列时，图像信号接收器300可以被布置为在节点数据块之间插入片段属性指示或者将片段属性指示包括在节点数据块中。这样的片段属性指示可以提供对与后来的节点数据块的节点的片段相关联的属性的指示，例如直到接收到新的片段属性指示为止。因此，不是在每个节点数据块中定义特定属性，而是可以包括公用指示，该公用指示是适用的，直到接收到替换/更新指示为止。可以在节点数据块中提供片段属性指示，即，节点数据块中的数据值可以被认为是要在节点数据块之前或之后应用的片段属性指示(即，它可以应用于当前节点数据块的节点或者仅应用于(一个或多个)后来的节点)。

因此，给定的片段属性指示将适用于后续的节点数据块(以及当前的节点数据块)，并且通常直到接收到另一片段属性指示为止。

片段属性指示可以特别指示针对后续节点数据块的观看源图像指示和/或观看源图像位置指示。例如，可以包括片段属性指示，该片段属性指示对以下内容进行指示：后来的节点数据块涉及属于例如3号部分图像的片段，以及哪个节点数据块被平移向量偏移了例如给定数量的水平像素和垂直像素。

这样的方法可以提供高效的数据表示。

因此，在一些实施例中，所描述的系统可以使用块树状结构来打包部分视图。该方法可以非常适合用于并行处理。它还可以允许对元数据的有效表示，并且可以提供适合用于后续的基于块的图像编码(例如，HEVC)的块。

用于编码树状数据结构的特定方法可以如下：

1、通过定义以下内容的编码片段属性指示来进行初始化：视图号＝0，平移＝(0、0)

2、针对每个节点：编码：使用的叶|不使用的叶|分支(三元或2位)

a.当为使用的叶时：

i.编码视图号改变了？(1位)

ii.编码平移改变了？(1位)

iii.当视图号改变时：编码视图号(单位8或单位16)

iv.当平移改变时：编码平移(单位16对)

b.当为分支时：

i.编码细分

平移(x，y)能够被最小的节点宽度和高度所整除。

每个节点数据块可以包括节点代码，该节点代码能够被表示为4位代码：

这可能得到以下节点代码：

代码	描述
		0000<sub>2</sub>(0)	细分0.
0001<sub>2</sub>(1)	细分1
		…	…
1010<sub>2</sub>(10)	细分10.
		1011<sub>2</sub>(11)	不使用的叶
1100<sub>2</sub>(12)	叶w/o属性
		1101<sub>2</sub>(13)	具有观看属性的叶
1110<sub>2</sub>(14)	具有平移属性的叶
		1111<sub>2</sub>(15)	具有这两种属性的叶

元数据的编码可以具体是算术编码，例如，基于上下文的自适应二进制算术编码(CABAC)编码。

应当理解，该方法可以与任何合适的图像编码器一起使用，或者在图像对应于视频序列的帧的示例中与视频编码器一起使用。

然而，可以通过将片段和节点与视频编解码器的编码块树对齐来实现有利的性能。这种(多级)块对齐可以减小纹理和深度比特率。而且，可以通过根据编码块树的结构导出针对节点细分和/或起源数据的预测来减小元数据比特率(在客户端设备有权访问该信息的情况下)。

相应地，图像信号接收器300可以接收图像信号，该图像信号包括经分割的组合的部分图像以及定义如何根据原始部分图像来生成经分割的组合的部分图像的树状数据结构。然后，图像检索器303可以通过以下操作来重新生成原始部分图像：基于元数据从接收到的经分割的组合的部分图像中提取相关的片段，并且将这些相关的片段如所指示的那样定位在部分图像中。相应地，图像检索器303可以继而向第一绘制器305提供原始部分图像以供呈现。

因此，图像检索器303可以以合适的顺序遍历树状数据结构，将每个解码的块/片段复制到所指示的部分图像。根据树状数据结构可以知晓每个片段的大小和位置，并且因平移/位置元数据而知晓部分图像中的位置。

在其他实施例中，例如第二绘制器307可以直接解析树状数据结构并直接根据组合的部分图像来绘制每个使用的叶节点/使用的片段，而不需要首先生成部分视图。这通常会使记忆力更加高效。

因此，图像信号接收器300可以被布置为响应于元数据而提取针对一组观看源图像的图像数据。观看源图像中的每幅观看源图像可以对应于场景的给定视点，因此所提取的图像数据可以与视点相关联。因此，绘制器可以基于元数据来提取针对不同视点的图像数据。针对不同视点的图像数据可以是例如如上所述的那样通过考虑层次树结构来提取的。

针对这组观看源图像的所提取的图像数据因此可以是部分图像，并且可以对应于原始部分图像。在一些实施例中，可以完全重新创建部分图像。在其他实施例中，只可以提取所要求或期望的特定图像数据。

然后，第一绘制器305或第二绘制器307可以基于针对不同视点的所提取的图像数据来合成针对给定视点的图像。应当理解，已知许多算法可以用于基于来自其他视点的图像数据来合成针对给定视点的图像，并且可以使用任何合适的算法。例如，如前面所提到的，可以基于一幅(例如主)观看源图像来合成图像，并且可以使用来自其他观看源图像的图像数据来填入所生成的图像中的遮挡孔。

应当理解，为了清楚起见，以上描述参考了不同的功能电路、单元和处理器来描述本发明的实施例。然而，应当理解，可以使用不同的功能电路、单元或处理器之间的任何合适的功能分布，而不会脱离本发明。例如，被图示为由单独的处理器或控制器执行的功能可以由相同的处理器或控制器来执行。因此，对特定功能单元或电路的引用仅被视为对用于提供所描述的功能的合适模块的引用，而不是指示严格的逻辑或物理结构或组织。

本发明能够以包括硬件、软件、固件或这些项目的任意组合的任意适合形式来实施。任选地，本发明可以被至少部分地实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和部件可以以任何合适的方式在物理上，在功能上和在逻辑上实施。实际上，功能可以被实施在单个单元中，在多个单元中，或者被实施为其他功能单元的部分。正因如此，本发明可以被实施在单个单元中，或者可以在物理上和在功能上被分布在不同的单元、电路和处理器之间。

虽然已经结合一些实施例描述了本发明，但是本发明并不旨在限于本文阐述的特定形式。相反，本发明的范围仅由权利要求书来限制。另外，虽然可以结合特定实施例来描述特征，但是本领域技术人员将认识到：可以根据本发明来组合所描述的实施例的各个特征。在权利要求中，术语包括并不排除其他元件或步骤的存在。

此外，虽然被单独列出，但是可以通过例如单个电路、单元或处理器来实施多个模块、元件、电路或方法步骤。另外，虽然个体特征可以被包括在不同的权利要求中，但是这些特征也可能被有利地组合，并且特征被包括在不同的权利要求中并不意味着特征的组合不是可行的和/或有利的。而且，特征被包括在一种类型的权利要求中并不意味着特征限于这种类型，而是指示在适当情况下该特征等同地适用于其他类型的权利要求。此外，权利要求中的特征的顺序并不意味着特征必须以此工作的任何特定顺序，并且特别地，在方法权利要求中的各个步骤的顺序并不意味着步骤必须以此顺序来执行。相反，可以以任何合适的顺序执行步骤。另外，单数引用并不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的引用并不排除多个。在权利要求中提供的附图标记仅用于澄清示例，不应被解释为以任何方式对权利要求的范围的限制。

Claims (18)

1.一种用于生成图像信号的装置，所述装置包括：

图像源(407)，其用于提供第一图像，所述第一图像被划分成一组不同大小的片段，所述第一图像仅包括所述一组片段的片段子组中的图像数据，所述片段子组中的片段的所述图像数据是来自一组观看源图像中的观看源图像的片段的图像数据，所述一组观看源图像表示从视点看到的场景；

元数据生成器(409)，其用于生成指示所述第一图像的图像数据内容的元数据，所述元数据根据以下项被结构化：

树状数据结构，

其中，每个节点被链接到所述第一图像的片段；

每个节点是分支节点或叶节点，

分支节点是将父节点链接到至少一个子节点的所述父节点，所述父节点的每个子节点被链接到通过对所述父节点的所述片段的细分而生成的子片段，

叶节点没有子节点并且与所述一组片段中的片段相链接，叶节点要么是被链接到其中所述第一图像不包括图像数据的片段的不使用的叶节点，要么是被链接到其中所述第一图像包括图像数据的片段的使用的叶节点，

并且所述元数据指示每个节点是分支节点、使用的叶节点还是不使用的叶节点；以及

图像信号生成器(405)，其用于生成图像信号，所述图像信号包括所述第一图像的所述图像数据以及所述元数据。

2.如权利要求1所述的装置，其中，所述元数据还包括对多幅观看源图像中针对被链接到使用的叶节点的至少一些片段的所述图像数据的所述观看源图像的指示。

3.如权利要求1所述的装置，其中，所述元数据还包括对被链接到使用的叶节点的第一片段在所述第一图像中的位置与所述观看源图像的对应片段在所述观看源图像中的位置之间的位置差异的指示。

4.如任一前述权利要求所述的装置，其中，所述图像信号包括所述元数据中的至少一些元数据作为数据流，所述数据流包括针对所述数据树结构的至少多个节点的节点数据块的有序序列，每个节点数据块包括指示针对所述节点的一组属性的数据，所述一组属性包括对所述节点是分支节点还是叶节点的指示。

5.如权利要求4所述的装置，其中，所述有序序列包括多个片段属性指示，每个片段属性指示对可应用于后续节点数据块的至少一个片段属性的属性进行指示。

6.如权利要求4或5所述的装置，其中，所述图像数据包括对所述有序序列的指示。

7.如任一前述权利要求所述的装置，其中，对分支节点的片段的细分是根据一组可允许的细分中的一个细分来选择的，并且所述元数据包括针对分支节点的指示用于所述分支节点的所述一组可允许的细分中的细分的数据。

8.如权利要求7所述的装置，其中，所述元数据包括对所述一组可允许的细分的指示。

9.如任一前述权利要求所述的装置，其中，所述一组观看源图像包括表示从不同视点看到的所述场景的多幅观看源图像。

10.如任一前述权利要求所述的装置，其中，所述数据树结构的根节点与对应于整幅第一图像的片段相链接。

11.如任一前述权利要求所述的装置，其中，所述元数据包括对最小片段大小的指示，并且其中，所述一组片段中的所述片段的大小是所述最小片段大小的倍数。

12.如任一前述权利要求所述的装置，还包括：

分割器(401)，其用于生成针对所述一组观看源图像中的所述观看源图像中的至少一些观看源图像中的每幅观看源图像的经分割的部分图像，针对观看源图像的所述经分割的部分图像包括具有轮廓线的多个片段，所述轮廓线是从一组预定轮廓线中选择的，并且其中，所述片段被划分成其中至少一些像素包括来自所述观看源图像的图像数据的使用的片段以及其中没有像素包括来自所述观看源图像的图像数据的不使用的片段；以及

组合器(403)，其用于通过包括来自所述第一图像中的所述至少一些观看源图像的使用的片段并且不包括来自所述第一图像中的所述至少一些观看源图像的不使用的片段来生成所述一组不同大小的片段中的至少一些片段，从而生成所述第一图像。

13.如权利要求12所述的装置，其中，所述分割器(401)被布置为通过以下操作来生成针对第一观看源图像的第一经分割的部分图像：

将所述第一观看源图像的所述像素划分成其中像素数据要被包括在所述图像数据中的第一组像素以及其中像素数据不要被包括在所述图像数据中的第二组像素；并且

将所述第一观看源图像平铺成具有轮廓线的片段，所述轮廓线是从所述一组预定轮廓线中选择的，所述平铺使得不使用的片段是通过将所述预定轮廓线适配到属于所述第二组像素的像素的区域来生成的。

14.一种用于处理图像信号的装置，所述装置包括：

接收器(303)，其用于接收图像信号，所述图像信号包括：

第一图像的图像数据，所述第一图像被划分成一组不同大小的片段，所述第一图像仅包括所述一组片段的片段子组中的图像数据，所述片段子组中的片段的所述图像数据是来自一组观看源图像中的观看源图像的片段的图像数据，所述一组观看源图像表示从视点看到的场景；

元数据，其指示所述第一图像的所述图像数据，所述图像数据根据以下项被结构化：

树状数据结构，

其中，每个节点被链接到所述第一图像的片段；

每个节点是分支节点或叶节点，

分支节点是将父节点链接到至少一个子节点的所述父节点，所述父节点的每个子节点被链接到通过对所述父节点的所述片段的细分而生成的子片段，

叶节点没有子节点并且与所述一组片段中的片段相链接，叶节点要么是被链接到其中所述第一图像不包括图像数据的片段的不使用的叶节点，要么是被链接到其中所述第一图像包括图像数据的片段的使用的叶节点，

并且所述元数据指示所述节点是分支节点、使用的叶节点还是不使用的叶节点；

绘制器(303、305、307)，其用于根据所述图像信号来绘制合成的观看图像。

15.一种生成图像信号的方法，所述方法包括：

提供第一图像，所述第一图像被划分成一组不同大小的片段，所述第一图像仅包括所述一组片段的片段子组中的图像数据，所述片段子组中的片段的所述图像数据是来自一组观看源图像中的观看源图像的片段的图像数据，所述一组观看源图像表示从视点看到的场景；

生成指示所述第一图像的图像数据内容的元数据，所述元数据根据以下项被结构化：

树状数据结构，

其中，每个节点被链接到所述第一图像的片段；

每个节点是分支节点或叶节点，

分支节点是将父节点链接到至少一个子节点的所述父节点，所述父节点的每个子节点被链接到通过对所述父节点的所述片段的细分而生成的子片段，

叶节点没有子节点并且与所述一组片段中的片段相链接，叶节点要么是被链接到其中所述第一图像不包括图像数据的片段的不使用的叶节点，要么是被链接到其中所述第一图像包括图像数据的片段的使用的叶节点，

并且所述元数据指示每个节点是分支节点、使用的叶节点还是不使用的叶节点；并且

生成图像信号，所述图像信号包括所述第一图像的所述图像数据以及所述元数据。

16.一种处理图像信号的方法，所述方法包括：

接收图像信号，所述图像信号包括：

第一图像的图像数据，所述第一图像被划分成一组不同大小的片段，所述第一图像仅包括所述一组片段的片段子组中的图像数据，所述片段子组中的片段的所述图像数据是来自一组观看源图像中的观看源图像的片段的图像数据，所述一组观看源图像表示从视点看到的场景；

元数据，其指示所述第一图像的所述图像数据，所述图像数据根据以下项被结构化：

树状数据结构，

其中，每个节点被链接到所述第一图像的片段；

每个节点是分支节点或叶节点，

分支节点是将父节点链接到至少一个子节点的所述父节点，所述父节点的每个子节点被链接到通过对所述父节点的所述片段的细分而生成的子片段，

叶节点没有子节点并且与所述一组片段中的片段相链接，叶节点要么是被链接到其中所述第一图像不包括图像数据的片段的不使用的叶节点，要么是被链接到其中所述第一图像包括图像数据的片段的使用的叶节点，

并且所述元数据指示所述节点是分支节点、使用的叶节点还是不使用的叶节点；并且

根据所述图像信号来绘制合成的观看图像。

17.一种图像信号，包括：

第一图像的图像数据，所述第一图像被划分成一组不同大小的片段，所述第一图像仅包括所述一组片段的片段子组中的图像数据，所述片段子组中的片段的所述图像数据是来自一组观看源图像中的观看源图像的片段的图像数据，所述一组观看源图像表示从视点看到的场景；

元数据，其指示所述第一图像的所述图像数据，所述图像数据根据以下项被结构化：

树状数据结构，

其中，每个节点被链接到所述第一图像的片段；

每个节点是分支节点或叶节点，

分支节点是将父节点链接到至少一个子节点的所述父节点，所述父节点的每个子节点被链接到通过对所述父节点的所述片段的细分而生成的子片段，

叶节点没有子节点并且与所述一组片段中的片段相链接，叶节点要么是被链接到其中所述第一图像不包括图像数据的片段的不使用的叶节点，要么是被链接到其中所述第一图像包括图像数据的片段的使用的叶节点，

并且所述元数据指示所述节点是分支节点、使用的叶节点还是不使用的叶节点。

18.一种包括计算机程序代码单元的计算机程序产品，当所述程序在计算机上运行时，所述计算机程序代码单元适于执行如权利要求15和16中的任一项所述的所有步骤。

Images