CN109891905B - 部分视频解码方法、设备和系统 - Google Patents

Abstract

从诸如HEVC比特流的第一视频流中解码表示部分视频图像的编码视频数据。第一视频流包括分成独立可解码切片的空间阵列的视频图像。第一视频流包括网络抽象层单元，每个网络抽象层单元包含切片中的相应切片的视频内容数据，所述视频内容数据的前面是报头，所述报头包括与和第一视频流相关的切片中的相应切片相关的参数。使用先前准备的信息，诸如关于不同部分图像大小（不同图片大小）的网络抽象层单元或网络抽象层单元的多个不同版本中的参数的位置的元数据。元数据可以被用于部分重写切片的子阵列的网络抽象层单元，网络抽象层单元在基于元数据选择的位置处被重写，以使网络抽象层单元仅对于切片的子阵列与编码视频数据的第二视频流一致。可以从多个不同版本针对切片的子阵列选择网络抽象层单元的版本。随后，通过解码来自重写的网络抽象层单元的编码视频数据来生成部分视频图像。

Description

部分视频解码方法、设备和系统

技术领域

本发明涉及视频信息传输方法和系统、视频解码器、视频编码器和视频编码和解码的方法。

背景技术

WO2015197818公开了使用HEVC图块以将来自用户可选空间视口（viewport）的视频数据渲染成更大的视频图像，诸如全景视频图像，例如用于在头戴式设备上显示。HEVC标准（高效率视频编码）提供了图块和切片的使用，以促进使用解码器系统中的多核处理器来解码视频数据。图块对应于视频图像的相应空间区域，对于所述视频图像，视频数据被独立编码。因此，在不同处理器核上运行的不同解码器单元可以被分配来解码不同图块（在HEVC术语中，解码图块的单元被称为“解码器”，但是如在本文中使用的那样，术语“解码器”也覆盖用于不同图块的多个HEVC解码器，以及解码多于一个图块的解码器）。HEVC编码视频的帧可以被划分成由图块组成的空间阵列，其中每个图块包含至少一个切片。

HEVC源设备可以经由网络提供HEVC比特流数据。HEVC源设备通常只不过是文件传输服务器。在目的地的请求下，HEVC源设备提供清单文件，该清单文件使得目的地能够生成灵活的请求来传输存储的HEVC编码比特流数据的部分。HEVC源设备不执行任何HEVC相关操作，而是简单地传输请求的部分，该请求的部分形成可解码的视频比特流，该视频比特流可以被任何标准兼容解码器来解码。

WO2015197818利用了图块可以允许随机访问视频帧的空间部分的事实。该文献公开了使用具有关于HEVC图块的子集的元数据的空间清单文件（SMF），其被用于从视口选择性地检索图块，并在解码器系统接收所请求的平铺视频数据之前配置解码器系统。

HEVC视频比特流数据的存储和网络传输涉及网络抽象层（NAL）。HEVC视频比特流数据以被称为NAL单元的分组来存储和传输。在传输具有视频比特流数据的NAL单元之前，使用其他NAL单元来传输适用于视频比特流数据的参数集。参数集包括图片参数集（PPS）、序列参数集（SPS）和视频参数集（VPS）。除了其他之外，参数集还定义了图片大小、图块集的尺寸和切片段地址。具有视频数据的每个NAL单元包含报头数据和净荷数据。根据HEVC标准定义，NAL单元的净荷数据可以包含视频数据，所述视频数据的前面是报头。然而，如本文中使用的那样，切片报头也将被称为NAL单元的报头数据。因此，报头数据是元数据，而不是视频数据。更重要的是，报头数据可以包括NAL单元报头和切片报头。报头数据或报头数据中的参数的至少部分通过可变长度代码来编码，使得报头长度可以因切片和帧而变化。具有视频比特流数据的NAL单元的报头直接或间接地指示适用于它们的参数集。参数集可以被用于初始化（配置）解码器。因此，参数集是由解码器使用的元数据。参数集可以作为HEVC比特流的部分被提供给解码器（例如，在HEVC的情况下，以非VCL NAL单元的形式）。替代的，一个或多个参数集可以在替代的比特流中提供，或者作为SEI消息提供，或者经由解码器的替代的接口提供。只要参数集在它所适用的视频数据之前被提供。因此，HEVC兼容的比特流可以只包含携带视频数据的NAL单元，而不包含参数集。在NAL单元内的切片报头中引用的图片参数集（PPS）（例如，通过图片参数集ID）又可以引用序列参数集（例如，图片参数集包括序列参数集ID），该序列参数集又可以引用适用于NAL单元的视频参数集。

当仅渲染来自选择的视口的视频数据时（其包含仅来自较大HEVC数据的有限数量的图块的视频数据），导出的HEVC流可以被用于网络传输，其仅具有需要的图块。网络源将导出的HEVC比特流传输到已经针对其选择了视口的网络目的地，这比具有原始完整HEVC比特流数据的流的传输需要更少的网络带宽。以原始HEVC源流的分辨率解码与视口相关的视频数据可以导致具有对应于视口的像素区域但是也具有由于解码器从未接收到与其相关的编码视频数据而以某个值的像素人工完成的像素区域（取决于解码器）的图像。因此，由于传输和解码原始图像的仅一部分，因此可能需要对解码的视频数据进行后处理（在解码之后）。这可能涉及将视口像素数据从原始图像帧裁剪成裁剪的图像，并且然后对其调整大小为期望的屏幕分辨率。当对网络目的地的视口选择在渲染期间变化时，需要改变导出的HEVC比特流。图片大小可以保持相同，但是来自原始HEVC比特流数据的不同的图块可能必须与第一和第二视口之间的差异相关地传输。后处理需要根据裁剪进行调整，因为现在可能需要裁剪不同的区域。如果视口改变是用户输入的结果，则附加的一个或多个图块的检索、解码和不同的后处理步骤全部总计为由用户经历的总延迟。尤其是在VR和/或360视频相关设置中（例如，其中渲染在头戴式显示器上执行，并且用户输入将是例如测量到的头部移动），并且从遥远的位置检索图块，这样的总延迟是明显的并且容易不可接受的，导致降低的用户体验和潜在恶心。

当其涉及非常高分辨率的源内容时，出现另一个缺点。现有技术中呈现的技术要求源内容和解码的内容具有相同的像素分辨率。实际上，最终用户设备在它们的将视频解码达到某像素分辨率（与它们的屏幕分辨率无关）的能力方面受到限制。该限制是由于硬件视频解码器能够每秒解码一定量的像素而造成的。另一方面，对于照相机和捕获装备而言，能够以最终用户设备的更高的分辨率产生内容是常见的。因此，在现有技术中需要使得能够由视频解码器以本地分辨率解码视频数据，该视频解码器被限制于整个源内容之一的更低的分辨率。这样，最终用户可以感知更高的视频质量，这提供更高质量的体验。

发明内容

除了其他之外，促进视口中的部分视频图像的解码也是目的。

除了其他之外，在显示的视口改变时，减少解码和渲染延迟也是目的。

提供了根据权利要求1的方法。这里，诸如元数据的先前准备的信息被用于控制切片的子阵列的网络抽象层（NAL）单元中的报头数据的部分重写，以使NAL单元与仅对于切片的子阵列编码视频数据的视频流一致。换句话说，重写生成重写的网络抽象层单元，该网络抽象层单元形成第二视频流，该第二视频流优选地是第二HEVC比特流，其基于所述视频编解码器可解码成部分视频图像。

因此，可以使用标准解码器从部分重写的比特流中解码表示部分视频图像的编码视频数据。代替元数据的使用或者除了元数据的使用之外，先前准备的信息可以包括针对不同子阵列大小的多个存储版本。

在实施例中，被重写的报头中的位置包括相应网络抽象层单元的一个或多个切片的空间位置的指示，所述指示优选地是切片报头的地址。切片的空间位置确定它在图像帧中的位置，该图像帧是解码过程的输出。重写过程之前存在的指示涉及源比特流的视频图像（帧）的图像区域中的切片的位置。通过将原始指示改变为新指示，切片的子阵列可以被解码，由此每个切片（或者更准确地说，由切片的视频数据表示的子区域）被定位在部分图像中的其预期的新位置处。

在其中空间阵列与第一图片大小相关联的实施例中，在所述解码之前，解码器针对第二图像大小被初始化，其中所述第二图片大小小于所述第一图片大小。在该实施例中，将空间位置的指示重写为与子阵列的空间位置相对应的指示是至关重要的。由于解码器的图片大小被设置为小于原始（第一）视频比特流的图片大小，因此解码器将不再能够处理原始指示。在那种情况下，解码器将不再能够解码接收到的NAL单元（的编码视频数据）。在实施例中，通过在通过视口定义的位置显示对应于完整编码视频图像的一部分的视频图像的流，可以使用部分图像来提供关于完整视频数据的视口。在该实施例中，切片的子阵列包括包含视口中的所有位置的视频内容数据的切片。

在实施例中，重写可以涉及改变报头数据的一部分相对于NAL单元的起始点的位置，例如在诸如切片的空间位置的指示（例如切片地址）的参数已经用报头中的变更的比特长度被重写的位置之后。变更的比特长度是由于切片的空间位置的变更的指示，例如不同的切片地址。在报头的该部分的末尾处，可以添加或移除填充比特，以确保随后的视频数据在多比特字边界处的对齐。要改变报头数据的该部分的位置，并添加或删除填充比特，必须知道报头的长度。对于相同流中的不同NAL单元，报头的长度可以不同，这取决于诸如在HEVC编码比特流中的数据。

根据原始NAL单元确定报头的长度将涉及大量附加的计算工作。通过指示视频内容数据的开始的位置或填充比特的起始点，直接或间接地使用指示报头的长度的元数据显著减少了部分重写所需的时间和复杂性。

例如，在实施例中，可以使用区分子阵列内的这些切片的位置的相应切片的空间位置的指示的预定缩短值的集合来替换切片的子阵列的NAL单元中的切片的空间位置的指示的值，而不指示切片在完整视频图像中的位置。其中要重写相应切片的空间位置的这些指示的NAL单元的报头数据中的相应位置，可以由相应NAL单元中的每个的元数据单独指示。但是如果用于重写的报头数据中的位置对于与所选择的子阵列相关的所有各个NAL单元是相同的，则可以使用（单个）预定位置。

在实施例中，每个NAL单元的元数据包括一个或多个键值对，其中该值指示从NAL（网络抽象层）单元的所述报头数据的开始的比特偏移，并且该键指示该值适用于网络抽象单元的报头中的哪些参数或填充。然后，可以根据指示的比特偏移来执行指示的参数或填充的重写。

在实施例中，针对用于切片中的每个相应切片的每个NAL单元的元数据可以与该NAL单元一起传输，例如作为包含切片中的相应切片的NAL单元和适用于它的元数据两者的文件包装器的部分。

在实施例中，元数据可以被包括在一个或多个SEI消息内，所述SEI消息优选地是基于HEVC的SEI消息。

在实施例中，在重写所述相应NAL单元中的报头之前，由解码器装置或解码器设备正在接收包含关于网络抽象层（NAL）单元的切片的空间位置的指示的元数据的SEI消息，所述SEI消息优选地是所述第二视频比特流的部分。

在另一个实施例中，元数据文件是带外接收的。例如，响应于来自网络目的地系统的用于开始包含所指示的切片的选择的部分HEVC流的HTTP GET请求命令，二进制编码元数据文件可以在HTTP报头中从网络源系统传输到网络目的地系统。在又一个实施例中，元数据可以使用JSON数据格式来格式化，并且使用例如如上所述的在网络目的地系统和网络源系统之间的传输协议中的任何协议来传输。

在其中先前准备的信息包括针对不同子阵列大小的多个存储版本的实施例中，可以根据切片的子阵列的大小来选择要获得以供在解码中使用的版本。在实施例中，根据所选择的子阵列重写这样的所选择的版本中的参数。所述版本可以被设计成使得需要重写的一个或多个参数仅是可以基于对于所有NAL单元是相同的关于NAL中的位置的预定信息来重写的参数，使得不需要提供针对各个NAL单元的元数据。在另外的实施例中，版本可以被设计成使得在解码之前根本不需要重写参数。

在其中可以改变所选择的子阵列的实施例中，该方法可以包括定义空间阵列中的切片的空间位置的指示的值到所选择的子阵列中的切片的空间位置的指示的目标值的映射，以用于重写切片的子阵列的NAL单元中的切片的空间位置的指示。

在实施例中，后处理可以被用于重新布置解码的部分视频图像，以在与空间图像中的它们的空间序列对应的空间序列中重新定位对应于新的子阵列的切片的图像块。

当子阵列的选择被改变时，对于属于在新的子阵列和先前的子阵列之间的重叠的切片，可以保持所述映射中的切片的空间位置的指示的目标值，而对于不属于重叠的新选择的切片的子阵列，可以针对切片的空间位置的指示的目标值重新定义映射。以这种方式，重叠中的切片的解码不需要被子阵列的改变中断。

在实施例中，解码包括使用来自流的仅I帧版本的I帧来解码不属于连续帧的重叠的新的子阵列的切片。这使得在改变之后立即解码切片是可能的。一旦流的基于帧间关系的版本包含新的图片的组，就可以进行到流的基于帧间关系的版本的切换。

该方法特别适于用于从远程网络源系统传输网络抽象层单元，其中传输的切片的数量可以被减少到来自子阵列的切片。

在实施例中，网络源系统可以传输元数据以及子阵列中的切片的网络抽象层单元。在这种情况下，重写可以由网络目的地系统执行。在另一个实施例中，可以基于元数据在网络源系统中执行重写的至少部分，并且传输重写的网络抽象层单元。在另一个实施例中，针对完整视频数据的所有切片存储网络抽象层单元的报头的替代（部分）重写版本，每个切片针对子阵列的不同尺寸，例如作为网络抽象层单元的替代版本的部分。在该实施例中，可以针对子阵列中的切片传输基于所选择的子阵列的尺寸选择的报头的版本。

源系统可以被配置成接收子阵列的选择的第一指示，并且使得第一视频流中的所选择的子阵列的网络抽象层单元从存储系统中被检索并被传输。在另外的实施例中，控制器被配置成接收选择空间阵列的新的子阵列的指示。在改变到新的子阵列之后，网络抽象层单元包括分别来自在先前子阵列和新的子阵列之间的重叠的外部和具有在先前子阵列和新的子阵列之间的重叠的存储的仅I帧版本和存储的基于帧间关系的版本的数据。这样做直到在基于帧间关系的版本中开始新的图片的组的地方的帧。随后，帧间关系编码版本可以被用于所有切片。

根据一个方面，提供了一种计算机可读介质或存储系统，包括存储的网络抽象层单元，当由视频流解码器处理时，该网络抽象层单元将使得视频比特流解码器生成视频流，该视频流对分成可独立解码切片的空间阵列的完整视频图像进行编码，其中所述网络抽象层单元每个包含切片中的相应切片的视频数据，所述视频数据的前面是报头，所述报头包括与和第一视频流相关的切片中的相应切片相关的参数，所述计算机可读介质存储元数据，所述元数据指示网络抽象层单元中的相应网络抽象层单元的报头中的参数和/或填充比特的比特偏移。

在计算机可读介质或存储系统的实施例中，网络抽象层单元中的相应网络抽象层单元中的每个的元数据包括一个或多个键值对，其中该值指示从网络抽象单元的所述报头数据的开始的比特偏移，并且该键指示适用于网络抽象单元的报头中的哪些参数或填充。

在计算机可读介质或存储系统的实施例中，网络抽象层单元中的相应网络抽象层单元中的每个与网络抽象层单元中的该相应网络抽象层单元的元数据一起存储包装。

计算机可读介质或存储系统的实施例包括视频流的第一和第二版本的网络抽象层单元，第一版本包括基于帧间关系的图像数据，并且第二版本仅包括独立于帧间关系编码的数据。

计算机可读介质或存储系统的实施例包括来自针对不同子阵列大小的多个版本的网络抽象层单元的存储版本。

附图说明

根据参考以下附图对示例性实施例的描述，这些和其他目的和优点将变得显而易见

图1示出了视频传输系统

图2示出了解码器系统

图3示出了目的地系统处的过程的流程图

图4示出了源系统处的过程的流程图

图5图示了子阵列重叠

图6示出了源系统处的过程的流程图

图7示出了网络源系统的实施例。

具体实施方式

出于本发明的目的，术语视频流当包括编码视频数据时涉及比特流，所述比特流是解码器装置的预期输入。例如，旨在出于解码嵌入其中的编码视频数据的目的而解析比特流。该解释与术语“比特流”在编码的技术领域中所理解的一致。

图1示出了示例性视频传输系统，包括网络10、网络源系统12和网络目的地系统14。网络源12包括存储系统120、控制器122和网络接口124。存储系统120存储表示编码视频流的数据。举例来说，编码视频比特流可以是HEVC编码视频比特流。HEVC使用切片，所述切片是视频流的彼此独立编码的部分。在所描述的实施例中，使用切片使得每个切片与图像中的（子区域的）相应空间位置相关联。HEVC编码视频比特流包括切片报头和视频内容数据。控制器122被耦合到存储系统120，用于从存储系统120检索HEVC比特流数据，并且被耦合到网络接口124，用于经由网络接口接收命令，并且用于作为响应将HEVC比特流数据提供给网络接口124。网络接口124是耦合到网络10的网络发射器。

图2示出了示例性网络目的地系统14。网络目的地系统14包括网络接口140、流预处理器142、解码器144、后处理器146和控制器148。网络接口140具有到网络10的输入和耦合到流预处理器142的输入的输出。流预处理器142具有耦合到解码器144的输入的输出。解码器144具有耦合到后处理器146的输入的输出。后处理器146可以被配置成混洗（shuffle）（重新布置）从解码器144接收的解码图像中的像素的块的位置。后处理器146具有视频输出，其可以被耦合到诸如LCD屏幕（未示出）的视频显示设备或者耦合到另外的视频处理单元（未示出）。控制器148被耦合到网络接口140，并且控制器148具有耦合到流预处理器142、解码器144和耦合到后处理器146的控制输入的控制输出。

HEVC编码比特流可以包括编码参数集、切片报头和视频内容数据。参数集位于SPS和PPS NAL单元中。除了其他之外，参数集还定义图片大小和图片中的图块的行和列的数量（每个图块包含至少一个切片）。具有针对切片的视频数据的每个NAL单元包含报头和净荷数据。根据HEVC标准，净荷数据包含编码视频内容数据，所述编码视频内容数据的前面是切片报头，即切片的数据由切片报头和切片净荷组成。但是在本文中，切片报头也将被称为报头数据，或者更简单地称为“报头”。报头或报头中的参数的至少部分通过可变长度代码来编码，这意味着报头的总报头长度可以因切片和因帧而变化。

除了其他事物之外，根据本发明的实施例，切片报头包含在NAL单元中编码的切片的标识（这可以被称为切片（段）地址，并且是切片的空间位置的指示的示例）、指示切片是否是图片中的第一（左上）切片的标志、切片所属图片的时间序列号、用于切片内编码的参考图片集以及相对于参考图片集的量化增量。切片的标识可以由图片的编码树块光栅扫描中的切片中的第一编码树块的数量来表示。HEVC标准使用图块的概念。可以将视频流的每个图像划分成这些图块的矩阵。当每个图块恰好包含一个切片时，每个切片可以与图像中的（区域的）相应空间位置相关联，并且通过该关联，切片可以形成可独立解码的切片的空间阵列。当每个图块包含多个切片时，这同样适用。因此，NAL单元中的切片的标识形成切片的空间位置的（间接）指示。当每个图块包括一个切片或多于一个切片时，从切片的标识（切片的标识可以是切片地址，根据HEVC，切片地址将是切片的第一CTB（编码树块）的地址）中导出帧中切片的空间位置是可能的。应该强调的是，切片的空间位置的指示可以是直接指示或间接指示。直接指示的示例是作为位置的坐标的集合，诸如图像中的包含在切片中编码的视频数据的矩形的角。间接指示是可以从其导出（如果需要的话，借助于附加信息）这样的直接指示的指示。

例如，在本发明的实施例中，其中视频图像（帧）被划分成图块，由此每个图块包含一个切片，根据图块集合尺寸标注（dimensioning）和切片地址，每个切片的空间位置（例如由切片的视频数据占据的视频图像（帧）的区域）可以被容易地确定。在报头的末尾和视频内容数据之前，NAL单元包含零个、一个或多个填充比特（也称为填塞比特），填充比特的数量被选择以确保视频内容数据的开始的字边界对齐（例如，字节对齐），而与由报头的可变长度编码产生的报头比特长度无关。选择填充比特的数量，使得报头的比特长度Lh加上填充比特的数量N的总和是字长W的整数倍（例如W=8），优选地具有N<W。

除了HEVC编码比特流之外，存储系统120还存储元数据，该元数据指示切片报头中的填充比特的位置以及可选地切片报头中的一个或多个字段的位置（例如，从NAL单元的开始的比特中的偏移）和长度。所指示的字段可以包括用于表示切片的空间位置的字段、指示切片是否是第一切片的标志、切片所属的图片的时间序列号、用于切片内编码的参考图片集的指示以及相对于参考图片集的量化增量中的任何一个。元数据还可以指示编码参数集中的某些字段的位置和长度。元数据可以在流被编码时通过在相同的编码视频数据之前添加不同的报头，或者之后通过解析编码流来确定NAL单元中的不同参数的位置和/或填充比特的数量来生成。元数据可以在所请求的子阵列的位置已知之前（即，非实时）被预先编译。

在实施例中，元数据，优选地以元数据文件的形式，包括报头数据的参数的键值（或名称-值或属性-值）对。这些可以包括指示参数的一个或多个属性以及通过从视频数据的开始的比特中的偏移来指示位置的属性值。元数据文件可以是二进制编码的。在实施例中，元数据可以被存储为分离的元数据文件，每个元数据文件包含一个或多个NAL单元的元数据。在实施例中，每个NAL单元可以与包含NAL单元的元数据的文件包装器一起被存储。可以将包装器放置在二进制编码元数据文件和相应的NAL单元周围，例如使用GoogleProtobuf。

优选地，存储系统120中的存储的视频数据还包含视频数据的完整I帧编码版本和基于帧间关系的编码版本（即，使用在图片的组中组织的I帧和运动预测帧的组合）。

在操作中，网络源系统12传输部分HEVC比特流，该比特流包含所存储的HEVC比特流的参数集，以及表示所选择的切片的子阵列而不是所存储的HEVC流的所有切片的NAL单元。子阵列中的切片的数量小于由HEVC比特流编码的图像中的切片的数量。在切片的数量方面的其高度和宽度两者都可以小于在由HEVC比特流编码的图像的切片的数量方面的高度和宽度。

网络源系统12可以被配置成基本上作为仅传输由网络目的地系统请求的数据的文件服务器来操作，或者作为基于由网络目的地系统提供的参数编译要传输的数据的活跃视频流源来操作，例如，定义子阵列大小和位置。对于作为文件服务器的操作，HEVC比特流可以例如以已知的MPEG DASH（以下简称为DASH）段的形式来存储。在那种情况下，与MPEGDASH相关的附加元数据被添加到HEVC比特流（例如，封装HEVC比特流，使得它的部分可以使用MPEG DASH协议来检索）。此外，称为媒体呈现描述（MPD）的清单文件可以被存储在网络源系统12中。该清单文件包括DASH段的URL，以用于使得网络目的地系统14能够从网络源系统12请求所选择的DASH段。

在支持作为文件服务器的操作的另一实施例中，HEVC比特流可以被存储为传输流分组或MP4文件段（后者例如以分割的MP4文件的形式）。在这种情况下，以另外的格式存储它通常包含添加与这样的格式相关的元数据。包括HLS段（片段）的URL的HTTP直播流（HLS）播放列表文件可以被存储在网络源系统12中。HLS播放列表文件本身是已知的。HLS播放列表文件包含HLS段的URL。

图3和4示出了网络目的地系统14和网络源系统12的操作的流程图。将描述实施例，其中目的地系统使用网络源系统作为文件服务器，用于获得切片的子阵列的编码视频信息。这里，网络目的地系统例如通过提供控制器来获得信息，使得其被配置成将指定信息的请求传输到网络源系统，并且响应于这样的请求在预处理器处接收指定的信息。NAL单元可以例如作为例如通过基于清单文件、播放列表等指示它们的URL来指定的DASH段、传输流分组或MP4文件段来获得。

图3的流程图可以是过程的部分，其中例如基于用户控制的导航或对子阵列的位置和可能其大小的选择的另一形式的外部控制来选择切片的子阵列。例如，可以使用报头集合的取向的检测来基于来自一个或多个取向传感器的信号来选择位置。在图3的流程图的第一步骤31中，网络目的地系统从网络源系统获得期望的视频流的清单文件或播放列表。在图3的流程图的第二步骤32中，网络目的地系统（例如其控制器）从网络源系统获得参数集并修改它们以使它们与子阵列作为整个图像的使用对应。网络目的地系统14通过修改参数集以与所选择的子阵列一致地设置图片大小以及图片中的图块的行和列的数量来使流HEVC与整个图像的子阵列的使用兼容。在第三步骤33中，网络目的地系统（例如其控制器）使用修改的参数集启动网络目的地系统14的解码器144以启动解码器。

此外，在第三步骤33中，控制器可以配置流预处理器和后处理器。流预处理器被配置成与修改的参数集一致地修改从网络源系统接收的NAL单元。流预处理器可以被可配置成将所接收的切片的空间位置的指示从原始全尺寸HEVC图像映射到具有子阵列的大小的图像中的切片的空间位置的指示。在实施例中，流预处理器可以包括可配置的映射表，该映射表定义用于切片的空间位置的各个指示的该映射，例如，包含在子阵列中的每个切片的表条目中的完整图像中的切片的空间位置的指示。出于之后将描述的原因，流预处理器和后处理器可以被配置成应用可配置的图块映射。流预处理器可以被可配置成以‘空间乱序’的方式映射所接收的切片的空间位置的指示。后处理器可以被配置成以不同方式‘空间乱序’将不同图块从解码图像映射到输出图像中的位置，以便从完整图像恢复它们的原始顺序。后处理器可以包括用于此目的的可配置映射表，例如，包含输出图像中的块的表条目中的解码图像中的图像块的地址，或者解码图像中的块的表条目中的输出图像的块角位置的地址。

可以区分来自解码器144的解码图像和来自后处理器146的后处理输出图像。在实施例中，后处理器被配置成不仅通过重新映射切片的空间位置的指示而且还通过导出对应于重新映射的解码图像的裁剪子图像的输出图像来从解码图像获得输出图像。控制器可以配置要由后处理器146使用的裁剪窗口的位置。可选地，流预处理器和后处理器可以被布置成在重新映射切片的空间位置的指示之后，在必须从其提取输出图像的解码图像中的区域之间应用可配置的旋转。在这种情况下，控制器也可以配置旋转角度。

在第四步骤34中，流预处理器经由网络从网络源系统获得这些NAL单元的报头的NAL单元和元数据。在第五步骤35中，流预处理器重写NAL单元的切片报头以使它们与修改的参数集兼容。流预处理器通过来自预定的缩短地址的集合的切片的空间位置的缩短指示来替换切片的地址。这里，预定的缩短地址的集合取决于子阵列的尺寸（其可以是预定的或不是预定的），并且预定的缩短地址的集合是预定的，因为它不取决于完整视频图像中的子阵列的位置，以便产生如由控制器配置的子阵列内的切片的空间位置的指示，例如在映射表中。流预处理器重写指示切片是否是传输切片之一的第一切片的标志。

此外，流预处理器可以改变切片报头的未修改部分相对于NAL单元的开始的位置，以便考虑对应于子阵列的使用的字段长度修改（子阵列的较小大小可以暗示使用更少的比特来指示切片的空间位置）。此外，当由于移位而导致这是必需的时，流预处理器添加或移除填充比特以确保切片报头后面的NAL数据的字节对齐。

流预处理器142使用来自元数据的填充比特的位置（例如，通过元数据发信号通知）来确定在NAL单元中添加或移除填充比特的位置。流预处理器142还可以使用来自元数据的相关字段的位置的指示来选择数据被修改的位置和/或开始移位的位置。替代地，流预处理器142可以使用字段位置和/或大小的一个或多个预定指示来选择位置。这是可能的，因为这些中的至少一些对于所有切片报头是相同的。

在第六步骤36中，流预处理器将具有重写字段和添加或移除填充比特的NAL单元转发给解码器。在第七步骤37中，解码器对转发的NAL单元进行解码，并将得到的解码图像传输到后处理器。在第八步骤38中，后处理器对解码图像进行后处理。

在实施例中，该过程可以在第八步骤38之后从第四步骤34重复。然而，图3图示了实施例，其中该过程包含第九步骤39，其中网络目的地系统14能够在操作期间改变子阵列的位置。

网络源系统可以与相应的NAL单元分离地传输元数据或者与NAL单元带内传输元数据，例如作为包装器文件的部分。在实施例中，元数据可以在每个相应的NAL单元的HEVCSEI消息内传输。在另一个实施例中，元数据文件在带外传输。例如，响应于来自网络目的地系统的用于开始包含所指示的切片的选择的部分HEVC流的HTTP GET请求命令，二进制编码元数据文件可以在HTTP报头中从网络源系统被传输到网络目的地系统。在又一个实施例中，可以使用JSON数据格式来格式化元数据，并且使用例如如上所述的在网络目的地系统和网络源系统之间的传输协议中的任何传输协议来传输元数据。

图4图示了替代实施例中的网络源系统的操作，其中网络源系统是活跃的视频流源。在该实施例中，其中网络目的地系统获得信息的步骤不需要全部都包括传输到网络源系统的请求。在该实施例中，图3的流程图的第一步骤31包括传输命令以开始部分HEVC流（的传输），指示切片的选择，例如，根据切片的二维子阵列在由HEVC编码流编码的图像内的位置。优选地，该命令还指示在切片的数量方面的阵列的高度和宽度。替代地，可以使用预定的高度和宽度，例如3×3切片。此外，该命令可以包括流的标识以及可选地包括流中的开始时间位置。替代地，该命令可以应用于预定流，或者可以在分离的命令中提供流的标识。

在图4的活跃的流操作的流程图的第一步骤41中，网络源系统测试它是否已经从网络目的地系统接收到用于开始包含所指示的切片的选择的部分HEVC流的命令。如果是，则网络源系统继续到第二步骤42，其中它检索HEVC编码流的参数集，并将检索到的参数集传输到网络目的地系统。

随后，网络源系统继续到第三步骤43，其中它检索包含所指示的切片的选择的视频内容数据和这些NAL单元的报头的元数据的NAL单元。接下来，网络源系统继续到第四步骤44，其中它经由网络将这些NAL单元的报头的元数据和NAL单元传输到网络目的地系统，而不将NAL单元从完整图像HEVC流传输到所选择的阵列外部。在第五步骤45中，网络源系统测试它是否应继续传输。如果是，则网络源系统从第三步骤43重复该过程。

切片重新映射

网络目的地系统14的控制器可以被配置成检查是否存在对改变输出图像相对于HEVC流的完整图像的位置的需要以及可选地检查其旋转是否需要改变。例如，响应于用户命令或检测到用于显示图像的报头集合的移动，这可能是需要的。

在第九步骤39中，控制器确定位置和可选地旋转改变是否需要子阵列的改变，即改变是否已经将图像的任何部分移动到子阵列之外。如果是，则控制器在第四步骤34中改变控制器将获得针对其的NAL单元的切片的选择。

图5图示了还涉及由流预处理器执行的地址映射的改变的实施例。这可以被用于尽可能多地确保切片的流中的时间连续性。此外，它可以被用于在改变子阵列之后避免或最小化来自仅I帧视频流的附加带宽的使用。当控制器选择切片的新的子阵列50时，新的子阵列可以在由交叉阴影指示的多个切片处与先前的子阵列部分重叠。为了确保解码器的操作的时间连续性（即，用于通过参考较早的切片数据来使用解码切片数据的能力），重叠中的（交叉阴影的）切片的切片的空间位置的重新映射指示不改变，并且切片的新的子阵列50中是新的切片（由第一类型的单个阴影指示）被重新映射到新的子阵列50中未使用的来自先前子阵列的切片的地址（由第二类型的单个阴影指示），这可能是期望的。

因此，例如，如果先前子阵列中的切片的行具有对应于二维切片坐标（n，n）、（n+1，n）、（n+2，n）的地址，则这些可以被映射到对应于提供给解码器的重写流中的二维切片坐标（0，0）、（1，0）、（2，0）的切片的空间位置的缩短指示。当新的子阵列从先前的子阵列向右移位一个切片时，即其中切片的行具有对应于二维切片坐标（n+1，n）、（n+2，n）、（n+3，n）的完整图像中的地址，这些可以被映射到分别对应于重写流中的二维切片坐标（1，0）、（2，0）、（0，0）的切片的空间位置的缩短指示，使得对应于二维切片坐标（n+1，n）、（n+2，n）的切片的空间位置的完整流指示保持被映射到对应于二维切片坐标（1，0）、（2，0）的重写地址。

然而，该形式的地址映射具有以下效果：切片将在解码图像中空间乱序地出现。这由后处理器来校正。后处理器提供来自解码图像的切片的可配置映射，以确保切片根据完整图像以它们的顺序出现在输出图像中。因此，在前面的示例中，在对应于解码图像中的二维切片坐标（0，0）、（1，0）、（2，0）的缩短地址处的行的切片被映射到对应于后处理器的输出图像中的二维切片坐标（2，0）、（0，0）、（1，0）的缩短地址。

为了实现这一点，在第九步骤39中，控制器可以重新配置流预处理器和后处理器以重新配置期望的映射。在重新配置的映射中，新的和先前的子阵列之间的重叠中的切片保留它们对切片的空间位置的映射指示，并且重叠之外的新的子阵列中的切片被分配位于重叠之外的先前子阵列中的切片的切片的空间位置的指示。来自解码图像的图块的映射被重新配置以根据切片的空间位置的原始（完整图像）指示来恢复空间顺序。

此外，后处理器可以使映射的结果经历进一步的位置移位以获得输出图像，例如以提供子切片位置移位。可选地，也可以提供旋转。在第九步骤39中，控制器可以重新配置后处理器以根据这样的位置移位和/或旋转来执行输出图像调整。这些可以被视为重新映射的形式，其可能由输出图像相对于完整图像的位置的改变而引起，但是应该注意的是，并非位置移位和/或旋转的所有调整都导致解码图像中的所选择的子阵列的改变，并且因此导致切片重新映射。

在其中网络源系统是活跃的视频流源的实施例中，第九步骤39可以包括向网络源系统12传输用于改变指示的切片的选择的命令，以传输不同的切片的集合及它们的相应的元数据。在该实施例中，可以将第五步骤45添加到图4的流程图，其中网络源系统测试它是否已经接收到这样的命令，并且如果是，则网络源系统修改所指示的切片的选择，使得在第三步骤43和第四步骤44中，将检索并传输所指示的切片的选择的切片。为了同步的目的，网络源系统可以包括元数据中的指示以标记第一图像，修改的指示的切片的选择适用于第一图像。

仅I帧代替

在另外的实施例中，临时传输新的子阵列的切片的仅I帧版本，其位于与先前子阵列的重叠之外。众所周知，形成视频流的图像可以依赖于或独立于流中的任何其他图像来编码。独立于流中的任何其他图像而编码的图像被称为I帧，这样的图像的切片被称为I帧编码切片，并且仅用I帧编码的流的表示（版本）被称为流的仅I帧的版本。依赖于一个或多个其他图像，例如通过相对于这样的其他图像的运动矢量来编码的图像被称为帧间编码图像。包括帧间编码图像的流的表示（版本）被称为基于帧间关系的流的表示或版本。这样的基于帧间关系的流的表示或版本也可以被称为帧间编码的流的表示或版本。众所周知，这样的流的表示或版本还可以包括I帧，例如在图片的组（GOP）的开始处。GOP的帧可以独立于其他GOP来解码。

如指出的那样，存储系统120中的存储的视频数据优选地包含视频数据的完整I帧编码版本以及基于帧间关系的编码版本（即，使用在图片的组中组织的I帧和运动预测帧的组合，例如根据时间关系，诸如运动矢量）。优选地，相同的参考图像的集合（参考图片集）被用于两个版本。在实施例中，可以通过添加是包含两个版本的参考图片集的超集的参考图片集并将对参考图片集的引用修改为超集中的引用，从原始流创建存储的流。

在第一实施例中，在第四步骤34中，网络目的地系统从针对位于与先前子阵列的重叠之外的新子阵列的切片的仅I帧的版本获得帧。可以获得这些切片的仅I帧版本，直到达到其中基于帧间关系的版本包含I帧的帧，在其之后可以传输来自后者的帧。网络目的地系统的控制器可以通过跟踪传输的图片的组（GOP）中帧的位置来确定何时发生这种情况。基于此，帧号可以被用于确定下一个图片的组的第一帧，从该帧开始传输来自基于该帧间关系的版本的帧。优选地，网络目的地系统获得位于与先前子阵列的重叠内的新子阵列的切片的帧间编码版本。替代地，可以针对所有切片获得仅I帧版本，但这增加了带宽使用。

在其中网络源系统是活跃的视频流源的实施例中，网络源系统可以确定针对所选择的切片发送仅I帧版本还是基于帧间关系的版本。图6示出了该实施例中的网络源系统的操作的流程图。与图4中的那些步骤相同的步骤由相同的标签来指示。图4的第三步骤43已经由修改的检索步骤63替换。

在第五步骤65中，网络源系统的控制器测试它是否已经接收到改变所指示的切片的选择的命令。如果是，则控制器执行第六步骤66，其中控制器在第六步骤66中修改所指示的切片的选择，并设置该切片的传输状态。传输状态被用于指示是否必须传输基于帧间关系的切片的版本或仅I帧版本。最初，根据切片是否分别处于新的和先前的子阵列之间的重叠中，设置每个切片的传输状态以指示基于预测的版本或仅I帧版本。

在第六步骤66之后，或者在所指示的切片的选择尚未改变时在第五步骤65之后，过程返回到修改的检索步骤63。在修改的检索步骤63中，网络源系统的控制器检索针对当前帧的切片的基于帧间关系的版本。对于针对其传输状态被设置为仅I帧传输的切片，控制器测试针对当前帧的切片的基于帧间关系的版本是否包含I帧。对于针对其情况是这样的那些切片，控制器将传输状态设置为基于预测的版本的传输。对于针对其传输状态被设置为仅I帧传输并且针对当前帧的切片的基于帧间关系的版本不包含I帧的切片，控制器检索针对当前帧的仅I帧版本。随后，在第四步骤44中，对于针对其检索其的那些切片，传输具有仅I帧版本的NAL单元，并且传输其他切片的基于帧间关系的版本。这可以包括检索和传输适用于仅I帧版本或基于帧间关系的版本的元数据，无论哪个被传输。

在网络源系统中，根据传输了哪个版本对切片进行解码。这使得在新的和先前的子阵列之间的重叠之外的切片的解码能够从其中指示的切片的选择变得有效的第一帧进行解码，并且能够继续对重叠中的切片进行基于帧间关系的版本解码。

尽管已经示出了其中NAL单元的报头在网络目的地系统中被重写的实施例，但是可以注意到，替代地，网络源系统可以被配置成传输适配的NAL单元。

在实施例中，可以针对网络源系统12的存储系统120中的每个NAL单元存储针对完整编码比特流的所有切片的NAL单元的报头和填充比特的数量的替代版本。每个替代版本对应于切片的空间位置的指示的不同长度。也就是说，它可以包括填充比特的数量，其确保当使用相关长度的切片的空间位置的指示时视频内容数据将在字边界处开始。例如，可以基于原始HEVC比特流，通过用针对切片的空间位置的指示的不同长度进行填充重写原始视频比特流多次，来创建这样的替代版本。这样的重写可以例如通过基于元数据确定所需的填充或者通过解析比特流在所请求的子阵列的具体位置已知之前被完成。替代地，当流被编码以开始时，可以已经生成不同的版本。

可以存储用于完整视频图像中的切片的空间位置的指示的大小的至少一个版本以及用于子阵列的切片的空间位置的指示的一个标准大小的版本，但是另外可以存储用于切片的空间位置的指示的不同长度的更多版本，例如，用于八种不同的大小。报头和填充比特的替代版本可以是包含相同视频内容数据的替代NAL单元的部分。

在该实施例中，网络目的地系统可以被配置成根据子阵列尺寸来获得NAL单元的所选择的版本。在该实施例中，网络目的地系统的流预处理器在它们被传递到解码器之前代替NAL单元中的切片的空间位置的指示。优选地，存储在网络源系统中的替代版本包含区分完整图像中的切片所需的切片的空间位置的原始指示，即具有比版本所针对的切片的空间位置的指示的长度大的切片的空间位置的指示的长度以及具有对应于该版本的填充比特的数量的地址。也就是说，在从网络源系统获得的版本中，视频数据的开始还不需要与字边界对齐，但是选择填充比特使得在用切片的空间位置的缩短的切片指示代替之后其将被对齐。因此，流预处理器142可以被配置成从所获得的NAL单元的版本读取切片的空间位置的原始指示，将切片的空间位置的该原始指示映射到缩短地址，代替所获得的NAL单元的版本中的得到的缩短地址，并且相对于其起始点移动所获得的NAL单元的版本的随后的部分，以便补偿缩短地址的较短长度。选择所获得的版本中的填充比特的数量，使得这导致视频内容数据的开始的对齐。

替代地，切片的空间位置的指示的最低有效部分（least significant part）可以被存储在NAL单元的版本中，即唯一区分任何子阵列内的切片的指示，但是对于更远离的切片可以是相同的，其具有对应于与版本相关联的切片的空间位置的指示的长度的长度。在这种情况下，网络目的地系统的预处理器可以基于它们的完整地址从网络源系统请求NAL单元，并且流预处理器142可以被配置成将切片的空间位置的原始指示的最低有效部分从NAL单元映射到缩短地址。

图7示出了在存储系统120和网络接口124之间具有（比特）流生成器70的网络源系统的实施例。流生成器70可以是控制器122的部分，但是为了说明起见，流生成器70被单独示出，并且控制器122被示出为耦合到所有单元。在操作中，控制器122经由网络接口124从网络目的地系统（未示出）接收所选择的子阵列的指示。作为响应，控制器122使得从网络源系统传输具有选择的NAL单元的视频流。

在第一实施例中，流生成器70可以是类似于为网络目的地系统公开的流预处理器142的流预处理器。网络源系统中的这样的流生成器70可以被配置成在传输之前使用元数据以如针对网络目的地系统的流预处理器描述的方式重写NAL单元。在这种情况下，元数据不需要被传输到网络目的地系统，并且可以省略网络目的地系统的流预处理器。

在替代实施例中，网络源系统中的流生成器70可以被配置成执行重写的仅部分。例如，网络源系统中的流生成器70可以被配置成改变用于切片的空间位置的指示的字段之后的报头的部分的位置，以确保报头之后的视频数据的字边界对齐，而不重写切片的空间位置的指示或者仅根据完整图像截断切片的空间位置的指示，例如，通过省略区分切片的部分，所述切片如此远离以至于它们不能是相同子阵列的部分（该部分将被称为最高有效部分）。流预处理器可以被配置成重写这些指示，或者后处理器可以被配置成基于关于所选择的子阵列和关于子阵列内对应于不同截断指示的切片的信息来重新映射切片。例如，网络目的地系统的流预处理器可以被配置处代替切片的空间位置的指示，而不改变用于切片的空间位置的指示的字段之后的报头的部分的位置。在这种情况下，如果网络目的地系统的流预处理器仅重写预定位置处的数据，则可以省略元数据的频繁传输。如描述的那样，使用切片的空间位置的指示的预定值的集合来寻址切片的切片的空间位置的代替指示可以被使用，其中预定集合取决于子阵列的尺寸，但不取决于其在完整图像中的位置。

在其中存储系统120存储完整视频流的所有切片的NAL单元的报头和填充比特的数量的替代版本的实施例中，网络源系统的控制器122或流生成器70可以被配置成根据由网络目的地系统选择的子阵列尺寸在不同版本之间进行选择。流生成器70可以被配置成在从存储系统120获得所选择的切片地址长度的报头和填充比特的数量的替代版本之后，仅将所选择的切片的网络层应用单元的所选择的版本传递到网络接口124用于传输。

在该实施例中，网络目的地系统的流预处理器在切片被传递到解码器之前，代替NAL单元中的切片的空间位置的指示。在替代实施例中，这可以由流生成器来完成。但是这将增加源端的计算负担，因为流生成器将必须应用特定于目的地的地址映射。在这种情况下，报头和填充比特的数量的替代版本不需要被存储为完整的替代NAL单元的部分。流生成器70可以检索网络抽象层（NAL）单元的视频内容数据，其对于来自存储系统122的切片的空间位置的指示的所有长度都是相同的，并且将其附加到所选择的切片地址长度的检索到的报头，以供在传输中使用。

为了说明起见，已经根据HEVC标准描述了实施例。但是应该理解，本发明不限于该标准。HEVC标准仅说明了一种编码视频流，其中使用网络抽象层单元将完整视频图像编码分成可独立解码的切片的空间阵列，每个网络抽象层单元包含切片中的相应切片的视频内容数据，该视频内容数据的前面是报头，该报头包括与和第一视频流相关的切片中的相应切片相关的参数。HEVC标准仅是编码的方式的仅示例，其中可以使用切片在图像中的位置的直接或间接指示将每个可独立解码的切片与图像中的（区域的）相应空间位置相关联。切片标识的使用仅是切片的位置的这样的指示的示例。可以使用其他指示，诸如坐标、序列号等。

此外，尽管已经根据通过网络源和目的地设备在诸如因特网的网络上的网络抽象层单元的通信描述了应用，但是应当理解，代之以，可以使用源和目的地设备，其通过其他网络或者经由不是网络的通信信道进行通信，例如经由有线或无线点对点通信信道、通信总线等进行通信。

Claims (17)

1.一种解码来自第一视频流的编码视频数据的方法，所述第一视频流包括基于视频编解码器编码的视频图像，所述视频图像具有图像区域并被分成独立可解码切片的空间阵列，空间阵列与第一图片大小相关联，第一视频流包括网络抽象层单元，每个网络抽象层单元包含切片中的相应切片的视频内容数据，所述视频内容数据的前面是报头，所述报头包括与和第一视频流相关的切片中的相应切片相关的参数，所述方法由解码器装置执行，所述方法包括：

- 将针对切片的子阵列的网络抽象层单元部分地重写为重写的网络抽象层单元，网络抽象层单元在相应的网络抽象层单元中的每个中的位置处被重写，所述位置位于所述报头中，其中所述位置是基于元数据来选择的，所述位置包括一个或多个切片的空间位置的指示，重写的网络抽象层单元形成包括仅切片的子阵列的编码视频数据的第二视频流，所述编码视频数据表示包括所述图像区域的子区域的部分视频图像，其中所述重写的网络抽象层单元基于所述视频编解码器可解码成所述部分视频图像，

和/或

- 从针对不同子阵列大小的网络抽象层单元的多个不同版本选择针对切片的子阵列的网络抽象层单元的版本；

- 解码重写的网络抽象层单元，所述解码基于与所述子阵列相关联的第二图片大小来执行，其中所述第二图片大小小于所述第一图片大小。

2.根据权利要求1所述的方法，其中所述部分地重写包括：

- 针对具有变更的比特长度的切片的子阵列中的每个切片，重写位于网络抽象层单元中的报头中的参数，以及

-改变所述参数之后的所述报头中的比特的一部分相对于网络抽象层单元的起始点的位置，以及

- 在网络抽象层单元中添加或移除填充比特，使得在网络抽象层单元中的所述报头之后的数据的开始在多比特字边界处对齐，其中报头的所述部分的长度和添加或移除的填充比特的数量基于元数据来确定。

3.根据权利要求1或2所述的方法，其中所述部分地重写包括使用切片的空间位置的变更的指示的预定集合来重写针对切片的子阵列的网络抽象层单元中的切片的空间位置的指示，由此变更的指示区分子阵列中的切片的空间位置。

4.根据权利要求3所述的方法，包括

- 定义切片在空间阵列中的空间位置的指示的值到指示切片在切片的子阵列中的空间位置的目标值的映射，

- 将所述子阵列改变成新的子阵列，所述新的子阵列包括不同于所述子阵列的切片的至少一个切片；

- 对于属于新的子阵列和所述子阵列之间的重叠的切片，保持所述映射中的切片的空间位置的指示的目标值；

- 使用不属于重叠的至少一个切片的空间位置的指示的目标值来重新定义所述映射；

- 对解码的部分视频图像进行后处理，以在对应于它们在完整视频图像中的空间序列的空间序列中重新定位对应于新的子阵列的切片的图像块。

5.根据权利要求4所述的方法，其中所述解码包括仅使用包括独立于帧间关系编码的图像数据的第一网络抽象层单元来解码不属于连续帧的重叠的新的子阵列的切片，并且切换到使用第二网络抽象层单元来解码，第二网络抽象层单元包括使用帧间关系对其中第二网络抽象层单元包括独立于帧间关系编码的图像数据的帧之后的帧编码的图像数据。

6.根据权利要求1或2所述的方法，由通信地耦合到源设备的目的地设备执行，所述方法包括从源设备获得仅针对子阵列的网络抽象层单元，并且在目的地设备中接收网络抽象层单元和它们在目的地设备中用于所述解码之间执行网络抽象层单元的所述部分重写。

7.根据权利要求6所述的方法，所述方法包括

- 从源设备选择性地获得针对子阵列的网络抽象层单元；

- 使用来自第一视频流的第一和第二版本的网络抽象层单元，从源设备选择性地获得针对新的子阵列的网络抽象层单元，第一版本包括基于帧间关系的图像数据，并且第二版本仅包括独立于帧间关系编码的数据，来自第一和第二版本的网络抽象层单元分别被用于子阵列和新的子阵列之间的重叠内和重叠外的切片，直到其中第一版本的网络抽象层单元包括独立于帧间关系编码的帧的帧，以及

- 随后使用包括依赖于针对新的子阵列内的所有切片的帧间关系编码的图像数据的网络抽象层单元获得网络抽象层单元。

8.一种解码设备，包括：

- 控制器，其被配置成指示第一视频流中独立可解码切片的空间阵列的子阵列的选择，所述第一视频流包括基于视频编解码器编码的视频图像，所述视频图像具有图像区域并被分成空间阵列，所述空间阵列与第一图片大小相关联，所述第一视频流包括网络抽象层单元，每个网络抽象层单元包含相应切片的视频数据，所述视频数据的前面是报头，所述报头包括与和第一视频流相关的相应切片相关的参数；

- 流预处理器，其被配置为接收元数据和网络抽象层单元，所述元数据和网络抽象层单元包括子阵列中相应切片的编码视频数据，元数据指示网络抽象层单元中的一个或多个位置，所述位置包括一个或多个切片的空间位置的指示，流预处理器被配置成在相应的网络抽象层单元中的每个中的位置处将针对切片的子阵列的网络抽象层单元部分地重写为重写的网络抽象层单元，所述位置位于所述报头中，其中所述位置是基于元数据来选择的，所述位置包括一个或多个切片的空间位置的指示，重写的网络抽象层单元形成包括仅切片的子阵列的编码视频数据的第二视频流，所述编码视频数据表示包括所述图像区域的子区域的部分视频图像，并且其中所述重写的网络抽象层单元基于所述视频编解码器可解码成所述部分视频图像；

- 解码器，其具有耦合到流预处理器的输入，并被配置成解码所述重写的网络抽象层单元，解码器针对与所述子阵列相关联的第二图片大小被初始化，其中所述第二图片大小小于所述第一图片大小。

9.根据权利要求8所述的解码设备，其中，所述控制器被配置成将所述选择的指示传输到远程源设备，用于使得所述源设备针对子阵列中的相应切片选择性地将元数据和包括编码视频数据的网络抽象层单元传输到流预处理器，所述流预处理器被配置成从源设备接收元数据和网络抽象层单元。

10.根据权利要求8或9所述的解码设备，其中，所述流预处理器被配置成针对具有变更的比特长度的切片的每个子阵列重写网络抽象层单元的报头中的参数，改变所述参数之后的报头的比特相对于网络抽象层单元的起始点的位置，在网络抽象层单元中添加和/或移除填充比特，使得在网络抽象层单元中的报头之后的数据的开始在多比特字边界处对齐，其中报头的部分的长度和添加或移除的填充比特的数量基于元数据来确定。

11.根据权利要求8所述的解码设备，其中，所述流预处理器被配置成使用切片的空间位置的变更的指示的值的预定集合来重写针对切片的子阵列的网络抽象层单元中的切片的空间位置的指示的值，以区分子阵列内的位置。

12.根据权利要求8所述的解码设备，其中，所述流预处理器被配置成在定义空间阵列中的切片的空间位置的指示的值的映射的控制下，将切片的子阵列的应用层单元中的切片的空间位置的指示重写为所述子阵列中的切片的空间位置的目标值指示，其中，所述控制器被配置成定义所述映射，并且

- 将从切片的空间阵列选择子阵列改变为从先前子阵列的选择选择新的子阵列；

- 对于属于新的子阵列和先前子阵列之间的重叠的切片，保持所述映射中的切片的空间位置的指示的目标值；

- 使用不属于重叠的切片的子阵列的切片的空间位置的指示的目标值来重新定义所述映射，

解码设备包括具有耦合到解码器的输入的后处理器，其被配置成对解码图像进行后处理，以在对应于它们在完整视频图像中的空间序列的空间序列中重新定位对应于新的子阵列的切片的图像块。

13.一种视频流源系统，包括存储系统、传输接口和控制器，所述控制器被配置成

- 接收对第一视频流中独立可解码的切片的空间阵列的子阵列的选择的第一指示，所述第一视频流对分成空间阵列的完整视频图像进行编码，第一视频流包括网络抽象层单元，每个网络抽象层单元包含相应切片的视频数据，所述视频数据的前面是报头，所述报头包括与和第一视频流相关的相应切片相关的参数；

- 使得针对第一视频流中的所选择的子阵列的网络抽象层单元从存储系统中检索并经由传输接口被传输。

14.根据权利要求13所述的视频流源系统，其中，所述控制器被配置成

- 接收选择空间阵列的新的子阵列的第二指示；

- 使用来自第一视频流的第一和第二版本的网络抽象层单元分别用于先前子阵列和新的子阵列之间的重叠内和重叠外的切片，使得从存储系统检索并经由传输接口传输针对第一视频流中的所选择的新的子阵列的网络抽象层单元，第一版本包括基于帧间关系的图像数据，并且第二版本仅包括独立于帧间关系编码的数据，直到其中第一版本包括独立于帧间关系编码的图像数据的帧；

- 随后使得从存储系统检索并经由传输接口传输包括来自新的子阵列内的所有切片的第一版本的图像数据的网络抽象层单元。

15.一种用于解码来自第一视频流的部分视频图像的解码系统，所述第一视频流编码被分成独立可解码切片的空间阵列的完整视频图像，其中第一视频流包括网络抽象层单元，每个网络抽象层单元包含切片中的相应切片的视频内容数据，所述视频内容数据的前面是报头，所述报头包括与和第一视频流相关的切片中的相应切片相关的参数；并且其中提供了定义对应于具有不同大小图像的导出流的网络抽象层单元的版本的信息，所述解码系统包括

- 存储系统；

- 控制器，其被配置成指示对第一视频流中的独立可解码的切片的空间阵列的子阵列的选择；

- 流生成器，其被配置成从存储系统检索定义网络抽象层单元的版本的信息，并且基于检索的信息，获得具有对应于第一视频流的视频内容数据的网络抽象层单元的版本和具有对应于所选择的子阵列的图像大小的第二视频流的网络抽象层单元的报头；

- 解码器，其具有耦合到流预处理器的输入，并被配置成从所获得的网络抽象层单元的版本解码仅包含来自子阵列的视频数据的部分视频图像。

16.根据权利要求15所述的解码系统，其中定义网络抽象层单元的版本的信息包括具有用于指示多个不同图像大小的切片的空间位置的字段大小的报头的存储版本。

17.根据权利要求15或16的解码系统，包括

- 流预处理器，其耦合在流生成器和解码器之间，其被配置成从流生成器接收获得的网络抽象层单元的版本，并且通过使用来自切片的空间位置的指示的缩短值的预定集合的切片的空间位置的指示的值替换网络抽象层单元中的切片的空间位置的指示的值来修改所获得的网络抽象层单元的版本，其独立于完整视频图像内的子阵列的位置。

Images