CN111052748B

CN111052748B - 客户端设备和操作客户端设备的方法

Info

Publication number: CN111052748B
Application number: CN201880058234.8A
Authority: CN
Inventors: 罗伯特·斯库宾; 科内留斯·赫尔奇; 托马斯·斯切尔; 雅各·桑切斯德拉弗恩特; 迪米特里·波德博尔斯基
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2017-07-06
Filing date: 2018-07-06
Publication date: 2022-05-17
Anticipated expiration: 2038-07-06
Also published as: US20230412663A1; US11711413B2; US20200137136A1; EP3649789A1; KR20220034922A; CN111052748A; JP2020526136A; US11943274B2; JP7142040B2; KR20240038175A; KR20200031093A; KR102371574B1; KR102649892B1; US11172011B2; WO2019008174A1; US20220086213A1

Abstract

本发明公开了一种客户端设备。该客户端设备被配置为：检查清单文件，并且基于输出图片区域的每个区域的质量水平范围和/或指示来改变从服务器自适应地流传输视频的流传输策略。本发明还公开了一种操作客户端设备的方法。根据本发明，分割的视频流传输环境中的客户端有机会导出对某些预选适配集具有其ROI的理解和/或导出就质量而言对由这种预选适配集提供的各个组合选项之中的相对排序的良好估计。

Description

客户端设备和操作客户端设备的方法

技术领域

本申请涉及基于部分或图块的视频流传输概念。

背景技术

当今视频流传输系统中的媒体加密基于密码函数，该密码函数允许以逐块方式，使用前向密码函数和密钥对媒体数据(称为明文)进行加密，并使用逆函数和密钥对结果(称为密文)进行解密，例如以下高级加密标准(AES)[1]的方法。另外，媒体加密的基本概念是在将明文传递给前向密码函数之前对其进行更改，以确保密文块的唯一性，即，重复相同的明文块(例如通用词或语法结构)不应导致相同的密文块。在进入密码函数之前(以及同样在执行逆函数之后)，使用每个明文块和加密元数据的计算便宜的运算(即异或(XOR))来更改明文。在大多数方法中，第一块的加密元数据由初始化值或初始化向量(IV)组成。存在许多块运算模式变体[2]，它们定义了如何生成后续明文块的加密元数据。如图1a、图1b所示，在加密的媒体流传输市场中，这种概念的最流行的两个变体是基于维护计数器(CTR)作为加密元数据和密码块链接(CBC)的一部分，其中当前的密文块用作后续明文块的加密元数据。

MPEG通用加密标准[3]通过定义受AES-CTR和AES-CBC启发的各种方案，定义了MPEG生态系统中媒体数据的加密，即封装在ISO基本媒体文件格式[4][5](FF)容器中的编码媒体数据。具体地说，方案描述了编码媒体数据的哪一部分构成了要加密的明文。加密方案对16个字节的明文的块进行操作。可以理解，可以加密少于全部的编码媒体数据，并且仍然可以通过编码数据内的各种空间和时间依赖性来禁止对加密的媒体数据进行未经授权的使用(即在没有加密密钥的情况下进行未经授权的解密)。

在包含在FF容器中的编码视频数据的上下文中，与单个时间实例关联并在解码后产生视频图片的编码数据通常称为样本。FF容器中的样本可以进一步在逻辑和空间上细分为子样本，例如当视频编解码器工具用于空间细分时，例如从编解码器的角度来看，HEVC[6]中使用的切片或图块可实现一定程度的独立性。

[3]中定义了几种加密方案(基于CTR的“cenc”和“cens”、以及基于CBC的“cbc1”和“cbcs”)，并且这几种加密方案允许用信号发送编码媒体数据流的哪一部分——即与根据[6]的视频编码层(VCL)相关联的NAL单元——构成明文并因此被加密。图2示出了编码的媒体数据中与一个样本相关联的NAL单元(即，例如，由两个图块组成的视频图片，每个图块在单独的NAL单元中)的序列、以及由报头和熵编码的有效载荷组成的视频切片的结构。后者在图中被称为视频切片数据。ISO介质大小报头描述了NAL单元(NALU)的长度，并且在下文中有时被称为部分15NAL大小报头。视频切片数据(或切片有效载荷)通常构成编码数据流的最大部分。

如上所述，编码视频中的各种编码和预测依存关系允许近对所有样本的一部分进行加密(例如，每隔一个样本，甚至在所谓的模式加密方案“cens”和“cbcs”中，每隔一个明文块或另一个用信号表示的比率)，并且仍然保持对内容的良好保护，从而节省了处理能力。此外，使媒体数据的某些部分保持未加密是有益的，尤其是NAL单元报头或切片报头，这些部分不包括编码的像素值，但控制信息可能在系统层上用于处理加密媒体数据流，例如为了将编码媒体数据流重写为HEVC附件B字节流格式。因此，[3]中的子样本加密格式强制要求保留某些部分未加密，例如NAL单元和切片报头。根据加密方案，子样本末尾处的局部明文块被不同地处理。在基于CTR的方案“cenc”中，明文块可能会跨越子样本边界，而在基于CBC的方案“cbcs”中，子样本末尾处的局部明文块仍保持未被加密。在方案“cens”和“cbc1”中，适当选择了子样本开始处未加密字节的范围，使得不会出现局部明文块。

在如基于全向媒体格式(OMAF)[7]之类定义的基于图块的视频流传输应用中，客户端侧视频数据流中的视频图片可以划分为图块，该图块以用户依赖的方式以与其他图块不同的分辨率或质量来描述视频的部分或区域。这允许将相关的系统资源(网络吞吐量或视频解码器像素吞吐量)集中在用户关注中心的视频区域上，例如在360°视频流传输应用中代表用户观看方向上的内容的区域。

此类内容通常使用完善建立的基于HTTP的流传输格式来传送，例如MPEG DASH[8]，其中编码的媒体数据存在于分段FF容器中的HTTP服务器上，并通过提供可用段的可下载XML描述(即媒体表示描述(MPD))进行广告宣传，该描述进一步构造为适配集(单个媒体内容片段，例如图块)和表达(相同内容片段的变化比特率变体)。可以将360°视频的子图片或图块作为适配集提供，而适配集的其他集则通过所谓的FF提取器轨道描述了各个子图片或图块的(取决于视口的混合分辨率)组成。这些FF提取器轨道通过两个聚合概念来引用相应的子图片轨道：

·通过称为dependencyId的概念(图3，其中一个提取器轨道明确引用了适配集中的表示，该适配集包含该组成内容片段，即内容片段的特定比特率变体)。这意味着在创建提取器轨道的过程中，当在客户端播放时，提取器轨道提取的子样本的确切字节大小是已知的，或者

·通过称为预选的概念(图4，其中一个提取器轨道仅在适配集级别上引用该组成的内容，从而将精确表示的决定权交给客户)。这意味着在创建提取器轨道期间以及仅在客户端下载之后，当在客户端侧上播放时，提取器轨道提取的子样本的确切字节大小是未知的。

如图3所示，如果在本示例中，dependencyId用于以三个不同比特率用信号发送2个不同图块的所有可能组合，则在AdaptationSet 3(图中仅显示6个)中用信号发送9个表示。所有表示都需要在服务器上可用，并且需要为每个表示生成提取器轨道。图4示出了，当使用预选时，单个表示可用于AdaptationSet3中，其包含单个提取器磁道，该提取器磁道有效用于从9种可能的组合中的任何一种中生成有效的比特流。

至少一部分平台所支持的基于加密图块的DASH服务的最新技术是：

·MPD使用dependencyId，并且所有子图片/图块均已被“cbcs”加密。

·MPD使用dependencyId，并且只有任意单个子图片/图块被CTR——即“cenc”或“cens”——加密。

然而，当将此类内容以加密形式提供给各种现有平台——即，诸如基于Android或iOS的移动设备之类的设备生态系统、SmartTV和机顶盒、浏览器实现等——以便实现数字版权管理(DRM)时，会出现各种各样的问题：

·一些平台可能仅支持基于CBC的加密方法，而另一些平台可能仅支持基于CTR的加密方法。

·使用上述基于DependencyId的方法的基于图块的流传输服务需要维护相对冗长且较大的MPD，这对服务运营商没有吸引力。使用上述预选方法，可以大大降低基于图块的流传输服务中的MPD大小和复杂性(参见图3和图4进行比较)。

·基于CTR的加密方案中的明文由样本的所有子样本/图块有效载荷数据的级联构成，该样本禁止基于图块的方法，其中图片内的图块的顺序或比特率(字节大小)可能会发生变化。

从上述问题的范围可以明显看出，现有的加密方案不允许在当今基于图块的视频流传输的情况下实现DRM。

本申请涉及的另一方面涉及全向视频及其在整个场景中视频质量变化的情况下的处理。全向视频的质量可因地区而异。为了描述质量的空间差异，全向MediA格式(OMAF)为两者指定了两种信令方法：ISOBMFF和DASH。在ISOBMFF的情况下，可以通过在可视样本条目中使用SphereRegionQualityRankingBox(参见图5a)或2DRegionQualityRankingBox(参见图5b)来指示按区域质量差异。

通过为quality_ranking属性指定一值，这两个框都允许用信号告知全向视频的不同区域的相对质量差异。当区域A的quality_ranking值小于区域B的值时，区域A的质量高于区域B。

为了用信号告知DASH中不同区域的相对质量差异，OMAF定义了按区域质量描述符，该描述符使用SupplementalProperty元素，其中@schemeIdUri属性等于“urn：mpeg：omaf：rwqr：2017”并且@value作为逗号分隔的值列表，如下表所示：

该描述符应出现在适配集级别上，并且不得出现在其他级别上。例如：如果两个图块以两种不同的分辨率(高分辨率和低分辨率)进行编码，则可以使用单独的AdaptationSet来描述这些图块中的每一个，如图6所示。每个AdaptationSet可包含同一图块的不同表示，并使用不同的比特率进行编码。每个表示可还包含可选属性@qualityRanking，该属性指定当前表示相对于同一AdaptationSet中其他表示的质量排序(较低的值表示较高的质量)。AdaptationSet 3(和AdaptationSet 6)中的表示包含提取器轨道，该提取器轨道允许AdaptationSet 1中的一种表示与AdaptationSet 2的一种表示(或分别为AdaptationSet 4和AdaptationSet 5)的任意组合。

当客户端选择与依赖视口的解决方案相对应的AdaptationSet 3或AdaptationSet 6时，希望提供按区域质量的描述，以便了解内容的焦点在哪里。在给定的示例中，将有两个区域，一个区域包含值为quality_ranking＝1的高分辨率，而一个区域包含quality_ranking＝2的低分辨率(或任何其他数值，指示较高分辨率的区域具有较高的质量)。

因此，当选择那个AdaptationSet时，用户将立即了解依赖于视口的表示的焦点在哪里。然而，当在AdaptationSet级别上使用预选时，未定义相应表示的可能组合，并且可以使用来自相应AdaptationSet的任何表示(而同时在这些表示中的@qualityRanking属性可能存在)。@qualityRanking的值可能与按区域质量的描述符所指定的值相矛盾。

发明内容

因此，本发明的目的是为分割的视频流传输提供更有效的概念。

该目的是通过本申请的独立权利要求的主题来实现的。

本申请的第一方面涉及将加密/解密应用于基于图块的视频流传输的概念。根据第一变型，例如，对比特流的一个或多个子集进行加密，每个子集与视频图片区域的相应部分有关并收集不同质量的比特流，使得通过提取器从这些子集中的每个子集中的一个比特流中拾取产生的编译后的比特流对于当前图片帧具有每个加密子集中的一个比特流的一个加密图片部分。根据该第一方面，通过使用块解密密钥和/或明文掩码的顺序变化，通过逐块加密进行加密并且通过逐块解密进行解密，特别地，顺序变化对于在编译后的比特流中形成相应子图片部分的每个图片部分而进行重新初始化。相应地，由于每个子图片部分的重新初始化，对于从已加密子集中选择哪个比特流来编译已编译比特流都没有关系。与特定图片帧有关的图片部分的长度可以在与图片区域的特定部分有关的特定子集之间变化，而不会引起加密/解密方面的问题。在客户端侧，即在下载侧，基于以下替代方案之一，检测加密的子图片部分的编码有效载荷部分的边界：通过对这种加密的子图片部分的编码有效载荷部分进行解析，直到当前解密的位置，和/或通过从相应子图片部分内的报头中导出相应子图片部分的编码有效载荷部分的长度，和/或使用在从中提取出相应子图片部分所属的图片部分的比特流内用信号发送的比特流长度或指针指示。实际上，已经找到以这种方式的解决方案，以将加密/解密有效地应用于基于图块的视频流传输环境，即，在这种环境中，也给予了使用预选以形成下载的合成比特流的机会。

根据另一变体，以一种方式将加密/解密应用于基于图块的视频流传输环境，使得加密/解密关注于每个当前图片帧的比特流子集中的已识别的一个子集，这种情况与识别当前图片帧的视频图片区域的一个部分同义。该识别例如在提取器或要进行加密的子图片部分本身中用信号发送。在此，可以通过使用块解密密钥和/或明文掩码的顺序变化或通过一些其他方式来进行加密/解密，其优点在于可以有效地将加密/解密工作仅关注于场景的各个部分的一个部分上。

本申请的另一方面涉及一种有效的方式，在该方式下，分割的视频流传输环境中的客户端有机会导出对某些预选适配集具有其ROI的理解和/或导出就质量而言对由这种预选适配集提供的各个组合选项之中的相对排序的良好估计。根据该方面，在第一变体中，清单文件包括至少一个参数集，该参数集定义了预选适配集，该预选适配集向输出图片区域的每个区域分配也由清单文件中的各个参数集定义的图片部分特定的适配集中的一个。至少应用以下情况之一：所述至少一个第二参数集包括用于输出图片区域的每个区域的一个或多个参数，该参数指示覆盖被分配给相应区域的图片部分特定的适配集的表示的质量水平的质量水平范围，使得在客户端侧，这些范围有助于更好地理解跨输出图片区域的区域上空间变化的质量，从而建议ROI位于何处，即较高质量的区域位于何处，和/或更好地了解与由相应预选适配集提供的各种组合选项相关的质量。附加地或替代地，清单文件包括以下指示：由定义图片部分特定的适配集的参数集所指示的质量水平是否定义在共同的有序尺度上，以便跨第一参数集的不同参数集有序缩放。因此，客户可以检查参考的部分特定的适配集的参数集中的质量水平，以便获得关于ROI在产生输出图片区域的区域214的整理中的位置的信息。附加地或替代地，因此可获得对与由预选适配集提供的各种组合选项相关联的质量的精确理解。附加地或替代地，预选适配集的参数集包括针对输出图片区域的每个区域的自身质量提示，例如质量水平，以及指示该质量提示是否与由参考的部分特定的适配集的参数集包括的局部定义的质量水平在共同尺度上的指示。由于质量提示定义在共同参数集(即预选适配集之一)中，因此无论如何都是定义在共同尺度上的，并且使客户端设备能够定位与对应的预选适配集相关联的ROI。此外，预选适配集的参数集中的质量以及部分特定的适配集中的质量定义在共同尺度上，从而可以精确地理解预选适配集的可用选项。附加地或替代地，预选适配集的参数集针对输出图片区域的每个区域包括自己的质量提示，例如质量水平，客户端能够使用该质量提示至少在区域的整理上的质量的空间分布方面解释预选适配集，即在输出图片区域的周围内，从而能够定位与对应的预选适配集相关联的ROI。类似地，根据相应的方面，质量提示用于使逐部分变化的质量的表示相互关联，所述表示在最高质量部分位置重合。甚至进一步，可以向文件格式描述符提供类似的信息，以在接收侧实现类似的优点。

附图说明

本申请的有利实施例是从属权利要求的主题。以下参照附图描述本申请的优选实施例，其中：

图1a示出了使用密码块链接的逐块加密的示意图，这里示例性地描绘为以在子样本边界上连续的方式执行，但是随后的实施例将清楚的是，可以发生每个子样本的重新初始化；

图1b示出了使用CTR的逐块加密的示意图；

图2示出了根据[3]的编码媒体数据内的NAL单元的连续以及FF容器中的切片结构的示意图；

图3示出了清单文件/MPD中的表示的示意图(使用依赖ID，针对高分辨率的两个图块和低分辨率的一个图块)；

图4示出了使用预选针对两个图块——一个图块高分辨率和一个图块低分辨率——的清单文件/MPD中的表示示意图；

图5a和图5b示出了根据ISOMBMFF与中间大写字母一起书写的球形区域质量排序框或也与中间大写字母一起书写的2D区域质量排序框的示例；

图6示出了图示在清单文件中定义的两个预选适配集的示意图；

图7示出了根据本申请的实施例的将加密/解密与基于图块的视频流传输组合的概念的示意图；

图8是示出根据实施例的基于使用提取器的下载的比特流的合成比特流的组成的示意图；

图9示出了合成比特流的子图片部分的单位的加密的编码有效载荷部分的具体化，然后对其进行加密/解密，其中图9示出了与逐块加密/解密相关联的块分割中的编码的有效载荷部分的边界；

图10示出了根据实施例的下载设备的示意性框图；

图11示出了根据本申请的实施例使用的交替解密/通过边界检测的过程的示意性流程图；

图12示出了使用预选图示、两个图块和一个提取器轨道的清单文件(MPD)中的表示的示意图；

图13示出了具有基于每个子样本的初始化向量IV和计数器的基于CTR的加密的示意图；

图14a和图14b示出了根据本申请的实施例的定义质量水平范围的RWQR描述符的示例；

图15a和图15b示出了根据实施例的RWQR描述符的示例，该示例使用以下指示：针对区域特定适配集中的表示所指示的质量水平是在共同有序尺度上被定义并且因此彼此可比较，或不是在共同有序尺度上被定义并因此彼此不可比较；

图16示出了图示实施例的示意图，根据该实施例用信号发送预选适配集如何相对于彼此偏移以针对特定于区域的适配集的质量水平指示的质量水平；

图17示出了用于截断的方形金字塔的RWQR偏移的使用的示意图；

图18示出了客户端设备以及包括与客户端处的改进的质量评估有关的本申请的实施例中所涉及的表示和清单文件的数据的示意图；

图19示出了使用质量水平范围指示以改善质量评估的示意图；以及

图20示出了使用全局性指示在客户端侧进行更容易的质量评估的示意图。

具体实施方式

与本申请的第一方面有关的实施例的以下描述初步回顾了以上在说明书的介绍部分中阐述的与基于分段或基于图块的视频流传输有关的加密的处理的描述。为此，提出了在MPEG环境中对已知技术的可能修改。因此，这些修改表示本申请的第一方面的实施例，并且在下文中将它们进行抽象，因为这些修改不限于在MPEG环境中使用，而可以在其他地方有利地使用。

特别地，下面进一步描述的实施例使得能够以有效的方式跨更广泛的可用平台集在基于图块的视频流传输系统中实现内容媒体加密，并且在这方面克服了说明书的介绍部分中存在的加密方案的缺点。特别是，这包括基于图块的流传输服务，具有：

-所有子图片的基于CTR的加密

-具有DASH预选的加密媒体(CTR或CBC)

根据随后描述的修改实施例使用的允许通过预选对所有子样本进行“cbcs”加密的第一工具在下文中称为强制性子样本识别概念或算法。当在MPD中使用预选时，此算法允许使用基于CBC的加密方案。通用加密[3]提供了两种方法来标识子样本边界、从而标识出已加密的数据和未加密的数据的字节范围，如下所述以供参考：解密器可以通过解析NAL单元以通过其类型报头定位视频NAL来进行解密，然后解析其切片报头以定位加密模式的开始，并解析其第15部分NAL大小报头以确定NAL的结尾并匹配子样本保护的数据范围。因此，可以使用(a)该算法(即通过解析而忽略样本辅助信息)、或(b)样本辅助信息而忽略该算法，来解密轨道。

样本辅助信息(SAI)由[4]中定义的两个框“saiz”和“saio”组成，它们共同指示加密和未加密数据的字节的位置和范围。然而，在具有预选的基于图块的流传输方案中，不可能知道得到的客户端侧比特流中每个子图片/图块的比特率(以及字节大小)。因此，提取器轨道不可能事先包含正确的SAI。

因此，根据本文所述的实施例，在诸如OMAF的应用格式规范中用信号发送或强制要求：如果存在，则不考虑与提取器轨道内的清除/受保护的字节范围有关的不正确的SAI参数，而是以上算法将用于导出加密和未加密数据字节的位置和范围。

根据第一实施例，该概念与如下所述的对视频内容部分/图块逐个进行加密一起使用。

特别地，图7示出了用于通过基于图块的视频流传输来下载ROI特定的视频流的数据10的集合。下面进一步描述实际流传输的实施例以及其中涉及的实体的实施例。数据10包括比特流12，每个比特流中编码有视频图片区域16的部分14中的一个部分，所述部分可以是下文所述的图块，从而视频图片区域16的每个部分14以不同的质量被编码到比特流12的子集18中。因此，子集18形成部分特定的子集18。就自适应流传输和清单24中的描述而言，这些子集18可以被视为如图3和图4所示的单独的适配集，其中示例性地，针对每个图块(因此形成部分14)存在一个适配集(因此，形成子集18)，每个图块形成图块特定的表示集(从而形成比特流12)。特别地，示例性地，针对图块1示例性地存在一个适配集AdaptationSet 1，并且针对图块2存在另一适配集AdaptationSet 2。因此，比特流12可以被视为MPD 24中的表示，或者替代地，可以将其分配到不同的表示上。

数据10还包括至少一个提取器20——即与视频图片区域的ROI22相关联的提取器数据或提取器文件或提取器轨道、以及清单文件24。后者针对预定的ROI 22，如箭头26所示，标识了比特流12集，该集由每个子集18一个比特流12合成，不同部分14编码到比特流12中，其中视频图片区域16以关注ROI 22的方式被分割为不同部分14。例如，通过如下方式完成该关注：将集构成为使得对于ROI内的子集18，与属于ROI 22外部的部分14的子集18(其中从对应的子集18之中选择的且由ROI特定的集包括的一个比特流具有较低的质量)相比，对构成的集有贡献的该子集18之中的一个比特流具有较高的质量。通过参考26由此形成并由清单24指示的该集是ROI特定的比特流集。一个示例在图8中示出，并且将在下面进一步讨论。

注意，比特流12可以例如由N个视频数据流的M个独立编码的图块形成，每个视频数据流中以M个图块14为单位、但是以不同的质量水平编码有视频图片区域16。因此，将得到N×M个比特流，图7示出了M＝16，其中N是例如每个子集18的比特流12的数量。ROI特定的集将包含M个比特流：每个子集18中一个比特流。然而，这只是一个示例，并且其他示例也是可行的。例如，N个可以在M个部分14之间变化。ROI特定的集可以仅由属于至少覆盖ROI 22的部分14的子集18的子集合成。

如稍后所教导的，比特流12可以被存储在存储器上以供客户端分段地和选择性地下载，尽管比特流12可以被视为MPD 24中的各个表示，MPD24也被存储以供客户端下载并且向客户端指示用于下载比特流12的地址。然而，对应于比特流12的表示可以被指示为不专用于单独播放，即，不作为不由适配集形成的ROI特定的集的一部分的播放。提取器20还被存储以供客户端下载，或者通过清单24中指示的地址来分离地存储，或者与诸如媒体文件的轨道之类的任何比特流一起存储。在本文的进一步描述中，提取器20还被表示为FF提取器文件。一个子集18中的表示所涉及的质量水平可以例如根据SNR和/或空间分辨率和/或色度而变化。

提取器文件20是用于从ROI特定的集中构造出编译后的比特流的准构造器。客户端可以将其与ROI特定的比特流12集一起下载。通过指针和/或构造指令指示了通过以下方式从ROI特定的比特流集中编译编译后的比特流：针对比特流的每个子集18，从由ROI特定的集包括的比特流的相应子集18的一个比特流中识别26与当前图片帧相关的图片部分，并用信号告知从识别出的图片部分中编译编译后的比特流，使得编译后的比特流包括比特流的形成编译后的比特流的比特流子集18的所选比特流的图片部分的子图片部分。例如，在图7中，示出了三个连续的图片帧。图8示出了一个这样的图片帧30、ROI特定的比特流12集32和与图片帧30相关的集32的每个比特流中的图片部分34。如针对与部分13有关的集32的比特流12示例性地示出的，图片部分34可以在空间上被分割为一个或一个以上单元，例如NAL单元36，每个单元对各个图片部分所涉及的部分14的对应分区38进行编码。当根据提取器20构成在一起时，产生构成的比特流40，该比特流40具有访问单元42、或者——如本文中其他地方所使用的文件格式域中所述——每个图片帧(例如图片帧30)的样本。每个访问单元42中以在ROI 22内以质量提高的空间变化的质量编码有图片区域16，并且细分为每部分14一个子图片部分44，每个子图片部分44由对应的图片部分32形成，即涉及同一部分14的图片部分32。

注意，在图4所指的预选情况下，提取器20与ROI相关联，但是该提取器20用于组成全部具有提高的质量的不同的ROI特定的集32，即在子集18中选择在ROI 22内质量提高的比特流。即，存在一种自由度，供客户端选择想要的ROI的集32。在清单24中针对ROI 22定义适配集的情况下，定义了不同ROI特定的集32之一和一个特定ROI 22的每个对，如参考图3，提取器20与该ROI和相应的ROI特定的集32相关联，具体而言，例如，可存在另一提取器20，该另一提取器20对应于另一ROI 22和另一ROI特定的集32的另一对，并且另一ROI特定的集32与前一组32不同，例如，在子集18中与ROI内的部分14有关的所选的比特流12和/或在子集18中与ROI外的部分14有关的所选的比特流12方面不同。此外，如下所述，在数据10中可以设想一个以上的ROI 22，从而对于这些ROI中的每一个，在数据中可以存在一个或一个以上提取器20，其中清单包括相应的信息。

通过使用块加密密钥和/或明文掩码的顺序变化，通过重新初始化每个图片部分34的顺序变化来加密比特流的每个子集18的每个比特流12的图片部分34的编码有效载荷部分。即，不是对比特流集合的图片部分34的编码有效载荷部分进行加密，其部分14一起覆盖图片区域16并且全部属于共同图片帧30，在没有例如对于集32进行重新初始化其间的顺序变化的情况下，单独地对每个图片部分34进行加密。

应当注意，例如，对编码有效载荷部分的加密可以限于属于比特流的一个或多个子集18的“加密的集”中的任何一个的比特流12的图片部分34，诸如，属于与图片16的中间中的部分14相关的子集18、或与分布在区域16上如棋盘图案的每个第二部分14相关的子集18。

例如，图9示出了可以有助于合成比特流40的图片部分34。它示例性地由一个以上的单元36的序列合成。每个单元(例如NAL单元)包括报头46和有效载荷部分48。后者可以包括其中编码有区域16的部分14的所有预测参数和与预测残差相关的语法元素，部分14对应于图片部分34，并且前者可以包含对整个分区38有效的编码设置，其有效载荷部分36对例如运动信息和残差数据进行编码。图片部分34的有效载荷部分48的级联50被加密，其又形成子部分44。以确定性的方式，在级联50的逐块加密中发生块解密密钥和/或明文掩码的顺序变化。即，级联数据50被分成块52，其被称为明文块，在图1a和1b中，从一个块到下一个块，密码输入(非线性双射)的增量变化，以便在发生CTR情况下针对连续的明文块获得不同的块加密密钥。也就是说，由某个通用密钥控制的非线性函数或密码函数——在图1b中被称为CIPH的函数和被称为密钥的通用密钥——被馈送有称为计数器的增量或计数器值，其从一个明文块到下一个明文块变化，从而获得用于连续块的不同的加密/解密密钥，这些块与相应的加密/解密密钥进行异或以分别获得加密的密码块。中间加密密钥(在图4中连续明文块“plaintext#”以“output block#”输出)与用于解密的解密密钥相同。在CBR中，在前密码块(即在前块52的加密版本)用作明文掩码，以用于在当前明文块经受非线性双射函数加密之前屏蔽当前明文块。可能部分48已经由编码器以某种方式生成，该部分48具有与加密的块长度的整数倍相对应的长度，使得有效载荷部分48之间的边界与块边界重合。当使用解密和解析算法之间的上述交替进行边界检测时，这是特别有利的。特别地，例如客户端的接收实体需要检测连续的有效载荷部分之间的边界54以及在级联50的末端处的边界56，即，例如最后一个有效载荷部分的末端边界。

因此，RIO特定的比特流集32(尚未解密的形式)和提取器20一起表示加密的视频流。ROI特定的比特流12集32中编码有视频图片区域16的部分14，并且提取器20指示对该集32中的编译后的比特流的编译。通过利用加密密钥和/或明文掩码的顺序变化，使用逐块加密，并通过针对每个图片部分重新初始化该顺序变化，加密集32中的每个比特流12的图片部分34的编码有效载荷部分48，或者仅加密其中的比特流的加密集的图片部分34的编码有效载荷部分48。

图10示出了用于通过基于图块的视频流传输来下载ROI特定的视频流的设备80的实施例。该装置因此可以被称为客户端或客户端设备。如图所示，它们可以由DASH客户端82、文件处理程序84和解密器86以及可选的解码器88的级联构成。请注意，DASH只是自适应流传输环境的示例。也可以使用另一个。文件处理程序84和解密器86可以并行地操作，或者换句话说，不需要严格地顺序地操作，并且当考虑文件处理程序84、解密器86和解码器88h时同样适用。该装置能够处理(即下载和解密)如关于图7所描述地准备的视频场景，如所描述的那样最终得到具有所有子样本44(即，所有部分14)的下载的合成流40，与当前设想的ROI或视口无关地加密。上面没有提到，显然，图7的数据具有更多的提取器20，并且具有清单文件24，该清单文件24指示用于多于一个的ROI的比特流12集32，即分布在区域16上的ROI集，以便例如能够跟随用户在场景中的观看方向。例如，装置80可以经由诸如因特网之类的网络90访问数据10。

DASH客户端82下载并检查清单文件24，以便例如由于用户查看诸如图7中的22之类的对应视口而当前感兴趣的ROI，从而识别并下载ROI特定的比特流12集32以及提取器文件20，两者都与该ROI22相关联。

使用提取器文件20，通过解析相应比特流，从这些比特流中的每一个中提取与当前图片帧30相关的图片部分34，并从提取的图片部分34中形成编译后的比特流40，文件处理程序84对ROI特定的比特流12集32中的编译后的比特流40进行编译，使得编译后的比特流40由对应的子图片部分44构成，每个部分14有一个。请注意，在接收到ROI特定的集32的比特流时，图片部分的有效负载部分仍被加密。然而，图片部分已打包，以便文件处理程序能够处理它们。

解密器86通过使用块解密密钥和/或明文掩码的顺序变化，通过使用逐块解密，来解密每个子图片部分44的加密的编码有效载荷部分48。为此，解密器86针对要解密的每个子图片部分44，对顺序变化进行重新初始化，即在级联50的开始92或第一单元36的有效载荷部分48的开始边界处。通过对各个子图片部分44的编码有效载荷部分解析直到当前解密位置，或者换句话说，通过交替地解密和解析级联50的有效负载部分，来找到要解密的每个子图片部分44的编码有效载荷部分的边界54、56。

例如，参见图11，图11示出了在已经对于第一块有效载荷数据50针对顺序变化初始化明文掩码和/或块解密密钥之后，使用如上所述的CTR或CBR，解密器解密100当前块以获取其明文版本，随后解析102其明文版本，即，对当前单元36的当前有效负载部分48进行解析，直至当前解密后的块的结束。在104处检查当前块52的末端是否代表当前有效载荷部分48的末端，如果不，则过程步骤106进行到当前部分48中的下一块52。然而，如果是，则在108处检查是否已经到达级联50的最后部分48的末端，如果是，则已经找到了当前部分的48边界或末端，并且对于当前子图片部分44来说过程结束了，如果不是，则在110处继续下一个部分48或下一个单元36的第一块。默认情况下，每个图片部分34或子图片部分44仅由一个单元36合成，在这种情况下，可以省略步骤108和110。实际上，该过程通过这种方式找到有效负载部分48的开始和结束。

注意，有效载荷数据部分48在图2中表示为视频切片数据。子图片部分44在上面被表示为子样本。注意，清单24定义ROI 2与ROI特定的集32和提取器之间的关系的方式可以根据图4所示的预选概念，或者根据图3的概念。还要注意，尽管以上描述假定下载涉及整个可用的视频图片区域16，但是下载流40可以仅覆盖其包括ROI的部分。就是说，通过交替解密并继续解析来发现边界，以便确定是否要解密相应子图片部分的编码有效载荷部分48的另一块52。

实际上，文件处理程序84和解密器86联或组合形成用于从下载的ROI特定的比特流12集32和对应的提取器20中恢复视频流的视频流的装置。视频流可以被馈送到解码器88中，该解码器88可以可选地是该装置的一部分或不是。文件处理程序使用提取器文件20和解密器86来执行编译，并使用图11的交替的解析/解密概念对编码有效载荷部分48进行解密。

解密器86继而表示一种用于从编译的比特流40中恢复由解码器88解码的视频流的装置，该装置被配置为以图11的交替的解析/解密概念来解密每个子图片部分44的编码有效载荷部分。

注意，如上所述，为了找到有效载荷部分边界而根据图11解析编码有效载荷部分48可以伴随着对提取器20中可能包括的显式边界位置信息的忽略，然而显式边界位置信可能是错误的，并且仅出于文件格式标准一致性的目的而存在于其中。

以上实施例实现了对所有下载的子样本44的加密。然而，根据接下来描述的实施例，例如，加密可以关注于一个子样本44上。再次，在呈现扩大的实施例之前，首先回顾对介绍性规范的上述描述。特别地，此处，加密的子样本的索引用于解决交替(或允许交替)单个(一个|最重要的|高分辨率的)子样本加密，其中这能够与CTR或cbc1加密以及预选使用结合。

基于图11所示的子样本识别算法，实现了在清单24中具有预选的加密方案，其中在子图片的基础上以交替的方式将加密应用于图片平面16内的变化的图块14，从而以可能涉及以下内容的策略选择图块和图片：

·它们对编码结构和依赖关系的相对“重要性”。例如，时间水平较低的关键帧对于解码结果例如在错误传播方面更为重要。

·所描述内容的相对“重要性”。例如，在360°视频应用中切出的更高分辨率的图块描述了当前或预期的视口或方向(director)。

为了实现该子样本加密，用信号发送已加密子样本的索引，以便解密器可以识别已加密的子样本44。例如，解密器可以仅对样本42中的子样本44进行计数，直到解密器到达加密的子样本的信号索引为止，并且可以通过从第15部分报头中收集NALU长度并通过关于图11所教导的识别要解密的字节数，可以解密该子样本44的部分48。一个实施例将是针对OMAF规范来定义FF框，以指示加密的子样本44的索引或者改进在通用加密[3]中定义的“senc”框，其用于从SAI中导出加密和未加密的字节。当前的“senc”框定义如下：

一个实施例是“senc”框的新版本，其省略了不正确的字节范围的信令，而是指示加密的子样本的索引，该新版本如下。

在这里，EncryptedSubsampleIndex指向当前样本42中的加密子样本44。

刚刚描述的修改导致可参考图7至图11说明的实施例。这样的抽象实施例的以下描述关注于相对于到目前为止相对于这些附图所描述的实施例的修改。特别地，在一个样本42内不是加密下载的流40的所有子样本44，而是仅加密一个子样本44。哪一个可以是在运行中或在针对所请求的ROI 22特定地进行加密之前决定的，或者还是事先决定的，例如，使得属于一个子集18内的任何比特流12的与例如“有趣的”场景内容对应的对应图片帧30的图片部分34被加密，从而得到下载的流40中的对应加密子样本44。

话虽如此，根据后一种替代方案，图7示出了用于通过基于图块的视频流传输来下载ROI特定的视频流的数据集合10，该数据集合10包括比特流12、与视频图片区域的ROI 22相关联的至少一个提取器20以及清单文件24，每个比特流12中编码到有视频图片区域16的部分141中的一个部分，使得视频图片区域的每个部分14以不同质量被编码到比特流12的子集18中，就例如ROI 22内与其外部相比质量更高而言，清单文件24针对预定的ROI 22以关注ROI的方式识别其中编码有视频图片区域16的部分14的ROI特定的比特流12集32。提取器20以上述方式指示对ROI特定的集32中的编译后的比特流40的编译。然而，从编译后的比特流40的子图片部分44中识别出预定的子图片部分40。这可以通过在比特流的子集18中或者同义地在预定部分14中识别比特流的预定子集来完成，使得比特流12的预定子集18的所选比特流12的图片部分34——即包括在ROI特定的集32中一个比特流——变成预定子图片部分44，该预定子图片部分44将被加密并因而被解密。如上所述，信令可以包含在提取器20中。然而，替代地，该信令可以由子图片部分40包括。比特流12的预定子集18的比特流18的图片部分34的编码有效载荷部分——即对应于预定部分14的子集——对于子集18中的所有比特流12被加密，使得下载的流40包括预定部分的加密的子图片部分或子样本44，而与根据ROI特定的集32对于该部分14选择的质量无关。

根据后一实施例下载的数据表示视频流，包括ROI特定的比特流12集32和提取器20，其中，ROI特定的比特流12集32中编码有视频图片区域的部分14，并且提取器20以上述方式指示对ROI特定的比特流12集32中的编译后的比特流40的编译。通过包含在提取器20或子图片部分44中的至少一个中的信令，从已编译的比特流40的子图片部分44中识别出已编译的比特流中的预定子图片部分44。预定子图片部分的编码有效载荷部分被加密。

与以上对图7的重新解释相一致，图10可以根据相应的替代实施例，示出用于通过基于图块的视频流传输来下载ROI特定的视频流的装置(即，客户端)，这不同于关于对仅识别的子图片部分的加密的上述描述。也就是说，DASH客户端检查清单文件24，以便取决于期望的ROI 22，与提取器20(即，在上一段中概述的视频流)一起，识别并下载ROI特定的比特流12集32。使用提取器20，通过从这些比特流中的每一个中提取与当前图片帧30相关的图片部分34，通过解析相应比特流并从所提取的图片部分34中形成编译后的比特流40，文件处理程序84对ROI特定的比特流12集32中的编译后的比特流40进行编译，使得编译后的比特流40包括每个ROI特定的比特流12集32中的形成编译后的比特流的比特流的图片部分34的子图片部分4。解密器86基于信令来针对当前图片帧30识别编译后的比特流40的子图片部分44中的预定子图片部分44，该信令如上所述可以在提取器20的至少一个或子图片部分中，其中这种信令被称为上面的EncryptedSubsampleIndex。然后，解密器86通过图11中讨论的交替解析-解密处理，通过找到预定子图片部分44的编码有效载荷部分48的边界来解密预定子图片部分44的编码有效载荷部分48。同样地，文件处理程序84和解密器86一起形成用于通过以下方式从ROI特定的比特流集32和提取器20中恢复视频流的装置：使用提取器20执行编译，并基于提取器文件或子图片部分中的至少一个中的信令来识别预定/加密的子图片部分44。然后，它通过执行根据图11的边界检测来对加密的子图片部分的编码有效载荷部分48进行解密。

解密器86进而表示用于从比特流40恢复视频流的装置，其中该装置被配置为基于来自外部(即来自文件处理程序84)的输入信令来识别加密的子图片部分44，文件处理程序84像从提取器20中的信令中获取一样或从子图片部分44中的信令本身获取一样转发该信息。然后，通过形成图11的边界检测，对加密的子图片部分44的编码有效载荷部分48进行解密。

信令可以以其在样本42中的排序的形式来索引或寻址编译后的比特流40的当前样本42的子样本中的加密的子样本44，使得解密器84可以对当前样本42中的子样本44进行计数以检测该样本42中的第n子样本44，其中n是信令指示的排序。

可以以这样的方式进行对若干图片帧的加密子图片部分的识别，使得若干图片帧包含图片帧30，对于该图片帧30，加密的子图片部分44对应于不同部分14，和/或若干图片帧包含第一图片帧，对于第一图片帧，恰好有一个加密的子图片部分44和散布在第一图片帧之间的第二图片帧，对于第二图片帧，没有子图片部分被识别为加密的子图片部分。也就是说，对于某些帧，任何部分14都不会发生加密。

再次，注意，以上已经相对于图7至11最初描述的所有细节也将适用于下文中关于一子样本加密修改所描述的实施例，除了对应地关于将所有或更多子样本加密的所有细节。

在没有相对于图11明确提及的情况下，注意，在遇到104，段′48的末尾边界或结束之后，恢复106解密时，解密器86可以解析后续单元36的切片报头46以检测该后续单元36的有效载荷部分48的开始。

接下来，描述了上述实施例的变型，其不需要交替的解密/解析过程来检测加密范围48。扩展的SAI变体允许“cbcs”带有接下来所述的预选的所有子样本加密，扩展的SAI变体将允许这种“cbcs”带有预选的所有子样本加密，但无需解析切片报头。根据接下来的变体，允许在提取器轨道内的清除和受保护的数据范围的直接导出或明确的信令。

首先，描述了使用NAL长度(即提取的字节)导出加密字节范围的“senc”框扩展。如前所述，在使用预选时，合成比特流32中各个子样本的大小可能会取决于提取的数据而变化。视频比特流结构可以用于导出加密的字节范围，尤其是第15部分NALU长度报头。一个实施例将是框的第二个版本，如下：

在该实施例中，假设进行简化，即子样本必须等于NAL单元。子样本的大小由NALU长度确定。这在样本的第一位置(例如，前4个字节)(这适用于样本的第一子样本)和位置Pos_i＝Sum{i＝1..N}(NALULengthi)(对于这个样本中的其余子样本)处找到。如果WholeDataClear不为1，则将BytesOfProtectedData的长度导出为subsample-BytesOfClearData的长度。如果WholeDataClear等于1，则推断BytesOfProtectedData等于0，并且推断BytesOfClearData(尽管在这种情况下强制要求在框/语法中用信号表示为0)为等于从第15部分NALU长度报头导出的子样本长度。

也就是说，根据以上针对图10所述的装置的所有实施例，可以以以下方式使根据图11的使用交替解密和解析的边界检测变得多余：生成数据10的比特流12，使得加密的比特流12的所有图片部分34仅由一个单元36(NAL单元)组成。即，对于被加密的子集18的部分14，当前帧30的每个图片部分仅存在一个NAL单元。由于合成比特流的每个子样本44是由诸如图片部分形成的，也就是说，如果其是属于ROI特定的集32的比特流21的一部分，则每个加密的子样本44的长度也是一个NAL单元。请注意上述替代方法：每帧30的加密子样本可以是全部或仅一个子样本。然后，通过根据从这些子图片部分44内的报头(即NAL单元头46)简单地推导加密的子图片部分44的编码有效载荷部分48的长度，可以替代交替的解密/解析边界检测。关于长度指示对加密的子样本44的报头进行解析的过程易于执行，并且由于子样本与NAL单元之间的一对一对应关系，因此可以即时进行该过程，该信息可以基于相应的仅一个NAL单元中的长度指示而得出，该长度指示几乎位于加密的子样本的开始处。

避免交替的解密/解析边界检测的另一种方法可以称为CENC：“FF-‘senc’继承框”用于将子样本大小从任何子图片轨道或比特流12分别继承到提取器轨道或合成比特流40中。

该选项的目的是定义继承框，该继承框根据相关轨道(集32的比特流12)导出子样本值。在“moov”框中的“tref”框中(即提取器20)用信号发送相关轨道。该信息用于从相关轨道中获取样本，从而成为合成比特流40的子样本44。以类似的方式，BytesOfProtectedData可以由具有一些提示(例如，偏移量如何找到)的相关轨道的框(例如，‘senc’框)继承，并且在继承框中用信号发送BytesOfClearData，因为这始终是相同的大小，并且与使用预选时使用的表示无关。因此，允许的是，从携带子样本的相关轨道中用信号发送的信息中继承“senc”相关信息。在提取器20中用信号发送用于收集该信息的提示。如图12所示，图12示出了每个图块具有一个适配集的MPD结构，每个适配集包括具有不同比特率版本的3个表示，以及一个适配集具有提取器轨道(最右侧)。所谓的“继承的‘senc’”框是从客户端侧选择的每个切片表示内的“senc”框中继承受保护数据的字节范围。

也就是说，根据以上针对图10所述的装置的所有实施例，可以以以下方式使根据图11的使用交替解密和解析的边界检测变得多余：生成数据10的比特流12，使得加密的比特流12的所有图片部分34都带有诸如文件格式(FF)框中的信息，该文件格式(FF)框指示各个图片部分的单位的有效载荷部分。这样做的方式使得可以从提取器20参考该信息，而与属于ROI特定的集32的子集18的比特流12无关，应该从合成比特流的子样本44中参考该信息。例如，其在子流的属于同一子集18且属于同一帧30的图片部分之间进行整理。然后，通过从集32中的比特流12继承此信息，就可以通过简单推导加密子图片部分44中的编码有效载荷部分48位置来代替交替的解密/解析边界检测。就是说，在各个子图片部分44所属的提取了加密图片部分34的比特流12中用信号发送的比特流长度或指针指示被用于检测其中的边界54和56。

注意，无论使用何种边界检测备选方案，客户端装置10都可以无视提取器20中的显式边界位置信息，该信息可能是错误的并且仅出于标准一致性原因而存在，或者换句话说，该信息可能存在于其中，例如因为该信息是根据标准而强制执行的，但由于在每个适配集内的表示之间进行选择时预选内在自由度而不正确。

接下来，给出上述实施例的可能扩展。它们可以被称为“ces2”——具有子样本初始化向量的基于CTR的加密。

在此，基于CTR的子图片加密方案增加了加密元数据(即，允许使用每个子样本的初始化向量对每个子样本的加密链进行重新初始化的手段)，这允许每个图块的加密数据流的独立性。图13以框操作图对此进行说明。代替每个样本的IV，使用每个子样本IV(IVA，IVB，IVC)并维持相应的计数器，针对样本的每个子样本(N，N+1，N+2...)重新启动加密链。

可以用于基于CBC的“cbcs”方案的比较方法是对样本的所有子样本使用一个IV。当明文块相似时，这具有在每个子样本的开始处导致相似的密文块的缺点。

当前讨论的可能性需要在客户端侧推导变化的每个子样本的IV的各种模式。首先，可以在新版本的“senc”框中明确用信号表示IV，如下所示。

另一种可能性是，像现有的“senc”框中一样，基于每个样本的单个用信号发送的IV来在客户端侧导出子样本IV，但具有附加的依赖于子样本的偏移。在这种情况下，偏移可以：

·通过一N字节计数器的数字函数(例如，偏移等于subsample_index*(((2(N*8)-1)/subsample_count)))进行计算。

·根据预先布置的伪随机序列的第subsample_index个条目而导出。

总结图7至图11所描述的上述实施例以及针对图12所描述的其变型中，可以基于互不相同的初始化状态来对当前图片帧30内的图片部分34进行重新初始化。换句话说，在加密一个以上子集18的比特流12的情况下，互不相同的初始化状态用于这些子集，其中每个子集18使用一种初始化状态。从而，对于合成比特流中的每个加密子图片部分44，导出互不相同的初始化状态。互不相同的初始化状态可以是对当前图片帧的基本初始化状态应用互不相同的修改的结果，基本初始化状态在上述每个样本中被称为单个用信号发送的IV。因此，以上相对于图8描述的装置能够通过对当前图片帧30的问量的基本初始化状态施加互不相同的修改，导出每个访问单元4或当前帧30的子图片部分44的加密子集的互不相同的初始化状态。可以取决于各个子图片部分44或子集所涉及的视频图片区域16的部分14或取决于各个子图片部分18或子集18或部分14的索引，分别导出每个子图片部分44或子集18的互不相同的修改。为此，如上所述可以使用计算或表格查找。该索引在上面被称为子样本索引。提取器20可以包括初始化状态列表，该初始化状态列表用信号告知当前图片帧30内的每个图片部分34的初始化状态。另外可以在相应图片部分所属或源自的比特流中用信号告知初始化状态。

以下描述关注于本申请的另一方面。特别地，这里，实施例试图克服与使用预选适配集相关联的问题，即以下问题：通过从由该预选适配集分配给输出图片区域的每个区域的每个图片部分特定的适配集中选择一种表示，通过由此预选适配集分配给客户所提供的组合选项，就这些组合选项之间的质量排序而言以及就它们对应的输出图片区域的周围内ROI的整体位置而言是难以理解的。以下实施例试图克服该问题。如先前相对于与加密/解密相关的实施例所做的那样，在回顾在本申请的说明书的引言部分中阐述的描述的情况下，通过提出在引言部分中阐述的技术的可能的修改来开始下面的描述。稍后，然后通过扩展实施例来扩展由这些修改表示的实施例。

特别是，为了解决刚刚概述的问题，可以使用以下解决方案之一：

第一实施例：将max_quality_ranking和min_quality_ranking属性添加到按区域质量描述符中，如图14a和图14b所示。

第二实施例：添加标志，该标志指示质量值的范围仅在适配集内，如图15a和图15b所示。

不希望的是，在local_quality_ranking具有不同值的RWQR描述符中定义区域，因为很难跨表示来解释不同区域的质量的含义。因此，可以强制要求：适配集中的所有RWQR描述符的local_quality_ranking的值应相同。替代地，可以从RWQR描述符中完成信令，并将信令添加到MPD(例如，在适配集级别)。

第三实施例：将RWQR作为增量添加到针对表示所指示的qualityRanking。

理想的是，将具有与AdaptationSet中的关注相同的视口的所有表示进行分组。因此，有帮助的是：对于给定的AdaptationSet指示强调哪个区域，以及描述每个区域的质量关系。这样的指示可以用作分组机制。例如。在图16中，指定了具有2个区域并且质量差为1的3个表示，而每个表示以不同的比特率进行编码，因此每个表示具有不同的质量(Rep 1＝3，4；Rep2＝2，3；Rep3＝1，2)。

在此示例中，假定RWQR1的区域具有比RWQR2好的质量，并且在AdaptationSet水平上使用了按区域质量描述符来对此用信号发送。因此，RWQR用于对表示进行分组并指示区域的质量关系。这是针对表示本身所指示的质量排序的增量/偏移。因此，来自同一AdaptationSet中所有表示的@qualityRanking属性与按区域质量排序描述符(RWQR1和RWQR2)一起用于计算区域的真实质量值。

一种选项是将所描述的描述符应用于基于图块的流传输，在这种情况下，dependencyId将以这种方式使用，即在逐区域质量排序描述符所在的AdaptationSet中，表示及其@qualityRanking属性的所有组合具有相同的关系(所提出的RWQR中的用信号发送的增量)。例如，如果RWQR1和RWQR2值将增量/偏移值定义为1，则qualityRanking属性应始终具有相同的关系。

显然，相同的方法可以用于其他依赖视口的解决方案。如果视口依赖性是通过某种投影方法实现的，例如在截头方形金字塔投影(TSP)的情况下(参见图17中的投影示例)，其中通过映射到金字塔的基部来加强360视频的一部分，金字塔的基部的分辨率高于金字塔的其他面。对于这种情况，按区域质量排序描述符用于用信号发送该投影的区域的质量关系。例如，在图17中，正面的区域(用RWQR1描述符表示)相对于所有其余面(RWQR2)具有更好的质量。

为了相对于刚刚概述的修改实施例描述某些扩展的实施例，参考示出了以下实施例处理的一般环境的图18。相对于图18的描述部分地使用相对于图1a至图17的描述所使用的附图标记。利用重新使用是为了帮助更容易地理解以下描述，但是重新使用自然地应该不意味着上面关于例如加密/解密所阐述的细节应该可转移到随后说明的实施例。

图18示出了用于使用基于图块的流传输从服务器等下载视频内容的下载装置或客户端80。下载装置80的内部结构不必对应于图10所示的结构。然而，下载装置80可以例如包括如图10所示的DASH客户端82，并且可以可选地还包括文件处理程序84、及可选地包括解码器88，甚至可选地包括解密器86。下载装置80可以经由网络90访问包括多个比特流12和清单文件24在内的数据10。比特流12中以基于图块或基于部分的方式编码有视频图片区域16。为此，比特流12被分割为子集18，其中每个子集18与视频图片区域被分割成的某个部分或图块14相关联，使得一个子集18的比特流12中以不同质量编码有相同的相关联的部分/图块14。如上所述，质量可以在诸如SNR、空间分辨率等方面的各个方面中的一个或多个方面互不相同。为了易于理解，在图18中仅示出了两个部分/图块14，从而对应于图6中所示的情况。与图6进一步一致，图18示出了其中每个子集18包含六个不同的比特流12的示例性情况。通过清单文件24，每个比特流12向客户端80指示为适配集200——所谓的场景部分或图片部分特定的适配集——中的至少一个适配集内的表示。在图18中，针对每个图块14存在两个这样的特定于部分的适配集200，其对应于图6所示的适配集1至适配集4，但是应当清楚的是，每个图块14的适配集的数量不限于2，并且可以在14部分之间变化。还应当注意，物理比特流12可以部分地分配给多于一个的适配集200，或者换句话说，可以代表由多于一个的适配集200共同拥有或共享的表示。坦白地说，对属于一个子集18的表示12的分组并因此参考同一场景部分14是以以下方式完成的，该方式使得：属于一个适配集200的表示至少平均地在质量上高于属于另一适配集的相同子集18的表示。将子集18的表示12分组到适配集200中甚至可以以某种方式完成，使得该子集18的一个适配集200的任何表示在质量上高于其他适配集中的另一表示表示。然而，这不是强制性的，从下面提出的描述中会更清楚。

清单文件24至少包括第一参数集202，即每个适配集200一个。通过将一个子集18内的某个子组的表示12与该适配集#i相关联，每个参数集#i202定义对应的场景部分特定的适配集#i200，使得每个这样的适配集200中以不同质量编码有相同场景部分14。这些参数集202中的每一个对于相应参数集所定义的适配集内的每个表示12，包括质量水平或指示质量水平的语法元素204。为此，定义适配集#i的参数集202对于该适配集i内的每个表示#j具有质量水平Qi(j)。这也已在图6中的相应适配集1、2、4和5处进行了描述，其中适配集1对应于部分/图块1，并且适配集2和5对应于部分/图块2。在此，Q对应于由每个优先级集202所指示的质量水平。

此外，清单文件24包括定义预选适配集的参数集206。每个预选适配集208将图块特定适配集200之一分配给输出图片区域的每个区域。如此定义的预选适配集208在将特定于图块的适配集200分配给区域方面是不同的。坦白地说，预选适配集是ROI特定的，因为例如与分配给距ROI较远的区域的适配集的表示12的质量相比，预选适配集将较高质量的表示12的适配集200分配给与ROI对应的一个或多个区域，或者因为例如它们仅收集与ROI处及周围的区域相关的适配集200，而忽略距ROI较远的区域。然而，存在以下问题：即客户必须自己确定并且以以下进一步概述的方式使得确定特定的预选适配集与哪个ROI有关。为此，质量204本身并不适合，因为它们通常仅在它们所包含的同一集202中有序缩放。

通常，所提到的区域和输出图片区域可以对应于将图片或场景区域16分割成部分14，使用该部分14通过基于图块的编码可以获得比特流12，但是输出图片区域可以替代地重新布置和/或缩放和/或旋转部分14以产生输出图片区域，其中也可在清单文件24中指示此重新布置和/或缩放和/或旋转，或者输出图片区域仅由部分14的适当子集组成。为了简化以下实施例的主要主题的描述，应首先假定输出图片区域看起来像场景区域16，并且部分14表示每个预选适配集208为其分配相应的适配集200之一的区域14。例如，图18示出了适配集6具有与之相关联的输出图片区域216，该输出图片区域216又被细分或分割为区域214。由数据10包括且由附图标记20指示的提取器或提取器文件/轨道组成相应的视频数据流，例如，从而通过由客户端80从适配集No.5中选择的表示用于对一个区域进行编码并由客户端80从适配集合4中选择的表示用于对另一个区域214进行编码，来示出输出图片区域216。然而，如上所述，输出图片区域216可以与图片区域14的任何组成不同，基于此，可以已经使用基于图块的编码以不同的质量生成了比特流12。适配集No.3也可以与提取器文件20相关联，并且与其他适配集6的输出图片区域216相比，适配集No.3的区域的形状、大小和数量可以与适配集6一致。

关于图18，应当注意，例如，提取器20的存在并不需要，因为表示12的来源可以具有这样的性质，即单独编码到这些表示中的图片部分14没有定义在共同视频图片区域16上，而是在单独的视频图片区域16上，使得仅通过它们的组成借助于预选适配集206，将其图片内容(即其图片部分14)放在一起以产生区域214以及因此产生输出图片区域216。

总结到目前为止针对图18提出的描述，每个预选适配集206相对于为输出图片区域216的每个区域214所选择的表示12，留给客户端设备80一些决定。每个适配集206仅将图片部分特定的适配集200与区域214相关联，其中客户端设备80针对每个区域214自由选择由各个预选适配集206分配给该区域214的表示12之一。在此，在图18的示例中，这意味着从理论上讲，对于每个预选适配集206，有九个选项以供选择。不幸的是，参数集中提供的质量204不允许进行评估，其中在预选适配集208的输出图片区域216中，ROI与质量一起，在没有任何其他手段的情况下，只能保证为按有序缩放的部分特定的适配集。甚至进一步，客户端甚至可以没有就质量对某个预选适配集的各种组合选项进行合理排序。上述实施例使得能够向客户端设备80提供有效的指导，以评估某个预选适配集的ROI位置，和/或就质量而言评估某个预选适配集206的组合选项之间的排序，甚至可以是考虑预选适配集的ROI特定性的选项的意义。

为此，每个预选适配集206包括某些附加质量指导数据218，即指导数据218，就质量而言，其能够在由相应预选适配集206分配给区域214的图片部分特定的适配集200之间定义排序，并且可选地可以使得就质量而言，能够更好地评估由某个预选适配集206分配的图片部分特定的适配集200所包括的表示12之间的相互关系。

关于图19，描述了通过以上对在本申请的说明书的引言部分中阐述的技术的修改的描述而传达的第一实施例。根据图19，每个预选参数集206包括每个区域214的一个或多个参数，其指示质量水平范围220，质量水平范围220覆盖通过该参数集216定义的预选适配集分配给相应区域214的图片部分特定的适配集200的表示12的质量水平204。例如，图19示出了附加质量指导信息218包括——如附图标记219所示——每个区域i的质量最大水平参数Q_i，max和质量最小水平参数Q_i，min，以便指示表示的质量所在的范围220，即表示j的Q_1...3(i)，由相应指导信息218是其一部分的参数集206分配给相应区域i的图片部分特定的适配集200所包括。指导信息218的参数在共同质量尺度222上定义质量水平范围220，使得客户端设备80能够使用针对共同尺度222上的各个区域所指示的质量水平范围220的相互位置来评估关于第二参数集206所属的预选适配集208的ROI位于何处，即具有较高质量的区域位于何处。客户可以例如将ROI假定为质量范围220最高的区域214的整理、或者在区域216内所有区域214的范围220之中质量范围220并非最小的区域214的整理。客户端甚至可以从质量水平范围220中导出可能表示组合中的排序，可能表示组合在质量方面由相应参数集206定义的相应预选适配集所提供。特别地，质量指导信息218中的范围信息219的纯粹存在还可以向客户端表示信号：该部分局部质量水平也被定义在共同尺度上。即，某个区域i的质量水平Q_j(i)将位于针对区域i所指示的范围中。在那种情况下，客户可以从指导信息218中的范围信息的纯粹存在推断出：即使在部分特定的适配集200之间，质量也可以相互比较。替代地，质量指导信息218中范围信息的存在不改变仅在一个集202内(即在一个适配集200内)仅有序缩放质量204的情况。然而，在后一种情况下，客户端设备80可以使用范围信息将质量水平204映射到在共同尺度222上定义的质量上。例如，客户端可以假设就其质量而言，在图片部分特定的适配集200内的表示12的数量均匀地分布在由对应区域的指导信息218所指示的质量水平范围220上，对应地，通过额外使用图片部分特定的适配集200的对应适配集202所指示的相互质量指示或排序值204，客户端设备80能够确定有助于共同质量尺度222上的某个预选适配集的所有比特流的质量。继续刚才概述的示例：使用Q_i，max和Q_i，min，客户端可以将Q_j(i)映射到Q_j(i)→(j-1)·(Q_i，max-Q_i，min)+Q_i，minoder Q_j(i)→(Q_j(i)-min_j{Q_j(i)})·(max_j{Q_j(i)}-min_j{Q_j(i)})·(Q_i，max-Q_i，min)+Q_i，min。通常，对于所有j和i，所得质量都相对于彼此有序缩放。在没有指导信息的情况下，客户端可以仅对每个适配集i200内的表示j单独进行排序。

在图14a和图14b的上述示例中，指导信息218涉及每个区域的RwQR描述符中的语法元素max_quality_ranking和min_quality_ranking。因此，在由预选适配集提供的比特流的可能组合选项中，客户端可以排除那些与预选适配集的ROI特定性冲突的选项，例如，由于导致ROI以外区域的选项的质量要比ROI内的区域的质量高。附加地或替代地，客户端可以使用指导信息，以便更好地理解各种选项的ROI相关区域和ROI不同区域之间的质量偏移，以便基于当前情况(例如用户观看速度、可用网络下载速率等)来决定例如选择哪个选项。而且最重要的是，客户端可以推断出某个预选适配集的ROI所处的位置，并因此可以从几个可用的预选适配集中进行选择例如ROI与当前用户的视口重合的预选适配集。

源自图15a和图15b的描述的另一实施例涉及清单文件24的以下特定细节。特别地，如再次相对于图20所解释的，质量指导信息218实际上可以包括指示223，指示223指示：如图片部分特定的适配集200的参数集202内所指示的区域j的质量水平Q_i(j)在共同有序尺度222上定义，图20的下半部分处所示，或者由这些参数集202所指示的质量水平Q_i(j)在单独的有序尺度224上定义。当在共同有序尺度222上定义时，可以将由诸如图20中的图块1的参数集之类的特定参数集202针对某些图片部分特定的适配集内的表示所指示的质量水平204，在有序方面，与由指示218所属的相同预选适配集206分配给另一区域的针对另一图片部分特定的适配集200的另一参数集202所指示的质量水平进行比较。到目前为止，指示218是一种“全局指示”。在对单独的有序尺度进行定义的另一种情况下，质量水平204指示参数集202所属的图片部分特定的适配集200内的表示的质量之间的相互序数关系，该参数集包括这些质量水平204，但是由全局性指示218所属的预选适配集分配给不同区域214的不同图片部分特定的适配集200的质量水平204彼此不可比，即，无法基于相应的质量水平204来确定哪个比特流的质量较好。也就是说，如果应用全局性，则客户端可以针对所有j和i比较所有Q_j(i)。通常，它们全局地相对于彼此有序缩放。在没有全局性的情况下，客户端可以仅对每个适配集i 200内的表示j单独进行排序。然后，客户端可以例如确定用于预选适配集的ROI是质量水平204最高的区域214的整理、或者在区域216内所有区域214的质量水平204之中质量水平204并非最小的区域214的整理。

在图19中，示出了预选参数集206的第二参数集206可以包括一个或多个参数，该一个或多个参数针对输出图片区域216的每个区域214指示相应区域214的质量水平提示，其在此分别由区域i代表的质量水平Q′(i)和参考适配集200来示例。由于它们是在一个参数集即296中定义的，因此它们相互定义在共同尺度上。然而，指导信息218可以包括针对每个区域i的指示——该指示可以与指示223重合，这到目前为止同时控制两个指示，或者这可以替代地用于指示223——相应区域214(i)的质量水平提示，和由分配给相应区域214的图片部分特定的适配集200的第一参数集202所定义的质量水平204定义在相互共同的有序尺度上义，以便在它们之间有序缩放，或者质量水平提示Q′(i)和由分配给相应区域i的图片部分特定的适配集200的第一参数集202定义的质量水平204定义在单独的有序尺度224上。在前一种情况下，所有质量水平Q′(i)和Q_j(i)可以实际上在共同有序尺度222上定义，这是因为无论如何由于相同的集206的质量水平Q′(i)的定义而质量水平Q′(i)相对于彼此有序缩放。再次，客户端可以基于Q′(i)得出关于某个适配集208的ROI位于何处，并且如果指示223适用，则客户端甚至可以在质量方面获得对单个组合选项的理解。

根据另一实施例，指导信息2018仅包括不具有223或218的Q′(i)。即使在这里，客户端也能够确定某个预选适配集206的RIO，并且因此能够为想要的视口选择匹配的预选适配集。特别地，如通过这种quality_ranking参数Q′(i)实现的，在所分配的图片部分特定的适配集200之间的仅仅排序使得客户端设备80至少能够正确地评估区域216上的总体质量梯度以找到ROI。

应当注意的是，指示223可以被解释为针对视点一致的所有图片部分特定的适配集200的所有质量水平204发出共同有序尺度222的信号，即，从该视点捕获视频图片区域16的相应部分14，并且例如在相应的参数组202中指示该视点一致。这使以下内容变得清晰：在以上关于图15a和图15b描述的，全局性指示223将不必驻留在关于预选适配集的参数集206内。全局性指示223可以位于清单文件24中或其他地方。

在图18中由虚线指示后一个方面：质量指导信息223可以替代地位于参数集206外部的清单文件24中。

作为对图19的描述的替代，应当注意，对与某个参数集206相关的每个区域214的质量水平范围220的指示可以由对质量水平之间的仅质量水平偏移的指示来代替，该质量水平——即质量水平204——在图片部分特定的适配集相关参数集202内被指示。因此，附加质量指导218然后将指示要应用于质量水平204以便彼此可比较的相对偏移。例如，质量指导218可以指示：在与另一个图块的质量水平204进行比较之前，图块1的质量水平必须被增加一定值，以便在共同有序尺度222上进行定义。使用关于由集202指示的质量Q_j(i)之间的偏移ΔQ_mn的这种信息218，客户端可以将某个集i 200的Q_j(i)映射到Q_j(i)→Q_j(i)-ΔQ_ik上，以将它们与某个集k 200的Q_j(k)进行比较。通常，对于所有j和i，所得质量都相对于彼此有序缩放。在没有指导信息的情况下，客户端可以仅对每个适配集i 200内的表示j单独进行排序。

如上所述，对于实现关于图18至图20描述的优点，提取器20的存在不是强制性的。然而，如果存在，则可以使用诸如SphereRegionQualityRankingBox之类的文件格式描述符/框来将上面描述的信息传递到清单文件。特别地，虽然提取器指示了对比特流的子集中的编译后的比特流40的编译，其中每个比特流与视频图片区域216的不同部分214相关联，可以为每个部分自由选择比特流的相关联子集中的一个比特流，文件格式描述符将包括用于视频图片区域216的每个部分214的一个或多个参数，指示覆盖在分配给相应部分214的子集的表示12中用信号发送的质量水平的质量水平范围220、或者表示的不同子集的表示12的质量水平之间的质量偏移，和/或文件格式描述符将包括指示以下的指示：表示所指示的质量水平是定义在共同有序尺度上，以便跨不同子集的不同表示有序缩放，或表示所指示的质量水平针对子集分别在单独的有序尺度224上定义。换句话说，图18中的一个集200中的所有比特流12可以在其框之一中具有质量值。同样地，文件格式描述符可以附加地或替代地包括一个或多个参数，该参数指示了针对输出图片区域216的每个部分214待定相应部分的质量水平提示，以及指示相应部分的质量水平提示和在由与相应部分相关联的子集所包括的表示中所指示的质量水平被定义在共同有序尺度上，以便在它们之间有序缩放，或者质量水平提示和由与相应部分相关联的子集所包括的表示中所指示的质量水平204在单独的有序尺度224上定义，和/或包括针对输出图片区域216的部分214指示部分214之间的质量排序的一个或多个参数。在其中一个被放在一起并由某个提取器20引用时，可能会出现以下问题：比特流中的质量如何彼此相关和/或这种下载视频流的ROI在哪里。为此，可以花费文件格式框或描述符，该文件格式框或描述符可以由客户端准备下载，该客户端希望呈现提取器所属的相应ROI。提到的文件格式框具有与218针对MPD认为的类似的信息：它指示，各个子集200的比特流中的质量如何与其他质量相关，以及那些部分214在具有较高质量的区域216内的何处，从而指示ROI在何处。换句话说，与某个ROI相关联的提取器20通过参考来收集每个区域214的表示的一个子集200。稍后，在实际下载时，提取器将与从相应子集200中选择的——每个子集200和相关联区域一个——这些表示一起形成文件。后者引用的比特流12形成文件的轨道。它们来自集32。每个中都有质量值，就像MPD中的质量204一样。所提及的FF描述符将附加出现并指示例如是否在共同尺度222或单独的尺度224上定义了驻留在源自与不同区域214相关的不同子集200的不同轨道中的所有这些质量值，或者将指示共同尺度222上的范围220。FF描述符可以是由客户端下载的合成视频流的初始化段的一部分，其兴趣在于与指示质量全局性的FF描述符所属的提取器20相关联的ROI。如所提到的，文件在其中具有集32的参考轨道12以及提取器20。例如，每个参考轨道在本地FF框/描述符中具有其质量值，并且本文概述的FF描述符/框可以是客户端首先下载以获得文件设置的初始化段的一部分。

为了完整起见，应当提到的是，对于每个图片部分特定的适配集200，对应的第一参数集202可以相对于被编码到相应图片部分特定的适配集的表示中的图片部分14来定义视场信息。第二参数集206继而可以相对于区域214的整理来定义视场信息，即，由所有区域214的覆盖所产生的视场。如图18所示，如果相应的预选适配集208的第二参数集206多于两个，则每个集可以相对于其区域214的整理来定义视场信息，其中，所述整理(collation)在所述至少两个第二参数集之间重合。即，对于这些集208，输出图片区域216的外围可以重合。然而，预选适配集206的不同之处在于，它们的参数集206定义了区域214中质量最高的区域，该区域在整理内的位置在参数集206上变化。因此，最高质量的区域将对应于与各种适配集208相关联的ROI。

如所描述的，客户端设备可以检查清单文件24，并且基于质量水平范围和/或指示来改变从服务器自适应地流传输视频的流传输策略。它可以使用质量水平、质量水平范围、质量水平提示和/或指示，以便相对于希望的视口对预选适配集进行排序。

如关于图17所解释的，对预选适配集的选项进行定义的比特流的集合可以替代地被定义为在清单文件中分组为一个适配集的不同表示。这产生了清单文件，该清单文件包括用于逐区域编译的适配集的参数集，该参数集定义了在区域214中的视频图片区域216的细分中一致的表示集，该表示中以不同质量水平元组编码有视频图片区域的区域214，质量水平元组将区域特定的质量水平分配给每个区域。因此，这些表示将全部单独地覆盖区域216。它们在分配给各个区域的质量的相关联方面会不同。然后，参数集将包括针对所有区域的适配集质量水平指示(如图17中的RWQR_i所示)，并且对于每个表示而言，包括表示特定的质量水平指示(由@qualityRanking指示)。对于每个表示，图17括号中所指示的相应表示的质量水平元组随后可以从相应表示的适配集质量水平指示和表示特定的质量水平指示的组合中导出，例如通过将两者相加来导出。客户端设备可以检查清单文件，并在用于从服务器自适应地流传输视频的流传输策略中使用表示的质量水平元组。它可以使用表示的质量水平元组，以便相对于希望的视口对表示进行排序。

虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。可以由(或使用)硬件设备(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。

可以将诸如数据集合、视频流、清单文件、描述符之类的本发明的数据信号存储在数字存储介质上，或者可以在诸如无线传输介质或诸如互联网的有线传输介质的传输介质上进行传输。

取决于某些实现要求，可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现，该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作以便执行本文所述的方法之一。

通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。

换言之，本发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。

因此，本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。

因此，本发明方法的另一实施例是表示计算机程序的数据流或信号序列，所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。

另一实施例包括处理装置，例如，计算机或可编程逻辑器件，所述处理装置被配置为或适于执行本文所述的方法之一。

另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。

根据本发明的另一实施例包括被配置为向接收机(例如，以电子方式或以光学方式)传送计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收器传送计算机程序的文件服务器。

在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。

本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。

本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件中实现。

本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。

本文描述的方法或本文描述的装置的任何组件可以至少部分地由硬件和/或由软件执行。

上述实施例对于本发明的原理仅是说明性的。应当理解的是，本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。

参考文献

[1]NIST，“ADVANCED ENCRYPTION STANDARD(AES)”，2001，online：http://nvlpubs.nist.gov/nistpubs/FIPS/NIST.FIPS.197.pdf。

[2]NIST，“Recommendation for Block 2001 Edition Cipher Modes ofOperation”，NIST Special Publication 800-38A 2001 Edition，online：http://dx.doi.org/10.6028/NIST.SP.800-38A。

[3]ISO/IEC 23001-7：2016，Information technology--MPEG systemstechnologies--Part 7：Common encryption in ISO base media file format files。

[4]ISO/IEC 14496-12：2015，Information technology--Coding of audio-visual objects--Part 12：ISO base media file format。

[5]ISO/IEC 14496-15：2017，Information technology--Coding of audio-visual objects--Part 15：Carriage of network abstraction layer (NAL)unitstructured video in the ISO base media file format。

[6]ISO/IEC 23008-2：2013，Information technology--High efficiencycoding and media delivery in heterogeneous environments--Part 2：Highefficiency video coding。

[7]Byeongdoo Choi，Ye-Kui Wang，Miska M.Hannuksela，Youngkwon Lim(editors)，“OMAF DIS text with updates based on Berlin OMAF AHG meetingagreements”，m40849，2017-06-16。

[8]ISO/IEC 23009-1：2014，Information technology--Dynamic adaptivestreaming over HTTP(DASH)--Part 1：Media presentation description and segmentformats。

Claims

1.一种客户端设备，包括至少一个处理器和存储器，所述存储器中存储有计算机指令，所述计算机指令在由所述处理器执行时，使所述处理器：

检查清单文件，其中所述清单文件包括：

多个第一参数集(202)，每个第一参数集(202)定义了表示(12)的图片部分特定的适配集(200)中的一个图片部分特定的适配集(200)，每个图片部分特定的适配集的表示中以不同质量编码有不同的图片部分(14)中的一个图片部分，其中，每个第一参数集(202)包括用于由相应的第一参数集(202)定义的图片部分特定的适配集(200)的每个表示的质量水平(204)；

至少一个第二参数集(206)，定义了预选适配集(208)，所述预选适配集(208)向输出图片区域(216)的每个区域(214)分配所述图片部分特定的适配集中的一个图片部分特定的适配集，

其中

所述至少一个第二参数集(206)包括针对所述输出图片区域(216)的每个区域(214)的指示质量水平范围(220)的一个或多个参数，所述质量水平范围(220)覆盖分配给相应区域(214)的所述图片部分特定的适配集(200)的表示(12)的质量水平(204)，和/或

所述清单文件(24)包括指示，所述指示关于由所述第一参数集(202)指示的质量水平(204)在共同的有序尺度(222)上定义以便跨不同的第一参数集(202)有序缩放，或所述指示关于由所述第一参数集(202)指示的质量水平(204)在对于所述第一参数集(202)单独的分离的有序尺度(224)上定义；

和/或

所述至少一个第二参数集(206)包括针对所述输出图片区域(216)的每个区域(214)指示相应区域的质量水平提示的一个或多个参数、以及指示，该指示为相应区域(214)的质量水平提示、和由分配给相应区域(214)的图片部分特定的适配集(200)的第一参数集(202)定义的质量水平(204)被定义在共同的有序尺度上以便在它们之间有序缩放，或者该指示为所述质量水平提示和由分配给相应区域的图片部分特定的适配集(200)的第一参数集(202)定义的质量水平(204)被定义在单独的有序尺度(224)上，和/或

所述至少一个第二参数集(206)包括针对所述输出图片区域(216)的区域(214)的指示所述区域(214)之间的质量排序的一个或多个参数；并且

基于所述质量水平范围和/或所述指示来改变从服务器自适应地流传输视频的流传输策略。

2.根据权利要求1所述的客户端设备，其中所述计算机指令在由所述处理器执行时，使所述处理器：使用所述质量水平、质量水平范围、质量水平提示和/或所述指示，以便相对于希望的视口对预选适配集进行排序。

3.根据权利要求1所述的客户端设备，其中所述计算机指令在由所述处理器执行时，使所述处理器：基于所述清单文件中的质量信息来确定在预选适配集的输出图片区域中具有提高的质量的ROI的位置，并将所述ROI的位置与希望的视口进行比较以便确定所述流传输策略。

4.根据权利要求1所述的客户端设备，其中

对于每个图片部分特定的适配集(200)，所述第一参数集(202)相对于被编码到相应图片部分特定的适配集的表示中的所述图片部分(14)来定义视场信息。

5.根据权利要求1所述的客户端设备，其中

所述第二参数集(206)相对于所述输出图片区域来定义视场信息。

6.根据权利要求5所述的客户端设备，其中，存在相应预选适配集(208)的两个以上第二参数集(206)，每个第二参数集(206)相对于输出图片区域定义视场信息，其中，所述输出图片区域在所述至少两个第二参数集之间重合。

7.根据权利要求6所述的客户端设备，其中，所述两个以上第二参数集(206)定义了所述区域(214)中质量最高的区域，该区域在所述输出图片区域内的位置在所述两个以上第二参数集(206)上变化。

8.一种客户端设备，包括至少一个处理器和存储器，所述存储器中存储有计算机指令，所述计算机指令在由所述处理器执行时，使所述处理器：

检查清单文件，所述清单文件包括：

第一参数集，针对按区域编译的适配集定义了在视频图片区域按区域的细分中重合的表示集，所述表示中以不同质量水平元组编码有视频图片区域的区域，所述质量水平元组将区域特定的质量水平分配给每个区域，

所述第一参数集包括：

针对所有区域的适配集质量水平指示，以及

针对每个表示的表示特定的质量水平指示，

其中，对于每个表示，该表示的质量水平元组能够从所述适配集合质量水平指示和该表示的表示特定的质量水平指示的组合中导出，并且

在用于从服务器自适应地流传输视频的流传输策略中使用所述表示的质量水平元组。

9.根据权利要求8所述的客户端设备，其中所述计算机指令在由所述处理器执行时，使所述处理器：使用所述表示的质量水平元组，以便相对于希望的视口对所述表示进行排序。

10.根据权利要求8所述的客户端设备，其中，所述表示的质量水平元组变化，使得所述区域中质量最高的区域的位置在所述表示上变化。

11.一种用于操作客户端设备的方法，包括：检查清单文件，所述清单文件包括：

其中，

所述清单文件(24)包括指示，所述指示关于由所述第一参数集(202)指示的质量水平(204)在共同的有序尺度(222)上定义以便跨不同的第一参数集(202)有序缩放，或所述指示关于由所述第一参数集(202)指示的质量水平(204)在对于所述第一参数集(202)单独的分离的有序尺度(224)上定义；和/或

12.一种用于操作客户端设备的方法，包括：

检查清单文件，所述清单文件包括：

所述第一参数集包括：

针对所有区域的适配集质量水平指示，以及

针对每个表示的表示特定的质量水平指示，