CN106664443B

CN106664443B - 根据hevc拼贴视频流确定感兴趣区域

Info

Publication number: CN106664443B
Application number: CN201580046154.7A
Authority: CN
Inventors: E.托马斯; R.范布兰登伯格; M.O.范德文特
Original assignee: Koninklijke KPN NV
Priority date: 2014-06-27
Filing date: 2015-06-26
Publication date: 2020-03-24
Anticipated expiration: 2035-06-26
Also published as: WO2015197815A1; JP6440747B2; US20170118540A1; US10397666B2; CN106664443A; KR20170018352A; JP2017527160A; EP3162074A1; KR101953679B1

Abstract

描述了一种用于根据至少一个HEVC拼贴（全景）视频流来确定客户端设备的感兴趣区域（ROI）的方法，其中所述方法包括：接收ROI视频流以便再现第一ROI，所述第一ROI定义在所述HEVC拼贴视频流的完整图像区域内的第一子区域，在所述HEVC拼贴全景视频中HEVC贴片的位置由贴片位置信息定义；提供与所述ROI视频流的至少一个视频帧相关联的ROI位置信息，所述ROI位置信息包括所述第一ROI的至少第一位置；根据所述ROI位置信息和所述贴片位置信息识别所述HEVC拼贴视频流的一个或多个HEVC贴片，优选为与所述第一ROI重叠的一个或多个HEVC贴片；并且请求与所述一个或多个识别的HEVC贴片相关联的视频数据以便再现第二ROI，所述第二ROI定义在所述HEVC拼贴视频流的完整图像区域内的第二子区域。

Description

根据HEVC拼贴视频流确定感兴趣区域

技术领域

本发明涉及确定感兴趣区域（ROI），并且尤其（不过不排它地）涉及一种用于根据一个或多个HEVC拼贴（HEVC-tiled）的视频流来确定感兴趣区域的方法、一种用于确定和再现所述感兴趣区域的客户端设备、一种用来存储用于确定和再现感兴趣区域的视频流和数据结构的非瞬时性计算机可读存储介质以及一种使用这种方法的计算机程序产品。

背景技术

在过去几年中，在相机和图像处理技术上的进步不仅能实现以高得多的分辨率进行记录，而且还能实现把多个相机的输出缝合在一起（stitch together），允许一起以比8Kx4K高得多的分辨率全360度地记录的一组相机。

这些发展可以改变用户体验视频的方式。按照惯例，例如足球比赛的广播包括由导演小心对准和控制的相机镜头的序列。在这种广播流中，在最终流中的每个相机移动对应于相机自身的位置、角度或变焦级别的物理变化。然而，高分辨率的全景视频使用户（和/或导演）能够与所述用户（和/或导演）正观看（执导）的视频有某种程度的交互，而不必在物理意义上操纵相机。使用摇摄-倾斜-变焦（pan-tilt-zoom）交互，可以从高分辨率的全景视频中提取用户或导演感兴趣的视频的子区域。此子区域可以被称作感兴趣区域（ROI）。

由于在此特定使用情况中具体用户在任何给定时刻只观看完整视频全景的子集，所以能够通过只发送用户感兴趣的视频的一部分来降低带宽要求。存在能够用来实现这种功能的多种技术。这些技术之一是所谓的拼贴（tiled）流送技术，用该技术把完整视频全景划分为多个独立编码的视频，由此客户端使多个解码器允许所述客户端重构所述完整视频全景的任何一部分，如果必要的话通过把多个这种独立的视频缝合在一起来重构。

然而在大部分用户情况下，用户与视频全景连续地相交互是不必要的甚至是不想要的。例如在足球比赛的情况下，人们能够想象用户只在某些时间点（例如当发生观众视线外发生的犯规但是导演相反却决定追随足球时）才有兴趣与视频交互。然而大部分时间，用户可能只是想要追随导演的指向。在这种情况下，使用拼贴的流送不是用于流送视频的最高效方法。对此的一个原因在于这样的事实：在编码方案中使用的时间和空间预测并未被优化，这是由于它们受贴片（tile）尺寸的限制。第二个原因是由于任何给定的贴片组几乎从不确切地包括ROI，所以会发送对重构给定ROI来说并非是严格必须的一些附加的像素/宏块。

在Mavlankar A.等人的文章“用于在线演讲观看的交互式感兴趣区域视频流送系统（An interactive region-of-interest video streaming system for onlinelecture viewing）”，分组视频研讨会（Packet Video Workshop）（PV），2010年第18期国际版，卷，号，第64-71页，2010年12月13-14日中，描述了‘跟踪贴片’的概念。此跟踪贴片是独立编码的视频，所述独立编码的视频由视频全景的连续更新的裁切组成。通过选择跟踪贴片模式，用户能够被动地追随视频全景中某一移动的感兴趣点（例如在足球比赛中球的位置），而不必亲自主动地在视频全景四处导航。人们能够想象跟踪贴片在视频全景内的位置类似于如何有规律地发生广播的方式由导演控制或者甚至由自动图像识别系统控制。

虽然使用跟踪贴片向用户提供了在视频全景四处导航的自由度并且允许它们被动地追随感兴趣点，但是由Mavlankar等人描述的跟踪贴片概念没有提供用于执行从追随跟踪贴片到用户自己导航通过全景的无缝转变的能力。如果人们想象用户正观看在足球比赛中追随球的跟踪贴片，跨过视频全景移动，那么用户可能突然想要向左移动多一点，例如来查看正发生的犯规。

利用Mavlankar等人所描述的跟踪贴片方案，无缝迁移是不可能的，这是由于系统不知道在给定时间点跟踪贴片在视频全景中的位置。因此用户将必须亲自寻找全景中的特定位置由此破坏了连续体验。因为再现和显示了用户不感兴趣的视频贴片，所以在跟踪贴片模式和用户控制模式之间的切换花费了相当数量的时间，导致了资源浪费。

因此，在本领域中需要一种能够向客户端高效地流送宽视场图像区域的ROI的改进方法和系统。此外，在本领域中需要在（在非拼贴模式中）向客户端根据单个流来流送ROI和（在拼贴模式中）向客户端根据一个或多个分离贴片流来流送ROI之间实现平滑甚至是无缝的切换。

发明内容

本发明的目的是减少或消除在现有技术中已知的至少一个缺点。在第一方面中，本发明可以涉及一种用于根据至少一个HEVC拼贴的（全景）视频流确定和/或再现客户端设备的感兴趣区域（ROI）的方法。

在一个实施例中，所述方法可以包括：优选地在客户端设备接收ROI视频流以便再现第一ROI，所述第一ROI定义了在所述HEVC拼贴视频流的完整图像区域内的第一子区域，在所述HEVC拼贴全景视频中的HEVC贴片的位置由贴片位置信息定义；优选地在所述客户端设备提供与所述ROI视频流的至少一个视频帧相关联的ROI位置信息，所述ROI位置信息包括所述第一ROI的至少第一位置；优选地由所述客户端设备根据所述ROI位置信息和所述贴片位置信息识别所述HEVC拼贴视频流的一个或多个HEVC贴片，优选地识别与所述第一ROI重叠的一个或多个HEVC贴片；并且优选地由所述客户端设备请求与所述一个或多个识别的HEVC贴片相关联的视频数据以便再现第二ROI，所述第二ROI定义了在所述HEVC拼贴视频流的完整图像区域内的第二子区域。应当注意，尽管按照执行所述方法的步骤的客户端设备定义了本发明的最佳方式，不过本发明也设想了其中由除客户端设备之外的其它实体执行依照本发明的方法的某些步骤的实施例。例如如果ROI位置信息和贴片位置信息被提供到除客户端设备之外的另一实体（例如被连接到客户端设备的设备，诸如服务器计算机），那么此另一实体（另一设备）可以执行如上公开的识别步骤。

因此，ROI流可以包括HEVC拼贴视频流的完整图像区域的子区域（ROI）的内容（例如视频数据）。HEVC拼贴视频可以是高分辨率或超高分辨率视频。可替换地，可以从多个差异视频（例如不同的相机角度）形成（构成/缝合）HEVC拼贴流。在播放ROI流期间，ROI的位置（在HEVC拼贴流的HEVC拼贴图像区域内的子区域的空间位置或方向）可以在时间上变化。

当从根据非拼贴ROI流（例如常规的非拼贴MPEG流）再现ROI（ROI流送模式）切换到根据也被称为HEVC贴片的一个或多个HEVC拼贴流再现ROI（拼贴流送模式）时，包括ROI视频流的至少一个图像帧的位置（即ROI坐标）的ROI位置信息可以用来确定当开始HEVC贴片流模式时客户端设备可以使用（例如请求、获取和再现）的一个或多个HEVC贴片的HEVC编码的视频数据。ROI流（也被称为ROI视频流）的ROI的位置可以在帧级别（即已经由客户端设备接收的视频帧）上提供，使得能够实现到拼贴流送模式的平滑或无缝转变。

HEVC标准支持所谓的HEVC贴片。HEVC编码器可以被配置为把视频中的视频帧划分为所谓的HEVC贴片，其中一个HEVC贴片是按照CTU的特定分组定义的矩形区域。HEVC贴片可以把全景视频的图像区划分为多个邻近的矩形区域，其中所述HEVC贴片的边界在列和行方向上由HEVC贴片边界定义。在本申请中，包括HEVC贴片的HEVC编码的视频流（也被称为HEVC流、HEVC视频或HEVC视频流）可以被称作HEVC拼贴的视频流。HEVC贴片可以被分开地请求和获取并且因此也被称为HEVC贴片流。这些HEVC贴片流/ HEVC贴片一起形成HEVC编码的视频。

HEVC贴片最初被引入到用于使用多核处理器编码和解码视频数据的HEVC标准中，使得可以并行处理（编码和解码）HEVC拼贴流中的贴片。HEVC贴片也可以用于只获取和/或播放HEVC拼贴流的HEVC贴片的子集。

这种子集例如可以涉及全景视频（HEVC拼贴视频）的图像区（完整图像区域）中的/的感兴趣区域（ROI），例如子区域。在该情况下，HEVC贴片应当随时间推移独立地编码，使得解码器能够只解码在多个帧上的HEVC贴片的子集。为了产生可独立解码的HEVC贴片的这种组，HEVC标准允许HEVC编码器被配置为把视频编码中的时间预测（例如运动向量和回路滤波器）限制在一个或多个HEVC贴片的边界内。使用可以对每个HEVC贴片流要求独立的解码器（或解码器实例）的其它编解码器，当与在现有技术中描述的拼贴方案相比较时，由单个HEVC解码器处理HEVC贴片就资源而言提供了显著的优点。

在此公开中所描述的贴片概念可以被不同的视频编解码器支持。例如，高效率视频编码（HEVC）标准允许使用可独立地解码的贴片（HEVC贴片）。HEVC贴片可以由编码器创建，所述编码器把媒体流的每个视频帧划分为多个行和列（“贴片网格”），多个行和列定义了用编码树块（CTB）的单元表示的预定义宽度和高度的贴片。HEVC比特流可以包括用于向解码器通知视频帧应当怎样被划分成贴片的解码器信息。解码器信息可以向解码器通知依照不同方式的视频帧的贴片划分。在一个变形中，解码器信息可以包括关于n乘m个贴片的均匀网格的信息，其中能够根据帧的宽度和CTB尺寸来推导出在网格中的贴片的尺寸。由于四舍五入不准确，所以并非所有贴片具有精确的相同尺寸。在另一变形中，解码器信息可以包括关于贴片的宽度和高度（例如按照编码树块单元）的显式信息。这样视频帧可以划分成不同尺寸的贴片。只有对于最后一行和最后一列的贴片，可以根据剩余的CTB数目导出尺寸。此后，分组器可以把原始HEVC比特流分组化为由传输协议使用的适当的媒体容器。

支持独立地可解码的贴片的其它视频编解码包括谷歌的视频编解码VP9或者在一定程度上包括MPEG-4部分10 AVC/H.264，高级视频编码（AVC）标准。在VP9编码中，沿着垂直贴片边界破坏相关性，这意味着可以同时解码在相同的贴片行中的两个贴片。类似地，在AVC编码中，片段（slice）可以用来把每个帧划分为多个行，其中在媒体数据是独立地可解码的意义上这些行中的每个定义了贴片。因此，在此公开中术语“HEVC贴片”不只局限于依照HEVC标准的贴片，而是一般地定义了在视频帧的图像区域内任意形状和/或维度的子区域，其中在贴片的边界内的媒体数据是独立地可解码的。在其它视频编因此解码器中，诸如分段或片段之类的其它术语可以用于这种独立地可解码区域。因此应当进一步注意到，本发明同样适于供这样的视频编解码使用，所述视频编解码不同于HEVC（例如VP9）或是来自HEVC的（将来）衍生物，只要这些编解码器具有它们适合于编码视频的特性，由此用于表示视频的图像的不同区域（子区）能够在单编码过程中独立地编码，并且由此独立编码的区域能够在单解码过程中解码。术语独立地指的是以在这些区域之间不存在编码相关性的方式执行编码的概念。

在实施例中，所述方法可以进一步包括：根据所述请求的视频数据和所述ROI位置信息来再现所述第二ROI。

在实施例中，提供ROI位置信息可以进一步包括：提供所述ROI视频流的至少第一图像帧的第一ROI坐标，所述第一ROI坐标定义在接收用于再现第二ROI的指令的第一时间实例时所述第一ROI的第一位置，所述指令优选为用户发起的指令。在此实施例中，由客户端设备在例如经由用户交互命令客户端设备的时刻所处理的帧的ROI坐标可以用来确定切换到HEVC贴片流模式（即根据HEVC贴片再现用户发起的ROI而不是用于再现预定（“导演剪切”）的ROI的ROI流）所需要的一个或多个HEVC贴片。

在一个实施例中，所述指令可以包括用于表明所述第一ROI的位置变化的ROI向量，所述第一ROI坐标和所述ROI向量用于识别所述一个或多个HEVC贴片。ROI向量可以关联于确定的用户交互，例如摇摄、变焦和/或倾斜，并且可以用于选择适于请求的用户交互的贴片表示。

在一个实施例中，提供所述ROI位置信息可以进一步包括：提供所述ROI视频流的至少第二图像帧的第二ROI坐标，所述第二ROI坐标定义了在由客户端设备处理（例如接收、缓冲和/或解码）所述ROI视频流的第二时间实例时的所述第一ROI的第二位置；所述第一和第二ROI坐标用于识别所述一个或多个HEVC贴片。在此实施例中，可以减少由于在请求HEVC贴片流和由客户端设备处理所述HEVC贴片流之间的ROI移动所导致的不利影响。

在一个实施例中，其中请求的视频数据是HEVC编码的，所述再现所述第二ROI可以包括：根据请求的HEVC编码的视频数据来形成解码的图像区域；和可选地从所述解码的图像区域中裁切所述第二ROI。确定的HEVC贴片的视频数据可以用来在图像区域中形成第二子区域。ROI坐标可以用来从第二子区域中创建（裁切）第二ROI，使得到拼贴流送模式的平滑转变被确保。

在一个实施例中，提供ROI位置信息可以进一步包括：提供与所述ROI视频流的至少一个视频帧相关联的先行位置信息，在所述先行位置信息被提供到所述客户端设备的时刻所述ROI视频流尚未被所述客户端设备接收，所述先行位置信息包括在所述完整图像区域中第二ROI的第二位置。

ROI位置信息可以被时移，使得客户端设备可以提前接收ROI位置信息。这样，即使当ROI是非常动态的时（例如当在与ROI相关联的子区域的HEVC拼贴（全景）视频的完整图像区域内的空间定向频繁变化时），客户端也可以请求正确的HEVC贴片流。当处理包括动态ROI轨迹的ROI流时，此实施例是特别有益的。

时移补偿了ROI在请求HEVC贴片流和由客户端设备处理HEVC贴片流之间的时间段期间的移动。这样，由请求的HEVC贴片流形成的子区域始终包括请求的ROI。

在一个实施例中，所述先行位置信息可以包括在尚未被所述客户端设备接收的所述ROI视频流中的一个或多个图像帧的一个或多个时移的第一ROI坐标，优选地所述时移的第一ROI坐标在所述一个或多个图像帧之前被提供到所述客户端设备，更优选的是所述时移的ROI坐标被进一步与用于确定时移的时移信息相关联，所述时移信息优选为时间戳。

在一个实施例中，所述ROI位置信息的至少一部分在所述ROI视频流的比特流-优选地定义在所述比特流中所述ROI坐标的位置的ROI坐标标志或SEI消息-中被传输到客户端设备，；

在一个实施例中，所述ROI位置信息的至少一部分可以在MPEG传输流中-优选地在所述MPEG传输流中的基本传输流中；或者作为在所述MPEG传输流中的DVB定义的SAD（同步辅助数据）分组-被传输到客户端设备，可选地所述SAD分组包括时移的ROI坐标。

在一个实施例中，所述ROI位置信息的至少一部分可以在MPEG-4流中的预定义框（box）中-优选在MPEG-4流的moov、trak和/或stbl框中-传输；

在一个实施例中，所述ROI位置信息的至少一部分可以作为水印-优选作为所述ROI视频流中的水印-传输到所述客户端设备。

在一个实施例中，所述贴片位置信息的至少一部分在所述HEVC拼贴视频流中-优选在所述HEVC拼贴视频流的moov或moof框中-被提供到所述客户端设备。

在一个实施例中，HEVC贴片的视频数据可以作为分开的视频轨道被存储在所述记录区域中；并且至少一个基础轨道包括一个或多个提取器，其中提取器指向视频轨道。

在一个实施例中，所述贴片位置信息的至少一部分可以在空间清单文件中被提供到所述客户端设备，所述清单文件包括用于定位一个或多个递送节点的一个或多个流标识符，所述递送节点被配置为把HEVC拼贴视频流和/或所述ROI视频流递送到所述客户端设备。

在一个实施例中，可以根据空间清单文件请求与所述一个或多个识别的HEVC贴片相关联的所述视频数据，所述空间清单文件包括至少一个或多个HEVC贴片标识符-优选为一个或多个URL-和所述贴片位置信息；和可选地与一个或多个ROI视频流相关联的一个或多个ROI视频流标识符，优选地至少所述一个或多个ROI视频流标识符与用于表明ROI位置信息在时间上变化的动态指示符相关联。

在一个实施例中，可以根据空间清单文件请求所述HEVC编码的视频数据，所述空间清单文件包括一个或多个HEVC贴片表示，每个HEVC贴片表示与HEVC拼贴视频流相关联，HEVC贴片表示包括与一个或多个HEVC拼贴流和/或一个或多个HEVC贴片流相关联的一个或多个HEVC贴片标识符-优选为一个或多个URL的至少一部分。每个HEVC贴片表示可以（例如当每个表示涉及不同的变焦级别而不是每个变焦级别包含相同的完整图像区域时）与其自己的HEVC拼贴视频流相关联和/或（例如如果每个变焦级别包含相同的完整图像区域的话）与单个HEVC视频（文件或流）相关联。

在进一步方面中，本发明可以涉及一种用于再现感兴趣区域（ROI）的客户端设备，其中所述客户端可以被配置为：接收ROI视频流以便再现第一ROI，所述第一ROI定义在HEVC拼贴视频流的完整图像区域内的第一子区域，在所述HEVC拼贴视频流中的HEVC贴片的位置由贴片位置信息定义；提供与所述ROI视频流的至少一个视频帧相关联的ROI位置信息，所述ROI位置信息包括所述第一ROI的至少第一位置；根据所述ROI位置信息和所述贴片位置信息识别所述HEVC拼贴视频流的一个或多个HEVC贴片，优选地与所述第一ROI重叠的一个或多个HEVC贴片；并且请求与所述一个或多个识别的HEVC贴片相关联的视频数据-优选被包括在一个或多个HEVC贴片流中-以便再现第二ROI，所述第二ROI定义在所述HEVC拼贴视频流的完整图像区域内的第二子区域；并且可选地根据所述请求的视频数据和所述ROI位置信息来再现所述第二ROI。

在另一方面中，本发明可以涉及一种用于存储视频数据的非瞬时性计算机可读存储介质，其中所述存储介质包括记录区域，包括：ROI流的视频数据，其中所述ROI定义了所述HEVC拼贴视频流的完整图像区域内的子区域；和在所述完整图像区域中的所述子区域的位置信息-优选为坐标。

在一个实施例中，所述位置信息可以被插入到所述ROI流的比特流-优选为定义在所述比特流中所述ROI坐标的位置的ROI坐标标志或SEI消息-中；

在一个实施例中，所述视频数据可以作为MPEG传输流记录，其中所述ROI位置信息的至少一部分被包含在所述MPEG传输流中。

在一个实施例中，所述ROI位置信息可以被包含在所述MPEG传输流中作为基本的传输流或作为DVB定义的SAD（同步辅助数据）。在进一步实施例中，所述SAD分组可以包括一个或多个时移的ROI坐标；

在一个实施例中，所述视频数据可以作为MPEG4流记录，所述ROI位置信息的至少一部分在预定义框中-优选在moov、trak和/或stbl框中-被包含到MPEG4流中；

在实施例中，所述ROI位置信息的至少一部分可以作为水印被插入到所述视频数据中。

在再又一方面中，本发明可以涉及一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质包括存储的数据结构，优选为空间清单文件的至少一部分，并且优选地适合于供如上所述的客户端设备使用，其中所述数据结构可以包括：一个或多个HEVC贴片表示，每个HEVC贴片表示代表HEVC拼贴视频流，HEVC贴片表示包括用于识别一个或多个HEVC贴片的一个或多个HEVC贴片标识符，贴片位置信息定义了HEVC拼贴视频流中HEVC贴片的位置；所述数据结构可以进一步包括含有ROI位置信息的ROI流的至少一个ROI流标识符-优选为URL，所述ROI流包括用于再现第一ROI的视频数据，所述第一ROI定义了在所述HEVC拼贴视频流的完整图像区域内的子区域。作可替换地或另外，所述数据结构可以包括ROI位置信息，用于定义在所述HEVC拼贴视频流的完整图像区域内的所述子区域的位置。此选项在这些情况中（其中例如ROI流不包括ROI位置信息）被预见。在优选实施例中，数据结构被配置成根据HTTP自适应流送协议获取贴片作为HEVC拼贴流。

本发明也可以涉及包括软件代码部分的计算机程序产品，所述软件代码部分被配置为当在计算机的存储器中运行时执行根据以上权利要求中任何一个的方法步骤。

将参考附图进一步说明本发明，所述附图示意地示出了依照本发明的实施例。应当理解本发明不以任何方式局限于这些具体实施例。

附图说明

图1描绘了依照本发明实施例的感兴趣区域（ROI）的流送过程。

图2描绘了依照本发明实施例的ROI流送过程。

图3描绘了依照本发明实施例的用在ROI流送过程中的HEVC编码的MPEG文件的数据格式。

图4示意地描绘了依照本发明实施例的用于产生ROI流和相关联的拼贴内容的过程。

图5示意地描绘了依照本发明一个实施例的用于管理ROI流送过程的数据结构。

图6描绘了依照本发明实施例的用于管理ROI流送过程的空间清单文件。

图7描绘了依照本发明实施例的用于管理ROI流送过程的空间清单文件。

图8A和8B描绘了依照本发明实施例的用于管理ROI流送过程的空间清单文件。

图9描绘了依照本发明实施例的被配置为根据空间清单文件再现ROI流的客户端设备。

图10A和10B描绘了依照本发明实施例的用于再现ROI流的过程的示意图。

图11A和11B描绘了依照本发明实施例的ROI流送过程的流程图。

图12A和12B描绘了依照本发明实施例的用于在非拼贴ROI流送模式和拼贴ROI流送模式之间的无缝切换的过程的示意图。

图13A和13B描绘了依照本发明另一实施例的用于在非拼贴ROI流送模式和拼贴ROI流送模式之间的无缝切换的过程的示意图。

图14描绘了依照本发明的各个实施例的ROI数据格式。

图15描绘了依照本发明实施例的用于在MPEG传输流中传输ROI数据作为基本流的数据格式。

图16A和16B描绘了用于在MPEG流的编码比特流中传输ROI数据的数据格式。

图17A和17B描绘了用于在MPEG-4流的新框中传输ROI数据的数据格式。

图18描绘了用于传输ROI数据作为MPEG-4流的元数据轨道的数据格式。

图19A和19B描绘了依照本发明实施例的用于拼贴流送的空间缓冲器的使用。

图20描述了依照本发明实施例的三模式ROI流送模型。

图21是图示可以用在参考图1-20所描述的系统和方法中的示例性数据处理系统的框图。

具体实施方式

图1描绘了依照本发明实施例的感兴趣区域（ROI）的流送过程。在本申请中，ROI被定义为图像区域100（例如源视频的宽视场（全景）图像区域）的子区域106、110。可以根据（例如组合）一个或多个高分辨率的视频文件来形成源视频，所述高分辨率的视频文件可以具有宽视场、不同的相机位置、不同的相机角度、3D等。可以根据ROI坐标103定义ROI在图像区域100内的位置和尺寸。如图1所示，ROI可以追随ROI轨迹，其中第一ROI在图像区域内的第一位置106的第一时间实例处以及在第二位置110的第二时间实例处。

可以使用跟踪算法或摄影师预先选择ROI。可以通过从源视频的解码帧的图像区域中裁切ROI并且在例如MPEG和/或DVB编码流的独立流中编码裁切区域来产生流。此流可以被称作ROI流107。裁切区域的坐标可以被称作ROI坐标。例如，源视频可以涉及足球比赛的高分辨率的、宽视场（全景）视频，并且可以通过从源视频的解码帧中裁切与球相关联的ROI来根据源视频产生ROI流。

可替换地，ROI流可以作为例如源自追随球的广播相机的独立流产生。在该情况下，图像处理器可以使用公知的图像识别和跟踪算法，以便使广播视频的（有限）视场与源视频的宽视场图像区域的特定子区域（ROI）相关。这样，图像处理器可以使所谓的ROI坐标与ROI流中的帧相关。

在一个实施例中，可以使用诸如DVB之类的广播技术或多播技术来传送ROI流。在另一实施例中，可以根据诸如HTTP自适应流送（HTTP Adaptive Streaming）（HAS）之类的自适应流送协议向客户端传送ROI流。为了那个目的，清单文件108可以定义用于定位一个或多个递送节点的分段标识符，例如URL（的一部分），所述递送节点被配置为向客户端递送分段。自适应流送协议的例子包括苹果HTTP实况流送（Apple HTTP Live Streaming） [http://tools.ietf.org/html/draft-pantos-http-live-streaming-13]、微软平滑流送（ Microsoft Smooth Streaming）[http://www.iis.net/download/SmoothStreaming]、Adobe HTTP动态流送(Adobe HTTP Dynamic Streaming )[http://www.adobe.com/products/httpdynamicstreaming]、3GPP-DASH [TS 26.247透明端到端分组交换流送业务（Transparent end-to-end Packet-switched Streaming Service）（PSS）；HTTP上渐进式下载和动态自适应流送（Progressive Download and Dynamic Adaptive Streaming overHTTP）]和HTTP上MPEG动态自适应流送（MPEG Dynamic Adaptive Streaming over HTTP）[MPEG DASH ISO/IEC 23001-6]。HTTP允许用于向客户端递送视频流（和分段）的高效、防火墙友好的和可扩展的方案。在一个实施例中，可以使用HEVC编解码器编码ROI流。

在以上的例子中，当形成ROI流时可以确定ROI位置信息112。ROI位置信息定义了在源视频的宽视场图像区域内ROI视频的（有限视场）图像区域的位置。因此，ROI视频的视频帧可以定义在源视频的视频帧的图像区域内的子区域。ROI位置信息可以包括用于定义在源视频的图像区域内的ROI的位置和尺寸的ROI坐标。在一个实施例中，对于ROI流中的每个帧（或每组帧），可以产生ROI位置信息（ROI坐标）。在播放ROI流期间，ROI的位置可以在源视频的完整图像区域内移动。在播放ROI流期间，ROI坐标可以在时间上变化由此形成ROI坐标流。ROI坐标流可以定义在源视频的图像区域内的空间轨迹。

在一个实施例中，ROI位置信息可以包括ROI坐标流，ROI坐标流可以与ROI流（同步）被发送到客户端。ROI位置信息可以在独立的通信信道中被发送到客户端。可替换地，ROI位置信息可以作为视频帧的传输容器的一部分被传输到客户端。在下面将更详细地描述例子。

在图1中图示了在源视频的图像区域内ROI在时间上的轨迹。（用于表示ROI的）第一子区域可以在与第一ROI坐标和第一ROI尺寸相关联的第一ROI位置106处的第一时间实例处开始，并且一段时间之后子区域可以移到与第二ROI坐标和第二ROI尺寸相关联的第二ROI位置110。在轨迹期间，ROI可以变焦到源视频的图像区域的预定部分中。因此，在图1中所描绘的ROI在其在源文件的图像区域内的位置及其相对于源文件的图像区域的尺寸可以在时间上变化的意义上是动态ROI。

在图1中所描绘的流—第一（源）流和第二（ROI）流—可以使用诸如HTTP自适应流送（HAS）协议之类的自适应流送协议被递送到客户端以便播放。在该情况中，可以在特殊数据结构中描述在第一（ROI）视频流和第二（宽视场）视频流之间的空间关系，所述特殊数据结构以下将被称作空间清单文件（spatial manifest file）（ SMF）。所述SMF可以包括流标识符（例如URL（的一部分）），客户端可以使用所述流标识符以便定位和访问一个或多个递送节点（例如媒体服务器），所述递送节点能够向客户端传送所述流。除流标识符之外，所述清单文件还可以包括位置信息，位置信息描述了在参考系统内的视频流的图像区域的空间关系。

典型情况下，客户端设备具有有限的再现和带宽能力，并且因此可能不能接收并再现高分辨率质量的源视频的完整图像区域。可以通过使用所谓的拼贴流送技术来解决此问题的至少一部分，其中源流（通常为全景视频流）在空间上被划分为一组贴片流。然后贴片流通常被分开地编码，并且并非源于源视频的单个编码过程。客户端可以通过请求全景视频的贴片流的子集来重构源流的任何一部分。因为在现有技术的编码方案中这些贴片流被独立地编码，所以当接收这些（编码的）贴片流时，在能够向用户显示视频数据之前客户端需要使用多个解码器实例来解码所述贴片流并且把解码的贴片流的视频数据缝合在一起。

然而用于一个客户端的多个解码器实例的使用付出了大量处理器资源的代价。特别是当使用大量贴片时，客户端进程变得很复杂并且极其资源密集。可以通过使用HEVC视频压缩标准解决此问题。

图2描绘了依照本发明实施例的ROI流送过程，其中源文件（视频）可以被编码为HEVC拼贴流。

在HEVC中，视频帧被划分为所谓的编码树单元（coding tree units） CTU），它是在用于解码过程的HEVC标准中的基本处理单元。此外，HEVC编码器可以被配置为把HEVC流中的视频帧200划分为所谓的HEVC贴片201，其中HEVC贴片是按照CTU的特定分组定义的矩形区。HEVC贴片可以例如把全景视频的图像区域划分为多个邻近的矩形区域（矩形区域可以具有不同的尺寸），其中所述HEVC贴片的边界在列和行方向上由HEVC贴片边界定义。在本申请中，包括一个或多个HEVC贴片的HEVC编码的视频流可以被称作HEVC拼贴流。

HEVC贴片被引入到HEVC编解码器中以用于（使用多核处理器）并行编码和解码视频数据，使得可以实现视频数据的高效处理。这样，可以使用单个HEVC解码器高效地解码HEVC拼贴视频。另外，HEVC贴片也可以用于只播放在HEVC拼贴流中所包含的HEVC贴片的子集。

为了那个目的，HEVC标准允许与每个HEVC贴片相关联的空间和时间约束的信令以便确保编码和解码过程的总独立性。特别地是，HEVC标准允许把视频编码中公知的空间和时间预测（例如运动向量和回路滤波器）限制在HEVC贴片的边界内。使用这些空间和时间约束，与HEVC贴片能够被流送客户端各个地存储和访问相比，HEVC编码器可以被配置为产生可独立解码的HEVC贴片。

在HEVC拼贴流中的HEVC贴片的位置可以由贴片位置信息205确定，贴片位置信息205可以根据坐标系203来定义。因此，HEVC贴片的位置指的是在HEVC拼贴流的完整图像区域（区）内贴片的图像区（子区域）的空间位置或定向。

在HEVC流的图像区域中的一个或多个移动的ROI 206、210的位置可以依照参考图1所描述的类似方式由ROI位置信息212定义。ROI位置信息可以在时间上改变，由此定义了在源文件的图像区域内的移动ROI的轨迹。也可以使用用于定义贴片位置信息的坐标系以便如参考图1所详细描述的那样确定在ROI流中ROI的ROI坐标。在图像区域涉及2D或3D图像区域的情况下，可以使用笛卡儿坐标系。可替换地，在图像区域涉及弯曲图像区域的情况下，可以使用其它非笛卡尔的曲线坐标系，例如柱面、球面或极坐标系。

在一个实施例中，HEVC编码器可以被配置为用于产生与HEVC拼贴视频流相关联的HEVC贴片202，以致HEVC贴片能够被独立地存储并且被HEVC解码器独立地解码。例如，图3描绘了依照本发明实施例的在ROI流送过程中可以使用的HEVC拼贴MPEG文件或流302的数据格式300的例子。在一个实施例中，与（在HEVC贴片流中所包括的）HEVC贴片相关联的独立可编码的视频数据可以作为轨道304-312存储。特别地是，与HEVC贴片相关联的视频数据314可以作为所谓的（HEVC）贴片轨道306-312存储。

当产生用于贴片轨道的视频数据时，把用于视频编码的空间和时间预测（例如运动向量和环路滤波器）完全保持在一个HEVC贴片的边界内。这样，在视频帧中的一个HEVC贴片的视频数据和所述视频帧中的其它HEVC贴片的视频数据之间不存在空间解码相关性。另外，在视频帧中的一个HEVC贴片的视频数据和较早视频帧中的其它HEVC贴片的视频数据之间也不存在空间解码相关性。

在一个实施例中，贴片轨道可以进一步包括贴片位置信息316。解码器可以使用贴片位置信息以便确定它需要从HEVC流中提取哪个轨道来用于解码。在一个实施例中，轨道中的贴片位置信息可以包括贴片来原点和贴片尺寸信息（例如宽度和高度参数）以便如参考图1和2所描述的那样在由坐标系所定义的参考空间中安置所述贴片。

在一个实施例中，图3的数据格式300可以包括所谓的基础轨道304。所述基础轨道可以包括提取器318，其中提取器定义了对一个或多个相应贴片轨道的参考。通过解析基础轨道，解码器可以利用它涉及的贴片轨道的音频和/或视频数据来代替提取器。如果特定的视频应用不要求特定的贴片，那么解码器可以简单地忽略其相应的提取器。如果没有接收或获取特定轨道的视频数据。这种轨道的不存在可以被HEVC解码器解释为“缺失数据”。因为HEVC贴片可以独立于其它HEVC贴片被解码，因此来自一个或多个轨道的数据的不存在（“缺失数据”）并不阻止解码器解码能够获取的其它轨道。

在一个实施例中，图3的数据格式可以进一步包括ROI轨道，所述ROI轨道包括ROI位置信息，例如在HEVC拼贴流的完整图像区域内ROI流的（有限视场）图像区域的ROI坐标。ROI位置信息可以包括ROI坐标， ROI坐标可以根据与HEVC拼贴流的完整图像区域相关联的坐标系103来定义。在进一步实施例中，ROI轨道可以包括ROI的视频数据。

也可以使用在图3中所描绘的数据格式以便存储HEVC拼贴流的HEVC贴片作为独立的HEVC贴片流，以致在客户端设备中的客户端可以使用SMF以便分别地向递送节点（例如媒体服务器）请求HEVC贴片流。为了那个目的，SMF可以包括一个或多个贴片标识符（例如URI或URL的至少一部分）。贴片标识符可以由客户端用来定位一个或多个递送节点（例如一个或多个媒体服务器或CDN），一个或多个递送节点被配置为存储和递送HEVC拼贴视频数据。包括一个HEVC贴片的HEVC拼贴流可以被称作HEVC贴片流。

在图2中所描绘的HEVC贴片流和ROI流可以被递送到客户端设备以便使用诸如HTTP自适应流送（HAS）协议之类的自适应流送协议来播放。为了那个目的，HEVC贴片流可以在时间上被划分成预定时段的时间分段。因此，在该情况下SMF可以进一步包括与HEVC拼贴流相关联的时间分段标识符，使得客户端设备可以向网络中的一个或多个递送节点顺序地请求HEVC拼贴流的时间分段。在空间清单文件（SMF）204中可以定义在第一（ROI）视频流和一个或多个HEVC拼贴视频流之间的时间和空间关系。在MPEG-DASH流送协议的情况下，清单文件也可以被称作媒体呈现描述（MPD）。

SMF可以包括一个或多个HEVC流标识符、一个或多个ROI流标识符和/或一个或多个HEVC贴片标识符。SMF可以进一步包括用于在特定的坐标系内描述在一个或多个ROI流和一个或多个HEVC流之间的空间关系的位置信息。在另一实施例中，位置信息可以进一步包括用于在坐标系内描述在一个或多个HECV贴片之间的空间关系的信息。关于HEVC贴片的空间信息也可以被称作贴片位置信息。在下面参考图5-8描述了依照本发明的各个实施例的空间清单文件的更详细例子。

可以产生一个源文件的不同的HEVC贴片表示或—简言之—贴片表示（用于表示例如贴片尺寸、2D和3D格式、不同的视频和/或音频质量（例如SD/HD/UHD，比特率等）、不同的分辨率、不同的视场、相机角度等）。对于每个贴片表示，源文件的视频帧可以被编码到包括预定数目的（优选独立地）可解码的HEVC贴片的HEVC拼贴视频文件（HEVC拼贴视频文件也被称为HEVC拼贴视频流，因为它实质上包含可以被流送到客户端设备的HEVC编码的视频数据）中，其中每个HEVC贴片201可以表示HEVC拼贴视频文件的完整图像区域的子区域。可以使用HEVC编码器以便根据源文件的视频帧产生包括HEVC贴片的HEVC编码的MPEG流。

根据（包括HEVC贴片的坐标的）贴片位置信息和（包括ROI流的ROI坐标的）ROI位置信息，客户端设备可以请求HEVC贴片流或多个HEVC贴片流，HEVC贴片流或多个HEVC贴片流可以由客户端设备用来构造包括第一子区域（ROI）的子区域。特别地是，空间邻接的HEVC贴片可以由解码器用来构造优选包括ROI流的ROI的子区域。

例如，如图2所示，在第一时间实例，ROI坐标定义了与四个HEVC贴片（在这种情况下为在位置（1，0）、（1，1）、（2，0）和（2，1）的HEVC贴片）重叠的第一ROI 206。这四个HEVC贴片可以形成在包括在第一时间实例的ROI的HEVC拼贴全景流的图像区域内的第二子区域。类似地，在第二时间实例，ROI坐标可以定义与两个HEVC贴片（在这种情况下为在位置（0，2）和（1，2）的HEVC贴片）重叠的第二ROI 210。这两个HEVC贴片可以形成在包括第二时间实例的ROI的HEVC拼贴全景流内的第二子区域。此方案可以用来从ROI流平滑地切换到拼贴流。

如下面更详细地描述，用户可以使用用户接口（例如触摸屏或指向设备）与显示的图像区域相交互并且（例如根据摇摄、变焦、倾斜操作）操纵显示的内容。响应于此用户交互，接口可以产生让客户端设备开始根据HEVC拼贴流再现用户请求的ROI的指令。因此，用户可以移动和/或扩展ROI以及——作为响应——适当的贴片表示，可以选择在该贴片表示内的HEVC拼贴流和所述HEVC拼贴流的一个或多个HEVC贴片以便形成邻近的HEVC贴片的区域，在该区域中定位ROI。如果与贴片相关联的视频数据已经存在于客户端设备，那么在所述视频数据能够用于再现ROI之前，所述贴片不必作为HEVC贴片流被流送到客户端设备。如果这些数据不存在，那么在再现ROI之前它们首先被作为一个或多个HEVC贴片流流送。再现用户选择的ROI的此模式可以被称作拼贴流送模式。

因此，从以上可以看出：1）用户可以根据ROI流在第一模式（在（（非拼贴）ROI流送模式）中观看确定场景（如参考图1所描述），其中ROI流可以例如作为MPEG流被递送到客户端设备；和2）用户可以根据HEVC拼贴流在第二模式（拼贴流送模式）中观看相同的场景、场景的细节或场景周围的区域（如参考图2所描述）。如图1和2所示，根据ROI位置信息，即与ROI流相关联的ROI坐标，来实现从ROI流送模式到拼贴流送模式的转变（以及反过来）。

在默认流送模式、（非拼贴）ROI流送模式中客户端可以使用ROI流，其中客户端设备再现广播、多播或单播ROI流。HEVC拼贴流可以由客户端用来再现ROI，所述ROI可以由用户使用客户端设备的用户接口（UI）操纵。当在ROI流送模式中客户端正再现ROI流时，客户端根据ROI位置信息将知道在源视频的完整图像区域内ROI的位置。与ROI流相关联的ROI位置信息可以由客户端用来平滑地甚至无缝地切换到拼贴流送模式。

图4示意地描绘了依照本发明实施例的用于产生ROI流和相关联的HEVC拼贴流的过程。在此例子中，一个或多个相机402，例如一个或多个高分辨率的、宽视场相机，可以用来产生或构成源视频，通常为全景视频。HEVC编码器404可以用来根据源视频产生一个或多个HEVC拼贴流408。HEVC拼贴流可以定义源视频的不同贴片表示409，其中在SMF 410中可以定义关于HEVC拼贴流、在每个HEVC拼贴流中的HEVC贴片的信息以及在一些实施例中在HEVC拼贴流中的分段的时间关系。

源视频可以被进一步递送到ROI流产生器412。ROI流产生器被配置为通过摇摄和变焦源帧的帧的图像区域来选择ROI（例如具有特定活动的区域），以及通过从视频帧中裁切ROI并且根据裁切的图像区域构建新的视频流（ROI流414）产生ROI流。可以使用算法或用于选择ROI的操作员来自动地选择ROI，所述算法例如用于跟踪图像中的特定对象的跟踪算法。在ROI流的产生期间，可以收集ROI的坐标作为ROI位置信息418。ROI位置信息可以作为ROI流中的元数据或作为独立的数据文件被发送到客户端。如果在独立的流中发送ROI位置信息，那么ROI位置信息可以包括用于把例如ROI坐标的ROI位置信息链接到ROI流中的帧的信息（例如帧数）。在进一步实施例中，ROI流可以被配置为在时间上分段的流以用于自适应流送。在该情况下，可以在ROI清单文件416中定义ROI流的分段。

在一个实施例中，ROI流不是根据源文件（例如通过裁切）形成，而是独立的广播相机的直接输出，即广播流，独立的广播相机捕获参考图1所描述的源视频中所包含的相同场景的一部分。

组合器420可以在把ROI流发送到递送网络422之前把ROI流与一个或多个HEVC拼贴流408组合。把ROI流与HEVC拼贴流组合可以包括形成SMF，SMF包括关于HEVC拼贴流和ROI流的信息两者。在一个实施例中，组合器可以把ROI流标识符（例如URI或URL的至少一部分）以及在一些实施例中与ROI流的时间分段相关联的清单文件插入到SMF中。

一个或多个HEVC拼贴流（可选地作为独立的HEVC贴片流的集合）和ROI流可以存储在网络中的一个或多个递送节点426_1,2，其中递送节点被配置为把一个或多个HEVC拼贴流的至少一部分（例如一个或多个HEVC贴片流）和/或ROI流递送到（移动）客户端设备中的客户端428。

在一个实施例中，递送节点可以是媒体服务器。在另一实施例中，至少一部分递送节点（有时也被称为代理节点）可以是专用内容递送网络（CDN）一部分。在该情况下，HEVC拼贴流和ROI流可以被内容递送网络控制功能424（CDNCF）摄取。CDNCF然后在不同的递送节点上分送HEVC拼贴流和ROI流，以便确保流的高效分发。在一个实施例中，CDN可以更新贴片（和分段）标识符（URL），以致客户端可以高效地访问CDN的递送节点以便请求（拼贴的）内容的递送。

当客户端设备的客户端428想要访问ROI和/或HEVC拼贴流时，它可以从内容提供者或CDN接收SMF并且使用所述SMF请求和播放ROI流和/或HEVC拼贴流的一个或多个相关联的HEVC贴片。客户端设备一般可以涉及（移动）内容播放设备，诸如电子平板、智能电话、笔记本、媒体播放器、具有家庭网关或DASH功能的设备，诸如具有DASH功能的HbbTV显示设备。可替换地，客户端设备可以是机顶盒或内容存储设备，机顶盒或内容存储设备被配置为处理和临时存储将来供内容播放设备消费的内容，所述内容播放设备可以访问存储的内容。

图5示意地描绘了依照本发明一个实施例的用于管理ROI流送过程的数据结构500。特别地是，图5描绘了空间清单文件（SMF），空间清单文件可以包括几个分层的数据级502、508、518_1,2。第一数据级502可以涉及用于定义源视频（例如source1.mp4）的一个或多个贴片表示506_1-3的贴片构成信息。典型情况下，可以根据一个或多个高分辨率的并且常常宽视场HD甚至UHD视频流或文件来形成源视频。

下一数据级508可以定义贴片表示506_1-3。贴片表示508可以定义一组确定质量的HEVC贴片511。HEVC贴片实例512_1-4可以定义HEVC贴片。在一个实施例中，该组HEVC贴片可以被定义为HEVC拼贴流中的HEVC贴片轨道。在本发明的实施例中，该组HEVC贴片可以被定义为一组可分别存储和访问的HEVC贴片流。

贴片位置信息可以定义在确定贴片表示的HEVC拼贴流中HEVC贴片的位置。例如，两个HEVC贴片（贴片位置（1，1）和（1，2））包括与源视频（相关联的HEVC拼贴视频）中的图像区域的上半部相关联的内容。

贴片表示可以进一步包括关于源分辨率510的信息，所述源分辨率510用于表明源视频的分辨率版本，源视频的分辨率版本用来产生在空间图中涉及的HEVC贴片。例如，在图5中，在空间图中涉及的HEVC贴片可以根据源视频的4096 x 2160分辨率版本来产生。

在一个实施例中，与一个HEVC贴片相关联的数据可以被构造为贴片信息518_1,2，即关于各自HEVC贴片的信息。贴片信息可以包括HEVC贴片的位置信息520_1,2，例如贴片坐标。贴片坐标可以是基于绝对或相对坐标系并且可以由HEVC解码器用来把HEVC贴片在空间上安置到无缝视频图像中以便显示。

贴片信息可以进一步包括一个或多个贴片标识符522_1,2（例如URI或URL的一部分）。在一个实施例中，贴片信息可以用于定位一个或多个递送节点和/或用于定位一个或多个具体文件，所述递送节点被配置为把HEVC贴片流中的HEVC贴片的视频数据传送到客户端设备，所述具体文件优选为在这些递送节点之一上的可流送文件。

在一个实施例中，SMF可以进一步包括一个或多个ROI流的数据结构505（例如清单文件或对清单文件的参考），其中所述ROI流可以根据与HEVC贴片相同的源视频产生。在一个实施例中，ROI流可以包括ROI位置信息。在另一实施例中，SMF可以包括对包括ROI 507的位置信息的流或者文件的参考（例如URL）。

图6描绘了依照本发明实施例的用于管理ROI流送过程的空间清单文件600。特别地是，图6描绘了用于定义不同的MPD视频元素的MPEG-DASH MPD的例子，所述MPD视频元素关联于标识符，例如URL或URI（的一部分）。（驻留在客户端设备上的）DASH客户端可以使用标识符来访问和获取与MPD视频元素相关联的视频数据。例如在此例子中，第一MPD视频元素602可以与至少一个全景视频（由URI“full_panorama.mp4（“完整_全景.mp4）”606定义的宽视场视频）相关联。第二MPD元素604可以与ROI视频（ROI video）（由URI“zoomed_part.mp4（“被变焦_部分.mp4）”608定义的ROI视频）相关联，其中在MPD视频元素之间的空间关系的至少一部分根据位置信息来定义，这将在下面更详细地进行描述。

MPD视频元素可以被定义为“适配集（AdaptationSet）”属性，“适配集（AdaptationSet）”属性包括一个或多个表示（相同或相关联的内容的不同版本，其中可以用一个或多个编码参数来定义差异）。

DASH客户端可以使用MPD中的信息来向网络请求与MPD视频元素相关联的视频数据。此外，DASH客户端可以使用MPD中的信息（元数据）来配置HEVC解码器，使得一旦接收视频数据所述HEVC解码器就可以开始解码HEVC编码流的视频数据。用于配置HEVC解码器的信息（元数据）可以包括在MPD视频元素（在这种情况下为HEVC拼贴全景视频流和ROI流）之间的空间关系。为此，MPD作者可以把位置信息包括在MPD中。可以用一个或多个空间关系描述符（SRD）610、612定义位置信息。可以在必要特性（EssentialProperty）属性（当处理描述符时要求要被客户端理解的信息）或补充特性（SupplementalProperty）属性（当处理描述符时可以被客户端丢弃的信息）中使用SRD以便向解码器特别是HEVC解码器通知在MPD视频元素之间的空间关系存在。在一个实施例中，可以使用空间关系描述符schemeldUri“urn:mpeg:dash:srd:2014”。

在一个实施例中，可以根据@value（@值）属性614、616定义位置信息，所述@value属性614、616可以包括多个参数，多个参数包括但不局限于：

-source_id(源-id)参数618、619可以定义MPD元素（适应集（AdaptationSet）或子表示（SubRepresentation））的组，MPD元素互相具有空间关系。

-位置参数620、621 x,y,w,h可以定义MPD视频元素的位置，其中坐标x、y定义了MPD视频元素的图像区域的原点并且w和h定义了图像区域的宽度和高度。位置参数可以用给定任意单元（例如像素单元）表示。

-元组W和H 622、623定义了用与x、y、w和h相同的任意单元表示的参考空间的维度。

-spatial_set_id （空间_集_id）624、625允许在相干组中MPD元素的分组。MPD元素的这种组可以例如被用作为分辨率层指示符。

-动态（dynamic）参数626可以用来发信号通知空间表示描述符612的位置随时间推移改变。在该情况下，值x和y被设置为0，意思是MPD没有提供它们，但是它们在MPD外部被发信号通知。隐含地，将在视频容器中发现表示的位置。

因此，在图6中所描述的清单文件可以定义一个或多个HEVC拼贴流（例如HEVC拼贴全景流）和一个或多个动态ROI流，它们在彼此之间具有空间关系。在不同的MPD视频元素的位置信息中的源参数“1”表明不同的MPD视频元素在空间上彼此相关。

可以根据HEVC拼贴流和ROI流的位置参数来定义在流之间的初始空间关系。此后，因为在MPD中的ROI流被定义为“动态”ROI流（由动态参数所表明），所以在流之间的空间关系可以在时间上连续地改变。ROI的移动可以依据ROI位置信息被提供到客户端。ROI位置信息可以包括ROI位置数据（ROI坐标），ROI位置数据可以与ROI流一起被传送到客户端设备。

因此，在视频数据实际上被客户端接收之前，与MPD视频元素相关联的位置信息可以由DASH客户端用来向HEVC解码器通知流的空间关系。这样，HEVC解码器可以被初始化并且一接收到所述视频数据就开始解码视频数据。

图7描绘了依照本发明另一实施例的用于管理ROI流送过程的空间清单文件700。特别地是，图7描绘了用于定义不同的MPD视频元素的MPEG-DASH MPD的例子，所述不同的MPD视频元素包括与至少一个HEVC拼贴视频流（在此特定的例子中为由URL“full_panorama.mp4（“完整_全景.mp4）”识别的宽视场视频）相关联的至少一个第一MPD视频元素702和与ROI视频流（在此特定的例子中为由URL“roi.mp4”定义的ROI视频）相关联的至少一个第二MPD元素704，其中根据位置信息（例如采用一个或多个SRD的形式）定义在HEVC拼贴视频流和ROI流中的不同的HEVC贴片之间的空间关系。

第一MPD视频元素可以被定义为适应集（AdaptationSet），适应集包括表示703(Representation)和一个或多个子表示(SubRepresentation)7161-4（即构成此表示的部分，它们能够被链接到参考图3所描述的处于容器级别的轨道的概念）。这例如可以是在分离的轨道中的相同的文件容器中内容（音频和视频）被复用时的情况。在一个实施例中，第一MPD视频元素可以定义HEVC拼贴视频流，其中表示703定义了拼贴的宽视场全景流（在这种情况下由四个HEVC贴片构成）。子表示716_1-4定义了各自HEVC贴片，其中每个HEVC贴片可以作为独立的轨道存储在MPEG流中，如上面的图3中所示。可以编码轨道中的视频数据，以致由解码器独立播放HEVC贴片的（时间分段）是可以的。

编码器属性“编解码器（codecs）”719_1-4指的是“hvt1”类型编解码器（hvt1中的t指的是贴片），“hvt1”类型编解码器表明视频数据属于HEVC贴片。此外，子表示中的每个HEVC贴片可以与SRD 718_1-4相关联，所述SRD 718_1-4包括用于定义HEVC贴片的位置的一个或多个位置参数720_1-4。

第二MPD视频元素可以利用用于定义ROI流的位置的一个或多个位置参数708来定义在ROI视频的必要特性（EssentialProperty）属性中的ROI视频流SRD 706。

在一个实施例中，SRD方案可以由schemeldUri“urn:mpeg:dash:srd:2014”定义，其中可以根据@value属性值708、710、714、720_1-4来定义空间关系。因为ROI流的ROI坐标在时间上改变，所以ROI视频的SRD可以包括“动态”参数710，如参考图6详细描述的。

第一和第二MPD视频元素的SRD 712、706、718_1-4可以用于向HEVC解码器通知不同流的空间关系。

在图7的例子中，HEVC拼贴流可以作为一个流被发送到客户端设备。选择HEVC贴片以供播放可以在解码阶段实现。

在一个实施例中，轨道视频数据可以被顺序地存储，由此允许DASH客户端获取对应于一个子表示的子分段的一部分。这种HTTP请求会利用字节范围信令，其中依照ISO/IEC14496部分12在所谓的“ssix”框中提供用于每个子表示的字节范围。

在从轨道提取的时间分段并非自给自足的情况下，可以提供初始化分段URL作为表示的属性以克服此问题。可以定义所谓的初始化分段，所谓的初始化分段包括为再现HEVC贴片的分段中的视频数据所必须的元数据。在初始化分段中，可以提供HEVC贴片的贴片结构和/或位置。

图8A描绘了依照本发明另一实施例的用于管理ROI流送过程的空间清单文件800。特别地是，图8A描绘了用于定义不同的MPD视频元素802、803_1,2、804的MPEG-DASH MPD的例子。第一MPD视频元素802与由URI“full_panorama-base.mp4（完整_全景-基础.mp4）”814₁定义的HEVC拼贴全景视频相关联。这里，HEVC拼贴全景视频被定义为包括“提取器”的基础轨道，所述提取器指的是由MPD视频元素803_1,2定义的一个或多个可分别寻址的贴片轨道（依照与参考图3描述的类似方式）。

MPD视频元素803₁可以定义包括由第一贴片标识符814₂（“full_panorama-tile1.mp4（完整_全景-贴片1.mp4）”）识别的第一HEVC贴片的视频数据的第一贴片轨道，并且MPD视频元素803₂可以定义包括由第二贴片标识符814₃（“full_panorama-tile2.mp4（完整_全景-贴片2.mp4）”）识别的第二HEVC贴片的视频数据的第二贴片轨道。最后的MPD视频元素804可以定义ROI视频流（在此特定的例子中为由ROI流标识符“zoomed_part.mp4（被变焦的_部分.mp4）”806定义的ROI视频）。

位置信息可以用于向HEVC解码器通知在MPD视频元素之间的空间关系，所述位置信息包括在ROI视频的EssentialProperty（必要特性）属性中的SRD 808和在MPD视频元素的SupplementalProperty（补充特性）属性中的SRD 816_1-3。在一个实施例中，空间关系描述符schemeldUri“urn:mpeg:dash:srd:2014”可以用于定义位置信息，其中可以根据@value属性值810、818_1-3和“动态”参数定义空间关系，如参考图6所详细描述的。

在此特定的实施例中，HEVC贴片被格式化为独立地可储存的和可寻址的HEVC贴片流。由@id“panorama（全景）”识别的表示802表示如上参考图3解释的基础轨道，并且可以结合由@id“tile1（贴片1）”和“tile2（贴片2）”识别的表示803_1-3定义的HEVC贴片使用。

因此，客户端可以使用SMF以便向递送节点（使用基础轨道中的信息）请求HEVC拼贴全景视频流和请求HEVC贴片流。然后，当接收请求的轨道时，解码器可以解析基础轨道并且利用它涉及的贴片轨道的音频和/或视频数据来代替所述基础轨道中的提取器。可替换地，在另一实施例中，客户端可以使用SMF以便分别地请求分离的HEVC贴片轨道并且HEVC解码器可以解码贴片轨道以便再现。

图8B描绘了依照本发明另一实施例的用于管理ROI流送过程的空间清单文件800。特别地是，图8A依照与参考图8A描述的类似方式描绘了用于定义包括两个HEVC贴片的HEVC拼贴全景视频的MPEG-DASH MPD的例子。然而在此实施例中，在ROI流822被描述为包括与ROI视频数据相关联的第一子表示824₁和与ROI坐标相关联的第二子表示824₂的表示的意义上不同地定义所述ROI流822。

因此，在此特定的实施例中，ROI视频数据和ROI坐标被存储在分离的轨道中，即包括HEVC编码的视频数据的视频轨道（用编解码器属性“hvc1”826所标示的）和包括坐标的元数据轨道（用编解码器属性“coor”828所标示的）。

因此，从以上可以看出：客户端不仅使用SMF中的信息来定位网络节点中的递送节点，其中所述递送节点能够把想要的视频数据递送到客户端，而且使用在SMF中定义的ROI流和HEVC拼贴流的元数据以便在客户端接收HEVC拼贴视频数据和/或ROI（视频）数据之前配置解码器。此元数据可以包括例如：

-用于确定选择的空间分段与HEVC拼贴视频数据相关的信息（例如编解码器属性“hvt1”）；

-用于（使用用于定义HEVC贴片的子表示）发信号通知HEVC贴片的视频数据被存储在分离的轨道中的信息；

-用于确定HEVC贴片的数目和/或尺寸的信息（例如被表示为子表示的HEVC贴片的数目和/或与SRD相关联的位置信息的一部分）；

-用于确定HEVC贴片或ROI流的位置的位置的信息（例如与SRD相关联的位置信息的一部分）；

-用于（例如使用“动态”参数）发信号通知ROI位置和/或ROI的尺寸在时间上改变的信息；

-用于（例如使用用于定义元数据轨道的子表示）发信号通知ROI位置信息被存储在与ROI视频数据分离的轨道中的信息。

图9描绘了依照本发明一个实施例的客户端设备。特别地是，图9描绘了包括用于解释与（拼贴）内容的用户交互的用户导航功能904的客户端设备，所述（拼贴）内容由可以包括HEVC解码器922和裁切器924的媒体播放器906处理。用户导航功能可以连接到用户接口，所述用户接口可以包括触摸屏、相机、键盘、鼠标、轨迹球、游戏杆、麦克风、头部跟踪传感器、眼睛和视线跟踪、按钮或允许操纵（例如摇摄、变焦和/或倾斜）显示内容的任何其它人机接口。

客户端设备可以进一步包括清单高速缓存器922，用于从网络中的内容提供者或内容源（例如媒体服务器或CDN）接收一个或多个空间清单文件（SMF）。如参考图5-8所详细描述，SMF 916可以定义一个或多个HEVC拼贴流的贴片标识符（URL）（的一部分）。此外，SMF可以包括含有HEVC贴片的位置的贴片位置信息。

在一些实施例中，SMF可以进一步包括用于定义ROI流的数据结构，数据结构可以根据HTTP自适应流送协议被格式化。可替换地，用于定义ROI流的数据结构可以作为分离的清单文件存储在清单高速缓存器中。

在一个实施例中，ROI流可以是单播流。在另一实施例中，ROI流可以是其中嵌入ROI坐标的多播或广播流。在该情况下，客户端设备可以被配置为分别请求（调入或加入）广播流或多播流。

清单高速缓存器可以被连接到流获取器910和流选择器912。流选择器可以选择一个或多个流（HEVC拼贴流、一个或多个HEVC贴片流和/或ROI流）并且依照确定方案指示所述流获取器向网络920请求一个或多个选择的流。

在没有用户交互的默认情况下，如参考图1和2所详细描述的，可以根据包括ROI位置信息（或与之相关联）的ROI流把与SMF相关联的内容流送到客户端设备。因此，在ROI流是HAS流的情况下，流选择器可以指示流获取器请求（默认的）ROI流的时间分段。ROI流的分段不被流处理器处理而是被直接转发到媒体播放器的缓冲器908。类似地，在ROI流是广播或多播流的情况下，流选择器可以加入或调入到所需要的广播流中并且流接收器可以把分组直接转发到缓冲器908。

当用户导航功能被用户交互触发时，所述用户导航功能可以指示流处理器从ROI流中提取ROI位置信息并且把该信息转发到ROI产生器。ROI产生器可以开始产生ROI坐标，其中第一坐标可以对应于在检测到用户交互的时间实例时被客户端设备处理的ROI流的一个或多个帧的ROI坐标。

在另一实施例中，流处理器可以始终从ROI流提取ROI位置信息并且把此信息提供到ROI产生器。在该情况下，在ROI流的流送和再现期间，再现的帧的ROI坐标始终可用于客户端设备。在一些实施例中，可以在不解码帧的情况下从ROI流提取ROI位置信息。在其它实施例中，可以在解码帧之后从ROI流提取ROI位置信息。在该情况下，流处理器可以属于媒体播放器的一部分，所述媒体播放器包括用于解码编码帧的解码器。

ROI产生器可以根据用户导航输出和ROI流的ROI坐标来开始计算ROI坐标。在一个实施例中，用户导航功能可以解释用户交互并且产生ROI向量，所述ROI向量允许ROI产生器计算与特定的用户交互有关的新的ROI坐标。例如，用户导航功能可以把一个手指滑动手势解释为ROI的摇摄（平移）并且产生用于该ROI产生器的平移向量。依照类似方式，两个手指的捏合手势可以被解释为ROI的变焦动作，保持按钮被解释为冻结ROI，并且口头的用户命令“全屏幕”被解释为变焦到全屏幕。当接收用户输入时，ROI产生器继续计算ROI坐标。

当流选择器从ROI产生器接收计算的ROI坐标时，它可以使用SMF中的贴片位置信息和来源于ROI产生器计算的ROI坐标以便选择一组邻近的HEVC贴片，所述一组邻近的HEVC贴片可以用于形成完整图像区域内的子区域，并且其中每个HEVC贴片的视频数据是独立地可存储的和可解码的。与这些HEVC贴片相关联的视频数据然后可以如上面参考图1-9所描述的根据SMF被请求并且作为一组分离的HEVC贴片流被流送到客户端设备。在接收HEVC贴片流之后，在向HEVC解码器924发送视频数据以便产生包括ROI的图像区域的解码图像数据之前，流处理器可以同步和复用不同的HEVC贴片流的视频数据。可以由裁切器926根据ROI坐标裁切图像区域。因此，最终ROI可以小于由解码过程所导致的图像区域。裁切的图像（均包括ROI）可以被缓冲并且被在显示器（未示出）上再现。

因此，从以上可以看出：用户交互可以导致客户端设备从其中显示预定的ROI的（默认）非拼贴ROI流模式切换到其中可以经由用户交互操纵显示给用户的ROI的拼贴流送模式。术语“预定”涉及以下事实：在图像区域内此ROI的空间安置在一段时间上是预定的并且在客户端设备的控制之外。在一个实施例中，当从ROI流送模式切换到拼贴流送模式时，客户端设备在切换时确定这种预定ROI流的ROI的ROI坐标并且使用这些ROI坐标以便形成基本上相同的ROI（例如在拼贴流送模式中具有相同尺寸以及基本上相同的位置的ROI），使得实现在再现内容期间的平滑转变。

在一个实施例中，外部信号可以使客户端设备从非拼贴ROI流模式切换到拼贴流送模式。例如，ROI产生器可以被触发以开始根据ROI流中的信号或另一外部信号计算ROI坐标。

当从ROI流送模式切换到贴片流送模式时，ROI流中的帧和选择的HEVC贴片流的帧被客户端接收并且可以根据共用的内容播放时间线被同步，使得启用在两个模式之间的平滑甚至无缝的转变。

图10A和10B描绘了依照本发明实施例的客户端过程的示意图。特别地是，图10A描绘了用于根据源于用户导航功能的信息控制ROI的产生的客户端过程。所述过程可以在（默认）ROI流送模式开始（步骤1000）。只要没检测到用户交互，客户端设备（也被称为“客户端”）就可以根据ROI流继续ROI的再现（ROI流送模式）。如果客户端检测到用户交互（步骤1002），那么可以开始ROI产生器（步骤1004）以便计算用于流选择器和流处理器的ROI坐标（步骤1006）。由ROI产生器确定的第一ROI坐标可以对应于在用户开始与之交互的ROI流中的一个或多个再现帧的ROI坐标。这些ROI坐标可以被转发到流选择器（步骤1006）以便切换到拼贴流送模式（步骤1008；如参考图10B更详细地描述的）。

用户导航功能可以解释特定的用户交互（步骤1010）并且把此信息（作为ROI向量）转发到ROI产生器，所述ROI产生器继续接收与由客户端再现的ROI帧相关联的ROI位置信息。ROI产生器可以根据ROI流的ROI位置信息和ROI向量计算进一步的ROI坐标（步骤1012）并且把计算的ROI坐标转发到流选择器和流处理器以便在拼贴流送模式中再现ROI。只要检测到用户交互，此过程就可以继续（步骤1014）。当ROI产生器检测到不再有用户活动时（步骤1014），ROI产生器可以停止ROI坐标的产生。

特别地是，图10B描绘了用于从在ROI流送模式中再现ROI切换到在拼贴流送模式中再现ROI的客户端过程。所述过程可以通过流选择器从ROI产生器接收计算的ROI坐标开始（步骤1020）。由流选择器接收的第一ROI坐标可以对应于在用户开始了与之交互的ROI流中的一个或多个再现帧的ROI坐标。流选择器可以使用贴片位置信息和ROI坐标确定帧中的HEVC贴片，可以从HEVC贴片形成图像区域，所述图像区域包括计算的ROI（步骤1022）。客户端可以从在清单高速缓存器中存储的SMF中获取贴片位置信息。

可替换地，在另一实施例中，客户端设备（例如客户端设备中的流处理器）可以从（存储的）HEVC拼贴视频中直接获得贴片位置信息。例如如参考图3所详细描述的，（作为文件存储的）HEVC拼贴视频流可以包括贴片轨道，其中每个贴片轨道包括贴片位置信息。在该情况下，为了确定哪些HEVC贴片与想要的ROI重叠，不需要任何SMF。

流选择器可以指示流获取器向网络请求与选择的HEVC贴片相关联的视频数据（步骤1024）。当客户端接收到所请求的HEVC贴片流时，它可以根据它们共用的内容播放时间线同步所述流，把视频数据复用到HEVC拼贴视频流中并且向HEVC解码器发送用于解码的视频数据（步骤1026）。用于表示包括ROI的子区域的解码图像数据可以根据计算的ROI坐标裁切（步骤1028）。裁切的图像可以被缓冲和被在显示器上再现（步骤1030）。上述过程确保当切换到拼贴流送模式时，在ROI流送模式中最后再现的ROI基本上匹配在拼贴流送模式中的第一再现的ROI。这样，客户端能够从在ROI流送模式中再现ROI平滑地切换到在拼贴流送模式中再现ROI。

图11A和11B描绘了依照本发明实施例的ROI流送过程。在此特定的例子中，可以使用诸如HTTP自适应流送协议之类的自适应流送协议由CDN把HEVC贴片流分送到客户端设备（也被称为“客户端”）。所述过程可以以客户端向内容提供者CP请求和接收空间清单文件SMF开始（步骤1100和1102）。客户端可以解析SMF（步骤1104）和在ROI流送模式中开始流送过程。为了那个目的，客户端可以根据SMF选择ROI流的第一时间（ROI）分段并且向CDN的路由请求RR节点发送请求消息（步骤1106），例如HTTP GET（取得）消息。请求路由节点可以定位其上存储有请求的时间ROI分段的递送节点并且把重定向消息中的定位的递送节点的URL发送回到客户端（步骤1108）。术语‘时间’指的是以下概念，分段具有与分段的（内容）的播放时段相关联的确定持续时间。因此时间分段是在时间维度上源视频内容的分段的结果。在本申请中涉及的任何分段具有确定的播放时段。不仅如此，（在SMF或空间清单文件中参考的那些）确定类别分段可以是附加空间分段过程的结果，其中视频内容被分段以致分段包括作为源视频内容的图像区的子集（例如部分）的图像区。这些分段有时视情况而定也被称为空间分段或贴片分段。应当注意，贴片分段是与贴片/（HEVC）贴片流相关联的时间分段的等效物。ROI分段在它是时间分段的意义上是不同的，但是它不是空间分段的结果，因此，不需要具有（但是可以具有）‘静态’位置信息。相比之下，贴片分段与贴片位置信息相关联，所述贴片位置信息随时间推移是静态的而且反映空间分段。客户端可以使用URL来请求在SMF中识别的ROI分段。

因此，在重定向消息之后，客户端可以把请求消息发送回到递送节点，所述递送节点包括请求的时间ROI分段（步骤1110）。递送节点可以把请求的第一ROI分段发送回到客户端（步骤1112）。在此特定的例子中，ROI分段可以包括ROI的ROI坐标。ROI坐标可以定义在源视频的空间表示内的轨迹。在下面更详细地描述了传输流内的ROI坐标的不同方式。第一时间ROI分段可以被客户端缓冲并播放（步骤1114），同时可以继续对进一步时间分段的获取过程。

在确定时间之后，例如在第六ROI分段的播放期间（步骤1116-1118），客户端可以被触发以切换到拼贴流送模式（步骤1120）。例如，客户端可以检测被用户导航功能解释为摇摄动作的用户交互。当触发以便切换到拼贴流送模式时，客户端可以确定与在检测的用户交互期间再现的一个或多个帧相关联的第一ROI坐标（步骤1122）。此后，客户端可以继续依照与上面参考图9和10A和10B描述的类似方式根据ROI流的ROI位置信息来确定进一步的ROI坐标。

在一个实施例中，客户端可以使用SMF中的贴片位置信息和第一ROI坐标以便确定一组空间邻接的HEVC贴片，所述一组空间邻接的HEVC贴片可以用来形成包括ROI的图像区域。在此例子中，与选择的HEVC贴片相关联的HEVC贴片流可以在时间上被分段，使得HAS（HTTP自适应流送）协议可以用来把贴片分段递送到客户端。此后，客户端可以开始根据SMF来请求选择的HEVC贴片流的这些贴片分段。特别地是，客户端可以发送包括HEVC贴片的选择时间分段（在这种情况下为HEVC贴片7、11和12（即video（视频）7_7、video（视频）7_11和video（视频）7_12）的第七时间分段）的URL的请求消息（步骤1124-1126），并且作为响应从包括选择的HEVC贴片流的请求时间分段的递送节点接收响应消息（步骤1128-1130）。

在HEVC贴片的视频数据被存储在分离的视频轨道的情况（如参考图3所详细描述的）下，基础轨道也应当被客户端设备（请求未示出）。包括提取器的基础轨道可以由HEVC解码器用来把选择的HEVC贴片的视频数据解码为连续图像。

在确定和请求HEVC贴片流的上述过程期间，客户端连续播放ROI分段（未示出）。

当接收请求的HEVC贴片流时，客户端可以根据共用的内容播放时间线同步HEVC贴片流和再现的ROI流。邻接HEVC贴片流的同步帧（即与特定的共用播放时间相关联的帧）可以被HEVC解码器解码为包括ROI的图像区域（步骤1132）。如果需要，ROI坐标可以用来把图像区域裁切为基本上与ROI流的ROI类似的图像区域，所述ROI流在客户端接收请求的HEVC贴片流时被播放。

当根据HEVC贴片流形成图像区域与播放ROI流中的帧同步时，客户端可以从根据ROI流再现ROI切换到根据HEVC贴片流再现用户产生的ROI（步骤1134）。在拼贴流送模式中客户端可以继续请求HEVC贴片流的时间分段，把与共用的播放时间相关联的帧解码为图像区域并且（可选地）在显示器上再现它之前裁切图像区域。

在确定时间之后，例如在播放根据选择的HEVC贴片流的第8和第9时间分段产生的裁切图像区域之后（步骤1136和1138），用户可以与客户端设备相交互以便切换回到默认ROI流送模式（步骤1140）。在此模式中，可以根据第10 ROI分段继续再现内容（步骤1142）。

图12A和12B描绘了依照本发明实施例的用于在非拼贴流送模式和拼贴流送模式之间无缝切换的过程。如图12A和12B所示，根据ROI位置信息确定为开始拼贴流送模式正选择的HEVC贴片流，所述ROI位置信息与在时间T的ROI流的一个或多个ROI帧相关联，其中在时间T客户端接收（例如由于用户交互引起的）用于切换到拼贴模式的触发。

此实施例可以用于ROI流或ROI流的特定部分，其中ROI轨迹将不在图像区域之外，所述图像区域可以在接收到用于切换到拼贴流送模式的信号时用客户端选择的邻接的HEVC贴片流形成。

图12A描绘了其中客户端设备（也被称为“客户端”）在时间T接收用于从ROI流送模式切换到拼贴流送模式的信号的情况。在该时间，客户端正再现ROI流的帧f。与帧f相关联的ROI位置信息可以包括帧f的ROI坐标（图12A中的pos0）。这些ROI坐标用来获取一组空间邻接（同步）的HEVC贴片流，所述一组空间邻接（同步）的HEVC贴片流可以用来形成包括帧f的ROI的图像区域。

在获取选择的HEVC贴片流所需要的时间段Δt期间，可以由客户端再现数目n个的ROI帧，其中n = Δt * R并且其中R是递送节点用来向客户端传送ROI流的（平均）帧传输率。在时间T+n，客户端将接收请求的邻接HEVC贴片流，把贴片帧与ROI流的ROI帧同步，把HEVC贴片流的同步帧解码到包括ROI的图像区域中。如果必要的话，客户端可以在时间T+n使用ROI流中的ROI的ROI坐标以便把图像区域裁切为在T+n基本上匹配ROI帧的ROI的ROI的图像。此后，客户端可以从根据ROI流再现ROI切换到根据裁切的图像再现ROI，使得实现到拼贴流送模式的平滑转变。

图12B描绘了用于实现如图12A中所图示的到拼贴流送模式的平滑转变的步骤的过程流。首先，客户端可以接收用于切换到拼贴流送模式的信号（步骤1202）。然后向客户端提供与帧f相关联的ROI坐标（步骤1204）。客户端可以使用SMF中的贴片位置信息和ROI坐标（步骤1206）以便确定一组邻接的HEVC贴片流，所述一组邻接的HEVC贴片流能够用来在稍后时间点（即在客户端接收选择的贴片流的时间T+n）形成包括ROI流的ROI的图像区域（步骤1208）。

选择的HEVC贴片流可以被获取（步骤1210）并且由客户端在时间T+n接收。此后，邻接的HEVC贴片流的帧和再现的ROI流的ROI帧可以被同步。在内容呈现时间线上具有相同位置的空间邻接的HEVC贴片流的贴片帧f+n可以被HEVC解码器解码（步骤1212），以便形成包括ROI流的帧f+n的ROI的图像区域（步骤1214）。然后，与ROI帧f+n相关联的ROI坐标可以用来从图像区域中裁切ROI（步骤1216）。此后，内容的显示可以从再现ROI流中的ROI帧切换到再现由HEVC贴片流的视频数据提供的裁切的图像区域（步骤1218）。这样，从ROI流送模式到拼贴流送的平滑转变。

如果为了任何特定的原因，显示区是不可用的，这是因为贴片尚未被接收和/或因为ROI（部分地）处于由请求的邻接HEVC贴片流定义的图像区域外部，那么可以实现后退机制。在一个实施例中，源内容的低分辨率视频流可以被流送到客户端作为在整个流送过程期间的后台过程。当一确定内容不可用时，低分辨率视频可以用来临时裁切缺失的内容并且在获取所述缺失的HEVC贴片流时再现该内容。这样，可以实现到拼贴流送模式的平滑转变，即使稍后可以再现高质量视频也是如此。

图13A和13B描绘了依照本发明另一实施例的在ROI流送模式和拼贴流送模式之间无缝切换的过程。在一些情况中，用于获取贴片分段的时间Δt可以具有几秒的数量级（特别是在尽力而为的网络上递送数据时尤其如此）。此外在一些情况中，ROI流中的ROI的轨迹可以是很动态的，例如它可以包括在短时间段情况下的在源文件的图像区内的大平移和/或变焦动作。因此，在HEVC贴片的时间分段的获取时间期间，ROI的轨迹可以已经移动到最初在时间T选择的所述组贴片的图像区域外部了，从而妨碍了ROI流送模式中的再现到拼贴流送模式的平滑转变。

为了处理此问题，在依照本发明的某些实施例中，ROI位置信息可以包括与ROI视频流的一个或多个视频帧相关联的先行位置信息（先行位置），当接收这种先行位置信息时所述ROI视频流的一个或多个视频帧尚未被客户端接收。在一个实施例中，先行位置信息可以包括所述ROI视频流中的一个或多个图像帧的一个或多个时移的第一ROI坐标，在接收先行位置信息时，所述所述ROI视频流中的一个或多个图像帧尚未被所述客户端设备接收。因此，在接收相关联的图像帧之前，这些时移的ROI坐标正被提供到客户端设备。在进一步实施例中，所述时移的ROI坐标可以与用于确定时移的时移信息相关联，所述时移信息优选为时间戳。时移表示在收到时移的ROI坐标和收到视频内容之间的时段，所述视频内容优选为ROI坐标涉及的一个或多个图像帧。在此实施例中，ROI位置信息被时移，从而客户端设备可以提前接收ROI位置信息。这样，即使当ROI在源视频的图像区域（例如HEVC拼贴视频的图像区域）内在时间上追随很动态的轨迹时，客户端也可以请求正确的HEVC贴片流。

在图13A和13B中，ROI位置信息中的ROI坐标可以相对于ROI流中相关联的帧被提前提供到客户端。在一个实施例中，ROI位置信息可以被时移一个时段（用帧的数目来表示）n = Δt * R，其中R是由递送节点用来向客户端传送ROI流的（平均）帧传输率。时移的ROI位置信息可以由网络中的CDN或另一实体准备，并且Δt可以是CDN用于向客户端递送分段的最大时段。

可以根据网络的特性递送所需时间来确定时移Δt。例如，在尽力而为的网络中，Δt可以相对较大，例如几秒或更多，并且在依照某些QoS规则递送数据的网络中，Δt可以较小，例如小于几秒甚至小于一秒。

在图13A中示意地描绘了上述过程，其中客户端在时间T接收用于从ROI流送模式切换到拼贴流送模式的信号。在该时间，客户端正再现ROI流的帧f。与帧f相关联的ROI位置信息可以是在时间上向前移动的ROI坐标。特别地是，帧f的ROI位置信息可以包括将来ROI帧f+n（其中n = Δt * R）的ROI坐标。客户端可以根据SMF中的贴片位置信息和时移的ROI坐标来确定该组HEVC贴片流。

在时段Δt（n帧）之后，选择的HEVC贴片流的第一帧将在时间T+n到达客户端。客户端可以根据共用的内容播放时间线同步HEVC贴片流和再现的ROI流。邻接的HEVC贴片流的同步帧（即与特定的共用播放时间相关联的选择的HEVC贴片流的帧）可以被HEVC解码器解码为包括ROI的图像区域。客户端然后可以形成包括ROI的图像区域，使用时移的ROI坐标pos f+n以便裁切对应于帧f+n的ROI的图像。这样，即使当在获取HEVC贴片流期间正移动ROI时，也确保到拼贴流送模式的平滑转变。

图13B描绘了用于实现如图13A中所图示的到拼贴流送模式的平滑转变的步骤的过程流。首先，客户端可以接收用于切换到拼贴流送模式的信号（步骤1302）。然后向客户端提供与帧f+n相关联的时移的ROI坐标（步骤1304）。客户端可以使用SMF中的贴片位置信息和时移的ROI坐标（步骤1306）以便确定一组邻接的HEVC贴片流，所述一组邻接的HEVC贴片流能够用来形成包括ROI流的帧f+n的ROI的图像区域（步骤1308）。选择的HEVC贴片流可以被获取（步骤1310）并且由客户端在时间T+n接收。此后，邻接的HEVC贴片流的贴片帧和再现的ROI流的ROI帧可以被同步。在内容呈现时间线上具有相同位置的空间邻接的HEVC贴片流的帧f+n可以被解码（步骤1312），以便形成包括ROI流的帧f+n的ROI的图像区域（步骤1314）。时移的ROI坐标（pos f+n）可以用来从图像区域中裁切ROI（步骤1316）并且内容的显示可以从再现ROI流中的ROI帧切换到再现HEVC贴片流的裁切的图像区域（步骤1318）。这样，即便ROI流送模式的播放内容涉及高度动态的ROI轨迹，也能够进行从ROI流送模式到拼贴流送模式的平滑转变。

可以认为：图13A和13B只提供了使用先行位置信息的一个实施例，并且其它实施方式也是可以的。例如在一个实施例中，可以通过一算法来产生先行位置信息，所述算法使用例如已知的外推算法来预测在源视频的图像区域内的ROI的轨迹，所述外推算法使用在客户端设备的缓冲器中可用的ROI位置信息。

图14A-14C描绘了依照本发明的各个实施例的ROI位置信息。图14A描绘了用XML编码的、用于描述特定的感兴趣区域的ROI位置信息的例子。图14A中的ROI位置信息描绘了三个连续的ROI标签。

ROI标签可以包括用于把ROI标签与ROI流中的ROI帧相关的信息。例如，在图14A中，<AbsoluteTime(绝对时间)>标签可以包括可以用来识别流中帧的时间戳或另一（唯一）值。时间戳可以定义与ROI相关联的绝对时间。在一个实施例中，时间戳可以包括用于定义与之相关联的ROI帧的记录时间的挂钟时间。绝对时间可以用浮点记数法编码为从1970年1月1日（例如Unix纪元时间）开始的秒数。当使用时间戳时，所述时间戳也应当嵌入到（多个）视频帧中，从而所述帧可以被与正确的ROI位置信息（ROI标签）相关。

此外，ROI标签可以包括ROI的位置信息。例如，<PixelX1X2Y1Y2（像素X1X2Y1Y2）>标签可以用像素单元为单位描述ROI的位置。屏幕的左上方像素可以对应于（X，Y）=（0，0）。这样X1定义了ROI的左侧；X2定义了ROI的右侧；Y1定义了ROI的顶侧；并且Y2定义了ROI的底侧。在用于完整HD 1920x1080屏幕的这种方案中，右下像素对应于（X，Y）=（1919，1079）。

在所述例子中的第一ROI可以定义完整屏幕。在所述例子中的第二ROI可以表示按照80%变焦到中心。所述例子中的第三ROI可以表示向右平移20个像素。

图14B描绘了用XML编码的ROI位置信息的另一实施例。ROI标签可以包括<RelativeTime（相对时间）>标签，<RelativeTime（相对时间）>标签用于描述应用到ROI的相对时间。相对时间可以从视频内容的起点计数并且可以用浮点记数法编码为秒。相对时间可以被用为相关性信息以便使ROI标签相关到ROI帧。当使用相对时间时，应当定义ROI流的清楚定义的起点。

此外，ROI标签可以包括<NormalizedXYzoom（标准化XY变焦）>标签，<NormalizedXYzoom（标准化XY变焦）>标签用于描述ROI的位置（所述位置用标准化格式（X，Y，变焦）描述）。这里，坐标“X，Y”可以指示采用浮点记数法的ROI的左上方像素的位置，其中X和Y二者处于范围0-1中。在此例子中，屏幕的左上方像素对应于（X，Y）=（0，0）并且完整屏幕的右下方对应于（X，Y）=（1，1）。参数“zoom（变焦）”可以定义变焦级别，变焦级别也可以采用浮点记数法。Zoom = 1可以对应于完整屏幕。

图14B的第一ROI标签可以表示完整屏幕。第二ROI可以表示按照50%变焦到左上方。所述例子中的第三ROI可以表示ROI的左上方移动到屏幕的中心。

图14C描绘了可以在ROI标签中使用的标签的例子。如果能够从内容导出帧数，那么FrameNumber（帧数）标签可以被用为相信息。PixelXYWH（像素XYWH）标签可以定义用像素单元表示的ROI的X，Y坐标加上宽度和高度。RadialNormalizedXYR(半径标准化XYR)标签可以定义圆形ROI 的X，Y坐标及其半径。在一个实施例中，X，Y坐标可以被标准化到0-1比例。SpeedPixeldXdYdWdH（速度像素dXdYdWdH）标签可以定义用每秒像素表示的ROI的X、Y、宽度和高度的时间导数。

图15描绘了其中ROI位置信息被作为MPEG传输流（MPEG TS）中的基本流传输的实施例。特别地是，ROI流的ROI坐标可以被封装到具有私有数据流ID的分离PES（分组化的基本流）中。此PES流可以被称作ROI坐标流，此PES流然后可以被复用到也包括ROI流的MPEG传输流中。

图15描绘了PMT的XML表示，PMT包括视频流（类型= 0x2，PID = 0x1B63），音频流（类型= 0x3，PID = 0x1B64）以及ROI坐标流（新类型= 0x20，PID = 0x1B66）。新的流类型可以表明包含ROI坐标信息的PES流。此流类型然后能够用在PMT（程序映射表）表中用以表明包含ROI坐标流的PID。

在客户端侧，可以通过使用PTS时间戳实现在视频和ROI坐标之间的同步，所述PTS时间戳共用于属于特定程序的所有PES分组（并且用单个PMT描述）。作为一个例子，如果客户端需要在确定时刻检查ROI流的ROI坐标，那么它可以检查当前显示的视频帧的PTS值。此后，它可以在包括ROI坐标的PES（ROI坐标流）中搜索具有相同PTS的分组。在此分组内，它将发现该特定视频帧的ROI坐标信息。

在进一步实施例（它也可以被用于MPEG传输流）中，代替定义新的流类型，可以使用DVB定义的SAD（同步辅助数据（SynchronisedAuxilary Data）结构（参见TS 102 823）来传输ROI坐标数据（例如（可选地，时移的）ROI坐标）。在该情况下，PMT表通告0x06流类型用以表明私有数据PES流。为了表明特定的SAD包括ROI坐标，可以定义新的辅助数据描述符（参见TS 102 823的部分5.1）。

除使用SAD结构来携带并表明ROI坐标流以代替定义新的PES流类型之外，此实施例的所有其它方面类似于为参考图15描述的实施例所描述的那些方面。由于SAD分组也包含PTS值，所以这些分组能够用来提供在ROI坐标流和ROI流之间的同步。

在再又一实施例中，为了传输时移的ROI坐标，SAD分组不仅包括ROI坐标数据而且还包括该坐标涉及的时间戳。这种时间戳能够采用帧数、内容时间戳或PTS/DTS值的形式。在后一种情况，分组首部中的PTS值由TS多路复用器使用来把分组安置在TS流中，而在有效载荷中包括的PTS分组被使用来使坐标与特定视频帧相关。

图16A和16B描绘了本发明的实施例，其中在MPEG流的比特流中传输ROI数据。特别地是，图16A描绘了这样的实施例，在该实施例中，把ROI数据作为补足增强信息（SEI）消息插入到使用基于H.264/MPEG-4的编解码器编码的MPEG流的比特流中。

采用这种方案，NAL单元可以定义比特流中的基本块。SEI消息被定义为与补足增强信息（SEI）相关联的NAL单元（参见ISO/IEC 14496-10 AVC中的7.4.1 NAL单元语义）。这里SEI消息被定义为第5类型消息：用户数据未注册。SEI消息可以包括用于ROI数据的参数的预定数目的整数（在此例子中为四个整数）。

SEI消息可以携带额外信息以便帮助解码过程。不过，为了构造解码信号的目的，它们的存在并非是强制性的，从从而不要求相符合的解码器来考虑此额外的信息。在ISO/IEC 14496-10:2012的D.2中定义了各种SEI消息及其语义的定义。

被称为用户数据未注册的SEI消息类型允许在比特流中携带任意数据。在ROI坐标的情况下，此SEI消息可以用来携带ROI坐标。四个参数即左上角的水平位置和垂直位置以及宽度和高度可以用来在源视频的解码帧的图像区域中定义ROI。

图16B描绘了本发明的另一个实施例，在该实施例中，在编码的比特流中传输ROI数据。在帧首部中的布尔标志可以表明这种信息是否存在。在设置标志的情况下，在标志之后的比特可以表示ROI坐标，例如在源视频的解码帧的图像区内ROI的宽度和高度以及在水平和垂直轴上左上角的位置。

图17A和17B描绘了其中在视频容器中传输ROI数据的本发明的实施例。

特别地是，这些图涉及这样的实施例，其中在诸如MP4文件格式（ISO/IEC 14496-14）的视频容器中传输ROI坐标。在图17A中描述了这种文件的通用结构。MP4文件格式指定一组框，它构成了用于存储和访问媒体数据和与之相关联的元数据的分层结构。例如，用于与内容相关的元数据的根框是“moov”框，而媒体数据被存储在“mdat”框中。更特别地是，“stbl”框或“采样表框（Sample Table Box）”给用于允许使附加数据与每个采样关联的轨道的媒体采样编制索引。在视频轨道的情况下，采样是视频帧。结果，在框“stbl”内增加称作“采样ROI坐标（Sample ROI coordinates）”或“stro”的新框可以用来存储视频轨道的每个帧的ROI坐标。图17B描绘了其中在新的框“stro”中传输ROI坐标的本发明的实施例，所述新框“stro”可以包括视频轨道的部分或所有视频采样的ROI坐标。

图18描绘了本发明的实施例，其中ROI位置信息作为MPEG-4流的专用元数据轨道被传输。ROI位置信息轨道遵循常规轨道（像音频或视频）的结构，然而其中的数据不是视频或音频帧而是包含ROI坐标的元数据（具有具体采样入口代码）。

标准的ISO/IEC 14496部分12提供了用于在ISO基础媒体文件格式内包括计时元数据轨道（并且继承MP4文件格式）的机制。在此实施例中，元数据轨道和视频轨道必须被同步，使得ROI数据轨道的采样（ROI坐标）被映射到视频轨道的采样（视频帧）。在实践中，元数据轨道使用轨道参考‘tref’框被链接到视频轨道，轨道参考‘tref’框的引用类型为‘cdsc’并且轨道_id （track_id）为参考的轨道的id。

在进一步实施例中，ROI坐标可以经由带外文件或流被递送到客户端设备。可以使用时间戳实现同步。在一个实施例中，ROI坐标可以被置于文件中，（例如在VoD流的情况下）在开始重放之前或者（在实况流的情况下）在经由网络套接字（WebSocket）递送数据之前，所述文件被获取。

由于在这种情况下ROI坐标与实际视频数据一起被带外发送，所以同步不能够基于视频容器内部信息，诸如PTS值。作为替代，能够使用内容时间戳。这种时间戳能够基于内容时间（即起始于在视频流开始时的00:00:00），或基于用于实况广播流的挂钟时间（例如20：31：11）。类似的时间戳也应当存在于视频流自身中。对于MPEG DASH或HLS流，这种时间戳可以由MPD或清单文件提供。在通过例如DVB递送ROI流的情况下，可以使用在MPEG TS 复用中插入的DVB时间线分组（参见102 823）。

在另一实施例中，ROI坐标可以作为视频中的水印（水印）传输。在进一步实施例中，ROI坐标可以作为水印被放置到ROI流自身中。

图19A和19B描绘了依照本发明实施例的用于拼贴流送的所谓的“空间缓冲器”的使用。图19A描绘了ROI流的ROI帧，其中ROI帧包括“空间缓冲器”1902，即当用户不与显示的内容相交互时或当不允许用户与显示的内容相交互时被传送到客户端而未显示的图像数据的（在图像1904的中心区域周围的）边缘区域。因此在该情况下，当不存在用户交互时可以被显示的中心区域被从ROI帧中裁切并且被显示给用户。然后，当用户与内容相交互时，ROI 1906（的一部分）被导航到被定义为空间缓冲器的区中。然而，因为存在用户交互，所以允许显示来自空间缓冲器的图像数据。用户交互可以触发客户端来切换到拼贴流送模式并且根据ROI请求贴片，如参考上面的图9-14所详细描述的。在获取HEVC贴片流期间，可以通过从部分位于空间缓冲器的区中的图像区域中裁切ROI来显示移动的ROI 1908。在依照本发明的一个实施例中，在SMF中（优选为MPD（媒体呈现描述中）定义一个或多个参数，用以表明空间缓冲器的图像区的维度（空间缓冲器的图像区是未显示的ROI流的图像的区）。被称作例如@spatialbuffersize（@空间缓冲器尺寸）的此参数例如可以采用以下格式中的一个或多个定义：

（ROI的图像区的）按宽度和高度的百分比计的边缘尺寸

（在ROI的显示图像区周围均匀分布的）按像素计的边缘尺寸

（在ROI的显示图像区周围的左、右、顶、底的）按像素计的边缘尺寸

作为备选，一组可用的ROI坐标可以备从4（x，y，w，h）推广到8，因此分别表示内部（显示的）ROI和外部ROI（包括空间缓冲器）的维度。

图20描述了依照本发明实施例的三模式的ROI流送模型。在此特定的实施例中，客户端可以处于拼贴流送模式（第一模式）中，其中根据四个贴片再现用户产生的ROI。如果用户停止交互并且想要在ROI流送模式（第三模式）中查看内容，那么系统可以切换达预定时间之久才切换到第二模式而不是立即切换到ROI流送模式。在此第二模式中，客户端留在拼贴流送模式中，同时接收ROI流的ROI位置信息。然后客户端使用ROI位置信息以便选择贴片并且根据一组HEVC贴片流的同步帧产生裁切的图像，如上面参考图9-14所详细描述的。如果用户开始与显示的内容相交互，那么它可以立即切换到拼贴流送模式（第一模式）以便显示用户产生的ROI。可替换地，如果客户端预测用户即将交互或如果内容显示的确定时段开始或将要开始，其中存在用户可能想要与内容相交互的高变化，那么客户端逻辑可以导致切换到第二模式，从而可以依照快速和平滑（无缝的）方式实现到拼贴流送模式以显示用户产生的ROI的转变。

图21是图示可以用在如参考图1-20描述的系统和方法中的示例性数据处理系统的框图。数据处理系统1000可以包括通过系统总线2106耦合到存储元件2104的至少一个处理器2102。因而，数据处理系统可以在存储元件2104内存储程序代码。此外，处理器2102可以执行经由系统总线2106从存储元件2104访问的程序代码。在一个方面，数据处理系统可以被实现为适于存储和/或执行程序代码的计算机。然而应当理解，可以采用任何系统的形式实现数据处理系统2100，所述任何系统包括能够执行在此说明书内描述的功能的处理器和存储器。

存储元件2104可以包括一个或多个物理存储器设备，诸如本地存储器2108和一个或多个大容量存储设备2110。本地存储器可以指代在实际执行程序代码期间一般使用的随机存取存储器或其它非持久性存储设备（多个）。大容量存储设备可以被实现为硬盘驱动器或其它持久性数据存储设备。处理系统2100还可以包括一个或多个高速缓存存储器（未示出），一个或多个高速缓存存储器提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储器2110中获取程序代码的次数。

被描绘为输入设备2112和输出设备2114的输入/输出（I/O）设备可选地能够被耦合到数据处理系统。输入设备的例子可以包括但不限于：例如键盘、诸如鼠标的指向设备等。输出设备的例子可以包括但不限于例如监视器或显示器、扬声器等。输入设备和/或输出设备可以或者直接地或通过介于中间的I/O控制器被耦合到数据处理系统或。网络适配器2116还可以被耦合到数据处理系统以使它能够通过介于中间的私有或公共网络变得耦合到其它系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括用于接收由所述系统、设备和/或网络发送的数据的数据接收器和用于向所述系统、设备和/或网络传送数据的数据传送器。调制解调器、电缆调制解调器和以太网卡是可以被用于数据处理系统2150的不同类型的网络适配器的例子。

如在图21中所描画的，存储器元件2104可以存储应用2118。应当理解，数据处理系统2100可以进一步执行操作系统（未示出），所述操作系统能够便于应用的执行。采用可执行程序代码形式实现的应用能够由数据处理系统2100（例如由处理器2102）执行。响应于执行应用，数据处理系统可以被配置为执行本文进一步详细描述的一个或多个操作。

在一个方面中，例如，数据处理系统1000可以表示客户端数据处理系统。客户端数据处理系统也被称为客户端设备。在该情况下，应用2118可以表示客户端应用，所述客户端应用当被执行时配置数据处理系统2100以便执行本文参考“客户端”描述的各个功能。客户端的例子能够包括但不限于个人计算机、便携式计算机、移动电话等。

本文使用的术语只是为了描述特定的实施例的目的并且不意在限制本发明。如本文所使用的，单数形式“一”、“一种”和“该”也意在包括复数形式，除非上下文另外清楚地表明。还应当理解的是，术语“包含”和/或“包括”当在本说明书中使用时指定陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除存在或增加一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组合。

所有方法或步骤的相应结构、材料、动作和等效物加上下面权利要求中的功能元件意在包括用于按照所特别主张保护的那样结合其它主张保护的元件执行功能的任何结构、材料或动作。为了说明和描述已经给出了本发明的描述，但是并不意在把本发明穷举或限制为所公开的形式。在不脱离本发明的精神或范围的情况下许多修改和改变对那些本领域技术人员来说是清楚的。选择并描述了实施例以便最好地解释本发明的原理及其实际应用，并且使其它本领域普通技术人员能够在适于所预期的特定使用的各种改变的情况下因各个实施例而理解本发明。

Claims

1.一种用于根据至少一个HEVC拼贴视频流为客户端设备确定感兴趣区域ROI的方法，所述HEVC拼贴视频流包括完整图像区域，所述方法包括：

在所述客户端设备接收ROI视频流以便再现第一ROI，所述第一ROI定义在所述HEVC拼贴视频流的所述完整图像区域内的第一子区域，HEVC贴片在所述HEVC拼贴视频流中的位置由贴片位置信息定义；

在所述客户端设备提供与所述ROI视频流的至少一个视频帧相关联的ROI位置信息，所述ROI位置信息包括所述第一ROI的至少第一位置；

由所述客户端设备根据所述ROI位置信息和所述贴片位置信息识别所述HEVC拼贴视频流的一个或多个HEVC贴片，包括识别与所述第一ROI重叠的一个或多个HEVC贴片；并且

由所述客户端设备请求视频数据作为HEVC贴片流以便再现第二ROI，所述第二ROI定义在所述HEVC拼贴视频流的完整图像区域内的第二子区域，所述视频数据与所述一个或多个识别的HEVC贴片相关联；并且

由所述客户端设备根据所述请求的视频数据和所述ROI位置信息再现所述第二ROI。

2.如权利要求1所述的方法，其中提供所述ROI位置信息进一步包括：

提供所述ROI视频流的至少第一图像帧的第一ROI坐标，所述第一ROI坐标定义在接收用于再现第二ROI的指令的第一时间实例时所述第一ROI的第一位置。

3.如权利要求2所述的方法，其中，所述指令是用户发起的指令。

4.如权利要求2所述的方法，其中所述指令包括用于表明所述第一ROI的位置变化的ROI向量，所述第一ROI坐标和所述ROI向量用于识别所述一个或多个HEVC贴片。

5.如权利要求2或4所述的方法，其中提供所述ROI位置信息进一步包括：

提供所述ROI视频流的至少第二图像帧的第二ROI坐标，所述第二ROI坐标定义了在处理的第二时间实例时的所述第一ROI的第二位置，所述处理是由所述客户端设备接收、缓冲和/或解码所述ROI视频流之一；所述第一ROI坐标和第二ROI坐标用于识别所述一个或多个HEVC贴片。

6.如权利要求1-4中任何一个所述的方法，其中所述请求的视频数据是HEVC编码的，所述再现所述第二ROI包括：

根据所述请求的HEVC编码的视频数据来形成解码的图像区域；并且，

从所述解码的图像区域中裁切所述第二ROI。

7.如权利要求1-4中任何一个所述的方法，其中提供ROI位置信息进一步包括：

提供与尚未被所述客户端设备接收的所述ROI视频流的至少一个视频帧相关联的先行位置信息，所述先行位置信息包括在所述完整图像区域中第二ROI的第二位置。

8.如权利要求7所述的方法，其中所述先行位置信息包括在尚未被所述客户端设备接收的所述ROI视频流中的一个或多个图像帧的一个或多个时移的第一ROI坐标，所述时移的第一ROI坐标在所述一个或多个图像帧之前被提供到所述客户端设备，所述时移的ROI坐标被进一步与用于确定时移的时移信息相关联。

9.如权利要求8所述的方法，所述时移信息为时间戳。

10.如权利要求1-4中任何一个所述的方法，

其中所述ROI位置信息的至少一部分在所述ROI视频流的比特流中被传输到所述客户端设备，ROI坐标标志或SEI消息定义所述ROI坐标在所述比特流中的位置；或

其中所述ROI位置信息的至少一部分在MPEG传输流中、在所述MPEG传输流中的基本传输流中，或者作为在所述MPEG传输流中的DVB定义的同步辅助数据SAD分组被传输到所述客户端设备；或

其中所述ROI位置信息的至少一部分在MPEG-4流中的预定义框中、在MPEG-4流的moov、trak和/或stbl框中传输；或

其中所述ROI位置信息的至少一部分作为水印，作为所述ROI视频流中的水印，传输到所述客户端设备。

11.如权利要求10所述的方法，其中所述SAD分组包括时移的ROI坐标。

12.如权利要求1-4中任何一个所述的方法，

其中所述贴片位置信息的至少一部分在所述HEVC拼贴视频流中,在所述HEVC拼贴视频流的moov或moof框中被提供到所述客户端设备；和/或其中所述贴片位置信息的至少一部分在空间清单文件中被提供给所述客户端设备，所述清单文件包括用于定位一个或多个递送节点的一个或多个流标识符，所述一个或多个递送节点被配置为把所述HEVC拼贴视频流和/或所述ROI视频流递送到所述客户端设备。

13.如权利要求1-4中任何一个所述的方法，其中根据空间清单文件请求与所述一个或多个识别的HEVC贴片相关联的所述视频数据，所述空间清单文件包括至少一个或多个HEVC贴片标识符和所述贴片位置信息；和与一个或多个ROI视频流相关联的一个或多个ROI视频流标识符。

14.如权利要求13所述的方法，其中至少一个或多个HEVC贴片标识符是一个或者多个URL。

15.如权利要求13所述的方法，其中至少所述一个或多个ROI视频流标识符与用于表明ROI位置信息在时间上变化的动态指示符相关联。

16.一种用于再现感兴趣区域ROI的客户端设备，所述客户端设备被配置为：

接收ROI视频流以便再现第一ROI,所述第一ROI定义在HEVC拼贴视频流的完整图像区域内的第一子区域，在所述HEVC拼贴视频流中的HEVC贴片的位置用贴片位置信息定义；

提供与所述ROI视频流的至少一个视频帧相关联的ROI位置信息，所述ROI位置信息至少包括所述第一ROI的第一位置；

根据所述ROI位置信息和所述贴片位置信息识别所述HEVC拼贴视频流的一个或多个HEVC贴片,一个或多个HEVC贴片与所述第一ROI重叠；并且

请求与所述一个或多个识别的HEVC贴片相关联的视频数据以便再现第二ROI，视频数据被包括在一个或多个HEVC贴片流中，所述第二ROI定义在所述HEVC拼贴视频流的完整图像区域内的第二子区域；并且

根据所述请求的视频数据和所述ROI位置信息再现所述第二ROI。

17.如权利要求16所述的客户端设备,其中所述ROI位置信息的至少一部分在所述ROI视频流的比特流中被传输到所述客户端设备，ROI坐标标志或SEI消息定义所述ROI坐标在所述比特流中的位置；或

18.如权利要求16所述的客户端设备,其中所述贴片位置信息的至少一部分在所述HEVC拼贴视频流中,在所述HEVC拼贴视频流的moov或moof框中被提供到所述客户端设备；和/或其中所述贴片位置信息的至少一部分在空间清单文件中被提供给所述客户端设备，所述清单文件包括用于定位一个或多个递送节点的一个或多个流标识符，所述一个或多个递送节点被配置为把所述HEVC拼贴视频流和/或所述ROI视频流递送到所述客户端设备。

19.如权利要求16-18中任一项所述的客户端设备，其中根据空间清单文件请求与所述一个或多个识别的HEVC贴片相关联的所述视频数据，所述空间清单文件包括至少一个或多个HEVC贴片标识符和所述贴片位置信息；和与一个或多个ROI视频流相关联的一个或多个ROI视频流标识符。

20.如权利要求19所述的客户端设备，其中至少所述一个或多个ROI视频流标识符与用于表明ROI位置信息在时间上变化的动态指示符相关联。

21.一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质在其上包括指令，所述指令在被处理器执行时使得所述处理器：

执行如权利要求1-15中任何一个所述的方法步骤。