CN106233745A

CN106233745A - 向客户端提供瓦片视频流

Info

Publication number: CN106233745A
Application number: CN201480053667.6A
Authority: CN
Inventors: R.范布兰登伯格; E.托马斯; M.O.范德文特
Original assignee: Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO; Koninklijke KPN NV
Current assignee: Koninklijke KPN NV
Priority date: 2013-07-29
Filing date: 2014-07-28
Publication date: 2016-12-14
Anticipated expiration: 2034-07-28
Also published as: KR20160032184A; EP3562170A1; EP3028472B1; KR101879519B1; EP3028472A1; US20160165309A1; CN106233745B; WO2015014773A1; US10721530B2

Abstract

描述了一种用于向客户端设备提供一个或多个瓦片流以用于再现感兴趣的区域（ROI）的方法，其中所述ROI限定源视频的瓦片表示的区域，并且其中所述方法包括：再现包括所述源视频的ROI的感兴趣的区域（ROI）视频流；接收所述ROI视频流的至少一个帧的ROI位置信息；以及接收基于所述ROI位置信息和空间清单文件而请求的一个或多个瓦片流，所述空间清单文件定义所述源视频的一个或多个瓦片表示，瓦片表示包括一个或多个瓦片标识符以用于标识一个或多个瓦片流并且瓦片位置信息限定所述瓦片流的空间位置。

Description

向客户端提供瓦片视频流

技术领域

本发明涉及向客户端提供瓦片（tile）视频流，以及特别地尽管非排他地，涉及用于向客户端提供一个或多个瓦片视频流的toad方法，包括被配置用于基于所述瓦片视频流来再现感兴趣的区域的客户端的设备，用于形成感兴趣的区域（ROI）流的视频处理器，用于存储视频流和数据结构的非暂时性计算机可读存储介质以及使用这样的方法的计算机程序产品。

背景技术

摄像机和图像处理技术中的进展使得能够以日益更高的分辨率和更大的图像格式来记录和处理内容。为了处理和控制这样的格式的高带宽需求以及允许在具有有限显示能力的用户设备上播出这些格式，这样的高分辨率的流的帧的大视场图像区域可以在空间上被划分成区段的网格（其通常称为瓦片、分段或切片）。图像区域的这些瓦片区段中的数据可以被编码为分离的流，以使得它们可以独立于彼此地被存储和分布。在本公开中，这样的流可以被称为瓦片流，其可以与术语“瓦片视频流”可互换地使用。瓦片流可以包括瓦片帧的序列，所述瓦片帧可以根据特定内容、优选地播出时间线来由客户端播出。瓦片流因而包括与在图像区域内具有固定（空间）位置（例如，具有固定/静态的坐标）的图像区域的子区域（例如，“瓦片”或“瓦片区段”）有关的帧。换言之，其在图像区域中的“空间位置”不随时间改变。图像区域内该子区域的（静态）位置可以由所谓的“瓦片位置信息”来限定。

用户可以选择高分辨率流的帧的图像区域内的感兴趣的区域（ROI），并且客户端可以随后请求与所选的ROI关联的瓦片流的集合。当接收到所请求的瓦片流时，客户端可以对流进行解码，并将解码的瓦片帧缝合（stitch）在一起，以使得所选的ROI的无缝图像可以显示给用户。该过程可以被称为瓦片化的流式传输。

当移动大视场图像区域内的ROI时（例如，经由用户的扫视（panning）、缩放或倾斜动作），不同的瓦片流集合需要被递送给客户端以便向用户再现新选择的ROI的无缝视图。这样，瓦片化的流式传输允许用户与内容交互。

通常，使用自适应的流式传输协议来将瓦片（即，瓦片流）递送给客户端。在这些实现方式中，客户端（即，客户端设备）可以被提供有所谓的空间清单文件，其包括源视频（通常为大视场区段、高分辨率源视频）的一个或多个不同瓦片表示，其中瓦片表示可以定义按照例如分辨率和/或瓦片大小和/或瓦片位置的预定瓦片格式的瓦片流集合。空间清单文件还可以包括瓦片流标识符（例如，URL），用于确定网络中被配置用于向客户端递送瓦片流的一个或多个递送节点。基于空间清单文件，客户端可以处理用户选择的ROI和/或瓦片表示中的改变以及针对来自服务器或内容递送网络（CDN）的瓦片流的相关联的请求。在WO2012/168365中描述了被配置用于基于瓦片流来高效地递送内容的内容递送网络（CDN）和被配置用于接收和处理瓦片流的客户端的有利实现方式。

然而，在许多用户场景中，没有必要或甚至不期望内容连续地被客户端作为瓦片式流的集合来播出。在足球比赛的情况下，用户可能仅对在某些时间点与媒体流交互感兴趣，例如当做出离屏犯规但摄像机操作者反而决定跟随球时。此外，在客户端的带宽和处理负载方面，期望减少对于显示大视场图像区域的ROI所需的流的数目，因为对于每个瓦片流应该开始解码器的分离的实例。

在Mavlankar等人的文章“Interactive region-of-interest video streamingsystem for online lecture viewing”中，描述了包括跟踪模式和用户控制模式的瓦片化流式传输系统。用户模式是瓦片流模式，其中用户可以选择与瓦片流的集合关联的ROI。瓦片流被客户端接收和处理，以使得再现用户选择的ROI。在跟踪模式中，通过可以跟踪图像中的对象的跟踪算法（“虚拟摄像机操作者”）来确定ROI。ROI流（在文章中称为“跟踪瓦片”）通过直接从（高分辨率广域格式）源视频裁剪（crop）ROI来生成。跟踪模式因而是非瓦片化的模式，其中，ROI在单个流中被流式传输到客户端，并且对于再现ROI的显示，将不存在不同的瓦片流之间的切换。用户可以被动跟随视频中移动的ROI（例如，足球比赛中球的位置），而不必他自己主动在大视场图像区域四处导航。

如Mavlankar中描述的跟踪模式概念是在在线讲演观看的上下文内发展的。然而，其不提供在跟踪模式中的ROI和用户控制模式中的ROI之间执行无缝切换的能力。这样的切换功能性在更一般的内容广播和流式传输应用中将会是被期望的。例如，如果用户正在跟踪模式中观看足球比赛（例如，观看由导演编辑的演播室“剪辑（cut）”），用户可能想要以不太有缝的方式探索其中做出犯规的区段，而不必切换到不同的模式从而中断视频，并且不必首先在用户控制模式中寻找大视场“指甲（fingernail）”图片中的特定ROI，因为这样的动作将严重中断连续的用户体验。此外，在某些实现方式中，如由Mavlankar所建议的那样总是提供源视频的“全图像视图”的“指甲”视图可能不合期望或根本不可行。甚至更是这样的是，用于ROI选择的“指甲”视图可能是不充分且繁重的，如果与期望的（用户确定的）ROI相比而言全图像视图很大的话。如果全图像视图很大并提供大量细节，并且更特定地当例如在ROI选择期间执行缩放结合扫视时，可能是这样的情况。

因此，在本领域中存在对于使得能够将具有大视场区段的帧中感兴趣的区域高效流式传输给客户端的改进的方法和系统的需要。另外，本领域中存在使得能够实现在基于单个流将感兴趣的区域流式传输给客户端（在非瓦片化的模式中）与基于瓦片流集合将感兴趣的区域流式传输给客户端（在瓦片化模式中）之间的平滑或甚至无缝切换的需要。

发明内容

本发明的目的在于减少或消除现有技术中已知的缺陷中的至少一个。在第一方面中，本发明可以涉及一种用于向客户端设备提供一个或多个瓦片视频流的方法，所述一个或多个瓦片视频流用于在显示器上再现感兴趣的区域（ROI），所述感兴趣的区域在与源视频关联的图像区域内限定子区域。在实施例中，所述方法可以包括：接收感兴趣的区域（ROI）视频流以用于再现第一ROI，所述第一ROI在与所述源视频关联的图像区域内限定第一子区域；提供与所述客户端设备所接收的所述ROI视频流的至少一个视频帧关联的ROI位置信息，所述ROI位置信息包括所述图像区域内的所述第一子区域的至少一个第一位置。在实施例中，所述ROI位置信息和瓦片位置信息可以被用于确定与一个或多个瓦片子区域关联的一个或多个瓦片视频流，所述一个或多个瓦片子区域的至少部分与所述第一子区域重叠，所述瓦片位置信息包括所述图像区域内的所述一个或多个瓦片子区域的位置；以及，请求所述一个或多个瓦片视频流。

因此，ROI流可以在源视频的全宽视场图像区域内形成子区域。也就是说，由ROI流所传送的帧当在显示器上再现时可以示出作为源视频的图像视图的子区域（例如，部分）的图像视图。在播出ROI流期间，ROI（子区域）可以在源视频的全宽视场（全景）图像区域内移动。也就是说，由源视频的图像区域内的该子区域所覆盖的区段的位置（例如，ROI位置信息）可以随时间改变。可以按照ROI坐标来限定ROI（子区域）的位置。源视频可以是一个高分辨率视频，或者其可以由多个源视频的例如不同摄像机角度形成。

本发明至少部分基于以下洞察：当提供了正在进行的ROI流的（动态）ROI位置信息和（某些）瓦片流的位置信息二者时，客户端设备可以确定对于使得从基于再现ROI视频流的结果而观看源视频的部分朝向基于再现一个或多个瓦片流（的部分）的结果而观看源视频的部分的切换以无缝方式显现需要（例如，需要请求）哪些瓦片流。也就是说：当从ROI流切换到瓦片化流式传输模式时，包括ROI视频流的至少一个图像帧的位置（ROI坐标）的ROI位置信息可以用于确定客户端设备在开始瓦片流式传输模式时将要使用的瓦片流。ROI流的ROI的位置的坐标可以在帧水平上提供，即已经由客户端设备接收的视频帧，以使得可以实现向瓦片化流式传输模式的平滑或无缝转变。

因此，像这样的图像区域可以被设想为平坦的平面（例如，仅有x和y坐标），或弯曲的，诸如圆柱形（例如，从位于足球场的所有角落的摄像机所构建的），或者甚至采取其它弯曲形状，诸如碗的形状（例如，其中一些摄像机还实现在足球场上方的不同高度和位置处）。一起取得的这些记录中的一个或多个是源视频的示例。如此形成的源视频可以从所有可能的角度覆盖这样的足球场的全部或相当大的部分。

在实施例中，ROI流可以是MPEG和/或DVB编码的视频流。

在又一实施例中，所述ROI位置信息可以包括与尚未被所述客户端设备接收的所述ROI视频流的至少一个视频帧关联的至少一个超前位置。在该实施例中，视频帧可以与经时间移位的ROI坐标关联。时间移位补偿在由客户端设备请求瓦片流和处理瓦片（视频）流之间的时间段期间（第一）ROI的移动。这样，由所请求的瓦片流形成的子区域总是包括所请求的ROI。该实施例在处理包括动态ROI轨迹的ROI流时特别有利。在实施例中，超前位置是对第一位置的补充。在另一实施例中，超前位置可以代替第一位置。

在实施例中，提供所述ROI位置信息可以包括：提供所述ROI视频流的至少第一图像帧的第一ROI坐标以用于基于所述一个或多个瓦片视频流而再现第二ROI，所述第一ROI坐标限定了在由所述客户端设备接收到指令、优选地用户发起的指令时所述第一子区域的所述第一位置。在该实施例中，在例如经由用户交互指示客户端设备的时刻由客户端设备处理的帧的ROI坐标可以用于确定对于切换到瓦片流式传输模式（即，基于瓦片流而不是再现预定（“导演剪辑”）ROI的ROI流来再现用户发起的ROI）所需的一个或多个瓦片流。

在另外的实施例中，所述指令可以包括ROI矢量以用于指示所述第一子区域的改变，并且其中所述ROI矢量用于确定所述一个或多个瓦片视频流。ROI矢量可以与某个用户交互（例如，扫视、缩放和/或倾斜）关联，并且可以用于选择适合于所请求的用户交互的瓦片表示。ROI矢量可以在矢量坐标方面被定义。ROI矢量可以定义由用户交互引起的ROI的运动的大小和方向（例如，沿图像区域平面的x、y、z轴）。沿z轴的运动可以反映缩放动作。在x、y平面中的运动可以反映扫视。对于倾斜，可以添加另外的矢量坐标（例如，斜度（inclination））。矢量可以被表示为这些矢量坐标的增量（delta）的集合。

在实施例中，方法还可以包括：提供所述ROI视频流的至少第二图像帧的第二ROI坐标，所述第二ROI坐标限定了在由所述客户端设备处理（例如，接收、缓冲和/或解码）所述一个或多个瓦片流时所述第一子区域的第二位置。在该实施例中，由于通过客户端设备请求瓦片流和处理瓦片流之间的ROI的移动而引起的不利效应可以减少。

在实施例中，所述方法还可以包括：基于所述一个或多个瓦片子区域和所述第一ROI坐标和/或第二ROI坐标来再现第二ROI。在另外的实施例中，所述方法可以包括：基于与所述一个或多个瓦片子区域关联的瓦片图像帧来形成第二子区域，以及从所述第二子区域中裁剪出所述第二ROI。瓦片子区域可以被用于在图像区域中形成第二子区域。ROI坐标可以用于从第二子区域创建（裁剪）出第二ROI，以使得确保到瓦片化流式传输模式的平滑转变。

在另外的实施例中，如果所述第二子区域是基于两个或更多瓦片子区域而形成的，则形成所述第二子区域包括：使所述两个或更多瓦片视频流的两个或更多瓦片图像帧同步，以及将所述同步的瓦片图像帧缝合成所述第二子区域。

在实施例中，所述至少一个超前位置可以包括所述ROI视频流中尚未被所述客户端设备接收的一个或多个图像帧的一个或多个时间移位的第一ROI坐标，所述时间移位的第一ROI坐标在所述一个或多个图像帧之前被提供给所述客户端设备。在另外的实施例中，所述时间移位的ROI坐标可以与时间移位信息（优选地，时间戳）关联以用于确定所述时间移位。在该实施例中，ROI位置信息可以被时间移位，以使得客户端设备可以在时间上提前接收ROI位置信息。这样，客户端可以请求正确的瓦片流，甚至在ROI非常动态时。

在实施例中，可以基于包括所述瓦片位置信息的空间清单文件来请求所述一个或多个瓦片视频流，所述瓦片位置信息包括所述图像区域内所述一个或多个瓦片子区域的坐标；所述空间清单文件还包括所述源视频的一个或多个瓦片表示，瓦片表示包括一个或多个瓦片标识符以用于标识一个或多个瓦片视频流，优选地，所述一个或多个瓦片视频流是基于HTTP的自适应流式传输类型的流。因此，（空间）清单文件可以用于在客户端处高效地存储瓦片流的所有信息。包括不同质量、瓦片大小、摄像机角度等的瓦片流的集合的不同瓦片表示可以被用于瓦片化流式传输模式中。

在实施例中，所述ROI位置信息可以包括ROI坐标，所述ROI坐标限定了所述图像区域内的所述第一子区域的至少一个位置，所述第一子区域由所述ROI视频流的至少一个图像帧来限定。

在实施例中，所述ROI位置信息的至少部分可以在所述ROI视频流的位流中传送到所述客户端设备，优选地是SEI消息，其通过ROI坐标标志发信号通知，从而指示所述位流中所述ROI坐标的存在。

在实施例中，所述ROI位置信息的至少部分可以在MPEG传送流中传送到客户端设备，优选地在所述MPEG传送流中的分组化基本流中；或者作为所述MPEG传送流中的DVB定义的SAD（同步的辅助数据）分组，可选地所述SAD分组包括时间移位的ROI坐标。

在实施例中，所述ROI位置信息的至少部分可以在MPEG-4流中的预定义的盒（box）中传送，优选地在MPEG-4流的moov、trak和/或stbl盒中。

在实施例中，所述ROI位置信息的至少部分可以在MPEG-4流中的元数据轨道中传送，优选地使用专用的样本条目码。

在实施例中，所述ROI位置信息的至少部分可以作为水印传送到所述客户端设备，优选地作为所述ROI视频流中的水印。

在另外的方面中，本发明可以涉及一种设备，其包括被配置用于基于一个或多个瓦片视频流来提供感兴趣的区域（ROI）的客户端，其中所述ROI限定与源视频关联的图像区域的子区域，所述客户端被配置用于：接收优选地经MPEG和/或DVB编码的、感兴趣的区域（ROI）视频流，以用于再现第一ROI，所述第一ROI限定与所述源视频关联的图像区域内的第一子区域；提供与所述客户端设备所接收的所述ROI视频流的至少一个视频帧关联的ROI位置信息，所述ROI位置信息包括所述图像区域内的所述第一子区域的至少一个第一位置；和/或与尚未被所述客户端设备接收的所述ROI视频流的至少一个视频帧关联的至少一个超前位置；使用所述ROI位置信息和瓦片位置信息用于确定与一个或多个瓦片子区域关联的一个或多个瓦片视频流，所述一个或多个瓦片子区域的至少部分与所述第一子区域重叠，所述瓦片位置信息包括所述图像区域内的所述一个或多个瓦片子区域的位置；以及请求所述一个或多个瓦片视频流。

在另一方面中，本发明可以涉及用于形成包括ROI位置信息的感兴趣的区域（ROI）流的视频处理器，其中所述处理器可以被配置用于：将流、优选地MPEG和/或DVB编码的流的图像区域与关联于源视频的图像区域内的子区域（ROI）相关；确定所述图像区域中所述子区域的位置信息、优选地坐标；以及在所述流中插入所述位置信息。

在实施例中，所述位置信息可以被插入在去往所述客户端的所述ROI流的位流中，优选地由指示所述位流中所述ROI坐标的存在的ROI坐标标志发信号通知的SEI消息。

在实施例中，所述ROI位置信息的至少部分被插入在MPEG传送流中，优选地作为所述MPEG传送流中的分组化的基本流或者作为所述MPEG传送流中DVB定义的SAD（同步的辅助数据）分组，可选地，所述SAD分组包括时间移位的ROI坐标。

在实施例中，所述ROI位置信息的至少部分可以被插入在MPEG-4流中的预定义的盒中，优选地在MPEG-4流的moov、trak和/或stbl盒中。

在实施例中，所述ROI位置信息的至少部分可以被插入在MPEG-4流中的元数据轨道中，优选地使用专用的样本条目码。

在实施例中，所述ROI位置信息的至少部分作为水印被插入在所述流中。

在又一方面中，本发明可以涉及用于存储视频数据的非暂时性计算机可读存储介质，其中，所述记录区段可以包括：与ROI流关联的视频数据，所述视频数据用于形成作为源视频的图像区域内的子区域（ROI）的图像区域；以及所述图像区域中所述子区域的位置信息、优选地坐标。

在实施例中，所述位置信息的至少部分可以被插入在所述ROI流的位流中，优选地由指示所述位流中所述ROI坐标的存在的ROI坐标标志发信号通知的SEI消息。

在实施例中，所示ROI位置信息的至少部分可以被插入在MPEG传送流中，优选地作为所述MPEG传送流中的分组化的基本流或者作为所述MPEG传送流中DVB定义的SAD（同步的辅助数据）分组，可选地，所述SAD分组包括时间移位的ROI坐标。

在实施例中，所述ROI位置信息的至少部分可以作为水印被插入在所述流中。

在另外的方面中，本发明可以涉及用于存储数据结构、优选地空间清单文件的至少部分以供如上所述的客户端使用的非暂时性计算机可读存储介质，其中，所述数据结构可以包括：源视频的一个或多个瓦片表示，瓦片表示包括一个或多个瓦片标识符以用于标识所述一个或多个瓦片流，限定源视频的图像区域（的）内的瓦片区段（即，子区域）的位置的瓦片位置信息；包括ROI位置信息的ROI流的ROI流标识符、优选地URL，所述ROI流包括用于形成作为所述源视频的图像区域的子区域的图像区域的视频数据；以及所述图像区域中所述子区域的位置信息、优选地坐标。

本发明还可以有关于包括软件代码部分的计算机程序产品，所述软件代码部分被配置用于当在计算机的存储器中运行时执行根据以上权利要求中任一项的方法步骤。

将参考随附附图进一步说明本发明，所述附图将示意性地示出根据本发明的实施例。将理解的是，本发明不以任何方式被限制于这些特定实施例。

附图说明

图1A和1B描绘了根据本发明的实施例将ROI流式传输到客户端的示意图。

图2描绘了根据本发明的实施例的基于源视频文件来生成瓦片流和ROI流的过程。

图3描绘了根据本发明的实施例的被配置成向一个或多个客户端流式传输瓦片流和ROI流的内容递送系统。

图4描绘了根据本发明的实施例的空间清单文件的示意图。

图5描绘了根据本发明的实施例的客户端。

图6A和6B描绘了根据本发明的实施例的客户端过程的示意图。

图7A和7B描绘了根据本发明的实施例的流式传输过程。

图8A和8B描绘了根据本发明的实施例的用于在非瓦片化流式传输模式和瓦片化流式传输模式之间无缝切换的过程。

图9A和9B描绘了根据本发明的另一个实施例的用于在非瓦片化流式传输模式和瓦片化流式传输模式之间无缝切换的过程。

图10描绘了根据本发明的各种实施例的ROI数据。

图11描绘了本发明的实施例，其中ROI数据作为MPEG传送流中的基本流被传送。

图12A和12B描绘了本发明的实施例，其中ROI数据在MPEG流的经编码的位流中被传送。

图13A和13B描绘了本发明的实施例，其中ROI数据在MPEG-4流的新的盒中被传送。

图14描绘了本发明的实施例，其中ROI数据作为MPEG-4流的元数据轨道被传送。

图15A和15B描绘了根据本发明的实施例的用于瓦片化流式传输的空间缓冲区的使用。

图16描绘了根据本发明的实施例的三模式ROI流式传输模型。

具体实施方式

图1A和1B示意性地描绘了由本公开中描述的客户端设备使用来以便在其上实现了客户端设备的用户设备的显示器上再现所谓的感兴趣的区域（ROI）的不同流之间的关系。特别地，图1A描绘了再现的源视频的宽视场（全景）图像区域100。源视频可以基于具有宽视场、不同摄像机位置、不同摄像机角度、3D等的一个或多个高分辨率视频文件来形成。

基于源视频，可以生成包括（预选的）第一子区域的一个或多个流，所述第一子区域表示源视频的图像区域内的感兴趣的区域（ROI）106、110。该第一ROI的位置和大小可以与ROI坐标关联。如图1A中所示，ROI可以遵循ROI轨迹，其中第一ROI在第一时间实例时处于图像区段内的第一位置106处，并且在第二时间实例时处于第二位置110处。

可以使用跟踪算法或摄像机操作者来预选择（第一）ROI。可以通过从源视频的解码帧的图像区域中裁剪出ROI并在分离的流（例如，MPEG和/或DVB编码的流）中对裁剪的区域进行编码来生成流。该流可以被称为ROI流107。裁剪的区域的坐标可以被称为ROI坐标。例如，源视频可以涉及足球比赛的高分辨率、宽视场视频，并且ROI流可以基于源视频、通过从源视频的解码帧中裁剪出与球关联的ROI来生成。

可替换地，ROI（视频）流可以被生成为源自例如跟随球的广播摄像机的分离的流。在该情况下，图像处理器可以使用图像识别和跟踪算法以便将广播视频的（有限）视场与源视频的宽视场图像区域的特定子区域（ROI）相关。这样，图像处理器可以将所谓的ROI坐标与ROI流中的帧相关。在实施例中，ROI流可以使用诸如DVB之类的广播技术来传输。

在另一个实施例中，ROI流可以基于自适应流式传输协议（诸如HAS）被传输到客户端。清单文件108可以定义分段标识符，以用于定位被配置成将分段递送到客户端的一个或多个递送节点。

自适应流式传输协议的示例包括Apple HTTP实况流式传输[http://tools.ietf.org/html/draft-pantos-http-live-streaming-07]、Microsoft平滑流式传输[http://www.iis.net/download/SmoothStreaming]、Adobe HTTP动态流式传输[http://www.adobe.com/products/httpdynamicstreaming]、3GPP-DASH[TS 26.247 透明端对端分组交换的流式传输服务(PSS); 通过HTTP的渐进下载和动态自适应流式传输]和通过HTTP的MPEG动态自适应流式传输[MPEG DASH ISO/IEC 23001-6]。HTTP允许用于向客户端递送瓦片流（和分段）的高效、防火墙友好的和可伸缩的方案。

在以上示例中，ROI位置信息112可以在形成ROI流时被确定。ROI位置信息限定源视频的宽视场图像区域内的ROI（视频）流的（有限视场）图像子区域的位置。ROI位置信息可以包括ROI坐标，所述ROI坐标限定源视频的图像区域内ROI的位置和大小。在实施例中，对于ROI流中的每一个帧（或帧的集合），可以生成ROI位置信息（ROI坐标）。在ROI流的播出期间，ROI位置可以在源视频的全图像区段内移动。在ROI流的播出期间，ROI坐标可以随时间改变，从而形成ROI坐标的流。ROI坐标的流可以在源视频的全图像区段内形成轨迹。

在实施例中，ROI位置信息可以包括可以与ROI流一起（同步地）发送到客户端的ROI坐标的流。ROI位置信息可以在分离的通信信道中被发送给客户端。可替换地，ROI位置信息可以作为视频帧的传送容器（container）的部分而传送到客户端。下文将更详细地描述示例。

在图1A中图示源视频的图像区域内的随时间的（第一）ROI的轨迹。第一子区域（ROI）可以在第一时间实例时开始于与第一ROI坐标和第一ROI大小关联的第一ROI位置106处，并且在一些时间之后，ROI可以移动到与第二ROI坐标和ROI大小关联的第二ROI位置110。在轨迹期间，ROI可以缩放成源视频的图像区域的预定部分。

通常，用户设备具有有限的再现和带宽能力，并因而不能以高分辨率质量来接收和再现源视频的全图像区域。如图1B中所示，该问题可以通过使用图像处理器来确定源视频的解码帧以便将视频源处理成多个瓦片（视频）流来解决。图像处理可以包括将源视频的帧解码成可显示的宽视场图像区域，并以预定大小的瓦片区段101（瓦片）来划分图像区域。瓦片区段形成源文件的全图像区域的瓦片子区域。在实施例中，邻近的瓦片子区域可以部分地重叠。全图像区域中的瓦片子区域的位置可以基于与全图像区域关联的坐标系框架103来限定。该坐标系还可以被使用以便确定ROI流中ROI的ROI坐标，如参考图1A所详细描述的。在图像区域涉及2D或3D图像区域的情况下，可以使用笛卡尔坐标系。可替换地，在图像区域涉及弯曲的图像区域的情况下，可以使用其它的非笛卡尔、曲线坐标系，例如圆柱形、球形或极坐标系。

针对源视频的每个帧，图像处理器可以通过从解码的帧中裁剪出瓦片区段（即，源视频的图像区域中的邻近子区域）生成多个空间上邻接的瓦片子区域。瓦片子区域随后被格式化在瓦片帧中，并基于已知的媒体流式传输格式而被存储为分离的瓦片（视频）流102（文件）。

这样，源视频可以以瓦片流的集合来被划分，所述瓦片流可以被单独地存储、访问和流式传输到客户端。瓦片之间的空间关系此后可以称为瓦片位置信息。瓦片位置信息可以包括所述源视频的图像区域内瓦片子区域的坐标。这样，每个瓦片流可以与源视频的图像区段中的瓦片子区域有关。基于瓦片子区域的完整集合，可以重构源视频的全图像区域。另外，瓦片标识符（文件名和/或URL）可以用于定位被配置成存储和递送瓦片的一个或多个递送节点（例如，一个或多个媒体服务器或CDN）。瓦片标识符和空间瓦片信息可以收集在特殊的数据结构中，所述特殊的数据结构此后可以称为空间清单文件（SMF）104。

在实施例中，瓦片（视频）流可以被配置用于使用例如基于HTTP的自适应流式传输（HAS）协议的自适应流式传输。在该情况下，构建瓦片流的瓦片的时间序列可以以瓦片分段流或（简言之）瓦片分段来在时间上被划分。定义完整瓦片流的瓦片分段的集合也可以在SMF中被定义。可替换地，SMF可以包括对定义瓦片流的HAS清单文件的指针。下文将参考图4描述SMF的更详细示例。

用于基于源视频而形成多个瓦片流的上述瓦片化过程可以针对不同的瓦片大小和/或分辨率而被重复。这样，可以实现（相同）源视频的多个瓦片表示。因此，在本公开中，源视频的瓦片表示可以定义源视频的不同瓦片化的变体，包括：2D和3D格式，不同的视频和/或音频品质（例如，SD/HD、比特率等）、不同分辨率、不同视场、摄像机角度等。

基于瓦片位置信息和包括ROI流的ROI坐标的ROI位置信息，用户设备中的客户端可以请求邻接瓦片流的预定集合，其可以被客户端使用以便构造包括第一子区域（ROI）的第二子区域。特别地，经同步的空间上邻接的瓦片帧的集合（即，具有相同播出时间的空间上邻接的瓦片帧的集合）可以用于重构包括ROI流的ROI的全图像区域内的第二子区域。

例如，如图1B中所示，在第一时间实例处，ROI坐标限定与四个瓦片子区域（即，子区域(1,0)，(1,1)，(2,0)和(2,1)）重叠的ROI 106。这四个瓦片区域可以在第一时间实例处形成包括第一子区域（即，ROI流的ROI）的图像区域内的第二子区域。类似地，在第二时间实例处，ROI坐标可以限定与两个瓦片子区域（即，子区域(0,2)和(1,2)）重叠的ROI 110。这两个瓦片子区域可以在第二时间实例处形成包括第一子区域（即，ROI流的ROI）的图像区域内的第二子区域。该方案可以用于从ROI流平滑切换到瓦片化流式传输。

如下文将更详细描述的，用户可以使用用户接口（例如，触摸屏或定点设备）与显示的图像区域（例如，第一ROI或第二ROI）交互，并操纵所显示的内容（例如，扫视、缩放、倾斜）。响应于该用户交互，接口可以为客户端设备生成指令以基于所述一个或多个瓦片视频流而开始再现用户请求的ROI。这样，用户可以移动或扩展ROI，并且作为响应，客户端可以选择适当的瓦片表示并请求所选瓦片表示的适当瓦片流。再现用户选择的ROI的该模式可以被称为瓦片化流式传输模式。

因此，从上文接下来是用户可以以基于如参考图1A描述的ROI（视频）流的第一模式（ROI流式传输模式）来观看某个场景、足球赛，所述ROI流可以作为MPEG或DVB编码的流而被传输到客户端，并且用户可以以基于如参考图1B描述的瓦片流的第二模式（瓦片化流式传输模式）来观看相同的场景、场景的细节或场景周围的区域。如图1A和1B中所示，从ROI流式传输模式到瓦片化流式传输模式的转变基于与ROI流关联的ROI坐标来实现。

ROI流可以被客户端使用在默认流式传输模式、（非瓦片化）ROI流式传输模式中，其中广播或多播流被显示给用户。瓦片流可以被客户端用于再现可以由用户经由用户设备的用户接口所操纵的ROI。当客户端在其显示器上以ROI流式传输模式再现ROI流时，客户端将基于ROI位置信息而知道源视频的全图像区域内ROI的位置。与ROI流关联的ROI位置信息可以被客户端用于平滑地或甚至无缝地切换到瓦片化流式传输模式。

所主张的是以瓦片的源视频的图像区域的空间划分不限于如图1中描绘的示例。图像区域可以在空间上被划分成不同维度的相等尺寸的瓦片区段的矩阵。例如，在实施例中，图像区域可以具有与原始视频帧的中心关联的小瓦片区段和在图像区域的边缘处的较大瓦片区段。

图2示意性地描绘出用于生成空间分段的内容的示例性过程。一个或多个高分辨率、宽视场摄像机202可以用于生成或组成源视频。瓦片化视频生成器204可以用于基于如上参考图1所描述的源视频而生成瓦片化内容208。瓦片化内容可以包括源视频的一个或多个瓦片表示209，其中瓦片流之间的空间关系以及在一些实施例中瓦片流中的分段的时间关系可以在SMF 210中被定义。

另外，源视频可以被递送到ROI流生成器212。ROI流生成器可以被配置成通过扫视和缩放通过源帧中的各帧的图像区域而选择特定兴趣的ROI（例如，足球比赛中的球）。ROI可以使用算法（例如，用于跟踪图像中的特定对象的跟踪算法）或者选择ROI的人类操作者来被自动选择。ROI的坐标可以被收集作为ROI位置信息218。如果ROI位置信息被收集在分离的文件中，则ROI位置信息可以包括用于将例如ROI坐标的ROI位置信息链接到ROI文件中的特定帧的信息（例如，帧号）。另外，在实施例中，ROI流可以被配置为（时间上）分段的流以用于自适应流式传输。

可替换地，ROI（视频）流可以包括捕获相同场景的部分作为如参考图1描述的源视频的广播摄像机的直接输出（即，广播流）。组合器220可以在ROI流被发送到网络222、特别是网络中的一个或多个递送节点226_1,2之前将ROI流与瓦片化内容208组合。在实施例中，组合器可以将ROI流标识符（例如，其文件名）插入在SMF中。在实施例中，递送节点可以是媒体服务器。在另一个实施例中，递送节点（代理节点）可以是专用内容递送网络（CDN）的部分。在该情况下，与瓦片表示关联的瓦片分段和一个或多个ROI分段可以被内容递送网络控制功能224吸收。内容递送网络控制功能然后在不同递送节点上分布瓦片流和ROI流，以使得确保流的高效分布。在实施例中，CDN可以更新瓦片（和分段）标识符（URL），以使得客户端可以高效地访问CDN的递送节点以便请求（瓦片化）内容的递送。

当用户设备的客户端想要访问ROI和/或瓦片流时，它可以从内容提供商或CDN接收SMF并使用清单文件来请求并播出ROI流和/或瓦片流。用户设备通常可以涉及（移动）内容播出设备，诸如电子平板、智能电话、笔记本电脑、媒体播放器、家庭网关或DASH使能的设备，诸如DASH使能的HbbTV显示设备。可替换地，用户设备可以是被配置用于处理和临时存储内容以供未来由内容播出设备消费的机顶盒或内容存储设备，所述内容播出设备能够访问所存储的内容。

图3描绘了根据本发明的一个实施例的用于对瓦片化内容进行流式传输的系统。特别地，图3图示了基于CDN的内容递送系统，其包括经由CDN互连接口364互连到至少第二CDN 304（也称为下游CDN）的第一CDN 302（也称为上游CDN）。内容递送系统还可以包括经由传送网络307连接到托管客户端的一个或多个终端308的内容源306。内容源可以被配置成生成和/或递送具有关联的ROI位置信息的ROI流和源视频的一个或多个瓦片表示，如参考图1和2所详细描述的。

CDN可以包括递送节点310、313、314和至少一个中央CDN节点316、318。每个递送节点可以包括或相关联于控制器320、322、324和高速缓存340、342、344以用于存储和缓冲内容。每个中央CDN节点可以包括或可以相关联于用于控制从外部内容源的内容的吸收的吸收节点（或内容起源功能、COF）325、327，用于维护关于内容存储在CDN内哪里的信息的内容位置数据库334、336以及用于控制内容的一个或多个拷贝到递送节点的分布以及用于将客户端重定向到适当的递送节点（也已知为请求路由的过程）的CDN控制功能（CDNCF）326、328。托管CDNCF的节点可以称为请求路由（RR）节点。顾客可以通过向web门户（WP）332发送请求来从内容提供商系统330购买内容，例如视频标题，所述web门户被配置成提供对可购买的内容项进行标识的标题书目。CDNCF可以通过使用内容位置数据库334、336来管理可以检索瓦片流和/或ROI流的位置。

在图3的内容递送系统中，上游CDN可以将分段到客户端的递送的部分外包给下游CDN。例如，在一个实施例中，低品质的分段可以由第一CDN A（例如，被配置用于将内容递送到移动设备）定位和递送并且高品质的分段可以由第二CDN B（例如，被配置用于将高品质的分段递送到支持HDTV技术的家庭媒体设备）定位和递送。

图4示意性地描绘了根据本发明的一个实施例的SMF数据结构400。SMF可以包括若干分层次的数据层级402、408、418、428，其中第一层级402可以涉及定义源视频（例如，source1.m2ts）的一个或多个瓦片表示406_1-3的瓦片组成信息。通常，源视频可以基于一个或多个高分辨率的并且通常为宽视场的视频流或文件来形成。

下一个数据层级408可以定义瓦片表示。瓦片表示可以包括与瓦片流的集合之间的空间关系相关联的位置信息。瓦片表示可以包括被布置在空间映射（map）411中的瓦片流实例的集合412_1-4。瓦片实例可以定义瓦片流。在一个实施例中，映射可以定义瓦片流实例的矩阵。

瓦片流实例可以与限定源视频的图像区域内的瓦片区段的位置的瓦片位置信息413_1-4相关联。例如，图4描绘了瓦片流实例的矩阵，其中与瓦片位置(1,1)和(1,2)关联的瓦片流实例可以被客户端用于显示内容。例如，基于这两个瓦片视频流，视频图像可以被客户端构造，其包括与源视频中的帧的图像区域的上半部相关联的内容。

瓦片表示还可以包括关于源分辨率410的信息，其指示源视频的分辨率版本，所述源视频的分辨率版本用于生成在空间映射中所涉及的空间分段流。例如，在图4中，在空间映射中所涉及的空间分段流可以基于源视频的4096×2160分辨率版本来生成。空间表示还可以包括定义在空间映射中所涉及的瓦片流的分辨率的分段分辨率414（在图4的示例中，2048×1080分辨率）以及定义空间映射中的瓦片流以其递送到客户端的比特率的瓦片比特流率416。

下一个数据层级418可以涉及瓦片信息，即关于空间映射中的瓦片流实例的信息。瓦片信息可以包括瓦片流中的瓦片帧的位置坐标424。位置坐标可以基于绝对或相对坐标系。空间映射中所涉及的瓦片流中的瓦片帧的位置坐标可以被客户端用于将邻近的瓦片帧的边界在空间上对准成无缝视频图像以供显示。该过程通常称为“缝合”。

空间瓦片信息还可以包括一个或多个瓦片流标识符426、428（例如，一个或多个URL）以用于定位递送节点，所述递送节点被配置成将标识符所定义的空间瓦片流传输到客户端。瓦片信息还可以包括协议信息，其指示哪个协议（例如，RTSP或HTTP）用于控制瓦片流到客户端的递送。

在实施例中，SMF还可以包括一个或多个ROI流的清单文件405（或引用、例如对MF的URL），其中所述ROI流基于与瓦片流相同的源视频来生成。在另一个实施例中，SMF可以包括ROI位置信息（或引用，例如对包括与ROI流中ROI的位置关联的ROI位置信息的文件或流的URL）。

图5描绘了根据本发明的一个实施例的客户端设备。特别地，图5描绘了包括用户导航功能504的客户端设备，所述用户导航功能504用于解释与媒体播放器506所处理的（瓦片化）内容的用户交互。用户导航功能可以连接到用户接口，所述用户接口可以包括触摸屏、摄像机、键盘、鼠标、跟踪球、操纵杆、麦克风、按钮或允许对显示的内容的操纵（例如，扫视、缩放和/或倾斜）的任何其它人机接口。

客户端设备还可以包括用于从内容提供商或网络中的内容源（例如，媒体服务器或CDN）接收一个或多个清单文件的清单高速缓存522。清单文件可以包括SMF 516，所述SMF516定义源视频的瓦片表示的瓦片流标识符（URL）。另外，SMF可以包括瓦片位置信息，所述瓦片位置信息包括瓦片视频流的瓦片子区域的位置（坐标）。

在一些实施例中，SMF还可以包括可以在基于HTTP的自适应流式传输协议的基础上格式化的ROI视频流的MF。可替换地，ROI流的MF可以与SMF分离地存储在清单高速缓存中。在其它实施例中，ROI流是其中嵌入了ROI坐标的MPEG或DVB编码的广播或多播流。在该情况下，客户端可以被配置成请求（调入或加入）广播流或。

清单高速缓存可以连接到流检索器510和流选择器512。流选择器可以选择流（一个或多个瓦片流和/或ROI流）并指示流检索器根据某个方案从网络520请求所选的流。

在没有用户交互的默认情形中，与SMF关联的内容可以基于包括（或关联于）ROI位置信息的ROI流、如参考图1和2详细描述的那样被流式传输到客户端。因此，在ROI视频流是HAS（基于HTTP的自适应流式传输）流的情况下，流选择器可以指示流检索器请求（默认）ROI流的分段。ROI流的分段不被流处理器所处理，而是直接转发到媒体播放器的缓冲器508。类似地，在ROI流是广播流的情况下，流选择器可以加入或调入到所要求的广播流中，并且流接收器可以将分组直接转发到缓冲器。

当用户导航功能被用户交互触发时，用户导航功能可以指示流处理器从ROI流提取ROI位置信息，并且将信息转发到ROI生成器。ROI生成器可以开始生成ROI坐标，其中第一坐标可以对应于在检测到用户交互的时间实例处被客户端设备处理的ROI流的一个或多个帧的ROI坐标。

在另一个实施例中，流处理器可以总是从ROI流提取ROI位置信息，并将该信息提供到ROI生成器。在该情况下，在流式传输和再现ROI流的期间，再现的帧的ROI坐标总是对客户端可用。在一些实施例中，ROI位置信息可以在不对帧进行解码的情况下从ROI流提取。在其它实施例中，ROI位置信息可以在对帧进行解码之后从ROI流提取。在该情况下，流处理器可以是包括用于对编码的帧进行解码的解码器的媒体播放器的部分。

ROI生成器可以开始基于用户导航输出和ROI流的ROI坐标来计算ROI坐标。在实施例中，用户导航功能可以解释用户交互并生成ROI矢量，其允许ROI生成器计算与特定用户交互相关的新的ROI坐标。例如，用户导航功能可以将一根手指滑动的手势解释成ROI的扫视（平移）并生成用于该ROI生成器的平移（运动）矢量。以类似的方式，两根手指夹捏的手势可以被解释为ROI的缩放动作、按钮按住为冻结ROI，并且说出的用户命令“全屏”作为到全屏的缩放。ROI生成器继续在接收到用户输入时计算ROI坐标。

当流选择器从ROI生成器接收到所计算的ROI坐标时，它可以使用SMF中的瓦片位置信息和源自ROI生成器的所计算的ROI坐标以便选择可以用于形成图像区域内的（第二）子区域的（例如，一个或多个）邻近瓦片（视频）流的集合。然后可以请求这些瓦片流。在接收到流之后，瓦片处理器可以同步所缓冲的瓦片帧，并将经同步的邻近瓦片帧缝合在一起以便形成全图像区域的缝合的子区域。要理解的是，当选择仅仅一个瓦片流时，缝合当然不是必要的。该（缝合的）（图像）子区域然后可以基于计算的ROI坐标而被裁剪以形成第二ROI。裁剪的图像可以被缓冲并在显示器（未示出）上再现。

因此，从上文随后为用户交互可以将客户端从（默认）非瓦片化ROI流式传输模式（其中显示预定的ROI）切换到瓦片化流式传输模式（其中，显示给用户的ROI可以通过经由用户交互来操纵）。当从ROI流式传输模式切换到瓦片化流式传输模式时，客户端可以在切换时确定ROI坐标（以用于裁剪）并使用这些ROI坐标以便在瓦片化流式传输模式中形成基本上相同的ROI或稍微移位的（在图像区域内的位置方面），以使得实现在内容的再现期间的平滑转变。

在实施例中，外部信号可以将客户端从非瓦片化的ROI流式传输模式切换到瓦片化流式传输模式。例如，ROI生成器可以被触发以开始基于ROI流中的信号或另一外部信号来计算ROI坐标。

当从ROI流式传输模式切换到瓦片流式传输模式时，ROI流中的帧和所选的瓦片流的瓦片帧被客户端所接收，并基于其共同的内容播出时间线而被同步，以使得两个模式之间的平滑或甚至无缝转变得以能够实现。

图6A和6B描绘了根据本发明的实施例的客户端过程的示意图。特别地，图6A描绘了用于基于源自用户导航功能的信息来控制ROI的生成的客户端过程。该过程可以开始于（默认）ROI流式传输模式（步骤600）。只要没有检测到用户交互，客户端就可以继续基于ROI流（ROI流式传输模式）而再现（第一）ROI。如果由客户端检测到用户交互（步骤602），则可以启动ROI生成器（步骤604）以计算ROI坐标用于流选择器和流处理器（步骤606）。由ROI生成器确定的第一ROI坐标可以对应于用户开始与其交互的ROI流中的一个或多个再现的帧的ROI坐标。这些ROI坐标可以被转发到流选择器（步骤606）以便切换到瓦片化流式传输模式（步骤608；如参考图6B更详细描述的）。

用户导航功能可以解释特定用户交互（步骤610）并将该信息（作为ROI矢量）转发到ROI生成器，所述ROI生成器继续接收与被客户端再现的ROI帧关联的ROI位置信息。ROI生成器可以基于ROI流的ROI位置信息和ROI矢量来计算另外的ROI坐标（步骤612）并将计算的ROI坐标转发到流选择器和流处理器以便在瓦片化流式传输模式中再现ROI。只要检测到用户交互，该过程就可以继续（步骤614）。当ROI生成器检测到不再存在用户活动时（步骤614），ROI生成器可以停止生成ROI坐标。

特别地，图6B描绘了用于从在ROI流式传输模式中再现ROI切换到在瓦片化流式传输模式中再现ROI的客户端过程。该过程可以通过流选择器从ROI生成器接收经计算的ROI坐标开始（步骤620）。由流选择器接收的第一ROI坐标可以对应于用户开始与其交互的ROI视频流中的一个或多个再现的帧的ROI坐标。流选择器可以使用瓦片位置信息和ROI坐标来确定瓦片流，所述瓦片流包括可以由其形成包括所计算的ROI的子图像区域的瓦片帧（步骤622）。流选择器可以指示流检索器从网络请求所选的瓦片流（步骤624）。当客户端接收到请求的瓦片视频流时，它可以基于其共同的内容播出时间线来使这些同步，并将空间上邻接的瓦片流的瓦片帧缝合在一起以便形成源视频的全图像区域的缝合的子区域（步骤626）。可以基于计算的ROI坐标来裁剪缝合的子区域（步骤628）。裁剪的图像可以被缓冲并在显示器上再现（步骤630）。上述过程确保当切换到瓦片化流式传输模式时，ROI流式传输模式中最后再现的ROI基本上与瓦片化流式传输模式中首先再现的ROI匹配。这样，客户端能够从在ROI流式传输模式中再现ROI平滑地切换到在瓦片化流式传输模式中再现ROI。

图7A和7B描绘了根据本发明的实施例的ROI流式传输过程。在该特定示例中，瓦片流可以由CDN使用自适应流式传输协议（诸如HTTP自适应流式传输协议）分布到客户端。该过程可以以客户端从内容提供商CP请求和接收空间清单文件SMF而开始（步骤700和702）。客户端可以解析SMF（步骤704）并在ROI流式传输模式中开始流式传输过程。为此，客户端可以从SMF中选择ROI流的第一（ROI）分段并向CDN的请求路由RR节点发送请求消息（步骤706）、HTTP GET（得到）消息。请求路由节点可以定位所请求的ROI分段被存储在其上的递送节点，并在重定向消息中将所定位的递送节点的URL发送回到客户端（步骤708）。客户端可以使用URL用于请求SMF中所标识的ROI分段。

因此，在重定向消息之后，客户端可以将请求消息发送回到递送节点，所述递送节点包括所请求的ROI分段（步骤710）。递送节点可以将所请求的第一ROI分段发送回到客户端（步骤712）。在该特定示例中，ROI分段可以包括ROI流中ROI的ROI坐标。ROI坐标可以限定源视频的空间表示内的轨迹。在下文更详细地描述传送流内的ROI坐标的不同方式。第一ROI分段可以被客户端缓冲并播出（步骤714），而针对另外的分段的检索过程可以继续。

在某个时间之后，例如，在第六ROI分段的播出期间（步骤716-718），客户端可以被触发以切换到瓦片化流式传输模式（步骤720）。例如，客户端可以检测被用户导航功能解释为扫视动作的用户交互。在触发以切换到瓦片化流式传输模式时，客户端可以确定与在检测到的用户交互期间再现的一个或多个帧关联的第一ROI坐标（步骤722）。此后，客户端可以以与以上参考图5和6A和6B描述的类似的方式继续基于ROI流的ROI位置信息来确定另外的ROI坐标。

在实施例中，客户端可以使用SMF中的瓦片位置信息和第一ROI坐标以便确定可以用于形成包括ROI的图像区域的空间上邻接的瓦片流的集合。在该示例中，瓦片流可以被分段成瓦片分段，以使得HAS流式传输协议可以用于将瓦片分段递送到客户端。此后，客户端可以开始基于SMF而请求所选的瓦片流的瓦片分段。特别地，客户端可以发送包括所选的瓦片流的所选瓦片分段（在该情况下，所选的瓦片流的第七分段瓦片7_11和瓦片7_12）的URL的请求消息（步骤724-726），并且作为响应从包括所请求的瓦片分段的递送节点接收响应消息（步骤728-730）。

在确定和请求瓦片流的上述过程期间，客户端继续播出ROI分段（未示出）。

在接收到所请求的瓦片（视频）流时，客户端可以基于其共同的内容播出时间线来同步这些瓦片流和再现的ROI流。邻接的瓦片流的经同步的瓦片帧（即，与特定的共同播出时间关联的瓦片帧）可以被解码并一起缝合成包括ROI的图像区域（步骤732）。如果需要的话，ROI坐标可以用于将缝合的（图像）子区域裁剪成与在客户端接收到所请求的瓦片流时播出的ROI流的ROI基本上类似（例如，相同或稍微移位）的图像区域（第二ROI）。

当缝合的图像子区域的形成与ROI流中的帧的播出同步时，客户端可以从基于ROI视频流再现第一ROI切换到基于瓦片（视频）流再现用户生成的（第二）ROI（步骤734）。在瓦片化流式传输模式中，客户端可以继续请求瓦片分段，将与共同播出时间关联的瓦片帧缝合成图像子区域并（可选地）在显示器上作为第二ROI再现它之前裁剪图像子区域。

在某个时间之后，例如在播出基于瓦片分段25生成的经缝合和裁剪的图像区域之后（步骤736和738），用户可以与用户设备交互以便切换回到默认ROI流式传输模式（步骤740）。在该模式中，内容的再现可以基于第26个ROI分段继续（步骤742）。

图8A和8B描绘了根据本发明的实施例的用于在非瓦片化流式传输模式和瓦片化流式传输模式之间无缝切换的过程。如图7A和7B中所示，基于在客户端接收到用于切换到瓦片化模式的触发（例如通过用户交互）的时间T处与ROI流的一个或多个ROI帧关联的ROI位置信息来确定被选择用于开始瓦片化流式传输模式的瓦片（视频）流。

该实施例可以用于ROI流或ROI流的特定部分，其中ROI轨迹将不在可以通过在接收到用于切换到瓦片化流式传输模式的信号时由客户端选择的邻接瓦片流所形成的图像区域外。

图8A描绘了其中客户端在时间T处接收到用以从ROI流式传输模式切换到瓦片化流式传输模式的信号的情形。在该时间处，客户端正再现ROI（视频）流的帧f。与帧f关联的ROI位置信息可以包括ROI坐标帧f（在图8A中pos0）。这些ROI坐标被用于检索空间上邻接的瓦片（视频）流的集合（一个或多个），每个瓦片流包括至少一个帧。当被同步时，这些帧可以用于形成（缝合）包括帧f的（第二）ROI的图像子区域。

在检索所选瓦片流所需的时间段Δt期间，数目为n的ROI帧可以被客户端再现，其中n=Δt*R，并且其中R是被递送节点用于向客户端传输ROI流的（平均）帧传输速率。在时间T+n处，客户端将接收所请求的邻接瓦片流，将瓦片帧与ROI流的ROI帧同步，对经同步的瓦片帧进行解码并将它们缝合在一起以形成经缝合的图像子区域。如果必要的话，客户端可以使用时间T+n处的ROI流中ROI的ROI坐标以便将缝合的图像子区域裁剪成与T+n处的ROI（视频流）帧的第一ROI基本上匹配的图像（第二ROI）。此后，客户端可以从基于ROI（视频）流再现第一ROI切换到基于裁剪的图像（第二子区域）再现第二ROI，以使得实现到瓦片化流式传输模式的平滑转变。

图8B描绘了用于实现如图8A中图示的到瓦片化流式传输模式的平滑转变的步骤的过程流。首先，客户端可以接收用以切换到瓦片化流式传输模式的信号（步骤802）。然后，将与帧f关联的ROI坐标提供到客户端（步骤804）。客户端可以使用SMF中的瓦片位置信息和ROI坐标（步骤806）以便确定可以用于在稍晚的时间点处形成包括ROI（视频）流的第一ROI（或与其基本上重叠）的经缝合的图像子区域的邻接瓦片流的集合（一个或多个）（步骤808），即在时间T+n处，由客户端接收所选的瓦片流。

所选的瓦片（视频）流可以被检索（步骤810），并且在时间T+n处由客户端接收。此后，邻接的瓦片流的瓦片帧和再现的ROI流的ROI帧可以被同步。在内容呈现时间线上具有相同位置的空间上邻接的瓦片流的瓦片帧f+n可以被解码（步骤812），并且被缝合在一起以便形成包括ROI（视频）流的帧f+n的第一ROI（或与其基本上重叠）的（第二）图像子区域（步骤814）。然后，与ROI帧f+n关联的ROI坐标可以用于从（第二）图像子区域裁剪出第二ROI（步骤816）。此后，内容的显示可以从再现ROI（视频）流的ROI（图像）帧切换到再现从一个或多个瓦片视频流导出的经裁剪的（第二）图像子区域（步骤818）。这样，从ROI流式传输模式平滑转变到瓦片化流式传输。

如果出于任何特定原因，显示的区域不是可用的，因为瓦片尚未被接收到和/或因为ROI（部分地）在由所请求的邻接的瓦片流所限定的图像区域外，则可以实现回落机制。在实施例中，源内容的低分辨率视频流可以被流式传输到客户端作为在整个流式传输过程期间的背景过程。当某个内容不可用时，低分辨率视频可以用于临时裁剪缺失的内容并在检索到缺失的瓦片流时再现它。这样，可以实现到瓦片化流模式的平滑转变，即使高品质视频可能稍后被再现。

图9A和9B描绘了根据本发明的另一个实施例的用于在ROI流式传输模式和瓦片化流式传输模式之间无缝切换的过程。在一些情形中，用于检索瓦片分段的时间Δt可以具有大约若干秒（尤其在通过尽力而为（best-effort）网络递送数据时）。此外，在一些情形中，ROI流中的ROI的轨迹可能是非常动态的，例如，其可以在短时间段的情况下在源文件的图像区段内包括大的平移和/或缩放动作。因此，在瓦片分段的检索时间期间，ROI的轨迹可能已经移位到在时间T处最初选择的瓦片（视频）流的集合的（第二）图像子区域外，以使得将阻碍从以ROI流式传输模式的再现到瓦片化流式传输模式的平滑转变。

为了处理该问题，ROI位置信息可以包括与ROI视频流的尚未被所述客户端接收到的视频帧关联的超前位置。在实施例中，超前位置可以包括所述ROI视频流中尚未被所述客户端设备接收到的一个或多个图像帧的一个或多个时间移位的第一ROI坐标。时间移位的ROI坐标在接收到关联的图像帧之前被提供给客户端设备。在另外的实施例中，所述时间移位的ROI坐标可以与时间移位信息、优选地时间戳相关联以用于确定所述时间移位。在该实施例中，ROI位置信息被时间移位，以使得客户端设备可以在时间上提前接收ROI位置信息。这样，客户端可以请求正确的瓦片流，甚至当ROI在源视频的图像区域内、在时间上遵循非常动态的轨迹时。

在图9A和图9B中，ROI位置信息中的ROI坐标相对于ROI流中的相关联的帧可以提前被提供给客户端。在实施例中，ROI位置信息可以在某一时间段（以帧的数目来表述）n=Δt*R内被时间移位，其中R是被递送节点用于向客户端传输ROI（视频）流的（平均）帧传输速率。经时间移位的ROI位置信息可以由CDN或网络中的另一个实体准备，并且Δt可以是用于CDN向客户端递送分段的最大时间段。

可以基于网络的特征递送时间来确定时间移位Δt。例如，在尽力而为网络中，Δt可以相对很大，例如几秒或更多，并且在其中根据某些QoS规则来递送数据的网络中Δt可以较小，例如小于几秒或甚至小于一秒。

在图9A中示意性地描绘了上述过程，其中客户端在时间T处接收用以从ROI流式传输模式切换到瓦片化流式传输模式的信号。在该时间处，客户端正再现ROI流的帧f。与帧f关联的ROI位置信息可以是在时间上向前移位的ROI坐标。特别地，针对帧f的ROI位置信息可以包括尚待再现的未来的ROI帧f+n的ROI坐标（其中，n=Δt*R）。客户端可以基于SMF中的瓦片位置信息和时间移位的ROI坐标来确定瓦片（视频）流的集合。

在时段Δt（n个帧）之后，所选的瓦片（视频）流的第一瓦片帧将在时间T+n时到达客户端。客户端可以基于其共同的内容播出时间线来同步瓦片（视频）流和再现的ROI流。邻接的瓦片流的经同步的瓦片帧（与特定的共同播出时间关联的瓦片帧）可以被解码，并一起缝合成包括由ROI视频流提供的（第一）ROI（或与其基本上重叠）的（第二）图像子区域。客户端然后可以形成包括所述（第一）ROI（或与其基本上重叠）的经缝合的图像子区域，并使用经时间移位的ROI坐标posf+n以便裁剪与由ROI视频流提供的帧f+n的ROI相对应（或与其相比仅稍微移位）的图像。这样，甚至当ROI在检索瓦片流的检索期间移动时，也确保到瓦片化流式传输模式的平滑转变。

图9B描绘了用于实现如图9A中图示的到瓦片化流式传输模式的平滑转变的步骤的过程流。首先，客户端可以接收用以切换到瓦片化流式传输模式的信号（步骤902）。然后，向客户端提供与帧f+n关联的经时间移位的ROI坐标（步骤904）。客户端可以使用SMF中的瓦片位置信息和经时间移位的ROI坐标（步骤906）以便确定能够用于形成包括ROI流的帧f+n的ROI的经缝合的图像区域的邻接瓦片流的集合（步骤908）。所选的瓦片流可以被检索（步骤910），并在时间T+n时被客户端接收。此后，邻接的瓦片流的瓦片帧和再现的ROI流的ROI帧可以被同步。在内容呈现时间线上具有相同位置的空间上邻接的瓦片流的瓦片帧f+n可以被解码（步骤912），并缝合在一起以便形成包括ROI流的帧f+n的ROI的图像区域（步骤914）。经时间移位的ROI坐标（posf+n）可以用于从由瓦片视频流的经同步的帧形成的图像子区域中裁剪出（第二）ROI（步骤916），并且内容的显示可以从再现ROI流中的ROI帧（例如，第一ROI）切换到再现瓦片流的所裁剪的图像区域（例如，第二ROI）（步骤918）。这样，即使播出的内容包括高度动态的ROI轨迹，也可以进行从ROI流式传输模式到瓦片化流式传输模式的平滑转变。

所主张的是，图9A和9B仅仅提供超前位置信息的使用的一个实施例，并且其它实现方式也是可能的。例如，在实施例中，超前位置可以通过使用例如已知的外插算法来预测源视频的图像区域内的ROI 的轨迹的算法而生成，所述外插算法使用在客户端设备的缓冲器中可用的ROI位置信息。

图10描绘了根据本发明的各种实施例的ROI位置信息。图10A描绘了描述特定的感兴趣的区域的、以XML编码的ROI位置信息的示例。图10A中的ROI位置信息描绘了三个相继的ROI标签。

ROI标签可以包括用于将ROI标签与ROI流中的ROI帧相互关联的信息。例如，在图10A中，<AbsoluteTime（绝对时间）>标签可以包括可以用于标识流中的帧的时间戳或另一个（唯一）值。时间戳可以定义与ROI关联的绝对时间。在实施例中，时间戳可以包括墙上时钟（wall-clock）时间，所述墙上时钟时间定义它与之关联的ROI帧的记录时间。绝对时间可以被编码为以浮点记法的自从1-1-1970以来的秒数（例如，Unix纪元时间）。当使用时间戳时，时间戳还应该被嵌入在（一个或多个）视频帧中，以使得所述帧可以与正确的ROI位置信息（ROI标签）相互关联。

另外，ROI标签可以包括ROI的位置信息。例如，<PixelX1X2Y1Y2（像素X1X2Y1Y2）>标签可以在像素单元方面描述ROI的位置。屏幕的左上方像素可以对应于(X,Y)=(0,0)。这样，X1定义ROI的左侧；X2定义ROI的右侧；Y1定义ROI的顶侧；并且，Y2定义ROI的底侧。在针对全HD 1920×1080屏幕的这样的方案中，右下方像素对应于(X,Y)=(1919,1079)。

示例中的第一ROI可以定义全屏幕。示例中的第二ROI可以表示按80%缩放到中心。示例中的第三ROI可以表示向右平移20像素。

图10B描绘了以XML编码的ROI位置信息的另一个实施例。ROI标签可以包括<RelativeTime（相对时间）>标签，其描述了应用于ROI的相对时间。相对时间可以从视频内容的起始点计数，并且可以被编码为以浮点记法的秒。相对时间可以用作相关性信息以便使ROI标签与ROI帧相关。当使用相对时间时，应定义ROI流的明确定义的起始点。

另外，ROI标签可以包括<NormalizedXYzoom（归一化的XY缩放）>标签，其描述了以归一化格式（X,Y,缩放）描述的ROI的位置。此处，坐标“X,Y”可以指示以浮点记法的ROI的左上方像素的位置，其中X和Y二者都在范围0-1中。在该示例中，屏幕的左上方像素对应于(X,Y)=(0,0)，并且全屏幕的右下方对应于(X,Y)=(1,1)。参数“缩放”可以定义缩放水平，其也可以以浮点记法。缩放=1可以对应于全屏。

图10B的第一ROI标签可以表示全屏。第二ROI可以表示按50%缩放到左上方。示例中的第三ROI可以表示ROI的左上方向屏幕中心的移动。

图10C描绘了可以在ROI标签中使用的标签的示例。FrameNumber（帧号）标签可以用作相关性信息，如果帧号可以从内容导出的话。像素XYWH（Pixel XYWH）标签可以定义以像素单元表述的ROI的X,Y坐标加上宽度和高度。RadialNormalized（径向归一化的）XYR标签可以定义圆形ROI的X,Y坐标及其半径。在实施例中，X,Y坐标可以被归一化到0-1尺度。SpeedPixel（速度像素）dXdYdWdH标签可以定义ROI的X、Y、宽度和高度的时间导数，其以像素每秒表述。

图11描绘了其中作为MPEG传送流（MPEG TS）中的基本流而传送ROI位置信息的实施例。特别地，ROI流的ROI坐标可以被封装在具有专用数据流ID的分离的PES（分组化的基本流）中。该PES流（其可以被称为ROI坐标流）然后可以在也包括ROI流的MPEG传送流中被复用。

图11描绘了PMT的XML表示，所述PMT包括视频流（类型=0x2，PID=0x1B63）、音频流（类型=0x3，PID=0x1B64）和ROI坐标流（新类型=0x20，PID=0x1B66）。新的流类型可以指示包含ROI坐标信息的PES流。该流类型然后可以用于PMT（程序映射表）表中以指示包含ROI坐标流的PID。

在客户端侧上，视频和ROI坐标之间的同步可以通过使用PTS时间戳来实现，所述PTS时间戳对于属于特定程序（并由单个PMT描述）的所有PES分组是共同的。作为示例，如果客户端需要检查在某个时刻的ROI流的ROI坐标，则它可以检查当前显示的视频帧的PTS值。此后，它可以在包括ROI坐标的PES（ROI坐标流）中搜索具有相同PTS的分组。在该分组内，它将找到用于该特定视频帧的ROI坐标信息。

在另外的实施例（其也可以与MPEG传送流一起使用）中，代替于定义新的流类型，ROI坐标数据可以使用DVB定义的SAD（同步的辅助数据）结构来被传送（参见，TS 102 823）。在该情况下，PMT表通告0x06流类型以指示专用数据PES流。为了指示特定SAD包括ROI坐标，可以定义新的辅助数据描述符（参见，TS 102 823的章节5.1）。

除了代替于定义新的PES流类型而使用SAD结构来承载和指示ROI坐标流之外，本实施例的所有其它方面与针对如参考图11描述的实施例所描述的那些方面类似。由于SAD分组还包含PTS值，这些可以被用于提供ROI坐标流和ROI流之间的同步。

在还另外的实施例中，为了传送经时间移位的ROI坐标，SAD分组不仅包括ROI坐标数据，而且还包括坐标所涉及的时间戳。这样的时间戳可以以帧号、内容时间戳或PTS/DTS值的形式。在后一情况下，分组报头中的PTS值被TS复用器用于定位TS流中的分组，而被包括在有效载荷中的PTS分组用于使坐标与特定视频帧相互关联。

图12A和12B描绘了其中ROI数据在MPEG流的位流中传送的本发明的实施例。特别地，图12A描绘了其中ROI数据作为补充增强信息（SEI）消息被插入在使用基于H.264/MPEG-4的编解码器所编码的MPEG流的位流中的实施例。

在该方案中，NAL单元可以定义位流中的基本块。SEI消息被定义为与补充增强信息（SEI）关联的NAL单元（参见ISO/IEC 14496-10 AVC中的7.4.1 NAL单元语义）。此处，SEI消息被定义为类型5消息：用户数据未被注册。SEI消息可以包括用于ROI数据的参数的预定数目的整数（在该示例中，四个整数）。

SEI消息可以承载额外的信息以便帮助解码的过程。然而，其存在不是强制的以便构造解码的信号，以使得不要求符合的解码器考虑该额外信息。各种SEI消息及其语义的定义在ISO/IEC 14496-10:2012的D.2中被定义。

称为用户数据未被注册的SEI消息类型允许在位流中承载任意数据。在ROI坐标的情况下，该SEI消息可以被用于承载ROI坐标。四个参数，即左上角的水平位置和竖直位置以及宽度和高度可以用于定义源视频的经解码的帧的图像区域中的ROI。

图12B描绘了其中在编码的位流中传送ROI数据的本发明的另一个实施例。帧报头中的布尔标志可以指示这样的信息是否存在。在标志被设置的情况下，跟随在标志之后的位可以表示ROI坐标，例如源视频的经解码的帧的图像区段内的ROI的左上角在水平和竖直轴上的位置以及宽度和高度。

图13A和13B描绘了其中在视频容器中传送ROI数据的本发明的实施例。特别地，这些附图涉及其中在视频容器（诸如，MP4文件格式（ISO/IEC 14496-14））中传送ROI坐标的实施例。在图13A中描述这样的文件的一般结构。MP4文件格式指定了盒的集合，其构成分层次结构以存储和访问媒体数据以及与其关联的元数据。例如，与内容有关的元数据的根盒是“moov”盒，而媒体数据存储在“mdat”盒中。更特别地，“stbl”盒或“样本表盒”为轨道的媒体样本编索引，从而允许将附加数据与每个样本相关联。在视频轨道的情况下，样本是视频帧。结果，将称为“样本ROI坐标”或“stro”的新盒添加到盒“stbl”内可以用于存储用于视频轨道的每个帧的ROI坐标。图13B描绘了其中在新盒“stro”中传送ROI坐标的本发明的实施例，所述新盒“stro”包括用于每个视频样本的ROI坐标。

图14描绘了其中作为MPEG-4流的专用元数据轨道而传送ROI位置信息的本发明的实施例。ROI位置信息轨道遵循常规轨道（比如音频或视频）的结构，然而，其中的数据不是视频或音频帧，而是包含ROI坐标的元数据。

标准ISO/IEC 14496部分12提供了一种机制以将定时的元数据轨道包括在ISO基础媒体文件格式内（并且通过继承到MP4文件格式）。在该实施例中，元数据轨道和视频轨道可以被同步，以使得ROI数据轨道的样本（例如，包括ROI视频帧的位置的ROI位置信息，优选地ROI坐标）被映射到（ROI）视频轨道的样本（视频帧）。该元数据轨道由特定的样本条目码表征以用于客户端能够解析实际数据。

ROI数据轨道可以另外或作为对“经同步的”位置的替换方案而包含ROI视频帧的经时间移位的位置（例如，超前位置）。这意味着，当接收ROI视频帧时，之后也被接收的元数据轨道的部分可以包含与尚未被接收到的ROI视频帧有关的ROI位置信息。实际上，元数据轨道使用轨道引用“tref”盒而被链接到视频轨道，所述轨道引用“tref”盒的引用类型是“cdsc”，并且track_id是所引用的轨道的id。作为对以上实施例的替换方案，称为“TimedText and Other Visual Overlays in ISO Base Media File Format（ISO基础媒体文件格式中的定时的文本以及其它视觉叠覆）”的标准ISO/IEC 14496部分30目的在于将定时的文本轨道包括在ISO基础媒体文件格式内（并通过继承到MP4文件格式）。在另外的实施例中，该字幕轨道可以以与以上实施例的元数据轨道类似的方式被使用。然而，此处，与原始字节相对，ROI坐标以明文被传送。

在另外的实施例中，ROI坐标（ROI位置信息）可以经由带外文件或流而被递送到客户端。可以使用时间戳来实现同步。在实施例中，ROI坐标可以被置于在开始回放之前（例如，在VoD流的情况下）或在经由WebSocket递送数据之前（在实况流的情况下）所检索的文件中。

由于在该情况下，ROI坐标与实际视频数据一起在带外发送，同步不能基于诸如PTS值之类的视频容器内部的信息。代替地，可以使用内容时间戳。这样的时间戳可以基于内容时间（即，开始于视频流的起始处的00:00:00）或基于用于实况广播流的墙上时钟时间（例如，20:31:11）。类似的时间戳还应存在于视频流自身中。对于MPEG DASH或HLS流，这样的时间戳可以由MPD或清单文件提供。在其中通过例如DVB递送ROI流的情况下，可以使用被插入在MPEG TS复用（参见102 823）中的DVB时间线分组。

在另一个实施例中，ROI坐标可以作为视频中的水印（水印）来被传送。在另外的实施例中，ROI坐标可以作为水印被置于ROI流自身中。

图15A和15B描绘了根据本发明的实施例的用于瓦片化流式传输的所谓的“空间缓冲区”的使用。图15A描绘了ROI流的ROI帧，其中，ROI帧包括“空间缓冲区”1502，即图像数据的外围区域（在图像的中心区域1504周围），其被传输到客户端但其在用户不与所显示的内容交互时或者在不允许用户与所显示的内容交互时不被显示。因此，在该情况下，在没有用户交互时可以被显示的中心区域从ROI帧中被裁剪出，并被显示给用户。

然后，当用户与内容交互时，ROI 1506（的部分）被导航到被定义为空间缓冲区的区中。然而，由于存在用户交互，因此允许来自空间缓冲区的图像数据的显示。用户交互可以触发客户端切换到瓦片化流式传输模式并基于ROI来请求瓦片，如以上参考图5-9详细描述的。在瓦片流的检索期间，可以通过从部分地位于空间缓冲区的区中的图像区域中裁剪出ROI来显示移动的ROI 1508。

图16描绘了根据本发明的实施例的三模式ROI流式传输模型。在该特定实施例中，客户端可以处于瓦片化流式传输模式（第一模式）中，其中基于四个瓦片再现用户生成的ROI。如果用户停止交互并想要以ROI流式传输模式（第三模式）来观看内容，则系统可以代替于立即切换到ROI流式传输模式而在预定时间内切换到第二模式。在该第二模式中，客户端保持在瓦片化流式传输模式中而同时接收ROI流的ROI位置信息。客户端然后使用ROI位置信息以便选择瓦片并基于所缝合的同步的瓦片帧来生成经裁剪的图像，如以上参考图5-9详细描述的。如果用户开始与所显示的内容交互，则其可以立即切换到瓦片化流式传输模式（第一模式）以用于显示用户生成的ROI。相反地，如果客户端可以预测到用户将要进行交互或者如果某个时段在被显示，其中存在用户可能与内容交互的高改变，则客户端可以切换到第二模式，以使得可以以快速且平滑（无缝）的方式实现到瓦片化流式传输模式的转变以用于显示用户生成的ROI。

要理解的是，关于任何一个实施例描述的任何特征可以单独地或与所述其它特征组合地使用，并且也可以与任何其它实施例或任何其它实施例的任何组合的一个或多个特征组合地使用。

本发明的一个实施例可以被实现为供计算机系统使用的程序产品。程序产品的（一个或多个）程序定义了实施例的功能（包括本文所描述的方法），并且可以被包含在各种计算机可读存储介质上。说明性的计算机可读存储介质包括但不限于：(i)在其上永久存储信息的非可写存储介质（例如，计算机内的只读存储器设备，诸如由CD-ROM驱动器可读的CD-ROM盘、闪速存储器、ROM芯片或任何类型的固态非易失性半导体存储器）；以及(ii)在其上存储可变更信息的可写存储介质（例如，磁盘驱动器内的软盘或硬盘驱动器或者任何类型的固态随机存取半导体存储器）。

另外，如将由本领域技术人员领会的，本发明的各方面可以体现为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件的实施例、完全软件的实施例（包括固件、驻留的软件、微代码等）或组合了软件和硬件方面的实施例的形式，其通常可以全部在本文中被称为“电路”、“模块”或“系统”。此外，本发明的各方面可以采取具有体现在其上的计算机可读程序代码的一个或多个计算机可读介质中所体现的计算机程序产品的形式。

本说明书中描述的许多功能单元已经被标记为模块，以便更特别地强调其实现方式独立性。例如，模块可以被实现为包括定制VLSI电路或门阵列、现货半导体、诸如逻辑芯片、晶体管或其它分立组件的硬件电路。模块还可以被实现在可编程硬件设备中，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等。

模块还可以被实现在软件中以供各种类型的处理器执行。计算机可读程序代码的所标识的模块可以例如包括计算机指令的一个或多个物理或逻辑块，其可以例如被组织为对象、过程、或功能。然而，所标识的模块的可执行物不需要物理上位于一起，而是可以包括存储在不同位置中的不同指令，所述指令当逻辑上结合在一起时构成模块并实现针对模块的所声称的目的。本发明不限于上述实施例，其可以在随附权利要求的范围内变化。

Claims

1.一种用于向客户端设备提供一个或多个瓦片视频流的方法，所述一个或多个瓦片视频流能够用于在显示器上再现感兴趣的区域（ROI），所述感兴趣的区域在与源视频关联的图像区域内限定子区域，所述方法包括：

接收优选地MPEG和/或DVB编码的、感兴趣的区域（ROI）视频流以用于再现第一ROI，所述第一ROI在与所述源视频关联的图像区域内限定第一子区域；

提供与所述客户端设备所接收的所述ROI视频流的至少一个视频帧关联的ROI位置信息，所述ROI位置信息包括所述图像区域内的所述第一子区域的至少一个第一位置；以及可选地，与所述ROI视频流的尚未被所述客户端设备接收的至少一个视频帧关联的至少一个超前位置；

使用所述ROI位置信息和瓦片位置信息用于确定与一个或多个瓦片子区域关联的一个或多个瓦片视频流，所述一个或多个瓦片子区域的至少部分与所述第一子区域重叠，所述瓦片位置信息包括所述图像区域内的所述一个或多个瓦片子区域的位置；以及，

请求所述一个或多个瓦片视频流。

2.根据权利要求1所述的方法，其中提供所述ROI位置信息包括：

提供所述ROI视频流的至少第一图像帧的第一ROI坐标以用于基于所述一个或多个瓦片视频流来再现第二ROI，所述第一ROI坐标限定在由所述客户端设备接收到指令、优选地用户发起的指令时所述第一子区域的所述第一位置。

3.根据权利要求2所述的方法，其中所述指令包括ROI矢量以用于指示所述第一子区域的改变，并且其中所述ROI矢量用于确定所述一个或多个瓦片视频流。

4.根据权利要求2或3所述的方法，还包括：

提供所述ROI视频流的至少第二图像帧的第二ROI坐标，所述第二ROI坐标限定在由所述客户端设备处理（例如，接收、缓冲和/或解码）所述一个或多个瓦片流时所述第一子区域的第二位置。

5.根据权利要求2-4所述的方法，包括：

基于所述一个或多个瓦片子区域和所述第一ROI坐标和/或第二ROI坐标来再现第二ROI。

6.根据权利要求2-6中任一项所述的方法，其中所述方法还包括：

基于与所述一个或多个瓦片子区域关联的瓦片图像帧来形成第二子区域；

从所述第二子区域中裁剪出所述第二ROI；以及可选地

如果所述第二子区域基于两个或更多瓦片子区域而形成，

则形成所述第二子区域包括：同步所述两个或更多瓦片视频流的两个或更多瓦片图像帧，以及将所述同步的瓦片图像帧缝合成所述第二子区域。

7.根据权利要求1-6中任一项所述的方法，其中所述至少一个超前位置包括所述ROI视频流中尚未被所述客户端设备接收的一个或多个图像帧的一个或多个经时间移位的第一ROI坐标，所述经时间移位的第一ROI坐标在所述一个或多个图像帧之前被提供给所述客户端设备，优选地所述经时间移位的ROI坐标还与时间移位信息、优选地时间戳相关联以用于确定所述时间移位。

8.根据权利要求1-7中任一项所述的方法，其中基于包括所述瓦片位置信息的空间清单文件来请求所述一个或多个瓦片视频流，所述瓦片位置信息包括所述图像区域内所述一个或多个瓦片子区域的坐标；所述空间清单文件还包括所述源视频的一个或多个瓦片表示，瓦片表示包括一个或多个瓦片标识符以用于标识一个或多个瓦片视频流，优选地，所述一个或多个瓦片视频流是基于HTTP的自适应流式传输类型的流。

9.根据权利要求1-8中任一项所述的方法，

所述ROI位置信息包括ROI坐标，所述ROI坐标限定所述图像区域内所述第一子区域的至少一个位置，所述第一子区域由所述ROI视频流的至少一个图像帧来限定，

其中，所述ROI位置信息的至少部分在所述ROI视频流的位流中传送到所述客户端设备，优选地SEI消息或定义所述位流中所述ROI坐标的位置的ROI坐标标志；或者

其中，所述ROI位置信息的至少部分在MPEG传送流中传送到客户端设备，优选地在所述MPEG传送流中的基本传送流中；或者作为所述MPEG传送流中的DVB定义的SAD（同步的辅助数据）分组，可选地所述SAD分组包括经时间移位的ROI坐标；或者

其中，所述ROI位置信息的至少部分在MPEG-4流中的预定义盒中被传送，优选地在MPEG-4流的moov、trak和/或stbl盒中；或者

其中，所述ROI位置信息的至少部分在MPEG-4流中的元数据轨道中被传送，优选地使用专用样本条目码；或者

其中，所述ROI位置信息的至少部分作为水印被传送到所述客户端设备，优选地作为所述ROI视频流中的水印。

10.一种设备，其包括被配置用于基于一个或多个瓦片视频流来提供感兴趣的区域（ROI）的客户端，所述ROI限定了与源视频关联的图像区域的子区域，所述客户端被配置用于：

接收优选地MPEG和/或DVB编码的、感兴趣的区域（ROI）视频流以用于再现第一ROI，所述第一ROI限定了与所述源视频关联的图像区域内的第一子区域；

提供与所述客户端设备所接收的所述ROI视频流的至少一个视频帧关联的ROI位置信息，所述ROI位置信息包括所述图像区域内的所述第一子区域的至少一个第一位置；和/或与所述ROI视频流的尚未被所述客户端设备接收的至少一个视频帧关联的至少一个超前位置；

使用所述ROI位置信息和瓦片位置信息用于确定与一个或多个瓦片子区域关联的一个或多个瓦片视频流，所述一个或多个瓦片子区域的至少部分与所述第一子区域重叠，所述瓦片位置信息包括所述图像区域内的所述一个或多个瓦片子区域的位置；以及

请求所述一个或多个瓦片视频流。

11.一种用于形成感兴趣的区域（ROI）流的视频处理器，所述感兴趣的区域（ROI）流包括ROI位置信息，所述处理器被配置用于：

使流、优选地MPEG和/或DVB编码的流的图像区域与关联于源视频的图像区域内的子区域（ROI）相关；

确定所述图像区域中所述子区域的位置信息、优选地坐标；以及

在所述流中插入所述位置信息。

12.根据权利要求11所述的视频处理器，

其中，所述位置信息被插入在去往所述客户端的所述ROI流的位流中，优选地SEI消息或定义所述位流中所述ROI坐标的位置的ROI坐标标志；或者

其中，所述ROI位置信息的至少部分被插入在MPEG传送流中，优选地作为所述MPEG传送流中的基本传送流或者作为所述MPEG传送流中DVB定义的SAD（同步的辅助数据）分组，可选地，所述SAD分组包括经时间移位的ROI坐标；或者

其中，所述ROI位置信息的至少部分被插入在MPEG-4流中的预定义盒中，优选地在MPEG-4流的moov、trak和/或stbl盒中；或者

其中，所述ROI位置信息的至少部分被插入在MPEG-4流中的元数据轨道中，优选地使用专用样本条目码；或者

其中，所述ROI位置信息的至少部分作为水印被插入在所述流中。

13.一种用于存储视频数据的非暂时性计算机可读存储介质，所述记录区段包括：

与ROI流关联的视频数据，所述视频数据用于形成作为源视频的图像区域内的子区域（ROI）的图像区域；以及

所述图像区域中所述子区域的位置信息、优选地坐标。

14.根据权利要求13所述的非暂时性计算机可读存储介质，

其中，所述位置信息被插入在所述ROI流的位流中，优选地SEI消息或定义所述位流中所述ROI坐标的位置的ROI坐标标志；或者

15.一种用于存储数据结构、优选地空间清单文件的至少部分以供根据权利要求10的客户端使用的非暂时性计算机可读存储介质，所述数据结构包括：

源视频的一个或多个瓦片表示，瓦片表示包括一个或多个瓦片标识符以用于标识所述一个或多个瓦片流，

瓦片位置信息，其限定源视频的图像区域内的瓦片区段的位置；

包括ROI位置信息的ROI流的ROI流标识符、优选地URL的至少部分，所述ROI流包括用于形成作为所述源视频的图像区域的子区域的图像区域的视频数据；以及所述图像区域中所述子区域的位置信息、优选地坐标。

16.一种包括软件代码部分的计算机程序产品，所述软件代码部分被配置用于当在计算机的存储器中运行时执行根据权利要求1-9中任一项所述的方法步骤。