CN105408916B - 用于自适应流媒体中的空间自适应的系统和方法 - Google Patents

用于自适应流媒体中的空间自适应的系统和方法 Download PDF

Info

Publication number
CN105408916B
CN105408916B CN201480025571.9A CN201480025571A CN105408916B CN 105408916 B CN105408916 B CN 105408916B CN 201480025571 A CN201480025571 A CN 201480025571A CN 105408916 B CN105408916 B CN 105408916B
Authority
CN
China
Prior art keywords
adaptive
interest
area
group
query argument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480025571.9A
Other languages
English (en)
Other versions
CN105408916A (zh
Inventor
王新
张少波
刘永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN105408916A publication Critical patent/CN105408916A/zh
Application granted granted Critical
Publication of CN105408916B publication Critical patent/CN105408916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

公开了一种利用动态自适应流媒体进行空间自适应的系统、方法和设备。在一实施例中，公开了利用媒体呈现描述中的属性指示分块呈现中一个或多个区块的空间关系的系统、方法和设备。在其它实施例中，公开了用于服务器管理的自适应流媒体的系统、方法和设备，其中客户端生成和传输空间自适应URL查询参数给所述服务器用于自由缩放或自由视角空间自适应到感兴趣区域。

Description

用于自适应流媒体中的空间自适应的系统和方法
技术领域
本发明涉及通信系统和方法，尤其涉及用于自适应流媒体中的空间自适应的系统和方法。
背景技术
如今，许多电视电影观众希望按需访问视频和其它媒体内容。在第一个示例中，电视观众想要观看电视上电视节目正常播出时间错过的节目。该观众可以使用网络浏览器或其它应用通过互联网在笔记本电脑、平板电脑、台式电脑、移动电话或其它设备上按需下载该节目，随后在浏览器或其它应用中观看该节目。在其它示例中，观众可以按需下载电影或者可以参与与其它观众的视频会议。
基于超文本传输协议的动态自适应流媒体(Dynamic Adaptive Streaming overHypertext Transfer Protocol，DASH)是一种开发用于提供此类媒体内容的标准并且部分内容在国际标准化组织(International Organization for Standardization，ISO)/国际电工委员会(International Electrotechnical Commission，IEC)23009-1，第一版，2012年(“23009-1”)中描述，该标准的全部内容以引入的方式并入本文本中。此外，ISO/IEC23009-1，技术勘误1，2013年的全部内容以引入的方式并入本文本中。在DASH中，存在两种主要设备：提供内容的超文本传输协议(Hypertext Transfer Protocol，HTTP)服务器，以及下载内容并与观众(或用户)关联的DASH客户端。当前，DASH由客户端控制，该客户端可以使用HTTP协议请求内容。
DASH用于将内容(例如，潜在长达数分钟或数小时的视频)划分为较小媒体片段序列—每个片段的播放时间间隔较短。每个片段以多种替代形式提供给DASH客户端—每个片段的比特速率不同。当内容被播放时，DASH客户端自动从其替代形式中选择(待请求/待播放的)下一片段。该选择基于各种因素，包括当前网络条件。由此带来的益处是DASH客户端可以适应不断变化的网络条件并且以最高质量水平播放内容而无需暂缓或重新缓冲事件。
DASH客户端可以是具有无线和/或有线连接的利用DASH和媒体内容播放功能的任意设备。例如，DASH客户端可以是台式或膝上型电脑、智能手机、平板、机顶盒、连接到互联网的电视等。
现参见图1，图1示出了基于DASH标准的自适应媒体流模型，其中部分媒体流和媒体片段由DASH客户端设备10a至10n通过HTTP请求，然后由一个或多个DASH(HTTP)服务器12通过网络11(包含互联网)进行分发。正如所了解的那样，电信网络11可以是通过HTTP实现媒体内容传输的任意合适网络(或网络组合)。举个例子，电信网络11示为包含各种电信资源和基础设施，例如网络地址转换器和/或防火墙18、缓存14和内容分发网络(ContentDistribution Network，CDN)16。这些资源支持诸如DASH客户端10a至10n之类的网络连接设备的点播、直播流媒体和时移应用和服务。
每个DASH客户端10可以通过在以不同比特速率编码的相同媒体片段的不同版本之间转换，根据网络条件变化动态调整所请求媒体内容/流的比特速率。
如图2所示，DASH是一种基于媒体呈现描述(Media Presentation Description，MPD)所描述的分层数据模型，MPD定义格式通知经过编码并且可交付的媒体内容版本集合的资源标识符。MPD是一种XML文档，通告可用媒体并提供DASH客户端所需信息以从表示中选择片段、进行自适应决策并通过网络从服务器获取片段。媒体内容由单个或多个连续片段组成。
MPD通过向HTTP(DASH)服务器请求片段并进行解复用(需要时)、解码并渲染接收到的媒体片段来提供足够的信息供DASH客户端向用户提供流媒体服务。MPD完全独立于媒体片段并且仅标识确定表示是否可以成功播放所需的属性及其功能属性(例如，片段是否从随机接入点开始)。
再如图2所示，媒体片段是最小独立可寻址的内容数据单元。它是可以使用通过MPD通告的URL进行下载的实体。媒体片段示例之一是现场直播中的四秒部分，从播出时间0:42:38开始到0:42:42结束，并存在于3分钟的时间窗中。另一示例为完整版点播电影，其在电影获取许可证的整个周期内可以观看。
表示定义了完整资产或资产成分子集的单个编码版本。例如，表示可以是包含未复用的2.5Mbps 720p AVC视频的ISO-BMFF，单独的ISO-BMFF表示可以针对不同语言的96Kbps MPEG-4 AAC音频。相反地，包含视频、音频和字幕的单个传输流可以是单个被复用的表示。例如，作为具有多个媒体成分的复用的表示，ISO BMFF文件在同一文件中包含2.5Mbps 720p AVC视频的轨道以及不同语言的96Kbps MPEG-4AAC音频的若干轨道。组合结构也是可能的：视频和英语音频可以是单个被复用的表示，而西班牙语和中文音轨是单独的未被复用的表示。
自适应流媒体中的空间自适应是关于通常为了响应于某些感兴趣区域在其视频成分中的位置、深度、形状和尺寸的变化，在空间对象方面流媒体内容在其空间域的自适应。分块自适应流媒体是一种通过将视频流成分在其空间域中细分为不同级别的空间对象，称为“区块”，并将其时间域和质量级别划分为片段的不同表示使带宽使用率最小化的空间自适应技术。区块可以指定为视频成分的子区域的某个质量级别的时间片段的表示。考虑到可用带宽有限，用户可以选择从较低质量的大型区域范围到可能最高质量的非常具体的小型区域中下载。分块自适应流媒体可以在“m28883空间分割的内容描述(SpatiallySegmented Content Description)，MPEG#104，仁川，2013年4月”中更为详细地描述。
普遍认为DASH实现的动态自适应流媒体(“m29232利用DASH的交互式ROI流媒体(Interactive ROI Streaming with DASH)，MPEG#104，仁川，2013年4月，以引入的方式并入本文本中”)主要由DASH客户端驱动和管理，而服务器只扮演片段托管角色。例如，这可以从DASH部分1规范的附录A(“DASH客户端示例行为”)中看出，该规范以引入的方式并入本文本中。
在这种客户端管理的自适应流媒体(CMAS)系统中，客户端不仅选择一组择自适应集和每个自适应集内的一个特定表示并且请求其中的片段，而且对表示切换、更新后MPD获取，以及编码器时钟偏移控制进行决策。所有这些选择和决策旨在基于MPD中提供的信息(例如，每个选择的表示的@bandwidth)、环境的静态特征(例如，客户端解码和渲染能力)，以及客户端监控的关于其变化的环境的动态特征(例如，网络连接的可用带宽)适应客户端环境。
转向图3，图3示出了具有与HTTP(DASH)服务器互连的常规DASH客户端200的CMAS系统的架构(功能方框图)，还示出了流式传输过程中涉及的各种功能模块或部件。
监控功能模块(或部件)204负责收集客户端环境信息并生成/输出某些自适应参数，而自适应逻辑模块(或部件)206利用这些参数来作出表示选择和决策。
虽然非常简单且直接，但是这个纯CMAS系统存在一些问题。例如，由于DASH可能不强制执行客户端行为，所以在跨过具有不同DASH客户端实施方式的设备呈现相同流媒体内容的连贯一致的用户体验时没有保证。这是不可取的，尤其从内容所有者的角度而言。
例如，根据服务提供商想要如何将内容流式传输给不同类别的订户，很难以动态方式管控客户端200内的自适应逻辑模块206。
此外，根据内容本身管理流媒体体验可能很困难。例如，对于内容提供商真正想要用户观看的具有细节的某部分内容，必须流式传输高质量的片段。这可能对于客户端200无需在请求内容片段之前知晓这些内容片段的情况下维持这种体验是困难的。
最后，动态自适应将由客户端200管理，包含潜在时长、自适应集、表示和片段的所有级别的内容信息必须在MPD中规定并且在客户端开始流式传输之前传送给客户端。当开始流式传输动态事件(例如，紧急警报)、动态内容(例如，直播广告插入)、不定时更新的内容(例如，暂停时间不定的篮球赛)，或可以动态发生自适应的大量或者甚至数量不限的潜在表示时，这变得明显，甚至无法解决。
空间领域需要自适应，以便允许用户通过选择在原始视频内容内的不同位置、观看角度和感兴趣区域中呈现的视频内容导航其感兴趣的内容。此外，由于这种类型的用户导航自由度很大并且难以在MPD中规定，所以还需要一种客户端驱动的但由服务器管理的自适应流媒体系统。
发明内容
根据一实施例，提供了一种用于通过在媒体呈现描述中指示空间关系进行分块流式传输的系统、方法和设备，所述空间关系可以出现在子表示、表示或自适应集级别。
在一实施例中，提供了用于采用服务器管理的自适应流媒体方法的具有恒定视频质量的自由缩放空间自适应和导航的系统、方法和设备。
在一实施例中，提供了用于采用服务器管理的自适应流媒体方法的具有恒定视频质量的自由视角空间自适应和导航的系统、方法和设备。
本发明的其它特征和优点在下文具体实施方式中阐述，并且将从具体实施方式中显而易见，或通过本领域技术人员在本文所公开的原理的实践得知。
附图说明
为了描述可获得本发明上述和其它优点和特征的方式，将通过参照附图中示出的本发明的具体实施例来呈现以上简单描述的原理的更具体描述。可以理解，这些附图仅描述本发明的示例性实施例，从而不被视为对其范围的限制，本发明将通过使用附图用附加特征和细节来描述和说明，在附图中：
图1示出了基于DASH标准的动态自适应媒体流系统及其部件；
图2概念上示出了基于DASH的系统内的媒体呈现描述(MPD)的现有技术分层数据模型；
图3是图示客户端管理的自适应流媒体系统，例如DASH中的一对常规客户端和服务器的功能方框图；
图4是根据本发明原理的示例性系统的方框图；
图5A和5B描绘了示例性分块自适应流媒体情况；
图6是根据本发明原理的服务器管理的自适应流媒体系统的方框图；以及
图7A和7B是图示图4中分别示出的客户端(或UE)和eNodeB的总体方框图。
具体实施方式
以下讨论的附图和说明以及该专利文档中的各种实施例仅通过举例说明的方式描述本发明的原理，而不应以任何方式理解为对本发明范围的限制。本领域普通技术任意将容易了解到本发明的原理可以在任意类型的合适布置的设备或系统中实施。具体而言，虽然本发明参照在蜂窝无线系统中使用进行描述，本领域技术人员将在不背离本发明范围的情况下容易了解其它类型的网络(例如，无线网络、有线网络，或无线和有线网络的组合)和其它应用。
除非另有定义，本文所用的所有科技术语都具有与本发明所属领域技术人员公知的含义相同的含义。虽然类似于或等同于此处所述的任意方法和材料也可以用于实践或测试本发明，以下描述的只是有限数量的示例性方法和材料。
正如将了解的那样，本发明的各方面可体现为一种方法、系统或计算机程序产品。因此，本发明的各方面可以采用完全为硬件的实施例、完全为软件的实施例(包含固件、常驻软件、微代码等)或者组合软硬件方面的实施例的形式，所有这些实施例在本文中通常可以称为“电路”、“模块”或“系统”。现场可编码门阵列(Field Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)和通用处理器的单独或联合使用，以及关联软件、固件和胶合逻辑可以用于构建本发明。
此外，本发明的各方面可以采用计算机可用存储介质上的计算机程序产品的形式，该介质中包含计算机可用程序代码。可以利用任意合适的计算机可用或计算机可读介质。计算机可用或计算机可读介质可以是但不限于随机存取存储器(random accessmemory，RAM)、只读存储器(read-only memory，ROM)，或可擦式可编程只读存储器(erasable programmable read-only memory，EPROM或闪存)。用于执行本发明的操作的计算机程序代码可以以例如但不限于：面向对象编程语言、以及诸如“C”编程语言或其它类似的编程语言之类的常规过程化编程语言来编写。
本说明书中“一项实施例”、“一实施例”、“一特定实施例”、“具体实施例”是指关于具体实施例所述的具体特征、结构或特点包含在至少一项实施例中但并非包含在所有具体实施例中。因此，本说明书中各处出现的“在一具体实施例中”、“在一实施例中”或者“在一特定实施例中”不一定是指相同实施例。此外，任意特定实施例的具体特征、结构或特点可以以任何适当方式合并于一个或多个其它具体实施例中。将理解本文所描述和所示出的特定实施例的各种变体和修改鉴于本文中的教示是可能的并且可被视为精神和范围的一部分。
可将各种单元、电路或其它组件描述或要求为“用于”执行一个或多个任务。在这种上下文中，“用于”通过指示单元/电流/组件包括执行操作期间的一个或多个任务的结构(电路)来暗指结构。因此，该单元/电路/组件可用于执行任务，即使当指定单元/电路/组件当前不可操作(例如，没有接通)。和“用于”语言一起使用的单元/电路/组件可以包括硬件，例如电路、存储用以实现操作的可执行程序指令的存储器，等等。陈述“用于”执行一个或多个任务的单元/电路/组件明确不旨在引用美国法典第35卷第112节第六条。
如本文所使用的那样，“模块”、“单元”、“接口”、“处理器”、“引擎”、“检测器”，或“接收器”包括通用、专用或共享处理器并且通常包括由处理器执行的固件或软件模块。取决于实施形式特定或其它考虑因素，模块、单元、接口、处理器、引擎、检测器或接收器可以是集中式的或者其功能是分布式的，并且可以包括计算机可读(存储)介质中包含的由处理器执行的通用或专用硬件、固件或软件。如本文中所使用的那样，计算机可读介质或计算机可读存储介质旨在包含所有法定介质(例如，美国，美国法典第35卷第101节)，并且特别排除本质上所有非法定的介质，该排除对于包含计算机可读(存储)介质为有效的权利要求是必要的。已知的法定计算机可读介质包括硬件(例如，寄存器、随机存取存储器(randomaccess memory，RAM)、非易失性(non-volatile，NV)存储器)，但是可以或可以不限于硬件。
本文所用的缩略语包括“用户设备”UE，例如DASH客户端，LTE中的“演进型NodeB”eNodeB(亦称基站)，以及“分组和数据网关”PGW。
现参见图4，图4描绘了支持本发明各种实施例的示例性无线通信系统的方框图。虽然示例性无线通信系统主要在通过长期演进(LTE)网络的流媒体场景内论述，被本文教示所影响的本领域普通技术人员将意识到各种实施例也适于与其它类型的无线网络、有线网络或者无线和有线网络的组合一起使用。此外，网络110可以根据一种或多种实现HTTP功能的协议、标准和/或规范(公共或私有)运行。
图4描绘了示例性无线通信系统100，该系统包含多个用户设备(UE)102(例如，DASH客户端102)、长期演进(LTE)网络110、核心网130、内容服务器150(例如，HTTP内容服务器)，以及内容存储设备160。如将了解的那样，网络中每种类型的设备的数量可以小于和/或大于所示数量，并且图4所示实施例只是为了说明目的。
LTE网络110支持UE 102和核心网130之间的通信，例如发起内容服务器150和UE102之间的内容流会话的通信。
UE 102最好是无线DASH客户端设备，用于接入无线网络，例如LTE网络110。UE 102用于支持控制信令以便支持LTE网络110中的承载会话，并且可以是电话、智能手机、PDA、膝上电脑、计算机或任意其它无线用户设备。如果接入点基于有线，则客户端设备还可以是含有线网络接口的有线连接设备。
常规UE 102(例如，DASH客户端)的结构和功能已为我们所熟知。这些设备通常包括诸如处理单元、控制器和网络接口之类的各种组件，这些组件必然包括但不限于微处理器、微控制器、存储器设备和/或逻辑电路，这些组件可适用实现各种算法和/或协议。除本文所指出或者了解本发明相关的描述以外，不再提供对这些设备的常规组件和软件过程(功能)的其它描述，因为这些描述为本领域普通技术人员所知。应了解，UE 102可以从任意合适的硬件、软件、固件，或其组合构建或配置而来用于提供本领域普通技术人员已知的功能。UE 102将包含下文根据一项或多项实施例描述的其它功能。
本领域技术人员充分了解LTE网络110的配置和操作。出于说明性但非限制性目的，示例性LTE网络110包括eNodeB 111a和111b(统称为eNodeB 111)、服务网关(SGW)112a和112b(统称为SGW 112)、分组数据网络网关(PGW)113、移动性管理实体(MME)114a和114b(统称为MME 114)以及认证单元(AAAU)117。eNodeB 111为UE 102提供无线接入接口。SGW112、PGW 113、MME 114和AAAU 117，以及出于简洁性目的省略的其它组件，用于提供支持使用IP的端到端服务分发的演进型分组核心网(EPC)网络。
eNodeB、SGW、PGW、MME和AAAU以及其它网络组件的结构和功能通常已为我们所熟知。这些设备通常包括诸如处理单元、控制器和网络接口之类的各种部件，这些组件必然包括但不限于，微处理器、微控制器、存储器设备和/或逻辑电路，这些组件可适用实现各种算法和/或协议。除本文所指出或者了解本发明相关的描述以外，不再提供对这些设备的常规组件和软件过程(功能)的其它描述，因为这些描述为本领域普通技术人员所知。
如图4中所描绘，每个eNodeB 111支持相应多个UE 102。通过使用与每个UE 102关联的LTE-Uu接口来支持eNodeB 111和UE 102之间的通信。SGW 112a支持eNodeB 111a的通信，而SGW 112b支持eNodeB 111b的通信。通过使用相应的S1-u接口来支持SGW 112和eNodeB 111之间的通信。S1-u接口支持切换期间每个承载的用户平面隧道和eNodeB间路径转换。
PGW 113支持SGW 112的通信。通过使用相应的S5/S8接口来支持PGW 113和SGW112之间的通信。S5接口提供用户平面隧道和隧道管理等功能进行PGW 113和SGW 112之间的通信、由于UE移动性导致的SGW迁移等。S8接口，其可以是S5接口的公用陆地移动网(Public Land Mobile Network，PLMN)变体，提供PLMN间接口，从而提供拜访地PLMN(Visitor PLMN，VPLMN)中的SGW和归属PLMN(Home PLMN，HPLMN)之间的用户和控制平面连接。PGW 113促进通过SGi接口的LTE网络110和核心网130之间的通信。
MME 114提供移动性管理功能以便支持UE 102的移动性。MME 114a支持eNodeB111a，而MME 114b支持eNodeB 111b。通过使用相应的S1-MME接口来支持MME 114和eNodeB111之间的通信，相应的S1-MME接口提供控制平面协议用于MME 114和eNodeB 111之间的通信。
策略和计费规则功能(Policy and Charging Rules Function，PCRF)节点(未示出，但可以与AAAU 117集成)提供动态管理能力，服务提供商通过这些能力可以管理与通过LTE网络110提供的服务相关的规则和与通过LTE网络110提供的服务计费相关的规则。
如了解的那样，网络110是示例性的并且可以利用其它合适的配置或网络。
核心网130可以包括一个或多个分组数据网(例如，基于IP)，UE 102通过这些网络可以访问内容、服务等。尽管核心网130示为与LTE网络110分离的网络，但是将理解特定网络110和130也可以统称为网络。
HTTP服务器150连接至核心网130，并用于支持本文所论述的流媒体内容过程。HTTP服务器150可以示例性地通过与服务器150通信的内容存储设备160本地或远程存储内容。
DASH客户端(UE)102通过LTE网络110和IP网络130向服务器150发送HTTP请求。如下文更为详细地描述，服务器150向DASH客户端102发回HTTP响应(例如，媒体呈现描述(MPD)文件，包含媒体片段，以及时间长度、文件大小、播放开始时间、文件存储位置、媒体类型和分辨率等其它信息)。在其它实施例中，MPD由UE 102从网络设备而非内容服务器150接收是有可能的。
现参加图5，图5描绘了空间自适应流媒体示例，其中以全帧视频(全景图)的各种分辨率/尺寸创建多个视频层(例如，分辨率层1、2和3)，随后每个层被划分为相等尺寸的空间对象，即区块。
客户端102利用媒体片段的第一版本(第一层)，例如缩略图尺寸的视频开始流式传输。媒体片段利用空间关系信息，例如区块的分块信息进行放大以指示空间自适应接入是可能的。当点击一个空间对象(例如，一个区块)时，或者当选择一组空间对象(例如，多个区块)时，DASH客户端102自动切换到一个表示或多个表示以便只对所选的空间对象(例如，区块)进行流式传输。通过用户交互，DASH客户端102可以动态切回到全帧视频的表示。
取决于用户所选的感兴趣区域(ROI)，客户端102确定合适的空间对象(例如，层以及必要的区块)以便重新创建视图。当以可能较低的质量/分辨率流式传输并显示较小的空间对象或者较少数量的空间对象时，相比于最高分辨率请求全景图的情况，客户端102可以用于以较低的所需带宽下载并解码所请求的内容。
在一项实施例中，提供新的XML属性“@pos”以便在MPD中使用，该属性为子表示、表示或自适应集所共用，用于描述空间对象在所有空间对象的分割和叠加内的位置信息。下文针对分块表示描述了新的XML属性“@pos”。
区块的实际位置可以通过使用XML属性@pos、@width、@height等的值来确定。例如，对于坐标为(i，j)的区块而言，呈现在显示器上的区块的左上角点被计算为(j–1)*宽度，(i–1)*高度。
在空间对象中进行平铺或导航是可能的并且允许用于进行自适应或者在以相同方式在空间中分割的表示之间切换(即，任意方向的分割是相同的)。如果空间对象在任意方向进行分割是有相同比例(比率)的，则在空间对象内进行缩放是可以并允许在表示之间进行自适应或者切换。
例如，参见图5B，(1，2)/(2，2)是在水平方向和垂直方面都均等地分割为两部分的全参考空间中的左上方第二个区块。从相对位置来看，很容易了解两个(区块)表示之间的相对位置，尤其当两个表示在任意方向相邻时。
当执行平铺时，客户端可以请求用户所指示的方向的相邻(区块)表示。
当执行缩放时，客户端可以请求用户所指示的缩放方向的被嵌入/嵌入的(区块)表示。
以下是根据本发明一实施例的向DASH客户端102指示表示空间关系的MPD的示例性XML代码。MPD描述了五个自适应集，一个用于标识符为“FV”的全视图，其它四个包括2x2的分块视图。属性@pos(下文表示为加粗形式)不存在于全视图的自适应集中，但存在于分块视图的自适应集中。在本示例代码中，用户可以在四个分块视图中导航并在全视图和任意分块视图之间切换。
下文描述了具有恒定视频质量的自由缩小/放大的空间自适应和导航的示例。用户首先以全场视图观看流媒体足球比赛，随后缩小到特定运动员并开始观看他的动作。一会后，用户放大并返回到全场视图。为了维持用户的观看体验，最好在所有这些视图中维持恒定视频质量。
由于存在潜在大量与可能的感兴趣区域(ROI)关联的流的可能表示，使用MPD来规定这些表示不切实际。
根据一实施例，公开了服务器管理的自适应流媒体(SMAS)过程和系统。首先描述的是服务器管理的自适应流媒体实施例的概要，随后基于示例用例公开了特定实施方式。
现参见图6，图6示出了针对DASH的服务器管理的自适应流媒体(SMAS)系统，其在“m28176关于DASH中服务器管理的自适应流媒体(On Server-Managed AdaptiveStreaming in DAS)，MPEG2012，日内瓦，2013年1月”(以引入的方式并入本文本中)中更为详细地描述。该系统利用多层网络架构，该架构在配备有服务器侧信息处理能力的网络应用中常见。SMAS系统包括收集必要的自适应参数的客户端设备600，与图3中描绘的CMAS方法类似，但是客户端600通过网络604将自适应参数和媒体片段请求传递给内容服务器602。服务器602确定其基于从客户端600接收到的自适应参数而产生的响应。此外，关于哪些自适应参数是客户端600必须收集还是可选收集的指令可以在服务器602发送的MPD内指定。
可以理解，客户端设备(UE)600和内容服务器602分别类似于图3和4中所示的UE102、200和内容服务器150、202(或者可以相同)，但是本文描述了其它功能。
总体而言，SMAS方法将自适应逻辑模块(通常驻留在客户端设备中)移至内容服务器。在该系统中，客户端600通过将自适应参数提交给内容服务器602来发出对片段的请求，内容服务器602做出片段选择和自适应决策。在其它实施例中，自适应逻辑模块可以驻留在与托管流媒体片段的服务器不同的服务器(网络设备)上。在又一些其它实施例中，某些自适应逻辑模块功能可以根据特定应用、设计和部署委托给其它服务器(网络设备)。
用于在SMAS中将自适应参数和其它参数从客户端传递到服务器的一项示例性实施例使用将参数插入到媒体片段通用资源定位器(URL)内的方案(如ISO/IEC 23009-1，信息技术—基于HTTP的动态自适应流媒体(DASH)—第一部分：媒体呈现描述和分发格式(Information technology—Dynamic adaptive streaming over HTTP(DASH)—Part 1:Media presentation description and delivery formats)，以及m28176，关于DASH中服务器管理的自适应流媒体(On Server-Managed Adaptive Streaming in DASH)，第103次MPEG大会，日内瓦，2013年1月中所描述，这两个文档均以引入的方式并入)，以指定服务器602需要哪些参数以及可选地，在服务器602请求媒体片段时需要来自客户端600的哪些参数。
例如，MPD中指定并由客户端收集的下列自适应参数可以发送给服务器以提供最适合客户端环境的片段：
动态参数：缓冲媒体数据，它的值可以以媒体时间(例如，2.5秒)测量；当前带宽，它的值可以以比特每秒(例如，500kbps)测量；待请求的媒体数据时间，其为下一片段的开始时间(例如，10.02秒)；待请求的片段编号(例如，25)；以及ROI位置和尺寸(例如，(x，y)＝(100，200)以及(水平尺寸，垂直尺寸)＝(1000，2000)，单位为像素)。
静态参数：显示分辨率：800x480；编解码器能力：H.264基线档次，级别3.1；最大缓冲大小：8MB(兆字节)；所选成分：视频+音频；以及语言：中文。
这个SMAS架构和流程由客户端驱动，但由服务器管理，因为是客户端发起媒体片段请求。
本发明提供了一种使用各种URL查询参数传递感兴趣区域(ROI)的信息并且允许服务器将适合ROI的流媒体内容提供给客户端的空间自适应机制，用户想要适应该信息或者从客户端切换到服务器。在一项实施例中，定义这些URL查询参数用于感兴趣区域(ROI)的自由缩放空间自适应。也可以以类似方式为其它用例(例如，自由视角空间自适应)定义其它参数。下文的表1示出了示例性的但并非包容性的空间自适应URL查询参数。
表1—空间自适应URL查询参数
在一项示例中，假设全场视图的空间位置为(0，0)，空间尺寸为(10240，7680)，空间指令等级为100。以下一部分MPD可以用来通过(m28174，“对URL中参数插入的DASH核心试验的贡献(Contribution to DASH Core Experiment on Parameter Insertion inURL)”，第103次MPEG会议，日内瓦，2013年1月)中描述的URL参数插入方案/流程允许空间自适应。
<BaseURL>http://cdn1.example.com/</BaseURL>
<URLParameter id＝"SegNumber"queryRequest＝"true"/>
<URLParameter id＝"AvailableBandwidth"queryRequest＝"true"/>
<URLParameter id＝"Spatial-Position"queryRequest＝"true"/>
<URLParameter id＝"Spatial-Size"queryRequest＝"true"/>
<URLParameter id＝"Spatial-QualityRanking"queryRequest＝"true"/>
<SegmentTemplate duration＝"4"startNumber＝"1"media＝"video.php"/>
利用上述MPD，客户端600构建以下URL(并将其发送给服务器602)以请求可用8Mbps网络带宽下全场视图的片段编号1：
http://cdn1.example.com/video.php？SegNumber＝1&？AvailableBandwidth＝80000000
如果用户想要放大到感兴趣区域，例如，空间位置＝“100100”、空间尺寸＝“1024768”且空间质量等级＝10的感兴趣区域，则客户端600构建以下URL(并将其发送给服务器602)以请求可用8Mbps网络带宽下全视图的片段编号20：
http://cdn1.example.com/video.php？SegNumber＝20&？AvailableBandwidth＝800000&？Spatial-Position＝”100 100”&？Spatial-Size＝”1024768”&？Spatial-QualityRanking＝10
服务器602通过返回适应可用带宽和空间自适应需求的片段编号为20的媒体片段来完成该请求。当用户后续决定返回到全场视图时，客户端600从片段编号50开始构建以下URL：
http://cdn1.example.com/video.php？SegNumber＝50&？AvailableBandwidth＝80000000
现转向图7A，图7A示出了示例UE 102、200和600的总体方框图。UE表示用户或订户在系统100上/内的通信会话期间所利用的设备。每个UE通常包括处理器、存储器、收发器以及天线，并且可以从合适的硬件、软件、固件或其组合构建或配置而来以通过网络传输或接收信息。这些设备还可包括用于捕获和播放音频信息的具有麦克风和扬声器的输入/输出设备，以及捕获/显示视频信息的摄像机和/或显示器。例如，UE可以是电话、视频电话、计算机、个人数字助理、移动电话、智能手机、平板电脑等。
在所示实施例中，UE包括处理器300、收发器310、天线元件320、一个或多个输入/输出设备330(例如，扬声器/麦克风、小键盘、显示器/触摸板)，以及存储器340。UE可以包括一个或多个其它组件、设备，或功能(未示出)。本文中，UE包括作为DASH客户端进行操作的必要功能。
处理器300可以是通用、专用或电子信号处理器，并且可以是多个处理器或者这些处理器的组合。处理器300包括执行信号编码、数据处理、功率控制、输入/输出处理的功能，和/或使UE在系统100中操作的任意其它功能。处理器300耦合到收发器310，收发器310耦合到天线元件320。将了解，处理器300和收发器310可以是单独的组件或者集成在一起。类似地，天线元件320可以是单个元件或多个元件(多个天线或元件)。
收发器310用于调制数据或信号供天线320进行传输以及解调天线320接收到的数据或信号。
处理器300耦合到一个或多个可用于输入/输出用户数据的输入/输出设备330(包括端口或总线)。此外，处理器300耦合到可用于存储和获取数据的存储器330。可以包含任意合适类型的内存存储设备，例如随机存储存储器(random-access memory，RAM)、只读存储器(read-only memory，ROM)、硬盘、用户识别(subscriber identity module，SIM)卡、存储棒、安全数字(secure digital，SD)存储卡等。
可包含在UE内的其它元件或设备将不在本文中论述，除非了解本发明所必需或相关。尽管UE被视为无线设备，但还可以包括网络接口，用于与有线网络接入点进行有线网络连接。
现转向图7B，图7B为具有处理单元400、发射器410、接收器420、天线430和存储器440的示例eNodeB 111的方框图。可以包括其它合适的组件或设备(但未示出)。天线430可以包括一个或多个天线和/或一个或多个元件(多个天线或多个元件)。eNodeB 111的配置和操作容易被本领域普通技术人员知晓和了解，除非理解本发明所必要或者除上文描述的新的或其它功能之外，本文不再提供其结构的其它描述或解释。尽管eNodeB 111被示为无线设备，但是在UE基于有线的实施例中，eNodeB 111可以是基于有线的网络接入点(例如，网络提供商所操作的设备)并且将包括用于到UE的有线网络连接的网络接口。
虽然本发明就某些实施例和一般相关方法方面进行了描述，但是对本领域技术人员而言，对实施例和方法的各种更改和变更将是显而易见的。因此，示例实施例的上述描述不限定或约束本发明。正如以下权利要求定义，其它修改、替代以及变更也是可能的，而不偏离本发明的精神和范围。

Claims (8)

1.一种服务器管理的自适应流媒体系统，其特征在于，包括：
客户端，用于生成和传输一组用于空间自适应的URL查询参数给感兴趣区域，所述一组用于空间自适应的URL查询参数用于自由缩放到感兴趣区域，所述感兴趣区域对应的空间对象在任意方向的空间分割是有相同比例的；以及
服务器，用于响应于所述一组用于空间自适应的URL查询参数，做出片段选择和自适应决策，向所述客户端传输一个或多个片段，所述一个或多个片段对应于所述一组用于空间自适应的URL查询参数所指示的所述感兴趣区域。
2.根据权利要求1所述的系统，其特征在于，所述一组用于空间自适应的URL查询参数包括一个无符号整数对，表示所述感兴趣区域的x和y位置坐标。
3.根据权利要求1所述的系统，其特征在于，所述一组用于空间自适应的URL查询参数包括一个无符号整数对，表示所述感兴趣区域的水平尺寸和垂直尺寸。
4.根据权利要求1所述的系统，其特征在于，所述一组用于空间自适应的URL查询参数包括一个无符号整数，表示所述感兴趣区域的质量等级。
5.一种服务器管理的自适应流媒体方法，其特征在于，所述方法包括：
客户端生成一组用于空间自适应的URL查询参数给感兴趣区域，所述一组用于空间自适应的URL查询参数用于自由缩放到感兴趣区域，所述感兴趣区域对应的空间对象在任意方向的空间分割是有相同比例的；
向服务器传送所述一组用于空间自适应的URL查询参数；以及
所述服务器响应于接收到的所述一组用于空间自适应的URL查询参数，做出片段选择和自适应决策，将片段从所述服务器传输给所述客户端，所述片段对应于所述URL查询参数。
6.根据权利要求5所述的方法，其特征在于，所述一组用于空间自适应的URL查询参数包括一个无符号整数对，表示所述感兴趣区域的x和y位置坐标。
7.根据权利要求5所述的方法，其特征在于，所述一组用于空间自适应的URL查询参数包括一个无符号整数对，表示所述感兴趣区域的水平尺寸和垂直尺寸。
8.根据权利要求5所述的方法，其特征在于，所述一组用于空间自适应的URL查询参数包括一个无符号整数，表示所述感兴趣区域的质量等级。
CN201480025571.9A 2013-07-26 2014-07-28 用于自适应流媒体中的空间自适应的系统和方法 Active CN105408916B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361858911P 2013-07-26 2013-07-26
US61/858,911 2013-07-26
PCT/US2014/048503 WO2015013720A1 (en) 2013-07-26 2014-07-28 Spatial adaptation in adaptive streaming

Publications (2)

Publication Number Publication Date
CN105408916A CN105408916A (zh) 2016-03-16
CN105408916B true CN105408916B (zh) 2019-07-23

Family

ID=52391452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480025571.9A Active CN105408916B (zh) 2013-07-26 2014-07-28 用于自适应流媒体中的空间自适应的系统和方法

Country Status (4)

Country Link
US (1) US10447746B2 (zh)
EP (2) EP2973228B1 (zh)
CN (1) CN105408916B (zh)
WO (1) WO2015013720A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628528B2 (en) * 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
WO2015013685A1 (en) 2013-07-25 2015-01-29 Convida Wireless, Llc End-to-end m2m service layer sessions
CN106233745B (zh) * 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
US20160269759A1 (en) * 2013-10-22 2016-09-15 Sharp Kabushiki Kaisha Display processing device, distribution device, and metadata
EP3162075B1 (en) 2014-06-27 2020-04-08 Koninklijke KPN N.V. Hevc-tiled video streaming
US10389788B2 (en) * 2014-12-27 2019-08-20 Intel Corporation Technologies for adaptive real-time media streaming
US10715843B2 (en) * 2015-08-20 2020-07-14 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
US10674185B2 (en) 2015-10-08 2020-06-02 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
CN105892961A (zh) * 2015-11-16 2016-08-24 乐视网信息技术（北京）股份有限公司 一种栅格动态布局设备和方法
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
GB2550589B (en) * 2016-05-23 2019-12-04 Canon Kk Method, device, and computer program for improving streaming of virtual reality media content
US11503314B2 (en) 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统
DE202017007466U1 (de) 2016-07-18 2021-11-22 Glide Talk, Ltd. System zur Bereitstellung eines objektorientieren Zooms in einer Multimedia-Nachrichtenübermittlung
CN107888939A (zh) * 2016-09-30 2018-04-06 华为技术有限公司 一种视频数据的处理方法及装置
CN109644296A (zh) 2016-10-10 2019-04-16 华为技术有限公司 一种视频流传输方法、相关设备及系统
WO2018097947A2 (en) 2016-11-03 2018-05-31 Convida Wireless, Llc Reference signals and control channels in nr
CN109074678B (zh) * 2016-12-30 2021-02-05 华为技术有限公司 一种信息的处理方法及装置
US20190342356A1 (en) * 2017-01-02 2019-11-07 Koninklijke Kpn N.V. Selectively updating a dynamic manifest file
CN108282449B (zh) * 2017-01-06 2020-10-09 华为技术有限公司 一种应用于虚拟现实技术的流媒体的传输方法和客户端
EP3583780B1 (en) 2017-02-17 2023-04-05 InterDigital Madison Patent Holdings, SAS Systems and methods for selective object-of-interest zooming in streaming video
US11272237B2 (en) 2017-03-07 2022-03-08 Interdigital Madison Patent Holdings, Sas Tailored video streaming for multi-device presentations
US11139000B2 (en) * 2017-03-07 2021-10-05 Mediatek Inc. Method and apparatus for signaling spatial region information
CN106961630B (zh) * 2017-03-24 2019-08-16 西安理工大学 一种基于dash优化的p2p流媒体视频播放方法
EP3531703A1 (en) * 2018-02-26 2019-08-28 Thomson Licensing Method and network equipment for encoding an immersive video spatially tiled with a set of tiles
CN110351492B (zh) * 2018-04-06 2021-11-19 中兴通讯股份有限公司 一种视频数据处理方法、装置及介质
WO2020068251A1 (en) 2018-09-27 2020-04-02 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio
CN110971564B (zh) * 2018-09-28 2021-03-30 华为技术有限公司 传输媒体数据的方法、客户端和服务器
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
CN115802097B (zh) * 2023-01-18 2023-05-02 中传互动(湖北)信息技术有限公司 一种低延时直播流媒体方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7246306B2 (en) * 2002-06-21 2007-07-17 Microsoft Corporation Web information presentation structure for web page authoring
CN103081504A (zh) * 2010-09-06 2013-05-01 韩国电子通信研究院 提供串流内容的方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725812B1 (en) 2000-03-31 2010-05-25 Avid Technology, Inc. Authoring system for combining temporal and nontemporal digital media
JP2002132806A (ja) * 2000-10-18 2002-05-10 Fujitsu Ltd サーバシステム及び情報提供サービスシステム並びに情報提供サービス方法
AU2002313583A1 (en) * 2001-08-01 2003-02-17 Actona Technologies Ltd. Virtual file-sharing network
US8589315B2 (en) * 2004-08-14 2013-11-19 Hrl Laboratories, Llc Behavior recognition using cognitive swarms and fuzzy graphs
US20070067106A1 (en) 2005-09-20 2007-03-22 Antoine Lennox B Streaming geometry using quasi-pyramidal structure
FR2959636B1 (fr) * 2010-04-28 2012-07-13 Canon Kk Procede d'acces a une partie spatio-temporelle d'une sequence video d'images
KR20120034550A (ko) 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9319448B2 (en) * 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
WO2012093714A1 (ja) * 2011-01-07 2012-07-12 シャープ株式会社 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体
US9860572B2 (en) * 2011-06-08 2018-01-02 Koninklijke Kpn N.V. Spatially segmented content delivery
US20120324122A1 (en) 2011-06-20 2012-12-20 David Miles Method and apparatus for server-side adaptive streaming
US9076259B2 (en) * 2011-09-14 2015-07-07 Imagine Communications Corp Geospatial multiviewer
US10225306B2 (en) * 2011-12-29 2019-03-05 Koninklijke Kpn N.V. Controlled streaming of segmented content
CN115086767A (zh) * 2012-01-19 2022-09-20 Vid拓展公司 使用移动设备接收多媒体内容的方法及该移动设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7246306B2 (en) * 2002-06-21 2007-07-17 Microsoft Corporation Web information presentation structure for web page authoring
CN103081504A (zh) * 2010-09-06 2013-05-01 韩国电子通信研究院 提供串流内容的方法及装置

Also Published As

Publication number Publication date
EP2973228A4 (en) 2016-08-31
EP2973228B1 (en) 2019-08-28
US10447746B2 (en) 2019-10-15
WO2015013720A1 (en) 2015-01-29
EP2973228A1 (en) 2016-01-20
US20150032901A1 (en) 2015-01-29
EP3561728A1 (en) 2019-10-30
CN105408916A (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
CN105408916B (zh) 用于自适应流媒体中的空间自适应的系统和方法
Paschos et al. The role of caching in future communication systems and networks
CN105308957B (zh) 用于网络协助自适应流媒体的系统和方法
CN106412621B (zh) 网络直播间的视频显示方法及装置、控制方法与相关设备
KR101913793B1 (ko) 플랫폼 쇼 페이지
US8089520B2 (en) Remote monitoring method using mobile terminal and system thereof
CN106507120B (zh) 一种业务对象的处理方法、服务器、终端和系统
CN108028955A (zh) 用于提供交互式内容的方法和系统
CN102326356A (zh) 视频共享
CN103782571A (zh) 用于提供基于消息和事件的视频服务控制平面的系统和方法
CN107113454A (zh) 配置引用用于自适应流式传输视频的基础设施服务提供商的清单文件
CN103503369A (zh) 通过网络分析的内容的预测性布置
CN109314793A (zh) 提供自适应流服务的方法及其设备
CN105556976B (zh) 自适应流中表达关联的系统和方法
CN108028768A (zh) 通过近距离通信安装应用程序版本的方法和系统
Zhuang et al. Future Internet bandwidth trends: An investigation on current and future disruptive technologies
KR20150113804A (ko) 디지털 사이니지 시스템 및 모바일 연동 방법
CN106204119A (zh) 一种基于二维码的样板间访问方法及系统
Layton et al. Rural broadband and the unrecovered cost of streaming video entertainment
CN107431844A (zh) 用于向内容呈现设备提供实况数据流的方法、系统和设备
CN106575423A (zh) 用于基于云端流媒体的广播关联服务的系统、用于广播关联服务的客户端设备、触发器内容提供服务器及其使用方法
Minhas et al. Mitigation of the effects of network outage on video qoe using a sender buffer
CN108574881A (zh) 一种投影类型推荐方法、服务器及客户端
Mir et al. The zewall project: Real-time delivering of events via portable devices
Pan et al. AMVP-Cloud: A framework of adaptive mobile video streaming and user behavior oriented video pre-fetching in the clouds

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant