CN111656796A - 动态条件性广告插入 - Google Patents

Abstract

在一个示例中，一种用于取得媒体数据的设备，包括：存储器，其被配置为存储包括广告内容和主媒体数据的媒体数据；以及在电路中实现并且被配置为进行以下操作的一个或多个处理器：向广告服务器设备发送广告信息；响应于发送广告信息，从广告服务器接收广告内容；取得主媒体数据；以及将广告内容设置到主媒体数据中。该设备还可以包括：经编码的图像缓冲区(CPB)以及从CPB取得经编码的视频数据以进行解码的视频解码器。一个或多个处理器可以通过将广告内容和主媒体数据两者发送到CPB来将广告内容设置到主媒体内容中。

Description

动态条件性广告插入

本申请要求于2018年1月31日提交的美国临时申请No.62/624,603、于2018年2月21日提交的美国临时申请No.62/633,472、以及于2019年1月30日提交的美国申请No.16/262,273的权益，据此上述这些申请中的每个申请的全部内容通过引用的方式并入本文中。

技术领域

本公开内容涉及对经编码的媒体数据的存储和传输。

背景技术

数字视频能力可以被合并到各种各样的设备中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型计算机或台式计算机、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、视频电话会议设备等。数字视频设备实现视频压缩技术(诸如在由MPEG-2、MPEG-4、ITU-T H.263或ITU-TH.264/MPEG-4(第10部分，高级视频编码(AVC))、ITU-T H.265(也被称为高效率视频编码(HEVC))以及此类标准的扩展定义的标准中描述的那些技术)，以更加高效地发送和接收数字视频信息。

在视频数据已经被编码之后，可以对视频数据进行分组化以进行发送或存储。视频数据可以被组装成符合各种标准(诸如国际标准化组织(ISO)的基媒体文件格式以及其扩展(诸如AVC))中的任何一种的视频文件。

发明内容

概括而言，本公开内容描述了用于客户端设备向广告服务器提供表示与客户端设备相关的广告内容的信息的技术。例如，基于客户端设备的编码和/或渲染能力，这种相关性可以对应于用户人口统计数据和/或广告质量数据。例如，该信息可以指示客户端设备正在呈现的、广告内容将被插入到其中的主内容的质量和/或特征。以这种方式，广告服务器可以发送与正被呈现的主内容的质量匹配并且满足客户端设备的能力的广告内容。

在一个示例中，一种取得媒体数据的方法，包括：由在客户端设备的电路中实现的一个或多个处理器向广告服务器设备发送广告信息；响应于发送所述广告信息，由所述一个或多个处理器从所述广告服务器接收广告内容；由所述一个或多个处理器取得主媒体数据；以及由所述一个或多个处理器将所述广告内容设置(provision)到所述主媒体数据中。

在另一示例中，一种用于取得媒体数据的设备，包括：存储器，其被配置为存储包括广告内容和主媒体数据的媒体数据；以及在电路中实现并且被配置为进行以下操作的一个或多个处理器：向广告服务器设备发送广告信息；响应于发送所述广告信息，从所述广告服务器接收所述广告内容；取得所述主媒体数据；以及将所述广告内容设置到所述主媒体数据中。

在另一示例中，一种具有存储在其上的指令的计算机可读存储介质，所述指令在被执行时使得客户端设备的处理器进行以下操作：向广告服务器设备发送广告信息；响应于发送所述广告信息，从所述广告服务器接收广告内容；取得主媒体数据；以及将所述广告内容设置到所述主媒体数据中。

在另一示例中，一种用于取得媒体数据的设备，包括：用于向广告服务器设备发送广告信息的单元；用于响应于发送所述广告信息，从所述广告服务器接收广告内容的单元；用于接收主媒体数据的单元；以及用于将所述广告内容设置到所述主媒体数据中的单元。

在附图和以下描述中阐述了一个或多个示例的细节。根据说明书和附图以及根据权利要求书，其它特征、目的和优点将是显而易见的。

附图说明

图1是示出实现用于在网络上对媒体数据进行流式传输的技术的示例系统的框图。

图2是更详细地示出图1的取得单元的示例组件集合的框图。

图3是示出示例多媒体内容的元素的概念图。

图4是示出可以对应于表示的分段的示例视频文件的元素的框图。

图5是示出DASH中的各种时间线的示例以及在时间线之间的关系的概念图。

图6是示出其中广告将被插入到主内容中的示例系统的概念图。

图7是示出其中广告将被插入到主内容中的示例系统的概念图。

图8是示出可以通过其来执行本公开内容的技术的示例方法的流程图。

图9是示出根据本公开内容的技术的取得媒体数据的示例方法的流程图。

具体实施方式

通常，本公开内容描述了用于客户端设备向广告(ad)服务器发送表示与客户端设备有关的各种类型的广告和/或广告内容的信息的技术。例如，该信息可以指示：基于用户的一个或多个人口统计特征，某些广告与客户端设备的用户更相关；以及用于广告内容的格式(诸如对客户端设备的编码和/或渲染能力的指示)。

本公开内容的技术可以应用于符合根据以下各项中的任何一项封装的视频数据的媒体(例如，视频)文件：ISO基媒体文件格式、可伸缩视频编码(SVC)文件格式、高级视频编码(AVC)文件格式、第三代合作伙伴计划(3GPP)文件格式、和/或多视图视频编码(MVC)文件格式、或其它类似的视频文件格式。

在HTTP流式传输中，频繁使用的操作包括HEAD、GET和部分GET。HEAD操作取得与给定的统一资源定位符(URL)或统一资源名称(URN)相关联的文件的报头，而不取得与URL或URN相关联的有效载荷。GET操作取得与给定的URL或URN相关联的整个文件。部分GET操作接收作为输入参数的字节范围，并且取得文件的连续数量的字节，其中字节数量对应于所接收的字节范围。因此，可以提供电影片段(fragment)以用于HTTP流式传输，因为部分GET操作可以获得一个或多个单独的电影片段。在电影片段中，可以存在不同轨道(track)的若干轨道片段。在HTTP流式传输中，媒体呈现可以是客户端可访问的结构化数据集合。客户端可以请求并且下载媒体数据信息以向用户呈现流式服务。

在使用HTTP流式传输来对3GPP数据进行流式传输的示例中，针对多媒体内容的视频和/或音频数据可以存在多个表示。如下文所解释的，不同的表示可以对应于不同的编码特性(例如，视频编码标准的不同简档或级别)、不同的编码标准或编码标准的扩展(例如，多视图和/或可伸缩扩展)、或不同的比特率。这样的表示的清单可以是在媒体呈现描述(MPD)数据结构中定义的。媒体呈现可以对应于HTTP流式客户端设备可访问的结构化数据集合。HTTP流式客户端设备可以请求并且下载媒体数据信息以向客户端设备的用户呈现流式服务。媒体呈现可以是在MPD数据结构中描述的，MPD数据结构可以包括MPD的更新。

媒体呈现可以包含一个或多个时段的序列。每个时段可以延长直到下一时段的开始为止，或者直到媒体呈现的结束为止(在最后一个时段的情况下)。每个时段可以包含针对相同媒体内容的一个或多个表示。表示可以是音频、视频、时序文本或其它此类数据的多个替代编码版本之一。表示可以在编码类型(例如，对于视频数据而言，比特率、分辨率和/或编解码器、以及对于音频数据而言，比特率、语言和/或编解码器)方面不同。术语表示可以用于指代经编码的音频或视频数据中的与多媒体内容的特定时段相对应并且以特定方式编码的一部分。

特定时段的表示可以被分配给由MPD中的指示这些表示所属的自适应集的属性指示的组。同一自适应集中的表示通常被认为是彼此的替代，因为客户端设备可以在这些表示之间动态且无缝地切换，例如以执行带宽自适应。例如，用于特定时段的视频数据的每个表示可以被分配给相同的自适应集，使得可以选择这些表示中的任何表示进行解码以呈现多媒体内容的用于对应时段的媒体数据，诸如视频数据或音频数据。在一些示例中，在一个时段内的媒体内容可以通过来自组0的一个表示(如果存在的话)或者来自每个非零组的至多一个表示的组合来表示。用于时段的每个表示的时序数据可以是相对于该时段的开始时间来表达的。

表示可以包括一个或多个分段(segment)。每个表示可以包括初始化分段，或者表示的每个分段可以是自初始化的。当存在时，初始化分段可以包含用于访问表示的初始化信息。通常，初始化分段不包含媒体数据。分段可以由标识符唯一地引用，诸如统一资源定位符(URL)、统一资源名称(URN)或统一资源标识符(URI)。MPD可以提供用于每个分段的标识符。在一些示例中，MPD还可以以range(范围)属性的形式提供字节范围，字节范围可以对应于用于在文件内可通过URL、URN或URI访问的分段的数据。

可以选择不同的表示以用于基本上同时地取得不同类型的媒体数据。例如，客户端设备可以选择要从其取得分段的音频表示、视频表示和时序文本表示。在一些示例中，客户端设备可以选择特定的自适应集以执行带宽适配。也就是说，客户端设备可以选择包括视频表示的自适应集、包括音频表示的自适应集和/或包括时序文本的自适应集。替代地，客户端设备可以为某些类型的媒体(例如，视频)选择自适应集，而为其它类型的媒体(例如，音频和/或时序文本)直接选择表示。

通用媒体应用格式(CMAF)通常限于涵盖一致的内容供应(offering)的CMAF呈现。然而，在许多情况下，需要将内容作为一系列CMAF呈现来供应的。此类供应的示例包括：

●实现对内容的拼接，例如针对广告(ad)插入

●实现对具有不同源格式的内容的拼接，例如，从5.1切换为立体声，改变帧速率等

●实现对不同类型的内容的拼接

●在进行分段编号时提供同步，例如，补偿非恒定分段持续时间

●在自适应集/切换集中去除或添加某些表示/CMAF轨道

●去除或添加某些自适应集/切换集

●去除或添加在某些CDN上的内容供应

●实现较短分段(如果由编码器产生的话)的信令

●出于稳健性原因

在若干种情况下，这样的中断是相对“困难的”，但是在其它情况下，内容是先前内容的延续。可以在两个层面上解决延续性：

-语义延续性(即，内容连续)

-用以允许适当的播放的延续性(即，跨越此类拼接点的有限改变以实现良好的感知输出)

对于此类问题的实用示例(来自启发式测试观察)包括：

-回放德甲比赛的精彩片段。每次比赛都是单独的“呈现”，但是在节目的自动延续内并且当通过HDMI回放时，HDMI连接被重置并且屏幕变黑几秒钟

-在加入实时服务时的前贴广告。在前贴广告完成之后，花大约1-2秒直到加入节目为止，而内容是黑色的

-以及更多的示例

图1是示出了实现用于在网络上对媒体数据进行流式传输的技术的示例系统10的框图。在该示例中，系统10包括内容准备设备20、服务器设备60和客户端设备40。客户端设备40和服务器设备60通过可以包括互联网的网络74通信地耦合。在一些示例中，内容准备设备20和服务器设备60也可以通过网络74或另一网络耦合，或者可以直接通信地耦合。在一些示例中，内容准备设备20和服务器设备60可以包括相同的设备。

在图1的示例中，内容准备设备20包括音频源22和视频源24。音频源22可以包括例如麦克风，其产生表示被捕获的要由音频编码器26编码的音频数据的电信号。替代地，音频源22可以包括存储先前记录的音频数据的存储介质、音频数据生成器(诸如计算机合成器)、或任何其它音频数据源。视频源24可以包括产生要由视频编码器28编码的视频数据的摄像机、利用先前记录的视频数据而编码的存储介质、视频数据生成单元(诸如计算机图形源)、或任何其它视频数据源。在所有示例中，内容准备设备20不一定通信地耦合到服务器设备60，而是可以将多媒体内容存储到由服务器设备60读取的单独介质中。

原始音频和视频数据可以包括模拟或数字数据。模拟数据可以在被音频编码器26和/或视频编码器28编码之前被数字化。音频源22可以在讲话参与者正在讲话时从讲话参与者获得音频数据，并且视频源24可以同时获得讲话参与者的视频数据。在其它示例中，音频源22可以包括包含存储的音频数据的计算机可读存储介质，而视频源24可以包括包含存储的视频数据的计算机可读存储介质。以这种方式，在本公开内容中描述的技术可以被应用于实况的(live)、流式的、实时的(real-time)音频和视频数据或者被存档的、预先记录的音频和视频数据。

对应于视频帧的音频帧通常是包含音频数据的音频帧，音频数据是与由视频源24捕获(或生成)的被包含在视频帧内的视频数据同时地、由音频源22捕获(或生成)的。例如，当讲话参与者通常通过讲话产生音频数据时，音频源22捕获音频数据，而视频源24同时(即，当音频源22捕获音频数据时)捕获讲话参与者的视频数据。因此，音频帧可以在时间上对应于一个或多个特定视频帧。相应地，对应于视频帧的音频帧通常对应于以下情形：音频数据和视频数据是同时捕获的，并且音频帧和视频帧分别包括同时捕获的音频数据和视频数据。

在一些示例中，音频编码器26可以将表示用于每个经编码的音频帧的音频数据被记录的时间的时间戳编码到该经编码的音频帧中，并且类似地，视频编码器28可以将表示用于每个经编码的视频帧的视频数据被记录的时间的时间戳编码在该经编码的视频帧中。在这样的示例中，音频帧对应于视频帧可以包括：包括时间戳的音频帧和包括相同时间戳的视频帧。内容准备设备20可以包括内部时钟，其中音频编码器26和/或视频编码器28可以根据该内部时钟来生成时间戳，或者音频源22和视频源24可以使用该内部时钟将音频数据和视频数据分别与时间戳相关联。

在一些示例中，音频源22可以向音频编码器26发送与音频数据被记录的时间相对应的数据，而视频源24可以向视频编码器28发送与视频数据被记录的时间相对应的数据。在一些示例中，音频编码器26可以将序列标识符编码到经编码的音频数据中，以指示经编码的音频数据的相对时间顺序，但是不一定指示音频数据被记录的绝对时间，并且类似地，视频编码器28也可以使用序列标识符来指示经编码的视频数据的相对时间顺序。类似地，在一些示例中，序列标识符可以被映射或以其它方式与时间戳相关。

音频编码器26通常产生经编码的音频数据的流，而视频编码器28产生经编码的视频数据的流。每个单独的数据流(无论是音频还是视频)都可以被称为基本流。基本流是表示的单个经数字编码的(可能是被压缩的)分量。例如，表示的经编码的视频或音频部分可以是基本流。在将基本流封装在视频文件内之前，可以将其转换为打包基本流(PES)。在同一表示内，流ID可以用于将属于一个基本流的PES分组与另一基本流的PES分组区分开。基本流的基础数据单元是打包基本流(PES)分组。因此，经编码的视频数据通常对应于基本视频流。类似地，音频数据对应于一个或多个相应的基本流。

许多视频编码标准(诸如ITU-T H.264/AVC以及即将推出的高效率视频编码(HEVC)标准)定义了用于无错误比特流的语法、语义和解码过程，其中任何一者都符合某个简档或级别。视频编码标准通常不指定编码器，但是编码器的任务是保证所生成的比特流对于解码器是符合标准的。在视频编码标准的背景下，“简档”对应于适用于它们的算法、特征、或工具和约束的子集。例如，如由H.264标准所定义的，“简档”是由H.264标准所指定的整个比特流语法的子集。“级别”对应于与图像的分辨率、比特率和块处理率有关的解码器资源消耗的限制，例如，解码器存储器和计算。可以利用profile_idc(简档指示符)值来用信号发送简档，而可以利用level_idc(级别指示符)值来用信号发送级别。

例如，H.264标准认可的是，在给定简档的语法所施加的界限内，仍然可能需要编码器和解码器的性能的大变化，这取决于比特流中的语法元素所采用的值，例如解码图像的指定大小。H.264标准进一步认可的是，在许多应用中，实现能够处理特定简档内的语法的所有假设用途的解码器是不实用也不经济的。因此，H.264标准将“级别”定义为对在比特流中的语法元素的值施加的指定约束集合。这些约束可以是对值的简单限制。替代地，这些约束可以采取对值的算术组合的约束的形式(例如，图像宽度乘以图像高度乘以每秒解码的图像数量)。H.264标准还规定，各种实现方式可以支持针对每个支持的简档的不同级别。

符合简档的解码器通常支持在简档中定义的所有特征。例如，作为编码特征的B图像编码在H.264/AVC的基准简档中是不支持的，但是在H.264/AVC的其它简档中是支持的。符合级别的解码器应当能够对不需要超出在该级别中定义的限制的资源的任何比特流进行解码。简档和级别的定义可以有助于可解释性。例如，在视频传输期间，可以为整个传输会话协商并且商定一对简档和级别定义。更具体地说，在H.264/AVC中，级别可以定义对以下各项的限制：需要被处理的宏块数量、解码图像缓冲区(DPB)大小、编码图像缓冲区(CPB)大小、垂直运动矢量范围、每两个连续MB的运动矢量的最大数量、以及B块是否可以具有小于8x8个像素的子宏块分区。以这种方式，解码器可以确定该解码器是否能够正确地解码比特流。

在图1的示例中，内容准备设备20的封装单元30从视频编码器28接收包括经编码的视频数据的基本流，并且从音频编码器26接收包括经编码的音频数据的基本流。在一些示例中，视频编码器28和音频编码器26可以分别包括用于从经编码的数据形成PES分组的分组化器。在其它示例中，视频编码器28和音频编码器26可以分别与用于从经编码的数据形成PES分组的相应分组化器进行对接。在其它示例中，封装单元30可以包括用于从经编码的音频和视频数据形成PES分组的分组化器。

视频编码器28可以以各种方式对多媒体内容的视频数据进行编码，以产生多媒体内容的处于各种比特率并且具有各种特性(例如，像素分辨率、帧速率、符合各种编码标准、符合用于各种编码标准的各个简档和/或简档的级别、具有一个或多个视图的表示(例如，用于二维或三维回放)或其它这样的特性)的不同表示。在本公开内容中使用的表示可以包括音频数据、视频数据、文本数据(例如，用于隐藏式字幕)或其它这样的数据中的一者。表示可以包括基本流，诸如音频基本流或视频基本流。每个PES分组可以包括标识该PES分组所属的基本流的stream_id。封装单元30负责将基本流组装成各个表示的视频文件(例如，分段)。

封装单元30从音频编码器26和视频编码器28接收用于表示的基本流的PES分组，并且从PES分组形成对应的网络抽象层(NAL)单元。可以将经编码的视频分段组织为NAL单元，这些NAL单元提供了“网络友好”视频表示，其解决诸如视频电话、存储、广播或流式传输之类的应用。NAL单元可以被分类为视频编码层(VCL)NAL单元和非VCL NAL单元。VCL单元可以包含核心压缩引擎，并且可以包括块、宏块和/或切片级数据。其它NAL单元可以是非VCLNAL单元。在一些示例中，在一个时间实例中通常被呈现为基本编码图像的编码图像可以被包含在访问单元中，访问单元可以包括一个或多个NAL单元。

除此之外，非VCL NAL单元还可以包括参数集NAL单元和SEI NAL单元。参数集可以包含序列级报头信息(在序列参数集(SPS)中)和不频繁变化的图像级报头信息(在图像参数集(PPS)中)。利用参数集(例如，PPS和SPS)，不需要为每个序列或图像重复不频繁变化的信息，因此可以提高编码效率。此外，使用参数集可以实现对重要报头信息的带外传输，从而避免为了错误恢复而对于冗余传输的需求。在带外传输示例中，可以在与其它NAL单元(诸如SEI NAL单元)不同的信道上发送参数集NAL单元。

补充增强信息(SEI)可能包含对于从VCL NAL单元解码编码图像样本而言不必要的信息，但是可能有助于与解码、显示、错误恢复和其它目的有关的过程。SEI消息可以被包含在非VCL NAL单元中。SEI消息是一些标准规范的规范性部分，并且因此对于符合标准的解码器实现方式而言并非总是强制的。SEI消息可以是序列级SEI消息或图像级SEI消息。一些序列级信息可以被包含在SEI消息中，诸如在SVC示例中的可伸缩性信息SEI消息、以及在MVC中的视图可伸缩性信息SEI消息。这些示例SEI消息可以传递关于例如操作点的提取和操作点的特性的信息。另外，封装单元30可以形成清单文件，诸如描述表示的特性的媒体呈现描述符(MPD)。封装单元30可以根据可扩展标记语言(XML)来将MPD格式化。

封装单元30可以将用于多媒体内容的一个或多个表示的数据以及清单文件(例如，MPD)一起提供给输出接口32。输出接口32可以包括网络接口、或用于写入存储介质的接口(例如，通用串行总线(USB)接口、CD或DVD刻录机或烧录机、与磁或闪速存储介质的接口、或用于存储或发送介质数据的其它接口)。封装单元30可以将多媒体内容的表示中的每个表示的数据提供给输出接口32，输出接口32可以经由网络传输或存储介质将数据发送给服务器设备60。在图1的示例中，服务器设备60包括存储各种多媒体内容64的存储介质62，每种多媒体内容包括相应的清单文件66和一个或多个表示68A-68N(表示68)。在一些示例中，输出接口32还可以直接向网络74发送数据。

在一些示例中，表示68可以被分成自适应集。也就是说，表示68的各个子集可以包括相应的公共特性集，诸如编解码器、简档和级别、分辨率、视图数量、用于分段的文件格式、可以标识将与表示和/或要由例如扬声器解码和呈现的音频数据一起显示的文本的语言或其它特性的文本类型信息、可以描述针对自适应集中的表示的场景的相机角度或现实世界视角的相机角度信息、描述内容对于特定受众的适合性的评级信息等。

清单文件66可以包括指示与特定的自适应集相对应的表示68的子集以及用于自适应集的公共特性的数据。清单文件66还可以包括表示用于自适应集中的单独表示的各个特性的数据，诸如比特率。以这种方式，自适应集可以提供简化的网络带宽适配。可以使用清单文件66的自适应集元素中的子元素来指示在自适应集中的表示。

服务器设备60包括请求处理单元70和网络接口72。在一些示例中，服务器设备60可以包括多个网络接口。此外，服务器设备60的任何或所有特征可以在内容递送网络的其它设备上实现，诸如路由器、桥接器、代理设备、交换机或其它设备。在一些示例中，内容递送网络的中间设备可以对多媒体内容64的数据进行高速缓存，并且包括基本上与服务器设备60的组件一致的组件。通常，网络接口72被配置为经由网络74发送和接收数据。

请求处理单元70被配置为从诸如客户端设备40之类的客户端设备接收对存储介质62的数据的网络请求。例如，请求处理单元70可以实现如在RFC 2616中(1999年6月，IETF，网络工作组，R.Fielding等人的“Hypertext Transfer Protocol–HTTP/1.1”)中描述的超文本传输协议(HTTP)版本1.1。也就是说，请求处理单元70可以被配置为接收HTTP GET或部分GET请求，并且响应于所述请求而提供多媒体内容64的数据。请求可以指定表示68中的一个表示的分段(例如，使用该分段的URL)。在一些示例中，请求还可以指定分段的一个或多个字节范围，由此包括部分GET请求。请求处理单元70还可以被配置为对HTTP HEAD请求进行服务以提供表示68中的一个表示的分段的报头数据。在任何情况下，请求处理单元70可以被配置为处理这些请求以将所请求的数据提供给请求设备，诸如客户端设备40。

另外或替代地，请求处理单元70可以被配置为经由诸如eMBMS之类的广播或多播协议来递送媒体数据。内容准备设备20可以以与所描述的基本相同的方式来创建DASH分段和/或子分段，但是服务器设备60可以使用eMBMS或另一广播或多播网络传输协议来递送这些分段或子分段。例如，请求处理单元70可以被配置为从客户端设备40接收多播组加入请求。也就是说，服务器设备60可以向包括客户端设备40的客户端设备通告与多播组相关联的互联网协议(IP)地址，该多播组与特定的媒体内容(例如，实况事件的广播)相关联。客户端设备40进而可以提交用于加入多播组的请求。该请求可以在整个网络74(例如，组成网络74的路由器)中传播，从而使路由器将去往与多播组相关联的IP地址的业务引导到订制客户端设备(例如，客户端设备40)。

如在图1的示例中所示，多媒体内容64包括清单文件66，清单文件66可以对应于媒体呈现描述(MPD)。清单文件66可以包含对不同替代表示68(例如，具有不同质量的视频服务)的描述，并且该描述可以包括例如表示68的编解码器信息、简档值、级别值、比特率和其它描述性特性。客户端设备40可以取得媒体呈现的MPD以确定如何访问表示68的分段。

具体地，取得单元52可以取得客户端设备40的配置数据(未示出)以确定视频解码器48的解码能力和视频输出44的渲染能力。配置数据还可以包括以下各项中的任何一项或全部：由客户端设备40的用户选择的语言偏好、与由客户端设备40的用户设置的深度偏好相对应的一个或多个相机视角、和/或由客户端设备40的用户选择的评级偏好。取得单元52可以包括例如被配置为提交HTTP GET和部分GET请求的网页浏览器或媒体客户端。取得单元52可以对应于由客户端设备40的一个或多个处理器或处理单元(未示出)执行的软件指令。在一些示例中，关于取得单元52描述的功能中的全部或部分功能可以用硬件、或者用硬件、软件和/或固件的组合来实现，其中可以提供必需的硬件来执行针对软件或固件的指令。

取得单元52可以将客户端设备40的解码和渲染能力与由清单文件66的信息所指示的表示68的特性进行比较。取得单元52可以初始地取得清单文件66的至少一部分以确定表示68的特性。例如，取得单元52可以请求清单文件66的描述一个或多个自适应集的特性的一部分。取得单元52可以选择表示68的具有可以由客户端设备40的编码和渲染能力满足的特性的子集(例如，自适应集)。取得单元52然后可以确定用于在自适应集中的表示的比特率，确定当前可用的网络带宽量，并且从表示中的一个表示中取得具有网络带宽可以满足的比特率的分段。

通常，较高比特率的表示可以产生较高质量的视频回放，而较低比特率的表示可以在可用网络带宽减小时提供足够质量的视频回放。相应地，当可用网络带宽是相对高的时，取得单元52可以从相对高比特率的表示中取得数据，而当可用网络带宽是低的时，取得单元52可以从相对低比特率的表示中取得数据。以这种方式，客户端设备40可以在网络74上对多媒体数据进行流式传输，同时还适应于网络74的变化的网络带宽可用性。

另外或替代地，取得单元52可以被配置为根据诸如eMBMS或IP多播之类的广播或多播网络协议来接收数据。在这样的示例中，取得单元52可以提交用于加入与特定的媒体内容相关联的多播网络组的请求。在加入多播组之后，取得单元52可以接收该多播组的数据，而无需向服务器设备60或内容准备设备20发出另外的请求。当不再需要多播组的数据时，取得单元52可以提交用于离开该多播组的请求，例如以停止回放或者将信道改变到不同的多播组。

网络接口54可以接收所选择的表示的分段的数据并且将其提供给取得单元52，取得单元52进而可以将这些分段提供给解封装单元50。解封装单元50可以将视频文件的元素解封装为组成的PES流，对PES流进行解分组化以取得经编码的数据，并且向音频解码器46或视频解码器48发送经编码的数据，这取决于经编码的数据是音频流还是视频流的一部分(例如，如该流的PES分组报头所指示的)。

尽管在图1中未明确示出，但是应当理解的是，可以在解封装单元50与视频解码器48之间放置编码图像缓冲区(CPB)(例如，存储器)，以接收要由视频解码器48解码的经编码的视频数据(即，编码图像)。在一些示例中，如下文更详细地解释的，解封装单元50可以经由相同的CPB将从不同的服务器接收的主媒体内容和广告内容两者提供给视频解码器48。也就是说，取得单元52可以将广告内容设置到主媒体内容中，并且使视频解码器48对主媒体内容和广告内容两者进行解码。音频解码器46对经编码的音频数据进行解码并且将经解码的音频数据发送到音频输出42，而视频解码器48对经编码的视频数据进行解码并且将经解码的视频数据(其可以包括流的多个视图)发送到视频输出44。

视频编码器28、视频解码器48、音频编码器26、音频解码器46、封装单元30、取得单元52和解封装单元50均可以在适用的情况下被实现为各种适当的处理电路中的任何一者，例如，一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑电路、软件、硬件、固件或其任何组合。视频编码器28和视频解码器48中的每一者可以被包括在一个或多个编码器或解码器中，其中任一者可以被集成为组合视频编码器/解码器(CODEC)的一部分。同样，音频编码器26和音频解码器46中的每一者可以被包括在一个或多个编码器或解码器中，其中任一者可以被集成为组合CODEC的一部分。包括视频编码器28、视频解码器48、音频编码器26、音频解码器46、封装单元30、取得单元52和/或解封装单元50的装置可以包括集成电路、微处理器和/或无线通信设备(诸如蜂窝电话)。

客户端设备40、服务器设备60和/或内容准备设备20可以被配置为根据本公开内容的技术进行操作。出于示例的目的，本公开内容关于客户端设备40和服务器设备60描述了这些技术。然而，应当理解的是，内容准备设备20可以被配置为执行这些技术，代替(或者除了)服务器设备60。

封装单元30可以形成NAL单元，NAL单元包括标识该NAL单元所属的节目的报头以及有效载荷(例如，音频数据、视频数据、或描述NAL单元所对应的传输或节目流的数据)。例如，在H.264/AVC中，NAL单元包括1字节的报头和大小可变的有效载荷。在其有效载荷中包括视频数据的NAL单元可以包括各种粒度级别的视频数据。例如，NAL单元可以包括视频数据块、多个块、视频数据的切片、或视频数据的整个图像。封装单元30可以以基本流的PES分组的形式从视频编码器28接收经编码的视频数据。封装单元30可以将每个基本流与对应的节目相关联。

封装单元30还可以从多个NAL单元组装访问单元。通常，访问单元可以包括一个或多个NAL单元，其用于表示视频数据的帧、以及与该帧相对应的音频数据(当这样的音频数据是可用时)。访问单元通常包括用于一个输出时间实例的所有NAL单元，例如，用于一个时间实例的所有音频和视频数据。例如，如果每个视图具有20帧每秒(fps)的帧速率，则每个时间实例可以对应于0.05秒的时间间隔。在该时间间隔期间，可以同时渲染用于同一访问单元(同一时间实例)的所有视图的特定帧。在一个示例中，访问单元可以包括在一个时间实例中的经编码的图像，其可以被呈现为基本经编码的图像。

相应地，访问单元可以包括公共时间实例的所有音频和视频帧，例如，对应于时间X的所有视图。本公开内容还将特定视图的经编码的图像称为“视图分量”。也就是说，视图分量可以包括在特定时间处用于特定视图的经编码的图像(或帧)。相应地，访问单元可以被定义为包括公共时间实例的所有视图分量。访问单元的解码顺序不一定需要与输出或显示顺序相同。

媒体呈现可以包括媒体呈现描述(MPD)，其可以包含不同替代表示(例如，具有不同质量的视频服务)的描述，并且该描述可以包括例如编解码器信息、简档值和级别值。MPD是清单文件(例如，清单文件66)的一个示例。客户端设备40可以取得媒体呈现的MPD，以确定如何访问各个呈现的电影片段。电影片段可以位于视频文件的电影片段盒(moof盒(box))中。

清单文件66(其可以包括例如MPD)可以通告表示68的分段的可用性。也就是说，MPD可以包括指示表示68中的一个表示的第一分段变得可用的时钟时间的信息、以及指示表示68内的分段的持续时间的信息。以这种方式，客户端设备40的取得单元52可以基于在特定分段之前的分段的开始时间以及持续时间来确定每个分段何时可用。

在封装单元30已经基于所接收的数据将NAL单元和/或访问单元组装为视频文件之后，封装单元30将视频文件传递到输出接口32以进行输出。在一些示例中，封装单元30可以将视频文件进行本地存储或者经由输出接口32将视频文件发送给远程服务器，而不是将视频文件直接发送给客户端设备40。输出接口32可以包括例如发射机、收发机、用于将数据写入计算机可读介质的设备(例如，光学驱动器、磁介质驱动器(例如，软盘驱动器))、通用串行总线(USB)端口、网络接口或其它输出接口。输出接口32将视频文件输出到计算机可读介质，例如，传输信号、磁性介质、光学介质、存储器、闪存驱动器或其它计算机可读介质。

网络接口54可以经由网络74接收NAL单元或访问单元，并且经由取得单元52将NAL单元或访问单元提供给解封装单元50。解封装单元50可以将视频文件的元素解封装为组成PES流，将PES流进行解分组化以取得经编码的数据，并且向音频解码器46或视频解码器48发送经编码的数据(取决于经编码的数据是音频流还是视频流的一部分，例如如由PES流的PES分组报头指示的)。音频解码器46对经编码的音频数据进行解码并且将经解码的音频数据发送到音频输出42，而视频解码器48对经编码的视频数据进行解码并且将经解码的视频数据(其可以包括流的多个视图)发送到视频输出44。

图2是更详细地示出图1的取得单元52的示例组件集合的框图。在该示例中，取得单元52包括eMBMS中间件单元100、DASH客户端110和媒体应用112。

在该示例中，eMBMS中间件单元100还包括eMBMS接收单元106、高速缓存104和代理服务器单元102。在该示例中，eMBMS接收单元106被配置为经由eMBMS(例如，根据基于单向传输的文件传送(FLUTE))来接收数据，FLUTE是在2012年11月、RFC 6726、网络工作组、T.Paila等人的“FLUTE-File Delivery over Unidirectional Transport”中描述的，其可在http://tools.ietf.org/html/rfc6726获得。也就是说，eMBMS接收单元106可以经由广播从例如服务器设备60接收文件，服务器设备60可以充当广播/多播服务中心(BM-SC)。

随着eMBMS中间件单元100接收用于文件的数据，eMBMS中间件单元可以将所接收的数据存储在高速缓存104中。高速缓存104可以包括计算机可读存储介质，诸如闪存、硬盘驱动器、RAM或任何其它适当的存储介质。

代理服务器单元102可以充当用于DASH客户端110的服务器。例如，代理服务器单元102可以向DASH客户端110提供MPD文件或其它清单文件。代理服务器单元102可以在MPD文件中通告针对分段的可用性时间以及分段可以从其中取得的超链接。这些超链接可以包括与客户端设备40相对应的本地主机地址前缀(例如，对于IPv4而言，为127.0.0.1)。以这种方式，DASH客户端110可以使用HTTP GET或部分GET请求从代理服务器单元102请求分段。例如，对于可从链接http://127.0.0.1/rep1/seg3得到的分段，DASH客户端110可以构造包括针对http://127.0.0.1/rep1/seg3的请求的HTTP GET请求，并且向代理服务器单元102提交该请求。代理服务器单元102可以响应于这样的请求来从高速缓存104取得所请求的数据，并且将该数据提供给DASH客户端110。

图3是示出示例多媒体内容120的元素的概念图。多媒体内容120可以对应于多媒体内容64(图1)或被存储在存储介质62中的另一多媒体内容。在图3的示例中，多媒体内容120包括媒体呈现描述(MPD)122和多个表示124A-124N(表示124)。表示124A包括可选的报头数据126和分段128A-128N(分段128)，而表示124N包括可选的报头数据130和分段132A-132N(分段132)。为了方便起见，字母N用于指定表示124中的每个表示中的最后一个电影片段。在一些示例中，在表示124之间可以存在不同数量的电影片段。

MPD 122可以包括与表示124分开的数据结构。MPD 122可以对应于图1的清单文件66。同样，表示124可以对应于图1的表示68。通常，MPD 122可以包括通常描述表示124的特性的数据，例如，编码和渲染特性、自适应集、MPD 122所对应的简档、文本类型信息、相机角度信息、评级信息、轨道模式信息(例如，指示包括时间子序列的表示的信息)、和/或用于取得远程时段的信息(例如，用于在回放期间将目标广告插入到媒体内容中的信息)。

报头数据126(在存在时)可以描述分段128的特性，例如，随机访问点(RAP，也被称为流访问点(SAP))的时间位置、分段128中的哪些包括随机访问点、与分段128内的随机访问点的字节偏移、分段128的统一资源定位符(URL)、或分段128的其它方面。报头数据130(当存在时)可以描述分段132的类似特性。另外或替代地，这样的特性可以完全被包括在MPD 122中。

分段128、132包括一个或多个经编码的视频样本，每个经编码的视频样本可以包括视频数据的帧或切片。分段128的经编码的视频样本中的每一者可以具有类似的特性，例如，高度、宽度和带宽要求。这样的特性可以由MPD 122的数据来描述，但是在图3的示例中未示出这样的数据。MPD 122可以包括由3GPP规范描述的特性，其中添加了在本公开内容中描述的用信号发送的信息中的任何或全部信息。

分段128、132中的每个分段可以与唯一的统一资源定位符(URL)相关联。因此，分段128、132中的每个分段可以是可使用诸如DASH之类的流式网络协议来独立地取得的。以这种方式，诸如客户端设备40之类的目的地设备可以使用HTTP GET请求来取得分段128或132。在一些示例中，客户端设备40可以使用HTTP部分GET请求来取得分段128或132的特定字节范围。

图4是示出示例视频文件150的元素的框图，视频文件150可以对应于表示的分段，诸如图3的分段128、132之一。分段128、132中的每个分段可以包括基本上符合在图4的示例中示出的数据的布置的数据。视频文件150可以认为是封装分段。如上所述，根据ISO基媒体文件格式以及其扩展的视频文件将数据存储在被称为“盒(box)”的一系列对象中。在图4的示例中，视频文件150包括文件类型(FTYP)盒152、电影(MOOV)盒154、分段索引(sidx)盒162、电影片段(MOOF)盒164、以及电影片段随机访问(MFRA)盒166。尽管图4表示视频文件的示例，但是应当理解的是，其它媒体文件可以包括根据ISO基媒体文件格式以及其扩展而与视频文件150的数据类似地构造的其它类型的媒体数据(例如，音频数据、时序文本数据等)。

文件类型(FTYP)盒152通常描述用于视频文件150的文件类型。文件类型盒152可以包括标识描述用于视频文件150的最佳用途的规范的数据。文件类型盒152可以替代地被放置在MOOV盒154、电影片段盒164和/或MFRA盒166之前。

在一些示例中，诸如视频文件150之类的分段可以在FTYP盒152之前包括MPD更新盒(未示出)。MPD更新盒可以包括指示与包括视频文件150的表示相对应的MPD将被更新的信息以及用于更新MPD的信息。例如，MPD更新盒可以提供用于将用于更新MPD的资源的URI或URL。作为另一示例，MPD更新盒可以包括用于更新MPD的数据。在一些示例中，MPD更新盒可以紧跟在视频文件150的分段类型(STYP)盒(未显示)之后，其中STYP盒可以定义用于视频文件150的分段类型。

在图4的示例中，MOOV盒154包括电影报头(MVHD)盒156、轨道(TRAK)盒158以及一个或多个电影扩展(MVEX)盒160。通常，MVHD盒156可以描述视频文件150的一般特性。例如，MVHD盒156可以包括描述视频文件150最初何时被创建、视频文件150最近何时被修改、用于视频文件150的时间标度、用于视频文件150的回放的持续时间的数据、或者通常描述视频文件150的其它数据。

TRAK盒158可以包括用于视频文件150的轨道的数据。TRAK盒158可以包括描述与TRAK盒158相对应的轨道的特性的轨道报头(TKHD)盒。在一些示例中，TRAK盒158可以包括经编码的视频图像，而在其它示例中，轨道的经编码的视频图像可以被包括在电影片段164中，电影片段164可以通过TRAK盒158和/或sidx盒162的数据来引用。

在一些示例中，视频文件150可以包括一个以上的轨道。因此，MOOV盒154可以包括一数量的TRAK盒，TRAK盒的数量等于视频文件150中的轨道的数量。TRAK盒158可以描述视频文件150的对应轨道的特性。例如，TRAK盒158可以描述用于对应轨道的时间和/或空间信息。当封装单元30(图3)在诸如视频文件150之类的视频文件中包括参数集轨道时，类似于MOOV盒154的TRAK盒158的TRAK盒可以描述参数集轨道的特性。封装单元30可以用信号发送在TRAK盒内的参数集轨道中描述参数集轨道的序列级SEI消息的存在。

MVEX盒160可以描述对应的电影片段164的特性，例如，以便用信号发送除了被包括在MOOV盒154内的视频数据(如果有的话)之外，视频文件150还包括电影片段164。在流式传输视频数据的情况下，经编码的视频图像可以被包括在电影片段164中，而不是在MOOV盒154中。因此，所有经编码的视频样本可以被包括在电影片段164中，而不是在MOOV盒154中。

MOOV盒154可以包括一数量的MVEX盒160，MVEX盒160的数量等于视频文件150中的电影片段164的数量。MVEX盒160中的每一者可以描述电影片段164中的相应片段的特性。例如，每个MVEX盒可以包括电影扩展报头盒(MEHD)，其描述用于电影片段164中的相应片段的持续时间。

如上所述，封装单元30可以将序列数据集存储在不包括实际经编码的视频数据的视频样本中。视频样本通常可以对应于访问单元，访问单元是在特定时间实例处的经编码的图像的表示。在AVC的情况下，经编码的图像包括包含要构造访问单元的所有像素的信息的一个或多个VCL NAL单元和其它相关联的非VCL NAL单元(例如，SEI消息)。相应地，封装单元30可以在电影片段164中的一个电影片段中包括序列数据集，序列数据集可以包括序列级SEI消息。封装单元30还可以在MVEX盒160内的与电影片段164之一相对应的MVEX盒中将序列数据集和/或序列级SEI消息的存在用信号发送为存在于电影片段164中的该电影片段中。

SIDX盒162是视频文件150的可选元素。也就是说，符合3GPP文件格式或其它这样的文件格式的视频文件不一定包括SIDX盒162。根据3GPP文件格式的示例，SIDX盒可以用于标识分段(例如，被包含在视频文件150内的分段)的子分段。3GPP文件格式将子分段定义为“具有对应媒体数据盒的一个或多个连续电影片段盒的自包含集，并且包含由电影片段盒引用的数据的媒体数据盒必须跟随在该电影片段盒之后并且在包含关于相同轨道信息的下一电影片段盒之前。”3GPP文件格式还指示SIDX盒“包含对该盒所记载的(子)分段的子分段的引用序列。所引用的子分段在呈现时间上是连续的。类似地，由分段索引盒所引用的字节在分段内始终是连续的。所引用的大小给出了在所引用的材料中的字节数量的计数。”

SIDX盒162通常提供表示被包括在视频文件150中的分段的一个或多个子分段的信息。例如，此类信息可以包括子分段开始和/或结束的回放时间、针对子分段的字节偏移、子分段是否包括流访问点(SAP)(例如，从其开始)、用于SAP的类型(例如，SAP是否是即时解码器刷新(IDR)图像、清除随机访问(CRA)图像、断链访问(BLA)图像等)、SAP在子分段中的位置(依据回放时间和/或字节偏移)等。

电影片段164可以包括一个或多个经编码的视频图像。在一些示例中，电影片段164可以包括一个或多个图像组(GOP)，每个图像组可以包括多个经编码的视频图像，例如帧或图像。另外，如上所述，在一些示例中，电影片段164可以包括序列数据集。电影片段164中的每个电影片段可以包括电影片段报头盒(MFHD，在图4中未示出)。MFHD盒可以描述对应电影片段的特性，诸如用于该电影片段的序列号。电影片段164可以按照序列号的顺序被包括在视频文件150中。

MFRA盒166可以描述在视频文件150的电影片段164内的随机访问点。这可以辅助执行轨道模式，诸如对通过视频文件150封装的分段内的特定时间位置(即，回放时间)执行搜索。MFRA盒166通常是可选的，并且在一些示例中不需要被包括在视频文件中。同样，客户端设备(例如，客户端设备40)不一定需要引用MFRA盒166来正确地解码和显示视频文件150的视频数据。MFRA盒166可以包括一数量的轨道片段随机访问(TFRA)盒(未示出)，TFRA盒的数量等于视频文件150的轨道数量，或者在一些示例中，等于视频文件150的媒体轨道(例如，非提示轨道)的数量。

在一些示例中，电影片段164可以包括一个或多个流访问点(SAP)，诸如IDR图像。同样，MFRA盒166可以提供对SAP在视频文件150内的位置的指示。相应地，视频文件150的时间子序列可以从视频文件150的SAP形成。时间子序列还可以包括其它图像，诸如依赖于SAP的P帧和/或B帧。可以将时间子序列的帧和/或切片布置在分段内，使得可以正确地解码时间子序列的、依赖于该子序列的其它帧/切片的帧/切片。例如，在数据的分层布置中，用于针对其它数据的预测的数据也可以被包括在时间子序列中。

图5是示出DASH中的各种时间线的示例以及在时间线之间的关系的概念图。图5描绘了三个示例性时段，这些时段中的每个时段包含多个表示。为了讨论本公开内容的技术，这些表示是被包括在相同的自适应集中还是被包括在不同的自适应集中是无关紧要的。

以下信息可以是可在与时序有关的MPD(或其它清单文件)中得到的：

●MPD@availabilityStartTime：开始时间是在时钟时间中针对MPD的锚点。该值在图5中被表示为“AST”(用于“可用性开始时间”)。

●Period@start：时段相对于MPD可用性开始时间的开始时间。该值在图5中被表示为“PST”(用于“时段开始时间”)。

●Representation@presentationTimeOffset：表示在时段中的呈现时间偏移，即，其提供了应该在时段的开始时渲染的表示的媒体时间。通常，该时间是第一分段的最早呈现时间、或者是稍大的值，以便确保不同媒体分量的同步。如果是较大的，则以相对于时段开始的短延迟来呈现该表示。该值在图5中表示为“PTO”(用于“呈现时间偏移”)。

此外，通过使用Representation@duration或Representation.SegmentTimeline，可以推导出用于每个分段的MPD开始时间和用于每个分段的MPD持续时间。对于细节，参考ISO/IEC 23009-1和下面的讨论。

根据图5，AST是时钟时间。在该示例中，AST为MPD中的所有时钟时间计算提供了锚点。第一时段的Period@start和AST的总和提供了在时钟时间中第一时段的时段起始时间PST1值。

用于ISO基媒体格式文件中的轨道的媒体时间线原点被定义为零。通过属性Representation@presentationTimeOffset的值为每个表示分配呈现时间偏移，或者默认地将其设置为0。该属性的值被表示为“PTO”。通常情况下，对于按时段排序的完整文件，该值为0。对于“部分”文件或实况流，@presentationTimeOffset指示与时段的开始同步的、样本的媒体组成/呈现时间。用于实况流的@presentationTimeOffset将通常不为零，因为编码器通常是在呈现可用性之前启动的，因此自编码器启动以来，第一可用分段上的媒体时间戳将增加。可以将编码时间戳设置为协调世界时(UTC)(就像在1970年1月1日的午夜开启编码器一样)。只要持续地对媒体进行编码，实况内容的时段中的表示通常具有相同的@presentationTimeOffset，因为UTC时间和媒体时间以相同的速率增加并且保持相同的偏移。

参考DASH-IF IOP指南和MPEG-DASH的修正案3(Amd.3)，如下所讨论的某些考虑因素与DASH有关。在某些情况下，媒体呈现被供应为使得下一时段是先前时段中的内容的延续，可能是在紧跟随的时段或稍后的时段(例如，在已经插入广告时段之后)，尤其是延续某些媒体分量。

内容提供者(例如，图1的内容准备设备20)可以通过将相等的资产标识符分配给两个时段并且通过利用针对attribute@id的相同的值来标识两个自适应集，从而表达在两个不同时段中的两个自适应集中包含的媒体分量是相关联的。关联表达了下一时段中的媒体分量的逻辑延续，并且可以例如由客户端用来在新时段中继续播放相关联的自适应集。

另外，如果以下各项中的全部都成立，则DASH将一个MPD中的两个自适应集定义为时段连续的：

●这些自适应集是相关联的。

●在一个自适应集中的所有表示的@presentationTimeOffset值和呈现持续时间的总和是与在下一时段中相关联的自适应集的@presentationTimeOffset的值相同的。

●如果在两个自适应集中的表示具有针对@id的相同的值，则它们应具有功能上等效的初始化分段，即，初始化分段可以用于继续播放表示。第一时段的初始化分段(如果存在的话)与第一时段中的表示中的所有连续的媒体分段的串接、以及随后与在第二时段的表示中的所有连续的媒体分段的串接应表示如在4.5.4中定义的符合如在针对第一时段中的表示的@mimeType属性中指定的媒体类型的一致性分段序列。另外，用于下一时段中的表示的@mimeType属性应与第一时段的该属性相同。

媒体呈现应当通过在自适应集级别使用补充描述符(其中，@schemeIdUri被设置为“urn:mpeg:dash:period-continuity:2015”)，来用信号发送时段连续的自适应集，其中：

●描述符的@value与被包含在MPD中的时段的@id的值匹配，

●在两个时段中AdaptationSet@id的值是相同的。

如果MPD包含具有相同资产标识符的时段，则MPD应当用信号发送时段连续的自适应集。

存在如下的特殊情况：在一个自适应集中的媒体是先前自适应集的延续，但是时间戳不是连续的。示例包括时间戳回绕、编码器重置、拼接或其它方面。如果根据上文来自时段连续性的所有条件都成立，则针对每个DASH，在一个MPD中的两个自适应集是时段连接的，除了跨时段边界的时间戳可能是不连续的，但是可以在时段边界处通过@presentationTimeOffset的值进行调整。然而，例如，初始化分段在两个自适应集内可以是等效的。媒体呈现应当通过在自适应集级别使用补充描述符(其中@schemeIdUri被设置为“urn:mpeg:dash:period-connectivity:2015”)，来用信号发送时段连接的自适应集。

时段连续性可以暗示时段连接性。

如果内容遵循这些规则，则鼓励DASH中的内容作者将内容作为时段连续或时段连接的信令来供应。客户端应当利用此类信号，以用于跨时段边界的无缝用户体验。

DASH没有解决针对比特流切换/单个初始化分段的情况。然而，如果初始化分段跨时段边界是相同的，则显然重新初始化是不必要的。可以通过初始化分段具有相同URL来容易地检测到相同的初始化(Init)分段。

DASH也不提供针对时段连接性和连续性的任何跨时段保证或承诺，因为始终认为无论该特征如何，都可以回放内容，可能仅是具有某种降低的质量。

由于广告插入的讨论，最初为DVB DASH开发了时段连续性和连接性。已经在DASH-IF和DVB中发现了其应用，并且测试内容是可得到的。

单个初始分化段、时段连续性和时段连接性可以用于简化客户端回放。在一般的DASH模式下，在时段边界处，DASH客户端通常将选择一个音频自适应集和一个视频自适应集，也可能选择字幕轨道。在时段边界处，可能如下发生完全重新初始化：

1)DASH客户端拆除旧时段的源缓冲区

2)DASH客户端利用相同的mimeType来创建新的源缓冲区

3)DASH客户端附加初始化分段

4)DASH客户端附加第一媒体分段

源缓冲区重新初始化可能导致显著的问题。然而，如果内容是以时段连续性和连接性来生成的，则拆除源缓冲区不是必要的。替代地，DASH客户端可以如下使用相同的源缓冲区：

1)如果用信号发送了时段连续性或连接性，则维持源缓冲区。

2)如果初始化分段跨对于要继续的分段的两个时段是相同的，则不将初始化分段添加到源缓冲区。

3)如果用信号发送了时段连续性，则将新时段的第一媒体分段附加到源缓冲区。

4)如果用信号发送了时段连接性，则将新时段的第一媒体分段添加到源缓冲区，同时使用呈现时间偏移来调整源缓冲区的播放时序，以确保连续回放。

在DASH中，自适应集是连续的，即，按媒体分量来处理该问题。这也意味着，允许在跨表示的自适应集内进行无缝切换的任何对象在时段边界上也是相同的。因此，跨时段的约束是直接继承的。

概括而言，在作为示例的CTA WAVE(消费者技术协会网页应用视频生态系统)中的讨论之后，CMAF将受益于类似的概念，而且对于CMAF内容到DASH的映射也是有益的。可以解决两个方面：

1)跨CMAF呈现的轨道和切换集连续性/连接性。

2)用于满足在边界处的某些要求的CMAF呈现序列的简档。

后一个方面可以推迟到以后，或者可以由CMAF的应用来处理。CMAF的重点应当是在以上第一个方面。

关于跨CMAF呈现的轨道和切换集连续性/连接性，三个示例选项包括：

1)每个媒体简档定义针对自身的连续性/连接性要求。

2)通过定义明确的媒体简档和切换集约束，连续性/连接性的概念是直接从定义中继承的。

3)在默认情况下进行继承，但是媒体简档可以进一步限制切换集连接性。

使用继承但是允许媒体简档来限制切换集连接性可能是合适的，因为其导致对现有CMAF规范的最小改变，但是为每个媒体简档留下进一步考虑的余地和机会。

本公开内容认识到在CMAF规范中的一个潜在的固有问题：包含视频切换集的CMAF呈现中的所有CMAF轨道应与CMAF呈现时间零对齐来开始，CMAF呈现时间零等于最早CMAF片段中的最早的视频媒体样本呈现开始时间(参见6.6.8CMAF呈现和时序模型)。这意味着后续CMAF呈现无法具有呈现时间零，因为这将导致呈现时间不连续。

这是CMAF中的过度限制。DASH允许以除了0之外的呈现时间开始的时段(并且可以利用presentationTimeOffset进行补偿)，但是CMAF禁止非零开始时间。因此，无法构造基准WAVE节目。本公开内容的技术可以用于解决该问题。具体地，以下子句可以作为更新被添加到CMAF中：

7.3.7跨呈现边界的切换集的呈现

在许多情况下，需要将内容作为CMAF呈现序列来供应。针对此类供应的示例是：

●实现对内容的拼接，例如针对广告插入，

●实现对具有不同源格式的内容的拼接，例如从5.1切换为立体声，改变帧速率等。

●在自适应集/切换集中去除或添加某些表示/CMAF轨道，

●去除或添加某些自适应集/切换集，

●出于稳健性原因

虽然一般来说，跨CMAF呈现边界对特定媒体类型的连续呈现可能是困难的，但是如果适当地准备内容，则可以生成在一个CMAF呈现中的切换集中的媒体类型的回放，使得其可以作为另一个/先前的CMAF呈现中的切换集跨这样的边界的延续而无缝地回放。

内容提供商可以表达在CMAF呈现中的切换集中包含的媒体分量已经连接到在先前/另一个CMAF呈现中的切换集。当且仅当以下在跟随的CMAF呈现中的切换集具有以下性质时，才可以用信号发送CMAF切换集连接性：

●在跟随的CMAF呈现中的切换集中的所有CMAF轨道都应具有CMAF报头，CMAF报头也可以存在于先前的CMAF呈现的切换集中。

●在跟随的CMAF呈现中的切换集中的CMAF轨道的所有编码参数应使得它们满足先前CMAF呈现的切换集中的切换集约束。

●如果媒体简档定义了进一步的限制，则其满足针对被连接的切换集的媒体简档约束。

出于该目的，在CMAF中未定义明确的信令，而是将其留给清单以便指示播放器支持这种方法。

内容提供者可以表达在先前/另一个CMAF呈现中的切换集中包含的媒体分量与在先前CMAF呈现中的切换集是连续的。如果跟随的CMAF呈现中的切换集具有以下性质，则可以用信号发送切换集连续性：

●切换集应是连接的。

●CMAF轨道的第一呈现时间与在先前CMAF中的切换集中的所有轨道的CMAF轨道持续时间的总和是与跟随的CMAF呈现中的CMAF轨道的第一呈现时间相同的。

在特定情况下，两个切换集也可以共享公共的CMAF报头。

在跨CMAF呈现边界的假设回放模型中，在假设回放模型中，播放器通常将选择一个音频CMAF切换集和一个视频CMAF切换集，并且还可能为字幕选择一个CMAF切换集。在呈现边界处，将如下发生完全重新初始化：

1)播放器拆除用于先前CMAF呈现的每种媒体类型源缓冲区

2)播放器为新的CMAF呈现的每个切换集创建新的源缓冲区

3)对于每种媒体类型，

a.播放器附加CMAF报头

b.播放器附加第一CMAF片段，并且可能将时序设置为用信号发送的第一呈现时间的呈现时间

源缓冲区重新初始化可能在连续回放感知中造成显著的问题，因为媒体管道可能被重新初始化。

单个初始化分段、CMAF切换集连续性和CMAF切换集连接性可以用于简化客户端回放。在跨CMAF呈现边界的假设回放模型中，应用客户端可以如下使用这样的信令：

1)如果用信号发送了切换集连续性或连接性，则维持源缓冲区。

2)如果CMAF报头跨用于要播放的两个轨道的两个CMAF呈现是相同的，则不将CMAF报头添加到源缓冲区。

3)如果用信号发送了切换集连续性，则将新呈现的第一CMAF片段附加到源缓冲区。

4)如果用信号发送了切换集连接性，则将新呈现的第一CMAF片段附加到源缓冲区，并且呈现时间偏移用于调整源缓冲区的播放时序，以确保连续回放。

当在客户端设备40、服务器设备60或其它这样的设备处插入广告时，若干种活动可以解决内容的无缝回放的问题。示例包括：

●CTA WAVE解决针对广告插入的节目和设备约束

●MPEG CMAF解决核心启用程序(enabler)

●针对DASH-IF IOP的DASH-IF广告插入任务小组

●DVB定向广告插入开发了商业需求

图6是示出其中广告将被插入到主内容中的示例系统250的概念图。系统250包括广告(“ad”)服务器254、主内容服务器252和清单生成器256。在一些情况下，被赋予广告服务器254、主内容服务器252和清单生成器256的功能可以合并到单个设备中。然而，在图6的示例中，如图所示的单独的服务器设备执行该功能。具体地，广告服务器254向受约束设备258提供广告插入分段260，主内容服务器252向受约束设备258提供主内容262的分段，并且清单生成器256向受约束设备258提供清单文件264(例如，MPD)。

在许多情况下，广告内容是在单独的库上并且独立于主内容来提供的。虽然通常可能认为广告对于用户而言是“烦人的”，但是如果广告的质量与以下各项中的一些或全部匹配，则存在显著的益处：

1.广告的质量是与客户端设备的能力(例如，解码和/或渲染能力)相匹配的。

2.广告的特征，例如是否支持交互性。

3.广告的质量是与当前播放的主内容匹配的。例如，避免由于内容拼接、加密和受保护内容不匹配、不同的音频编解码器配置等而导致的任何HDMI重置、源缓冲区重新初始化、不必要的黑帧。这可以通过结合所播放的内容和设备能力来进一步完善，例如，对于某些能力，可以改善广告性能。

4.广告在广告拼接点处的编码要求(时序、拼接)。

5.广告对于用户的个性化，例如基于用户id、地理位置等。

6.广告时隙的持续时间。

7.允许以广告为目标的其它问题。

传统技术直到今天为止都没有特别强调关于将广告的质量与当前播放的主内容的质量进行匹配的第三问题，因为许多工作流程是相当垂直的，并且内容提供商也对他们的广告进行调节。然而，随着越来越多的内容格式、设备能力和不同格式，在将上述内容以一致的方式进行组合并且为广告服务器提供尽可能多的信息以便提供“良好”的拼接广告方面存在益处。

广告还可以包括提供关于针对广告的条件的指令的数据，以便通过使用适当的回放指令使回放优化用户体验。

另一方面是关于接收者可以添加两个SourceBuffer(媒体解码元素)(一个用于广告回放，而另一个用于主内容)的问题。

图7是示出其中广告将被插入到主内容中的示例系统280的概念图。系统280包括广告(“ad”)服务器284、主内容服务器282和清单生成器286。在一些情况下，被赋予广告服务器284、主内容服务器282和清单生成器286的功能可以合并到单个设备中。然而，在图7的示例中，如图所示的单独的服务器设备执行该功能。具体地，广告服务器284向受约束设备288提供广告插入分段298，主内容服务器282向受约束设备288提供主内容290的分段，并且清单生成器286向受约束设备288提供清单文件292(例如，MPD)。

根据本公开内容的技术，受约束设备288(其可以表示诸如图1的客户端设备40之类的客户端设备)向广告服务器284发送条件请求信息294。广告服务器284使用该信息来将广告内容提供给受约束设备288。具体地，广告服务器284可以以适当且经调整的方式来播放广告内容。这包括受约束设备288可以将广告内容设置到主内容中，以便可在一个源缓冲区(例如，视频解码器的经编码的图像缓冲区(CPB))中显示。具体地，广告服务器284提供的广告内容包括目标子清单文件296和广告插入分段298。一个重要的问题是，广告服务器284可以具有关于受约束设备288的能力(例如，解码和/或渲染能力)、以及关于受约束设备288当前正在播放的内容的足够信息。基于该信息，广告服务器284可以适当地准备和提供内容，以使得回放是无缝的。

作为一个示例，受约束设备288可以单独地或以任何组合的方式向广告服务器284提供以下信息中的任何信息：

1)受约束设备288的能力，例如，如何处理广告插入。一些示例选项包括：

a.具有静态初始化的单个源缓冲区。

b.HDMI性质

c.多个源缓冲区

d.常规的媒体源扩展(MSE)操作

2)广告插入时隙。这允许广告服务器284准确地选择广告和广告边界。

3)所播放的内容的性质，例如，每个媒体分量的所播放的内容的CMAF报头。这允许广告服务器284选择与回放匹配的适当内容。

4)主内容的针对每个媒体分量的最近播放时序。这允许广告服务器284正确地拼接内容，例如，以避免重叠或者将广告与主内容精确地拼接。

根据本公开内容的技术，受约束设备288(例如，图1的客户端设备40)和广告服务器284(例如，图1的服务器设备60)可以交换以下信息中的任何或全部信息：

●受约束设备288可以用信号发送表示相关信息的数据，包括内容性质、回放状态、设备能力、用户信息、典型的其它广告插入信息、和/或广告插入时隙中的任何一项或全部。广告服务器284可以使用该信息来定制广告内容以进行无缝和适当的回放。

●广告服务器284(或清单生成器286)可以在主内容的清单文件(例如，DASH的MPD)中用信号发送相关信息(根据以上所述)中的一部分。

ο例如，广告服务器284可以用信号发送广告插入时隙和静态内容性质。

●受约束设备288可以在查询参数中将以上相关信息用信号发送给广告服务器284。

●受约束设备288可以在HTTP报头中将以上相关信息用信号发送给广告服务器284。

●上面讨论的相关信息可以包括以下各项中的任何一项或全部：

ο内容性质、回放状态、设备能力、用户信息、典型的其它广告插入信息、和/或广告插入时隙。

●内容性质可以包括但不限于：

ο对于每种视频媒体类型

■编解码器、简档和级别

■帧速率

■加密方案

■空间分辨率

■传递特性

■色彩方案

■等等

ο对于每种音频媒体类型

■编解码器、简档和级别

■采样频率

■输出通道配置

■等等

●内容性质可以被表达为以下各项的任何一项或全部：

ο电影报头、CMAF报头、mime类型和子mime参数、DASH MPD信令等。

●回放状态可以被表达为：

ο在媒体解码时间、呈现时间中播放的最近时间

●设备能力被表达为

οMSE版本

οCTA WAVE能力

ο源缓冲区的数量

ο等等

●广告内容被表达为：

οMPD中的时段

ο作者MPD

ο高级信令(HLS)清单

οISO BMFF文件

受约束设备288可以以各种方式将广告信息用信号发送给广告服务器284。例如，受约束设备288可以将查询字符串添加到具有内容性质、设备能力和/或时序中的一者或多者的性质的子清单请求中。另外或替代地，受约束设备288可以将专用HTTP扩展报头添加到针对清单或子清单的请求中。另外或替代地，受约束设备288可以将与网络位置相对应的URL添加到针对清单或子清单的请求中，广告服务器284可以从该网络位置获得针对受约束设备288的广告信息。

图8是示出可以通过其来执行本公开内容的技术的示例方法的流程图。在该示例中，图8的方法包括例如由图7的主内容服务器282、广告服务器284、清单生成器286和受约束设备288执行的动作。应当理解的是，在其它示例中，其它设备(例如，服务器设备60、内容准备设备20和客户端设备40(图1)、以及在图1中未示出的单独的广告服务器设备)可以被配置为执行根据本公开内容的技术的这种方法或类似方法。

初始地，主内容服务器282向清单生成器286发送清单内容(300)。例如，主内容服务器282可以发送表示用于主内容的音频和视频数据集(例如，格式、编解码器、语言、比特率等)的数据。清单生成器286然后可以生成清单文件(诸如媒体呈现描述(MPD))，并且将清单文件提供(302)给受约束设备288。

然后，受约束设备288可以分析清单文件并且选择适当的内容，然后请求所选择的内容的主内容分段(304)。例如，受约束设备288可以基于设备能力(例如，解码和渲染能力)、可用网络带宽和用户偏好(例如，语言偏好)来选择内容。额外参数可以包括例如受约束设备288的解码器所支持的编解码器、显示器的空间和时间分辨率、高动态范围(HDR)能力、音频编解码器和渲染能力等。为了请求分段，受约束设备288可以向在清单文件中针对与所选择的内容相对应的分段提供的URL提交HTTP Get或部分Get请求。

在某个时间点，主内容服务器282向清单生成器286提供广告插入时机(306)。广告服务器284还可以向清单生成器286提供到广告内容的链接(308)。主内容服务器282还可以将信号添加到内容中，以便使得受约束设备288先前接收的清单文件到期(310)，提示受约束设备288的流式客户端请求包括广告时机的经更新的清单文件(312)。响应于该请求，清单生成器286可以向受约束设备288发送针对广告内容的经更新的清单(314)。经更新的清单可以包括将受约束设备288的媒体播放器定向到广告服务器284的子清单。受约束设备288可以生成针对经更新的清单文件的用以包括额外参数的请求，使得广告服务器284知道当前播放的内容、个性化信息等、以及受约束设备288的媒体播放器的能力。

受约束设备288可以使用各种技术来向清单生成器286和/或广告服务器284指示当前播放的主内容的参数。例如，受约束设备288可以向清单生成器286和/或广告服务器284发送当前正在播放的每个轨道的当前电影报头/初始化分段/CMAF报头。这样的报头数据通常提供对编解码器、格式等的良好概述。在另一示例中，受约束设备288可以发送具有编解码器、子参数等的mime类型数据。在一些示例中，受约束设备288可以另外发送最近呈现的样本的呈现时间，以便提供连续的呈现。

使用经更新的清单，受约束设备288可以从广告服务器284请求具有先前取得的主内容的参数(例如，相同的编解码器、帧速率、空间分辨率、语言等)的广告内容分段(316)。也就是说，受约束设备288可以向广告服务器284发送广告信息。同样，针对广告内容分段的这种请求可以是HTTP Get或部分Get请求。这些请求可以指定广告信息。响应于这些请求，广告服务器284可以将目标广告内容提供给受约束设备288(318)。受约束设备288还可以从清单生成器286请求具有广告内容的参数的另一经更新的清单文件(320)，清单生成器286可以将针对主内容的经更新的清单文件提供给受约束设备288(322)。受约束设备288然后可以恢复请求主内容分段，如上文关于步骤304所讨论的。受约束设备288还可以播放所接收的媒体数据，即主媒体内容和广告内容。以这种方式，受约束设备288可以将广告内容设置到主媒体内容(例如，将广告内容与主媒体内容一起解码)。

通常观察到的一个问题是拼接内容的问题(对此，两种媒体类型(通常是音频和视频)在拼接点之前具有不同的“结束时间”或不同的开始时间)。在这种情况下，针对每种媒体类型的转换可以仔细且单独地完成。例如，这可能包括：例如媒体类型之一具有间隙，或者内容可能重叠。由于拼接点不明确，因此在单个源缓冲区中的重叠可能是困难的。间隙可能导致问题，因为回放被停顿或中断。

以这种方式，图8的方法可以表示一种接收媒体数据的方法的示例，该方法包括：由在客户端设备的电路中实现的一个或多个处理器向广告服务器设备发送广告信息；响应于发送广告信息，由一个或多个处理器从广告服务器接收广告内容；由一个或多个处理器接收主媒体数据；以及由一个或多个处理器将广告内容设置到主媒体数据中。

图9是示出根据本公开内容的技术的取得媒体数据的示例方法的流程图。出于示例目的，图9的方法是关于图1的客户端设备40来解释的。然而，应当理解的是，其它设备可以被配置为执行该方法或类似方法，例如图7的受约束设备288。

首先，客户端设备40的取得单元52取得用于主内容的清单文件(350)。例如，用户可以请求观看特定电影，并且取得单元52可以确定与对应于用户选择的电影的主内容相关联的清单文件。取得单元52然后可以例如通过发出针对与清单文件相关联的URL的HTTPGet请求来取得清单文件。如上所讨论的，清单文件可以是DASH MPD。

然后，取得单元52可以确定要取得的主内容(352)。例如，取得单元52可以确定视频解码器48、音频解码器46、视频输出44和音频输出42的编码和渲染能力、以及用户偏好(诸如语言偏好)，然后根据这些能力和偏好来选择合适的自适应集。然后，取得单元52可以根据可用网络带宽来选择自适应集内的表示。然后，取得单元52可以例如通过发出HTTPGet或部分Get请求来取得所选择的表示的分段，从而请求主内容的分段(354)。

在某个时刻，内容准备设备20或服务器设备60可以发送指示清单文件到期的数据。内容准备设备20可以响应于确定广告将被插入到主内容中来发出该数据。同样，客户端设备40可以接收指示清单文件到期的数据(356)。该数据可以与所取得的主内容一起在带内包括，或者作为辅助信息被包括。作为响应，取得单元52可以取得经更新的清单文件(358)，其用信号发送广告内容的可用性。

作为响应，取得单元52可以向广告服务器设备发送广告信息(360)。广告信息可以表示所选择的主内容(例如，编解码器、帧速率、分辨率等)、指示用于客户端设备40的用户的简档以确保广告内容对于用户而言是相关且感兴趣的信息等。作为响应，取得单元52可以从广告服务器接收广告内容(362)。在接收到广告内容之后，取得单元52可以再次取得用于主内容的经更新的清单文件(364)，并且使用经更新的清单文件来取得主内容(366)。客户端设备60然后可以将广告内容设置到主内容中(368)。也就是说，取得单元52可以将主内容和广告内容一起提供，以由客户端设备60解码、处理和呈现。

以这种方式，图9的方法可以表示一种接收媒体数据的方法的示例，该方法包括：由在客户端设备的电路中实现的一个或多个处理器向广告服务器设备发送广告信息；响应于发送广告信息，由一个或多个处理器从广告服务器接收广告内容；由一个或多个处理器接收主媒体数据；以及由一个或多个处理器将广告内容设置到主媒体数据中。

在一个或多个示例中，所描述的功能可以用硬件、软件、固件或其任何组合来实现。如果用软件来实现，则所述功能可以作为一个或多个指令或代码存储在计算机可读介质上或者通过其进行传输并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质之类的有形介质或者通信介质，所述通信介质包括例如根据通信协议来促进计算机程序从一个地方传送到另一个地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质、或者(2)诸如信号或载波之类的通信介质。数据存储介质可以是可以由一个或多个计算机或者一个或多个处理器访问以取得用于实现在本公开内容中描述的技术的指令、代码和/或数据结构的任何可用的介质。计算机程序产品可以包括计算机可读介质。

通过举例而非限制性的方式，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、闪存、或者能够用于以指令或数据结构形式存储期望的程序代码以及能够由计算机访问的任何其它介质。此外，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或者无线技术(例如，红外线、无线电和微波)从网站、服务器或其它远程源传输指令，则同轴电缆、光纤光缆、双绞线、DSL或者无线技术(例如，红外线、无线电和微波)被包括在介质的定义中。然而，应当理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其它暂时性介质，而是替代地针对非暂时性的有形存储介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则利用激光来光学地复制数据。上述各项的组合也应当被包括在计算机可读介质的范围之内。

指令可以由一个或多个处理器来执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或分立逻辑电路。因此，如本文所使用的术语“处理器”可以指代前述结构中的任何一者或者适于实现本文描述的技术的任何其它结构。另外，在一些方面中，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供，或者被并入经组合的编解码器中。此外，所述技术可以完全在一个或多个电路或逻辑元件中实现。

本公开内容的技术可以在多种多样的设备或装置中实现，包括无线手机、集成电路(IC)或一组IC(例如，芯片组)。在本公开内容中描述了各种组件、模块或单元以强调被配置以执行所公开的技术的设备的功能性方面，但是不一定需要通过不同的硬件单元来实现。确切而言，如上所述，各种单元可以被组合在编解码器硬件单元中，或者由可互操作的硬件单元的集合(包括如上所述的一个或多个处理器)结合适当的软件和/或固件来提供。

已经描述了各个示例。这些和其它示例在所附的权利要求的范围内。

Claims (30)

1.一种取得媒体数据的方法，所述方法包括：

由在客户端设备的电路中实现的一个或多个处理器向广告服务器设备发送广告信息；

响应于发送所述广告信息，由所述一个或多个处理器从所述广告服务器接收广告内容；

由所述一个或多个处理器取得主媒体数据；以及

由所述一个或多个处理器将所述广告内容设置到所述主媒体数据中。

2.根据权利要求1所述的方法，其中，设置包括：将所述广告设置到所述主媒体数据中，以便可在所述客户端设备的一个源缓冲区内显示。

3.根据权利要求1所述的方法，其中，发送所述广告信息包括发送表示以下各项中的一项或多项的数据：能够由所述客户端设备解码或渲染的媒体数据的质量、由所述客户端设备支持的针对媒体数据的一个或多个特征、所述主媒体数据的匹配质量、所述广告内容在广告拼接点处的要求、针对所述客户端设备的用户的个性化信息、或者广告时隙的持续时间。

4.根据权利要求3所述的方法，其中，所述匹配质量包括以下各项中的一项或多项：对HDMI重置、源缓冲区重新初始化、不必要的黑帧的避免、加密和受保护内容不匹配信息、音频编解码器配置、或者所述客户端设备的能力。

5.根据权利要求1所述的方法，其中，发送所述广告信息包括发送表示以下各项中的一项或多项的数据：所述客户端设备的能力、广告插入时隙、所述主媒体数据的性质、或者所述主媒体数据的针对媒体分量的最近播放时序。

6.根据权利要求5所述的方法，其中，表示所述客户端设备的所述一个或多个能力的所述数据包括：表示所述客户端设备能够如何处理广告插入的数据。

7.根据权利要求5所述的方法，其中，表示所述客户端设备的所述一个或多个能力的所述数据包括表示所述客户端设备是否支持以下各项中的一项或多项的数据：具有静态初始化的单个源缓冲区、HDMI性质、多个源缓冲区、或者常规的媒体源扩展(MSE)操作。

8.根据权利要求5所述的方法，其中，表示所述广告插入时隙的所述数据包括：表示适当的广告和针对所述广告插入时隙的广告边界的数据。

9.根据权利要求5所述的方法，其中，表示所述主媒体数据的所述性质的所述数据包括：一个或多个媒体分量的所述主媒体内容的通用媒体应用格式(CMAF)报头。

10.根据权利要求5所述的方法，其中，表示所述最近播放时序的所述数据包括：表示所述广告内容能够如何与所述主媒体数据拼接的数据。

11.根据权利要求1所述的方法，其中，发送所述广告信息包括发送以下各项中的一项或多项：用于所述主媒体数据的内容性质、用于所述主媒体数据的回放状态、所述客户端设备的能力、用于所述客户端设备的用户的用户信息、或者广告插入时隙信息。

12.根据权利要求11所述的方法，还包括：

接收用于所述主媒体内容的清单文件；以及

根据所述清单文件的数据来确定要发送给所述广告服务器设备的所述广告信息。

13.根据权利要求12所述的方法，其中，根据所述清单文件的所述数据来确定所述广告信息包括：根据所述清单文件的所述数据来确定广告插入时隙或静态内容性质中的一项或多项。

14.根据权利要求11所述的方法，其中，针对所述主媒体内容的视频媒体，所述内容性质包括以下各项中的一项或多项：视频编解码器、简档指示、级别指示、帧速率、加密方案、传递特性、或者色彩方案。

15.根据权利要求11所述的方法，其中，针对所述主媒体内容的音频媒体，所述内容性质包括以下各项中的一项或多项：音频编解码器、简档指示、级别指示、采样频率、或者输出通道配置。

16.根据权利要求11所述的方法，其中，发送所述广告信息包括发送被表达为以下各项中的一项或多项的所述内容性质：电影报头、CMAF报头、mime类型、子MIME类型、或者DASHMPD信令。

17.根据权利要求11所述的方法，其中，发送所述广告信息包括发送所述客户端设备的所述能力，所述客户端设备的所述能力被表达为以下各项中的一项或多项：媒体源扩展(MSE)版本、一个或多个消费者技术协会网页应用视频生态系统(CTA WAVE)能力、或者由所述客户端设备支持的源缓冲区的数量。

18.根据权利要求1所述的方法，其中，发送所述广告信息包括：在一个或多个查询参数中发送所述广告信息的至少一部分。

19.根据权利要求1所述的方法，其中，发送所述广告信息包括：在一个或多个HTTP报头中发送所述广告信息的至少一部分。

20.根据权利要求1所述的方法，还包括：接收用于所述广告内容的描述性数据，所述描述性数据被表达为以下各项中的一项或多项：在用于所述主媒体内容的清单文件中的时段、特定于所述广告内容并且与用于所述主媒体内容的所述清单文件分开的清单文件、高级信令(HLS)清单、或者ISO基媒体文件格式(BMFF)文件的数据。

21.一种用于取得媒体数据的设备，所述设备包括：

存储器，其被配置为存储包括广告内容和主媒体数据的媒体数据；以及

在电路中实现并且被配置为进行以下操作的一个或多个处理器：

向广告服务器设备发送广告信息；

响应于发送所述广告信息，从所述广告服务器接收所述广告内容；

取得所述主媒体数据；以及

将所述广告内容设置到所述主媒体数据中。

22.根据权利要求21所述的设备，还包括：视频解码器、以及所述视频解码器从其取得要被解码的经编码的视频数据的经编码的图像缓冲区，其中，为了将所述广告内容设置到所述主媒体数据中，所述一个或多个处理器被配置为将所述广告内容和所述主媒体数据存储到所述经编码的图像缓冲区。

23.根据权利要求21所述的设备，其中，所述广告信息包括以下各项中的一项或多项：能够由所述设备解码或渲染的媒体数据的质量、由所述设备支持的针对媒体数据的一个或多个特征、所述主媒体数据的匹配质量、所述广告内容在广告拼接点处的要求、针对所述设备的用户的个性化信息、或者广告时隙的持续时间。

24.根据权利要求21所述的设备，其中，所述广告信息包括以下各项中的一项或多项：所述客户端设备的能力、广告插入时隙、所述主媒体数据的性质、或者所述主媒体数据的针对媒体分量的最近播放时序。

25.根据权利要求21所述的设备，其中，所述广告信息包括以下各项中的一项或多项：用于所述主媒体数据的内容性质、用于所述主媒体数据的回放状态、所述设备的解码或渲染能力、用于所述客户端设备的用户的用户信息、或者广告插入时隙信息。

26.根据权利要求21所述的设备，其中，所述一个或多个处理器被配置为：在一个或多个查询参数中发送所述广告信息的至少一部分。

27.根据权利要求21所述的设备，其中，所述一个或多个处理器被配置为：在一个或多个HTTP报头中发送所述广告信息的至少一部分。

28.根据权利要求21所述的设备，其中，所述一个或多个处理器被配置为：接收用于所述广告内容的描述性数据，所述描述性数据被表达为以下各项中的一项或多项：在用于所述主媒体内容的清单文件中的时段、特定于所述广告内容并且与用于所述主媒体内容的所述清单文件分开的清单文件、高级信令(HLS)清单、或者ISO基媒体文件格式(BMFF)文件的数据。

29.一种具有存储在其上的指令的计算机可读存储介质，所述指令在被执行时使得客户端设备的处理器进行以下操作：

向广告服务器设备发送广告信息；

响应于发送所述广告信息，从所述广告服务器接收广告内容；

取得主媒体数据；以及

将所述广告内容设置到所述主媒体数据中。

30.一种用于接收媒体数据的设备，所述设备包括：

用于向广告服务器设备发送广告信息的单元；

用于响应于发送所述广告信息，从所述广告服务器接收广告内容的单元；

用于接收主媒体数据的单元；以及

用于将所述广告内容设置到所述主媒体数据中的单元。

Images