CN116965008A - 用于mpeg dash以支持具有堆叠特性的前贴片、中贴片和结束贴片的辅助mpd - Google Patents

用于mpeg dash以支持具有堆叠特性的前贴片、中贴片和结束贴片的辅助mpd Download PDF

Info

Publication number
CN116965008A
CN116965008A CN202280009616.8A CN202280009616A CN116965008A CN 116965008 A CN116965008 A CN 116965008A CN 202280009616 A CN202280009616 A CN 202280009616A CN 116965008 A CN116965008 A CN 116965008A
Authority
CN
China
Prior art keywords
auxiliary
mpd
media
descriptors
media segments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280009616.8A
Other languages
English (en)
Inventor
伊拉吉·索达加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN116965008A publication Critical patent/CN116965008A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

提供一种用于在DASH媒体流上用信号发送辅助媒体内容的方法和装置。该方法可以包括接收一个或多个辅助描述符，其中，该一个或多个辅助描述符中的各个辅助描述符包括引用一个或多个辅助媒体呈现描述(MPD)的统一资源定位器(URL)和指示由主DASH媒体流支持的堆叠操作的堆叠模式值。该方法还包括基于在该一个或多个辅助描述符中的各个辅助描述符中引用的URL来检索一个或多个辅助媒体段；以及基于该一个或多个辅助描述符和堆叠模式值从媒体源扩展(MSE)源缓冲区以至少一种顺序播放一个或多个辅助媒体段和一个或多个主DASH媒体段至少一次。

Description

用于MPEG DASH以支持具有堆叠特性的前贴片、中贴片和结束 贴片的辅助MPD
相关申请的交叉引用
本申请要求于2022年1月12日提交的美国临时申请No.63/298,919和于2022年12月13日提交的美国申请No.18/065,154的优先权，其全部内容在此通过引用明确并入本申请。
技术领域
本公开的实施例涉及流媒体内容，更具体地，涉及根据动态图像专家组(MovingPicture Experts Group，MPEG)基于超文本传输协议的动态自适应流(Dynamic AdaptiveStreaming Over Hypertext Transfer Protocol，DASH)的流媒体、广告和直播内容。
背景技术
MPEG DASH为IP网络上流式传输媒体内容提供了标准。在MPEG DASH中，媒体呈现描述(Media Representation Description，MPD)和事件用于向客户端传送媒体时间线相关事件。ISO/IEC 23009-1DASH标准允许多速率内容的流式传输。DASH标准提供了单一的线性时间线，其中各时段是单一的时间线中彼此的延续。ISO/IEC 23009-1还提供了用于MPD链接的工具，即用信号发送下一MPD的URL以在可用于前贴片广告插入(pre-roll adinsertion)的MPD中播放。
MPEG DASH为IP网络上流式传输多媒体内容提供标准。虽然该标准解决了媒体内容的线性播放问题，但是该标准没有解决非线性运算的情况，例如，其中与不同时间线相关联的媒体段彼此独立。可以使用MPD链接和前贴片广告插入来克服上述缺陷。
然而，当DASH播放器使用W3C媒体源扩展时，由于使用单个MSE源缓冲区来解决这种非线性播放问题非常具有挑战性，因而即使是MPD链接和前贴片广告插入也会失败。
因此，需要一种用于组合与主媒体内容不同的辅助内容或独立内容的方法。具体地，需要一种将辅助内容与主媒体内容组合作为前贴片播放、中贴片播放或结束贴片播放的方法和装置。需要一种用于堆叠辅助内容的方法。此外，需要一种携带与辅助内容和堆叠信息相关联的信息的方法。
发明内容
本公开解决了一个或多个技术问题。本公开包括用于实现新概念——DASH标准的辅助呈现和辅助MPD的方法、过程、装置和非暂时性计算机可读介质，该方法、过程、装置和非暂时性计算机可读介质可允许根据主媒体呈现描述辅助或独立媒体呈现。本公开的实施例还针对包括辅助媒体内容的辅助呈现，该辅助媒体内容可在其他辅助呈现中被呈现为前贴片媒体内容、中贴片内容或结束贴片内容。实施例还涉及堆叠多个辅助呈现。
本公开的实施例可以提供一种用于在基于HTTP的动态自适应流(DASH)主媒体流中用信号发送包括前贴片媒体内容、中贴片媒体内容和结束贴片媒体内容的链式辅助媒体内容的方法。该方法可以包括：接收一个或多个辅助描述符，其中，该一个或多个辅助描述符中的各个辅助描述符包括引用一个或多个辅助媒体呈现描述(MPD)的统一资源定位器(Uniform Resource Locator，URL)和指示由主DASH媒体流支持的堆叠操作的堆叠模式值；基于在该一个或多个辅助描述符中的各个辅助描述符中引用的URL来检索一个或多个辅助媒体段，其中，该一个或多个辅助媒体段独立于一个或多个主DASH媒体段；以及基于该一个或多个辅助描述符和堆叠模式值从媒体源扩展(Media Source Extension，MSE)源缓冲区以至少一种顺序播放一个或多个辅助媒体段和一个或多个主DASH媒体段至少一次。
本公开的实施例可以提供一种用于在基于HTTP的动态自适应流(DASH)主媒体流中用信号发送包括前贴片媒体内容、中贴片媒体内容和结束贴片媒体内容的链式辅助媒体内容的装置。该装置可包括：至少一个存储器，配置为存储计算机程序代码；至少一个处理器，配置为访问该计算机程序代码并按照该计算机程序代码的指令操作。该程序代码可以包括：接收代码，配置为使该至少一个处理器接收一个或多个辅助描述符，其中，该一个或多个辅助描述符中的各个辅助描述符包括引用一个或多个辅助媒体呈现描述(MPD)的统一资源定位器(URL)和指示由主DASH媒体流支持的堆叠操作的堆叠模式值；检索代码，配置为使该至少一个处理器基于在该一个或多个辅助描述符中的各个辅助描述符中引用的URL来检索一个或多个辅助媒体段，其中，该一个或多个辅助媒体段独立于一个或多个主DASH媒体段；以及播放代码，配置为使该至少一个处理器基于该一个或多个辅助描述符和堆叠模式值从媒体源扩展(MSE)源缓冲区以至少一种顺序播放一个或多个辅助媒体段和一个或多个主DASH媒体段至少一次。
本公开的实施例可以提供存储指令的非暂时性计算机可读介质。该指令可以包括一个或多个指令，当该一个或多个指令由用于在基于HTTP的动态自适应流(DASH)主媒体流中用信号发送包括前贴片媒体内容、中贴片媒体内容和结束贴片媒体内容的链式辅助媒体内容的设备的一个或多个处理器执行时，使得该一个或多个处理器：接收一个或多个辅助描述符，其中，该一个或多个辅助描述符中的各个辅助描述符包括引用一个或多个辅助媒体呈现描述(MPD)的统一资源定位器(URL)和指示由主DASH媒体流支持的堆叠操作的堆叠模式值；基于在该一个或多个辅助描述符中的各个辅助描述符中引用的URL来检索一个或多个辅助媒体段，其中，该一个或多个辅助媒体段独立于一个或多个主DASH媒体段；以及基于该一个或多个辅助描述符和堆叠模式值从媒体源扩展(MSE)源缓冲区以至少一种顺序播放一个或多个辅助媒体段和一个或多个主DASH媒体段至少一次。
附图说明
通过以下详细描述和附图，所公开的主题的其它特征、性质和各种优点将更加明显，在附图中：
图1是根据实施例的通信系统的简化图示。
图2是根据实施例的流环境中的组件放置的示例说明。
图3是根据实施例的DASH处理模型的简化框图。
图4是根据实施例的用于在基于HTTP的动态自适应流(DASH)主媒体流中用信号发送包括前贴片媒体内容、中贴片媒体内容和结束贴片媒体内容的链式辅助媒体内容的示例性流程图。
图5根据实施例的计算机系统的简化图。
具体实施方式
下面所讨论的提议特征可以单独使用或以任何顺序组合使用。此外，实施例可以通过处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现。在一个示例中，一个或多个处理器执行存储在非暂时性计算机可读介质中的程序。
图1示出了根据本公开的实施例的通信系统100的简化框图。通信系统100可以包括经由网络105互连的至少两个终端102和103。对于单向数据传输，第一终端103可以对本地位置的视频数据进行编码，以经由网络105传输到另一终端102。第二终端102可以从网络105接收另一终端的已编码视频数据、解码已编码数据并显示已恢复的视频数据。单向数据传输在媒体服务应用等方面是较常见的。
图1示出了提供用于支持例如在视频会议期间可能发生的已编码视频的双向传输的第二对终端101和104。对于双向数据传输，每个终端101和104可以对在本地位置捕获的视频数据进行编码，以经由网络105传输到另一终端。每个终端101和104还可以接收由另一终端传输的已编码视频数据，可对已编码数据进行解码并可在本地显示设备上显示恢复的视频数据。
在图1中，终端101、102、103和104可被示出为服务器、个人计算机和智能电话，但本公开的原理并不限于此。本公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络105表示在终端101、102、103和104之间传送已编码视频数据的任意数量的网络，包括例如有线和/或无线通信网络。通信网络105可在电路交换和/或分组交换信道中交换数据。代表性的网络包括电信网络、局域网、广域网和/或互联网。出于本讨论的目的，除非在下文中有所解释，否则网络105的架构和拓扑对于本公开的操作来说可能是无关紧要的。
作为示例，图2示出了视频编码器和视频解码器在流环境中的放置方式。实施例可适用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
流系统可包括采集子系统203，该采集子系统可包括例如数码相机的视频源201，该视频源创建例如未压缩的视频样本流213。相较于已编码视频比特流，该样本流213可被强调为高数据量，并且可以由耦接到视频源201的编码器202处理。编码器202可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的实施例的各方面。相较于样本流，已编码视频比特流204可被强调为较低数据量，并可存储在流服务器205上以供将来使用。一个或多个流客户端212和207可访问流服务器205以检索已编码视频比特流208和206，其可以是已编码视频比特流204的副本。客户端212可包括视频解码器211，其对已编码视频比特流的传入副本208进行解码，并产生可在显示器209或其他呈现设备上呈现的输出视频样本流210。在一些流系统中，可根据某些视频编码/压缩标准对已编码视频比特流204、206和208进行编码。这些标准的示例在上文中已提及并在本文中进一步描述。
图3示出了例如用于处理DASH和CMAF事件的示例客户端架构的示例DASH处理模型300。在DASH处理模型300中，媒体段(例如，广告媒体段和直播媒体段)的客户端的请求可以基于清单303中描述的地址。清单303还描述了元数据路径，客户端可以从中访问元数据路径的段、对这些段进行解析并将其发送到应用301。
清单303包括MPD事件或事件，带内事件和“moof”解析器306可解析MPD事件段或事件段，并将这些事件段附加到事件和元数据缓冲区330。带内事件和“moof”解析器306还可以获取媒体段并将其附加到媒体缓冲区340。事件和元数据缓冲区330可以将事件和元数据信息发送到事件和元数据同步器和调度器335。事件和元数据同步器和调度器335可以将特定事件调度至DASH播放器控制、选择和启发式逻辑302，并将应用相关事件和元数据路径调度至应用301。
根据一些实施例，MSE可以包括其中包括有文件格式解析器350、媒体缓冲区340和媒体解码器345的流水线。MSE 320是媒体段的一个或多个逻辑缓冲区，在MSE 320中，可以基于媒体段的呈现时间来记录和排序媒体段。媒体段可以包括但不限于与广告MPD相关联的广告媒体段以及与直播MPD相关联的直播媒体段。可以基于媒体段的时间戳偏移将每个媒体段添加或附加到媒体缓冲区340，并且时间戳偏移可以用于对媒体缓冲区340中的媒体段进行排序。
由于本申请的实施例可以针对使用MPD链接从两个或多个非线性媒体源来构建线性媒体源扩展(MSE)缓冲区，并且非线性媒体源可以是广告MPD和直播MPD，文件格式解析器350可以用于处理在直播MPD中包括的直播媒体段所使用的不同媒体和/或编解码器。在一些实施例中，文件格式解析器可以基于直播媒体段的编解码器、简档和/或级别来发布改变类型。
只要媒体段存在于媒体缓冲区340中，事件和元数据缓冲区330就保留对应的事件段和元数据。示例DASH处理模型300可以包括定时元数据路径解析器325，以记录与带内和MPD事件相关联的元数据。根据图3，MSE 320仅包括文件格式解析器350、媒体缓冲区340和媒体解码器345。事件和元数据缓冲区330以及事件和元数据同步器和调度器335不是MSE320的本地装置，从而禁止MSE 320本地处理事件并将它们发送到应用。
辅助呈现
本公开的实施例将辅助媒体呈现定义为独立于MPD的主媒体呈现的媒体呈现。例如，独立于主媒体段的广告媒体段或直播媒体段可以是辅助呈现。对任何辅助媒体呈现或辅助媒体段的更新不会影响主媒体段。类似地，对主媒体段的更新不会影响辅助媒体段。因此，辅助媒体段(也称为辅助媒体呈现或辅助呈现)可以完全独立于主媒体段(在本公开中也称为主媒体呈现和媒体呈现)。
辅助MPD
MPD是可以包括分层结构中的媒体呈现的媒体呈现描述。MPD可以包括一个或多个时段序列，其中每个时段可以包括一个或多个自适应集。MPD中的每个自适应集可以包括一个或多个呈现，每个呈现包括一个或多个媒体段。这些一个或多个媒体段携带被编码、解码和/或播放的实际媒体数据和相关联的元数据。辅助MPD可以包括一个或多个辅助媒体段。
如上所述，本公开的实施例定义了表示独立于主媒体内容的辅助内容的辅助MPD。根据一个方面，主MPD可以包括对使用辅助描述符的至少一个辅助MPD的引用，或者在一些实施例中包括对使用辅助描述符的每个辅助MPD的引用。辅助描述符可以具有特定的语法。作为示例，辅助描述符可以包括称为基本描述符的描述符，或者可以包括可以描述或标识辅助MPD的称为补充描述符的描述符。
根据本公开的一个方面，主MPD可以包括指向一个或多个辅助MPD的URL链接，而辅助MPD具有对一个或多个辅助媒体内容的引用。可以配置在主MPD播放期间的离开点(departure point)。离开点可以是通过离开主媒体段来播放辅助媒体段的时间点。在一些实施例中，离开点可以位于主媒体段或当前辅助媒体段开始之前。这可称为前贴片播放。在一些实施例中，离开点可以位于当前辅助媒体段或主媒体段的结束处。这可称为结束贴片播放。在一些实施例中，离开点可以是主媒体段或当前媒体段播放期间的任何时间点。这可称为中贴片播放。在一些实施例中，可以使用偏移量来指示中贴片播放，该偏移量指示从主媒体段的当前可用开始时间的离开点。
还可以配置在播放期间的重新加入点。在一些实施例中，重新加入点可以位于一个或多个辅助媒体段的播放结束处。在一些实施例中，重新加入点可以位于主媒体段的直播边缘处。在一些实施例中，重新加入点可以位于主媒体段停止时的离开点处。在一些实施例中，重新加入点可以在从主媒体段停止时的离开点开始的特定时段之后。
在堆叠一个或多个辅助MPD(即要按顺序播放一个或多个MPD)的实施例中，主MPD可以支持多种堆叠模式。这些堆叠模式可以以特定的顺序或方法执行或处理MPD，并且可以被称为堆叠操作。第一堆叠模式可以是“单向”模式。在这种堆叠模式下，在播放完最后一个URL的MPD之后，播放堆叠中的第一URL的MPD(主MPD)。在一些实施例中，包括主MPD和辅助MPD的MPD堆叠中的多个MPD可以按照其将被呈现的顺序进行播放。作为单向模式的示例，MPD1→MPD2→…→MPDn→MPD1，其中MPDn是第n个MPD，主MPD从n＝0开始而辅助MPD从n>0开始。
第二堆叠模式可以是“播放一次(play-once)”模式。在播放一次模式下，堆叠中的每个URL的MPD只播放一次，当返回堆叠时，如果URL已经播放，则不再考虑链接和/或堆叠。作为播放一次模式的示例，MPD1→MPD2→MPD3→MPD2→MPD1，其中MPDn是第n个MPD，主MPD从n＝0开始而辅助MPD从n>0开始。第三堆叠模式可以是“每次播放(play-everytime)”模式。在每次播放模式中，可以在每个堆叠级别中重新评估每个辅助描述符(也称为链接描述符)，而不考虑堆叠的播放。作为每次播放模式的示例，MPD1→MPD2→MPD3→MPD2→MPD3→MPD2→MPD3，其中MPDn是第n个MPD，主MPD从n＝0开始而辅助MPD从n>0开始。
根据本公开的一个方面，主MPD的辅助MPD支持可以用信号发送，并使用基本描述符或补充描述符来实现。可以在MPD级别用信号发送描述符。
表1-描述符语义
根据本公开的一个方面，可以使用MPD事件实现辅助MPD支持。在该实施例中，可以使用事件流语义。
表2-事件流语义
表3-事件语义
根据一个方面，由于需要在事件的呈现时间(presentationTime)之前下载备选MPD，所以事件方案可以是on_receive调度模式。在一些实施例中，事件实例可以在不同时段中重复。特别地，希望在任何时段的播放中进行前贴片播放。如果即使播放器播放多个时段，也仅需要一次前贴片播放(即在播放的第一时段的播放开始时的前贴片)，那么等效规则可以应用于代表该前贴片播放的跨时段的所有事件实例。
本公开的实施例涉及用于从在MPD中定义的主媒体呈现用信号发送辅助媒体呈现的方法，以用于在媒体呈现中插入前贴片、中贴片和结束贴片辅助媒体内容，其中用信号发送辅助MPD URL、离开和重新加入时间以及各级辅助MPD之间的堆叠操作。在一些实施例中，主要内容可以在其播放开始之前的开头、中间或结尾处离开。在一些实施例中，在播放辅助内容或其特定时长之后，可以指示播放器从其被遗漏的点开始、从当前时刻开始、或者在两者之间的任何时刻处继续播放主要内容。当存在辅助MPD序列时，也可以用信号发送支持的各种堆叠操作模式。
在一些实施例中，可以使用MPD级别的基本或补充描述符用信号发送辅助MOD支持。在一些实施例中，基本或补充描述符包括离开和重新加入主媒体内容播放所需的信息以及辅助MPD URL。
在一些实施例中，可以使用MPD事件用信号发送辅助MOD支持。这些MPD事件包括离开和重新加入主媒体内容播放所需的所有信息以及辅助MPD URL。此外，在一些实施例中，基于辅助媒体内容的播放，可以使用在各个时段重复等效和不等效事件。
图4示出了用于在基于HTTP的动态自适应流(DASH)主媒体流中用信号发送包括前贴片媒体内容、中贴片媒体内容和结束贴片媒体内容的链式辅助媒体内容的过程400的示例性流程图。
操作410中，可以接收一个或多个辅助描述符。在实施例中，一个或多个辅助描述符中的各个辅助描述符可以包括引用一个或多个辅助MPD的统一资源定位器(URL)和指示由主DASH媒体流支持的堆叠操作的堆叠模式值。
在一些实施例中，堆叠模式值可以包括第一堆叠模式值，第一堆叠模式值可指示堆叠中的一个或多个辅助媒体段循环播放或顺序播放。第二堆叠模式值可以指示堆叠中的一个或多个辅助媒体段的辅助媒体段仅播放一次。第三堆叠模式值可以指示在堆叠的每一级中评估一个或多个辅助描述符的辅助描述符。作为示例，第一堆叠模式值可以是“单向(oneWay)”，第二堆叠模式值可以是“播放一次(playOnce)”，第三堆叠模式值可以是“每次播放(palyEverytime)”。
在一些实施例中，一个或多个辅助描述符还包括离开信息和重新加入信息。离开信息可以包括用于播放一个或多个辅助媒体段的第一值。第一值可以相对于主MPD的MPD可用性开始时间(Availability start time，AST)。在一些实施例中，离开信息可以包括指示在检索时立即播放一个或多个辅助媒体段的第一离开值。例如，第一离开值可以是0。第二离开值可以指示在当前MPD结束时播放一个或多个辅助媒体段，其中当前MPD可以是主MPD或一个或多个辅助MPD中的一个辅助MPD。例如，第二个离开值可以是结束(end)。第三离开值可以指示在与MPD可用性开始时间的特定偏移量处播放一个或多个辅助媒体段。作为示例，第三离开值可以是偏移时间。
重新加入信息可以包括用于重新加入主MPD的第二值。第一重新加入值可以指示在从主MPD到一个或多个辅助MPD的离开时间处返回到主MPD。第一重新加入值可以是0。第二重新加入值可以指示在一个或多个辅助MPD结束时返回到主MPD。第二重新加入值可以是end。第三重新加入值可以指示返回到主MPD的直播边缘，并且可以是live。第四重新加入值可以指示在从主MPD到一个或多个辅助MPD的离开时间的偏移量处返回到主MPD。第四重新加入值可以是相对于MPD AST的特定偏移时间。
操作415中，可以基于在一个或多个辅助描述符中的各个辅助描述符中引用的URL来检索一个或多个辅助媒体段。该一个或多个辅助媒体段可以独立于一个或多个主DASH媒体段。
操作420中，可以基于一个或多个辅助描述符和堆叠模式值从媒体源扩展(MSE)源缓冲区播放一个或多个辅助媒体段和一个或多个主DASH媒体段。
在一些实施例中，可以在MPD级别的基本描述符中或在MPD级别的补充描述符中用信号发送一个或多个辅助描述符。在一些实施例中，可以将一个或多个辅助描述符用信号发送为MPD事件。MPD事件可以有具有on_receive调度模式的事件方案。在一些实施例中，MPD事件可以具有应用于MPD事件的所有实例的等效规则。在一些实施例中，MPD事件可以具有应用于MPD事件的特定实例的等效规则。MPD事件可以包括离开信息、重新加入信息和堆叠模式值。
尽管图4示出了过程400的示例块，但在实施例中，过程400可以包括与图4中所示的那些块相比附加的块、更少的块、不同的块或不同排列的块。在实施例中，过程400的任何块可以根据需要以任何数量或顺序组合或布置。在实施例中，过程400的两个或更多个块可以并行执行。
可使用计算机可读指令将上述技术实现为计算机软件且物理地存储在一个或多个计算机可读介质或中，或者通过特定配置的一个或更多个硬件处理器来实现。例如，图5示出了适合于实施各种实施例的计算机系统500。
可使用任何合适的机器代码或计算机语言对计算机软件进行编码，任何合适的机器代码或计算机语言可经受汇编、编译、链接或类似的机制以创建包括指令的代码，该指令可由计算机中央处理单元(Central Processing Unit，CPU)、图形处理单元(GraphicsProcessing Unit，GPU)等直接执行或通过解释、微代码执行等执行。
指令可在各种类型的计算机或其组件上执行，例如包括个人计算机、平板计算机、服务器、智能电话、游戏装置、物联网装置等。
图5所示的计算机系统500的组件本质上是示例性的，并不旨在对实施本公开的实施例的计算机软件的使用范围或功能提出任何限制。组件的配置也不应被解释为具有与计算机系统500的示例性实施例中所示的组件中的任何一个组件或组件的组合相关的任何依赖或要求。
计算机系统500可包括某些人机接口输入装置。此类人机接口输入装置可响应于一个或多个人类用户通过例如下述的输入：触觉输入(例如：击键、划动，数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入。人机接口装置还可用于捕获不一定与人的意识输入直接相关的某些媒介，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描的图像、从静止图像相机获取摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
输入人机接口装置可包括下述中的一项或多项(每种中仅示出一个)：键盘501、鼠标502、触控板503、触摸屏510、操纵杆505、麦克风506、扫描仪508、相机507。
计算机系统500还可包括某些人机接口输出装置。这样的人机接口输出装置可例如通过触觉输出、声音、光和气味/味道来刺激一个或多个人类用户的感官。此类人机接口输出装置可包括触觉输出装置(例如触摸屏510的触觉反馈、或操纵杆505，但也可以是不作为输入装置的触觉反馈装置)、音频输出装置(例如：扬声器509、耳机)、视觉输出装置(例如包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕的屏幕510，每种屏幕都有或没有触摸屏输入功能，每种屏幕都有或没有触觉反馈功能-这些屏幕中的一些屏幕能够通过诸如立体图像输出、虚拟现实眼镜、全息显示器和烟箱之类的装置来输出二维视觉输出或超过三维的输出)以及打印机。
计算机系统500还可包括人机可访问存储装置及其关联介质，例如，包括具有CD/DVD等介质511的CD/DVD ROM/RW 520的光学介质、指状驱动器522、可拆卸硬盘驱动器或固态驱动器523、诸如磁带和软盘之类的传统磁性介质、诸如安全软件狗之类的基于专用ROM/ASIC/PLD的装置等。
本领域技术人员还应该理解，结合当前公开的主题使用的术语“计算机可读介质”不涵盖传输介质、载波或其它暂时性信号。
计算机系统500还可包括连接一个或多个通信网络598的接口599。网络598例如可以是无线的、有线的、光学的。网络598可进一步是本地网络、广域网络、城域网络、车辆和工业网络、实时网络、延迟容忍网络等。网络598的示例包括诸如以太网之类的局域网、无线LAN、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络、包括CANBus的车辆和工业网络等等。某些网络598通常需要连接到某些通用数据端口或外围总线(750和551)的外部网络接口适配器(例如，计算机系统500的USB端口)；如下所述，其它网络接口通常通过连接到系统总线而集成到计算机系统500的内核中(例如，PC计算机系统中的以太网接口或智能手机计算机系统中的蜂窝网络接口)。计算机系统500可使用这些网络598中的任何一个网络与其它实体通信。此类通信可以是仅单向接收的(例如，广播电视)、仅单向发送的(例如，连接到某些CANbus装置的CANbus)或双向的，例如，使用局域或广域数字网络连接到其它计算机系统。如上所述，可在这些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机接口装置、人机可访问存储装置和网络接口可附接到计算机系统500的内核540。
内核540可包括一个或多个中央处理单元(CPU)541、图形处理单元(GPU)542、图像适配器517、现场可编程门区(Field Programmable Gate Area，FPGA)形式的专用可编程处理单元543、用于某些任务的硬件加速器544等。这些装置以及只读存储器(ROM)545、随机存取存储器546、诸如内部非用户可访问的硬盘驱动器、SSD等之类的内部大容量存储器547可通过系统总线548连接。在一些计算机系统中，可以以一个或多个物理插头的形式访问系统总线548，以能够通过附加的CPU、GPU等进行扩展。外围装置可直接连接到内核的系统总线548或通过外围总线551连接到内核的系统总线548。外围总线的体系结构包括PCI、USB等。
CPU 541、GPU 542、FPGA543和加速器544可执行某些指令，这些指令可以组合来构成上述计算机代码。该计算机代码可存储在ROM 545或RAM 546中。过渡数据也可存储在RAM546中，而永久数据可例如存储在内部大容量存储器547中。可通过使用高速缓存来进行到任何存储装置的快速存储及检索，该高速缓存可与下述紧密关联：一个或多个CPU 541、GPU542、大容量存储器547、ROM 545、RAM 546等。
计算机可读介质可在其上具有用于执行各种由计算机实现的操作的计算机代码。介质和计算机代码可以是出于本公开的目的而专门设计和构建的介质和计算机代码，或者介质和计算机代码可以是计算机软件领域的技术人员公知且可用的类型。
作为示例而非用于限制，可由一个或多个处理器(包括CPU、GPU、FPGA、加速器等)执行包含在一种或多种有形的计算机可读介质中的软件而使得具有架构，特别是内核540的计算机系统500提供功能。此类计算机可读介质可以是与如上所述的用户可访问的大容量存储相关联的介质，以及内核540的某些非暂时性的存储器，例如内核内部大容量存储器547或ROM 545。可将实施本公开的各实施例的软件存储在此类装置中并由内核540执行。根据特定需要，计算机可读介质可包括一个或多个存储装置或芯片。软件可使得内核540，特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所描述的特定过程或特定过程的特定部分，包括定义存储在RAM 546中的数据结构以及根据由软件定义的过程来修改此类数据结构。附加地或替换地，可由硬连线或以其它方式体现在电路(例如，加速器544)中的逻辑而使得计算机系统提供功能，该逻辑可替换软件或与软件一起运行以执行本文描述的特定过程或特定过程的特定部分。在适当的情况下，提及软件的部分可包含逻辑，反之亦然。在适当的情况下，提及计算机可读介质的部分可包括存储用于执行的软件的电路(例如集成电路(IC))、体现用于执行的逻辑的电路或包括两者。本公开包括硬件和软件的任何合适的组合。
尽管本公开已经描述了若干个示例性实施例，但存在落入本公开范围内的改变、替代和各种替代的等效实施例。因此，需要理解的是本领域的技术人员将能够设计许多系统和方法，尽管本文中未明确示出或描述，但这些系统和方法体现了本公开的原理，因此在其精神和范围内。

Claims (20)

1.一种用于在基于超文本传输协议的动态自适应流DASH媒体流上用信号发送链式辅助媒体内容的方法，所述方法由至少一个处理器执行，所述方法包括：
接收一个或多个辅助描述符，其中，所述一个或多个辅助描述符中的各个辅助描述符包括统一资源定位器URL和堆叠模式值，所述URL引用一个或多个辅助媒体呈现描述MPD，所述堆叠模式值指示由主DASH媒体流支持的堆叠操作；
基于在所述一个或多个辅助描述符中的各个辅助描述符中引用的所述URL来检索一个或多个辅助媒体段，其中，所述一个或多个辅助媒体段独立于一个或多个主DASH媒体段；以及
基于所述一个或多个辅助描述符和所述堆叠模式值，从媒体源扩展MSE源缓冲区以至少一种顺序播放所述一个或多个辅助媒体段和所述一个或多个主DASH媒体段至少一次。
2.根据权利要求1所述的方法，其中，所述堆叠模式值包括以下之一：
第一堆叠模式值，指示堆叠中的所述一个或多个辅助媒体段循环播放或顺序播放；
第二堆叠模式值，指示所述堆叠中的所述一个或多个辅助媒体段中的辅助媒体段仅播放一次；以及
第三堆叠模式值，指示在所述堆叠的每一级中评估所述一个或多个辅助描述符中的辅助描述符。
3.根据权利要求1所述的方法，其中，所述一个或多个辅助描述符还包括：
离开信息，其中，所述离开信息包括用于播放所述一个或多个辅助媒体段的第一值，其中，所述第一值相对于主MPD的MPD可用性开始时间AST；以及
重新加入信息，其中，所述重新加入信息包括用于重新加入所述主MPD的第二值。
4.根据权利要求3所述的方法，其中，所述离开信息包括以下之一：
第一离开值，指示在检索时立即播放所述一个或多个辅助媒体段；
第二离开值，指示在当前MPD结束时播放所述一个或多个辅助媒体段，其中，所述当前MPD是所述主MPD或所述一个或多个辅助MPD中的一个辅助MPD；以及
第三离开值，指示在与所述MPD可用性开始时间的特定偏移量处播放所述一个或多个辅助媒体段。
5.根据权利要求3所述的方法，其中，所述重新加入信息包括以下之一：
第一重新加入值，指示在从所述主MPD到所述一个或多个辅助MPD的离开时间处返回到所述主MPD；
第二重新加入值，指示在所述一个或多个辅助MPD结束时返回到所述主MPD；
第三重新加入值，指示返回到所述主MPD的直播边缘；以及
第四重新加入值，指示在从所述主MPD到所述一个或多个辅助MPD的离开时间的偏移量处返回到所述主MPD。
6.根据权利要求1所述的方法，其中，在MPD级别的基本描述符中或在MPD级别的补充描述符中用信号发送所述一个或多个辅助描述符。
7.根据权利要求1所述的方法，其中，将所述一个或多个辅助描述符用信号发送为MPD事件。
8.根据权利要求7所述的方法，其中，所述MPD事件有具有on_receive调度模式的事件方案。
9.根据权利要求7所述的方法，其中，所述MPD事件具有应用于所述MPD事件的所有实例的等效规则。
10.根据权利要求7所述的方法，其中，所述MPD事件具有应用于所述MPD事件的特定实例的等效规则。
11.根据权利要求7所述的方法，其中，所述MPD事件包括离开信息、重新加入信息和所述堆叠模式值。
12.一种用于在基于超文本传输协议的动态自适应流DASH媒体流上用信号发送链式辅助媒体内容的装置，所述装置包括：
至少一个存储器，配置为存储计算机程序代码；
至少一个处理器，配置为访问所述计算机程序代码并按照所述计算机程序代码的指令操作，所述计算机程序代码包括：
接收代码，配置为使所述至少一个处理器接收一个或多个辅助描述符，其中，所述一个或多个辅助描述符中的各个辅助描述符包括统一资源定位器URL和堆叠模式值，所述URL引用一个或多个辅助媒体呈现描述MPD，所述堆叠模式值指示由主DASH媒体流支持的堆叠操作；
检索代码，配置为使所述至少一个处理器基于在所述一个或多个辅助描述符中的各个辅助描述符中引用的所述URL，来检索一个或多个辅助媒体段，其中，所述一个或多个辅助媒体段独立于一个或多个主DASH媒体段；以及
播放代码，配置为使所述至少一个处理器基于所述一个或多个辅助描述符和所述堆叠模式值，从媒体源扩展MSE源缓冲区以至少一种顺序播放所述一个或多个辅助媒体段和所述一个或多个主DASH媒体段至少一次。
13.根据权利要求12所述的装置，其中，所述一个或多个辅助描述符还包括：
离开信息，其中，所述离开信息包括用于播放所述一个或多个辅助媒体段的第一值，其中，所述第一值相对于主MPD的MPD可用性开始时间AST；以及
重新加入信息，其中，所述重新加入信息包括用于重新加入所述主MPD的第二值。
14.根据权利要求13所述的装置，其中，所述堆叠模式值包括以下之一：
第一堆叠模式值，指示堆叠中的所述一个或多个辅助媒体段循环播放或顺序播放；
第二堆叠模式值，指示所述堆叠中的所述一个或多个辅助媒体段中的辅助媒体段仅播放一次；以及
第三堆叠模式值，指示在所述堆叠的每一级中评估所述一个或多个辅助描述符中的辅助描述符。
15.根据权利要求12所述的装置，其中，在MPD级别的基本描述符中或在MPD级别的补充描述符中用信号发送所述一个或多个辅助描述符。
16.根据权利要求12所述的装置，其中，将所述一个或多个辅助描述符用信号发送为MPD事件。
17.根据权利要求16所述的装置，其中，所述MPD事件具有应用于所述MPD事件的所有实例的等效规则。
18.一种非暂时性计算机可读介质，其存储有指令，所述指令包括：一个或多个指令，当所述一个或多个指令由用于在基于HTTP的动态自适应流DASH主媒体流中用信号发送包括前贴片媒体内容、中贴片媒体内容和结束贴片媒体内容的链式辅助媒体内容的设备的一个或多个处理器执行时，使得所述一个或多个处理器：
接收一个或多个辅助描述符，其中，所述一个或多个辅助描述符中的各个辅助描述符包括统一资源定位器URL和堆叠模式值，所述URL引用一个或多个辅助媒体呈现描述MPD，所述堆叠模式值指示由主DASH媒体流支持的堆叠操作；
基于在所述一个或多个辅助描述符中的各个辅助描述符中引用的所述URL来检索一个或多个辅助媒体段，其中，所述一个或多个辅助媒体段独立于一个或多个主DASH媒体段；以及
基于所述一个或多个辅助描述符和所述堆叠模式值，从媒体源扩展MSE源缓冲区以至少一种顺序播放所述一个或多个辅助媒体段和所述一个或多个主DASH媒体段至少一次。
19.根据权利要求18所述的非暂时性计算机可读介质，其中，所述堆叠模式值包括以下之一：
第一堆叠模式值，指示堆叠中的所述一个或多个辅助媒体段循环播放或顺序播放；
第二堆叠模式值，指示所述堆叠中的所述一个或多个辅助媒体段中的辅助媒体段仅播放一次；以及
第三堆叠模式值，指示在所述堆叠的每一级中评估所述一个或多个辅助描述符中的辅助描述符。
20.根据权利要求18所述的非暂时性计算机可读介质，其中，所述一个或多个辅助描述符还包括：
离开信息，其中，所述离开信息包括用于播放所述一个或多个辅助媒体段的第一值，其中，所述第一值相对于主MPD的MPD可用性开始时间AST；以及
重新加入信息，其中，所述重新加入信息包括用于重新加入所述主MPD的第二值。
CN202280009616.8A 2022-01-12 2022-12-15 用于mpeg dash以支持具有堆叠特性的前贴片、中贴片和结束贴片的辅助mpd Pending CN116965008A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202263298919P 2022-01-12 2022-01-12
US63/298,919 2022-01-12
US18/065,154 US20230224557A1 (en) 2022-01-12 2022-12-13 Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties
US18/065,154 2022-12-13
PCT/US2022/052946 WO2023136907A1 (en) 2022-01-12 2022-12-15 Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties

Publications (1)

Publication Number Publication Date
CN116965008A true CN116965008A (zh) 2023-10-27

Family

ID=87069267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280009616.8A Pending CN116965008A (zh) 2022-01-12 2022-12-15 用于mpeg dash以支持具有堆叠特性的前贴片、中贴片和结束贴片的辅助mpd

Country Status (7)

Country Link
US (1) US20230224557A1 (zh)
JP (1) JP2024515488A (zh)
KR (1) KR20230154977A (zh)
CN (1) CN116965008A (zh)
AU (1) AU2022433628A1 (zh)
CA (1) CA3214082A1 (zh)
WO (1) WO2023136907A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616297B2 (en) * 2012-07-09 2020-04-07 Futurewei Technologies, Inc. Content-specific identification and timing behavior in dynamic adaptive streaming over hypertext transfer protocol
US9432427B2 (en) * 2013-07-25 2016-08-30 Futurewei Technologies, Inc. System and method for effectively controlling client behavior in adaptive streaming
US10841566B2 (en) * 2016-05-26 2020-11-17 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
US10999621B2 (en) * 2016-12-07 2021-05-04 Telefonaktiebolaget Lm Ericsson (Publ) Technique for synchronizing rendering of video frames with rendering of auxiliary media
JP2021129127A (ja) * 2018-05-08 2021-09-02 ソニーグループ株式会社 受信装置、送信装置、受信方法、送信方法、およびプログラム

Also Published As

Publication number Publication date
CA3214082A1 (en) 2023-07-20
WO2023136907A1 (en) 2023-07-20
US20230224557A1 (en) 2023-07-13
AU2022433628A1 (en) 2023-09-28
JP2024515488A (ja) 2024-04-10
KR20230154977A (ko) 2023-11-09

Similar Documents

Publication Publication Date Title
JP7246508B2 (ja) Ｈｔｔｐによる動的適応ストリーミングのための方法及び装置
JP7252373B2 (ja) メディアコンテンツのメディアデータを受信する方法、装置、およびコンピュータプログラム
JP2023520651A (ja) メディア・ストリーミング方法及び装置
CN116965008A (zh) 用于mpeg dash以支持具有堆叠特性的前贴片、中贴片和结束贴片的辅助mpd
US11973820B2 (en) Method and apparatus for mpeg dash to support preroll and midroll content during media playback
US11799943B2 (en) Method and apparatus for supporting preroll and midroll during media streaming and playback
US11882170B2 (en) Extended W3C media extensions for processing dash and CMAF inband events
CN116547962A (zh) 包括可扩展显示器的电子装置
JP7477645B2 (ja) Ｐｒｏｃｅｓｓ＠ａｐｐｅｎｄおよびｐｒｏｃｅｓｓ＠ｐｌａｙモードを使用してメディアと共にｄａｓｈおよびｃｍａｆインバンドイベントを処理するためのｗ３ｃメディア拡張
US11838602B2 (en) MPD chaining in a live CMAF/DASH player using W3C media source and encrypted extensions
JP2023520757A (ja) Ｈｔｔｐを介した動的適応ストリーミングのための方法および装置
CN116438803A (zh) 用于动态dash画中画流的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination