CN114430910A - 包括混合事件消息轨道的媒体系统和方法 - Google Patents

包括混合事件消息轨道的媒体系统和方法 Download PDF

Info

Publication number
CN114430910A
CN114430910A CN202180005435.3A CN202180005435A CN114430910A CN 114430910 A CN114430910 A CN 114430910A CN 202180005435 A CN202180005435 A CN 202180005435A CN 114430910 A CN114430910 A CN 114430910A
Authority
CN
China
Prior art keywords
event message
track
indicator
event
boxes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180005435.3A
Other languages
English (en)
Inventor
伊拉吉·索达加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN114430910A publication Critical patent/CN114430910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了用于基于HTTP上的动态自适应流(DASH)的系统和方法。该方法包括：获取包括多个事件消息框的事件消息轨道，该事件消息轨道被配置为由基于HTTP的动态自适应流DASH客户端处理以显示媒体内容；获取指示该事件消息轨道中的多个事件消息框的每种类型的指示符；以及将事件消息轨道提供给该DASH客户端、或基于事件消息轨道来显示媒体内容。

Description

包括混合事件消息轨道的媒体系统和方法
相关申请的交叉引用
本申请要求于2020年4月13日提交的编号为63/009,167的美国临时申请、于2020年10月7日提交的编号为63/088,841的美国临时申请以及于2021年4月1日提交的编号为17/220,537的美国申请的优先权，其公开内容通过引用整体并入申请。
技术领域
本公开的实施例涉及媒体流，更具体地，涉及基于HTTP的动态自适应流(DASH)。
背景技术
国际标准化组织(ISO)/国际电工技术委员会(IEC)23009-1基于HTTP的动态自适应流(DASH)标准引入了事件消息框，用于携带具有媒体片段的事件。ISO/IEC 23000-19通用媒体应用格式(CMAF)允许在每个CMAF块的开头包括事件框。最近已经讨论了作为CMAF稀疏元数据轨道的一部分的事件消息的传送。然而，关于这种轨道是否满足ISO/IEC 14496-12ISO基本媒体文件格式(ISOBMFF)轨道的碎片化/碎片整理要求，提出了疑问。
“Information technology—Coding of audiovisual objects—Part 12:ISObase media file format(信息技术——视听对象的编解码——第12部分：ISO基本媒体文件格式)”，ISO/IEC 14496-12(2015年12月)，“Draft of FDIS of ISO/IEC 23000-19Common Media Application Format for Segmented Media(用于片段媒体的ISO/IEC23000-19通用媒体应用格式的最终国际标准版草案)”，ISO/IEC JTC1/SC29/WG11MPEG117/16819(2017年4月)；以及“Text of ISO/IEC FDIS 23009-1 4th edition(ISO/IEC 23009-1第4版文本)”，ISO/IEC JTC 1/SC 29/WG 11N18609(2019年8月)，均通过引用全部并入申请。
发明内容
动态图像专家小组(MPEG)DASH提供用于通过因特网协议(IP)网络的流式多媒体内容的标准。虽然该标准支持媒体呈现描述(MPD)事件和MPD中的带内事件的信令，但它不提供用于用信号通知稀疏定时元数据轨道内容的解决方案。
稀疏定时元数据轨道可以携带与MPD事件和带内事件类似的信息。然而，当定时元数据轨道携带emsg(事件消息)框作为元数据样本的一部分时，每个事件消息框包括其定时，该定时使用每个CMAF块或轨道最早呈现时间作为其锚点。另一方面，ISOBMFF要求，如果ISOBMFF轨道经过任何任意的碎片化和碎片整理过程，则保留数据的定时。由于过程中块边界的丢失，携带嵌入式事件的稀疏定时元数据轨道可能不能支持该要求。
本公开的实施例通过提供允许v0和v1事件消息框的组合的混合事件消息轨道来解决该问题。本公开的实施例还定义了各种事件消息轨道及轨道标头中的其类型的信令。
虽然MPEG DASH提供了用于流式定时元数据轨道的方法，但是定时元数据轨道中的通常样本可以具有可变的大小。因此，查找特定样本的位置并非易事，并且需要解析片段中的所有先前样本或具有相关联的索引片段。
然而，一些元数据轨道可以被构造成对于一些应用具有固定的样本结构，在这些应用中，生产者能够为所有片段中的所有样本保持固定的大小。这种约束简化了播放器在轨道上的导航。
本公开的实施例提供了一种方法和系统，该方法和系统用于指示轨道中的定时元数据样本是否是固定大小的样本，并且如果是，则用信号通知样本的大小。因此，客户端可以在任何期望的呈现时间内随机访问轨道，而不需任何额外的大小或索引信息。
根据一个或多个实施例，提供了由至少一个处理器执行的方法。所述方法包括：获取包括多个事件消息框的事件消息轨道，所述事件消息轨道被配置为由基于HTTP的动态自适应流(DASH)客户端处理以显示媒体内容；获取指示所述事件消息轨道中的所述多个事件消息框的每种类型的指示符；以及将所述事件消息轨道提供给所述DASH客户端、或基于所述事件消息轨道来显示媒体内容。
根据实施例，指示符指示多个事件消息框中的每个事件消息框是相同的事件消息框类型。
根据实施例，指示符指示事件消息轨道包括至少两种类型的事件消息框。
根据实施例，指示符指示多个事件消息框中的至少一个事件消息框相对于样本呈现时间具有负呈现时间偏移。
根据实施例，指示符是统一资源名称(URN)。
根据实施例，指示符是统一资源指示符(URI)数据值。
根据实施例，获取指示符包括将该指示符插入到所述事件消息轨道的标头中。
根据实施例，事件消息轨道还包括轨道标头，该轨道标头包括标志，该标志指示事件消息轨道的每个元数据样本是否具有恒定大小。
根据实施例，轨道标头还包括语法元素，在该标志指示事件消息轨道的每个元数据样本具有恒定大小的情况下，该语法元素指示事件消息轨道的每个元数据样本的大小。
根据实施例，事件消息轨道是定时元数据轨道。
根据一个或多个实施例，提供了一种系统。所述系统包括存储计算机代码的至少一个存储器；以及至少一个处理器，其被配置为访问所述计算机代码并按照所述计算机代码的指示进行操作，所述计算机代码包括：事件消息轨道获取代码，被配置为使得所述至少一个处理器获取事件消息轨道，所述事件消息轨道被配置为由基于HTTP的动态自适应流(DASH)客户端处理以显示媒体内容。所述事件消息轨道获取代码包括：事件消息框获取代码，被配置为使得所述至少一个处理器获取所述事件消息轨道的多个事件消息框；以及指示符获取代码，被配置为使得所述至少一个处理器获取指示所述事件消息轨道中的所述多个事件消息框的每种类型的指示符。所述计算机代码还包括提供或显示代码，被配置为使得所述至少一个处理器将所述事件消息轨道提供给所述DASH客户端、或基于所述事件消息轨道来显示媒体内容。
根据实施例，指示符指示多个事件消息框中的每个事件消息框是相同的事件消息框类型。
根据实施例，指示符指示事件消息轨道包括至少两种类型的事件消息框。
根据实施例，指示符指示多个事件消息框中的至少一个事件消息框相对于样本呈现时间具有负呈现时间偏移。
根据实施例，指示符是统一资源名称(URN)。
根据实施例，指示符是统一资源指示符(URI)数据值。
根据一个实施例，指示符位于事件消息轨道的标头中。
根据实施例，事件消息轨道还包括轨道标头，该轨道标头包括标志，该标志指示事件消息轨道的每个元数据样本是否具有恒定大小。
根据一个实施例，轨道标头还包括语法元素，该语法元素在标记指示事件消息轨道的每个元数据样本具有恒定大小的情况下指示事件消息轨道的每个元数据样本的大小。
根据一个或多个实施例，提供存储计算机代码的非瞬时性计算机可读介质。所述计算机代码被配置成当由至少一个处理器执行时，使得所述至少一个处理器：获取包括多个事件消息框的事件消息轨道，所述事件消息轨道被配置成由基于HTTP的动态自适应流(DASH)客户端处理以显示媒体内容；获取指示所述事件消息轨道中的所述多个事件消息框的每种类型的指示符；以及将所述事件消息轨道提供给所述DASH客户端、或基于所述事件消息轨道来显示媒体内容。
附图说明
根据以下详细描述和附图，所公开主题的进一步特征、性质和各种优点将更加明显，其中：
图1是根据实施例的环境的示图，在该环境中可以实现这里描述的方法、装置和系统。
图2是图1的一个或多个设备的示例部件的框图。
图3是根据实施例的DASH客户端的示图。
图4示出根据实施例的事件定时模型。
图5示出根据实施例的事件消息框的示例。
图6是根据实施例的适配集(adaptation sets)的图。
图7是根据实施例的媒体和元数据轨道的示图。
图8是根据实施例的计算机代码的示图。
具体实施方式
图1是根据实施例的环境100的示图，在该环境100中可以实现这里描述的方法、装置和系统。如图1所示，环境100可以包括用户设备110、平台120和网络130。环境100的设备可以经由有线连接、无线连接或有线和无线连接的组合来互连。
用户设备110包括一个或多个设备，该一个或多个设备能够接收、生成、存储、处理和/或提供与平台120相关联的信息。例如，用户设备110可以包括计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴设备(例如，智能眼镜或智能手表)，或类似设备。在一些实施方式中，用户设备110可以从平台120接收信息和/或向平台120发送信息。
平台120包括如本公开别处所述的一个或多个设备。在一些实施方式中，平台120可以包括云服务器或一组云服务器。在一些实施方式中，平台120可以被设计成模块化的，使得软件部件可以根据特定的需要被换入或换出。因此，可以容易地和/或快速地针对不同用途重新配置平台120。
在一些实施方式中，如图所示，平台120可以托管在云计算环境122中。值得注意的是，虽然这里描述的实施方式将平台120描述为托管在云计算环境122中，但是在一些实施方式中，平台120可以不基于云(即，可以在云计算环境之外实现)或者可以部分基于云。
云计算环境122包括托管平台120的环境。云计算环境122可以提供不需要关于托管平台120的(一个或多个)系统和/或(一个或多个)设备的物理位置和配置的计算、软件、数据访问、存储等服务的终端用户(例如，用户设备110)知识。如图所示，云计算环境122可以包括一组计算资源124(统称为“多个计算资源124”，分别称为“计算资源124”)。
计算资源124包括一个或多个个人计算机、工作站计算机、服务器设备或其他类型的计算和/或通信设备。在一些实施方式中，计算资源124可以托管平台120。云资源可以包括在计算资源124中执行的计算实例、在计算资源124中提供的存储设备、由计算资源124提供的数据传输设备等。在一些实施方式中，计算资源124可以经由有线连接、无线连接或有线和无线连接的组合与其他计算资源124通信。
如图1进一步所示，计算资源124包括一组云资源，诸如一个或多个应用(“APPs”)124-1、一个或多个虚拟机(“VMs”)124-2、虚拟化存储器(“VSs”)124-3、或一个或多个管理程序(hypervisors，“HYPs”)124-4等。
应用124-1包括可以提供给用户设备110和/或平台120或由用户设备110和/或平台120访问的一个或多个软件应用。应用124-1可以消除在用户设备110上安装和执行软件应用的需要。例如，应用124-1可以包括与平台120相关联的软件和/或能够经由云计算环境122提供的任何其他软件。在一些实施方式中，一个应用124-1可以经由虚拟机124-2向一个或多个其他应用124-1发送信息/从一个或多个其他应用124-1接收信息。
虚拟机124-2包括类似于物理机的执行程序的机器(例如，计算机)的软件实现。虚拟机124-2可以是系统虚拟机或过程虚拟机，这取决于虚拟机124-2的使用和其与任何真实机器的对应程度。系统虚拟机可以提供支持完整操作系统(“OS”)的执行的完整系统平台。过程虚拟机可以执行单个程序，并且可以支持单个过程。在一些实施方式中，虚拟机124-2可以代表用户(例如，用户设备110)执行，并且可以管理云计算环境122的基础设施，诸如数据管理、同步或长时间数据传输。
虚拟化存储器124-3包括在计算资源124的存储系统或设备内使用虚拟化技术的一个或多个存储系统和/或一个或多个设备。在一些实施方式中，在存储系统的上下文中，虚拟化的类型可以包括块级虚拟化和文件虚拟化。块级虚拟化可以指从物理存储中抽象化(或分离)逻辑存储，使得可以在不考虑物理存储或异构结构的情况下访问存储系统。分离可以允许存储系统的管理员在管理员如何管理终端用户的存储方面的灵活性。文件虚拟化可以消除在文件级别访问的数据与物理存储文件的位置之间的依赖性。这可以使得能够优化存储使用、服务器整合和/或无中断文件迁移的性能。
管理程序124-4可以提供硬件虚拟化技术，该硬件虚拟化技术允许多个操作系统(例如，“访客操作系统”)在主机计算机(例如，计算资源124)上同时执行。管理程序124-4可以向访客操作系统呈现虚拟操作平台，并且可以管理访客操作系统的执行。各种操作系统的多个实例可以共享虚拟化硬件资源。
网络130包括一个或多个有线和/或无线网络。例如，网络130可以包括蜂窝网络(例如，第五代(5G)网络、长期演进(LTE)网络、第三代(3G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内部网、因特网、基于光纤的网络等，和/或这些网络或其他类型网络的组合。
提供图1所示的设备和网络的数量和布置作为示例。在实践中，与图1所示的相比，可以有额外的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或不同布置的设备和/或网络。此外，图1中所示的两个或更多个设备可以在单个设备内实现，或者图1中所示的单个设备可以实现为多个分布式设备。另外，或者可选地，环境100的一组设备(例如，一个或多个设备)可以执行描述为由环境100的另一组设备执行的一个或多个功能。
图2是图1的一个或多个设备的示例部件的框图。设备200可对应于用户设备110和/或平台120。如图2所示，设备200可以包括总线210、处理器220、存储器230、存储器部件240、输入部件250、输出部件260和通信接口270。
总线210包括允许设备200的部件之间通信的部件。处理器220以硬件、固件或硬件和软件的组合来实现。处理器220是中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其它类型的处理部件。在一些实施方式中，处理器220包括能够被编程以执行功能的一个或多个处理器。存储器230包括随机存取存储器(RAM)、只读存储器(ROM)和/或存储供处理器220使用的信息和/或指令的另一类型的动态或静态存储设备(例如，闪速存储器、磁存储器和/或光存储器)。
存储器部件240存储与设备200的操作和使用有关的信息和/或软件。例如，存储器部件240可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、光盘(CD)、数字通用光盘(DVD)、软盘、盒式磁带、磁带和/或其他类型的非瞬时性计算机可读介质，以及相应的驱动器。
输入部件250包括允许设备200例如经由用户输入接收信息的部件(例如，触摸屏显示器、键盘、键盘、鼠标、按钮、开关和/或麦克风)。另外，或者可选地，输入部件250可以包括用于感测信息的传感器(例如，全球定位系统(GPS)部件、加速计、陀螺仪和/或致动器)。输出部件260包括提供来自设备200的输出信息的部件(例如，显示器、扬声器和/或一个或多个发光二极管(LED))。
通信接口270包括收发机样部件(例如，收发机和/或单独的接收机和发射机)，其使得设备200能够例如经由有线连接、无线连接或有线连接和无线连接的组合与其他设备通信。通信接口270可以允许设备200从另一设备接收信息和/或向另一设备提供信息。例如，通信接口270可以包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、Wi-Fi接口、蜂窝网络接口等。
设备200可以执行本公开描述的一个或多个过程。响应于处理器220执行由非瞬时性计算机可读介质(例如存储器230和/或存储器部件240的)存储的软件指令，设备200可以执行这些处理。计算机可读介质在此定义为非瞬态存储器设备。存储器设备包括单个物理存储设备内的存储器空间或分布在多个物理存储设备上的存储器空间。
软件指令可经由通信接口270从另一计算机可读介质或从另一设备而被读入存储器230和/或存储器部件240。当存储在存储器230和/或存储器部件240中的软件指令被执行时，软件指令可以使得处理器220执行本公开描述的一个或多个过程。另外，或者可选地，可以使用硬连线电路来代替软件指令或者与软件指令结合来执行本公开描述的一个或多个过程。因此，这里描述的实施方式不限于硬件电路和软件的任何特定组合。
提供图2所示的部件的数量和布置作为示例。在实践中，与图2所示的相比，设备200可包括额外的部件、更少的部件、不同的部件或不同布置的部件。另外，或者可选地，设备200的一组部件(例如，一个或多个部件)可以执行描述为由设备200的另一组部件执行的一个或多个功能。
图3示出了根据本公开的实施例的示例性DASH客户端300，该示例性DASH客户端300被配置为处理MPD事件301、带内事件302和稀疏定时元数据轨道事件。DASH客户端300也可用于处理CMAF事件。根据实施例，DASH客户端300可以由图1中的用户设备100实现。
可以提供事件以便向DASH客户端300或应用指示非周期性信息。事件可以是定时的(例如，每个事件开始于特定媒体呈现时间并且可以具有一持续时间)。事件可以包括DASH特定信令或应用特定事件。DASH事件可以由方案指示符来标识。对于应用特定事件，方案指示符可以识别应用，使得DASH客户端300可以将事件转发到适当的应用。
如图3所示，DASH客户端300可以包括应用310、DASH播放器的控制、选择和启发式逻辑315、清单解析器320、DASH访问应用接口(application programming interface，API)325、带内事件和“moof”(电影碎片框)解析器330、定时元数据轨道解析器335、事件和定时元数据缓冲器340、同步器和分配器345、文件格式解析器350、媒体缓冲器355、媒体解码器360和HTTP协议栈370。
在图3中，虚线表示控制和/或同步；规则实线表示事件和/或定时元数据流；粗实线表示媒体数据流。控制和/或同步可以包括例如订阅功能306和事件/元数据API 307。事件和/或定时元数据流可以包括例如MPD事件301、带内事件302、定时元数据303和DASH事件305。媒体数据流可以包括例如媒体片段304。
DASH客户端300可以接收诸如MPD的清单，并且可以处理它们。清单可以描述/以CMAF切换集和选择集分组以形成同步多媒体呈现的独立封装的CMAF轨道的组合和同步。清单可以向DASH客户端300提供用于选择、初始化、开始对齐以及同步要播放的CMAF轨道的信息，并将CMAF媒体对象(例如CMAF标头、CMAF块和CMAF碎片)识别为用于访问和可能下载它们的资源。CMAF轨道和CMAF碎片可以包含足够的信息以使得能够进行解密、解码和呈现调度。除了资源识别和呈现描述之外，清单还可以提供关于递送协议、网络管理、授权、许可证获取等的信息。清单还可以用信号通知符合CMAF媒体简档的轨道。
作为参考，CMAF碎片可以是被编码和解码的媒体对象。CMAF碎片可以包括一个或多个成对的电影碎片框(‘moof’)和媒体数据框(‘mdat’)。每个成对的“moof”和“mdat”可以称为CMAF块，并且每个CMAF块可以包含属于CMAF碎片的介质样本的连续子集。
CMAF轨道可以是呈现顺序符合CMAF媒体简档的一个或多个CMAF碎片的连续序列以及相关联的CMAF标头。CMAF标头可以包含足以在CMAF轨道中处理和呈现所有CMAF碎片的MovieBox。CMAF轨道可以由编码器和ISOBMFF文件打包器产生，但是可以以CMAF可寻址媒体对象的形式被访问，CMAF可寻址媒体对象可以被引用作为由外部媒体应用规范定义的资源。
DASH客户端300可以基于清单中描述的地址来请求媒体片段。清单还可以描述元数据轨道。DASH客户端300还可以访问元数据轨道的片段，解析它们，并将它们发送到应用。
此外，对于媒体片段的地址，DASH清单可以提供索引片段的寻址。每个索引片段可以提供关于一个片段持续时间和大小的信息。呈现索引可以为给定呈现的所有片段提供索引信息。
根据实施例，清单解析器320可以从清单中解析MPD事件301，并将它们附加到事件和定时元数据缓冲器340。基于MPD，DASH客户端300可以管理来自HTTP协议栈370的片段的提取和解析。该片段的解析可以由带内事件和“moof”解析器330执行。带内事件和“moof”解析器可以在将媒体片段304附加到媒体缓冲器355之前从这些片段解析媒体段304。带内事件和“moof”解析器330的解析还可以包括解析来自片段的带内事件302和定时元数据303(例如，定时元数据轨道)。此外，定时元数据轨道解析器335可以解析并将诸如定时元数据303的事件消息框的高级框附加到事件和定时元数据缓冲器340。
事件和定时元数据缓冲器340可以将事件和定时元数据样本传递给同步器和分配器345，同步器和分配器345可以被称为事件和定时元数据同步器和分配器功能。
同步器和分配器345可以向DASH播放器的控制、选择和启发式逻辑315分配DASH客户端300特定事件。如果应用310订阅特定事件和/或定时元数据流，则同步器和分配器345可以经由事件/元数据API 307将对应的事件实例和/或定时元数据样本分配给应用310。
本公开的实施例可以包括DASH和CMAF中的带内事件302。例如，图4示出了由ISO/IEC 23009-1定义的事件消息(emsg)框的示例性定时，该定时可以通过本公开的实施例来实现。事件消息框可以为与媒体呈现时间有关的事件提供信号，并且可以携带特定于DASH操作的信号。
如图4的示图400所示，事件可以具有事件到达时间AT、事件开始时间ST和事件持续时间DU。事件到达时间AT是包含事件消息框的片段的最早呈现时间，并且可以被认为是媒体时间线上的事件消息框的位置。事件开始时间ST可以是媒体时间线中事件变为活动状态的时刻。事件持续时间DU可以是事件活动状态的持续时间。事件消息框可以包括指定事件到达时间AT、事件开始时间ST和事件持续时间DU的参数，或者可以包括可以从中计算这样的时间和持续时间的参数。例如，如图5所示，事件消息框500可以包括指定事件持续时间DU的“event_duration(事件_持续时间)”参数。
事件开始时间ST可以与轨道中携带该事件的CMAF块或DASH片段(例如片段S(n-1)至S(n+4))中的一个片段)的位置具有偏移。根据实施例，参考图5，事件消息框500可以包括“presentation_time_delta(呈现_时间_偏移)”参数，该参数指定事件开始时间ST与轨道中携带事件的CMAF块或DASH片段的位置具有的偏移。
根据事件消息框的版本，事件开始时间ST的锚点是不同的：
1.在事件消息版本0中，锚点是携带事件的CMAF碎片/DASH片段410的最早呈现时间。
2.在事件消息版本1中，锚点是携带该事件的CMAF轨道/DASH时段的最早呈现时间。
另外，ISO/IEC 23000-19要求：
1.事件的时标(timescale)等于CMAF轨道的MediaHeaderBox中的时标的值。
2.emsg框可以插入到可以在CMAF块、CMAF碎片或CMAF片段的开头。
3.在CMAF碎片中emsg版本0的锚点是以下片段的最早呈现时间。
最后，根据ISO/IEC 23009-1，事件消息框具有以下约束：
1.事件消息框可以放置在片段的第一个“moof”框(电影碎片框)之前。
2.事件消息框可以放置在任何“mdat”框(媒体数据框)和“moof”框之间。在这种情况下，具有相同ID值的等效“emsg”应该出现在任何片段的第一个“moof”框之前。
ISOBMFF的碎片化/碎片整理过程可以采用碎片化的ISOBMFF轨道，对其进行碎片化，并且作为进一步的步骤，以任意大小的碎片再次对其进行碎片化。在任一过程中，所得到的非碎片化或碎片化轨道都应为有效的ISOBMFF轨道。在这种情况下，包括在新轨道中的所有事件消息框可能都需要维持正确的定时。
本公开的实施例可以获取(例如创建或处理)用于DASH流的定时元数据轨道。下面描述定时元数据轨道的方面。
根据实施例，参照图6，对于期望用信号通知瞬时片段带宽的每个适配集，可以在清单中包括单独的适配集。
例如，可以提供适配集AS(i)和适配集AS(元数据)。适配集AS(i)和适配集AS(元数据)可以各自包括相应的呈现R(1)。适配集AS(i)还可以包括附加呈现(例如，呈现R(2)到呈现R(K-1))。每个呈现可以包括沿着媒体时间线650的相应片段(例如片段S(n-1)、片段S(n)、...、片段S(n+1))。适配集AS(i)的呈现可以是媒体轨道610。适配集AS(元数据)的呈现可以是定时元数据轨道620。
如图6所示，定时元数据轨道620可以在片段层面上与适配集AS(i)的媒体轨道610时间对齐，或者定时元数据轨道620可以具有单个片段，其子片段与相应适配集AS(i)中的相应媒体片段时间对齐。
[定时元数据轨道结构]
定时元数据轨道620可以是具有以下结构的ISOBMFF定时元数据轨道。
A.定时元数据轨道标头
定时元数据轨道620的标头可以包括以下信息：
1.轨道4CC指示符；
2.标志，该标志指示样本大小是否恒定，如果恒定，则指示元数据样本的大小；
3.切换集中的轨道数；
4.所述切换集的轨道的轨道指示符；以及
5.与轨道相关的其它信息。
B.片段
定时元数据轨道620的元数据片段可以具有以下特征：
1.所有片段与相应的切换集的片段时间对齐。
2.所有块与相应的切换集的块时间对齐。
3.所有片段在其品牌中具有4CC指示符。
C、元数据样本
如果在定时元数据轨道620的标头中设置恒定样本大小，则定时元数据轨道620的所有元数据样本具有恒定大小，该恒定大小等于定时元数据轨道620的标头中的值。
[清单约束]
具有恒定样本大小的定时元数据轨道620可以被包括在清单中的单独适配中。该适配集可以具有以下约束：
1.定时元数据轨道620的块/片段的数目可以等于所引用的适配集中的任何表示的块/片段的数目，或者
2.可以使用具有单个地址的单个片段轨道。
[具有恒定样本大小的定时元数据头]
下面描述根据本公开的实施例的定时元数据轨道结构的示例实施方式。
样本条目可以按如下定义：
Figure BDA0003555869400000141
Figure BDA0003555869400000151
关于样本条目，“{…}”中的名称可以用给定定时元数据轨道的特定名称替换。此外，元数据轨道标头可以具有其他字段。
在上述样本条目中，num_tracks表示切换集中的轨道数，语法元素track_id提供样本中track_ids的排序，constant_size_flag标识该轨道中的每个样本是否具有相同的字节大小。
在上述样本条目中，恒定样本大小标志(constant_size_flag)和指示样本大小(sample_size)的语法元素被用信号通知，除此之外，也可以用信号通知其他语法元素。
根据实施例，提供了一种方法。该方法包括创建可能具有恒定样本大小的元数据轨道，其中元数据轨道的样本是否具有固定大小在元数据轨道标头中与该固定大小一起用信号通知，其中元数据轨道、轨道片段和轨道块具有统一的元数据样本结构。因此，播放器可以仅通过计算其与元数据轨道的开始、或元数据轨道的片段的开始或块的开始的偏移，来访问元数据轨道的任何样本。
本公开的实施例可以包括在稀疏定时元数据轨道中嵌入式事件。例如，图7所示的示图700示出了根据本公开的实施例的稀疏定时元数据轨道中的嵌入式事件消息框530的示例，该稀疏定时元数据轨道包括元数据块720(例如，块C(k)、块C(k+1)等)。元数据块720可以与媒体块(例如，媒体块C(n-1)、C(n)、C(n+1)、C(n+2)、C(n+3)、C(n+4)等)中的一个或多个媒体块对齐。
参考图7，稀疏定时元数据轨道在元数据样本的一部分处携带emsg框730。元数据样本可以包含一个或多个emsg框730。每个emsg框730属于由emsg的方案_标识_统一资源标识符/值(scheme_id_uri/value)对定义的事件方案。
本公开的实施例可提供对嵌入式稀疏定时元数据轨道的约束。
例如，本公开的实施例可以对CMAF稀疏定时元数据轨道提供以下约束中的一个或多个约束以满足ISOBMFF碎片化/碎片整理过程：
1.每个CMAF碎片/DASH片段仅包含一个元数据样本。该元数据样本的持续时间是该碎片/片段的持续时间。
2.在非片碎片化轨道中，可能需要每个事件消息框版本0使用它所包括的元数据样本的呈现时间作为其presentation_time_delta参数的锚点。
3.在所有情况下，版本0呈现时间增量可以示出相对于元数据样本呈现时间的正偏移或负偏移。可能要求轨道的所有事件消息框使用正偏移或负偏移，并且可能要求具有负偏移和正偏移的事件信息框不在同一轨道中混合。
4.在非碎片化轨道中，可能需要每个事件消息框版本1使用轨道的最早呈现时间作为其presentation_time(呈现_时间)参数的锚点。
5.在所有情况下，可能要求每个事件消息框版本0和1的时标等于轨道的时标。
6.每个事件的结束时间(事件开始时间+持续时间)不超过轨道的最新呈现时间，即使事件持续时间的值表示其它情况。
本公开的实施例可以定义四种不同类型的事件消息轨道(例如稀疏定时元数据轨道)，如下面在表1中定义的：
表1-事件消息轨道类型
Figure BDA0003555869400000171
每种类型限制事件消息框的版本和事件消息框时间偏移的解释。如表1所示，轨道可以仅包含版本0、仅包含版本1、仅包含具有负时间偏移的版本0、包含版本0和版本1、或包含具有负时间偏移的版本0和事件消息框的v1。
通过引入事件消息框的新版本或引入对它们的时间偏移值的不同解释，可以将额外类型的事件消息轨道添加到该表中。
这些类型可以在事件消息轨道的轨道标头中以及在诸如DASH MPD和HLS m3u8的流式清单中用信号通知。
本公开的实施例可以包括两个用信号通知ISOBMFF轨道的轨道类型的选项：⑴使用单独的统一资源指示符(URI)，以及⑵使用“URIInitBox”。任一选项均可用于实施例。
关于选项(1)，可以要求事件消息轨道使用URIMetaSampleEntry(“urim”)。URIMetaSampleEntry条目可以在框中包含定义元数据形式的URI和可选的初始化数据。采样和初始化数据的格式可以由URI形式的全部或部分定义。
在样本条目中，可能需要出现“URIBox”，携带确切的URN方案，这取决于它们携带的事件消息框，如下面表2所定义的：
表2-事件消息轨道指示符
轨道类型 URN
零 urn:mpeg:isobmff:eventtrack:v0:2020
一 urn:mpeg:isobmff:eventtrack:v1:2020
混合 urn:mpeg:isobmff:eventtrack:v0v1:2020
负 urn:mpeg:isobmff:eventtrack:n0:2020
负混合 urn:mpeg:isobmff:eventtrack:n0v1:2020
关于选项(2)，如表(3)所示，可以要求事件消息轨道使用URIMetaSampleEntry(“urim”)。在样本条目中，可能需要发生以下情况：
1.“Uribox”，携带确切的统一资源名称(“URN”)方案：urn:mpeg:isobmff:eventtrack:2020
2.“URIInitBox”，在事件消息轨道中的现有事件消息框版本中，携带下面提供的表3中所示的值之一。
表3-各种轨道类型的统一资源标识符_初始化_数据(uri_initialization_data)值
轨道类型 值
零 1
一 2
混合 12
负 -1
负混合 -12
根据实施例，提供了一种包括创建具有不同类型的事件消息轨道的方法，其中根据所述类型，可以包括各种事件消息版本和/或对事件消息呈现时间偏移的不同解释。因此，实施例可以允许混合版本0和版本1的事件消息框，并且允许在一些事件消息轨道类型中相比于样本呈现时间具有负时间偏移。
根据实施例，可以在轨道标头中提供事件消息轨道类型的信令，因此处理轨道的任何实体都可以识别轨道类型并正确地处理消息轨道中的事件框。
根据实施例，可以经由URIBox中的URI变化或使用URIInitBox中的不同值来进行事件消息轨道类型的信令，以用于在ISOBMFF轨道中进行轨道信令。
参照图8，描述根据实施例的计算机代码800。计算机代码800可以由包括DASH客户端300的媒体流系统执行。例如，媒体流传输系统可以由参照图1描述的环境100来实现。媒体流传输系统可以包括配置成存储计算机代码800的存储器，以及配置成访问计算机代码800并按照计算机代码800的指示来操作的至少一个处理器。计算机代码800可以分布在媒体流系统的不同部件(例如服务器、客户端等)的存储器中，并且可以被配置成使得特定部件的至少一个处理器执行任何数量的其功能，包括本公开中描述的功能。例如，计算机代码800可以包括任何数量的创建代码810、提供代码820、处理代码830和显示代码840。
创建代码810可以存储在例如媒体流系统的服务器的存储器中，并且使得服务器的至少一个处理器创建本公开描述的数据(例如，定时元数据轨道)，所述数据将被递送到媒体系统的客户端(例如，DASH客户端)以被处理。
提供代码820可以存储在例如媒体流系统的服务器的存储器中，并且使得服务器的至少一个处理器将这里描述的数据(例如，定时元数据轨道)提供给媒体系统的客户端(例如，DASH客户端)以被处理。
处理代码830可以存储在例如媒体流系统的客户端设备的存储器中，并且在客户端接收到数据之后，使得客户端设备的至少一个处理器处理本公开中描述的数据(例如，定时元数据轨道)。例如，可以如关于图3描述的那样处理来数据。
创建代码810和处理代码830都可以被称为用于获取数据的获取代码。
显示代码840可以存储在例如媒体流系统的客户端设备的存储器中，并且使得客户端设备的至少一个处理器根据被处理的数据在包括到或连接到客户端设备的显示器上显示媒体内容。
本公开的实施例可以以任何顺序单独使用或组合使用。此外，可以通过处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现每个方法、服务器和客户端。在一个示例中，一个或多个处理器执行存储在非瞬时性计算机可读介质中的程序。
前述公开提供了图示和描述，但不旨在穷举或将实现限制为所公开的精确形式。根据上述公开内容可以进行修改和变化，或者可以从实施方式的实践中获取修改和变化。
显然，这里描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制实现。因此，应当理解，可以将软件和硬件设计成实现基于本公开描述的系统和/或方法。
即使在权利要求书中陈述和/或在说明书中公开了特征的特定组合，这些组合并不旨在限制可能的实施方式的公开。实际上，这些特征中的许多特征可以以未在权利要求书中具体陈述和/或在说明书中公开的方式组合。虽然下面列出的每个从属权利要求可以仅直接依赖于一个权利要求，但是可能实现的公开包括每个从属权利要求与权利要求集中的每个其它权利要求的组合。
除非明确描述，否则本公开使用的任何元素、动作或指令不应被理解为关键的或必要的。此外，如本公开所使用的，术语“一”旨在包括一个或多个物品，并且可以与“一个或多个”互换使用。此外，如本公开所使用的，术语“集合”意在包括一个或多个项目(例如，相关项目、非相关项目、相关和非相关项目的组合等)，并且可以与“一个或多个”互换使用。在仅意指一项的情况下，使用术语“一”或类似的语言。此外，如本公开所使用的，术语“有”或类似术语是开放式术语。此外，“基于”一词意指“至少部分基于”，除非另有明确说明。

Claims (20)

1.一种由至少一个处理器执行的方法，所述方法包括：
获取包括多个事件消息框的事件消息轨道，所述事件消息轨道被配置为由基于HTTP的动态自适应流DASH客户端处理以显示媒体内容；
获取指示所述事件消息轨道中的所述多个事件消息框的每种类型的指示符；以及
将所述事件消息轨道提供给所述DASH客户端、或基于所述事件消息轨道来显示媒体内容。
2.根据权利要求1所述的方法，其中，所述指示符指示所述多个事件消息框中的每个事件消息框是相同的事件消息框类型。
3.根据权利要求1所述的方法，其中，所述指示符指示所述事件消息轨道包括至少两种类型的事件消息框。
4.根据权利要求1所述的方法，其中，所述指示符指示所述多个事件消息框中的至少一个事件消息框相对于样本呈现时间具有负呈现时间偏移。
5.根据权利要求1所述的方法，其中，所述指示符是统一资源名称URN。
6.根据权利要求1所述的方法，其中，所述指示符是统一资源指示符URI数据值。
7.根据权利要求1所述的方法，其中，所述获取所述指示符包括将所述指示符插入到所述事件消息轨道的标头中。
8.根据权利要求1所述的方法，其中，所述事件消息轨道还包括轨道标头，所述轨道标头包括标志，所述标志指示所述事件消息轨道的每个元数据样本是否具有恒定大小。
9.根据权利要求8所述的方法，其中，所述轨道标头还包括语法元素，在所述标志指示所述事件消息轨道的每个元数据样本具有恒定大小的情况下，所述语法元素指示所述事件消息轨道的每个元数据样本的大小。
10.根据权利要求1所述的方法，其中，所述事件消息轨道是定时元数据轨道。
11.一种系统，包括：
存储计算机代码的至少一个存储器；以及
至少一个处理器，被配置为访问所述计算机代码并按照所述计算机代码的指示来操作，所述计算机代码包括：
事件消息轨道获取代码，被配置为使得所述至少一个处理器获取事件消息轨道，所述事件消息轨道被配置为由基于HTTP的动态自适应流DASH客户端处理以显示媒体内容，所述事件消息轨道获取代码包括：
事件消息框获取代码，被配置为使得所述至少一个处理器获取所述事件消息轨道的多个事件消息框；以及
指示符获取代码，被配置为使得所述至少一个处理器获取指示所述事件消息轨道中的所述多个事件消息框的每种类型的指示符；以及
提供或显示代码，被配置为使得所述至少一个处理器将所述事件消息轨道提供给所述DASH客户端、或基于所述事件消息轨道来显示媒体内容。
12.根据权利要求11所述的系统，其中，所述指示符指示所述多个事件消息框中的每个事件消息框是相同的事件消息框类型。
13.根据权利要求11所述的系统，其中，所述指示符指示所述事件消息轨道包括至少两种类型的事件消息框。
14.根据权利要求11所述的系统，其中，所述指示符指示所述多个事件消息框中的至少一个事件消息框相对于样本呈现时间具有负呈现时间偏移。
15.根据权利要求11所述的系统，其中，所述指示符是统一资源名称URN。
16.根据权利要求11所述的系统，其中，所述指示符是统一资源指示符URI数据值。
17.根据权利要求11所述的系统，其中，所述指示符位于所述事件消息轨道的标头中。
18.根据权利要求11所述的系统，其中，所述事件消息轨道还包括轨道标头，所述轨道标头包括标志，所述标志指示所述事件消息轨道的每个元数据样本是否具有恒定大小。
19.根据权利要求18所述的系统，其中，所述轨道标头还包括语法元素，在所述标志指示所述事件消息轨道的每个元数据样本具有恒定大小的情况下，所述语法元素指示所述事件消息轨道的每个元数据样本的大小。
20.一种存储计算机代码的非瞬时性计算机可读介质，所述计算机代码被配置成当由至少一个处理器执行时，使得所述至少一个处理器：
获取包括多个事件消息框的事件消息轨道，所述事件消息轨道被配置为由基于HTTP的动态自适应流DASH客户端处理以显示媒体内容；
获取指示所述事件消息轨道中的所述多个事件消息框的每种类型的指示符；以及
将所述事件消息轨道提供给所述DASH客户端、或基于所述事件消息轨道来显示媒体内容。
CN202180005435.3A 2020-04-13 2021-04-12 包括混合事件消息轨道的媒体系统和方法 Pending CN114430910A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202063009167P 2020-04-13 2020-04-13
US63/009,167 2020-04-13
US202063088841P 2020-10-07 2020-10-07
US63/088,841 2020-10-07
US17/220,537 2021-04-01
US17/220,537 US11546406B2 (en) 2020-04-13 2021-04-01 Media systems and methods including mixed event message tracks
PCT/US2021/026789 WO2021211407A1 (en) 2020-04-13 2021-04-12 Media systems and methods including mixed event message tracks

Publications (1)

Publication Number Publication Date
CN114430910A true CN114430910A (zh) 2022-05-03

Family

ID=78006791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180005435.3A Pending CN114430910A (zh) 2020-04-13 2021-04-12 包括混合事件消息轨道的媒体系统和方法

Country Status (6)

Country Link
US (2) US11546406B2 (zh)
EP (1) EP4011089B1 (zh)
JP (1) JP7271791B2 (zh)
KR (1) KR20220031719A (zh)
CN (1) CN114430910A (zh)
WO (1) WO2021211407A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11509701B2 (en) * 2021-04-20 2022-11-22 Tencent America LLC Extended relationship signaling between events in event message tracks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140222962A1 (en) * 2013-02-04 2014-08-07 Qualcomm Incorporated Determining available media data for network streaming
US20190149857A1 (en) * 2017-11-10 2019-05-16 Qualcomm Incorporated Interfaces between dash aware application and dash client for service interactivity support

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037313A (zh) 2011-09-28 2013-04-10 株式会社Ntt都科摩 多媒体广播接入设备及方法
KR101761302B1 (ko) 2012-08-22 2017-07-25 후아웨이 테크놀러지 컴퍼니 리미티드 Ｍｐｅｇ-2 트랜스포트 스트림에서 ｉｓｏ-ｂｍｆｆ 이벤트 박스의 캐리지
US20140372569A1 (en) 2013-06-14 2014-12-18 Samsung Electronics Co., Ltd. Controlling dash client rate adaptation
EP3288270B1 (en) * 2015-04-22 2020-06-03 LG Electronics Inc. Broadcasting signal transmission device, broadcasting signal reception device, broadcasting signal transmission method, and broadcasting signal reception method
KR102618049B1 (ko) * 2016-02-02 2023-12-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 비디오 스트리밍의 관심 장면 섹션 및 영역 처리
CA3011896A1 (en) 2016-02-04 2017-08-10 Sharp Kabushiki Kaisha Event registration and notification
EP3490266B1 (en) 2016-07-20 2022-09-21 Sony Group Corporation Receiving device and data processing method
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US11290755B2 (en) * 2017-01-10 2022-03-29 Qualcomm Incorporated Signaling data for prefetching support for streaming media data
JPWO2018173874A1 (ja) 2017-03-24 2020-01-30 ソニー株式会社 コンテンツ提供システムおよびコンテンツ提供方法、並びにプログラム
US10924822B2 (en) * 2017-04-04 2021-02-16 Qualcomm Incorporated Segment types as delimiters and addressable resource identifiers
US10880589B2 (en) 2017-06-15 2020-12-29 Amazon Technologies, Inc. Dynamic multimedia stream insertion from multiple sources
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
US11321516B2 (en) * 2018-01-19 2022-05-03 Qualcomm Incorporated Processing dynamic web content of an ISO BMFF web resource track
US10938872B2 (en) * 2018-03-12 2021-03-02 Qualcomm Incorporated Processing interactivity events for streaming media data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140222962A1 (en) * 2013-02-04 2014-08-07 Qualcomm Incorporated Determining available media data for network streaming
US20190149857A1 (en) * 2017-11-10 2019-05-16 Qualcomm Incorporated Interfaces between dash aware application and dash client for service interactivity support

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IRAJ SODAGAR (LIVE): "(4.3) proposed updates on event message track WD", 《MPEG MEETING》 *

Also Published As

Publication number Publication date
EP4011089B1 (en) 2024-05-22
US11770440B2 (en) 2023-09-26
US20210320964A1 (en) 2021-10-14
EP4011089A1 (en) 2022-06-15
US20230048945A1 (en) 2023-02-16
JP7271791B2 (ja) 2023-05-11
WO2021211407A1 (en) 2021-10-21
EP4011089A4 (en) 2022-10-05
US11546406B2 (en) 2023-01-03
KR20220031719A (ko) 2022-03-11
JP2022550166A (ja) 2022-11-30

Similar Documents

Publication Publication Date Title
JP7246508B2 (ja) Ｈｔｔｐによる動的適応ストリーミングのための方法及び装置
US11770440B2 (en) Events message tracks types and mixed event message tracks
WO2022150077A1 (en) Method and apparatus for media scene description
CN115280296A (zh) 用于媒体场景描述的方法和装置
US20230418783A1 (en) Method and apparatus for media scene description
US11838341B2 (en) Signaling schemes in events message tracks
US11509701B2 (en) Extended relationship signaling between events in event message tracks
JP7274581B2 (ja) ツリーベースのポイントクラウド圧縮メディアストリームのための方法、装置、およびプログラム
CN113853799B (zh) 用于基于树的点云压缩媒体流的方法和装置
CN117256135A (zh) 用于cmaf和dash多媒体流式传输的可寻址资源索引事件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40071785

Country of ref document: HK