CN114667738A - Mpd有效期到期处理模型 - Google Patents

Mpd有效期到期处理模型 Download PDF

Info

Publication number
CN114667738A
CN114667738A CN202180005910.7A CN202180005910A CN114667738A CN 114667738 A CN114667738 A CN 114667738A CN 202180005910 A CN202180005910 A CN 202180005910A CN 114667738 A CN114667738 A CN 114667738A
Authority
CN
China
Prior art keywords
event
presentation time
event stream
zero
emsg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180005910.7A
Other languages
English (en)
Inventor
伊拉吉·索达加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN114667738A publication Critical patent/CN114667738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请包括一种方法和包括计算机代码的装置，该计算机代码被配置为使一个或多个处理器执行以下操作：基于视频数据创建指示段带宽并包括媒体自适应集的多个对齐段的信息的定时元数据轨道，使得每个对齐段的持续时间信息和大小信息包括在至少一个元数据样本中；基于定时元数据轨道是否指示至少溢出到多个表示中的每个表示的输入缓冲器，切换到视频数据的多个表示中的一个表示；以及，将多个表示中的一个表示作为事件流的一部分并基于事件流中指示的至少一种模式传递到客户端。

Description

MPD有效期到期处理模型
相关申请的交叉引用
本申请要求于2020年10月7日提交的美国临时专利申请第63/088，681号的优先权权益和于2021年7月2日提交的美国专利申请第17/366，189号的优先权权益，这些专利申请的全部内容通过引用并入本文中。
技术领域
本申请涉及HTTP(DASH)信令上的动态自适应流，并且更具体地涉及诸如使用DASH客户端上的媒体呈现描述(MPD)有效性到期事件的处理模型的处理过程。
背景技术
运动图像专家组(MPEG)DASH可以提供用于在IP网络上流传输多媒体内容的标准，并且由于一个或多个事件流中的至少一些特殊情况，其用于应用事件的DASH客户端处理模型在技术上是不充分的。MPEG DASH为IP网络上的流媒体内容提供了一个标准。ISO/IEC23009-1DASH标准允许多速率内容的流传输。然而，即使DASH客户端可以基于可用网络带宽及其缓冲器饱满度在相同内容的多个表示中选择段，而DASH标准提供了描述每个表示的平均带宽的方法，但没有提供单个表示中段的瞬时带宽波动，因此，即使给出了表示的平均比特率，也可能出现以字节为单位的段的大小比预期带宽大得多，使得下载该段可能溢出客户端输入缓冲器。进一步，即使MPEG DASH提供了支持MPD的信令和MPD中的带内事件的标准，这种标准至少也不提供与DASH应用事件处理模型对齐的MPD有效性到期事件的处理模型，因此，这种标准在技术上存在不足之处。
发明内容
为了解决一个或多个不同的技术问题，本公开提供了减少网络开销和服务器计算开销的技术解决方案，同时提供了将各种操作应用于已解决元件的选项，以便在使用这些操作时，其实用性和技术性信令特征中的一些可以得到改进。
本申请包括一种方法和装置，所述装置包括被配置为存储计算机程序代码的存储器和被配置为访问计算机程序代码并按照计算机程序代码的指令操作的一个或多个处理器。计算机程序代码包括获取代码、创建代码、切换代码和传递代码。获取代码被配置为使所述至少一个处理器获取视频数据。创建代码被配置为使所述至少一个处理器基于所述视频数据创建指示段带宽并包括媒体自适应集的多个对齐段的信息的定时元数据轨道，使得每个对齐段的持续时间信息和大小信息包括在至少一个元数据样本中。切换代码被配置为使所述至少一个处理器基于定时元数据轨道是否指示至少溢出到多个表示中的每个表示的输入缓冲器，切换到视频数据的多个表示中的一个表示。传递代码被配置为将所述多个表示中的一个表示作为事件流的一部分并基于所述事件流中指示的至少一种模式传递到客户端。
根据示例性实施例，计算机程序代码还包括确定代码。确定代码被配置为使至少一个处理器确定至少一个模式是否为接收中模式。
根据示例性实施例，确定代码被进一步配置为使至少一个处理器在确定至少一种模式是接收中模式的情况下，确定事件流的事件消息emsg信息是否指示第一版本emsg和第二版本emsg中的一个或多个。
根据示例性实施例，计算机程序代码还包括设置代码。设置代码被配置为使至少一个处理器在第一版本emsg被确定的情况下，响应于确定事件流的呈现时间字段和事件持续时间字段中的至少一个为零，将事件流的事件的呈现时间信息设置为零。
根据示例性实施例，设置代码被进一步配置为使至少一个处理器在第一版本emsg被确定的情况下，响应于确定事件流的呈现时间字段和事件持续时间字段中的至少一个为零，将事件流的事件的消息数据设置为预定消息。
根据示例性实施例，设置代码被进一步配置为使至少一个处理器在第一版本emsg被确定的情况下，响应于确定事件流的呈现时间字段和事件持续时间字段中的至少一个为零，将事件流的事件的呈现时间信息设置为零，并将事件流的事件的消息数据设置为预定消息。
根据示例性实施例，设置代码被进一步配置为使至少一个处理器在第二版本emsg被确定的情况下，响应于确定呈现时间字段等于另一呈现时间以及事件持续时间字段等于零，将事件流的事件的呈现时间信息设置为零。
根据示例性实施例，设置代码被进一步配置为使至少一个处理器在第二版本emsg被确定的情况下，响应于确定呈现时间字段等于另一呈现时间以及事件持续时间字段等于零，将事件流的事件的消息数据设置为预定消息。
根据示例性实施例，设置代码被进一步配置为使至少一个处理器在第二版本emsg被确定的情况下，响应于确定呈现时间字段等于另一呈现时间以及事件持续时间字段等于零，将事件流的事件的呈现时间信息设置为零，并将事件流的事件的消息数据设置为预定消息。
附图说明
从以下详细描述和所附的附图中，所披露的主题的进一步特征、性质和各种优点将更加明显，其中：
图1是根据实施例的简化示意图。
图2是根据实施例的简化示意图。
图3是根据实施例的关于解码器的简化框图。
图4是根据实施例的关于编码器的简化框图。
图5是根据实施例的简化框图。
图6是根据实施例的简化图。
图7是根据实施例的简化图。
图8是根据实施例的简化图。
图9是根据实施例的简化图。
图10是根据实施例的简化流程图。
图11是根据实施例的简化流程图。
图12A是根据实施例的简化图。
图12B是根据实施例的简化图。
图13是根据实施例的简化图。
图14是根据实施例的示意图。
具体实施方式
下面讨论的建议特征可以单独使用或以任何顺序组合使用。此外，可以通过处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现实施例。在一个示例中，一个或多个处理器执行存储在非暂时性计算机可读介质中的程序。
图1是根据本申请的实施例的通信系统100的简化框图。通信系统100可以包括通过网络105互连的至少两个终端102和103。对于数据的单向传输，第一终端103可以在本地对视频数据进行编码，以通过网络105传输到另一终端102。第二终端102可以从网络105接收另一终端的已编码视频数据，解码已编码数据并显示恢复的视频数据。单向数据传输在媒体服务等应用中是较为常见的。
图1示出了第二对终端101和104，提供第二对终端101和104以支持例如在视频会议期间可能发生的已编码视频的双向传输。对于数据的双向传输，终端101和104中的每一个可以对在本地采集的视频数据进行编码，以通过网络105传输到另一个终端。终端101和104中的每一个还可以接收另一个终端发送的已编码视频数据，可以解码已编码数据并且可以在本地显示装置上显示恢复的视频数据。
在图1中，终端101、102、103和104可以被示为服务器、个人计算机和智能电话，但是本申请的原理不限于此。本申请的实施例可用于膝上型计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络105表示在终端101、102、103和104之间传送已编码视频数据的任意数量的网络，包括例如有线和/或无线通信网络。通信网络105可以在电路交换和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或互联网。出于本讨论的目的，除非在下文中解释，否则网络105的架构和拓扑对于本申请的操作可能是不重要的。
作为所公开主题的应用的示例，图2示出了视频编码器和解码器在流式传输环境中的放置方式。所公开的主题可以同样适用于其他支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字媒体上存储压缩视频等等。
流式传输系统可以包括采集子系统203，采集子系统203可以包括视频源201，例如数码相机，该视频源201创建例如未压缩的视频样本流213。相较于已编码的视频比特流，样本流213可以被强调为高数据量，并且可以由耦接至相机201的编码器202处理。编码器202可以包括硬件、软件或硬件和软件的组合，以启用或实现如下面更详细描述的所公开主题的各方面。相较于样本流，已编码视频比特流204可被强调为较低数据量，并且可以被存储在流式传输服务器205上以供将来使用。一个或多个流式传输客户端212和207可以访问流式传输服务器205以检索已编码视频比特流204的副本208和206。客户端212可以包括视频解码器211，视频解码器211对已编码视频比特流的传入副本208进行解码，并且创建一个可以在显示器209或其他显示装置(未描绘)上显示的输出视频样本流210。在一些流式传输系统中，可以根据某些视频编码/压缩标准对视频比特流204、206和208进行编码。这些标准的示例在上文中已提及并在本文中被进一步描述。
图3可以是根据本发明实施例的视频解码器300的功能框图。
接收器302可接收要由解码器300解码的一个或多个已编解码视频序列；在同一实施例或另一实施例中，一次接收一个已编码视频序列，其中每个已编码视频序列的解码独立于其他已编码视频序列的解码。可从信道301接收已编码视频序列，该信道301可以是通向存储已编码视频数据的存储装置的硬件/软件链路。接收器302可以接收已编码视频数据和其他数据，例如已编码音频数据和/或辅助数据流，这些数据可以被转发到它们各自的使用实体(未描绘)。接收器302可以将已编码视频序列与其他数据分开。为了防止网络抖动，缓冲存储器303可以耦接在接收器302和熵解码器/解析器304(以下称为“解析器”)之间。当接收器302从具有足够带宽和可控性的存储/转发装置或从同步网络接收数据时，可能不需要配置缓冲器303，或者可以将缓冲器303做得很小。为了在例如互联网等业务分组网络上使用，也可能需要缓冲器303，该缓冲器303可以相对较大并且可以有利地具有自适应大小。
视频解码器300可以包括解析器304以从熵编码的视频序列重建符号313。这些符号的类别包括用于管理解码器300的操作的信息，以及用于控制显示装置(例如显示器312)的潜在信息，该显示装置(例如显示器312)不是解码器的组成部分，但可以耦接至解码器。显示装置的控制信息可以是辅助增强信息(Supplementary Enhancement Information，SEI)或视频可用性信息(Video Usability Information，VUI)参数集片段(未描绘)的形式。解析器304可以对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可以根据视频编码技术或标准进行，并且可以遵循本领域技术人员熟知的原理，包括可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文敏感性的算术编码等等。解析器304可以基于对应于群组的至少一个参数，从已编码视频序列中提取用于视频解码器中的像素的子群中的至少一个子群的子群参数集。子群可以包括图像群组(Groups ofPictures，GOP)、图像、图块、切片、宏块、编码单元(CU)、块、变换单元(TU)、预测单元(PU)等。熵解码器/解析器还可以从已编码视频序列中提取信息，例如变换系数、量化器参数值、运动矢量等。
解析器304可以对从缓冲器303接收的视频序列执行熵解码/解析操作，从而创建符号313。解析器304可以接收已编码数据，并且选择性地解码特定符号313。此外，解析器304可以确定是否某些符号313将被提供给运动补偿预测单元(Motion CompensationPrediction unit)306、缩放器/逆变换单元305、帧内预测单元307或环路滤波器311。
符号313的重建可以涉及多个不同的单元，这取决于已编码视频图像或其部分的类型(例如：帧间和帧内图像、帧间和帧内块)以及其他因素。涉及哪些单元以及涉及方式可由解析器304从已编码视频序列解析的子群控制信息来控制。为了简洁起见，未描绘解析器304与下文的多个单元之间的此类子群控制信息流。
除已经提及的功能块外，解码器300可以在概念上细分为如下文所描述的数个功能单元。在商业约束下运行的实际实现方式中，这些单元中的许多单元彼此密切交互，并且可以至少部分地彼此集成。然而，出于描述所公开主题的目的，概念上细分成下文的功能单元是适当的。
第一单元是缩放器/逆变换单元305。缩放器/逆变换单元305从解析器304接收作为符号313的量化变换系数以及控制信息，包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元305可以输出包括样本值的块，该样本值可输入到聚合器310中。
在一些情况下，缩放器/逆变换305的输出样本可属于帧内编码块；即：不使用来自先前重建的图像的预测性信息，但可以使用来自当前图像的先前重建部分的预测性信息的块。此类预测性信息可以由帧内图像预测单元307提供。在一些情况下，帧内图像预测单元307采用从当前(部分重建的)图像309提取的周围已重建信息生成大小和形状与正在重建的块相同的块。在一些情况下，聚合器310基于每个样本，将帧内预测单元307生成的预测信息添加到由缩放器/逆变换单元305提供的输出样本信息中。
在其他情况下，缩放器/逆变换单元305的输出样本可属于帧间编码和潜在的运动补偿块。在此情况下，运动补偿预测单元306可以访问参考图像存储器308以提取用于预测的样本。在根据属于块的符号313对提取的样本进行运动补偿之后，这些样本可以由聚合器310添加到缩放器/逆变换单元的输出(在这种情况下被称为残差样本或残差信号)，从而生成输出样本信息。运动补偿预测单元从参考图像存储器内的地址获取预测样本可能受到运动矢量控制，且该运动矢量以符号313的形式而供运动补偿单元使用，该符号313可以具有例如X、Y和参考图像分量。运动补偿还可以包括在使用子样本精确运动矢量时，从参考图像存储器提取的样本值的内插、运动矢量预测机制等。
聚合器310的输出样本可以经受环路滤波器单元311中的各种环路滤波技术。视频压缩技术可以包括环路内滤波技术，该环路内滤波技术受控于包括在已编码视频比特流中并且作为来自解析器304的符号313可用于环路滤波器单元311的参数，然而，视频压缩技术还可响应于在解码已编码图像或已编码视频序列的先前(按解码次序)部分期间获得的元信息，以及响应于先前重建且经过环路滤波的样本值。
环路滤波器单元311的输出可以是样本流，该样本流可以输出到显示装置312以及存储在参考图像存储器557中，以用于后续的帧间图像预测。
一旦完全重建，某些已编码图像就可以用作参考图像以用于将来预测。一旦已编码图像被完全重建并且已编码图像(通过例如解析器304)被识别为参考图像，则当前参考图像309可变为参考图像缓冲器308的一部分，且可在开始重建后续已编码图像之前重新分配新的当前图像存储器。
视频解码器300可根据例如ITU-T H.265标准中的预定视频压缩技术执行解码操作。在已编码视频序列遵循如视频压缩技术文件或标准以及在视频压缩技术文件或标准的配置文件中指定的视频压缩技术或标准的语法的意义上，已编码视频序列符合所使用的视频压缩技术或标准指定的语法。对于合规性，还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，层级限制最大图像大小、最大帧率、最大重建取样率(以例如每秒兆(mega)个样本为单位进行测量)、最大参考图像大小等。在一些情况下，由层级设定的限制可通过假想参考解码器(Hypothetical ReferenceDecoder，HRD)规范和在已编码视频序列中用信号通知的HRD缓冲器管理的元数据来进一步限定。
在实施例中，接收器302可连同已编码视频一起接收附加(冗余)数据。该附加数据可以被包括作为已编码视频序列的一部分。该附加数据可由视频解码器300用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可呈例如时间、空间或信噪比(signal noise ratio，SNR)增强层、冗余切片、冗余图像、前向纠错码等形式。
图4可以是根据本申请实施例的视频编码器400的功能框图。
编码器400可以从视频源401(并非是编码器的一部分)接收视频样本，视频源401可以采集将由编码器400编码的视频图像。
视频源401可以提供将由编码器(303)编码的呈数字视频样本流形式的源视频序列，该数字视频样本流可以具有任何合适的位深度(例如：8位、10位、12位……)、任何色彩空间(例如BT.601Y CrCB、RGB……)和任何合适采样结构(例如Y CrCb 4:2:0、Y CrCb 4:4:4)。在媒体服务系统中，视频源401可以是存储预先准备好的视频的存储装置。在视频会议系统中，视频源401可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图像，当按顺序观看时，这些图像被赋予运动。图像自身可构建为空间像素阵列，其中取决于所用的采样结构、色彩空间等，每个像素可包括一个或多个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。
根据实施例，编码器400可实时或在由应用所要求的任何其它时间约束下，将源视频序列的图像编码且压缩成已编码视频序列410。施行适当的编码速度是控制器402的一个功能。控制器控制如下文所描述的其它功能单元且在功能上耦接到所述其它功能单元。为了简洁起见，图中未标示耦接。由控制器设置的参数可包括速率控制相关参数(图像跳过、量化器、率失真优化技术的λ值等)、图像大小、图像群组(group of pictures，GOP)布局、最大运动矢量搜索范围等。本领域的技术人员可以很容易地识别出控制器402的其他功能，因为这些功能涉及针对某一系统设计优化的视频编码器400。
一些视频编码器在本领域技术人员容易识别的“编码环路”中进行操作。作为简化的描述，编码环路可以包括编码器402(以下称为“源编码器”)(负责基于待编码的输入图像和参考图像创建符号)的编码部分和嵌入于编码器400中的(本地)解码器406，解码器406重建符号以用类似于(远程)解码器创建样本数据的方式创建样本数据(因为在所公开主题所考虑的视频压缩技术中，符号与已编码视频比特流之间的任何压缩是无损的)。将重建的样本流输入到参考图像存储器405。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果，因此参考图像缓冲器内容在本地编码器和远程编码器之间也是位精确的。换句话说，编码器的预测部分“看到”的参考图像样本与解码器在解码期间使用预测时所“看到”的样本值完全相同。这种参考图像同步性的基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)对于本领域技术人员来说是众所周知的。
“本地”解码器406的操作可与已在上文结合图3详细描述的“远程”解码器300的操作相同。然而，另外简要参考图4，当符号可用且熵编码器408和解析器30能够无损地将符号编码/解码为已编码视频序列时，包括信道301、接收器302、缓冲器303和解析器304在内的解码器300的熵解码部分，可能无法完全在本地解码器406中实施。
此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式存在于对应的编码器中。可简化编码器技术的描述，因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述，并且在下文提供。
在操作期间，源编码器403可以执行运动补偿预测编码，即参考来自视频序列中被指定为“参考图像”的一个或多个先前已编码图像，对输入图像进行预测性编码。以这种方式，编码引擎407对输入图像的像素块与参考图像的像素块之间的差异进行编码，该参考图像可被选作该输入图像的预测参考。
本地视频解码器406可以基于由源编码器403创建的符号，对可指定为参考图像的图像的已编码视频数据进行解码。编码引擎407的操作可以有利地为有损过程。当已编码视频数据可在视频解码器(图4中未示出)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器406复制解码过程，该解码过程可由视频解码器对参考图像执行，并且可以使重建的参考图像存储在参考图像高速缓存405中。以这种方式，编码器400可以在本地存储重建的参考图像的副本，该副本与将由远端视频解码器获得的重建参考图像具有共同的内容(不存在传输误差)。
预测器404可对编码引擎407执行预测搜索。即，对于将要编码的新图像，预测器404可在参考图像存储器405中搜索可作为该新图像的适当预测参考的样本数据(作为候选参考像素块)或某些元数据，例如参考图像运动矢量、块形状等。预测器404可基于样本块逐像素块操作，以找到合适的预测参考。在一些情况下，如由预测器404获得的搜索结果所确定的那样，输入图像可具有从参考图像存储器405中存储的多个参考图像取得的预测参考。
控制器402可以管理视频编码器403的编码操作，包括例如设置用于对视频数据进行编码的参数和子群参数。
可在熵编码器408中对所有上述功能单元的输出进行熵编码。熵编码器根据例如霍夫曼编码、可变长度编码、算术编码等本领域技术人员已知的技术，对各种功能单元生成的符号进行无损压缩，从而将该符号转换成已编码视频序列。
传输器409可缓冲由熵编码器408创建的已编码视频序列，从而为通过通信信道411进行传输做准备，该通信信道411可以是通向将存储已编码的视频数据的存储装置的硬件/软件链路。传输器409可以将来自视频编码器403的已编码视频数据与要传输的其他数据合并，该其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。
控制器402可管理编码器400的操作。在编码期间，控制器405可以为每个已编码图像分配某一已编码图像类型，但这可能影响可应用于相应的图像的编码技术。例如，通常可将图像分配为以下任一种图像类型：
帧内图像(I图像)，其可以是不将序列中的任何其它图像用作预测源就可被编码和解码的图像。一些视频编解码器容许不同类型的帧内图像，包括例如独立解码器刷新(Independent Decoder Refresh，“IDR”)图像。所属领域的技术人员了解I图像的变体及其相应的应用和特征。
预测性图像(P图像)，其可以是可使用帧内预测或帧间预测进行编码和解码的图像，该帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。
双向预测性图像(B图像)，其可以是可使用帧内预测或帧间预测进行编码和解码的图像，该帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地，多个预测性图像可使用多于两个参考图像和相关联元数据以用于重建单个块。
源图像通常可在空间上细分成多个样本块(例如，4×4、8×8、4×8或16×16个样本的块)，且逐块进行编码。这些块可参考其它(已编码)块进行预测编码，该其它块由应用于块的相应图像的编码分配来确定。举例来说，I图像的块可进行非预测编码，或该块可参考同一图像的已经编码的块来进行预测编码(空间预测或帧内预测)。P图像的像素块可参考一个先前编码的参考图像通过空间预测或通过时域预测进行预测编码。B图像的块可参考一个或两个先前编码的参考图像通过空间预测或通过时域预测进行预测编码。
视频编码器400可根据例如ITU-T H.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器400可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此，已编码视频数据可符合所用视频编码技术或标准指定的语法。
在实施例中，传输器409可在传输已编码的视频时传输附加数据。源编码器403可将此类数据作为已编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、冗余图像和切片等其它形式的冗余数据、SEI消息、VUI参数集片段等。
图5示出了例如用于处理DASH和公共媒体应用格式(CMAF)事件的客户端示例架构的示例DASH客户端处理模型。其中，媒体段的客户端请求可以基于清单中描述的地址，清单中还描述了元数据轨道，客户端可以从元数据轨道访问元数据轨道段，解析它们，并将其发送到应用程序。此外，根据示例性实施例，在如下所述的媒体段的地址中，DASH清单可以为索引段提供地址。每个索引段可以提供关于一个段持续时间和大小的信息，表示索引可以提供给定表示的所有段的索引信息。
图6示出了例如用于任何给定的自适应集的用于自适应集段索引的元数据轨道的示例600。例如，如图6所示，对于期望指示瞬时段带宽的每个自适应集(Adaptation Set,AS)，也可以在清单中包括单独的自适应集。
如图6所示，对于具有K个媒体表示(其段是定时对齐的)的AS i，新的自适应集AS索引被添加到包含单个表示的清单中。该单个表示是一个定时元数据轨道，该定时元数据轨道的段也与AS i表示的段定时对齐。
图7示出了根据示例性实施例的组合索引段示例700，其中，其中的每个段可以具有以下特征：(1)它应以ISO基本媒体文件格式(如ISO/IEC 14496-12中所定义)(ISOBMFF)“styp”框开始，“styp”框带有“cisx”牌，以识别这是所有轨道的组合索引段框；(2)它应包括顺序为0、1、2、…、K-1的k个“sidx”框，其按该顺序，分别对应于参考自适应集的一个表示0、1、2、…、K-1；(3)每个sidx框应包括相应表示的整个段的持续时间和大小。根据示例性实施例，ISOBMFF段格式用于定义用于指示编解码器的MIME类型参数的实现，并为初始化段、媒体段和随机接入点(如媒体源扩展的字节流格式部分所需的)提供必要的格式特定定义。
图8示出了一个再同步索引段示例800，例如，对于低延迟模式，其引入了一个具有以下结构的再同步索引段：R0，从而使得(1)它应该从一个具有“rpis”牌的ISOBMFF“styp”框开始；(2)它应该包括一系列菊花链式和分级的sidx框，并且随着每个块编码的完成，这些sidx框被添加到段中；(3)按照在媒体段中的出现顺序，每个sidx框应包括相应媒体段中一块的持续时间、大小和起始SAP类型。
图9示出了组合再同步索引段示例900，例如，对于低延迟模式，其引入了具有以下结构的组合再同步索引段：(1)它应该从一个具有“rpis”牌的ISOBMFF“styp”框开始；(2)它应包括一系列顺序为0、1、2、…、K-1的side框，按照该顺序，每个框分别对应于参考自适应集的一个表示0、1、2、…、K-1(根据示例性实施例，每个sidx框具有固定长度，因为作为版本0，一级sidx框具有一个参考计数的，每个框指向以相同顺序排序的相同表示的接下来的块中的下一个sidx框)；(3)按照在媒体段中的出现顺序，每个sidx框应包括相应媒体段中一块的持续时间、大小和起始SAP类型。
根据示例性实施例，元数据轨道可以包含在清单中的单独适配中，并且该自适应集必须具有以下约束：(1)被引用的媒体自适应集的相同寻址方案应被用于该表示(如果被引用的自适应集的表示具有各种寻址方案，则其中一种表示寻址方案应当被用于元数据轨道表示)；(2)元数据轨道的段数应等于被引用的自适应集中任何表示的最大段数；(3)元数据轨道的自适应集应被表示为其MIME类型中的元数据，并且特定标识符应被用于@codec来指示该组合索引段轨道；(4)表示轨道应被表示为元数据，以及索引段类型，和如下之一：组合索引段、组合再同步索引段以及具有最后一个再同步索引段的组合索引段；(5)引用的自适应集id应包含在元数据轨道自适应集中的补充描述符值字段中，并具有特定的schemeIdUri，如uri:mpeg:dash:sidxtrack:2020，以及(6)元数据表示id应与参考自适应集的表示相同，即其寻址方案相同。
图10示出了关于具有每个表示的单独段索引的DASH客户端处理模型的示例性流程图1000。其中根据示例性实施例，可以在没有组合索引段轨迹的情况下检索段持续时间和大小，并且如果每个表示还具有清单中定义的索引段，然后，DASH客户端处理模型可以如下所示：如图10所示，在S1001，考虑以下因素，可以选择实时流的加入时间：(J：其输入缓冲器的大小基于平均持续时间和可能的带宽波动的段数；L：允许在元数据轨道中进行前瞻的段数。L可以是0到任何正数。需要注意的是，(L*平均持续时间)被添加到回放中)，在S1002，基于J和L找到实时流的加入时间，在S1003，每个表示下载了L个索引段，因此下载了L*K，在S1004，解析了L*K索引段的sidx框，并构建了表1(如下)的大小/持续时间段，在S1005，鉴于表1，计算对于接下来的M个段(M<L)，在输入缓冲器不溢出的情况下，切换到表示能够达到的最佳质量，在S1006，下载下一个媒体段和L+1元数据段(此后在S1007可能在其上进行处理和播放)，在S1008，相应地更新表1，并且在S1009，有一个考虑网络带宽变化的决定的调整，然后再次进入到S1005。
如图所示，使用组合索引段轨道而不是表示的索引段的区别在于，在每个段请求之前，DASH客户端请求K个索引段。如果K是一个很大的数字，那么额外的请求数可能效率低下。
表1–交叉表示段持续时间大小表
Figure BDA0003599504120000151
图11示出了关于具有组合段索引轨道的DASH客户端处理模型的示例性流程图1100，其中根据示例性实施例：如图11所示，在S1001，可以选择实时流的加入时间(考虑以下因素：J：其输入缓冲区大小基于平均持续时间和可能的带宽波动的段数；L：允许在元数据轨道中进行前瞻的段数。L可以是0到任何正数。需要注意的是，(L*平均持续时间)被添加到回放中)，在S1102，基于J和L找到实时流的加入时间，在S1103，从实时边缘，从组合索引段轨道下载L段，在S1104，解析L段的sidx框并构建表1的大小/持续时间段，在S1105，鉴于表1，计算对于接下来的M个段(M<L)，在输入缓冲器不溢出的情况下，切换到表示能够达到的最佳质量，在S1106，下载下一个媒体段和L+1元数据段(此后在S1107可能在其上进行处理和播放)，在S1108，相应地更新表1，并且在S1109，有一个考虑网络带宽变化的决定的调整，然后再次进入到S1105。
如图所示，与图6的数据的K索引段请求相比，DASH客户端可以对每个媒体段请求做出一个组合索引段请求。因此，特别是对于较大的K，这样的示例性实施例是非常有效的。
此外，根据示例性实施例，例如关于低延迟的DASH客户端处理模型，可能存在元数据轨道，该元数据轨道也可在低延迟情况下与瞬时块带宽适配一起使用，并且在这种情况下，元数据样本可包括所有表示的索引段和再同步索引段。考虑到这些实施例，可以考虑两种可能的变化：(a)混合组合索引段：单个元数据段，其中每个段包括对应段的sidx框，但最后一段(实时边缘处的段)可以是逐渐追加的组合再同步索引段，并且当相应媒体段完成时，组合再同步段替换为组合索引段，以及(b)常规和低延迟组合轨道：两个元数据轨道的自适应集，一个轨道带有组合索引段，一个轨道带有组合再同步索引段。
对于在低延迟模式下操作的客户端，实施例可以从低延迟组合轨道流传输段，而其他客户端从常规组合轨道流传输段。或者，如果只提供混合组合索引轨道，则常规和低延迟客户端都可以从同一轨道流传输。
根据示例性实施例，组合索引轨道是具有以下结构的ISOBMFF定时元数据轨道。该头部包括以下信息：(1)轨道4CC标识符；(2)交换集中的轨道数；(3)交换集的轨道的轨道标识符；(4)可选地质量度量标识符，用于测量轨道质量、段质量和块质量；以及(5)使用上述质量度量将每条轨道的质量与其他轨道进行比较。元数据段具有以下特征：(1)所有段都与相应交换集的段时间对齐；(2)所有块都与相应交换集的块时间对齐；以及(3)所有段在它们的名牌中都有一个4CC标识符。每个元数据样本都有以下特征：(1)时间元数据轨道中的每个样本都是随机访问样本；(2)每个样本都有以下信息：(a)相应媒体段/块的SAP类型；(b)指示媒体段/块具有顶级框，如事件和prft框；(c)测量段和块持续时间的时间尺度；(d)持续时间已知时的标志；(e)持续时间精确时的标志；(f)持续时间的百分比的最大持续时间变化；(g)元数据轨道头部中定义的时间刻度中的相应媒体段/块的持续时间；(h)按照轨道中定义的特定顺序，每个轨道的每个对应段/块的大小；以及(e)可选地，与其他段/块相比，轨道的相应段/块的质量。
根据示例性实施例，组合索引轨道包含在清单中的单独适配中，并且该组合索引自适应集必须具有以下约束：(1)该表示应使用被引用的媒体自适应集的相同寻址方案(如果被引用自适应集的表示具有各种寻址方案，则其中一种表示寻址方案应当用于元数据轨道表示)；(2)组合索引轨道的块/段的数量应等于被引用的自适应集中任意表示的块/段的数量；(3)元数据轨道的自适应集应表示为其MIME类型中的组合索引轨道，并且特定标识符应被用于@codec来指示该组合索引轨道；(4)表示轨道应被表示为元数据，以及组合索引轨道；(5)引用的自适应集id应包含在组合索引自适应集中的补充描述符的值字段中，并具有特定的schemeDuri，例如uri:mpeg:dash:comboindex:2020，以及(6)元数据表示id应与参考自适应集的表示相同，即确保其寻址方案相同。
图12A示出了代表清单约束的可能实现的示例条目1200，其可以是如图12中所定义的，并且此类示例可具有如图12B中所示的语法1300之类的语法，并且可具有以下语义：“num_tracks”指切换集中的轨道数；“track_id”提供样本中track_id的顺序；“quality_indicator_flag”标识特定的质量指标是否用于标识区块的质量；“quality_identifier”：指指示预期将在其中解释音轨和样本质量的质量度量的URI；“segment_start_flag”标识该块是否与段的开头相同，即该块是否为段的开头；“SAP_type”标识SAP类型。如果为0，则该块不以SAP开头；标记标识该块是否包括包含styp的标记；“emsg_标志”标识该块是否包含任何emsg框；“prft_flag”标识该块是否包含prft框；“known_duration_flag”标识该块的持续时间是否已知。如果该标志为“false”，则应忽略exact_duration_flag标志，以及duration_variation的值、持续时间和时间尺度字段；“exact_duration_flag”标识持续时间的值是否准确，即持续时间不是该块的标称持续时间(如果该标志为“true”，则应忽略duration_variation字段的值)；“duration_variation”以百分比表示持续时间的最大变化(更短或更长的变化)(该值不应超过100，超过100的值被处理为100)；时间刻度中块的“duration”持续时间，即，持续时间到时间尺度的划分提供块的持续时间(以秒为单位)；“timescale”提供此框中持续时间字段的时间尺度，单位为滴答每秒；建议这与参考切换集中一个轨道的时间刻度相匹配，first_offset标识块从序列开始的偏移量；“offset”标识块从段开始的字节偏移量；size提供块的大小(以八位字节为单位)；“quality”根据质量方案提供块的质量(如果没有质量方案，则质量随着值的增加而线性增加)；“missing”表示该块缺失，不应被请求。
根据示例性实施例，组合索引段可由编码器(如上文所述)与媒体的编码一起创建，并且在这种情况下，由于编码器可具有每个段/块的精确持续时间，因此该值可包括在元数据样本中。然而，封装者也可以基于从编码器接收的段来创建该组合索引轨道。在这种情况下，根据封装者的能力，可以部署以下任一场景：(a)每个段/块的确切持续时间已知，因此封装者在组合索引元数据样本中插入确切持续时间，(b)确切持续时间未知，因此，封装者仅计算段/块的大小，并将其包含在元数据样本中，并设置持续时间未知的标志，(c)确切的持续时间未知，但封装者已知标称持续时间以及持续时间变化的最大范围，因此封装者将这些值包含在元数据样本中。
因此，根据示例性实施例，存在一种使用索引段并在低延迟情况下使用再同步索引段向DASH客户端发送带宽上限信令的方法。为了提高性能，在实时流中还引入了一个组合索引轨道，DASH客户端可以使用上述任何一种方法来查找瞬时段带宽，并切换到在不溢出输入缓冲区的情况下提供最佳质量的最佳表示。还向流客户端提供了各种轨道瞬时带宽变化的信令，使得客户端可以同时观察所有轨道的带宽需求的突然变化，并根据上述各种标准在必要时采取措施切换另一个轨道。因此，本文中的实施例改进了用于向DASH客户端发送瞬时带宽变化信令MPEG-DASH的元数据轨道，使用在相同自适应集/切换集中包含所有轨道的组合段、块持续时间和大小的元数据轨道，DASH客户端可以使用上述任何一种方法来查找瞬时段带宽，并切换到在不溢出其输入缓冲区的情况下提供最佳质量的最佳表示。
例如，可以创建元数据轨道以提供瞬时段带宽信息，其中一个媒体自适应集的所有对齐段的信息在元数据轨道的单个段中提供；创建组合索引段，其中所有表示对齐段的所有索引信息组合在一个索引段中；创建再同步索引段，用于将一个段的块的特征指示为段索引，其中再同步段可以随着媒体块逐渐生成，并且可以逐渐传递到客户端，因此客户端可以使用它在低延迟流中的块边界处切换；创建组合再同步索引段，其中一个自适应集的所有表示的所有对齐段的块再同步信息包括在索引段中，并逐渐传输到客户端，以便客户端可以在低延迟流传输的块之间切换；创建混合组合索引轨道，其对所有段使用组合索引段格式，但最后一个正在编码的段除外，并对当前正在编码的段使用组合再同步段格式；创建两个并行元数据轨道，用于由组合索引段组成的常规流操作，另一个轨道由组合再同步索引段组成；通过上述方法，DASH客户端可以使用所有表示的段索引中的信息来监测每个表示的瞬时带宽，使用它在考虑比特率峰值和谷值的表示之间切换，并基于当前带宽、缓冲区饱满度以及跨多个表示的段大小优化表示自适应选择；客户端进一步使用上述方法来更有效地测量所有表示的瞬时带宽；进一步将上述方法用于低延迟操作，使得DASH客户端能够在低延迟模式下操作；以及使用上述方法，进一步使常规和低延迟客户端都能够以一个或两个轨道运行。
此外，还可以创建用于提供瞬时段带宽和质量信息的定时元数据轨道，其中在元数据轨道的单个段中提供一个媒体自适应集的所有对齐段的信息，其中所有对应段和/或块的持续时间和大小信息包括在样本中；创建再同步块索引，用于指示元数据样本中一个段的块的特征与块的大小，其中元数据样本可以随着媒体块逐渐生成，并且可以逐渐传递到客户端，因此客户端可以使用它在低延迟流中的块边界处切换；在上述方法中分别使用段和/或块的相对质量，以便客户端可以比较跨越所有媒体轨道的瞬时质量；用指示每一组对齐段或块的对齐段或对齐块的持续时间是否已知，如果已知，指示标称或精确持续时间，指示所指示的持续时间是精确的还是标称的，如果是标称的，指示持续时间的最大变化；创建要逐渐创建的索引段，并逐渐传输到客户端，以便客户端可以在低延迟流传输的块之间切换；创建元数据轨道，其中除最后一段外的所有段均为上述段之一，而最后一段对应于正在实时边缘处编码并使用上述其他特征创建的段；创建两个并行的元数据轨道，一个使用上述特征，一个使用上述其他特征，并在清单中指示这些轨道；让DASH客户端使用上述元数据轨道段中的信息来监测每个表示的瞬时带宽，并使用它在考虑比特率峰值和谷值的表示之间切换，并基于当前带宽、缓冲区饱满度以及跨多个表示的段大小优化表示自适应选择；更有效地测量所有表示的瞬时带宽；并用于低延迟操作，以便客户端更有效地测量所有表示的瞬时带宽；以及使常规和低延迟客户端都能在一个或两个轨道上运行。
再次查看图5中的示例性模型500和图13中的示例性简化流程图1300，在实施例中，与图5所示的模型500一样，可以首先在S1301解析MPD；并且在S1302向应用程序公开有关MPD事件、带内事件以及在稀疏定时元数据轨道中嵌入的事件的信息。
根据示例性实施例，在S1302中的这种应用可以具有全部或至少多个事件方案信息，并且可以在S1303中选择事件方案，例如通过订阅应用程序界面(APIs)订阅感兴趣的方案以及每个方案的期望调度模式。根据实施例，如果，例如在S1304和/或S1305，订阅了作为一个或多个稀疏定时元数据轨道的一部分传递的事件方案，则在S1306，DASH客户端可以确定流传输这些轨道，通过DASH客户端定时元数据轨道处理传递此类信息，从而提取嵌入在轨道中的事件消息，在S1307，将它们放入缓冲器，例如事件缓冲器；此外，DASH客户端的同步器和调度程序模块可以将订阅的事件作为所有订阅事件的一部分进行调度。例如，在S1304，DASH客户端还可以订阅事件同步器和调度器；然而，事件处理通道需要以不同于根据改进了本文所述的技术问题的示例性实施例的应用事件的方式来处理DASH MPD事件。
例如，根据示例性实施例，在MPD有效性到期事件的事件处理模型中定义了以下例外情况：在S1308，事件流的事件实例以“接收中”模式调度，在S1309，确定此方案的事件是否可以使用emsg v0或emsg v1，如果确定使用了emsg v0，则在S1310，可以确定是否presentation_time_delta＝event_duration＝0，然后在S1311，(i)-(iii)的任意一个，其中(i)presentation_time应设置为0，(ii)message_data设置为特定消息，例如“//DashMediaPresentationIsEnded//”、(iii)为(i)和(ii)两者，在S1312，当确定使用emsgv1时，则在S1312，还可以确定是否presentation_time＝段的最早呈现时间并且event_duration＝0，如果是，则在S1313，(iv)-(vi)的任意一个，其中(iv)事件的presentation_time的应设置为0，(v)的message_data设置为特定消息，例如“//DashMediaPresentationSend/”，(vi)为(iv)和(v)两者。
因此，这些特征代表了优于上述此类问题的技术优势，即至少有一种方法可以使用DASH客户端的相同应用程序事件处理通道来处理MPD有效期到期事件，其中，在事件实例以“接收中”模式调度，其中在解析事件的过程中很少添加异常，包括当presentation_time_delta和event_duration为零时，或当事件presentation_time等于段最早呈现时间和event_duration为零时，其中presentation_time的值和/或message_data的有效负载发生变化，以便DASH客户端能够识别这些特殊情况。
可以将上述描述的技术实现为计算机软件，或通过具体配置的一个或多个硬件处理器来实现。该计算机软件使用计算机可读指令并且物理地存储在一个或多个计算机可读介质中。例如，图14示出了适合于实现所公开主题的某些实施例的计算机系统1400。
可以使用任何合适的机器代码或计算机语言对计算机软件进行编码，任何合适的机器代码或计算机语言可以经受汇编、编译、链接或类似的机制以创建包括指令的代码，该指令可以由一个或多个计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过译码、微码等执行。
指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板计算机、服务器、智能手机、游戏装置、物联网装置等。
图14所示的计算机系统1400的组件本质上是示例性的，并且不旨在对实施本申请实施例的计算机软件的用途或功能的范围提出任何限制。组件的配置也不应被解释为具有与计算机系统1400的示例性实施例中所示的组件中的任何一个组件或组件的组合有关的任何依赖或要求。
计算机系统1400可以包括某些人机接口输入装置。此类人机接口输入装置可以响应于一个或多个人类用户通过例如下述的输入：触觉输入(例如：击键、划动，数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入(未描绘出)。人机接口装置还可以用于采集不一定与人的意识输入直接相关的某些媒介，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描的图像、从静止图像相机获取摄影图像)、视频(例如二维视频、包括立体视频的三维视频)等。
输入人机接口装置可以包括以下中的一项或多项(每种中仅示出一个)：键盘1401、鼠标1402、触控板1403、触摸屏1410、操纵杆1405、麦克风1406、扫描仪1408、相机1407。
计算机系统1400还可以也可以包括某些人机接口输出装置。这样的人机接口输出装置可以例如通过触觉输出、声音、光和气味/味道来刺激一个或多个人类用户的感官。此类人机接口输出装置可以包括触觉输出装置(例如触摸屏1410的触觉反馈、或操纵杆1405，但也可以是不作为输入装置的触觉反馈装置)、音频输出装置(例如：扬声器1409、耳机(未示出))、视觉输出装置(例如包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕的屏幕1410，每种屏幕有或没有触摸屏输入功能，每种屏幕都有或没有触觉反馈功能，其中的一些屏幕能够通过诸如立体图像输出之类的装置、虚拟现实眼镜(未描绘出)、全息显示器和烟箱(未描绘出)以及打印机(未描绘出)来输出二维视觉输出或超过三维的输出。
计算机系统1400也可以包括人类可访问存储装置及其关联介质：例如包括具有CD/DVD 1411等介质的CD/DVD ROM/RW 1420的光学介质、指状驱动器1422、可拆卸硬盘驱动器或固态驱动器1423、诸如磁带和软盘之类的传统磁性介质(未示出)、诸如安全软件狗之类的基于专用ROM/ASIC/PLD的装置(未示出)等。
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不涵盖传输介质、载波或其他瞬时信号。
计算机系统1400还可以包括到一个或多个通信网络1498的接口1499。网络1498可以例如是无线网络、有线网络、光网络。网络可以进一步地是本地网络、广域网络、城域网络、车辆和工业网络、实时网络、耐延迟网络等。网络1498的示例包括诸如以太网之类的局域网、无线LAN、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络、包括CANBus的车辆和工业用电视等等。某些网络1498通常需要连接到某些通用数据端口或外围总线(1450和1451)的外部网络接口适配器(例如计算机系统1400的USB端口)；如下所述，其他网络接口通常通过连接到系统总线而集成到计算机系统1400的内核中(例如，连接到PC计算机系统中的以太网接口或连接到智能手机计算机系统中的蜂窝网络接口)。计算机系统1400可以使用这些网络中的任何一个网络与其他实体通信。此类通信可以是仅单向接收的(例如，广播电视)、仅单向发送的(例如，连接到某些CANbus装置的CANbus)或双向的，例如，使用局域网或广域网数字网络连接到其他计算机系统。如上所述，可以在那些网络和网络接口的每一个上使用某些协议和协议栈。
上述人机接口装置、人机可访问的存储装置和网络接口可以附接到计算机系统1400的内核1440。
内核1440可以包括一个或多个中央处理单元(CPU)1441、图形处理单元(GPU)1442、现场可编程门区域(FPGA)1443形式的专用可编程处理单元、用于某些任务的硬件加速器1444等。这些装置以及只读存储器(ROM)1445、随机存取存储器1446、诸如内部非用户可访问的硬盘驱动器、SSD等之类的内部大容量存储器1447可以通过系统总线1448连接。在一些计算机系统中，可以以一个或多个物理插头的形式访问系统总线1448，以能够通过附加的CPU、GPU等进行扩展。外围装置可以直接连接到内核的系统总线1448或通过外围总线1449连接到内核的系统总线1448。外围总线的体系结构包括PCI、USB等。
CPU 1441、GPU 1442、FPGA 1443和加速器1444可以执行某些指令，这些指令可以组合来构成上述计算机代码。该计算机代码可以存储在ROM 1445或RAM 1446中。过渡数据也可以存储在RAM 1446中，而永久数据可以例如存储在内部大容量存储器1447中。可以通过使用高速缓存来进行到任何存储装置的快速存储及检索，该高速缓存可以与下述紧密关联：一个或多个CPU 1441、GPU 1442、大容量存储1447、ROM 1445、RAM 1446等。
计算机可读介质可以在其上具有执行各种由计算机实现的操作的计算机代码。介质和计算机代码可以是出于本公开的目的而专门设计和构建的介质和计算机代码，或者介质和计算机代码可以是计算机软件领域的技术人员公知且可用的类型。
作为非限制性示例，可以由于一个或多个处理器(包括CPU、GPU、FPGA、加速器等)执行包含在一种或多种有形的计算机可读介质中的软件而使得具有架构1400，特别是内核1440的计算机系统提供功能。此类计算机可读介质可以是与如上所述的用户可访问的大容量存储相关联的介质，以及某些非暂时性内核1440的存储器，例如内核内部大容量存储器1447或ROM 1445。可以将实施本申请的各种实施例的软件存储在此类装置中并由内核1440执行。根据特定需要，计算机可读介质可以包括一个或多个存储装置或芯片。软件可以使得内核1440，特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所描述的特定过程或特定过程的特定部分，包括定义存储在RAM 1446中的数据结构以及根据由软件定义的过程来修改此类数据结构。附加地或替换地，可以由于硬连线或以其他方式体现在电路(例如，加速器1444)中的逻辑而使得计算机系统提供功能，该电路可以替换软件或与软件一起运行以执行本文描述的特定过程或特定过程的特定部分。在适当的情况下，提及软件的部分可以包含逻辑，反之亦然。在适当的情况下，提及计算机可读介质的部分可以包括存储用于执行的软件的电路(例如集成电路(IC))、体现用于执行的逻辑的电路或包括两者。本申请包括硬件和软件的任何合适的组合。
尽管本申请已经描述了多个示例性实施例，但是存在落入本申请的范围内的修改、置换和各种替换等效物。因此，应当理解，本领域技术人员将能够设计出许多虽然未在本文中明确示出或描述，但体现了本申请的原理，因此落入本申请的其精神和范围内的系统和方法。

Claims (20)

1.一种视频编码方法，包括：
获取视频数据；
基于所述视频数据创建指示段带宽并包括媒体自适应集的多个对齐段的信息的定时元数据轨道，使得每个所述对齐段的持续时间信息和大小信息包括在至少一个元数据样本中；
基于所述定时元数据轨道是否指示至少溢出到多个表示中的每个表示的输入缓冲器，切换到所述视频数据的所述多个表示中的一个表示；以及
将所述多个表示中的一个表示作为事件流的一部分并基于事件流中指示的至少一种模式传递到客户端。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述至少一种模式是否为接收中模式。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在确定所述至少一种模式是接收中模式的情况下，确定所述事件流的事件消息emsg信息是否指示第一版本emsg和第二版本emsg中的一个或多个。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述第一版本emsg被确定的情况下，响应于确定所述事件流的呈现时间字段和事件持续时间字段中的至少一个为零，将所述事件流的事件的呈现时间信息设置为零。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述第一版本emsg被确定的情况下，响应于确定所述事件流的呈现时间字段和事件持续时间字段中的至少一个为零，将所述事件流的事件的消息数据设置为预定消息。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述第一版本emsg被确定的情况下，响应于确定所述事件流的呈现时间字段和事件持续时间字段中的至少一个为零，将所述事件流的事件的呈现时间信息设置为零，并将所述事件流的事件的消息数据设置为预定消息。
7.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述第二版本emsg被确定的情况下，响应于确定呈现时间字段等于另一呈现时间以及事件持续时间字段等于零，将所述事件流的事件的呈现时间信息设置为零。
8.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述第二版本emsg被确定的情况下，响应于确定呈现时间字段等于另一呈现时间以及事件持续时间字段等于零，将所述事件流的事件的消息数据设置为预定消息。
9.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在第二版本emsg被确定的情况下，响应于确定呈现时间字段等于另一呈现时间以及事件持续时间字段等于零，将所述事件流的事件的呈现时间信息设置为零，并将所述事件流的事件的消息数据设置为预定消息。
10.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述第一版本emsg被确定的情况下，响应于确定事件流的呈现时间字段和事件持续时间字段中的至少一个为零，将所述事件流的事件的呈现时间信息设置为零，并将所述事件流的事件的消息数据设置为预定消息；以及
在所述第二版本emsg被确定的情况下，响应于确定呈现时间字段等于另一呈现时间以及事件持续时间字段等于零，将所述事件流的事件的呈现时间信息设置为零，并将所述事件流的事件的消息数据设置为预定消息。
11.一种用于视频流传输的装置，包括：
至少一个存储器，配置为存储计算机程序代码；
至少一个处理器，配置为访问所述计算机程序代码，并按照所述计算机程序代码的指示操作，所述计算机程序代码包括：
获取代码，配置为使所述至少一个处理器获取视频数据；
创建代码，配置为使所述至少一个处理器基于所述视频数据创建指示段带宽并包括媒体自适应集的多个对齐段的信息的定时元数据轨道，使得每个所述对齐段的持续时间信息和大小信息包括在至少一个元数据样本中；
切换代码，配置为使所述至少一个处理器基于所述定时元数据轨道是否指示至少溢出到多个表示中的每个表示的输入缓冲器，切换到所述视频数据的多个表示中的一个表示；以及
传递代码，配置为使所述至少一个处理器将所述多个表示中的一个表示作为事件流的一部分并基于所述事件流中指示的至少一种模式传递到客户端。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
确定代码，配置为使所述至少一个处理器确定所述至少一种模式是否为接收中模式。
13.根据权利要求12所述的装置，其特征在于，所述确定代码被进一步配置为使所述至少一个处理器在确定所述至少一种模式是接收中模式的情况下，确定所述事件流的事件消息emsg信息是否指示第一版本emsg和第二版本emsg中的一个或多个。
14.根据权利要求13所述的装置，其特征在于，所述装置进一步包括：
设置代码，配置为使所述至少一个处理器在所述第一版本emsg被确定的情况下，响应于确定所述事件流的呈现时间字段和事件持续时间字段中的至少一个为零，将所述事件流的事件的呈现时间信息设置为零。
15.根据权利要求13所述的装置，其特征在于，所述装置进一步包括：
设置代码，配置为使所述至少一个处理器在所述第一版本emsg被确定的情况下，响应于确定所述事件流的呈现时间字段和事件持续时间字段中的至少一个为零，将所述事件流的事件的消息数据设置为预定消息。
16.根据权利要求13所述的装置，其特征在于，所述装置进一步包括：
设置代码，配置为使所述至少一个处理器在所述第一版本emsg被确定的情况下，响应于确定所述事件流的呈现时间字段和事件持续时间字段中的至少一个为零，将所述事件流的事件的呈现时间信息设置为零，并将所述事件流的事件的消息数据设置为预定消息。
17.根据权利要求13所述的装置，其特征在于，所述装置进一步包括：
设置代码，配置为使所述至少一个处理器在所述第二版本emsg被确定的情况下，响应于确定呈现时间字段等于另一呈现时间以及事件持续时间字段等于零，将所述事件流的事件的呈现时间信息设置为零。
18.根据权利要求13所述的装置，其特征在于，所述装置进一步包括：
设置代码，配置为使所述至少一个处理器在所述第二版本emsg被确定的情况下，响应于确定呈现时间字段等于另一呈现时间以及事件持续时间字段等于零，将所述事件流的事件的消息数据设置为预定消息。
19.根据权利要求13所述的装置，其特征在于，所述装置进一步包括：
设置代码，配置为使所述至少一个处理器在第二版本emsg被确定的情况下，响应于确定呈现时间字段等于另一呈现时间以及事件持续时间字段等于零，将所述事件流的事件的呈现时间信息设置为零，并将所述事件流的事件的消息数据设置为预定消息。
20.一种非暂时性计算机可读介质，存储有使计算机执行处理的程序，所述处理包括：
获取视频数据；
基于所述视频数据创建指示段带宽并包括媒体自适应集的多个对齐段的信息的定时元数据轨道，使得每个所述对齐段的持续时间信息和大小信息包括在至少一个元数据样本中；
基于所述定时元数据轨道是否指示至少溢出到多个表示中的每个表示的输入缓冲器，切换到所述视频数据的所述多个表示中的一个表示；以及
将所述多个表示中的一个表示作为事件流的一部分并基于事件流中指示的至少一种模式传递到客户端。
CN202180005910.7A 2020-10-07 2021-08-06 Mpd有效期到期处理模型 Pending CN114667738A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063088681P 2020-10-07 2020-10-07
US63/088,681 2020-10-07
US17/366,189 2021-07-02
US17/366,189 US11687386B2 (en) 2020-10-07 2021-07-02 MPD validity expiration processing model
PCT/US2021/044934 WO2022076074A1 (en) 2020-10-07 2021-08-06 Mpd validity expiration processing model

Publications (1)

Publication Number Publication Date
CN114667738A true CN114667738A (zh) 2022-06-24

Family

ID=80932318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180005910.7A Pending CN114667738A (zh) 2020-10-07 2021-08-06 Mpd有效期到期处理模型

Country Status (6)

Country Link
US (1) US11687386B2 (zh)
EP (1) EP4049412A4 (zh)
JP (1) JP7434561B2 (zh)
KR (1) KR20220093339A (zh)
CN (1) CN114667738A (zh)
WO (1) WO2022076074A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130042015A1 (en) * 2011-08-12 2013-02-14 Cisco Technology, Inc. Constant-Quality Rate-Adaptive Streaming
US20140059180A1 (en) * 2012-08-22 2014-02-27 Futurewei Technologies, Inc. Carriage of ISO-BMFF Event Boxes in an MPEG-2 Transport Stream
US20150026358A1 (en) * 2013-07-19 2015-01-22 Futurewei Technologies, Inc. Metadata Information Signaling And Carriage In Dynamic Adaptive Streaming Over Hypertext Transfer Protocol
US20150074129A1 (en) * 2013-09-12 2015-03-12 Cisco Technology, Inc. Augmenting media presentation description and index for metadata in a network environment
CN106034262A (zh) * 2015-03-13 2016-10-19 中兴通讯股份有限公司 自适应流媒体处理方法及装置
US20180077210A1 (en) * 2016-09-09 2018-03-15 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
WO2018069357A1 (en) * 2016-10-10 2018-04-19 Canon Kabushiki Kaisha Methods, devices, and computer programs for improving rendering display during streaming of timed media data
US20190281100A1 (en) * 2018-03-12 2019-09-12 Qualcomm Incorporated Processing interactivity events for streaming media data
US20190325652A1 (en) * 2016-12-30 2019-10-24 Huawei Technologies Co., Ltd. Information Processing Method and Apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768222B1 (ko) * 2010-07-20 2017-08-16 삼성전자주식회사 적응적 스트리밍 방식의 컨텐트 송수신 방법 및 장치
TW201618517A (zh) * 2014-07-01 2016-05-16 Ｖｉｄ衡器股份有限公司 藉由媒體播放器裝置在媒體串流中伺服器端通信期控制
CN107567702B (zh) * 2015-04-24 2021-01-12 Vid拓展公司 在自适应流传送中检测中间人攻击
US10735794B2 (en) * 2016-03-28 2020-08-04 Sony Corporation Information processing device, information processing method, and information processing system
BR112019000571A2 (pt) * 2016-07-20 2019-07-02 Sony Corp dispositivo de recepção e método de processamento de dados.
US11438647B2 (en) * 2018-05-11 2022-09-06 Qualcomm Incorporated Signaling missing sections of media data for network streaming in a manifest file
WO2020183053A1 (en) * 2019-03-14 2020-09-17 Nokia Technologies Oy Method and apparatus for late binding in media content
US11564018B2 (en) * 2019-10-02 2023-01-24 Qualcomm Incorporated Random access at resync points of dash segments

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130042015A1 (en) * 2011-08-12 2013-02-14 Cisco Technology, Inc. Constant-Quality Rate-Adaptive Streaming
US20140059180A1 (en) * 2012-08-22 2014-02-27 Futurewei Technologies, Inc. Carriage of ISO-BMFF Event Boxes in an MPEG-2 Transport Stream
US20150026358A1 (en) * 2013-07-19 2015-01-22 Futurewei Technologies, Inc. Metadata Information Signaling And Carriage In Dynamic Adaptive Streaming Over Hypertext Transfer Protocol
US20150074129A1 (en) * 2013-09-12 2015-03-12 Cisco Technology, Inc. Augmenting media presentation description and index for metadata in a network environment
CN106034262A (zh) * 2015-03-13 2016-10-19 中兴通讯股份有限公司 自适应流媒体处理方法及装置
US20180077210A1 (en) * 2016-09-09 2018-03-15 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
WO2018069357A1 (en) * 2016-10-10 2018-04-19 Canon Kabushiki Kaisha Methods, devices, and computer programs for improving rendering display during streaming of timed media data
US20190325652A1 (en) * 2016-12-30 2019-10-24 Huawei Technologies Co., Ltd. Information Processing Method and Apparatus
US20190281100A1 (en) * 2018-03-12 2019-09-12 Qualcomm Incorporated Processing interactivity events for streaming media data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"《DASH Player’s Application Events and Timed Metadata Processing Models and APIs (Community Review)》", pages 1 - 20, Retrieved from the Internet <URL:https://dashif-documents.azurewebsites.net/Events/master/event.pdf> *

Also Published As

Publication number Publication date
JP2023507317A (ja) 2023-02-22
US20220107854A1 (en) 2022-04-07
EP4049412A4 (en) 2022-12-07
US11687386B2 (en) 2023-06-27
EP4049412A1 (en) 2022-08-31
WO2022076074A1 (en) 2022-04-14
KR20220093339A (ko) 2022-07-05
JP7434561B2 (ja) 2024-02-20

Similar Documents

Publication Publication Date Title
CN113892260A (zh) 用于随机存取点和图片类型的标识的方法
CN113348666B (zh) 用于对编码视频流进行解码的方法和系统
CN114556942A (zh) 用于无损和近无损压缩的量化器
CN114641976B (zh) 用于流式传输媒体内容的方法、设备和计算机可读介质
JP7254188B2 (ja) 点群符号化のためのパラメータセット設計の方法並びにその装置及びプログラム
CN113545066A (zh) 视频编解码中的已解码图片缓冲器管理
CN114616801B (zh) 视频编码的方法、装置、设备以及存储介质
US11546637B2 (en) Method for signaling dependent and independent picture header
CN115867906A (zh) 使用基于会话的dash操作的基于会话的描述url定制
CN113491128B (zh) 已解码图片存储器管理的方法和相关装置
CN114514752A (zh) 用于交互式播放dash内容的应用程序预期交互式选择信息
CN114270329A (zh) 清单内更新事件
CN114073084A (zh) 在视频码流中有效发信号通知图片大小和分区信息的方法和装置
US11687386B2 (en) MPD validity expiration processing model
CN113711605B (zh) 视频编解码的方法、装置、系统以及计算机可读介质
JP7345669B2 (ja) セッションベースのｄａｓｈ動作を使用したｕｒｌカスタマイズ
CN116762343A (zh) 用于注释dash中vvc子画面的方法
CN113711605A (zh) 用于在已编码图片中支持混合nal单元类型的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40071734

Country of ref document: HK