CN101669369B - 媒体文件中的多个解码时间的信号传输 - Google Patents

媒体文件中的多个解码时间的信号传输 Download PDF

Info

Publication number
CN101669369B
CN101669369B CN2008800132639A CN200880013263A CN101669369B CN 101669369 B CN101669369 B CN 101669369B CN 2008800132639 A CN2008800132639 A CN 2008800132639A CN 200880013263 A CN200880013263 A CN 200880013263A CN 101669369 B CN101669369 B CN 101669369B
Authority
CN
China
Prior art keywords
sampling
decode time
standby
decode
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008800132639A
Other languages
English (en)
Other versions
CN101669369A (zh
Inventor
王业奎
M·汉努克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101669369A publication Critical patent/CN101669369A/zh
Application granted granted Critical
Publication of CN101669369B publication Critical patent/CN101669369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64707—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless for transferring content from a first network to a second network, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

在本发明一方面，本发明的示例性实施例提供以文件格式等级为每个采样提供信号传输多个解码时间的能力，以例如在解码整个流和解码流的子集之间允许每个采样(或采样子集)具有不同的解码时间。指定备用的解码时间盒，以考虑为每个采样信号传输多个解码时间。这种盒可包含允许从备用的解码时间向采样数目索引的表的紧缩版本，其中备用的解码时间是当仅解码轨道中存储的基本流子集时由采样使用的解码时间。此外，表中的每个条目提供具有相同时间变量的连续采样的数目，并且所述变量位于那些连续采样之间。通过增加变量可构建完整的时间-采样图。

Description

媒体文件中的多个解码时间的信号传输
技术领域
本发明一般涉及媒体内容存储领域。更具体地，本发明涉及信号传输媒体文件中的多个解码时间。
背景技术
这部分旨在提供在权利要求书中列举的本发明的背景或环境。这里的说明可包括能够遵循的概念，但是不必是先前已经构思或遵循的概念。因此，除非在这里指示，否则在这部分中描述的内容不是本申请中的说明书和权利要求的现有技术，并且不容许作为现有技术包含在这部分中。
视频编码标准包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-TH.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、和ITU-T H.264(还已知为ISO/IEC MPEG-4 AVC)。此外，目前存在正在进行的与新视频编码标准的开发关联的努力。在开发中的一个这样的标准是SVC标准，其将成为对H.264/AVC的可扩展延伸。在开发中的另一标准是多视图编码标准(MVC)，这也是H.264/AVC的延伸。此外，另一个这样的努力涉及中国视频编码标准的开发。
在JVT-V201“Joint Draft 9 of SVC Amendment”，第22次JVT会议，马拉喀什，摩洛哥，2007年1月中描述了SVC标准的草案，其可从http://ftp3.itu.ch/av-arch/jvt-site/2007 01 Marrakech/JVT-V201.zip获得。在JVT-V209“Joint Draft 2.0 on Multiview Video Coding”，第22次JVT会议，马拉喀什，摩洛哥，2007年1月中描述了MVC标准的草案，其可从http://ftp3.itu.ch/av-arch/jvt-site/2007 01 Marrakech/JVT-V209.zip获得。
典型地，将可扩展媒体按顺序放入具有等级的数据层中，其中可将视频信号编码到基础层和一个或多个增强层中。基础层可包含诸如视频序列的编码媒体流的各种表示。增强层可包含相对于层等级中的先前层的改进的数据。在向基础层增加增强层时，解码媒体流的质量逐渐提高。增强层提高时间分辨率(即帧速率)、空间分辨率、和/或仅仅提高由另一层或其部分呈现的视频内容的质量。在某个空间分辨率、时间分辨率和/或质量水平方面，每个层与所有其依赖层一起是视频信号的一个表示。因此，这里使用术语“可扩展层表示”来描述可扩展层与其所有依赖层。可提取和解码与可扩展层表示对应的可扩展位流的部分，以按某个保真度生成原始信号的表示。
引入视频编码标准的可扩展性的最早类型是在MPEG-1Visual中具有B图片的时间可扩展性。根据这种B图片时间可扩展性，从两个图片对B图片进行双边预测，其中两个图片都按显示顺序，一个在B图片之前，另一个在B图片之后。此外，B图片是非基准图片，即，其不被其他图片用于图片间的预测基准。因此，可丢弃B图片以实现具有更低帧速率的时间可扩展点。在MPEG-2Video、H.263和MPEG-4Visual中保持相同的机制。
在H.264/AVC中，概括了B图片或B片段的概念。可以从按显示顺序的在相同方向的两个基准图片预测B片段中的块，并且包括B片段的图片可被其他图片引用以进行图片间预测。传统B图片时间可扩展性的双向预测属性和非基准图片属性都不再有效。
在H.264/AVC、SVC和MVC中，可通过使用如下更详细描述的非基准图片和/或有等级的图片间预测结构来实现时间可扩展性。应理解，通过仅使用非基准图片，可能实现与通过使用MPEG-1/2/4中的传统B图片所实现的类似的时间可扩展性。这可通过丢弃非基准图片来完成。或者，使用有等级的编码结构可实现更灵活的时间可扩展性。
图1示出具有4个级别的时间可扩展性的传统的有等级编码结构。显示顺序由表示为图片顺序计数(POC)的值来指示。按解码顺序将I或P图片(还称为关键图片)编码为图片组(GOP)的第一图片。当对关键图片进行中间编码时，将先前的关键图片用作图片间预测的基准。因此，这些图片对应于时间可扩展结构中的最低的时间级别(在图1中表示为TL)，并且与最低帧速率关联。应理解，更高时间级别的图片可仅使用相同或更低时间级别的图片用于图片间预测。通过这种具有等级的编码结构，可通过丢弃某个时间级别值的或超过某个时间级别值的图片来实现与不同帧速率对应的不同时间可扩展性。
例如，再参照图1，图片0、108和116具有最低时间等级，即TL0，而图片101、103、105、107、109、111、113、和115具有最高时间等级，即TL3。对剩余图片102、106、110、和114按等级的方式分配另一TL，并且他们构成不同帧速率的位流。应注意，通过解码GOP中的所有时间等级，可实现最高帧速率。可通过丢弃某些时间等级的图片来获得更低帧速率。应注意，具有较低时间等级或较低帧速率的时间可扩展层还可称为较低时间层。
上述具有等级的B图片编码结构是用于时间可扩展性的典型编码结构。然而，应注意，可能有更灵活的编码结构。例如，GOP大小不必随时间恒定。可替换地，时间增强层图片不必编码为B片段，但是可编码为P片段。
视频编码层(VCL)和网络提取层(NAL)的概念源自高级视频编码(AVC)。VCL包含编解码器的信号处理功能，例如，转换、量化、运动补偿预测、环路滤波、和层间预测的机制。基础层或增强层的编码图片包括一个或多个片段。NAL将VCL生成的每个片段封装到一个或多个NAL单元中。
每个SVC层由NAL单元形成，表示该层的编码视频位。仅承载一个层的实时传输协议(RTP)流将承载仅属于该层的NAL单元。承载完整的可扩展视频位流的RTP流将承载基础层和一个或多个增强层的NAL单元。SVC指定这些NAL单元的解码顺序。
在一些情况下，可在某个位置之后或在任意位置截断增强层中的数据，其中每个截断位置可包括表示逐渐增强了视觉质量的附加数据。在截断点紧密间隔时，可扩展性被称为“细粒度”，因此为术语“细粒度的(颗粒的)可扩展性”(FGS)。与FGS相反，仅可在某些粗糙位置截断的由那些增强层提供的可扩展性称为“粗粒度的(颗粒的)可扩展性”(CGS)。此外，上述草案SVC编码标准还可支持通常被称为“中间粒度的(颗粒的)可扩展性”(MGS)。根据MGS，质量增强图片与CGS可扩展层图片类似地被编码，但是如类似于对FGS层图片的操作，可由高等级语法元素来指示。应注意，增强层可共同地包括CGS、MGS、和FGS质量(SNR)可扩展性和空间可扩展性。
根据H.264/AVC，访问单元包括一个主要的编码图片。在一些系统中，可通过将访问单元分隔符NAL单元插入位流来简化访问单元边界的检测。在SVC中，访问单元可包括多个主要的编码图片，但是至多一个图片具有dependency_id、temporal_id、和quality_id的每个唯一组合。这里所述的编码图片指的是在具有dependency_id和quality_id的特定值的访问单元中的所有NAL单元。应注意，在SVC中使用的术语可以改变。因此，在这里可称为编码图片的可随后用另一术语来引用，例如层表示。
SVC使用与H.264/AVC中使用的类似机制来提供具有等级的时间可扩展性。在SVC中，可以在不影响剩余位流的解码的情况下从编码位流放弃某组基准和非基准图片。具有等级的时间可扩展性需要多个基准图片用于运动补偿，即，存在包含多个解码图片的基准图片缓冲器，编码器可从中选择基准图片用于中间预测。在H.264/AVC中，称为子序列的特征支持具有等级的时间可扩展性，其中每个增强层包含子序列并且每个子序列包含多个基准和/或非基准图片。子序列还包括多个中间依赖图片，可在不干扰任意较低子序列层中的任意其他子序列的情况下设置。子序列基于他们彼此的依赖性有等级地排列，并且等同于SVC中的时间级别。因此，当设置最高子序列层中的子序列时，剩余位流保持有效。在H.264/AVC中，通过使用子序列关联的补充增强信息(SEI)消息来实现时间可扩展性信息的信号传输。在SVC中，在NAL单元的标头中指示时间级别的等级。
文件格式是多媒体内容生成、操作、传输和消费链中的重要元素。在编码格式和文件格式之间存在不同。编码格式涉及将内容信息编码成位流的特定编码算法的行为。相反，文件格式包括以这样的方式组织所生成的位流的系统/结构，即，其可被访问以用于本地解码和回放，可被作为文件传送，或流传输，这些都利用各种存储和传输架构。此外，文件格式可便于媒体的交换和编辑。例如，许多流传输应用需要在服务器上伴随有在“提示轨道(hint-track)”中存储的元数据的预编码位流，其协助服务器将视频流传输至客户端。在提示轨道元数据中可包括的信息的实例包括定时信息、同步点的指示、和分包提示。该信息用于减少服务器的操作负担，并最大化最终用户的体验。
一个可用的媒体文件格式标准包括面向对象的、ISO基础媒体文件格式文件结构，其中可将文件分解成其组成对象，并且可从组成对象的类型和位置直接推断他们的结构。此外，ISO基础媒体文件格式被设计为包含定时的媒体信息，用于以灵活的、可扩展的格式呈现，其便于媒体的交换、管理、编辑、和呈现。实际文件具有逻辑结构、时间结构、和物理结构，尽管这些结构不需要连接。
文件的逻辑结构可比作“电影”的逻辑结构，其包含时间并行的轨道的集合。文件的时间结构通过包含按时间的采样序列的轨道来代表，并通过可选的编辑列表将那些序列映射到整个电影的时间轴。文件的物理结构从媒体数据采样自身分离出逻辑、时间、和结构分解所需的数据。这种结构信息通过记录采样的逻辑和定时关系的轨道来代表，并且还包含对他们定位的指针。指针可引用相同文件中或另一文件中的媒体数据，例如通过统一资源定位符来引用。
每个媒体流包含在专用于该媒体类型(音频、视频等)的轨道中，并且还通过采样条目来参数化。采样条目包含精确媒体类型(即解码流所需的解码器的类型)的“名称”以及所需解码器的任意参数。此外，通过媒体采样的时间戳来同步轨道。此外，轨道可通过轨道基准连接在一起，其中轨道可形成彼此的替代，例如，两个音频轨道包含不同语言。
在轨道中的一些采样具有特定特征，或者需要被单独识别，例如同步点(通常是视频I帧)。这些同步点通过每个轨道中的专用表来识别。更具体地，还可记录轨道采样之间的从属性特征。此外，可利用命名的、参数化的采样组的概念。这些命名的、参数化的采样组允许记录由轨道的某些采样共享的任意特征。在SVC文件格式中，使用采样组来描述具有某个NAL单元结构的采样。
所有文件以文件类型盒开始，该文件类型盒定义文件的最佳使用和文件符合的规格(其被记录为“牌(brand)”)。在文件类型盒中存在牌指示了要求和许可两者：由文件作者进行的要求是该文件符合的规格；以及对读者的许可，可能仅实现读取文件和解释文件的规格。
在上述电影结构的情况下，“电影”盒可包含一组“轨道”盒，例如，用于视频轨道的轨道盒、用于音频轨道的轨道盒、和用于提示轨道的轨道盒。而每个轨道可包含针对一个流的包括但不限于定时、材料特性(例如视频、音频等)的信息、视觉信息、初始化信息(例如采样条目表)、以及关于可在哪里找到编码数据的信息以及其大小等。换句话说，轨道盒可包含与实际媒体内容数据相关的元数据。例如，除了其他元素之外，每个轨道可包含具有采样描述盒的采样表盒，其中采样描述盒保存某些信息，例如，在MPEG-4 AVC视频的解码器配置记录中包含的信息，这是解码器为了初始化而所需的信息。此外，采样表盒保存多个表，其包含定时信息和媒体数据的指针。换句话说，视频和音频数据可按块交织存储在媒体数据容器/盒中。最后，提示轨道可包含关于如何处理文件用于流传输的预计算的指令。
此外，通过SVC，可使用SEI消息来信号传输与多个解码时间相关的信息。然而，从SEI消息提取所需的解码时间需要使得文件读取器配备有熵解码器。此外，对媒体数据采样解析以找到包含与解码时间相关的信息的SEI消息也可能是一个负担。因此，这样的需求可导致给提供所存储的位流的子集的那些服务器增加实施和计算复杂度。ISO基础媒体文件格式及其派生物(例如SVC文件格式)考虑到为包含一个访问单元的每个采样信号传输解码时间。然而，对于可扩展媒体，当仅需要解码采样的子集或采样子集时，每个采样或采样子集的解码时间可能不同于解码整个流的解码时间。
发明内容
在第一方面，根据本发明的示例性实施例提供一种方法，包括：将第一定时数据存储在媒体文件的轨道盒中，所述第一定时数据描述在所述媒体文件的关联的媒体数据盒中存储的编码的多媒体内容的至少一个采样的解码时间；以及存储用于所述编码多媒体内容的至少一个采样的备用解码时间数据，所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值。
在另一方面，根据本发明的示例性实施例提供一种方法，包括：将第一定时数据存储在媒体文件的轨道盒中，所述第一定时数据描述在所述媒体文件的关联的媒体数据盒中存储的编码多媒体内容的至少一个采样的解码时间；以及如果对所述编码多媒体内容的子集进行解码，则存储所述编码多媒体内容的至少一个采样的备用解码定时数据以供使用。
在另一方面，根据本发明的示例性实施例提供一种装置，包括：处理器；以及存储器单元，与所述处理器耦合。所述装置还包括：编码器，被配置为：将第一定时数据存储在媒体文件的轨道盒中，所述第一定时数据描述在所述媒体文件的关联的媒体数据盒中存储的编码的多媒体内容的至少一个采样的解码时间；以及存储用于所述编码多媒体内容的至少一个采样的备用解码时间数据，所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值。
在另一方面，根据本发明的示例性实施例提供一种方法，包括：解析包括媒体位流和第一定时数据的媒体文件，所述第一定时数据描述所述媒体位流的至少一个采样的解码时间；确定是否为解码整体的媒体位流和解码所述媒体位流的子集中的一个；在确定解码所述媒体位流的子集时，解析所述媒体位流的子集的至少一个采样的备用解码定时数据；以及根据所述备用解码定时数据解码媒体位流的子集。
在另一方面，根据本发明的示例性实施例提供一种装置，包括：处理器；以及存储器单元，可操作地连接至所述处理器。所述装置还包括：文件解析器，用以执行以下操作：解析包括媒体位流和第一定时数据的媒体文件，所述第一定时数据描述所述煤体位流的至少一个采样的解码时间；确定是否为解码整体的媒体位流和解码所述媒体位流的子集中的一个；在确定解码所述媒体位流的子集时，解析所述媒体位流的子集的至少一个采样的备用解码定时数据。所述装置还包括：解码器，用以根据所述备用解码定时数据解码媒体位流的子集。
在另一方面，根据本发明的示例性实施例提供一种存储容器文件的计算机可读介质，包括：多个轨道；在轨道盒中包含的第一定时数据，所述第一定时数据描述在关联媒体数据盒中存储的编码多媒体内容的至少一个采样的解码时间；在所述盒中包含的备用定时数据，用于信号传输所述编码多媒体内容的至少一个采样的备用定时数据，所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值；以及标识符，用于标识所述至少一个采样的可扩展层。
在另一方面，根据本发明的示例性实施例提供一种装置，包括：处理器；以及存储器单元，与所述处理器耦合。所述装置还包括：被配置为将第一定时数据存储在媒体文件的轨道盒中的计算机代码，所述第一定时数据描述在所述媒体文件的关联的媒体数据盒中存储的编码多媒体内容的至少一个采样的解码时间；以及被配置为存储用于所述编码多媒体内容的至少一个采样的备用解码时间数据的计算机代码，所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值；被配置为存储用以标识所述至少一个采样的可扩展层的标识符的计算机代码。
在另一方面，根据本发明的示例性实施例提供一种装置，包括：处理器；以及存储单元，可操作地连接至所述处理器。所述装置还包括：解析包括媒体位流和第一定时数据的媒体文件的计算机代码，所述第一定时数据描述所述媒体位流的至少一个采样的解码时间；确定是否为解码整体的媒体位流和解码所述媒体位流的子集中的一个以及在确定解码所述媒体位流的子集时，解析所述媒体位流的子集的至少一个采样的备用解码定时数据的计算机代码；以及被配置为根据所述备用解码定时数据解码媒体位流的子集的计算机代码；以及被配置为解析用以标识所述至少一个采样的可扩展层的标识符的计算机代码，。
附图说明
当结合附图时，根据以下具体实施方式，本发明示例性实施例的以上和其他优点和特点及其组织和操作方式将变得显而易见，其中在以下描述的几个附图中类似的元素具有类似的标号。
图1示出4个时间可扩展层的传统的等级结构。
图2示出本发明使用的一般多媒体通信系统。
图3是可在本发明的实现中使用的移动设备的透视图。
图4是图3的移动设备的设备电路的示意性表示。
图5是示出根据本发明示例性实施例的方法操作、计算机程序指令的执行结果的逻辑流程图。
图6是示出根据本发明示例性实施例的方法操作、计算机程序指令的执行结果的另一逻辑流程图。
图7是示出根据本发明示例性实施例的方法操作、计算机程序指令的执行结果的另一逻辑流程图。
具体实施方式
以下描述是这样的示例性方法、计算机程序和装置，即，为处于文件格式等级的每个采样提供信号传输多个解码时间的能力，以例如在解码整个流和解码流的子集之间允许每个采样或采样子集具有不同的解码时间。指定备用的解码时间盒，以考虑为每个采样信号传输多个解码时间。这种盒可包含允许从备用的解码时间向采样数目索引的表的紧缩版本，其中备用的解码时间是当仅解码轨道中存储的基本流子集时由采样使用的解码时间。此外，表中的每个条目提供具有相同时间变量的连续采样的数目，并且所述变量位于那些连续采样之间。因此，通过增加变量可构建完整的时间-采样图。各个示例性实施例的实施例如在解码整个流和解码流的子集之间允许采样或采样子集具有不同的解码时间。可以实施本发明的各个示例性实施例而无需存储服务器/元件具有额外元件和/或计算复杂度。
图2示出本发明使用的通用多媒体通信系统。如图2所示，数据源200提供模拟格式、非压缩数字格式、或压缩数字格式、或这些格式的任意组合的源信号。编码器210将源信号编码成编码媒体位流。编码器210能够编码多于一个媒体类型，例如音频和视频，或可需要多于一个编码器210来编码源信号的不同媒体类型。编码器210还可接收综合生成的输入(例如图形和文本)，或其能够生成合成媒体的编码位流。在下文中，仅考虑一个媒体类型的一个编码媒体位流的处理，以简化说明。然而，应注意，典型的实时广播服务包括几个流(典型地至少一个音频、视频和文本字幕流)。还应注意，系统可包括许多编码器，但是在下文中，仅考虑一个编码器210，以在不失一般性的情况下简化说明。
应理解，尽管这里包含的文本和实例可具体描述编码处理，但是本领域普通技术人员容易理解相同的概念和原理同样适用于相应的解码处理，反之亦然。
将编码媒体位流传送至存储器220。存储器220可包括用以存储编码媒体位流的任意类型大容量存储器。在存储器220中的编码媒体位流的格式可以是基本的自包含位流格式，或者可将一个或多个编码媒体位流封装到容器文件中。一些系统“现场”运行，即省略存储器，并将编码位流从编码器210直接传送到发送器230。然后，根据需要，将编码媒体位流传送到发送器230，其还称为服务器。在传输中使用的格式可以是基本的自包含位流格式、分组流格式，或者可将一个或多个编码媒体位流封装到容器文件中。编码器210、存储器220、和服务器230可驻留在相同物理设备中，或者他们可包括在单独设备中。编码器210和服务器230可通过现场实时内容来运行，在这种情况下典型地不永久地存储编码媒体位流，而是在内容编码器210中和/或服务器230中短时间缓冲，以平滑处理延迟、传输延迟、和编码媒体位速率的变化。
发送器230通过使用通信协议栈发送编码媒体位流。所述栈包括但不限于，实时传输协议(RTP)、用户数据报协议(UDP)、和互联网协议(IP)。当通信协议栈是面向分组时，发送器230将编码媒体位流封装到分组中。例如，当使用RTP时，发送器230根据RTP有效载荷格式将编码媒体位流封装到RTP分组中。典型地，每个媒体类型具有专用RTP有效载荷格式。还应注意，系统可包含多于一个发送器230，但是为了简单，以下描述仅考虑一个发送器230。
发送器230可通过通信网络连接至网关240，也可以不连接至网关240。网关240可执行不同类型的功能，例如，根据一个通信协议栈到另一通信协议栈转换分组流、合并和分离数据流、以及根据下行链路和/或接收机功能对数据流的操作(如根据主要下行链路网络条件控制被转发流的位速率)。网关240的实例包括多点会议控制单元(MCU)、电路交换和分组交换视频电话之间的网关、无线一键通(PoC)服务器、数字视频广播-手持(DVB-H)系统中的IP封装器、或向家庭无线网络本地转发广播传输的机顶盒。当使用RTP时，网关240称为RTP混合器，并用作RTP连接的端点。
系统包括一个或多个接收机250，其典型地能够接收所发送的信号，并将其解调制、和解封装成编码媒体位流。典型地，通过解码器260进一步处理编码媒体位流，所述解码器260的输出是一个或多个未压缩媒体流。最后，呈现器270可通过例如扬声器或显示器再现未压缩的媒体流。接收器250、解码器260、和呈现器270可驻留在相同物理设备中，或者他们可包含在单独设备中。
应注意，可以从虚拟位于任意类型网络中的远程设备接收要解码的位流。此外，可以从本地硬件或软件接收位流。
在位速率、解码复杂度、和图片大小方面，可扩展性是异构和易出错环境期望的属性。这种属性是期望的，以超越例如接收设备中的位速率、显示分辨率、网络吞吐量、和计算功率的限制。
本发明的通信设备可使用各种传输技术来通信，包括但不限于，码分多址(CDMA)、全球移动通信系统(GSM)、通用移动通信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/互联网协议(TCP/IP)、短消息服务(SMS)、多媒体消息服务(MMS)、电子邮件、即时消息服务(IMS)、蓝牙、IEEE 802.11等。通信设备可通过使用各种介质通信，包括但不限于，无线电、红外、激光、有线连接等。
图3和4示出其中可实现本发明的一个代表性移动设备12。然而，应理解，本发明不限于一个特定类型的移动设备12或其他电子设备。图3和4中所示的一些或全部特征可以结合到图2中所代表的任意或全部设备中。
图3和4的移动设备12包括：外壳30、液晶显示器形式的显示器32、键板34、麦克风36、耳机38、电池40、红外端口42、天线44、根据本发明一个实施例的UICC形式的智能卡46、读卡器48、无线电接口电路52、编解码器电路54、控制器56、和存储器58。各个电路和元件都是本领域公知的类型，例如在移动电话的Nokia领域中。
各个实施例提供了以文件格式等级为每个采样信号传输多个解码时间的能力，以例如在解码整个流和解码流的子集之间允许采样或采样子集具有不同的解码时间。此外，各个实施例还可以在存储服务器/元件(例如图2的存储器220)没有额外元件和/或计算复杂度的情况下实施。
根据第一实施例，如下指定“盒”(可称为备用的解码时间盒)，以允许为每个采样信号传输多个解码时间：
组类型：“adts”
容器：采样表盒(’stbl’)
强制性：无
数量：0或更多(每层一个)
这个盒可包含允许从备用的解码时间向采样数目索引的表的紧缩版本，其中如上所述，用包含时间采样序列的轨道代表文件的时间结构。备用的解码时间是当确定仅解码轨道中存储的基本流子集时由采样使用的解码时间。否则，当解码整个基础流时可使用由ISO基础媒体文件允许的传统解码时间及其派生物。此外，表中的每个条目提供具有相同时间变量delta的连续采样的数目，并且所述变量位于那些连续采样之间。因此，通过增加变量可构建完整的时间-采样图。
此外，盒可包含备用的解码时间变量，其中ADT(n+1)＝ADT(n)+sample_delta(n)，ADT(n)是采样n的备用解码时间，sample_delta(n)是采样n的(非压缩)表条目。ADT轴具有0原点，其中ADT(i)＝SUM(forj＝0 to i-1 of sample_delta(j))，并且所有变量的和给出轨道中特定媒体的长度。应注意，轨道中特定媒体的长度可小于可包含编辑列表的电影的总时长。还应注意，变量可等于0。
盒可通过以下语法结构来表征：
Figure GSB00000834502900131
此外，上述盒的语法结构的语义如下：
version是指定这个盒的版本的整数；
operation_point是指定应使用这个盒中被信号传输的解码时间的操作点的整数。应注意，操作点对应于在轨道中存储的基础流的子集的解码。还应注意，operation_point的值可等于tierId元素的值，其代表SVC文件格式可扩展层。此外，对于仅具有时间可扩展性的流，operation_point可等于时间层的标识符，例如SVC中的temporal_id元素，或AVC中的sub_seq_layer_id元素；
entry_count是在以下表中给出条目的数目的整数；
sample_count是计算具有给定备用解码时间变量的连续采样的数目的整数；以及
sample_delta是给出媒体的时间尺度内的采样之间的备用解码时间的变量的整数。
根据第二实施例，在以上指定的备用解码时间盒中，将sample_delta字段编码为“int(32)”而不是“unsigned_int(32)”。因此，根据“解码时间到采样的盒(Decoding Time to Sample Box)”，sample_delta字段可给出解码整个流的传统解码时间和备用解码时间之间对于相同采样而言的偏移。换句话说，如果采样n的根据Decoding Time to Sample Box的解码时间是DT(n)，则备用解码时间可通过ADT(n)＝DT(n)+sample_delta(n)来代表。
在方法步骤的通用环境中描述本发明，其可通过包括在网络环境中由计算机执行的计算机可执行指令(例如程序代码)的程序产品在一个实施例中实现。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。计算机可执行指令、关联数据结构、和程序模块代表用于执行这里所述的方法步骤的程序代码的实例。这种可执行指令或关联数据结构的特定序列代表用于实现在这种步骤中描述的功能的相应行为的实例。
可通过具有基于规则的逻辑和其他逻辑的标准编程技术实现本发明的软件和web方案，以实现各个数据库搜索步骤、关联步骤、比较步骤和决定步骤。还应注意，这里和权利要求书中使用的词语“部件”和“模块”旨在包含使用一行或多行软件代码的方案、和/或硬件方案、和/或接收手动输入的设备。
基于上述内容，显然地，本发明示例性实施例提供了提高媒体文件编码器和解码器的操作性的方法、装置和计算机程序。
例如，参照图5，根据一种方法和执行计算机程序指令的结果，在框5A，执行以下操作：将第一定时数据存储到媒体文件的轨道盒中，第一定时数据描述在媒体文件的关联的媒体数据盒中存储的编码多媒体内容的至少一个采样的解码时间；在框5B，执行以下操作：存储用于编码多媒体内容的至少一个采样的备用解码时间数据，备用解码时间数据表示为代表至少一个采样的解码时间的调整的变量值。
此外，通过实例，参照图6，根据另一种方法和执行计算机程序指令的结果，在框6A，执行以下操作：将第一定时数据存储到媒体文件的轨道盒中，第一定时数据描述在媒体文件的关联的媒体数据盒中存储的编码媒体流内容的至少一个采样的解码时间；在框6B，执行以下操作：如果对编码多媒体内容的子集进行解码，则存储编码多媒体内容的至少一个采样的备用解码定时数据以供使用。
此外，通过实例，参照图7，根据另一种方法和执行计算机程序指令的结果，在框7A，执行以下操作：解析包括媒体位流和第一定时数据的媒体文件，所述第一定时数据描述媒体位流的至少一个采样的解码时间；在框7B，执行以下操作：确定是否为解码整体的媒体位流和解码媒体位流的子集中的一个；在框7C，执行以下操作：在确定解码媒体位流的子集时，解析媒体位流的子集的至少一个采样的备用解码定时数据；以及在框7D，根据备用解码定时数据解码媒体位流的子集。
图5、6和7中所示的各个框可看作方法步骤和/或从计算机程序代码得到的操作，和/或被构建为执行关联功能的多个耦合逻辑电路元件。
一般地，各个实施例可以在硬件或专用电路、软件、逻辑或其任意组合中实现。例如，一些方面可以在硬件中实现，而其他方面可以在可由控制器、微处理器或其他计算设备执行的固件或软件中实现，但是本发明不限于此。尽管作为框图、流程图、或使用一些其他图形表示来示出和描述本发明的各个方面，但是可以很好地理解，这里描述的这些方框、装置、系统、技术或方法可以在作为非限制性实例的硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备、或一些组合中实现。
例如，应理解，本发明的示例性实施例的至少一些方面可在例如集成电路芯片和模块的各个组件中实现。因此，应理解，本发明的示例性实施例可以在体现为集成电路的装置中实现，其中集成电路可包括用于实现被配置为根据本发明的示例性实施例操作的数据处理器、数字信号处理器、基带电路和射频电路中的至少一个或多个的电路(以及可能的固件)。
当结合附图阅读时，本发明的上述示例性实施例的各种变型和修改对于本领域普通技术人员来说根据以上描述变得清楚。然而，任意或所有修改仍旧落入本发明的非限制和示例性实施例的范围内。
例如，尽管在以上某些视频编码标准的环境中描述了示例性实施例，但是应理解，本发明的示例性实施例不限于仅使用特定描述的视频编码标准，并且相比于其他视频和其他媒体关联的标准和文件类型和系统是有利的。
应注意，术语“连接”、“耦合”、或其任意变型表示在两个或更多个元素之间直接或间接的任意连接或耦合，并且可包括“连接”或“耦合”在一起的两个元素之间的存在一个或多个中间元素。在元素之间的耦合或连接可以是物理的、逻辑的、或其组合。其中采用的两个元素可认为通过使用一个或多个电线、电缆和/或印制电子连接以及通过使用电磁能(例如，作为几个非限制和非穷尽实例，在射频区域、微波区域和光(可见和不可见)区域中具有波长的电磁能)“连接”或“耦合”在一起。
此外，在不需要相应使用其他特征的情况下，本发明的各个非限制和示例性实施例的一些特征是有利的。例如，以上描述应理解为仅是本发明的示例性原理、教导和示例性实施例，并非对其进行限制。

Claims (14)

1.一种用于以信号通知在媒体文件中的多个解码时间的方法，包括：
将第一定时数据存储在媒体文件的轨道盒中，所述第一定时数据涉及在所述媒体文件的关联的媒体数据盒中存储的编码的多媒体内容的至少一个采样的解码时间；以及
存储用于所述编码的多媒体内容的至少一个采样的备用解码时间数据，所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值，其中存储备用解码时间数据的步骤包括与所述变量值关联地存储用以标识所述至少一个采样的可扩展层的标识符。
2.如权利要求1所述的方法，其中存储备用解码时间数据的步骤包括与所述变量值关联地存储用以标识所述至少一个采样的时间可扩展层的第二标识符。
3.如权利要求1所述的方法，其中将所述备用解码时间数据存储在备用的解码时间盒中，所述备用的解码时间盒通过以下来表征：
用于标识所述至少一个采样的时间可扩展层的第二标识符；以及
采样变量，其代表在由所述编码的多媒体内容代表的多媒体内容的解码时间信息内所述备用解码时间和解码所述至少一个采样的整个流的所述解码时间之间的差。
4.一种用于以信号通知在媒体文件中的多个解码时间的装置，包括：
处理器；以及
存储器单元，耦合至所述处理器，所述装置还包括：
编码器，被配置为：
将第一定时数据存储在媒体文件的轨道盒中，所述第一定时数据涉及在所述媒体文件的关联的媒体数据盒中存储的编码的多媒体内容的至少一个采样的解码时间；以及
存储用于所述编码的多媒体内容的至少一个采样的备用解码时间数据，所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值，其中所述编码器与所述变量值关联地存储用以标识所述至少一个采样的可扩展层的标识符。
5.如权利要求4所述的装置，其中所述编码器与所述变量值关联地存储用以标识所述至少一个采样的时间可扩展层的第二标识符。
6.如权利要求4所述的装置，其中将所述备用解码时间数据存储在备用的解码时间盒中，所述备用的解码时间盒通过以下内容来表征：
用以标识所述至少一个采样的时间可扩展层的第二标识符；以及
采样变量，其代表在由所述编码的多媒体内容代表的多媒体内容的解码时间信息内所述备用解码时间和解码所述至少一个采样的整个流的所述解码时间之间的差。
7.一种用于处理媒体文件的方法，包括：
解析包括媒体位流和第一定时数据的媒体文件，所述第一定时数据涉及所述媒体位流的至少一个采样的解码时间；
确定是否为解码整体的媒体位流和解码所述媒体位流的子集中的一个；
在确定解码所述媒体位流的子集时，解析所述媒体位流的子集的至少一个采样的备用解码时间数据；以及
根据所述备用解码时间数据解码媒体位流的子集，其中所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值，以及解析用以标识所述至少一个采样的可扩展层的标识符。
8.如权利要求7所述的方法，还包括：
解析用以标识所述至少一个采样的时间可扩展层的第二标识符。
9.如权利要求7所述的方法，其中将所述备用解码时间数据存储在备用的解码时间盒中，所述备用的解码时间盒通过以下来表征：
包含用以标识所述至少一个采样的时间可扩展层的第二标识符；
以及包含采样变量，其代表在由所述媒体位流代表的多媒体内容的解码时间信息内所述备用解码时间和解码所述至少一个采样的整个流的解码时间之间的差。
10.一种用于处理媒体文件的装置，包括：
处理器；以及
存储器单元，可操作地耦合至所述处理器，所述装置还包括：
文件解析器，用以执行以下操作：
解析包括媒体位流和第一定时数据的媒体文件，所述第一定时数据涉及所述媒体位流的至少一个采样的解码时间；
确定是否为解码整体的媒体位流和解码所述媒体位流的子集中的一个；
在确定解码所述媒体位流的子集时，解析所述媒体位流的子集的至少一个采样的备用解码时间数据；以及
解码器，用以根据所述备用解码时间数据解码媒体位流的子集，其中所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值，以及所述解析器被配置为解析用以标识所述至少一个采样的可扩展层的标识符。
11.如权利要求10所述的装置，其中所述解析器被配置为解析用以标识所述至少一个采样的时间可扩展层的标识符。
12.如权利要求10所述的装置，其中所述备用解码时间数据存储在备用的解码时间盒中，所述备用的解码时间盒通过以下来表征：
包含用以标识所述至少一个采样的时间可扩展层的标识符；以及
包含采样变量，其代表在由所述媒体位流代表的多媒体内容的解码时间信息内所述备用解码时间和解码所述至少一个采样的整个流的解码时间之间的差。
13.一种用于以信号通知在媒体文件中的多个解码时间的装置，包括：
用于将第一定时数据存储在媒体文件的轨道盒中的模块，所述第一定时数据涉及在所述媒体文件的关联的媒体数据盒中存储的编码的多媒体内容的至少一个采样的解码时间；以及
用于存储用于所述编码的多媒体内容的至少一个采样的备用解码时间数据的模块，所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值；以及
用于与所述变量值关联地存储用以标识所述至少一个采样的可扩展层的标识符的模块。
14.一种用于处理媒体文件的装置，包括：
用于解析包括媒体位流和第一定时数据的媒体文件的模块，所述第一定时数据涉及所述媒体位流的至少一个采样的解码时间；
用于确定是否为解码整体的媒体位流和解码所述媒体位流的子集中的一个，以及当确定解码所述媒体位流的子集时，解析所述媒体位流的子集的至少一个采样的备用解码时间数据的模块；以及
用于根据备用解码时间数据解码媒体位流的子集的模块；以及
用于解析用以标识所述至少一个采样的可扩展层的标识符的模块，其中存储所述备用解码时间数据以用于所述至少一个采样，所述备用解码时间数据表示为代表所述至少一个采样的解码时间的调整的变量值，以及与所述变量值关联地存储所述标识符。
CN2008800132639A 2007-04-24 2008-04-23 媒体文件中的多个解码时间的信号传输 Active CN101669369B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US91376407P 2007-04-24 2007-04-24
US60/913,764 2007-04-24
PCT/IB2008/051567 WO2008129516A2 (en) 2007-04-24 2008-04-23 Signaling of multiple decoding times in media files

Publications (2)

Publication Number Publication Date
CN101669369A CN101669369A (zh) 2010-03-10
CN101669369B true CN101669369B (zh) 2013-11-06

Family

ID=39876050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800132639A Active CN101669369B (zh) 2007-04-24 2008-04-23 媒体文件中的多个解码时间的信号传输

Country Status (11)

Country Link
US (1) US8774284B2 (zh)
EP (1) EP2137974B1 (zh)
KR (1) KR101115547B1 (zh)
CN (1) CN101669369B (zh)
AR (1) AR066295A1 (zh)
AU (1) AU2008242129B2 (zh)
CA (1) CA2681197C (zh)
MX (1) MX2009010322A (zh)
RU (1) RU2437245C2 (zh)
TW (1) TWI482498B (zh)
WO (1) WO2008129516A2 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090219985A1 (en) * 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
US20130097334A1 (en) * 2010-06-14 2013-04-18 Thomson Licensing Method and apparatus for encapsulating coded multi-component video
KR101954465B1 (ko) * 2011-02-16 2019-03-05 선 페이턴트 트러스트 영상 부호화 방법 및 영상 복호 방법
ES2892283T3 (es) * 2011-06-30 2022-02-03 Ericsson Telefon Ab L M Señalización de imágenes de referencia
EP3481068B1 (en) 2012-04-13 2020-08-12 GE Video Compression, LLC Low delay picture coding
KR101781774B1 (ko) * 2012-06-25 2017-09-25 닛본 덴끼 가부시끼가이샤 비디오 디코딩 장치, 방법 및 프로그램
CN115442627A (zh) 2012-06-29 2022-12-06 Ge视频压缩有限责任公司 视频数据流、编码器、编码视频内容的方法以及解码器
JP5993092B2 (ja) * 2012-09-09 2016-09-14 エルジー エレクトロニクス インコーポレイティド 映像復号化方法及びそれを利用する装置
WO2014058177A1 (ko) * 2012-10-08 2014-04-17 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
US10530828B2 (en) * 2014-03-31 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for signaling and operation of low delay consumption of media data in MMT
TWI548266B (zh) * 2014-06-24 2016-09-01 愛爾達科技股份有限公司 多媒體檔案儲存系統與相關裝置
US10986402B2 (en) 2018-07-11 2021-04-20 Qualcomm Incorporated Time signaling for media streaming
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
US11711518B2 (en) 2020-09-17 2023-07-25 Lemon Inc. Decoding capability information storage in video coding
US11611752B2 (en) 2020-10-07 2023-03-21 Lemon Inc. Adaptation parameter set storage in video coding

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671226A (en) 1995-02-09 1997-09-23 Mitsubishi Denki Kabushiki Kaisha Multimedia information processing system
US7024490B2 (en) * 2000-11-06 2006-04-04 Matsushita Electric Industrial Co., Ltd. Scheme, apparatus, and program for header compression
US7346698B2 (en) 2000-12-20 2008-03-18 G. W. Hannaway & Associates Webcasting method and system for time-based synchronization of multiple, independent media streams
US20030105880A1 (en) 2001-12-04 2003-06-05 Koninklijke Philips Electronics N.V. Distributed processing, storage, and transmision of multimedia information
ATE513415T1 (de) 2001-12-28 2011-07-15 Koninkl Philips Electronics Nv Verfahren zur verarbeitung von multimediainhalt
JP3918580B2 (ja) 2002-02-26 2007-05-23 ヤマハ株式会社 マルチメディア情報符号化装置、マルチメディア情報再生装置、マルチメディア情報符号化処理プログラム及びマルチメディア情報再生処理プログラム
EP1387584A1 (en) * 2002-07-22 2004-02-04 Deutsche Thomson-Brandt Gmbh Method and apparatus for storing and transmiting audio-visual data
US20050044499A1 (en) 2003-02-23 2005-02-24 Anystream, Inc. Method for capturing, encoding, packaging, and distributing multimedia presentations
JP2006523345A (ja) 2003-04-03 2006-10-12 ダブリン シティ ユニバーシティ マルチメディアデータに索引付けをし、そして検索するための形状マッチング方法
CN101099142B (zh) 2004-03-03 2010-10-06 分组视频网络技术方案有限公司 用来从网络节点获取数字多媒体内容的系统和方法
CN1981531B (zh) * 2004-05-04 2012-07-04 高通股份有限公司 构建用于时间可分级的双向预测帧的方法和装置
CN100514963C (zh) * 2004-12-31 2009-07-15 华为技术有限公司 一种在网关上生成rtp时戳的方法
US7853044B2 (en) * 2005-01-13 2010-12-14 Nvidia Corporation Video processing system and method with dynamic tag architecture
US8233540B2 (en) 2005-03-10 2012-07-31 Qualcomm Incorporated Method of time base reconstruction for discrete time labeled video
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
KR101255226B1 (ko) 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
CN101317459A (zh) 2005-10-11 2008-12-03 诺基亚公司 用于可伸缩视频编码的有效解码图像缓存管理
KR100724825B1 (ko) * 2005-11-17 2007-06-04 삼성전자주식회사 스케일러블 비디오 코딩에서 다차원 스케일러빌리티에 따른 조건적 접근제어를 위한 스케일러블 비디오 비트스트림 암복호화 방법 및 암복호화 시스템
KR100667840B1 (ko) 2005-11-30 2007-01-11 삼성전자주식회사 멀티미디어 파일을 생성 방법, 재생 방법, 재생 장치 및멀티미디어 파일이 기록된 정보저장매체
TWI378732B (en) 2006-01-27 2012-12-01 Au Optronics Corp The dynamic index system
US9332274B2 (en) 2006-07-07 2016-05-03 Microsoft Technology Licensing, Llc Spatially scalable video coding
US8699583B2 (en) 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
WO2008007304A2 (en) 2006-07-12 2008-01-17 Nokia Corporation Signaling of region-of-interest scalability information in media files
WO2008010157A2 (en) 2006-07-17 2008-01-24 Nokia Corporation Method, apparatus and computer program product for adjustment of leaky factor in fine granularity scalability encoding
TWM304860U (en) * 2006-08-03 2007-01-11 Watch Technology Co Ltd I Apparatus with multiple output streams of digital data

Also Published As

Publication number Publication date
EP2137974A2 (en) 2009-12-30
CA2681197A1 (en) 2008-10-30
CN101669369A (zh) 2010-03-10
KR101115547B1 (ko) 2012-03-05
WO2008129516A4 (en) 2009-08-13
WO2008129516A3 (en) 2009-05-14
CA2681197C (en) 2014-01-07
AR066295A1 (es) 2009-08-12
TW200910969A (en) 2009-03-01
RU2437245C2 (ru) 2011-12-20
AU2008242129A1 (en) 2008-10-30
AU2008242129B2 (en) 2011-11-17
WO2008129516A2 (en) 2008-10-30
RU2009143102A (ru) 2011-05-27
US8774284B2 (en) 2014-07-08
MX2009010322A (es) 2009-10-19
KR20100005225A (ko) 2010-01-14
EP2137974B1 (en) 2018-12-12
TWI482498B (zh) 2015-04-21
US20080292003A1 (en) 2008-11-27

Similar Documents

Publication Publication Date Title
CN101669369B (zh) 媒体文件中的多个解码时间的信号传输
CN101601305B (zh) 用于可伸缩多媒体的自适应路径的通用指示
CA2661578C (en) System and method for indicating track relationships in media files
EP2314072B1 (en) Track and track-subset grouping for multi view video decoding.
RU2697741C2 (ru) Система и способ предоставления указаний о выводе кадров при видеокодировании
JP4874343B2 (ja) スケーラブルビデオ符号化における、下位互換性のあるピクチャの集約
CN101595475B (zh) 可伸缩视频编码（svc）文件格式
KR100984693B1 (ko) 규모가변적 비디오 코딩의 픽처 경계 기호
TWI595787B (zh) 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術
KR20100030648A (ko) 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
CN103782601A (zh) 用于视频编码和解码的方法和设备
EP2596633A1 (en) A media streaming apparatus
AU2012202346B2 (en) System and method for indicating track relationships in media files

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160205

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj