CN103069799B - 发信号通知用于多路复用视频分量的数据 - Google Patents

发信号通知用于多路复用视频分量的数据 Download PDF

Info

Publication number
CN103069799B
CN103069799B CN201180038542.2A CN201180038542A CN103069799B CN 103069799 B CN103069799 B CN 103069799B CN 201180038542 A CN201180038542 A CN 201180038542A CN 103069799 B CN103069799 B CN 103069799B
Authority
CN
China
Prior art keywords
component
characteristic
video
fragment
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180038542.2A
Other languages
English (en)
Other versions
CN103069799A (zh
Inventor
陈盈
马尔塔·卡切维奇
王永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103069799A publication Critical patent/CN103069799A/zh
Application granted granted Critical
Publication of CN103069799B publication Critical patent/CN103069799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Abstract

服务器可将描述音频分量及视频分量的特性的信息与所述音频分量及视频分量自身的经编码样本分离地提供到客户端。所述客户端可使用所述信息来选择分量,且接着例如根据串流网络协议来请求所述选定分量。在一个实例中,一种用于发送经封装视频数据的设备包括:处理器,其经配置以确定视频内容的多个表示的分量的特性,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者;及一个或一个以上接口,其经配置以将所述特性发送到客户端装置,在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求,且响应于所述请求而将所述所请求分量发送到所述客户端装置。

Description

发信号通知用于多路复用视频分量的数据
本申请案主张2010年7月15日申请的第61/364,747号美国临时申请案及2010年7月21日申请的第61/366,436号美国临时申请案的优先权,所述两个申请案的相应全部内容在此以引用的方式并入本文中。
技术领域
本发明涉及经编码视频数据的存储及输送。
背景技术
数字视频能力可并入到广泛范围的装置中,包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术(例如,由MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准及这些标准的扩展中所描述的视频压缩技术),以较有效地发射及接收数字视频信息。
视频压缩技术执行空间预测及/或时间预测,以减少或移除视频序列中所固有的冗余。对于基于块的视频译码来说,可将视频帧或切片分割为多个宏块。可进一步分割每一宏块。使用相对于相邻宏块的空间预测来编码经帧内译码(I)帧或切片中的宏块。经帧间译码(P或B)帧或切片中的宏块可使用相对于同一帧或切片中的相邻宏块的空间预测或相对于其它参考帧中的宏块的时间预测。
在视频数据已被编码之后,可将视频数据包化以供发射或存储。可遵照多种标准中的任一者(例如,国际标准化组织(ISO)基础媒体文件格式及其扩展(例如,AVC))将视频数据组合成视频文件。
一直在努力开发出基于H.264/AVC的新视频译码标准。一个此类标准为可缩放视频译码(SVC)标准,其为H.264/AVC的可缩放扩展。另一标准为多视图视频译码(MVC),其已变成H.264/AVC的多视图扩展。MVC的联合草案描述于JVT-AB204的“关于多视图视频译码的联合草案8.0(JointDraft8.0onMultiviewVideoCoding)”(2008年7月在德国汉诺威举办的第28届JVT会议)中,此文献可从http://wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip获得。AVC标准的版本描述于JVT-AD007的“对ITU-TRec.H.264|ISO/IEC14496-10高级视频译码的编者修正草案-为ITU-TSG16AAP同意做准备(以综合形式)(Editors'draftrevisiontoITU-TRec.H.264|ISO/IEC14496-10AdvancedVideoCoding-inpreparationforITU-TSG16AAPConsent(inintegratedform))”(2009年2月在瑞士日内瓦举办的第30届JVT会议)中,此文献可从http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip获得。本文献将SVC及MVC整合到AVC规范中。
发明内容
大体来说,本发明描述用于(例如)经由网络串流协议(例如,超文本传送协议(HTTP)串流)来输送视频数据的技术。在一些情况下,视频内容可包括音频及视频数据的多个可能组合。举例来说,所述内容可具有多个可能的音频轨道(例如,呈例如英语、西班牙语及法语等不同语言)及多个可能的视频轨道(例如,用不同译码参数来编码,例如各种位速率、各种帧速率及/或其它各种特性)。这些轨道可被称作分量,例如,音频分量及视频分量。分量的每一组合可形成多媒体内容的唯一呈现,且可作为服务而递送到客户端。本发明的技术允许服务器在单一数据结构中发信号通知各种表示或多媒体分量的特性。以此方式,客户端装置可检索所述数据结构且选择所述表示中的一者以向服务器进行请求(例如,根据串流网络协议)。
在一个实例中,一种发送经封装视频数据的方法包括:将视频内容的多个表示的分量的特性发送到客户端装置,其中所述特性包含帧速率、简档指示符、层级指示符、所述分量之间的相依性及3D表示的目标输出视图的数目中的至少一者;在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求;及响应于所述请求而将所述所请求分量发送到所述客户端装置。
在另一实例中,一种用于发送经封装视频数据的设备包括:处理器,其经配置以确定视频内容的多个表示的分量的特性,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者;及一个或一个以上接口,其经配置以将所述特性发送到客户端装置,在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求,且响应于所述请求而将所述所请求分量发送到所述客户端装置。
在另一实例中,一种用于发送经封装视频数据的设备包括:用于将视频内容的多个表示的分量的特性发送到客户端装置的装置,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者;用于在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求的装置;及用于响应于所述请求而将所述所请求分量发送到所述客户端装置的装置。
在另一实例中,一种计算机程序产品包括计算机可读存储媒体,所述计算机可读存储媒体包含在执行时致使用于发送经封装视频数据的源装置的处理器进行以下操作的指令:将视频内容的多个表示的分量的特性发送到客户端装置,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者;在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求;及响应于所述请求而将所述所请求分量发送到所述客户端装置。
在另一实例中,一种接收经封装视频数据的方法包括:向源装置请求视频内容的多个表示的分量的特性,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者;基于所述特性来选择所述分量中的一者或一者以上;请求所述选定分量的样本;及在已接收所述样本之后解码并呈现所述样本。
在另一实例中,一种用于接收经封装视频数据的设备包括:一个或一个以上接口,其经配置以向源装置请求视频内容的多个表示的分量的特性,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者;及处理器,其经配置以基于所述特性来选择所述分量中的一者或一者以上,且致使所述一个或一个以上接口将对所述选定分量的样本的请求提交到所述源装置。
在另一实例中,一种用于接收经封装视频数据的设备包括:用于向源装置请求视频内容的多个表示的分量的特性的装置,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者;用于基于所述特性来选择所述分量中的一者或一者以上的装置;用于请求所述选定分量的样本的装置;及用于在已接收所述样本之后解码并呈现所述样本的装置。
在另一实例中,一种计算机程序产品包括计算机可读存储媒体,所述计算机可读存储媒体包含致使用于接收经封装视频数据的装置的处理器进行以下操作的指令:向源装置请求视频内容的多个表示的分量的特性,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者;基于所述特性来选择所述分量中的一者或一者以上;请求所述选定分量的样本;及在已接收所述样本之后解码并呈现所述样本。
一个或一个以上实例的细节陈述于附图及以下描述中。其它特征、目的及优点将从所述描述及图式以及从权利要求书显而易见。
附图说明
图1为说明音频/视频(A/V)源装置将音频及视频数据传送到A/V目的地装置的实例系统的框图。
图2为说明适合用于图1中所展示的A/V源装置中的实例封装单元的组件的框图。
图3为说明可用于图1的系统中的实例分量映射盒及实例分量布置盒的概念图。
图4为说明用于多路复用图1的系统中的实例视频分量及实例音频分量的实例时序间隔的概念图。
图5为说明用于将分量映射盒及分量布置盒从服务器提供到客户端的实例方法的流程图。
具体实施方式
大体来说,本发明描述用于输送视频内容的技术。本发明的技术包括使用例如超文本传送协议(HTTP)串流等串流协议来输送视频内容。尽管出于说明的目的而描述HTTP,但本发明中所呈现的技术可供其它类型的串流使用。视频内容可封装于特定文件格式(例如,ISO基础媒体文件格式或其扩展)的视频文件中。还可用MPEG-2输送流来封装视频内容。内容服务器可提供多媒体服务,所述多媒体服务包括不同类型的媒体数据(例如,音频及视频)及每一类型的各种数据集合(例如,不同语言(例如,英语、西班牙语及德语音频)及/或视频的不同编码类型(例如,MPEG-2、MPEG-4、H.264/AVC或H.265))。本发明的技术可尤其对发信号通知可如何组合及多路复用各种类型及每一类型的数据集合为有用的。
本发明将场景的相关多媒体数据的集合称作“内容”,其可含有多个视频及/或音频内容分量。术语“内容分量”或(简单地)“分量”指代单一类型的媒体,例如,视频或音频数据。数据的分量可指代数据的轨道、子轨道,或轨道或子轨道的集合。大体来说,“轨道”可对应于相关经编码图片样本的序列,而子轨道可对应于轨道的经编码样本的子集。作为实例,内容分量可对应于视频轨道、音频轨道或电影字幕。HTTP串流服务器可将内容分量的集合作为对客户端的服务而递送到客户端。
服务可对应于从可用于所述内容的所有视频内容分量选择一个视频内容分量及从可用于所述内容的所有音频内容分量选择一个音频内容分量。举例来说,作为存储于HTTP服务器中的内容,足球比赛节目可具有多个视频内容分量(例如,具有不同位速率(512kbps或1Mbps)或具有不同帧速率)及多个音频分量(例如,英语、西班牙语或中文)。因此,提供到客户端的服务可对应于选择一个视频分量及一个音频分量,例如,伴随有512kbps视频的西班牙语音频。还可将视频及音频分量的组合称作内容的表示。
作为实例,在HTTP串流中,客户端装置产生呈HTTP获取请求或部分获取请求的形式的对数据的一个或一个以上请求。HTTP获取请求指定文件的统一资源定位符(URL)或统一资源名称(URN)。HTTP部分获取请求指定文件的URL或URN,以及文件的待检索的字节范围。HTTP串流服务器可通过输出(例如,发送)所请求URL或URN处的文件或在HTTP部分获取请求的情况下输出所述文件的所请求字节范围来对HTTP获取请求作出响应。为了使客户端适当地产生HTTP获取及部分获取请求,服务器可将关于对应于内容分量的文件的URL及/或URN的信息以及所述分量的特性提供到客户端,使得客户端可选择所要内容分量且适当地产生对所述分量的HTTP获取及/或部分获取请求。
本发明的技术包括发信号通知内容分量的特性,例如,发信号通知各种内容分量的数据的位置。以此方式,客户端装置可选择内容的表示且产生对各种类型的内容分量的组合的请求。举例来说,根据以上实例,用户可选择观看伴随有西班牙语音频的512kbps视频。观看者的客户端装置可提交对这两个分量的请求。也就是说,客户端装置可使用来自服务器的发信号通知的数据来确定512kbps视频及西班牙语音频的数据的位置,且接着产生对这些内容分量所对应的数据的请求。响应于所述请求,服务器可将这两个分量作为服务递送到客户端装置。
ISO基础媒体文件格式经设计以含有呈灵活、可扩展的格式的表示的时控媒体信息,所述时控媒体信息促进媒体的互换、管理、编辑及表示。ISO基础媒体文件格式(ISO/IEC14496-12:2004)在MPEG-4第12部分中指定,MPEG-4第12部分定义针对基于时间的媒体文件的一般结构。ISO基础媒体文件格式用作所述系列中的例如以下各项等其它文件格式的基础:经定义以支持H.264/MPEG-4AVC视频压缩的AVC文件格式(ISO/IEC14496-15)、3GPP文件格式、SVC文件格式及MVC文件格式。3GPP文件格式及MVC文件格式为AVC文件格式的扩展。ISO基础媒体文件格式含有用于媒体数据的时控序列(例如,音频视觉表示)的时序、结构及媒体信息。所述文件结构可为面向对象的。可极其简单地将文件分解成基本对象且对象的结构由其类型暗示。
遵照ISO基础媒体文件格式(及其扩展)的文件可形成为一连串对象,称作“盒”。呈ISO基础媒体文件格式的数据可含于盒中,使得所述文件内不需要含有其它数据,且文件内不需要在盒之外的数据。此包括特定文件格式所需的任何初始签名。“盒”可为通过唯一类型识别符及长度定义的面向对象的构造块。通常,表示含于一个文件中,且媒体表示为自含式的。电影容器(电影盒)可含有媒体的元数据,且视频及音频帧可含于媒体数据容器中且可在其它文件中。
根据本发明的技术,服务器可提供发信号通知各种内容分量的特性的分量映射盒。所述分量映射盒可对应于可存储于与存储各种内容分量的经编码样本的文件分离的文件中的数据结构。所述分量映射盒可发信号通知内容分量的特性,常规地,并不针对视频数据而在存储于实际上包括经译码视频样本的文件外部的数据结构中发信号通知所述特性。还可在信息列表文件或HTTP串流的媒体呈现描述中发信号通知此数据结构(如在分量映射盒中)。
所述特性可包括(例如)帧速率、简档指示符、层级指示符,及分量之间的相依性。通过分量映射盒发信号通知的特性还可包括3D视频的三维特性,例如视图的数目及视图(例如,形成立体对的两个视图)之间的关系。除了针对内容分量常规地发信号通知的特性(例如,所述内容分量的位速率及分辨率)以外,分量映射盒还可发信号通知这些特性。所述分量映射盒还可提供唯一地识别内容的服务的服务识别符(例如,content_id值)。所述服务的每一分量可与所述服务识别符相关联。
源装置可经配置以为视频内容提供分量映射盒,而不管所述内容如何被封装。也就是说,源装置可将分量映射盒提供到客户端装置,而不管视频内容是否根据以下格式来封装:高级视频译码(AVC)文件格式、可缩放视频译码(SVC)文件格式、多视图视频译码(MVC)文件格式、第三代合作伙伴计划(3GPP)文件格式或其它文件格式。分量映射盒可发信号通知特定内容的内容分量的特性。在一些实例中,每一分量可对应于文件的视频或音频轨道、一连串小文件中的轨道、轨道片段、轨道的组合(例如,在SVC或MVC中),或轨道的子集。
大体来说,分量映射盒可与其所描述的视频数据分离地存储。在一些实例中,分量映射盒可包括于单独文件中或包括作为包括内容分量的一个电影文件(例如,mp4或3GP文件)或支持本发明中所描述的功能性的其它文件的部分。分量映射盒的位置可通过封装文件类型而变化。此外,可将分量映射盒扩展到ISO基础媒体文件格式或其扩展中的一者或一者以上。还可在信息列表文件或HTTP串流的媒体呈现描述中发信号通知此数据结构(如在分量映射盒中)。
默认地,分量映射盒可适用于相关联内容的整个持续时间。然而,在一些情况下,分量映射盒可仅应用于内容的特定时序间隔。在这些情况下,服务器可提供多个分量映射盒,且针对每一者发信号通知所述分量映射盒所对应的时序间隔。在一些实例中,当服务器提供多个分量映射盒时,服务器可以静态模式来配置,在所述静态模式中,所述分量映射盒以时序间隔次序连续地布置于同一文件中。在一些实例中,服务器可以动态模式来配置,在所述动态模式中,所述分量映射盒可提供于单独文件中及/或提供于彼此不连续位置中。所述动态模式可提供实况串流的优点,而静态模式可提供关于在较大时间范围中进行搜寻的优点。
本发明还提供分量布置盒,所述分量布置盒可包括于每一文件内以发信号通知所述文件的轨道与各种分量之间的关系。举例来说,在包括两个或两个以上轨道的数据的文件中的分量布置盒可发信号通知所述文件中的轨道的轨道识别符与对应内容分量的分量识别符之间的关系。以此方式,客户端装置可首先从服务器装置检索分量映射盒。客户端装置可接着基于由分量映射盒发信号通知的特性来选择表示的一个或一个以上分量。接着,客户端装置可从存储由分量映射盒所描述的分量的文件检索分量布置盒。通过使用可包括段信息(例如,特定分量的片段的字节范围)的分量映射盒,客户端可确定选定分量的片段存储于文件中何处。基于此确定,客户端可提交对选定分量所对应的轨道或子轨道的片段的请求(例如,HTTP获取或部分获取请求)。
以此方式,替代在分量映射盒中发信号通知关于每一文件或每一轨道如何与内容分量相关联的信息,可将此信息存储于与相应文件相关联的分量布置盒中。分量映射盒可发信号通知内容的所有分量的分量识别符(例如,component_id值),而分量布置盒可发信号通知存储于对应于分量布置盒的文件内的分量的component_id值与相关联于所述component_id值的content_id值之间的关系。在一些情况下,分量映射盒还可存储段信息。另外,分量映射盒可包括指示分量映射盒是否包括段信息的旗标。客户端装置可经配置以假定:如果分量映射盒不包括段信息,则所述表示的媒体数据含于相依表示中。
服务器可将唯一component_id值指派给每一类型的媒体,从而确保component_id值对于同一服务中的任何视频或音频分量来说为唯一的。特定类型的分量可为可彼此切换的。也就是说,客户端可(例如)响应于变化的网络条件或其它因素而在各种视频分量之间切换。客户端不需要请求每一可用类型的分量。举例来说,客户端可省略请求包括隐藏式辅助字幕分量的内容的辅助字幕。此外,在一些情况下,可请求同一媒体类型的多个分量以(例如)支持3D视频或画中画。服务器可提供额外发信号通知以支持例如画中画等特定功能性。
举例来说,服务器可提供指示分量是否包括画中画数据的描述的旗标。如果所述旗标指示所述分量包括画中画数据,则分量映射盒可提供某一表示的识别符,所述表示将连同当前表示一起展示以形成画中画显示。一个表示可对应于大图片,而另一表示可对应于与所述大图片重叠的较小图片。
如上文所提,服务器可在包括对应于一个或一个以上分量的经编码样本的每一文件中提供分量布置盒。分量布置盒可提供于文件的标头数据中。分量布置盒可指示包括于文件中的分量及所述分量如何存储(例如,作为文件内的轨道)。分量布置盒可提供分量识别符值与文件中的对应轨道的轨道识别符值之间的映射。
分量映射盒还可发信号通知内容分量之间的相依性,其中所述发信号通知的相依性可包括针对存取单元内部的内容分量的解码次序的与当前内容分量的相依性次序。关于当前表示的相依性的发信号通知的信息可包括相依于当前表示的表示及/或当前表示所相依于的表示中的任一者或两者。还可在时间维度上在内容分量之间存在相依性。然而,简单地指示每一视频分量的temporal_id值可能并不足够,因为在完全独立的替代视频位流中的时间子层未必具有彼此的帧速率的映射。举例来说,一个视频分量可具有24fps的帧速率及等于0的temporal_id,且可具有12fps的子层(假定两个时间层),而另一视频分量可具有30fps的帧速率连同等于0的temporal_id,且可具有7.5fps的子层(假定三个时间层)。服务器可因此在发信号通知两个视频分量的相依性时指示时间层的差。
大体来说,分量的发信号通知的特性可包括(例如)平均位速率、最大位速率(例如,在一秒内)、分辨率、帧速率、对其它分量的相依性及/或保留扩展(例如,针对多视图视频),所述扩展可包括以输出为目标的视图的数目及那些视图的识别符。还可发信号通知关于形成内容分量的一连串媒体片段的信息。每一媒体片段的发信号通知的信息可包括媒体片段的字节偏移、所述媒体片段中的第一样本的解码时间、所述片段中的随机存取点以及所述随机存取点的解码时间及表示时间,及/或用以指示所述片段是否属于内容分量的新段(且因此属于不同URL)的旗标。
在一些情况下,音频数据的片段在时间上并不与视频数据的片段对准。本发明提供用于基于特定时间间隔来多路复用多个内容分量的技术。分量映射盒可提供所支持的多路复用间隔的列表,或多路复用间隔的范围。可将所述多路复用间隔指明为T,且所述多路复用间隔可表示经多路复用音频及视频数据的时间长度。假设待请求的下一时间间隔为[n*T,(n+1)*T]。客户端装置可确定每一内容分量中是否存在具有开始时间t使得(n*T)<=t<=((n+1)*T)的某片段。如果存在所述片段,则客户端装置可请求那个片段。可在当前多路复用间隔n*T之前请求在n*T之前开始的片段,而可在稍后多路复用间隔处请求在间隔(n+1)*T之后开始的片段。以此方式,仍可多路复用不具有彼此对准或与所请求多路复用间隔对准的片段边界的内容分量。此外,多路复用间隔可在服务期间改变,而不阻止内容分量的多路复用。
客户端装置可经配置以通过改变多路复用间隔而适应变化的网络条件。举例来说,当带宽变得相对较为可用时,客户端装置可增大多路复用间隔。另一方面,当带宽变得相对较不可用时,客户端装置可减小多路复用间隔。客户端装置可进一步经配置以基于某一时序间隔及瞬时位速率来请求经多路复用片段。客户端装置可基于片段中的字节的数目及片段的持续时间来计算瞬时位速率。
在一些实例中,服务器可将同一分量识别符指派给两个连续的媒体表示(例如,具有顺序时序信息的两个视频文件)以支持时间拼接。如上文所提,在一些情况下,表示可包括存储于不同文件中的内容分量。因此,客户端装置可能需要提交检索内容的特定时间间隔的数据的多个获取或部分获取请求。也就是说,客户端可能需要提交涉及存储所述表示的内容分量的各种文件的多个获取或部分获取请求。当需要多个请求来获得待在某一时间间隔中多路复用的数据时,客户端装置可管线递送所述请求以确保在当前时间间隔中的所要媒体片段数据之间不接收另一时间间隔中的数据。
以此方式,可在网络串流上下文(例如,HTTP串流)中支持具有多个文件中的分量的媒体内容。也就是说,所述媒体内容的表示可包括一个文件中的一个分量及单独文件中的另一分量。服务器可在单一数据结构(例如,分量映射盒)中发信号通知不同文件中的分量的特性。此情况可使得客户端能够请求任何目标内容分量或请求目标内容分量的任何持续时间。
类似于本发明的分量映射盒及分量布置盒的数据结构的使用还可提供其它优点。举例来说,不同分量中的两个媒体轨道可在相应分量内具有相同轨道识别符(track_id)值。然而,如上文所提,分量映射盒可涉及使用与轨道识别符值不同的分量识别符的单独分量。因为每一文件可包括将分量识别符映射到轨道识别符的分量布置盒,所以分量映射盒可涉及使用独立于轨道识别符值的分量识别符的分量。分量布置盒还可提供用于(例如)在内容递送网络(CDN)服务器存储对应于许多不同内容的多个文件时指定哪一文件对应于哪一内容的有效机制。
此外,本发明的技术可支持具有不同网络缓冲器大小的客户端。也就是说,一些客户端可(例如)归因于网络条件、客户端能力及其类似者而需要大小与其它客户端不同的缓冲器。因此,在一些情况下,可能需要以不同时间间隔多路复用特定表示的多种类型的分量。本发明提供以下技术:使服务器发信号通知不同的可能多路复用时间间隔,且因此(例如)根据使用HTTP的客户端与服务器之间的来回时间来考虑所请求数据的大小的变化并因此考虑发射的性能。
此外,在一些情况下,一个文件中的内容分量可相依于一个或一个以上其它文件中的若干其它内容分量。此相依性可发生于存取单元内。作为实例,视频内容分量可对应于相依于通用接口格式(CIF)层及四分之一通用接口格式(QCIF)层的CIFSVC增强层。CIF层及QCIF层两者可在一个文件中,而4CIF增强层可在另一文件中。本发明的技术可确保客户端能够适当地请求CIF、QCIF及4CIF层的数据,使得客户端的解码器基于相依性以适当解码次序接收来自这些层的样本。
在一些实例中,可使用动态服务器来动态地建立一起多路复用内容分量的文件。举例来说,动态服务器可支持遵循通用网关接口(CGI)服务以一起多路复用分量且使得当前时间间隔的数据为动态文件的连续部分的方法。CGI描述于可在http://tools.ietf.org/html/rfc3875处获得的意见请求3875中。通过使用例如CGI等服务,服务器可针对内容的表示动态地产生包括各种内容分量的组合的文件。
表示(运动序列)可含于若干文件中。时序及成帧(位置及大小)信息大体上在ISO基础媒体文件中,且辅助文件可实质上使用任何格式。此表示可在含有所述表示的系统的“本地”,或可经由网络或其它流递送机制来提供。
所述文件可具有逻辑结构、时间结构及物理结构,且这些结构不需要耦合。文件的逻辑结构可为电影或视频剪辑(可能包括视频数据及音频数据两者)的,其又含有一组时间并行的轨道。文件的时间结构可使得轨道含有按时间的样本的序列,且那些序列通过任选的编辑列表而映射到整个电影的时间线中。文件的物理结构可将逻辑、时间及结构分解所需的数据与媒体数据样本自身分离。此结构信息可集中于电影盒中,可能在时间上由电影片段盒扩展。所述电影盒可加注样本的逻辑及时序关系,且还可含有到其所处位置的指针。那些指针可指向同一文件中或另一文件中(例如,通过URL参考)。
每一媒体流可含于专门用于那个媒体类型(音频、视频等)的轨道中,且可进一步通过样本项目来参数化。所述样本项目可含有确切媒体类型(解码流所需的解码器的类型)的“名称”及那个所需解码器的任何参数化。所述名称还可采取四字符码(例如,“moov”或“trak”)的形式。存在不仅用于MPEG-4媒体而且用于使用此文件格式系列的其它组织所使用的媒体类型的经定义的样本项目格式。
对元数据的支持大体上采取两种形式。首先,可将时控元数据存储于适当轨道中,且在需要时与其所描述的媒体数据同步。其次,可存在对附接到电影或个别轨道的非时控元数据的一般支持。所述结构支持为一般的,且允许元数据资源以与媒体数据(即,经译码视频图片)的存储类似的方式存储于所述文件中的别处或存储于另一文件中。另外,可为这些资源指定名称且可保护这些资源。
术语“渐进式下载”用以描述通常使用HTTP协议的数字媒体文件从服务器到客户端的传送。当由计算机起始时,所述计算机可在下载完成之前开始重放媒体。串流媒体与渐进式下载之间的一个差别在于,正存取数字媒体的最终用户装置如何接收并存储数字媒体数据。能够进行渐进式下载重放的媒体播放器依赖于位于文件的标头中的元数据为完整的且在数字媒体文件是从网络服务器下载时依赖于数字媒体文件的本地缓冲。在指定量的经缓冲数据变得可为本地重放装置所用时,所述装置可开始播放所述媒体。此指定量的经缓冲数据可通过编码器设定中的内容的制作者嵌入到文件中,且可通过客户端计算机的媒体播放器所强加的额外缓冲器设定来加强。
在渐进式下载或HTTP串流中,替代提供包括所有媒体数据(包括视频及音频样本)的单一电影盒(moov盒),支持电影片段(moof)含有除了所述电影盒中所含有的那些样本以外的额外样本。通常,电影片段含有在某一时间段内的样本。通过使用所述电影片段,客户端可快速地搜寻所要时间。电影片段可含有文件的连续字节,使得根据串流协议(例如,HTTP串流),客户端可发出检索电影片段的部分获取请求。
关于作为实例的3GPP,支持3GPP文件的HTTP/TCP/IP输送以进行下载及渐进式下载。此外,使用HTTP进行视频串流可提供一些优点,且基于HTTP的视频串流服务正变得风行。HTTP串流可提供某些优点,包括可使用现有因特网组件及协议,使得不需要作出新的努力来开发用于经由网络输送视频数据的新技术。其它输送协议(例如,实时协议(RTP)有效负载格式)需要中间网络装置(例如,中间盒)知晓媒体格式及发信号通知上下文。而且,HTTP串流可为客户端驱动的,此可避免控制问题。使用HTTP在实施HTTP1.1的网络服务器处还未必需要新的硬件或软件实施方案。HTTP串流还提供TCP易用性及防火墙穿越。在HTTP串流中,媒体表示可为客户端可存取的数据的结构化集合。所述客户端可请求并下载媒体数据信息以向用户呈现串流服务。
服务由客户端的用户体验为电影的表示,所述电影的表示由客户端从由服务器递送的内容分量解码并再现。在HTTP串流中,替代响应于一个请求而接收完整内容,客户端可请求内容分量的段。以此方式,HTTP串流可提供内容的更灵活递送。段可包括可通过一个URL请求的连续电影片段的集合。举例来说,段可为可含有视频及音频的整个小文件。作为另一实例,段可对应于可含有一个视频轨道片段及一个音频轨道片段的一个电影片段。作为又一实例,段可对应于若干电影片段,所述若干电影片段中的任一者或全部可具有一个视频片段及一个音频片段,且所述电影片段可在解码时间上为连续的。
还被称作内容散布网络的内容递送网络(CDN)可包括含有数据的复本的计算机的系统,所述计算机放置于网络中的各点处以便使用于由客户端贯穿网络而存取数据的带宽最大化。与所有客户端存取同一中央服务器相反,客户端可存取客户端附近的数据的复本,此可避免个别服务器附近的瓶颈。内容类型可包括网络对象、可下载对象(媒体文件、软件、文档及其类似者)、应用程序、实时媒体流及因特网递送的其它组件(DNS、路由及数据库查询)。存在仅依赖于HTTP协议的许多成功CDN,更具体来说,基于HTTP1.1的原始服务器、代理及高速缓冲存储器。
在HTTP串流中,频繁使用的操作包括获取及部分获取。获取操作检索与给定统一资源定位符(URL)或统一资源名称(URN)相关联的整个文件。部分获取操作接收字节范围作为输入参数且检索文件的对应于所接收到的字节范围的连续数目个字节。因此,可提供电影片段以进行HTTP串流,因为部分获取操作可取得一个或一个以上个别电影片段。电影片段可含有来自不同轨道的若干轨道片段。
在HTTP串流的上下文中,段可作为对获取请求或部分获取请求的响应而递送(在HTTP1.1中)。在CDN中,例如代理及高速缓冲存储器等计算装置可响应于请求而存储段。因此,如果所述段由另一客户端(或同一客户端)请求,且所述客户端具有经由此代理装置的路径,则所述代理装置可将段的本地复本递送到客户端,而不再次从原始服务器检索所述段。在HTTP串流中,如果代理装置支持HTTP1.1,则作为对请求的响应,字节范围可在存储于代理装置的高速缓冲存储器中时进行组合,或在用作对请求的响应的本地复本时提取。每一内容分量可包括连续片段的部分,其中的每一者可通过由客户端装置所发送的HTTP获取或部分获取来请求。内容分量的此片段可被称作媒体片段。
在HTTP串流中可存在一个以上媒体表示,以支持各种位速率及各种装置,以及适应各种用户偏好。表示的描述可描述于媒体呈现描述(MPD)数据结构中,所述媒体呈现描述(MPD)数据结构可对应于分量映射盒(如由服务器产生且发送到客户端)。也就是说,如在本发明中所描述,常规MPD数据结构可包括对应于分量映射盒的数据。在其它实例中,除了在本发明中关于分量映射盒所描述的数据以外,分量映射盒还可进一步包括类似于MPD数据结构的数据。所描述的表示可包括含于一个或一个以上电影文件中的内容分量。如果使用静态内容服务器,则服务器可存储电影文件。如果支持动态内容服务器,则服务器可响应于所接收到的请求而产生动态文件(内容)。尽管动态内容可由服务器在运作中产生,但其对计算装置(例如,代理及高速缓冲存储器)为透明的。因此,还可高速缓存响应于对动态内容服务器的请求而提供的段。动态内容服务器可具有更复杂的实施方案且在服务器侧处的存储可能为次最佳的或在内容的递送期间的高速缓存可能为次有效的。
另外,本发明还包括用于在MPD中发信号通知特定表示(例如,分量的组合)是否为完整操作点的技术。也就是说,服务器可在MPD中提供旗标以向客户端指示表示是否可被选择作为完整视频操作点。操作点可对应于MVC子位流,即,包含在某一时间层级处的视图的子集且自身表示有效位流的MVC位流的子集。操作点可表示某一时间及视图可缩放性层级且仅含有用以表示在某一时间层级处的视图的某一子集的有效位流所需的NAL单元。操作点可通过视图的子集的视图识别符值及视图的子集的最高时间识别符来描述。
MPD还可描述多媒体内容的个别表示。举例来说,对于每一表示,MPD可发信号通知表示识别符、默认属性表示识别符、表示的简档及层级指示符、表示的帧速率、相依性群组识别符及时间识别符。所述表示识别符可提供多媒体内容的相关联表示的唯一识别符。所述默认属性表示识别符可提供具有将用作当前表示的默认属性的属性的表示的识别符,所述属性可包括以下各项中的任一者或全部:简档及层级指示符、带宽、宽度、高度、帧速率、相依性群组识别符、时间识别符及/或3D视频的帧封装类型。所述帧速率识别符可指定对应表示的视频分量的帧速率。所述相依性群组识别符可指定相依性群组,对应表示被指派给所述群组。相依性群组中的具有一个时间识别符值的表示可相依于同一相依性群组中的具有较低时间识别符值的表示。
对于3D视频表示(例如,对应于多视图视频)来说,分量映射盒可描述供输出的目标视图的数目。也就是说,分量映射盒可包括表示用于表示的目标输出视图的数目的值。在一些实例中,分量映射盒可提供单一视图的深度信息连同所述单一视图的经译码样本,使得客户端装置可从所述单一视图及所述深度信息构造第二视图。可存在旗标以指示所述表示为视图加深度表示。在一些实例中,多个视图可含于所述表示中,每一视图与深度信息相关联。以此方式,所述视图中的每一者可用作用于建立立体视图对的基础,从而针对所述表示的所述视图中的每一者产生两个视图。因此,尽管多个视图可含于所述表示中,但所述视图中的两者未必形成立体视图对。在一些实例中,可包括旗标以指示表示是否仅为相依表示,相依表示自身不可形成对应多媒体内容的有效表示。
图1为说明其中音频/视频(A/V)源装置20将音频及视频数据输送到A/V目的地装置40的实例系统10的框图。图1的系统10可对应于视频电话会议系统、服务器/客户端系统、广播台/接收器系统,或其中将视频数据从源装置(例如,A/V源装置20)发送到目的地装置(例如,A/V目的地装置40)的任何其它系统。在一些实例中,A/V源装置20及A/V目的地装置40可执行双向信息交换。也就是说,A/V源装置20及A/V目的地装置40可能够进行以下两者:编码及解码(以及发射及接收)音频及视频数据。在一些实例中,音频编码器26可包含语音编码器,还被称作声码器。
在图1的实例中,A/V源装置20包含音频源22及视频源24。举例来说,音频源22可包含麦克风,所述麦克风产生表示待由音频编码器26编码的所俘获音频数据的电信号。或者,音频源22可包含存储先前记录的音频数据的存储媒体、例如计算机化合成器等音频数据产生器,或任何其它音频数据源。视频源24可包含产生待由视频编码器28编码的视频数据的摄像机、编码有先前记录的视频数据的存储媒体、视频数据产生单元或任何其它视频数据源。
原始音频及视频数据可包含模拟或数字数据。在通过音频编码器26及/或视频编码器28编码之前,模拟数据可经数字化。在讲话参与者正在讲话时,音频源22可获得来自讲话参与者的音频数据,且视频源24可同时获得所述讲话参与者的视频数据。在其它实例中,音频源22可包含包括所存储的音频数据的计算机可读存储媒体,且视频源24可包含包括所存储的视频数据的计算机可读存储媒体。以此方式,本发明中所描述的技术可应用于实况、串流、实时音频及视频数据或应用于经存档、预先记录的音频及视频数据。此外,所述技术可应用于计算机产生的音频及视频数据。
对应于视频帧的音频帧大体上为含有与在视频帧内所含有的由视频源24所俘获的视频数据同时地由音频源22所俘获的音频数据的音频帧。举例来说,当讲话参与者大体上通过讲话而产生音频数据时,音频源22俘获音频数据,且视频源24同时(即,在音频源22正俘获音频数据的同时)俘获讲话参与者的视频数据。因此,音频帧可在时间上对应于一个或一个以上特定视频帧。因此,音频帧对应于视频帧大体上对应于同时俘获到音频数据及视频数据且音频帧及视频帧分别包含音频数据及同时俘获到的视频数据的情形。
在一些实例中,音频编码器26可将表示记录每一经编码音频帧的音频数据的时间的时戳编码于所述经编码音频帧中,且类似地,视频编码器28可将表示记录每一经编码视频帧的视频数据的时间的时戳编码于所述经编码视频帧中。在这些实例中,音频帧对应于视频帧可包含音频帧包含一个时戳且视频帧包含同一时戳。A/V源装置20可包括内部时钟,音频编码器26及/或视频编码器28可从所述内部时钟产生时戳,或音频源22及视频源24可使用所述内部时钟来使音频及视频数据分别与时戳相关联。
在一些实例中,音频源22可将对应于记录音频数据的时间的数据发送到音频编码器26,且视频源24可将对应于记录视频数据的时间的数据发送到视频编码器28。在一些实例中,音频编码器26可将序列识别符编码于经编码音频数据中以指示经编码音频数据的相对时间排序但不必指示记录音频数据的绝对时间,且类似地,视频编码器28也可使用序列识别符来指示经编码视频数据的相对时间排序。类似地,在一些实例中,序列识别符可经映射或以其它方式与时戳相关。
本发明的技术大体上是针对经编码多媒体(例如,音频及视频)数据的输送,以及经输送的多媒体数据的接收以及后续解译及解码。明确地说,封装单元30可产生多媒体内容的分量映射盒,以及对应于所述多媒体内容的每一文件的分量布置盒。在一些实例中,处理器可执行对应于封装单元30的指令。也就是说,用以执行归封装单元30所有的功能性的指令可存储于计算机可读媒体上且由处理器执行。在其它实例中,其它处理电路也可经配置以执行归封装单元30所有的功能。可与内容的分量(例如,音频分量、视频分量或其它分量)分离地存储分量映射盒。
因此,目的地装置40可请求多媒体内容的分量映射盒。目的地装置40可使用分量映射盒来基于用户的偏好、网络条件、目的地装置40的解码及再现能力或其它因素确定待请求的分量以执行内容的重放。
A/V源装置20可将“服务”提供到A/V目的地装置40。服务大体上对应于一个或一个以上音频及视频内容分量的组合,其中所述音频及视频内容分量为完整内容的可用内容分量的子集。一个服务可对应于具有两个视图的立体视频,而另一服务可对应于四个视图,且又一服务可对应于八个视图。大体来说,服务对应于源装置20提供可用内容分量的组合(即,子集)。内容分量的组合还被称作内容的表示。
封装单元30从音频编码器26及视频编码器28接收经编码样本且从所述经编码样本形成对应网络抽象层(NAL)单元,所述网络抽象层(NAL)单元可采取包化基本流(PES)包的形式。在H.264/AVC(高级视频译码)的实例中,经译码视频段组织成NAL单元,此提供“网络易用”视频表示寻址应用,例如视频电话、存储、广播或串流。NAL单元可分类为视频译码层(VCL)NAL单元及非VCLNAL单元。VCL单元可含有来自核心压缩引擎的数据,且可包括块、宏块及/或切片层级数据。其它NAL单元可为非VCLNAL单元。在一些实例中,一个时间实例中的经译码图片(通常呈现为主要经译码图片)可含于存取单元中,所述存取单元可包括一个或一个以上NAL单元。
根据本发明的技术,封装单元30可构造描述内容分量的特性的分量映射盒。封装单元30还可构造一个或一个以上视频文件的分量布置盒。封装单元30可使每一分量布置盒与对应视频文件相关联,且可使分量映射盒与视频文件集合相关联。以此方式,分量布置盒与视频文件之间可存在1:1对应性,且分量映射盒与视频文件之间可存在1:N对应性。
如上文所提,分量映射盒可描述为内容所共有的分量的特性。举例来说,所述内容可包括音频分量、视频分量及例如隐藏式辅助字幕等其它分量。某一类型的分量中的每一者可为可彼此切换的。举例来说,两个视频分量可为可切换的,因为可检索来自两个分量中的任一者的数据而不阻碍内容的重放。各种分量可以各种方式以及以各种质量来编码。举例来说,各种视频分量可以各种帧速率、位速率、使用不同编码器(例如,对应于不同编解码器)来编码,以各种文件类型(例如,H.264/AVC或MPEG-2输送流(TS))来封装,或以其它方式而彼此不同。然而,例如,视频分量的选择大体上独立于音频分量的选择。通过分量映射盒发信号通知的分量的特性可包括平均位速率、最大位速率(例如,在分量的一秒的重放时间内)、分辨率、帧速率、对其它分量的相依性,及/或各种文件类型(例如,多视图视频)的扩展(例如,以输出为目标的视图的数目及所述视图中的每一者的识别符)。
可充当服务器(例如,HTTP服务器)的源装置20可存储同一内容的多个表示供调适。一些表示可含有多个内容分量。所述分量可存储于源装置20的存储装置(例如,一个或一个以上硬盘驱动器)上的不同文件中,且因此,表示可包括来自不同文件的数据。通过发信号通知各种分量的特性,封装单元30可向目的地装置40提供选择每一可切换分量的一者以再现及重放对应内容的能力。也就是说,目的地装置40可从源装置20检索特定内容的分量映射盒,选择所述内容的对应于所述内容的特定表示的分量,接着从源装置20检索选定分量的数据(例如,根据串流协议(例如,HTTP串流))。
目的地装置40可基于网络条件(例如,可用带宽)及分量的特性选择表示。此外,目的地装置40可使用由源装置20发信号通知的数据来适应变化的网络条件。也就是说,因为同一类型的分量可彼此切换,所以当网络条件改变时,目的地装置40可选择更适合于新近确定的网络条件的特定类型的不同分量。
封装单元30将分量识别符值指派给多媒体内容的每一分量。所述分量识别符值对于所述分量为唯一的,而与类型无关。也就是说,例如,不应存在具有同一分量识别符的音频分量及视频分量。分量识别符还未必与个别文件内的轨道识别符有关。举例来说,内容可具有各自存储于不同文件中的两个视频分量。所述文件中的每一者可使用同一轨道识别符来识别视频分量,因为局限于特定文件的识别符对于那个文件的范围(并非在外部)为特定的。然而,因为本发明的技术涉及提供可驻留于多个文件内的分量的特性,所以本发明提议唯一地指派未必与轨道识别符有关的分量识别符。
分量映射盒还可针对文件中的每一分量/轨道指示如何存储片段,例如,片段在何处开始、所述片段是否包括随机存取点(且所述随机存取点是瞬时解码刷新(IDR)图片还是开放解码刷新(ODR)图片)、到每一片段的开始的字节偏移、每一片段中的第一样本的解码时间、随机存取点的解码及呈现时间,及用以指示特定片段是否属于新段的旗标。每一段可为可独立检索的。举例来说,封装单元30可存储分量的每一段,使得可使用唯一统一资源定位符(URL)或统一资源名称(URN)来检索每一段。
此外,封装单元30可在所述文件中的每一者中提供分量布置盒,分量布置盒提供内容的分量识别符与对应文件内的轨道识别符之间的映射。封装单元30还可发信号通知同一类型的分量之间的相依性。举例来说,某些分量可相依于同一类型的其它分量来正确解码。作为一个实例,在可缩放视频译码(SVC)中,基础层可对应于一个分量,且所述基础层的增强层可对应于另一分量。作为另一实例,在多视图视频译码(MVC)中,一个视图可对应于一个分量,且同一场景的另一视图可对应于另一分量。作为又一实例,一个分量的样本可相对于另一分量的样本来编码。举例来说,在MVC中,可存在对应于使得能够进行视图间预测的不同视图的分量。
以此方式,目的地装置40可确定分量之间的相依性,且除了所要分量以外,还检索相依于父代分量的分量的父代分量,以便适当地解码及/或再现所述分量。封装单元30可进一步发信号通知相依性的排序及/或分量的解码次序,使得目的地装置40可以适当次序请求分量的数据。此外,封装单元30可发信号通知具有相依性的分量之间的时间层差,使得目的地装置40可适当地对准分量的样本以供解码及/或再现。举例来说,一个视频分量可具有帧速率24及等于0的temporal_id、12fps的子层,而另一视频分量可具有帧速率30及等于0的temporal_id、7.5fps的子层。
封装单元30可发信号通知用以形成表示的分量的组合的各种可能多路复用间隔。以此方式,目的地装置40可选择所述可能多路复用间隔中的一者,以便在足够时间段内请求各种分量的数据,从而允许在正解码及显示所述分量的先前段时检索分量的即将到来的段的数据。也就是说,目的地装置40可预先足够提前地请求分量的数据使得不存在中断的重放(假定无网络条件的即刻改变),但不会预先提前地过多而使得缓冲器溢出。如果存在网络条件的改变,则目的地装置40可选择不同多路复用间隔而非完全地切换分量,以确保在等待更多后续数据的发射时检索足量的数据以供解码及再现。封装单元30可基于明确地发信号通知的间隔或间隔范围而发信号通知多路复用间隔,且可在分量映射盒内发信号通知这些多路复用间隔。
在一些实例中,源装置20可接收指定多个字节范围的请求。也就是说,目的地装置40可在一个请求中指定多个字节范围以实现文件内的各种分量的多路复用。目的地装置40可在分量处于多个文件中时发送多个请求,所述多个请求中的任一者或全部可指定一个或一个以上字节范围。作为实例,目的地装置40可将多个HTTP获取或部分获取请求提交到多个URL或URN,其中所述部分获取请求中的任一者或全部可指定请求的URL或URN内的多个字节范围。源装置20可通过将所请求数据提供到目的地装置40而进行响应。在一些实例中,源装置20可(例如)通过以下操作而支持动态多路复用:实施通用网关接口(CGI)以一起多路复用表示的分量从而动态地形成文件,源装置20可接着将所述文件提供到目的地装置40。
封装单元30还可指定分量映射盒所对应的内容的持续时间。默认地,目的地装置40可经配置以确定当无持续时间经发信号通知时,分量映射盒应用于整个内容。然而,在发信号通知持续时间的情况下,目的地装置40可经配置以请求内容的多个分量映射盒,每一分量映射盒对应于内容的不同持续时间。封装单元30可连续地将所述分量映射盒存储在一起,或将其存储于单独位置中。
在一些情况下,可将分量的各种部分(例如,段)存储于单独文件(例如,URL或URN可检索数据结构)中。在这些情况下,同一分量识别符可用以识别每一文件中的分量,例如在文件的分量布置盒内。所述文件可具有顺序时序信息,即,指示文件中的一者紧跟在另一文件之后的时序信息。目的地装置40可基于某一时序间隔及瞬时位速率来产生对经多路复用片段的请求。目的地装置40可基于分量的片段中的字节的数目来计算瞬时位速率。
如同多数视频译码标准一样,H.264/AVC定义无错误位流的语法、语义及解码过程,其中的任一者遵照某一简档或层级。H.264/AVC不指定编码器,但编码器的任务为保证所产生的位流对于解码器来说为符合标准的。在视频译码标准的上下文中,“简档”对应于算法、特征或工具及施加于算法、特征或工具的约束的子集。如由H.264标准所定义,例如,“简档”为由H.264标准指定的整个位流语法的子集。“层级”对应于解码器资源消耗的限制,例如与图片的分辨率、位速率及宏块(MB)处理速率有关的解码器存储器及计算。可用profile_idc(简档指示符)值发信号通知简档,而可用level_idc(层级指示符)值发信号通知层级。
举例来说,H.264标准认识到,在由给定简档的语法强加的边界内,仍有可能需要编码器及解码器的性能的大变化,此视位流中的语法元素所采取的值(例如,经解码图片的指定大小)而定。H.264标准进一步认识到,在许多应用中,实施能够处理特定简档内的语法的所有假设使用的解码器既不实用也不经济。因此,H.264标准将“层级”定义为强加于位流中的语法元素的值的约束的指定集合。这些约束可为对各值的简单限制。或者,这些约束可采取对各值的算术组合(例如,图片宽度乘以图片高度乘以每秒经解码的图片的数目)的约束的形式。H.264标准进一步提供,个别实施方案可针对每一所支持简档支持不同层级。
遵照简档的解码器通常支持所述简档中定义的所有特征。举例来说,作为译码特征,B图片译码在H.264/AVC的基线简档中未受到支持,但在H.264/AVC的其它简档中受到支持。遵照层级的解码器应能够解码不需要超出所述层级中定义的限制的资源的任何位流。简档及层级的定义可有助于可解译性。举例来说,在视频发射期间,可针对整个发射会话来协商一对简档及层级定义并实现一致。更具体来说,在H.264/AVC中,层级可定义(例如)对以下各项的限制:需要加以处理的宏块的数目、经解码图片缓冲器(DPB)大小、经译码图片缓冲器(CPB)大小、垂直运动向量范围、每两个连续MB的运动向量的最大数目,及B块是否可具有少于8×8个像素的子宏块分割区。以此方式,解码器可确定所述解码器是否能够适当地解码所述位流。
媒体表示可包括媒体表示描述(MPD),其可含有不同替代表示(例如,具有不同质量的视频服务)的描述,且所述描述可包括(例如)编解码器信息、简档值及层级值。目的地装置40可检索媒体表示的MPD以确定如何存取各种表示的电影片段。电影片段可位于视频文件的电影片段盒(moof盒)中。
视频压缩标准(例如,ITU-TH.261、H.262、H.263、MPEG-1、MPEG-2及H.264/MPEG-4第10部分)利用运动补偿时间预测来减少时间冗余。编码器使用来自一些先前经编码图片(本文中还被称作帧)的运动补偿预测以根据运动向量来预测当前经译码图片。在典型视频译码中,存在三种主要图片类型。所述三种主要图片类型为经帧内译码图片(“I图片”或“I帧”)、预测图片(“P图片”或“P帧”)及双向预测图片(“B图片”或“B帧”)。P图片仅使用在时间次序上在当前图片之前的参考图片。在B图片中,可从一个或两个参考图片来预测所述B图片的每一块。这些参考图片在时间次序上可位于当前图片之前或之后。
根据H.264译码标准,作为实例,B图片使用先前经译码参考图片的两个列表,即列表0及列表1。这两个列表可各自含有在时间次序上的过去及/或未来的经译码图片。可按以下若干方式中的一者来预测B图片中的块:从列表0参考图片的运动补偿预测、从列表1参考图片的运动补偿预测,或从列表0参考图片及列表1参考图片两者的组合的运动补偿预测。为了得到列表0参考图片及列表1参考图片两者的组合,分别从列表0参考图片及列表1参考图片获得两个运动补偿参考区域。可使用其组合来预测当前块。
ITU-TH.264标准支持各种块大小的帧内预测(例如,对于明度分量的16乘16、8乘8或4乘4,以及对于色度分量的8×8)以及各种块大小的帧间预测(例如,对于明度分量的16×16、16×8、8×16、8×8、8×4、4×8及4×4,以及对于色度分量的对应经缩放大小)。在本发明中,“N×N”与“N乘N”可互换使用以指代就垂直及水平维度来说的块的像素尺寸,例如,16×16个像素或16乘16个像素。大体来说,16×16块将在垂直方向上具有16个像素(y=16)且在水平方向上具有16个像素(x=16)。同样,N×N块大体上在垂直方向上具有N个像素且在水平方向上具有N个像素,其中N表示非负整数值。可将块中的像素排列成行及列。块在水平及垂直维度上可具有不同数目个像素。也就是说,块可包括N×M个像素,其中N未必等于M。
小于16乘16的块大小可被称作16乘16宏块的分割区。视频块可包含像素域中的像素数据的块,或变换域中的变换系数的块,例如,在应用如下变换之后,例如离散余弦变换(DCT)、整数变换、小波变换,或针对残余视频块数据的概念上类似的变换,所述残余视频块数据表示经译码视频块与预测性视频块之间的像素差。在一些情况下,视频块可包含变换域中的经量化变换系数的块。
较小视频块可提供较好分辨率,且可用于包括高细节等级的视频帧的位置。大体来说,可将宏块及各种分割区(有时被称作子块)视为视频块。另外,可将切片视为多个视频块,例如宏块及/或子块。每一切片可为视频帧的可独立解码单元。或者,帧自身可为可解码单元,或帧的其它部分可被定义为可解码单元。术语“经译码单元”或“译码单元”可指代视频帧的任何可独立解码单元,例如整个帧、帧的切片、还称作序列的图片群组(GOP),或根据适用的译码技术定义的另一可独立解码单元。
术语“宏块”指代用于根据包含16×16个像素的二维像素阵列编码图片及/或视频数据的数据结构。每一像素包含色度分量及明度分量。因此,宏块可界定四个明度块(各自包含8×8个像素的二维阵列)、两个色度块(各自包含16×16个像素的二维阵列)及标头,所述标头包含语法信息,例如经译码块模式(CBP)、编码模式(例如,帧内(I)或帧间(P或B)编码模式)、经帧内编码块的分割区的分割区大小(例如,16×16、16×8、8×16、8×8、8×4、4×8或4×4),或经帧间编码宏块的一个或一个以上运动向量。
视频编码器28、视频解码器48、音频编码器26、音频解码器46、封装单元30及解封装单元38在适当时各自可实施为多种合适处理电路中的任一者,例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器28及视频解码器48中的每一者可包括于一个或一个以上编码器或解码器中,其中的任一者可集成为组合式视频编码器/解码器(编解码器)的部分。同样,音频编码器26及音频解码器46中的每一者可包括于一个或一个以上编码器或解码器中,其中的任一者可集成为组合式编解码器的部分。包括视频编码器28、视频解码器48、音频编码器26、音频解码器46、封装单元30及/或解封装单元38的设备可包含一个或一个以上集成电路、微处理器及/或无线通信装置(例如,蜂窝式电话)的任何组合。
在封装单元30已基于接收到的数据组合视频文件之后,封装单元30将所述视频文件传递到输出接口32以供输出。在一些实例中,封装单元30可在本地存储所述视频文件或经由输出接口32将所述视频文件发送到远程服务器,而非直接将所述视频文件发送到目的地装置40。举例来说,输出接口32可包含发射器、收发器、用于将数据写入到计算机可读媒体的装置(例如光盘驱动器、磁性媒体驱动器(例如,软盘驱动器))、通用串行总线(USB)端口、网络接口或其它输出接口。输出接口32将所述视频文件输出到计算机可读媒体34,例如发射信号、磁性媒体、光学媒体、存储器、快闪驱动器或其它计算机可读媒体。输出接口32可实施HTTP1.1以响应HTTP获取及部分获取请求。以此方式,源装置20可充当HTTP串流服务器。
最终,输入接口36从计算机可读媒体34检索数据。输入接口36可包含(例如)光盘驱动器、磁性媒体驱动器、USB端口、接收器、收发器或其它计算机可读媒体接口。输入接口36可将数据提供到解封装单元38。解封装单元38可解封装视频文件的元素以检索经编码数据且将所述经编码数据发送到音频解码器46或视频解码器48,此取决于所述经编码数据是音频分量的部分还是视频分量的部分。音频解码器46解码经编码音频数据且将所述经解码音频数据发送到音频输出42,而视频解码器48解码经编码视频数据且将所述经解码视频数据(其可包括多个视图)发送到视频输出44。
图2为说明实例封装单元30的组件的框图。在图2的实例中,封装单元30包括视频输入接口80、音频输入接口82、文件建立单元60及视频文件输出接口84。在此实例中,文件建立单元60包括分量组合单元62、分量映射盒构造器64及分量布置(arr’t)盒构造器66。
视频输入接口80及音频输入接口82分别接收经编码视频及音频数据。当数据经编码时,视频输入接口80及音频输入接口82可接收经编码视频及音频数据,或可从计算机可读媒体检索经编码视频及音频数据。在接收到经编码视频及音频数据后,视频输入接口80及音频输入接口82即刻将经编码视频及音频数据传递到文件建立单元60用于组合到视频文件中。
文件建立单元60可对应于控制单元,所述控制单元包括经配置以执行归其所有的功能及程序的硬件、软件及/或固件。所述控制单元可进一步执行大体上归封装单元30所有的功能。对于文件建立单元60是以软件及/或固件体现的实例来说,封装单元30可包括:计算机可读媒体,其包含用于与文件建立单元60(以及分量组合单元62、分量映射盒构造器64及分量布置盒构造器66)相关联的一个或一个以上处理器的指令;及用以执行所述指令的处理单元。文件建立单元60的子单元(在此实例中为分量组合单元62、分量映射盒构造器64及分量布置盒构造器66)中的每一者可实施为个别硬件单元及/或软件模块,且可在功能上集成或进一步分离成额外子单元。
文件建立单元60可对应于任何合适处理单元或处理电路,例如一个或一个以上微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其任何组合。文件建立单元60可进一步包括:非暂时性计算机可读媒体,其存储用于分量组合单元62、分量映射盒构造器64及分量布置盒构造器66中的任一者或全部的指令;以及用于执行所述指令的处理器。
大体来说,文件建立单元60可建立包括所接收到的音频及视频数据的一个或一个以上视频文件。分量组合单元62可从所接收到的经编码视频及音频样本产生内容的分量。所述分量可对应于若干段,所述若干段中的每一者可包括一个或一个以上视频片段。所述段中的每一者可为可由客户端装置(例如,目的地装置40)独立检索的。举例来说,文件建立单元60可将唯一URL或URN指派给包括段的文件。分量组合单元62可大体上确保属于同一分量的经编码样本与那个分量组合在一起。分量组合单元62还可将唯一分量识别符指派给内容的每一分量。文件建立单元60可包括文件中的一个以上分量的数据,且一个分量可横跨多个文件。文件建立单元60可将分量的数据存储为视频文件内的轨道。
分量映射盒构造器64可根据本发明的技术产生多媒体内容的分量映射盒。举例来说,分量映射盒可发信号通知所述内容的分量的特性。这些特性可包括分量的平均位速率、分量的最大位速率、分量的分辨率及帧速率(假定所述分量为视频分量)、对其它分量的相依性,或其它特性。当发信号通知相依性时,分量映射盒构造器64还可指定具有相依关系的分量之间的时间层差。分量映射盒还可发信号通知潜在多路复用间隔的集合或可用于所述分量的多路复用间隔的范围。在一些实例中,文件建立单元60可将分量映射盒存储于与包括内容的经译码样本的所有其它文件分离的文件中。在其它实例中,文件建立单元60可将分量映射盒包括于视频文件中的一者的标头中。
默认地,分量映射盒应用于整个内容。然而,当分量映射盒仅应用于所述内容的一部分时,分量映射盒构造器64可发信号通知所述分量映射盒所应用于的内容的持续时间。分量映射盒构造器64可接着在静态模式或动态模式中产生内容的多个分量映射盒。在静态模式中,分量映射盒构造器64以对应于分量映射盒所对应的内容的持续时间的次序将所有分量映射盒分组在一起。在动态模式中,分量映射盒构造器64可将每一分量映射盒置于不同位置(例如,不同文件)中。
分量映射盒还可发信号通知媒体片段是否属于分量的新段。因为分量的每一段包括分量识别符,所以可识别属于同一分量的段,即使在所述段存储于单独文件中时也是如此。分量映射盒可进一步发信号通知在包括分量的经编码样本的文件内的所述分量的部分的时序信息。因此,必然支持时间拼接。举例来说,客户端装置(例如,目的地装置40)可确定两个相异文件包括同一分量的数据及所述两个文件的时间排序。
分量布置盒构造器66可针对由文件建立单元60所产生的每一文件产生分量布置盒。大体来说,分量布置盒构造器66可识别哪些分量包括于所述文件内,以及分量识别符与所述文件的轨道识别符之间的对应性。以此方式,分量布置盒可提供内容的分量识别符与文件的轨道识别符之间的映射。轨道识别符可对应于所述文件的具有在所述映射中所指定的分量的经编码样本的轨道。
分量布置盒还可指示如何将每一分量的片段存储于文件中。举例来说,分量布置盒构造器66可指定文件中的分量的片段的字节范围、到特定片段的字节偏移、媒体片段中的第一样本的解码时间、随机存取点是否存在于所述片段中,及(如果存在)所述随机存取点的解码及呈现时间以及所述随机存取点是IDR图片还是ODR图片。
在文件建立单元60已产生文件之后,文件输出接口84可输出所述文件。在一些实例中,文件输出接口84可将文件存储到计算机可读存储媒体(例如,硬盘)。在一些实例中,文件输出接口84可经由输出接口32(图1)将文件发送到经配置以充当服务器(例如,实施HTTP1.1的HTTP串流服务器)的另一装置。在一些实例中,文件输出接口84可将文件存储到本地存储媒体,使得输出接口32可响应于(例如)HTTP串流请求而将文件提供到客户端装置(例如,目的地装置40)。
图3为说明实例分量映射盒100及分量布置盒152A的概念图。在此实例中,分量映射盒100包括视频分量110及音频分量140。应注意,分量映射盒100自身包括视频分量110及音频分量140的发信号通知的特性。如关于图2所提,分量映射盒100及分量布置盒152可由文件建立单元60(例如,分别由分量映射盒构造器64及分量布置盒构造器66)产生。以此方式,封装单元30可发信号通知多媒体内容的特性及包括所述多媒体内容的数据的文件。举例来说,视频分量110包括分量112的发信号通知的特性,且音频分量140包括分量142的发信号通知的特性。如在此实例中所展示,分量112A包括分量特性114A。
在此实例中,分量特性114A包括位速率信息116、分辨率信息118、帧速率信息120、编解码器信息122、简档及层级信息124、相依性信息126、段信息128、多路复用间隔信息130及3D视频信息132。
位速率信息116可包括分量112A的平均位速率及最大位速率中的任一者或两者。位速率信息116还可包括指示是否发信号通知平均及/或最大位速率信息的旗标。举例来说,位速率信息116可包括平均位速率旗标及最大位速率旗标,其中所述平均位速率旗标指示是否针对分量112A发信号通知平均位速率,且最大位速率旗标指示是否针对分量112A发信号通知最大位速率。位速率信息116还可包括指示分量112A的平均位速率的平均位速率值。同样,位速率信息116可包括指示在某一时间段内(例如,在一秒的间隔内)的最大位速率值的最大位速率值。
分辨率信息118可(例如)依据图片的像素宽度及像素高度来描述分量112A的分辨率。在一些情况下,可能未针对分量112A来明确地发信号通知分辨率信息118。举例来说,分量特性114A可包括默认特性旗标,其指示具有索引i的分量是否具有与同一内容的具有索引i-1的分量相同的特性。当所述旗标指示所述特性相同时,不需要发信号通知所述特性。所述默认特性可对应于可用特性(例如,分辨率、帧速率、编解码器信息、简档信息及层级信息)的子集,或可通过分量映射盒(例如,分量映射盒100)发信号通知的特性的其它组合。在一些实例中,对于每一潜在分量,包括指示所述分量的对应特性是否与先前分量相同的个别旗标。
在一些实例中,如上文所描述,可将帧速率信息120指明为默认特性。或者,帧速率信息120可指定分量112A的帧速率。可以视频分量的每256秒的帧数来指定帧速率。如上文所描述,还可将编解码器信息122指明为默认特性。或者,编解码器信息122可指定用以编码分量112A的编码器。类似地,可将简档及层级信息124指明为默认特性或明确地指定(例如)为简档指示符(profile_idc)及层级指示符(level_idc)值。
相依性信息126可指示分量112A是否相依于分量110中的其它分量。如果相依于其它分量,则相依性信息126可包括指示分量112A的时间识别符及分量112A的时间识别符与分量112A所相依于的分量的时间识别符之间的差的信息。
段信息128描述分量112A的段。所述段可存储于文件(例如,文件150)中。在图3的实例中,分量112A的段的数据可存储于文件150A中,具体来说可存储于视频轨道158中,如下文更详细描述。在一些情况下,分量112A的段可存储于多个文件中。每一段可对应于一个或一个以上片段。对于每一片段来说,段信息128可发信号通知以下各项:所述片段是否包括随机存取点、所述随机存取点的类型(例如,IDR或ODR)、所述片段是否对应于新文件(例如,新段)、到所述片段的开始的字节偏移、所述片段的第一样本的时序信息(例如,解码及/或显示时间)、到下一片段的字节偏移、到所述随机存取点(如果存在)的字节偏移,及当在ODRRAP处开始流时跳过解码的样本的数目。
多路复用间隔信息130可指定分量112A的多路复用间隔的集合或范围。当分量112A待用以(例如)通过同时或几乎同时显示场景的两个或两个以上略微不同的视图而产生三维效果时,可包括3D视频信息132。3D视频信息132可包括以下各项:待显示的视图的数目、对应于所述视图的分量的识别符、特定基础视频分量的3D表示的开始时间的开始时间、所述3D表示的持续时间、目标分辨率(例如,当最终显示时所述3D表示的目标宽度及目标高度)、定位信息(例如,在显示窗口中的水平偏移及垂直偏移)、指示用于呈现的经解码视频分量的层的窗口层,及透明因数。大体来说,较低窗口层值可指示相关联视频分量将较早再现且可由具有较高层值的视频分量覆盖。透明度信息可与窗口层级信息组合。当所述分量与具有较低窗口层值的另一分量组合时,可用值[透明度]/255对另一分量中的每一像素进行加权,且可用值(255-[透明度])/255对当前分量中的经共置像素进行加权。
图3说明分量112、142与包括分量112、142的数据的各种文件150之间的对应性。在此实例中,文件150A包括呈视频轨道158的形式的视频分量112A的经编码样本及呈音频轨道160的形式的音频分量142A的经编码样本。文件150A还包括分量布置盒152A。如此实例中进一步说明,分量布置盒152A包括分量到视频轨道映射154及分量到音频轨道映射156。分量到视频轨道映射154指示分量112A的分量识别符映射到文件150A的视频轨道158。类似地,分量到音频轨道映射156指示分量142A的分量识别符映射到文件150A的音频轨道160。
在此实例中,分量112B对应于文件150B的视频轨道162,且分量142B对应于文件150C的音频轨道164。因此,分量布置盒152B可包括分量112B与视频轨道162之间的映射,而分量布置盒152C可包括分量142B与音频轨道164之间的映射。以此方式,客户端装置可检索分量映射盒100及分量布置盒152以确定待请求哪些分量,及如何从文件150存取分量的经编码数据。
以下伪码为用于分量映射盒的数据结构的一个实例实施方案。
此实例中的伪码元素的语义如下。应理解,在其它实例中,可将其它变量名称及语义指派给分量映射盒的元素。在此实例中,box_length指示以字节为单位的分量映射盒的长度。Content_ID指定串流服务器所提供的内容的唯一识别符。
Timescale为指定整个服务的时间标度的整数。此为在一秒中过去的时间单位的数目。举例来说,以一秒的六十分之一来测量时间的时间坐标系统具有60的时间标度。
Video_component_count指定对应于分量映射盒的服务可提供的替代视频分量的数目。在此盒中定义的任何两个视频分量可彼此切换。如果存在由多个表示组成的视频呈现,则此呈现可含有属于替代视频分量群组的一个分量。
Audio_component_count指定对应于分量映射盒的服务可提供的替代音频分量的数目。在此盒中定义的任何两个音频分量可彼此切换。Other_component_count指定对应于分量映射盒的服务的其它分量的数目。
First_cmmp_flag指示此分量映射盒是否为相关联服务的同一类型的第一盒。More_cmmp_flag指示此分量映射盒是否为相关联服务的同一类型的最后盒。
具有等于0的值的cmmp_byte_range_idc指示未在分量映射盒中发信号通知字节范围及时序信息。具有大于0的值的cmmp_byte_range_idc指示在分量映射盒中发信号通知字节范围及时序信息。具有等于1的值的cmmp_byte_range_idc指示仅发信号通知分量的段的开始字节偏移。具有等于2的值的cmmp_byte_range_idc指示发信号通知分量的段的开始字节偏移及结束字节偏移两者。
Temporal_scalability指示当前分量是否相依于以下发信号通知的内容分量,其中的至少一者具有较低temporal_id。Temporal_id指示当前分量的时间识别符。如果temporal_scalability值等于0,则可忽略temporal_id值。Delta_temporal_id指示当前分量的所有样本的最高时间识别符值与相依分量的最高时间识别符值之间的差。
具有等于1的值的multi_video_present_flag指示存在由一个以上经解码视频分量再现的视频呈现。举例来说,在画中画的情况下,multi_video_present_flag可具有等于0的值,此可指示无通过一个以上经解码视频分量再现的视频呈现。
具有等于0的值的multiplex_interval_idc指示未发信号通知多路复用间隔。具有等于1的值的multiplex_interval_idc指示发信号通知多路复用间隔的列表。具有等于2的值的multiplex_interval_idc指示发信号通知多路复用间隔的范围。
Duration_signalled_flag指示是否发信号通知分量映射盒所对应的服务的持续时间。如果未发信号通知所述持续时间(例如,当duration_signalled_flag具有等于0的值时),则假定当前分量映射盒应用于整个服务。
Dynamic_component_map_mode_flag指示当前分量映射盒是否支持动态模式。具有等于1的值的dynamic_component_map_mode_flag指示静态模式,且同一服务的下一分量映射盒(如果其存在)紧跟在同一文件中的当前分量映射盒之后。具有等于0的值的dynamic_component_map_mode_flag指示动态模式,且因此稍后将通过不同手段将同一服务的下一分量映射盒发射到客户端。举例来说,下一分量映射盒可包括于跟随文件的电影盒中。
Starting_time指示当前分量映射盒所应用于的服务的开始时间。Duration指示当前分量映射盒所应用于的内容的持续时间。
Component_ID为分量的唯一识别符。Average_bitrate_flag指示是否针对相关联分量发信号通知平均位速率。Maximum_bitrate_flag指示是否针对相关联分量发信号通知最大位速率。图3的位速率值116可对应于所述伪码中的average_bitrate_flag及maximum_bitrate_flag中的任一者或两者。Default_characteristics_flag指示具有索引i的当前分量的以下特性是否具有与具有索引i-1的分量相同的值:分辨率、帧速率、编解码器信息、简档及层级。
设定为0的resolution_idc/frame_rate_idc/codec_info_idc/profile_level_idc值指示(分别)未发信号通知相关联视频分量的分辨率、帧速率、编解码器信息、简档及/或层级。Resolution_idc可对应于图3的分辨率值118。Frame_rate_idc可对应于图3的帧速率值120。Codec_info_idc可对应于图3的编解码器信息值122。Profie_level_idc可对应于图3的简档/层级值124。设定为1的这些值指示相关联视频分量的分辨率、帧速率、编解码器信息、简档或层级(分别)与具有索引i-1的视频分量相同。设定为2的这些值中的任一者指示相应值等于一个特定视频分量,使用值“same_cha_component_id”来发信号通知。
Dependency_flag指示是否发信号通知当前视频分量的相依性。当dependency_flag指示所述分量相依于其它视频分量时,还可发信号通知当前分量所相依于的分量。也就是说,如果发信号通知所述相依性,则对应视频分量相依于发信号通知的视频分量。Dependency_flag值连同当前分量所相依于的发信号通知的视频分量可对应于图3的相依性值126。
3DVideo_flag指示当前视频分量是否与MVC或提供3D表示的其它视频内容有关。Number_target_views指定在解码3D视频分量(例如,用MVC(多视图视频译码)来译码)时以输出为目标的视图的数目。Entry_count_byte_range指定针对相关联分量发信号通知的片段的数目。3DVideo_flag、number_target_views及entry_count_byte_range可大体上对应于图3的3D视频信息值132。
Avgbitrate指示相关联分量的平均位速率。Maxbitrate指示在一秒的任何间隔中计算的相关联分量的最大位速率。Width及height指示经解码视频分量的以明度像素为单位的分辨率。
Same_resl_component_id指示具有相关联视频分量的相同特定特性(分辨率或帧速率或编解码器信息,或简档及层级)的视频分量的分量识别符。
Frame_rate指示视频分量的以每256秒的帧数为单位的帧速率。Compressorname为指示编解码器的品牌的4字节值,例如,“avc1”。其具有与文件类型盒的major_brand相同的语义。Profile_level指示解码当前视频分量所需的简档及层级。Dependent_comp_count指示相关联视频分量的相依视频分量的数目。
Dependent_comp_id指定相关联视频分量所相依于的视频分量中的一者的分量识别符。在同一时间实例中,可以内容分量的索引的递升次序来对不同内容分量中的样本进行排序。也就是说,具有索引j的样本可早于具有索引j+1的样本而放置,且当前内容分量的样本可为所述时间实例中的最后样本。
Contains_RAP指示所述分量的片段是否含有随机存取点。如果所述片段不含有任何随机存取点,则将contains_RAP设定为0。如果所述片段含有作为所述片段中的第一样本的随机存取点,则将contains_RAP设定为1。如果所述随机存取点并非为所述片段的第一样本,则将contains_RAP设定为2。RAP_type指定在电影片段的基准轨道中所含有的随机存取点(RAP)的类型。如果所述随机存取点为瞬时解码器刷新(IDR)图片,则将RAP_type设定为0。如果所述随机存取点为开放GOP随机存取点(例如,开放解码器刷新(ODR)图片),则将RAP_Type设定为1。
New_file_start_flag旗标指示片段是否为文件中的对应分量的第一片段。此暗示当前所指示的片段在新文件中。当相对较小大小的文件用于服务器中或使用时间拼接时,此发信号通知可为有益的。
Reference_offset指示到含有片段的文件中的所述片段的开始字节的偏移。Reference_delta_time指示相关联片段的解码时间。Next_fragment_offset指示到含有所述片段的文件中的相关联视频分量的下一片段的开始字节偏移。RAP_delta_time指示第一IDR随机存取点与所述片段的第一样本之间的解码时间差。Delta_offset指示所述片段的第一样本的字节偏移与随机存取点的字节偏移之间的字节偏移差。
Delta_DT_PT指示为ODR(开放GOP随机存取点)的RAP的解码时间与呈现时间之间的差。Number_skip_samples指示呈现时间在ODR(其可为电影片段的基准轨道的第一RAP)之前且分解时间在所述ODR之后的样本的数目。注意,如果解码器接收以ODR开始的流,则解码器可跳过这些样本的解码。Contains_RAP、RAP_type、new_file_start_flag、reference_offset、refrence_delta_time、next_fragment_offset、RAP_delta_time、delta_offset、delta_DT_PT及number_skip_samples可大体上对应于段信息128。
Multiplex_time_interval指示相关联视频分量的以timescale为单位的多路复用间隔。视频分量大体上与多路复用间隔信息相关联,但还可针对音频分量发信号通知多路复用间隔信息。Multiplex_time_interval可对应于图3的多路复用间隔值130。Min_muliplex_time_interval及max_muliplex_time_interval指示相关联视频分量的以timescale为单位的多路复用间隔的范围。Multi_video_group_count指定待作为多个经解码视频分量的组合而显示的视频呈现的数目。
Basic_video_component_id指定基础视频分量的分量识别符。将发信号通知的其它额外视频分量连同基础视频分量一起视为一个替代视频呈现。举例来说,假设“forvideo_component_countofvideocomponents”的先前循环包括七个视频分量,其具有CID0、1、2、3、4、5及6。进一步假设,存在具有编号3的basic_video_component_id及两个额外视频分量5及6。接着,仅以下呈现群组为彼此的替代:{0}、{1}、{2}、{3,5,6}及{4}。
Media_time指示具有识别符为basic_video_component_id的基础视频分量的多视频表示的开始时间。Duration指定具有识别符为basic_video_component_id的基础视频分量的多视频呈现的持续时间。Target_width及target_height指定此多视频呈现中的视频分量的目标分辨率。注意,如果此目标分辨率与视频的原始分辨率不同,则目的地装置可执行按比例缩放。
Horizontal_offset及vertical_offset指定显示窗口中的水平偏移及垂直偏移。Window_layer指示用于呈现的经解码视频分量的层。较低层值可指示相关联视频分量较早再现且可由具有较高层值的视频分量覆盖。经解码视频分量可以window_layer值的递升次序来再现。
Transparent_level指示在此经解码视频与低于当前视频分量的window_layer组合时所使用的透明因数。对于每一像素来说,可用值transparent_level/255对现有像素进行加权,且可用值(255-transparent_level)/255对当前经解码视频分量中的共置像素进行加权。
以下伪码为用于分量布置盒的数据结构的一个实例实施方案。
此实例中的伪码元素的语义如下。应理解,在其它实例中,可将其它变量名称及语义指派给分量布置盒的元素。
Component_count指定当前文件中的分量的数目。Track_map_flag指示是否发信号通知此文件中的轨道到具有服务识别符content_ID的服务的分量的映射。
Sub_fragment_flag指示是否发信号通知此文件中的子轨道到分量的映射。Agg_fragment_flag指示是否发信号通知此文件中的轨道聚集到分量的映射。Major_component_count指示主要分量的数目,所述主要分量含有文件中的所有样本。
Component_ID值以每一电影片段中的每一分量的第一样本的次序来指示存储于文件中的主要分量的识别符。Track_id指示对应于具有分量识别符component_ID的分量的轨道的识别符。
Sub_set_component_count指示形成具有为full_component_ID的component_id的分量的全集的子分量的数目。Sub_set_component_ID指定形成具有为full_component_ID的component_id的分量的全集的子分量的component_id值。同一分量的任何两个子分量不具有重叠样本。
在一些实例中,aggregated_component_count指示从文件中的其它分量聚集的内容分量的数目。在一些实例中,aggregated_component_count指示聚集具有分量识别符aggr_component_id的经聚集内容分量所需的相依分量的数目。Aggr_component_id指定经聚集的分量的分量识别符。Depenedent_component_ID指定用以聚集具有为aggr_component_id的id的分量的分量的分量id。
以下表1说明与本发明的技术一致的语法对象的另一实例集合。“元素或属性名称”栏描述语法对象的名称。“类型”栏描述所述语法对象是元素还是属性。“基数”栏描述语法对象的基数,即,在对应于表1的数据结构的实例中所述语法对象的实例的数目。“任选性”栏描述语法对象是否为任选的,在此实例中,其中“M”指示必选,“O”指示任选,“OD”指示具有默认值的任选,且“CM”指示有条件的必选。“描述”栏描述对应语法对象的语义。
表1
关于图3的实例,客户端装置可请求分量映射盒100,所述分量映射盒100包括视频分量110及音频分量140的特性的信息。举例来说,分量112A是由分量特性114A描述。同样,其它分量中的每一者可由类似于分量特性114A的分量特性信息描述。客户端装置还可检索分量布置盒152,所述分量布置盒152描述分量识别符与音频及视频数据的轨道(例如,视频轨道158、162及音频轨道160、164)之间的映射。以此方式,与文件150分离地存储分量映射盒100,文件150包括音频及视频数据的经译码样本。客户端装置可使用分量映射盒100及分量布置盒152的数据来选择内容的表示,且(例如)根据网络串流协议(例如,HTTP串流)来请求选定内容的段。
图4为说明用于多路复用视频分量180及音频分量184的实例时序间隔190的概念图。在此实例中,表示包括视频分量180及音频分量184。视频分量180包括视频片段182A到182D(视频片段182),而音频分量184包括音频片段186A到186C(音频片段186)。视频片段182可包括经编码视频样本,而音频片段186可包括经编码音频样本。
视频片段182及音频片段186可分别以解码时间次序布置于视频分量180及音频分量184内。图4的轴线188指示视频分量180及音频分量184的解码时间信息。在此实例中,如通过轴线188所展示,解码时间从左到右而增加。因此,例如,客户端装置可在视频片段182B之前解码视频片段182A。
图4还说明一秒的实例时序间隔190。根据本发明的技术,视频分量180及音频分量184的分量映射盒可指示时序间隔190为潜在时序间隔集合中的一者,或可指示包括时序间隔190的时序间隔范围。客户端装置可使用此信息来以如下方式请求来自视频分量180及音频分量184的片段:避免缓冲器溢出,但还确保在信息的下一集合可经由网络进行串流之前缓冲可解码的足量数据。
如上文所提,本发明涉及网络串流情形,其中客户端连续地向服务器请求数据,且在所述数据正被检索时解码并再现所述数据。举例来说,当解码并再现视频片段182A及音频片段186A的数据时,客户端装置可请求视频片段182B及音频片段186B。如在图4的实例中所展示,视频片段182及音频片段186未必在时间上对准。因此,客户端装置可使用时序间隔信息来确定何时请求视频分量180及音频分量184的后续片段的数据。
大体来说,客户端装置可经配置以检索具有在下一时序间隔内的开始解码时间的片段。如果分量包括具有在下一时序间隔内的开始解码时间的片段,则客户端可请求那个片段。否则,客户端可跳过对来自所述分量的数据的请求直到后续时序间隔为止。
在图4的实例中,时序间隔190等于1秒。在此实例中,视频分量180的视频片段182的解码时间值可为针对视频片段182A的N-1秒、针对视频片段182B的N+1.2秒、针对视频片段182C的N+2.1秒及针对视频片段182D的N+3.3秒。在此实例中,音频分量184的音频片段186的解码时间值可为针对音频片段186A的N-.2秒、针对音频片段186B的N+1.3秒及针对音频片段186C的N+3.2秒。
作为实例,假定目的地装置40处的下一即将到来的局部解码时间为N+2秒。因此,目的地装置40可确定哪些分量片段具有在N+2秒与N+3秒(即,局部解码时间加时序间隔190)之间的解码时间。具有在N+2秒与N+3秒之间的开始解码时间的分量的片段可对应于待请求的接下来的片段。在此实例中,视频片段182C具有在N+2秒与N+3秒之间的解码时间。因此,目的地装置40可提交检索视频片段182C的请求,例如,指定视频片段182C的字节范围的HTTP部分获取请求。因为音频片段186中的任一者均不具有在N+2秒与N+3秒之间的解码时间,所以目的地装置40将不提交对音频片段186中的任一者的请求。
作为另一实例,当即将到来的局部解码时间为N+3秒时,目的地装置40可提交对视频片段182D及音频片段186C的请求。也就是说,视频片段182D及音频片段186C具有在N+3秒与N+4秒之间的解码时间。因此,目的地装置40可提交对视频片段182D及音频片段186C的请求。
作为又一实例,改为假设时序间隔190为2秒。如果局部解码时间为N+1秒,则目的地装置40可首先确定视频片段182B及182C以及音频片段186B具有在N+1秒与N+3秒之间的解码时间。因此,目的地装置40可提交对视频片段182B及182C以及音频片段186B的请求。
图5为说明用于将分量映射盒及分量布置盒从服务器提供到客户端的实例方法的流程图。图5还说明用于使用分量映射盒及分量布置盒来选择分量以形成呈现及请求选定分量的经编码样本的实例方法。尽管大体上关于图1的源装置20及目的地装置40来描述,但应理解,其它装置也可实施图5的技术。举例来说,经配置以经由串流协议通信的任何服务器及客户端可实施这些技术。
最初,源装置20可接收经编码视频样本(200)。源装置20还可接收经编码音频样本。所述所接收到的样本对应于共同内容。所述所接收到的样本可对应于所述内容的各种分量。源装置20可确定所述样本对应于哪些分量。源装置20还可将所述样本作为所述内容的分量而存储于一个或一个以上文件中(202)。源装置20可将所述样本布置成片段的形式,使得分量可包括一个或一个以上片段,且同一分量的片段可存储于单独文件中。
在将内容的分量存储于一个或一个以上文件中之后,源装置20可针对所述文件中的每一者产生分量布置盒(204)。如上文所论述,分量布置盒可提供分量识别符与文件的轨道识别符之间的映射。源装置20还可产生描述内容的所有分量的分量映射盒(206)。如上文所论述,分量映射盒可描述内容的分量的特性,例如位速率、帧速率、分辨率、编解码器信息、简档及层级信息、分量之间的相依性、段信息、多路复用间隔、描述内容的分量内的片段的字节范围的段信息,及/或3D视频信息。
在一些实例中,源装置20可将包括经编码视频样本及分量布置盒的文件以及分量映射盒本地地存储于源装置20内。在其它实例中,源装置20可经由串流网络协议将所述文件及分量映射盒发送到单独服务器装置以提供到客户端。在图5的实例中,假定源装置20存储所述文件且实施串流网络协议(例如,HTTP串流)。
因此,目的地装置40可向源装置20请求分量映射盒及分量布置盒(208)。举例来说,目的地装置40可根据HTTP串流将对分量映射盒及分量布置盒的请求(例如,指向与内容相关联的URL的HEAD请求)发送到源装置20。响应于接收到请求(210),源装置20可将分量映射盒及分量布置盒提供到目的地装置40(212)。
在接收到分量映射盒及分量布置盒(214)之后,目的地装置40可基于分量映射盒内所含有的数据来确定待请求的分量。举例来说,目的地装置40可基于分辨率、帧速率、编解码器信息、简档及层级信息以及3D视频信息来确定目的地装置40是否能够解码并再现特定分量。目的地装置40还可确定当前网络条件(例如,可用带宽),且基于当前网络条件来选择分量。举例来说,当较少带宽可用时,目的地装置40可选择具有相对较低位速率的分量,或当较多带宽可用时,目的地装置40可选择具有相对较高位速率的分量。作为另一实例,目的地装置40可基于当前网络条件选择多路复用间隔,且基于如由盒所指示的可能多路复用间隔来修改多路复用间隔,以适应变化的网络条件。如果选定分量相依于另一分量,则目的地装置40可请求选定分量及所述选定分量所相依于的分量两者。
在选择待请求的分量之后,目的地装置40可基于所接收到的分量布置盒来确定存储选定分量的数据的文件(218)。举例来说,目的地装置40可分析分量布置盒以确定文件是否具有选定分量的分量识别符与所述文件的轨道之间的映射。如果具有映射,则目的地装置40可(例如)根据串流网络协议请求来自所述文件的数据(220)。所述请求可包含到文件的URL或URN且可能指定文件的字节范围的HTTP获取或部分获取请求,其中所述字节范围可对应于由文件所存储的分量的片段。
目的地装置40可基于选定多路复用间隔来提交检索分量的顺序部分的多个请求。也就是说,最初,目的地装置40可首先请求来自选定分量中的每一者的片段。目的地装置40可接着针对每一分量确定,对于下一多路复用间隔来说,是否存在在下一多路复用间隔内开始的片段,且如果存在,则请求所述片段。以此方式,目的地装置40可基于多路复用间隔请求来自分量的片段。目的地装置40还可周期性地重新评估网络条件以(例如)通过改变多路复用间隔或请求来自不同分量的数据来执行对变化的网络条件的适应。在任何情况下,响应于所述请求,源装置20可将所请求数据输出到目的地装置40(222)。
在一个或一个以上实例中,可以硬件、软件、固件或其任何组合来实施所描述的功能。如果以软件来实施,则功能可作为一个或一个以上指令或代码而存储于计算机可读媒体上或经由计算机可读媒体来传输且由基于硬件的处理单元来执行。计算机可读媒体可包括对应于例如数据存储媒体等有形媒体的计算机可读存储媒体,或包括促进计算机程序(例如)根据通信协议从一处传送到另一处的任何媒体的通信媒体。以此方式,计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包括计算机可读媒体。
通过实例而非限制,所述计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器,或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且,任何连接被适当地称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令,则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包括于媒体的定义中。然而,应理解,计算机可读存储媒体及数据存储媒体不包括连接、载波、信号或其它瞬时媒体,而是改为针对非瞬时、有形的存储媒体。如本文中所使用,磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘,其中磁盘通常以磁性方式再生数据,而光盘通过激光以光学方式再生数据。以上各项的组合也应包括于计算机可读媒体的范围内。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行指令。因此,如本文中所使用,术语“处理器”可指代上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文所描述的功能性可提供于经配置以用于编码及解码的专用硬件及/或软件模块内,或并入于组合式编解码器中。而且,所述技术可完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中,包括无线手持机、集成电路(IC)或IC的集合(例如,芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面,但未必需要通过不同硬件单元实现。而是,如上文所描述,各种单元可组合于编解码器硬件单元中或由交互操作的硬件单元的集合(包括如上文所描述的一个或一个以上处理器)结合合适的软件及/或固件来提供。
已描述各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (43)

1.一种发送经封装视频数据的方法,所述方法包含:
将视频内容的多个表示的分量的特性发送到客户端装置,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者,其中所述分量的每一者包括针对相应的所述多个表示中的一者的音频数据或视频数据中的一者,且其中所述多个表示中的每一者包括使用特定编码参数编码的所述视频内容的一版本;
在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求;及
响应于所述请求而将所述所请求分量发送到所述客户端装置。
2.根据权利要求1所述的方法,其中所述分量中的至少两者存储于分离的文件中,且其中发送所述特性包含发送包含所述分量中的所述至少两者中的每一者的特性的数据结构。
3.根据权利要求1所述的方法,其进一步包含:
将所述分量的所述特性存储于文件中,所述文件与存储所述分量的经编码样本的一个或一个以上文件分离,
其中发送所述特性包含:
接收对存储所述特性的所述文件的第一请求;及
响应于所述第一请求而独立于存储所述经编码样本的所述一个或一个以上文件发送所述文件,且
其中对所述视频分量中的所述至少一者的所述请求包含第二不同请求。
4.根据权利要求1所述的方法,其进一步包含:
将所述分量中的每一者的所述特性存储于单一数据结构中,其中所述数据结构与所述分量分离;
将识别符指派给所述数据结构,所述识别符使所述数据结构与包含所述多个表示的多媒体内容相关联;及
将唯一识别符指派给所述多媒体内容的所述表示,
其中发送所述特性包含发送所述数据结构。
5.根据权利要求1所述的方法,其中发送所述特性进一步包含发送所述分量的分量识别符值,其中所述分量识别符值中的至少一者不同于对应于所述分量识别符值中的所述至少一者的所述分量的轨道识别符值。
6.根据权利要求5所述的方法,其进一步包含发送指示所述分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息,所述一个或一个以上文件存储所述分量的经编码样本。
7.根据权利要求6所述的方法,其进一步包含针对所述一个或一个以上文件的所述分量中的每一者发送指示以下各项的信息:到所述分量内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点,及所述片段是否属于所述分量的新段的指示。
8.根据权利要求1所述的方法,其中发送所述特性包含发送指示一组所述分量可彼此切换的信息,且其中所述请求指定所述组分量中的至少一者。
9.根据权利要求1所述的方法,其中发送所述特性包含发送指示以下各项的信息:所述分量之间的所述相依性,及针对存取单元中的所述分量的解码次序的所述分量之间的所述相依性的排序。
10.根据权利要求1所述的方法,其中发送所述特性包含发送指示以下各项的信息:所述分量之间的所述相依性,及第一分量与相依于所述第一分量的第二分量之间的时间层差。
11.根据权利要求1所述的方法,其中发送所述特性包含发送指示所述多个表示中的一者或一者以上的供输出的目标视图的数目的信息。
12.根据权利要求1所述的方法,其中发送所述特性包含发送指示所述分量中的两者或两者以上的组合的可能多路复用间隔的信息,且其中所述请求指定所述分量中的所述两者或两者以上中的任一者的具有在所述多路复用间隔中的共同一者内的解码时间的片段。
13.根据权利要求1所述的方法,其中所述特性包含第一组特性,且其中发送所述特性包含发送指示所述第一组特性所对应的所述分量的第一持续时间的信息,所述方法进一步包含发送所述分量的第二组特性及所述第二组特性所对应的所述分量的第二持续时间。
14.一种用于发送经封装视频数据的设备,所述设备包含:
处理器,其经配置以确定视频内容的多个表示的分量的特性,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者,其中所述分量的每一者包括针对相应的所述多个表示中的一者的音频数据或视频数据中的一者,且其中所述多个表示中的每一者包括使用特定编码参数编码的所述视频内容的一版本;及
一个或一个以上接口,其经配置以将所述特性发送到客户端装置,在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求,且响应于所述请求而将所述所请求分量发送到所述客户端装置。
15.根据权利要求14所述的设备,其中所述特性进一步包含所述分量的分量识别符值,其中所述分量识别符值中的至少一者不同于对应于所述分量识别符值中的所述至少一者的所述分量的轨道识别符值,且其中所述特性包含指示所述分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息,所述一个或一个以上文件存储所述分量的经编码样本。
16.根据权利要求15所述的设备,其中针对所述一个或一个以上文件的所述分量中的每一者,所述特性进一步包含指示以下各项的信息:到所述分量内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点,及所述片段是否属于所述分量的新段的指示。
17.根据权利要求14所述的设备,其中所述特性包含指示以下各项的信息:所述分量之间的所述相依性,及针对存取单元中的所述分量的解码次序的所述分量之间的所述相依性的排序。
18.根据权利要求14所述的设备,其中所述特性包含指示以下各项的信息:所述分量之间的所述相依性,及第一分量与相依于所述第一分量的第二分量之间的时间层差。
19.根据权利要求14所述的设备,其中所述特性包含指示所述多个表示中的一者或一者以上的供输出的目标视图的数目的信息。
20.根据权利要求14所述的设备,其中所述特性包含指示所述分量中的两者或两者以上的组合的可能多路复用间隔的信息,且其中所述请求指定所述分量中的所述两者或两者以上中的任一者的具有在所述多路复用间隔中的共同一者内的解码时间的片段。
21.根据权利要求14所述的设备,其中所述特性包含第一组特性,且其中所述一个或一个以上接口经配置以发送指示所述第一组特性所对应的所述分量的第一持续时间的信息,且其中所述处理器进一步经配置以产生所述分量的第二组特性及所述第二组特性所对应的所述分量的第二持续时间,且其中所述一个或一个以上接口经配置以发送所述第二组特性。
22.根据权利要求14所述的设备,其中所述设备包含以下各项中的至少一者:
集成电路;
微处理器;及
无线通信装置,其包括所述处理器。
23.一种用于发送经封装视频数据的设备,所述设备包含:
用于将视频内容的多个表示的分量的特性发送到客户端装置的装置,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者,其中所述分量的每一者包括针对相应的所述多个表示中的一者的音频数据或视频数据中的一者,且其中所述多个表示中的每一者包括使用特定编码参数编码的所述视频内容的一版本;
用于在发送所述特性之后从所述客户端装置接收对所述分量中的至少一者的请求的装置;及
用于响应于所述请求而将所述所请求分量发送到所述客户端装置的装置。
24.根据权利要求23所述的设备,其中用于发送所述特性的装置进一步包含:
用于发送所述分量的分量识别符值的装置,其中所述分量识别符值中的至少一者不同于对应于所述分量识别符值中的所述至少一者的所述分量的轨道识别符值;
用于发送指示所述分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息的装置,所述一个或一个以上文件存储所述分量的经编码样本;及
用于针对所述一个或一个以上文件的所述分量中的每一者发送指示以下各项的信息的装置:到所述分量内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点,及所述片段是否属于所述分量的新段的指示。
25.根据权利要求23所述的设备,其中所述用于发送所述特性的装置包含用于发送指示以下各项的信息的装置:所述分量之间的所述相依性,及针对存取单元中的所述分量的解码次序的所述分量之间的所述相依性的排序。
26.根据权利要求23所述的设备,其中所述用于发送所述特性的装置包含用于发送指示以下各项的信息的装置:所述分量之间的所述相依性,及第一分量与相依于所述第一分量的第二分量之间的时间层差。
27.根据权利要求23所述的设备,其中所述用于发送所述特性的装置包含用于发送指示所述分量中的两者或两者以上的组合的可能多路复用间隔的信息的装置,且其中所述请求指定所述分量中的所述两者或两者以上中的任一者的具有在所述多路复用间隔中的共同一者内的解码时间的片段。
28.根据权利要求23所述的设备,其中所述特性包含第一组特性,且其中所述用于发送所述特性的装置包含用于发送指示所述第一组特性所对应的所述分量的第一持续时间的信息的装置,所述设备进一步包含用于发送所述分量的第二组特性及所述第二组特性所对应的所述分量的第二持续时间的装置。
29.一种接收经封装视频数据的方法,所述方法包含:
向源装置请求视频内容的多个表示的分量的特性,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者,其中所述分量的每一者包括针对相应的所述多个表示中的一者的音频数据或视频数据中的一者,且其中所述多个表示中的每一者包括使用特定编码参数编码的所述视频内容的一版本;
基于所述特性来选择所述分量中的一者或一者以上;
请求所述选定分量的样本;及
在已接收所述样本之后解码并呈现所述样本。
30.根据权利要求29所述的方法,其进一步包含:
接收指示所述选定分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息,所述一个或一个以上文件存储所述分量的经编码样本;及
接收指示以下各项的信息:到所述选定分量中的每一者内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点,及所述片段是否属于所述相应分量的新段的指示;
其中请求所述样本包含基于所述字节偏移、所述解码时间、所述随机存取点及所述片段是否属于新段的所述指示来请求来自所述一个或一个以上文件的对应于所述轨道识别符值的轨道的样本,所述轨道识别符值对应于所述选定分量的所述分量识别符值。
31.根据权利要求29所述的方法,其进一步包含:
接收指示所述选定分量中的至少一者相依于另一分量的信息;及
请求所述选定分量中的所述一者所相依于的所述分量的样本。
32.根据权利要求29所述的方法,其中请求所述选定分量的所述样本包含:
确定下一多路复用间隔;
确定所述选定分量中具有开始于所述下一多路复用间隔中的片段的分量;及
请求来自所述选定分量中的所述经确定分量的开始于所述下一多路复用间隔中的所述片段。
33.根据权利要求29所述的方法,其中所述特性包含第一组特性,所述方法进一步包含:
接收指示所述第一组特性所对应的所述分量的第一持续时间的信息;
请求对应于第二组特性所对应的所述分量的第二持续时间的所述分量的所述第二组特性;及
基于所述第二组特性来请求来自对应于所述第二持续时间的所述分量的样本。
34.一种用于接收经封装视频数据的设备,所述设备包含:
一个或一个以上接口,其经配置以向源装置请求视频内容的多个表示的分量的特性,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者,其中所述分量的每一者包括针对相应的所述多个表示中的一者的音频数据或视频数据中的一者,且其中所述多个表示中的每一者包括使用特定编码参数编码的所述视频内容的一版本;及
处理器,其经配置以基于所述特性来选择所述分量中的一者或一者以上,且致使所述一个或一个以上接口将对所述选定分量的样本的请求提交到所述源装置。
35.根据权利要求34所述的设备,其中所述处理器经配置以:接收指示所述选定分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息,所述一个或一个以上文件存储所述分量的经编码样本;接收指示以下各项的信息:到所述选定分量中的每一者内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点,及所述片段是否属于所述相应分量的新段的指示;且基于所述字节偏移、所述解码时间、所述随机存取点及所述片段是否属于新段的所述指示来构造对来自所述一个或一个以上文件的对应于所述轨道识别符值的轨道的所述样本的所述请求,所述轨道识别符值对应于所述选定分量的所述分量识别符值。
36.根据权利要求34所述的设备,其中所述处理器经配置以接收指示所述选定分量中的至少一者相依于另一分量的信息,且请求所述选定分量中的所述一者所相依于的所述分量的样本。
37.根据权利要求34所述的设备,其中为了产生对所述选定分量的所述样本的所述请求,所述处理器经配置以确定下一多路复用间隔,确定所述选定分量中具有开始于所述下一多路复用间隔中的片段的分量,且请求来自所述选定分量中的所述经确定分量的开始于所述下一多路复用间隔中的所述片段。
38.根据权利要求34所述的设备,其中所述特性包含第一组特性,且其中所述处理器经配置以接收指示所述第一组特性所对应的所述分量的第一持续时间的信息,请求对应于第二组特性所对应的所述分量的第二持续时间的所述分量的所述第二组特性,且基于所述第二组特性来请求来自对应于所述第二持续时间的所述分量的样本。
39.一种用于接收经封装视频数据的设备,所述设备包含:
用于向源装置请求视频内容的多个表示的分量的特性的装置,其中所述特性包含帧速率、简档指示符、层级指示符及所述分量之间的相依性中的至少一者,其中所述分量的每一者包括针对相应的所述多个表示中的一者的音频数据或视频数据中的一者,且其中所述多个表示中的每一者包括使用特定编码参数编码的所述视频内容的一版本;
用于基于所述特性来选择所述分量中的一者或一者以上的装置;
用于请求所述选定分量的样本的装置;及
用于在已接收所述样本之后解码并呈现所述样本的装置。
40.根据权利要求39所述的设备,其进一步包含:
用于接收指示所述选定分量的分量识别符值与一个或一个以上文件中的所述分量的轨道识别符值之间的对应性的信息的装置,所述一个或一个以上文件存储所述分量的经编码样本;及
用于接收指示以下各项的信息的装置:到所述选定分量中的每一者内的片段的字节偏移、所述片段中的第一样本的解码时间、所述片段中的随机存取点,及所述片段是否属于所述相应分量的新段的指示;
其中所述用于请求所述样本的装置包含用于基于所述字节偏移、所述解码时间、所述随机存取点及所述片段是否属于新段的所述指示来请求来自所述一个或一个以上文件的对应于所述轨道识别符值的轨道的样本的装置,所述轨道识别符值对应于所述选定分量的所述分量识别符值。
41.根据权利要求39所述的设备,其进一步包含:
用于接收指示所述选定分量中的至少一者相依于另一分量的信息的装置;及
用于请求所述选定分量中的所述一者所相依于的所述分量的样本的装置。
42.根据权利要求39所述的设备,其中所述用于请求所述选定分量的所述样本的装置包含:
用于确定下一多路复用间隔的装置;
用于确定所述选定分量中具有开始于所述下一多路复用间隔中的片段的分量的装置;及
用于请求来自所述选定分量中的所述经确定分量的开始于所述下一多路复用间隔中的所述片段的装置。
43.根据权利要求39所述的设备,其中所述特性包含第一组特性,所述设备进一步包含:
用于接收指示所述第一组特性所对应的所述分量的第一持续时间的信息的装置;
用于请求对应于第二组特性所对应的所述分量的第二持续时间的所述分量的所述第二组特性的装置;及
用于基于所述第二组特性来请求来自对应于所述第二持续时间的所述分量的样本的装置。
CN201180038542.2A 2010-07-15 2011-07-15 发信号通知用于多路复用视频分量的数据 Active CN103069799B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US36474710P 2010-07-15 2010-07-15
US61/364,747 2010-07-15
US36643610P 2010-07-21 2010-07-21
US61/366,436 2010-07-21
US12/986,028 2011-01-06
US12/986,028 US9185439B2 (en) 2010-07-15 2011-01-06 Signaling data for multiplexing video components
PCT/US2011/044284 WO2012009700A1 (en) 2010-07-15 2011-07-15 Signaling data for multiplexing video components

Publications (2)

Publication Number Publication Date
CN103069799A CN103069799A (zh) 2013-04-24
CN103069799B true CN103069799B (zh) 2016-03-09

Family

ID=45466659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180038542.2A Active CN103069799B (zh) 2010-07-15 2011-07-15 发信号通知用于多路复用视频分量的数据

Country Status (8)

Country Link
US (1) US9185439B2 (zh)
EP (1) EP2594071A1 (zh)
JP (2) JP5866354B2 (zh)
CN (1) CN103069799B (zh)
AR (1) AR082242A1 (zh)
BR (1) BR112013000861B1 (zh)
TW (1) TWI458340B (zh)
WO (1) WO2012009700A1 (zh)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) * 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) * 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP1552617A2 (en) 2002-10-05 2005-07-13 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
CN1954501B (zh) 2003-10-06 2010-06-16 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法
JP4971144B2 (ja) * 2004-05-07 2012-07-11 デジタル ファウンテン, インコーポレイテッド ファイルダウンロードおよびストリーミングのシステム
KR101292851B1 (ko) 2006-02-13 2013-08-02 디지털 파운튼, 인크. 가변적 fec 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링
US9270414B2 (en) * 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
JP5027305B2 (ja) 2007-09-12 2012-09-19 デジタル ファウンテン, インコーポレイテッド 信頼できる通信を可能にするためのソース識別情報の生成および伝達
US9281847B2 (en) * 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
CN102484729B (zh) * 2009-04-07 2016-08-24 Lg电子株式会社 广播发送器、广播接收器及其3d视频数据处理方法
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
BR112012010772A2 (pt) * 2009-11-06 2020-09-08 Telefonaktiebolaget Lm Ericsson (Publ) método e dispositivo para prover conteúdo de mídia para fluxo contínuo, método de renderização de conteúdo de mídia, e, terminal de usuário
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
KR20120034550A (ko) 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
EP3742741A1 (en) * 2010-09-01 2020-11-25 Ideahub Inc. Method and device for providing content via http adaptive streaming using a media presentation description including a group element
US9467493B2 (en) 2010-09-06 2016-10-11 Electronics And Telecommunication Research Institute Apparatus and method for providing streaming content
CN107087223A (zh) * 2011-01-07 2017-08-22 夏普株式会社 再生装置及其控制方法、以及生成装置及其控制方法
US20130294747A1 (en) * 2011-01-14 2013-11-07 Sharp Kabushiki Kaisha Content playing device, content playing method, distribution system, content playing program, recording medium, and data structure
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치
JP5529177B2 (ja) * 2011-01-19 2014-06-25 ネイバー ビジネス プラットフォーム コーポレーション P2p基盤のストリーミングサービスでバッファリングを行うシステムおよび方法、並びにクライアントでバッファリングを処理するアプリケーションを配布するシステム
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
JP5856295B2 (ja) * 2011-07-01 2016-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオシステムのための同期及びスイッチオーバ方法及びシステム
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9712874B2 (en) * 2011-12-12 2017-07-18 Lg Electronics Inc. Device and method for receiving media content
US9930379B2 (en) 2012-01-31 2018-03-27 Comcast Cable Communications, Llc System and method for data stream fragmentation
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
LT3793200T (lt) 2012-04-13 2023-02-27 Ge Video Compression, Llc Vaizdo kodavimas su maža delsa
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
US20130312046A1 (en) * 2012-05-15 2013-11-21 Mark Robertson Smart stream delivery server, system and methods for assembling a mix of services to be delivered to a subscriber's premises
JP6247286B2 (ja) * 2012-06-12 2017-12-13 コーヒレント・ロジックス・インコーポレーテッド ビデオコンテンツの符号化及び配信のための分散アーキテクチャ
AU2013283173B2 (en) 2012-06-29 2016-03-24 Ge Video Compression, Llc Video data stream concept
WO2014033504A1 (en) * 2012-09-03 2014-03-06 Wijetunga Sagara Method and system for segmenting and separately package audio, video, subtitle and metadata
US9565314B2 (en) 2012-09-27 2017-02-07 Dolby Laboratories Licensing Corporation Spatial multiplexing in a soundfield teleconferencing system
US10791315B2 (en) 2013-01-04 2020-09-29 Qualcomm Incorporated Signaling of spatial resolution of depth views in multiview coding file format
JP6473078B2 (ja) * 2013-04-05 2019-02-20 シャープ株式会社 画像復号装置
US9609336B2 (en) * 2013-04-16 2017-03-28 Fastvdo Llc Adaptive coding, transmission and efficient display of multimedia (acted)
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
CN105325003B (zh) 2013-04-17 2019-05-28 诺基亚技术有限公司 用于视频编码和解码的装置、方法
US9973559B2 (en) * 2013-05-29 2018-05-15 Avago Technologies General Ip (Singapore) Pte. Ltd. Systems and methods for presenting content streams to a client device
MX364810B (es) * 2013-07-19 2019-05-07 Sony Corp Dispositivo y método de procesamiento de información.
KR102132061B1 (ko) 2013-12-03 2020-07-08 소니 주식회사 수신 장치
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US9807406B2 (en) * 2014-03-17 2017-10-31 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams
GB2524531B (en) * 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
KR20160003450A (ko) * 2014-07-01 2016-01-11 삼성전자주식회사 전자장치의 데이터를 공유하기 위한 방법 및 장치
KR101600469B1 (ko) * 2014-07-16 2016-03-07 김재경 스트리밍 서비스를 위한 클라이언트 및 서버의 동작 방법
US10390059B2 (en) * 2014-09-04 2019-08-20 Comcast Cable Communications, Llc Latent binding of content based on user preference
US10187680B2 (en) * 2014-11-11 2019-01-22 Cisco Technology, Inc. Adaptive bit rate system architectures using named domain networking
US10728599B2 (en) * 2014-12-12 2020-07-28 Arris Enterprise, Llc Gateway server conditioned media streaming
US10812546B2 (en) * 2014-12-24 2020-10-20 Intel IP Corporation Link-aware streaming adaptation
US10148969B2 (en) * 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format
KR102126257B1 (ko) 2015-02-13 2020-06-24 에스케이텔레콤 주식회사 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
US9589543B2 (en) 2015-03-18 2017-03-07 Intel Corporation Static frame image quality improvement for sink displays
US9532099B2 (en) * 2015-03-24 2016-12-27 Intel Corporation Distributed media stream synchronization control
US10779057B2 (en) * 2015-06-08 2020-09-15 Qualcomm Incorporated Broadcast content redistribution and ad insertion
US9832123B2 (en) * 2015-09-11 2017-11-28 Cisco Technology, Inc. Network named fragments in a content centric network
MX2018005762A (es) 2015-11-09 2018-08-01 Thomson Licensing Metodo y dispositivo para adaptar el contenido de video decodificado de corrientes elementales a las caracteristicas de una pantalla.
KR101863598B1 (ko) * 2016-07-29 2018-06-01 주식회사 에어브로드 스트리밍 서비스를 위한 클라이언트의 동작 방법
US20180103271A1 (en) * 2016-10-10 2018-04-12 Qualcomm Incorporated Systems and methods for signaling missing or corrupted video data
US9872062B1 (en) * 2017-02-22 2018-01-16 Wyse Technology L.L.C. Enforcing synchronization by embedding audio within video frame data
US10587904B2 (en) * 2017-07-10 2020-03-10 Qualcomm Incorporated Processing media data using an omnidirectional media format
JP2021129127A (ja) * 2018-05-08 2021-09-02 ソニーグループ株式会社 受信装置、送信装置、受信方法、送信方法、およびプログラム
US11606569B2 (en) * 2018-09-25 2023-03-14 Apple Inc. Extending supported components for encoding image data
US11083961B2 (en) * 2018-12-21 2021-08-10 Universal City Studios Llc Scalable interactive video systems and methods
US11381867B2 (en) * 2019-01-08 2022-07-05 Qualcomm Incorporated Multiple decoder interface for streamed media data
CN112840665B (zh) * 2019-02-07 2024-01-19 Lg电子株式会社 广播信号发送设备、广播信号发送方法、广播信号接收方法和广播信号接收设备
US11094087B2 (en) * 2019-06-24 2021-08-17 Google Llc Dual serving scheme for LOD sequences
US11564018B2 (en) * 2019-10-02 2023-01-24 Qualcomm Incorporated Random access at resync points of dash segments

Family Cites Families (391)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965825A (en) 1981-11-03 1990-10-23 The Personalized Mass Media Corporation Signal processing apparatus and methods
US4901319A (en) 1988-03-18 1990-02-13 General Electric Company Transmission system with adaptive interleaving
US5421031A (en) 1989-08-23 1995-05-30 Delta Beta Pty. Ltd. Program transmission optimisation
US5701582A (en) 1989-08-23 1997-12-23 Delta Beta Pty. Ltd. Method and apparatus for efficient transmissions of programs
US7594250B2 (en) 1992-04-02 2009-09-22 Debey Henry C Method and system of program transmission optimization using a redundant transmission sequence
US5329369A (en) 1990-06-01 1994-07-12 Thomson Consumer Electronics, Inc. Asymmetric picture compression
US5379297A (en) 1992-04-09 1995-01-03 Network Equipment Technologies, Inc. Concurrent multi-channel segmentation and reassembly processors for asynchronous transfer mode
US5371532A (en) 1992-05-15 1994-12-06 Bell Communications Research, Inc. Communications architecture and method for distributing information services
US5590405A (en) 1993-10-29 1996-12-31 Lucent Technologies Inc. Communication technique employing variable information transmission
CA2140850C (en) 1994-02-24 1999-09-21 Howard Paul Katseff Networked system for display of multimedia presentations
US5566208A (en) 1994-03-17 1996-10-15 Philips Electronics North America Corp. Encoder buffer having an effective size which varies automatically with the channel bit-rate
US5757415A (en) 1994-05-26 1998-05-26 Sony Corporation On-demand data transmission by dividing input data into blocks and each block into sub-blocks such that the sub-blocks are re-arranged for storage to data storage means
US5802394A (en) 1994-06-06 1998-09-01 Starlight Networks, Inc. Method for accessing one or more streams in a video storage system using multiple queues and maintaining continuity thereof
US5739864A (en) 1994-08-24 1998-04-14 Macrovision Corporation Apparatus for inserting blanked formatted fingerprint data (source ID, time/date) in to a video signal
US5668948A (en) 1994-09-08 1997-09-16 International Business Machines Corporation Media streamer with control node enabling same isochronous streams to appear simultaneously at output ports or different streams to appear simultaneously at output ports
US5926205A (en) 1994-10-19 1999-07-20 Imedia Corporation Method and apparatus for encoding and formatting data representing a video program to provide multiple overlapping presentations of the video program
US5659614A (en) 1994-11-28 1997-08-19 Bailey, Iii; John E. Method and system for creating and storing a backup copy of file data stored on a computer
US5617541A (en) 1994-12-21 1997-04-01 International Computer Science Institute System for packetizing data encoded corresponding to priority levels where reconstructed data corresponds to fractionalized priority level and received fractionalized packets
JP3614907B2 (ja) 1994-12-28 2005-01-26 株式会社東芝 データ再送制御方法及びデータ再送制御システム
US5835165A (en) 1995-06-07 1998-11-10 Lsi Logic Corporation Reduction of false locking code words in concatenated decoders
US6079041A (en) 1995-08-04 2000-06-20 Sanyo Electric Co., Ltd. Digital modulation circuit and digital demodulation circuit
US5751336A (en) 1995-10-12 1998-05-12 International Business Machines Corporation Permutation based pyramid block transmission scheme for broadcasting in video-on-demand storage systems
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JP3305183B2 (ja) 1996-01-12 2002-07-22 株式会社東芝 ディジタル放送受信端末装置
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US5936659A (en) 1996-01-31 1999-08-10 Telcordia Technologies, Inc. Method for video delivery using pyramid broadcasting
US5903775A (en) 1996-06-06 1999-05-11 International Business Machines Corporation Method for the sequential transmission of compressed video information at varying data rates
US5745504A (en) 1996-06-25 1998-04-28 Telefonaktiebolaget Lm Ericsson Bit error resilient variable length code
US5940863A (en) 1996-07-26 1999-08-17 Zenith Electronics Corporation Apparatus for de-rotating and de-interleaving data including plural memory devices and plural modulo memory address generators
US5936949A (en) 1996-09-05 1999-08-10 Netro Corporation Wireless ATM metropolitan area network
KR100261706B1 (ko) 1996-12-17 2000-07-15 가나이 쓰도무 디지탈방송신호의 수신장치와 수신 및 기록재생장치
US6011590A (en) 1997-01-03 2000-01-04 Ncr Corporation Method of transmitting compressed information to minimize buffer space
US6141053A (en) 1997-01-03 2000-10-31 Saukkonen; Jukka I. Method of optimizing bandwidth for transmitting compressed video data streams
US5983383A (en) 1997-01-17 1999-11-09 Qualcom Incorporated Method and apparatus for transmitting and receiving concatenated code data
US5946357A (en) 1997-01-17 1999-08-31 Telefonaktiebolaget L M Ericsson Apparatus, and associated method, for transmitting and receiving a multi-stage, encoded and interleaved digital communication signal
US6115420A (en) 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6226259B1 (en) 1997-04-29 2001-05-01 Canon Kabushiki Kaisha Device and method for transmitting information device and method for processing information
US5844636A (en) 1997-05-13 1998-12-01 Hughes Electronics Corporation Method and apparatus for receiving and recording digital packet data
JPH1141211A (ja) 1997-05-19 1999-02-12 Sanyo Electric Co Ltd ディジタル変調回路と変調方法、ディジタル復調回路と復調方法
EP0933768A4 (en) 1997-05-19 2000-10-04 Sanyo Electric Co DIGITAL MODULATION AND DEMODULATION
JP4110593B2 (ja) 1997-05-19 2008-07-02 ソニー株式会社 信号記録方法及び信号記録装置
US6128649A (en) 1997-06-02 2000-10-03 Nortel Networks Limited Dynamic selection of media streams for display
US6134596A (en) 1997-09-18 2000-10-17 Microsoft Corporation Continuous media file server system and method for scheduling network resources to play multiple files having different data transmission rates
US6163870A (en) 1997-11-06 2000-12-19 Compaq Computer Corporation Message encoding with irregular graphing
US6081909A (en) 1997-11-06 2000-06-27 Digital Equipment Corporation Irregularly graphed encoding technique
US6073250A (en) 1997-11-06 2000-06-06 Luby; Michael G. Loss resilient decoding technique
US6195777B1 (en) 1997-11-06 2001-02-27 Compaq Computer Corporation Loss resilient code with double heavy tailed series of redundant layers
JP3472115B2 (ja) 1997-11-25 2003-12-02 Kddi株式会社 マルチチャンネルを用いるビデオデータ伝送方法及びその装置
US6226301B1 (en) 1998-02-19 2001-05-01 Nokia Mobile Phones Ltd Method and apparatus for segmentation and assembly of data frames for retransmission in a telecommunications system
JP2002510947A (ja) 1998-04-02 2002-04-09 サーノフ コーポレイション 圧縮ビデオ・データのバースト状データ伝送
US6185265B1 (en) 1998-04-07 2001-02-06 Worldspace Management Corp. System for time division multiplexing broadcast channels with R-1/2 or R-3/4 convolutional coding for satellite transmission via on-board baseband processing payload or transparent payload
US6067646A (en) 1998-04-17 2000-05-23 Ameritech Corporation Method and system for adaptive interleaving
US6018359A (en) 1998-04-24 2000-01-25 Massachusetts Institute Of Technology System and method for multicast video-on-demand delivery system
US6937618B1 (en) 1998-05-20 2005-08-30 Sony Corporation Separating device and method and signal receiving device and method
US6415326B1 (en) 1998-09-15 2002-07-02 Microsoft Corporation Timeline correlation between multiple timeline-altered media streams
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US6320520B1 (en) 1998-09-23 2001-11-20 Digital Fountain Information additive group code generator and decoder for communications systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6408128B1 (en) 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
US6483736B2 (en) 1998-11-16 2002-11-19 Matrix Semiconductor, Inc. Vertically stacked field programmable nonvolatile memory and method of fabrication
JP2000151426A (ja) 1998-11-17 2000-05-30 Toshiba Corp インターリーブ・デインターリーブ回路
US6166544A (en) 1998-11-25 2000-12-26 General Electric Company MR imaging system with interactive image contrast control
US6876623B1 (en) 1998-12-02 2005-04-05 Agere Systems Inc. Tuning scheme for code division multiplex broadcasting system
US6637031B1 (en) 1998-12-04 2003-10-21 Microsoft Corporation Multimedia presentation latency minimization
US6496980B1 (en) 1998-12-07 2002-12-17 Intel Corporation Method of providing replay on demand for streaming digital multimedia
US6804202B1 (en) 1999-04-08 2004-10-12 Lg Information And Communications, Ltd. Radio protocol for mobile communication system and method
US7885340B2 (en) 1999-04-27 2011-02-08 Realnetworks, Inc. System and method for generating multiple synchronized encoded representations of media data
FI113124B (fi) 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
KR100784652B1 (ko) 1999-05-06 2007-12-12 소니 가부시끼 가이샤 데이터 처리 방법/장치, 데이터 재생 방법/장치, 및 기록매체
KR100416996B1 (ko) 1999-05-10 2004-02-05 삼성전자주식회사 이동 통신시스템에서 라디오링크프로토콜에 따른 가변 길이의 데이터 송수신 장치 및 방법
AU5140200A (en) 1999-05-26 2000-12-18 Enounce, Incorporated Method and apparatus for controlling time-scale modification during multi-media broadcasts
JP2000353969A (ja) 1999-06-11 2000-12-19 Sony Corp デジタル音声放送の受信機
JP2001060934A (ja) 1999-08-20 2001-03-06 Matsushita Electric Ind Co Ltd Ofdm通信装置
US6332163B1 (en) 1999-09-01 2001-12-18 Accenture, Llp Method for providing communication services over a computer network system
JP4284774B2 (ja) 1999-09-07 2009-06-24 ソニー株式会社 送信装置、受信装置、通信システム、送信方法及び通信方法
US7529806B1 (en) 1999-11-04 2009-05-05 Koninklijke Philips Electronics N.V. Partitioning of MP3 content file for emulating streaming
JP2001094625A (ja) 1999-09-27 2001-04-06 Canon Inc データ通信装置、データ通信方法及び記憶媒体
JP2003510734A (ja) 1999-09-27 2003-03-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ストリーミングのエミュレート用ファイル分割
US20050160272A1 (en) 1999-10-28 2005-07-21 Timecertain, Llc System and method for providing trusted time in content of digital data files
US6798791B1 (en) 1999-12-16 2004-09-28 Agere Systems Inc Cluster frame synchronization scheme for a satellite digital audio radio system
US20020009137A1 (en) 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
US7304990B2 (en) 2000-02-03 2007-12-04 Bandwiz Inc. Method of encoding and transmitting data over a communication medium through division and segmentation
WO2001057667A1 (en) 2000-02-03 2001-08-09 Bandwiz, Inc. Data streaming
IL140504A0 (en) 2000-02-03 2002-02-10 Bandwiz Inc Broadcast system
JP2001274776A (ja) 2000-03-24 2001-10-05 Toshiba Corp 情報データ伝送システムとその送信装置及び受信装置
US6510177B1 (en) 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US8572646B2 (en) 2000-04-07 2013-10-29 Visible World Inc. System and method for simultaneous broadcast for personalized messages
EP1273152B1 (en) 2000-04-08 2006-08-02 Sun Microsystems, Inc. Method of streaming a single media track to multiple clients
US6631172B1 (en) 2000-05-01 2003-10-07 Lucent Technologies Inc. Efficient list decoding of Reed-Solomon codes for message recovery in the presence of high noise levels
GB2366159B (en) 2000-08-10 2003-10-08 Mitel Corp Combination reed-solomon and turbo coding
US6834342B2 (en) 2000-08-16 2004-12-21 Eecad, Inc. Method and system for secure communication over unstable public connections
KR100447162B1 (ko) 2000-08-19 2004-09-04 엘지전자 주식회사 래디오 링크 콘트롤(rlc)에서 프로토콜 데이터 유닛(pdu) 정보의 길이 지시자(li) 처리방법
JP2002073625A (ja) 2000-08-24 2002-03-12 Nippon Hoso Kyokai <Nhk> 放送番組に同期した情報提供の方法、サーバ及び媒体
US7340664B2 (en) 2000-09-20 2008-03-04 Lsi Logic Corporation Single engine turbo decoder with single frame size buffer for interleaving/deinterleaving
US7151754B1 (en) 2000-09-22 2006-12-19 Lucent Technologies Inc. Complete user datagram protocol (CUDP) for wireless multimedia packet networks using improved packet level forward error correction (FEC) coding
US6486803B1 (en) 2000-09-22 2002-11-26 Digital Fountain, Inc. On demand encoding with a window
US7031257B1 (en) 2000-09-22 2006-04-18 Lucent Technologies Inc. Radio link protocol (RLP)/point-to-point protocol (PPP) design that passes corrupted data and error location information among layers in a wireless data transmission protocol
US7490344B2 (en) 2000-09-29 2009-02-10 Visible World, Inc. System and method for seamless switching
US6411223B1 (en) 2000-10-18 2002-06-25 Digital Fountain, Inc. Generating high weight encoding symbols using a basis
US6732325B1 (en) 2000-11-08 2004-05-04 Digeo, Inc. Error-correction with limited working storage
US20020133247A1 (en) 2000-11-11 2002-09-19 Smith Robert D. System and method for seamlessly switching between media streams
US7240358B2 (en) 2000-12-08 2007-07-03 Digital Fountain, Inc. Methods and apparatus for scheduling, serving, receiving media-on demand for clients, servers arranged according to constraints on resources
ATE464740T1 (de) 2000-12-15 2010-04-15 British Telecomm Übertagung von ton- und/oder bildmaterial
US7143433B1 (en) 2000-12-27 2006-11-28 Infovalve Computing Inc. Video distribution system using dynamic segmenting of video data files
US20020085013A1 (en) 2000-12-29 2002-07-04 Lippincott Louis A. Scan synchronized dual frame buffer graphics subsystem
NO315887B1 (no) 2001-01-04 2003-11-03 Fast Search & Transfer As Fremgangsmater ved overforing og soking av videoinformasjon
US20080059532A1 (en) 2001-01-18 2008-03-06 Kazmi Syed N Method and system for managing digital content, including streaming media
FI118830B (fi) 2001-02-08 2008-03-31 Nokia Corp Tietovirran toisto
US6868083B2 (en) 2001-02-16 2005-03-15 Hewlett-Packard Development Company, L.P. Method and system for packet communication employing path diversity
US20020129159A1 (en) 2001-03-09 2002-09-12 Michael Luby Multi-output packet server with independent streams
KR100464360B1 (ko) 2001-03-30 2005-01-03 삼성전자주식회사 고속 패킷 데이터 전송 이동통신시스템에서 패킷 데이터채널에 대한 효율적인 에너지 분배 장치 및 방법
US20020143953A1 (en) 2001-04-03 2002-10-03 International Business Machines Corporation Automatic affinity within networks performing workload balancing
US7035468B2 (en) 2001-04-20 2006-04-25 Front Porch Digital Inc. Methods and apparatus for archiving, indexing and accessing audio and video data
US20020191116A1 (en) 2001-04-24 2002-12-19 Damien Kessler System and data format for providing seamless stream switching in a digital video recorder
US7962482B2 (en) 2001-05-16 2011-06-14 Pandora Media, Inc. Methods and systems for utilizing contextual feedback to generate and modify playlists
US7076478B2 (en) 2001-06-26 2006-07-11 Microsoft Corporation Wrapper playlists on streaming media services
US6745364B2 (en) 2001-06-28 2004-06-01 Microsoft Corporation Negotiated/dynamic error correction for streamed media
FI115418B (fi) 2001-09-20 2005-04-29 Oplayo Oy Adaptiivinen mediavirta
US7480703B2 (en) 2001-11-09 2009-01-20 Sony Corporation System, method, and computer program product for remotely determining the configuration of a multi-media content user based on response of the user
US7363354B2 (en) 2001-11-29 2008-04-22 Nokia Corporation System and method for identifying and accessing network services
JP2003174489A (ja) 2001-12-05 2003-06-20 Ntt Docomo Inc ストリーミング配信装置、ストリーミング配信方法
US20030121047A1 (en) * 2001-12-20 2003-06-26 Watson Paul T. System and method for content transmission network selection
FI114527B (fi) 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
KR100959573B1 (ko) 2002-01-23 2010-05-27 노키아 코포레이션 비디오 코딩시 이미지 프레임들의 그루핑
EP1472847A1 (en) 2002-01-30 2004-11-03 Koninklijke Philips Electronics N.V. Streaming multimedia data over a network having a variable bandwidth
JP4126928B2 (ja) 2002-02-28 2008-07-30 日本電気株式会社 プロキシサーバ及びプロキシ制御プログラム
JP4116470B2 (ja) 2002-03-06 2008-07-09 ヒューレット・パッカード・カンパニー メディア・ストリーミング配信システム
FR2837332A1 (fr) 2002-03-15 2003-09-19 Thomson Licensing Sa Dispositif et procede d'insertion de codes de correction d'erreurs et de reconstitution de flux de donnees, et produits correspondants
US7363048B2 (en) 2002-04-15 2008-04-22 Nokia Corporation Apparatus, and associated method, for operating upon data at RLP logical layer of a communication station
JP3689063B2 (ja) 2002-04-19 2005-08-31 松下電器産業株式会社 データ受信装置及びデータ配信システム
JP3629008B2 (ja) 2002-04-19 2005-03-16 松下電器産業株式会社 データ受信装置及びデータ配信システム
US20030204602A1 (en) 2002-04-26 2003-10-30 Hudson Michael D. Mediated multi-source peer content delivery network architecture
US7177658B2 (en) 2002-05-06 2007-02-13 Qualcomm, Incorporated Multi-media broadcast and multicast service (MBMS) in a wireless communications system
US7200388B2 (en) 2002-05-31 2007-04-03 Nokia Corporation Fragmented delivery of multimedia
CN100479333C (zh) 2002-06-11 2009-04-15 数字方敦股份有限公司 通过被恢复符号的钝化作用对链式反应代码解码的装置和方法
WO2003105484A1 (en) 2002-06-11 2003-12-18 Telefonaktiebolaget L M Ericsson (Publ) Generation of mixed media streams
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
US7136417B2 (en) 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
BR0312657A (pt) 2002-07-16 2007-06-26 Nokia Corp método para executar uma restauração gradual do conteúdo de imagem com acesso randÈmico em uma seqüência de vìdeo codificada
JP2004070712A (ja) 2002-08-07 2004-03-04 Nippon Telegr & Teleph Corp <Ntt> データ配信方法,データ配信システム,分割配信データ受信方法,分割配信データ受信装置および分割配信データ受信プログラム
WO2004015948A1 (en) 2002-08-13 2004-02-19 Nokia Corporation Symbol interleaving
US6985459B2 (en) 2002-08-21 2006-01-10 Qualcomm Incorporated Early transmission and playout of packets in wireless communication systems
JP3534742B1 (ja) 2002-10-03 2004-06-07 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号装置、及び動画像復号プログラム
EP1552617A2 (en) 2002-10-05 2005-07-13 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
JP2004135013A (ja) 2002-10-10 2004-04-30 Matsushita Electric Ind Co Ltd 伝送装置及び伝送方法
FI116816B (fi) 2002-10-14 2006-02-28 Nokia Corp Median suoratoisto
US8320301B2 (en) 2002-10-25 2012-11-27 Qualcomm Incorporated MIMO WLAN system
US7289451B2 (en) 2002-10-25 2007-10-30 Telefonaktiebolaget Lm Ericsson (Publ) Delay trading between communication links
AU2003269352A1 (en) 2002-10-30 2004-05-25 Koninklijke Philips Electronics N.V. Adaptative forward error control scheme
GB0226872D0 (en) 2002-11-18 2002-12-24 British Telecomm Video transmission
ES2314259T3 (es) 2002-11-18 2009-03-16 British Telecommunications Public Limited Company Transmision de video.
KR100502609B1 (ko) 2002-11-21 2005-07-20 한국전자통신연구원 Ldpc 코드를 이용한 부호화기 및 부호화 방법
JP2004192140A (ja) 2002-12-09 2004-07-08 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2004193992A (ja) 2002-12-11 2004-07-08 Sony Corp 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
US8135073B2 (en) 2002-12-19 2012-03-13 Trident Microsystems (Far East) Ltd Enhancing video images depending on prior image enhancements
US7164882B2 (en) 2002-12-24 2007-01-16 Poltorak Alexander I Apparatus and method for facilitating a purchase using information provided on a media playing device
US7062272B2 (en) 2003-02-18 2006-06-13 Qualcomm Incorporated Method and apparatus to track count of broadcast content recipients in a wireless telephone network
EP1455504B1 (en) 2003-03-07 2014-11-12 Samsung Electronics Co., Ltd. Apparatus and method for processing audio signal and computer readable recording medium storing computer program for the method
US7266147B2 (en) 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
JP2004343701A (ja) 2003-04-21 2004-12-02 Matsushita Electric Ind Co Ltd データ受信再生装置、データ受信再生方法及びデータ受信再生処理プログラム
US20050041736A1 (en) 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
US7113773B2 (en) 2003-05-16 2006-09-26 Qualcomm Incorporated Reliable reception of broadcast/multicast content
JP2004348824A (ja) 2003-05-21 2004-12-09 Toshiba Corp Eccエンコード方法、eccエンコード装置
US8161116B2 (en) 2003-05-23 2012-04-17 Kirusa, Inc. Method and system for communicating a data file over a network
JP2004362099A (ja) 2003-06-03 2004-12-24 Sony Corp サーバ装置、情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
RU2312390C2 (ru) 2003-06-07 2007-12-10 Самсунг Электроникс Ко., Лтд. Устройство и способ организации и интерпретации мультимедийных данных на записываемом носителе информации
KR101003413B1 (ko) 2003-06-12 2010-12-23 엘지전자 주식회사 이동통신 단말기의 전송데이터 압축/해제 방법
US7603689B2 (en) 2003-06-13 2009-10-13 Microsoft Corporation Fast start-up for digital video streams
RU2265960C2 (ru) 2003-06-16 2005-12-10 Федеральное государственное унитарное предприятие "Калужский научно-исследовательский институт телемеханических устройств" Способ передачи информации с использованием адаптивного перемежения
US7391717B2 (en) 2003-06-30 2008-06-24 Microsoft Corporation Streaming of variable bit rate multimedia content
US20050004997A1 (en) 2003-07-01 2005-01-06 Nokia Corporation Progressive downloading of timed multimedia content
US8149939B2 (en) 2003-07-07 2012-04-03 Samsung Electronics Co., Ltd. System of robust DTV signal transmissions that legacy DTV receivers will disregard
KR100532450B1 (ko) 2003-07-16 2005-11-30 삼성전자주식회사 에러에 대해 강인한 특성을 가지는 데이터 기록 방법,이에 적합한 데이터 재생 방법, 그리고 이에 적합한 장치들
CN1868157B (zh) 2003-08-21 2011-07-27 高通股份有限公司 无线链路控制层上的前向纠错编码方法和相关装置
US8694869B2 (en) 2003-08-21 2014-04-08 QUALCIMM Incorporated Methods for forward error correction coding above a radio link control layer and related apparatus
JP4183586B2 (ja) 2003-09-12 2008-11-19 三洋電機株式会社 映像表示装置
EP1665815A2 (de) 2003-09-15 2006-06-07 Armin Grasnick Verfahren zum erstellen einer raumbildvorlage für abbildungsverfahren mit rumlichen tiefenwirkungen und vorrichtung zum anzeigen einer raumbildvorlage
EP1665567A4 (en) 2003-09-15 2010-08-25 Directv Group Inc METHOD AND SYSTEM FOR ADAPTIVELY TRANSCODING AND TRANSRATING IN A VIDEO NETWORK
KR100608715B1 (ko) 2003-09-27 2006-08-04 엘지전자 주식회사 QoS보장형 멀티미디어 스트리밍 서비스 시스템 및 방법
CN1954501B (zh) 2003-10-06 2010-06-16 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法
US7614071B2 (en) 2003-10-10 2009-11-03 Microsoft Corporation Architecture for distributed sending of media data
US7516232B2 (en) 2003-10-10 2009-04-07 Microsoft Corporation Media organization for distributed sending of media data
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
US8132215B2 (en) 2003-10-27 2012-03-06 Panasonic Corporation Apparatus for receiving broadcast signal
JP2005136546A (ja) 2003-10-29 2005-05-26 Sony Corp 送信装置および方法、記録媒体、並びにプログラム
EP1528702B1 (en) 2003-11-03 2008-01-23 Broadcom Corporation FEC (forward error correction) decoding with dynamic parameters
US7428669B2 (en) 2003-12-07 2008-09-23 Adaptive Spectrum And Signal Alignment, Inc. Adaptive FEC codeword management
US7574706B2 (en) 2003-12-15 2009-08-11 Microsoft Corporation System and method for managing and communicating software updates
KR100770902B1 (ko) 2004-01-20 2007-10-26 삼성전자주식회사 고속 무선 데이터 시스템을 위한 가변 부호율의 오류 정정부호 생성 및 복호 장치 및 방법
JP4546104B2 (ja) 2004-01-23 2010-09-15 大王製紙株式会社 吸収性物品及びインナー吸収性物品
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
KR100596705B1 (ko) 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US7609653B2 (en) 2004-03-08 2009-10-27 Microsoft Corporation Resolving partial media topologies
WO2005094020A1 (en) 2004-03-19 2005-10-06 Telefonaktiebolaget Lm Ericsson (Publ) Higher layer packet framing using rlp
JP4433287B2 (ja) 2004-03-25 2010-03-17 ソニー株式会社 受信装置および方法、並びにプログラム
US8842175B2 (en) 2004-03-26 2014-09-23 Broadcom Corporation Anticipatory video signal reception and processing
US20050216472A1 (en) 2004-03-29 2005-09-29 David Leon Efficient multicast/broadcast distribution of formatted data
WO2005096301A1 (en) 2004-03-30 2005-10-13 Koninklijke Philips Electronics N.V. System and method for supporting improved trick mode performance for disc-based multimedia content
WO2005101828A1 (ja) 2004-04-16 2005-10-27 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、プログラム
FR2869744A1 (fr) 2004-04-29 2005-11-04 Thomson Licensing Sa Methode de transmission de paquets de donnees numeriques et appareil implementant la methode
JP4971144B2 (ja) 2004-05-07 2012-07-11 デジタル ファウンテン, インコーポレイテッド ファイルダウンロードおよびストリーミングのシステム
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US20060037057A1 (en) 2004-05-24 2006-02-16 Sharp Laboratories Of America, Inc. Method and system of enabling trick play modes using HTTP GET
US8331445B2 (en) 2004-06-01 2012-12-11 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques
US8112531B2 (en) 2004-07-14 2012-02-07 Nokia Corporation Grouping of session objects
US8544043B2 (en) 2004-07-21 2013-09-24 Qualcomm Incorporated Methods and apparatus for providing content information to content servers
US7409626B1 (en) 2004-07-28 2008-08-05 Ikanos Communications Inc Method and apparatus for determining codeword interleaver parameters
US7590922B2 (en) 2004-07-30 2009-09-15 Nokia Corporation Point-to-point repair request mechanism for point-to-multipoint transmission systems
US7930184B2 (en) 2004-08-04 2011-04-19 Dts, Inc. Multi-channel audio coding/decoding of random access points and transients
US7721184B2 (en) 2004-08-11 2010-05-18 Digital Fountain, Inc. Method and apparatus for fast encoding of data symbols according to half-weight codes
JP2006074335A (ja) 2004-09-01 2006-03-16 Nippon Telegr & Teleph Corp <Ntt> 伝送方法、伝送システム及び伝送装置
JP2006115104A (ja) 2004-10-13 2006-04-27 Daiichikosho Co Ltd 高能率符号化された時系列情報をパケット化してリアルタイム・ストリーミング送信し受信再生する方法および装置
US7529984B2 (en) 2004-11-16 2009-05-05 Infineon Technologies Ag Seamless change of depth of a general convolutional interleaver during transmission without loss of data
CN101061718B (zh) 2004-11-22 2010-10-13 汤姆森研究基金有限公司 用于数字订户线路系统中的频道改变的方法和设备
JP5425397B2 (ja) 2004-12-02 2014-02-26 トムソン ライセンシング 適応型前方誤り訂正を行う装置及び方法
KR20060065482A (ko) 2004-12-10 2006-06-14 마이크로소프트 코포레이션 스트리밍 미디어 데이터의 코딩 비트 레이트의 제어 시스템및 프로세스
JP2006174045A (ja) 2004-12-15 2006-06-29 Ntt Communications Kk 画像配信装置、プログラム及び方法
JP4391409B2 (ja) 2004-12-24 2009-12-24 株式会社第一興商 高能率符号化された時系列情報をリアルタイム・ストリーミング送信し受信再生する方法と受信装置
WO2006074093A2 (en) 2005-01-05 2006-07-13 Divx, Inc. Media transfer protocol
JP2008530835A (ja) 2005-02-08 2008-08-07 テレフオンアクチーボラゲット エル エム エリクソン(パブル) パケット交換ネットワーク上のオンデマンドマルチチャネルストリーミングセッション
US7925097B2 (en) 2005-02-18 2011-04-12 Sanyo Electric Co., Ltd. Image display method, image coding apparatus, and image decoding apparatus
US7822139B2 (en) 2005-03-02 2010-10-26 Rohde & Schwarz Gmbh & Co. Kg Apparatus, systems, methods and computer products for providing a virtual enhanced training sequence
EP1856911A4 (en) 2005-03-07 2010-02-24 Ericsson Telefon Ab L M SWITCHING MULTIMEDIA CHANNELS
US8028322B2 (en) 2005-03-14 2011-09-27 Time Warner Cable Inc. Method and apparatus for network content download and recording
US7450064B2 (en) 2005-03-22 2008-11-11 Qualcomm, Incorporated Methods and systems for deriving seed position of a subscriber station in support of unassisted GPS-type position determination in a wireless communication system
JP4487028B2 (ja) 2005-03-31 2010-06-23 ブラザー工業株式会社 配信速度制御装置、配信システム、配信速度制御方法、及び配信速度制御用プログラム
US7715842B2 (en) 2005-04-09 2010-05-11 Lg Electronics Inc. Supporting handover of mobile terminal
KR20080006609A (ko) 2005-04-13 2008-01-16 노키아 코포레이션 스케일링가능성 정보의 코딩, 저장, 및 시그널링
JP4515319B2 (ja) 2005-04-27 2010-07-28 株式会社日立製作所 コンピュータシステム
US7961700B2 (en) 2005-04-28 2011-06-14 Qualcomm Incorporated Multi-carrier operation in data transmission systems
US8683066B2 (en) 2007-08-06 2014-03-25 DISH Digital L.L.C. Apparatus, system, and method for multi-bitrate content streaming
JP2006319743A (ja) 2005-05-13 2006-11-24 Toshiba Corp 受信装置
US7676735B2 (en) 2005-06-10 2010-03-09 Digital Fountain Inc. Forward error-correcting (FEC) coding and streaming
US7644335B2 (en) 2005-06-10 2010-01-05 Qualcomm Incorporated In-place transformations with applications to encoding and decoding various classes of codes
JP2007013436A (ja) 2005-06-29 2007-01-18 Toshiba Corp 符号化ストリーム再生装置
US20070006274A1 (en) 2005-06-30 2007-01-04 Toni Paila Transmission and reception of session packets
JP2007013675A (ja) 2005-06-30 2007-01-18 Sanyo Electric Co Ltd ストリーミング配信システム及びサーバ
US7725593B2 (en) 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US20070022215A1 (en) 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US20080137744A1 (en) 2005-07-22 2008-06-12 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
WO2007029443A1 (ja) 2005-09-09 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
US7924913B2 (en) 2005-09-15 2011-04-12 Microsoft Corporation Non-realtime data transcoding of multimedia content
US20070067480A1 (en) 2005-09-19 2007-03-22 Sharp Laboratories Of America, Inc. Adaptive media playout by server media processing for robust streaming
US20070078876A1 (en) 2005-09-30 2007-04-05 Yahoo! Inc. Generating a stream of media data containing portions of media files using location tags
US7720062B2 (en) 2005-10-05 2010-05-18 Lg Electronics Inc. Method of processing traffic information and digital broadcasting system
JP4950206B2 (ja) 2005-10-11 2012-06-13 ノキア コーポレイション 効率的なスケーラブルストリーム適応のためのシステム及び方法
US7720096B2 (en) * 2005-10-13 2010-05-18 Microsoft Corporation RTP payload format for VC-1
JP2007115293A (ja) 2005-10-17 2007-05-10 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
US9131247B2 (en) 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
JP4727401B2 (ja) 2005-12-02 2011-07-20 日本電信電話株式会社 無線マルチキャスト伝送システム、無線送信装置及び無線マルチキャスト伝送方法
JP4456064B2 (ja) 2005-12-21 2010-04-28 日本電信電話株式会社 パケット送信装置、受信装置、システム、およびプログラム
US7826536B2 (en) 2005-12-29 2010-11-02 Nokia Corporation Tune in time reduction
EP1969856B1 (en) 2006-01-05 2012-08-15 Telefonaktiebolaget LM Ericsson (publ) Media container file management
US8214516B2 (en) 2006-01-06 2012-07-03 Google Inc. Dynamic media serving infrastructure
AU2007204168B2 (en) 2006-01-11 2011-02-24 Nokia Technologies Oy Backward-compatible aggregation of pictures in scalable video coding
WO2007081177A1 (en) 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
WO2007086654A1 (en) 2006-01-25 2007-08-02 Lg Electronics Inc. Digital broadcasting system and method of processing data
RU2290768C1 (ru) 2006-01-30 2006-12-27 Общество с ограниченной ответственностью "Трафиклэнд" Система медиавещания в инфраструктуре оператора мобильной связи
US8990153B2 (en) 2006-02-07 2015-03-24 Dot Hill Systems Corporation Pull data replication model
JP5237119B2 (ja) 2006-02-08 2013-07-17 トムソン ライセンシング ラプターコードをデコードする方法及び装置
KR100770908B1 (ko) 2006-02-09 2007-10-26 삼성전자주식회사 디지털 방송 스트림의 변속 재생 장치 및 방법
KR101292851B1 (ko) 2006-02-13 2013-08-02 디지털 파운튼, 인크. 가변적 fec 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링
US20070200949A1 (en) 2006-02-21 2007-08-30 Qualcomm Incorporated Rapid tuning in multimedia applications
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
KR100809296B1 (ko) 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
JP2007228205A (ja) 2006-02-23 2007-09-06 Funai Electric Co Ltd ネットワークサーバ
US8320450B2 (en) 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
WO2007127741A2 (en) 2006-04-24 2007-11-08 Sun Microsystems, Inc. Media server system
US20080010153A1 (en) 2006-04-24 2008-01-10 Pugh-O'connor Archie Computer network provided digital content under an advertising and revenue sharing basis, such as music provided via the internet with time-shifted advertisements presented by a client resident application
US7640353B2 (en) 2006-04-27 2009-12-29 Microsoft Corporation Guided random seek support for media streaming
US7525993B2 (en) 2006-05-24 2009-04-28 Newport Media, Inc. Robust transmission system and method for mobile television applications
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US20100211690A1 (en) 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
JP2008011177A (ja) * 2006-06-29 2008-01-17 Nec Corp ストリーミング配信における動的品質制御方法およびネットワーク・システム
JP2008011404A (ja) 2006-06-30 2008-01-17 Toshiba Corp コンテンツ処理装置及びコンテンツ処理方法
JP4392004B2 (ja) 2006-07-03 2009-12-24 インターナショナル・ビジネス・マシーンズ・コーポレーション パケット回復のための符号化および復号化技術
EP2044528A4 (en) 2006-07-20 2013-03-06 Sandisk Technologies Inc CONTENT DISTRIBUTION SYSTEM
US7711797B1 (en) 2006-07-31 2010-05-04 Juniper Networks, Inc. Optimizing batch size for prefetching data over wide area networks
US20080066136A1 (en) 2006-08-24 2008-03-13 International Business Machines Corporation System and method for detecting topic shift boundaries in multimedia streams using joint audio, visual and text cues
EP2055107B1 (en) 2006-08-24 2013-05-15 Nokia Corporation Hint of tracks relationships for multi-stream media files in multiple description coding MDC.
JP2008109637A (ja) 2006-09-25 2008-05-08 Toshiba Corp 動画像符号化装置及びその方法
US8428013B2 (en) 2006-10-30 2013-04-23 Lg Electronics Inc. Method of performing random access in a wireless communcation system
JP2008118221A (ja) 2006-10-31 2008-05-22 Toshiba Corp 復号装置及び復号方法
WO2008054100A1 (en) 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
US20080109557A1 (en) 2006-11-02 2008-05-08 Vinay Joshi Method and system for reducing switching delays between digital video feeds using personalized unicast transmission techniques
CA2783599C (en) 2006-11-14 2013-06-25 Qualcomm Incorporated Systems and methods for channel switching
US8027328B2 (en) 2006-12-26 2011-09-27 Alcatel Lucent Header compression in a wireless communication network
WO2008086313A1 (en) 2007-01-05 2008-07-17 Divx, Inc. Video distribution system including progressive playback
RU2009127603A (ru) 2007-01-09 2011-02-20 Нокиа Корпорейшн (Fi) Способ поддержки контроля версий файлов при исправлении файлов в mbms
US20080172430A1 (en) 2007-01-11 2008-07-17 Andrew Thomas Thorstensen Fragmentation Compression Management
WO2008084876A1 (en) 2007-01-11 2008-07-17 Panasonic Corporation Method for trick playing on streamed and encrypted multimedia
KR20080066408A (ko) 2007-01-12 2008-07-16 삼성전자주식회사 3차원 영상 처리 장치 및 방법
EP3041195A1 (en) 2007-01-12 2016-07-06 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format
US7949195B2 (en) 2007-01-16 2011-05-24 Cisco Technology, Inc. Per block breakpoint determining for hybrid variable length coding
US7721003B2 (en) 2007-02-02 2010-05-18 International Business Machines Corporation System and method to synchronize OSGi bundle inventories between an OSGi bundle server and a client
US20080192818A1 (en) * 2007-02-09 2008-08-14 Dipietro Donald Vincent Systems and methods for securing media
WO2008129500A2 (en) 2007-04-24 2008-10-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
US10313702B2 (en) 2007-04-25 2019-06-04 Interdigital Madison Patent Holdings Inter-view prediction
JP4838191B2 (ja) 2007-05-08 2011-12-14 シャープ株式会社 ファイル再生装置、ファイル再生方法、ファイル再生を実行させるプログラム及びそのプログラムを記録した記録媒体
JP2008283571A (ja) 2007-05-11 2008-11-20 Ntt Docomo Inc コンテンツ配信装置、コンテンツ配信システム、およびコンテンツ配信方法
US8275002B2 (en) 2007-05-14 2012-09-25 Samsung Electronics Co., Ltd. Broadcasting service transmitting apparatus and method and broadcasting service receiving apparatus and method for effectively accessing broadcasting service
JP2008282295A (ja) * 2007-05-14 2008-11-20 Casio Hitachi Mobile Communications Co Ltd コンテンツ配信システム、携帯端末装置及びプログラム
JP5317223B2 (ja) 2007-05-16 2013-10-16 トムソン ライセンシング 信号を符号化および復号する方法および装置
EP2501137A3 (en) 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
CN101690118B (zh) 2007-06-20 2013-08-28 艾利森电话股份有限公司 用于改进的媒体会话管理的方法和设备
WO2009001313A2 (en) 2007-06-26 2008-12-31 Nokia Corporation System and method for indicating temporal layer switching points
US7917702B2 (en) 2007-07-10 2011-03-29 Qualcomm Incorporated Data prefetch throttle
JP2009027598A (ja) 2007-07-23 2009-02-05 Hitachi Ltd 映像配信サーバおよび映像配信方法
US8327403B1 (en) 2007-09-07 2012-12-04 United Video Properties, Inc. Systems and methods for providing remote program ordering on a user device via a web server
US8233532B2 (en) 2007-09-21 2012-07-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Information signal, apparatus and method for encoding an information content, and apparatus and method for error correcting an information signal
US8346959B2 (en) 2007-09-28 2013-01-01 Sharp Laboratories Of America, Inc. Client-controlled adaptive streaming
US20090093134A1 (en) * 2007-10-05 2009-04-09 Asm Japan K.K Semiconductor manufacturing apparatus and method for curing materials with uv light
KR101446359B1 (ko) 2007-10-09 2014-10-01 삼성전자주식회사 이동 통신 시스템에서 맥 프로토콜 데이터 유닛의 생성과 분리 장치 및 방법
US8706907B2 (en) 2007-10-19 2014-04-22 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8635360B2 (en) 2007-10-19 2014-01-21 Google Inc. Media playback point seeking using data range requests
US20090125636A1 (en) 2007-11-13 2009-05-14 Qiong Li Payload allocation methods for scalable multimedia servers
WO2009065526A1 (en) 2007-11-23 2009-05-28 Media Patents S.L. A process for the on-line distribution of audiovisual contents with advertisements, advertisement management system, digital rights management system and audiovisual content player provided with said systems
US8543720B2 (en) 2007-12-05 2013-09-24 Google Inc. Dynamic bit rate scaling
JP5385598B2 (ja) 2007-12-17 2014-01-08 キヤノン株式会社 画像処理装置及び画像管理サーバ装置及びそれらの制御方法及びプログラム
US9313245B2 (en) 2007-12-24 2016-04-12 Qualcomm Incorporated Adaptive streaming for on demand wireless services
KR101506217B1 (ko) 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
EP2086237B1 (en) 2008-02-04 2012-06-27 Alcatel Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
US7984097B2 (en) 2008-03-18 2011-07-19 Media Patents, S.L. Methods for transmitting multimedia files and advertisements
US8606996B2 (en) 2008-03-31 2013-12-10 Amazon Technologies, Inc. Cache optimization
US20090257508A1 (en) 2008-04-10 2009-10-15 Gaurav Aggarwal Method and system for enabling video trick modes
JP5221753B2 (ja) 2008-04-14 2013-06-26 エルジー エレクトロニクス インコーポレイティド ランダムアクセス手順を行う方法及び装置
US20100049865A1 (en) 2008-04-16 2010-02-25 Nokia Corporation Decoding Order Recovery in Session Multiplexing
WO2009130561A1 (en) 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
JP5847577B2 (ja) 2008-05-07 2016-01-27 デジタル ファウンテン, インコーポレイテッド より低いレベルのパケット構造から導かれる記号識別子を用いた放送チャネル上の高品質ストリーム保護
US7979570B2 (en) 2008-05-12 2011-07-12 Swarmcast, Inc. Live media delivery over a packet-based computer network
JP5022301B2 (ja) 2008-05-19 2012-09-12 株式会社エヌ・ティ・ティ・ドコモ プロキシサーバおよび通信中継プログラム、並びに通信中継方法
CN101287107B (zh) 2008-05-29 2010-10-13 腾讯科技(深圳)有限公司 媒体文件的点播方法、系统和设备
US7925774B2 (en) 2008-05-30 2011-04-12 Microsoft Corporation Media streaming using an index file
US8775566B2 (en) 2008-06-21 2014-07-08 Microsoft Corporation File format for media distribution and presentation
US8387150B2 (en) 2008-06-27 2013-02-26 Microsoft Corporation Segmented media content rights management
US8468426B2 (en) 2008-07-02 2013-06-18 Apple Inc. Multimedia-aware quality-of-service and error correction provisioning
US8539092B2 (en) 2008-07-09 2013-09-17 Apple Inc. Video streaming using multiple channels
US20100153578A1 (en) 2008-07-16 2010-06-17 Nokia Corporation Method and Apparatus for Peer to Peer Streaming
US8638796B2 (en) 2008-08-22 2014-01-28 Cisco Technology, Inc. Re-ordering segments of a large number of segmented service flows
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
KR20100040640A (ko) 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
US8996547B2 (en) * 2008-10-31 2015-03-31 Microsoft Technology Licensing, Llc Dynamic fragmentation of digital media
US8370520B2 (en) 2008-11-24 2013-02-05 Juniper Networks, Inc. Adaptive network content delivery system
US20100169303A1 (en) 2008-12-31 2010-07-01 David Biderman Playlists for real-time or near real-time streaming
US8743906B2 (en) 2009-01-23 2014-06-03 Akamai Technologies, Inc. Scalable seamless digital video stream splicing
CN104702960B (zh) 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
JP5406942B2 (ja) 2009-01-29 2014-02-05 ドルビー ラボラトリーズ ライセンシング コーポレイション 立体画像である複数の画像をサブサンプリング及びインタリーブする方法及び装置
US9538142B2 (en) 2009-02-04 2017-01-03 Google Inc. Server-side support for seamless rewind and playback of video streaming
US8909806B2 (en) 2009-03-16 2014-12-09 Microsoft Corporation Delivering cacheable streaming media presentations
US8621044B2 (en) 2009-03-16 2013-12-31 Microsoft Corporation Smooth, stateless client media streaming
EP2417743B1 (en) 2009-04-09 2019-06-05 Telefonaktiebolaget LM Ericsson (publ) Methods and arrangements for creating and handling media files
CA2760100C (en) 2009-04-27 2015-12-08 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
US9807468B2 (en) 2009-06-16 2017-10-31 Microsoft Technology Licensing, Llc Byte range caching
WO2011009205A1 (en) 2009-07-22 2011-01-27 Jigsee Inc. Method of streaming media to heterogeneous client devices
US20110032333A1 (en) 2009-08-07 2011-02-10 Darren Neuman Method and system for 3d video format conversion with inverse telecine
US8355433B2 (en) 2009-08-18 2013-01-15 Netflix, Inc. Encoding video streams for adaptive video streaming
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US20120151302A1 (en) 2010-12-10 2012-06-14 Qualcomm Incorporated Broadcast multimedia storage and access using page maps when asymmetric memory is used
CN102835150B (zh) 2009-09-02 2015-07-15 苹果公司 用于无线系统的mac分组数据单元构造
US20110096828A1 (en) 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9438861B2 (en) 2009-10-06 2016-09-06 Microsoft Technology Licensing, Llc Integrating continuous and sparse streaming data
JP2011087103A (ja) 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
EP3220281A1 (en) 2009-11-04 2017-09-20 Amotech Co., Ltd. System and method for media content streaming
KR101786050B1 (ko) 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 전송 방법 및 장치
KR101786051B1 (ko) 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
CN101729857A (zh) 2009-11-24 2010-06-09 中兴通讯股份有限公司 一种接入视频服务的方法及视频播放系统
KR101401183B1 (ko) 2009-12-11 2014-05-29 노키아 코포레이션 스트리밍 미디어 파일의 표현을 기술하고 타이밍하기 위한 장치 및 방법
JP5996439B2 (ja) 2010-02-19 2016-09-21 テレフオンアクチーボラゲット エルエム エリクソン(パブル) Httpストリーミングにおける表現切り替えのための方法及び装置
CA2786257C (en) 2010-02-19 2018-03-06 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for adaptation in http streaming
ES2845643T3 (es) 2010-03-11 2021-07-27 Electronics & Telecommunications Res Inst Método y aparato de emisión y recepción de datos en un sistema MIMO
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
KR20120010089A (ko) 2010-07-20 2012-02-02 삼성전자주식회사 Http 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8711933B2 (en) 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
KR101737325B1 (ko) 2010-08-19 2017-05-22 삼성전자주식회사 멀티미디어 시스템에서 멀티미디어 서비스의 경험 품질 감소를 줄이는 방법 및 장치
US8615023B2 (en) 2010-10-27 2013-12-24 Electronics And Telecommunications Research Institute Apparatus and method for transmitting/receiving data in communication system
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US20120208580A1 (en) 2011-02-11 2012-08-16 Qualcomm Incorporated Forward error correction scheduling for an improved radio link protocol
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery

Also Published As

Publication number Publication date
WO2012009700A1 (en) 2012-01-19
JP2015097410A (ja) 2015-05-21
BR112013000861B1 (pt) 2021-11-09
US9185439B2 (en) 2015-11-10
US20120013746A1 (en) 2012-01-19
EP2594071A1 (en) 2013-05-22
BR112013000861A2 (pt) 2016-05-17
AR082242A1 (es) 2012-11-21
CN103069799A (zh) 2013-04-24
TWI458340B (zh) 2014-10-21
TW201212634A (en) 2012-03-16
JP5866354B2 (ja) 2016-02-17
JP2013535886A (ja) 2013-09-12
JP6392115B2 (ja) 2018-09-19

Similar Documents

Publication Publication Date Title
CN103069799B (zh) 发信号通知用于多路复用视频分量的数据
US11375291B2 (en) Virtual reality video signaling in dynamic adaptive streaming over HTTP
CN102986218B (zh) 用于串流视频数据的视频切换
CN103069828B (zh) 提供用于串流传输视频数据的序列数据集
CN103039087B (zh) 用于发射经编码视频数据的方法和装置
CN103026721B (zh) 布置用于串流传输视频数据的子轨道片段
CN103843301B (zh) 经译码多媒体数据的网络串流期间的表示之间的切换
CN102714715B (zh) 用于文件格式轨迹选择的媒体提取器轨迹
CN102598688A (zh) 流式传输经编码视频数据
JP5628422B2 (ja) トリックモードビデオ表現のためのビデオサンプルを信号伝達すること
KR101436267B1 (ko) 비디오 구성요소들을 멀티플렉싱하기 위한 데이터의 시그널링

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant