CN102224733A - 用于处理视频文件的系统和方法 - Google Patents

用于处理视频文件的系统和方法 Download PDF

Info

Publication number
CN102224733A
CN102224733A CN2010800065171A CN201080006517A CN102224733A CN 102224733 A CN102224733 A CN 102224733A CN 2010800065171 A CN2010800065171 A CN 2010800065171A CN 201080006517 A CN201080006517 A CN 201080006517A CN 102224733 A CN102224733 A CN 102224733A
Authority
CN
China
Prior art keywords
bit stream
video
view
coding
absolute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800065171A
Other languages
English (en)
Other versions
CN102224733B (zh
Inventor
王业奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN102224733A publication Critical patent/CN102224733A/zh
Application granted granted Critical
Publication of CN102224733B publication Critical patent/CN102224733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

根据一实施例，一种操作视频服务器的方法包含：接收第一视频位流；将所述第一位流存储在存储器中；从所述第一视频位流产生第二视频位流；以及将所述第二视频位流存储在所述存储器中。所述第一视频位流具有多个独立编码的视图，且所述第二视频位流具有所述多个独立编码的视图中的一个。

Description

用于处理视频文件的系统和方法
相关申请案的交叉参考
本发明要求2009年4月14日递交的发明名称为“可缩放或多视图视频内容的经转码子集的存储(Storage of Transcoded Subsets of Scalable or Multi-View Video Contents)”的第61/169,247号美国临时申请案以及2010年4月6日递交的发明名称为“用于处理视频文件的系统和方法(System and Method for Processing Video Files)”的第12/754896号美国非临时申请案的在先申请优先权，所述在先申请的内容以全文引入的方式并入本文本中。
技术领域
本发明大体上涉及计算机系统，且更明确地说，涉及用于处理视频文件的系统和方法。
背景技术
随着因特网变得更快且更普及，视频信号经由计算机网络的传输已变得更普遍。因此，更多的视频内容提供商正选择在线分发视频，而不是在传统的零售渠道中销售和租赁数字视频光盘。然而，随着以电子方式分发的视频的图片质量和分辨率提高，计算机视频分发网络所需的处理量已对应地增加。
使得增加视频处理量的一个因素是多视图视频内容。举例来说，多视图视频位流可含有两个视图：一个视图指定用于右眼，且另一视图指定用于左眼。多视图视频技术还用于使用多个(两个以上)视图的情形，例如体育赛事或现场播放。通过使用诸如多视图编码标准(例如H.264/AVC规范的附件H中指定的多视图视频编码(MVC)，其为H.264/AVC的多视图扩展)将多个视图编码在同一视频位流中来实施此多视图视频内容。使得增加视频处理的量的另一因素是可缩放的视频内容，其中不同质量、帧速率和/或空间分辨率，标准清晰度(SD)和高清晰度(HD)的视频信号可在同一视频位流中表示。
具有多视图和/或可缩放视频内容的结果之一是这些内容的传输和接收可在带宽和处理方面非常密集。此外，并不是所有接收到此视频内容的客户端都需要所传输的视频信号的所有内容。举例来说，具有单个标准分辨率监视器的用户不需要HD或三维视频信号所提供的所有特征。
需要用以将视频内容更高效地递送给客户端的系统和方法。
发明内容
根据一实施例，一种方法包含存储视频文件，所述视频文件包括第一格式的第一位流和第二格式的第二位流。第一位流包括多个独立编码的视频分量，且第二位流包括所述多个独立编码的视频分量中的一个。所述方法还包含选择所述多个独立编码的视频分量中的所述一者以及识别存储第二位流的磁道。
根据一实施例，一种操作视频服务器的方法包含：接收第一视频位流；将所述第一位流存储在存储器中；从第一视频位流产生第二视频位流；以及将第二视频位流存储在存储器中。第一视频位流具有多个独立编码的视图，且第二位流具有所述多个独立编码的视图中的一个。
根据另一实施例，一种视频服务器具有存储器和处理器。所述处理器用于接收具有第一独立编码的视图和第二独立编码的视图的第一视频位流，且从第一视频位流产生具有第二独立编码的视图的第二视频位流。处理器将第一和第二视频位流存储在存储器中。
前面已相当广泛地概述了本发明实施例的特征，以使得可更好地理解以下对本发明的详细描述。下文将描述本发明实施例的额外特征和优点，其形成本发明的所附权利要求书的标的物。所属领域的技术人员应了解，所揭示的概念和特定实施例可容易地用作修改或设计用于实行本发明的相同目的的其它结构或过程的基础。所属领域的技术人员还应认识到，此类等效构造不脱离如所附权利要求书中陈述的本发明的精神和范围。
附图说明
为了更完整地理解本发明及其优点，现在参考以下结合附图进行的描述，其中：
图1说明实施例视频服务器系统的图；以及
图2说明实施例存储器分配。
除非另有指示，否则不同图中的对应标号和符号通常指代对应部分。绘示各图是为了清楚地说明实施例的相关方面，且各图不一定是按比例绘制的。
具体实施方式
下文详细论述各种实施例的制造和使用。然而，应了解，本发明提供可在各种各样的特定情境中体现的许多适用的发明性概念。所论述的特定实施例仅说明制造和使用本发明的特定方式，且不限制本发明的范围。
将相对于特定场景(例如用于处理视频文件的系统和方法)中的实施例描述本发明。本发明的实施例还可应用于针对其它类型的数据通信的系统和方法。
图1说明实施例视频分发系统100。客户端104经由连接106耦合到服务器102。为便于说明，仅展示一个客户端104，但在实施例中，一个以上客户端可连接到服务器102。服务器102具有处理器112、网络接口116和存储器114。在一些实施例中，服务器102经由连接108耦合到进一步的网络，例如因特网110。在一些其它实施例中，因特网110和连接108是连接106的一部分。在实施例中，服务器102将视频内容或其一部分存储在存储器114中。在一实施例中，存储器114由磁盘驱动器阵列组成，然而，存储器114可包含其它形式的存储装置，例如固态存储器，例如DRAM和SRAM、其它种类的磁性存储装置，或其它形式的存储器存储。服务器102可为诸如由广域网或大城市网中的服务提供商运行的远程定位服务器、局域网服务器或另一类型的服务器。连接106和108可为有线、无线、DSL和/或其它类型的连接。此外，连接106和108可根据TCP-IP、UDP-IP或其它种类的协议来运行。
图2说明服务器102的存储器114分配的实施例。(图1)在本发明的实施例中，第一视频位流120和第二视频位流112存储在存储器114中。在一实施例中，第一视频位流120编码具有一个或一个以上独立编码的视图，且第二视频位流122编码具有单个独立编码的视图。
在一实施例中，第一位流120具有至少两个视频组件。第一视频组件称为“A视图”。在实施例中，此“A视图”编码独立地编码在第一位流120中。第一位流120还具有至少一个进一步的视频组件，其中的第一者称为“B视图”。在一些情况下，“B视图”不是独立于“A视图”编码而编码的，例如，在例如3D视频的情况下，其中“B视图”与“A视图”密切相关。在这些情况下，“B视图”信息可由与“A视图”的差异经编码编码组成，而不是对“B视图”编码的整体进行编码组成。然而，在一些实施例中，例如当第一位流120携带游戏、表演或体育赛事的多个视图时，“B视图”编码独立地编码。举例来说，“A视图”可能表示赛道的鸟瞰图，且“B视图”可能表示汽车比赛的车内视图。在进一步实施例中，第一位流120具有两个以上视图，例如进一步包含“C视图”、“D视图”等等。这些额外视图可与“A视图”有关或无关。
在一个实施例中，“A视图”以及至少一个进一步视图(例如“B视图”)编码是独立编码的视图。为了阐述的简单起见，将假定“B视图”编码是独立编码的。应理解，除“B视图”编码之外的其它视图可为独立编码的，因此每当参考“B视图”时，也可考虑其它视图。举例来说，在一个实施例中，“B视图”是从属视图，且“C视图”是独立视图。
在一实施例中，服务器102取具有至少两个独立视图的第一位流，创建含有单个视图的第二位流122。在一实施例中，编码在第二位流中的视图是不同于“A视图”编码的独立编码的视图。在进一步实施例中，第二位流可含有“A视图”，编码或任何独立或从属编码的视图。
在一实施例中，服务器从连接108接收第一位流120，然而，第一位流还可写入到存储器或硬盘或其它装置中以供用户本地存储，例如，在用户在无网络时直接复制DVD视频的情况下。在服务器102接收到第一位流120后不久产生和写入第二位流122，以供客户端104以后检索。或者，可在以后的时间，例如响应于客户端104或其它客户端对替代物的请求而产生第二位流122。
在一实施例中，处理器112对经压缩的可缩放或多视图视频内容的子集进行转码，包含将用于经转码层或视图的磁道映射到用于原始层或视图的磁道。在一个实施例中，服务器102不实施转码功能性来提供对应于原始位流的子集的符合标准的可缩放或多视图位流，其中所述子集不取决于基础层或基础视图。相反，在一些实施例中，服务器102创建具有单个位流的第二位流122。
在一些实施例中，多视图和单视图位流是根据H.264/AVC标准而格式化，H.264/AVC标准也称为ITU-T推荐H.264和ISO/IEC国际标准(IS)14496-10。此标准由ISO/IEC运动图片专家组(MPEG)和ITU-T编码视频编码专家组(VCEG)的联合视频小组(JVT)开发。可缩放视频编码(SVC)是H.264/AVC规范的附件G中指定的H.264/AVC的可缩放扩展，编码且多视图视频编码(MVC)是H.264/AVC规范的附件H中指定的H.264/AVC的多视图扩展。在替代实施例中，还可使用例如ISO/IEC IS 13818-2等其它标准。
在基于SVC的实施例中，以较低的空间分辨率、较低质量或较低帧速率来提取、解码和呈现位流的一部分。SVC位流具有一个基础层和若干个增强层。基础层位流子集可以向后兼容较早在H.264/AVC规范的附件A中指定的一个或多个不可缩放资料档案。在一些实施例中，增强层将较低层用于层间预测，编码以获得改进的编码效率。为了简单起见，本发明将增强层称为非基础层。
另一方面，一个实施例中的MVC位流具有例如由多个相机捕捉到的一个或一个以上经编码视图。在替代实施例中，这些经编码视图可具有自不同来源的不同视频内容。提取并解码位流的一部分，以表示由整个位流表示的视图子集。MVC位流中的视图之一是基础视图，位流子集可以向后兼容较早在H.264/AVC规范的附件A中指定的一个或多个不可缩放资料档案。其它视图称为非基础视图。在一些实施例中，编码非基础视图可使用另一视图来获得改进的编码效率。
为了简单，将遵从或符合H.264/AVC规范的附件A中指定的资料档案或与之兼容的位流或解码器称为遵从或符合H.264/AVC或与H.264/AVC兼容，将遵从或符合H.264/AVC规范的附件G中指定的资料档案或与之兼容的位流或解码器称为遵从或符合SVC或与SVC兼容，且将遵从或符合H.264/AVC规范的附件H中指定的资料档案或与之兼容的位流或解码器称为遵从或符合MVC或与MVC兼容。
在实施例SVC或MVC实施方案中，非基础层或视图可或可不取决于其它层或视图。非基础层或视图不取决于其它视图的一个实例是当所有层或视图均彼此无关时。另一实例是当非基础层或视图的子集与所有其它层或视图无关时，以及子集内存在从属性的情况。在此情况下，子集中至少有一个层或视图不取决于任何其它层或视图。
在一实施例中，编码接收器发出播放非基础层或视图的一个独立编码子集的请求。当独立子集中的非基础层或视图的数目为一时，接收器可使用遵从H.264/AVC或遵从SVC或MVC的解码器。在两种情况下，对为所请求的非基础层或视图而提取的位流子集进行转码，以遵从H.264/AVC。在后者情况下(即，当接收器具有遵从SVC或MVC的解码器时)非基础视图或层为何也转码为遵从H.264/AVC的一个原因是，在SVC或MVC中，可能需要符合的位流含有遵从H.264/AVC的基础层或视图。因此，当提取非基础层或视图的独立子集时，子集内的独立非基础层或视图转码为遵从H.264/AVC。当独立子集中的非基础层或视图的数目大于一时，接收器使用遵从SVC或MVC的解码器。因此，为了产生具有层或视图子集的位流，将子集内的独立非基础层或视图转码为符合H.264/AVC。
在一个实施例中，H.264/AVC规范的子条款G.13.2.1(语法元素conversion_type_idc[i]的语义，当conversion_type_idc[i]等于2时)中描述将独立非基础层转码为遵从H.264/AVC。
在一实施例中，根据H.264/AVC规范的子条款H.8.5.5中所描述的方法来实现将非基础视图的独立子集中的独立非基础视图转码为遵从H.264/AVC的表示的方法。
在一实施例中，编码响应于接收器对非基础层或视图的一个独立编码的子集的请求，视频服务器执行转码(例如，如以上实例中所指定)，并将经转码的位流发送到接收器。然而，为了降低复杂性和成本，一些服务器可能不配备有这些转码能力。为了实现这些应用情景，在一些实施例中，一机制将经转码的位流存储在媒体文件中，使得服务器在文件中直接选择所要磁道，且将基本流发送到接收器。
在ISO/IEC IS 14496-12中指定ISO基础媒体文件格式，其广泛用于存储多媒体内容。在一些实施例中，基于ISO基础媒体文件格式来得出一系列文件格式标准或草案标准，包含MPEG-4文件格式(ISO/IEC IS 14496-14)、H.264/AVC文件格式(ISO/IEC IS 14496-15)、SVC文件格式(ISO/IEC IS14496-15修正2)以及MVC文件格式(ISO/IEC IS 14496-15修正3)。
在一实施例中，使用基于2009年2月在瑞士洛桑市举行的第87届MPEG会议的MPEG输出文献W10445中的草案MVC文件格式的方法，所述文献以引用的方式并入本文中。在此实施例中，指定新的对话框，名为VirtualBaseViewTracks(虚拟基础视图磁道)对话框。VirtualBaseViewTracks对话框包含在多视图信息对话框中，多视图信息对话框包含在含有存储在文件中的多视图流的基础视图的磁道的媒体信息对话框中。
如下指定新的对话框。将对话框类型设置为“vbvt”。新对话框的容器为多视图信息对话框(“mvci”)。在一些实施例中，所述新对话框是任选的。所述新对话框提供存储独立编码编码的非基础视图的虚拟基础视图的磁道的信息。在一实施例中，对于任何独立编码编码的非基础视图，虚拟基础视图是所述视图的H.264/AVC兼容表示，且可通过H.264/AVC规范的子条款H.8.5.5中指定的过程来创建。通过解码时间来使含有独立编码编码的非基础视图的数据单元的样本与虚拟基础视图的样本对准。
以下语法指定新对话框的格式以及新对话框VirtualBaseViewTracks含有什么信息。
Figure BDA0000080945120000071
在上文所列的实施例语法中，语法元素的语义如下：
num_entries是磁道或针对其识别含有虚拟基础视图的磁道的层级的数目；
entry_type指示下面是哪一类型的磁道或层级。指定entry_type的以下值：
0-整个磁道。在此情况下，由track_id识别的磁道仅含有独立编码编码的非基础视图，以及
1-磁道内的层级。在此情况下，由track_id和tier_id识别的层级仅含有独立编码编码的非基础视图；
track_id指示磁道；
tier_id指示磁道内的层级；以及
vbv_track_id指示含有由track_id(当entry_type等于0时)或由track_id和tier_id(当entry_type等于1时)识别的视图的虚拟基础视图的磁道。
在一实施例中，VirtualBaseViewTracks对话框为每一独立编码编码的非基础视图(或其时间子集)提供含有遵从H.264/AVC的或(例如)根据H.264/AVC规范的子条款H.8.5.5中所指定的过程而创建的虚拟基础视图(或其时间子集)的磁道的磁道识别符。当提取和解码非基础视图的子集时，则视图子集之中具有最小视图次序索引的视图为独立编码编码的非基础视图(否则需要提取更多视图)。在此情况下，对于具有最小视图次序索引的视图，从对应的虚拟基础视图磁道取得数据单元。像平常一样从原始磁道取得用于其它视图的数据单元。如果待提取和解码的非基础视图的子集中的视图数目为一(即，将仅提取和解码一个独立编码编码的非基础视图)，那么直接取得虚拟视图。
在本发明的另一实施例中，使用基于2009年2月在瑞士洛桑市举行的第87届MPEG会议的MPEG输出文献W10445中的草案MVC文件格式的另一方法。在此方法中，代替于定义新的对话框，定义新的磁道参考类型“vbvt”。在实施例中，含有虚拟基础视图的任何磁道均包含指代含有对应的独立编码编码的非基础视图的源磁道的类型“vbvt”的磁道参考。对于这种新的磁道参考类型，服务器识别含有独立编码编码的非基础视图的虚拟基础视图的文件磁道，且当客户端请求独立编码编码的非基础视图时，服务器便将所识别的磁道中所含有的媒体数据发送到客户端。
在另一实施例中，使用新的对话框或新的磁道参考类型来应用于可缩放的视频内容。当客户端请求非基础层时，此新的对话框或新的磁道参考类型提供与上文针对多视图视频内容所述类似的功能性，但此处是针对可缩放的视频内容。
在一实施例中，一种方法包含存储视频文件，所述视频文件包括第一格式的第一位流和第二格式的第二位流。第一位流包括多个独立编码编码的视频分量，且第二位流包括所述多个独立编码编码的视频分量中的一者。所述方法还包含选择所述多个独立编码编码的视频分量中的所述一者以及识别存储第二位流的磁道。在一些实施例中，所述方法进一步包含将第二位流传输到客户端。在进一步实施例中，多个独立编码编码的视频分量中的每一者包含一独立编码编码的视图和/或独立编码编码的层。
在一实施例中，第一格式为根据H.264/AVC视频编码编码标准的附件H中所指定的资料档案的多视图视频编码编码(MVC)格式，且第二格式是根据H.264/AVC视频编码编码标准的附件A中所指定的资料档案的高级视频编码编码(AVC)格式。在另一实施例中，第一格式为根据H.264/AVC视频编码编码标准的附件G中所指定的资料档案的可缩放视频编码编码(SVC)格式，且第二格式包括根据H.264/AVC视频编码编码标准的附件A中所指定的资料档案的高级视频编码编码(AVC)格式。在一些实施例中，根据多视图视频编码编码(MVC)文件格式或根据可缩放视频编码编码(SVC)文件格式来存储视频文件。在进一步实施例中，可使用其它格式。
根据实施例，识别存储第二位流的磁道包含使用来自视频文件的信息，其中来自视频文件的信息指示存储第二位流的磁道。在一些实施例中，来自视频文件的指示存储第二位流的磁道的信息包括含有存储第二位流的磁道的信息的对话框和/或指示存储第二位流的磁道的信息的磁道参考。
在一实施例中，一种操作视频服务器的方法包含接收第一视频位流，其中第一视频位流包含多个独立编码的视图。所述方法进一步包含：将第一位流存储在存储器中；从第一视频位流产生第二视频位流；以及将第二视频位流存储在存储器中。第二视频位流包括多个独立编码的视图中的一者。在一实施例中，所述方法进一步包含将第二位流传输到客户端。在进一步实施例中，所述方法还包含从客户端接收对多个位流中的一者的请求，其中响应于接收到所述请求而执行传输。一些实施例包含：从第一视频位流产生第三视频位流，其中第三视频位流包含所述多个独立编码视图中的另一者；以及将第三视频位流存储在存储器中。在一些实施例中，第二视频位流与第一位流存储在同一文件中。
在一些实施例中，第二位流与第一位流以不同格式编码。在一个实例中，以多视图视频编码(MVC)格式编码第一位流；且以可缩放视频编码(SVC)格式编码第二位流。在一些实施例中，所述多个独立编码的视图包括A视图以及至少一个进一步独立编码的视图，且第二位流中的所述多个独立编码视图中的所述一者包括所述至少一个进一步独立编码的视图。
在一实施例中，视频服务器包含：存储器；以及处理器，其中所述处理器经配置以接收具有第一独立编码的视图和第二独立编码的视图的第一视频位流。所述处理器进一步经配置以将第一位流存储在存储器中，从第一视频位流产生第二视频位流，且将第二视频位流存储在存储器中。第二视频位流包含第二独立编码视图。在一些实施例中，视频服务器经配置以传输第二位流。在进一步实施例中，视频服务器经配置以响应于对第二视频流的请求而将第二位流传输到客户端。
在一实施例中，第二位流与第一位流以不同格式编码。在一个实例中，以多视图视频编码(MVC)格式编码第一位流；且以可缩放视频编码(SVC)格式编码第二位流。在另一实施例中，第一独立编码视图包括A视图，且第二独立编码视图包括B视图。
在一实施例中，分配视频数据的方法包含提供第一视频位流，其中第一视频位流包含第一独立编码视图和第二独立编码视图。所述方法还包含从第一视频位流产生第二视频位流以及将第二视频位流存储在存储器中，其中第二视频位流包含第二独立编码视图。在实施例中，所述方法进一步包含将第二位流传输到客户端。在一些实施例中，响应于来自客户端的对第二独立编码视图的请求而执行将第二位流传输到客户端。
在一些实施例中，产生是通过处理器来执行的。在进一步实施例中，提供第一视频位流包含从计算机网络接收第一视频位流。在视频服务器的一些实施例中，以多视图视频编码(MVC)格式编码第一位流；且以可缩放视频编码(SVC)格式编码第二位流。
在一些实施例中，可使用在处理器上运行的计算机程序或软件来实施实施例算法。
从多视图位流创建单个视图位流的实施例的优点是向客户端提供次要视图的能力，而不必在每次请求视图时执行转码操作。
实施例的另一优点是请求次要视图的客户端节点不必支持或执行多视图解码算法，且不必将处理资源分配给多视图解码。这允许例如智能电话和笔记型计算机等较低功率和/或较低性能的客户端存取全功能视频内容，而不必花费处理资源来从多视图位流提取视图。
本发明的实施例进一步提供一种视频文件处理设备，其包括：
存储单元，其用于存储视频文件，所述视频文件包括第一格式的第一位流和第二格式的第二位流，其中所述第一位流包括多个独立编码的视频组件，且第二位流包括所述多个独立编码的视频组件中的一者；
选择单元，其用于选择所述多个独立编码的视频组件中的所述一者；以及
识别单元，其用于识别存储第二位流的磁道。
所述视频文件处理设备可进一步包括传输单元，用于将第二位流传输到客户端。
所述视频文件处理设备的识别单元可使用来自视频文件的信息，其中来自视频文件的信息指示存储第二位流的磁道。
本发明的实施例还进一步提供一种视频服务器，其包括：
接收单元，用于接收第一视频位流，所述第一视频位流包括多个独立编码的视图；
产生单元，用于从第一视频位流产生第二视频位流，其中所述第二视频位流包括所述多个独立编码的视图中的一者；以及
存储单元，用于存储第一位流和第二视频位流。
所述视频服务器可进一步包括传输单元，用于将第二位流传输到客户端。
在另一方面中，所述视频服务器可进一步包括：
产生单元，进一步用于从第一视频位流产生第三视频位流，其中所述第三视频位流包括所述多个独立编码的视图中的另一者；以及
存储单元，进一步用于将第三视频位流存储在存储器中。
尽管已详细地描述了本发明的实施例及其优点，但应理解，可在不脱离由所附权利要求书界定的本发明的精神和范围的情况下，在本文中作出各种改变、替代和更改。举例来说，上文所论述的许多特征和功能可以软件、硬件、固件或其组合来实施。
此外，本申请案的范围不希望限于本说明书中所描述的过程、机器、制品、物质组成、构件、方法和步骤的特定实施例。如所属领域的一般技术人员从本发明的揭示内容将容易了解，当前存在或以后待开发的大体上执行与本文描述的对应实施例相同的功能或实现与其大体上相同效果的过程、机器、制品、物质组成、构件、方法或步骤可根据本发明而加以利用。因此，所附权利要求书意在将此类过程、机器、制造、物质组成、构件、方法或步骤包含在其范围内。

Claims (31)

1.一种方法，其特征在于，包括：
存储视频文件，所述视频文件包括第一格式的第一位流和第二格式的第二位流，其中所述第一位流包括多个独立编码的视频组件，且所述第二位流包括所述多个独立编码的视频组件中的之一；
选择所述多个独立编码的视频组件中的所述之一；以及
识别存储所述第二位流的磁道。
2.根据权利要求1所述的方法，其特征在于，进一步包括将所述第二位流传输到客户端。
3.根据权利要求1所述的方法，其特征在于，所述多个独立编码的视频组件中的每一个包括独立编码的视图。
4.根据权利要求1所述的方法，其特征在于，所述多个独立编码的视频组件中的每一个包括独立编码的层。
5.根据权利要求1所述的方法，其特征在于，所述第一格式包括根据H.264/AVC视频编码标准的附件H中所指定的资料档案的多视图视频编码(MVC)格式，所述第二格式包括根据所述H.264/AVC视频编码标准的附件A中所指定的资料档案的高级视频编码(AVC)格式。
6.根据权利要求1所述的方法，其特征在于，中所述第一格式包括根据所述H.264/AVC视频编码标准的附件G中所指定的资料档案的可缩放视频编码(SVC)格式，所述第二格式包括根据所述H.264/AVC视频编码标准的附件A中所指定的资料档案的高级视频编码(AVC)格式。
7.根据权利要求1所述的方法，其特征在于，根据多视图视频编码(MVC)文件格式来存储所述视频文件。
8.根据权利要求1所述的方法，其特征在于，根据可缩放视频编码(SVC)文件格式来存储所述视频文件。
9.根据权利要求1所述的方法，其特征在于，所述识别存储所述第二位流的磁道包括使用来自所述视频文件的信息，其中来自所述视频文件的所述信息指示存储所述第二位流的所述磁道。
10.根据权利要求9所述的方法，其特征在于，所述来自所述视频文件的指示存储所述第二位流的所述磁道的所述信息包括含有存储所述第二位流的所述磁道的信息的对话框。
11.根据权利要求9所述的方法，其特征在于，所述来自所述视频文件的指示存储所述第二位流的所述磁道的所述信息包括指示存储所述第二位流的所述磁道的信息的磁道参考。
12.一种运行视频服务器的方法，所述方法包括：
接收第一视频位流，所述第一视频位流包括多个独立编码的视图；
存储所述第一位流；
从所述第一视频位流产生第二视频位流，其中所述第二视频位流包括所述多个独立编码的视图中的一个；以及
存储所述第二视频位流。
13.根据权利要求11所述的方法，其特征在于，进一步包括将所述第二位流传输到客户端。
14.根据权利要求13所述的方法，其特征在于，进一步包含从所述客户端接收对所述多个位流中的一个的请求，其中响应于接收到所述请求而执行所述传输。
15.根据权利要求12所述的方法，其特征在于，所述第二位流与所述第一位流以不同格式编码。
16.根据权利要求15所述的方法，其特征在于：
以多视图视频编码(MVC)格式来编码所述第一位流；以及
以可缩放视频编码(SVC)格式来编码所述第二位流。
17.根据权利要求16所述的方法，其特征在于：
多个独立编码的视图包括A视图以及至少一个进一步独立编码的视图；且
所述第二位流中的所述多个独立编码的视图中的一个包括所述至少一个进一步独立编码的视图。
18.根据权利要求12所述的方法，其特征在于，进一步包括：
从所述第一视频位流产生第三视频位流，其中所述第三视频位流包括所述多个独立编码的视图中的另一个；以及
将所述第三视频位流存储在存储器中。
19.根据权利要求12所述的方法，其特征在于，所述第二视频位流与所述第一位流存储在同一文件中。
20.一种视频文件处理设备，其特征在于，包括：
存储单元，其用于存储视频文件，所述视频文件包括第一格式的第一位流和第二格式的第二位流，其中所述第一位流包括多个独立编码的视频组件，且所述第二位流包括所述多个独立编码的视频组件中的一个；
选择单元，其用于选择所述多个独立编码的视频组件中的所述一个；以及
识别单元，其用于确定存储所述第二位流的磁道。
21.根据权利要求20所述的设备，其特征在于，进一步包括传输单元，用于将所述第二位流传输到客户端。
22.根据权利要求20所述的设备，其特征在于，所述识别单元使用来自所述视频文件的信息，其中来自所述视频文件的所述信息指示存储所述第二位流的所述磁道。
23.一种视频服务器，其特征在于，包括：
接收单元，用于接收第一视频位流，所述第一视频位流包括多个独立编码的视图；
产生单元，用于从所述第一视频位流产生第二视频位流，其中所述第二视频位流包括所述多个独立编码的视图中的一个；以及
存储单元，用于存储所述第一位流和所述第二视频位流。
24.根据权利要求23所述的视频服务器，其特征在于，进一步包括传输单元，用于将所述第二位流传输到客户端。
25.根据权利要求12所述的视频服务器，其特征在于，进一步包括：
所述产生单元，进一步用于从所述第一视频位流产生第三视频位流，其中所述第三视频位流包括所述多个独立编码的视图中的另一个；以及
所述存储单元，进一步用于将所述第三视频位流存储在存储器中。
26.一种视频服务器，其特征在于，包括：
存储器；以及
处理器，其中所述处理器用于：
接收包括第一独立编码视图和第二独立编码视图的第一视频位流，
将所述第一位流存储在所述存储器中，
从所述第一视频位流产生第二视频位流，其中所述第二视频位流包括所述第二独立编码的视图；以及
将所述第二视频位流存储在所述存储器中。
27.根据权利要求20所述的视频服务器，其特征在于，所述视频服务器进一步用于传输所述第二位流。
28.根据权利要求20所述的视频服务器，其特征在于，所述视频服务器用于响应于对第二视频流的请求而将所述第二位流传输到客户端。
29.根据权利要求20所述的视频服务器，其特征在于，中所述第二位流与所述第一位流以不同格式编码。
30.根据权利要求23所述的视频服务器，其特征在于：
所述第一位流以多视图视频编码(MVC)格式来编码；以及
所述第二位流以可缩放视频编码(SVC)格式来编码。
31.根据权利要求24所述的视频服务器，其特征在于：
所述第一独立编码的视图包括A视图，且所述第二独立编码的视图包括B视图。
CN201080006517.1A 2009-04-14 2010-04-14 用于处理视频文件的系统和方法 Active CN102224733B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16924709P 2009-04-14 2009-04-14
US61/169,247 2009-04-14
US12/754,896 US8948247B2 (en) 2009-04-14 2010-04-06 System and method for processing video files
US12/754,896 2010-04-06
PCT/CN2010/071764 WO2010118686A1 (en) 2009-04-14 2010-04-14 System and method for processing video files

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410088859.2A Division CN103856778A (zh) 2009-04-14 2010-04-14 用于处理视频文件的系统和方法

Publications (2)

Publication Number Publication Date
CN102224733A true CN102224733A (zh) 2011-10-19
CN102224733B CN102224733B (zh) 2014-03-12

Family

ID=42934092

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201080006517.1A Active CN102224733B (zh) 2009-04-14 2010-04-14 用于处理视频文件的系统和方法
CN201410088859.2A Pending CN103856778A (zh) 2009-04-14 2010-04-14 用于处理视频文件的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410088859.2A Pending CN103856778A (zh) 2009-04-14 2010-04-14 用于处理视频文件的系统和方法

Country Status (6)

Country Link
US (1) US8948247B2 (zh)
EP (1) EP2420065A1 (zh)
JP (1) JP5289618B2 (zh)
KR (1) KR101265990B1 (zh)
CN (2) CN102224733B (zh)
WO (1) WO2010118686A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948247B2 (en) 2009-04-14 2015-02-03 Futurewei Technologies, Inc. System and method for processing video files
US8982183B2 (en) * 2009-04-17 2015-03-17 Lg Electronics Inc. Method and apparatus for processing a multiview video signal
KR20120055488A (ko) * 2010-11-23 2012-05-31 삼성전자주식회사 멀티미디어 시스템에서 다계층 영상을 위한 미디어 파일 생성 방법 및 장치와 이를 이용한 미디어 파일 재생 장치
US8818171B2 (en) 2011-08-30 2014-08-26 Kourosh Soroushian Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
KR101928910B1 (ko) 2011-08-30 2018-12-14 쏘닉 아이피, 아이엔씨. 복수의 최대 비트레이트 레벨들을 사용하여 인코딩된 비디오를 인코딩하고 스트리밍하기 위한 시스템들 및 방법들
KR20130037194A (ko) * 2011-10-05 2013-04-15 한국전자통신연구원 비디오 부호화/복호화 방법 및 그 장치
US10452715B2 (en) 2012-06-30 2019-10-22 Divx, Llc Systems and methods for compressing geotagged video
US20140003799A1 (en) * 2012-06-30 2014-01-02 Divx, Llc Systems and methods for decoding a video sequence encoded using predictions that include references to frames in reference segments from different video sequences
GB2534136A (en) 2015-01-12 2016-07-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050078108A1 (en) * 2000-06-12 2005-04-14 Swift David C. Electronic stereoscopic media delivery system
CN1802858A (zh) * 2003-04-17 2006-07-12 韩国电子通信研究院 基于运动图像专家组－4的立体视频因特网广播系统和方法
US20060233247A1 (en) * 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format
WO2007024275A1 (en) * 2005-08-23 2007-03-01 Sony Ericsson Mobile Communications Ab Systems and methods for distributing and/or playing multicasted video signals in multiple display formats
CN1976450A (zh) * 2005-11-29 2007-06-06 联发科技股份有限公司 将图像单元从第一视频分辨率格式缩放到第二视频分辨率格式的系统
CN101129073A (zh) * 2005-01-11 2008-02-20 诺基亚公司 用于视频位流编码/解码以求细颗粒度可缩放性的方法和系统
WO2008084424A1 (en) * 2007-01-08 2008-07-17 Nokia Corporation System and method for providing and using predetermined signaling of interoperability points for transcoded media streams
US20080310499A1 (en) * 2005-12-09 2008-12-18 Sung-Hoon Kim System and Method for Transmitting/Receiving Three Dimensional Video Based on Digital Broadcasting

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2950223B2 (ja) 1996-01-12 1999-09-20 日本電気株式会社 データ読出装置
JP3603225B2 (ja) 2001-02-06 2004-12-22 関西ティー・エル・オー株式会社 画像配信装置及びプログラム
JP2003346183A (ja) 2002-05-28 2003-12-05 Canon Inc ３ｄコンテンツサービスシステム
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
JP4964459B2 (ja) 2005-12-07 2012-06-27 シャープ株式会社 情報処理装置、テレビ、プログラム及び情報処理方法
KR101101965B1 (ko) * 2006-10-16 2012-01-02 노키아 코포레이션 멀티뷰 비디오 코딩에 대한 병렬 디코딩가능 슬라이스들을 이용하기 위한 시스템 및 방법
WO2008156318A2 (en) 2007-06-19 2008-12-24 Electronics And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
US8471893B2 (en) * 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
KR100973657B1 (ko) * 2007-11-01 2010-08-02 경희대학교 산학협력단 디블록킹 필터링을 포함하는 코덱 사이의 트랜스코딩 방법 및 장치
US8121191B1 (en) * 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
US20090163185A1 (en) * 2007-12-24 2009-06-25 Samsung Electronics Co., Ltd. Method and system for creating, receiving and playing multiview images, and related mobile communication device
ES2559605T3 (es) * 2008-09-17 2016-02-15 Panasonic Intellectual Property Management Co., Ltd. Medio de grabación y dispositivo de reproducción
JP4957823B2 (ja) 2009-04-08 2012-06-20 ソニー株式会社 再生装置および再生方法
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
KR101632076B1 (ko) 2009-04-13 2016-06-21 삼성전자주식회사 우선순위에 따른 스테레오스코픽 영상 데이터의 전송 장치 및 방법
US8719309B2 (en) 2009-04-14 2014-05-06 Apple Inc. Method and apparatus for media data transmission
US8948247B2 (en) 2009-04-14 2015-02-03 Futurewei Technologies, Inc. System and method for processing video files

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050078108A1 (en) * 2000-06-12 2005-04-14 Swift David C. Electronic stereoscopic media delivery system
CN1802858A (zh) * 2003-04-17 2006-07-12 韩国电子通信研究院 基于运动图像专家组－4的立体视频因特网广播系统和方法
CN101129073A (zh) * 2005-01-11 2008-02-20 诺基亚公司 用于视频位流编码/解码以求细颗粒度可缩放性的方法和系统
US20060233247A1 (en) * 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format
WO2007024275A1 (en) * 2005-08-23 2007-03-01 Sony Ericsson Mobile Communications Ab Systems and methods for distributing and/or playing multicasted video signals in multiple display formats
CN101263716A (zh) * 2005-08-23 2008-09-10 索尼爱立信移动通讯股份有限公司 以多显示格式分送和/或播放多播的视频信号的系统和方法
CN1976450A (zh) * 2005-11-29 2007-06-06 联发科技股份有限公司 将图像单元从第一视频分辨率格式缩放到第二视频分辨率格式的系统
US20080310499A1 (en) * 2005-12-09 2008-12-18 Sung-Hoon Kim System and Method for Transmitting/Receiving Three Dimensional Video Based on Digital Broadcasting
WO2008084424A1 (en) * 2007-01-08 2008-07-17 Nokia Corporation System and method for providing and using predetermined signaling of interoperability points for transcoded media streams

Also Published As

Publication number Publication date
US20100259690A1 (en) 2010-10-14
WO2010118686A1 (en) 2010-10-21
EP2420065A4 (en) 2012-02-22
KR20110118174A (ko) 2011-10-28
CN103856778A (zh) 2014-06-11
JP5289618B2 (ja) 2013-09-11
EP2420065A1 (en) 2012-02-22
KR101265990B1 (ko) 2013-05-22
US8948247B2 (en) 2015-02-03
JP2012523781A (ja) 2012-10-04
CN102224733B (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
CN102224733B (zh) 用于处理视频文件的系统和方法
JP6743059B2 (ja) カプセル化されたビットストリームからメディアデータ及びメタデータを取得するための、動作基点ディスクリプタを動的に設置可能な方法、デバイス及びコンピュータプログラム
JP6516766B2 (ja) 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム
RU2534936C2 (ru) Управление мультимедийными контейнерными файлами
JP6556126B2 (ja) ファイルの生成方法、ファイルの生成装置、及び、プログラム。
CN102132562B (zh) 用于轨道和轨道子集归组的方法和设备
CN105744295B (zh) 提供用于串流传输视频数据的序列数据集
JP6746507B2 (ja) 処理装置及び処理方法
CN103404140B (zh) 指示比特流子集的方法和设备
CN110036641A (zh) 虚拟现实视频中的用信号表示的感兴趣区域或视点的优选呈现
CN109155865A (zh) 在图像中的最感兴趣的区域的先进信号传送
KR20190014500A (ko) Http 를 통한 동적 적응형 스트리밍에서의 가상 현실 비디오 시그널링
CN104246773B (zh) 识别视频文件中的参数集
CN114503599A (zh) 使用gltf2场景描述中的扩展来支持视频和音频数据
EP3888375A1 (en) Method, device, and computer program for encapsulating media data into a media file
CN101662677A (zh) 码流转换系统及方法、码流识别单元和方案确定单元
CN114697631B (zh) 沉浸媒体的处理方法、装置、设备及存储介质
JP4040577B2 (ja) スキーマ、構文解析法、およびスキーマに基づいてビットストリームを発生させる方法
KR102654999B1 (ko) 강화된 영역별 패킹 및 뷰포트 독립적 hevc 미디어 프로파일
De Neve et al. Using bitstream structure descriptions for the exploitation of multi-layered temporal scalability in H. 264/AVC’s base specification
Roodaki et al. New scalable modalities in multi-view 3D video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant