CN102547273A - 一种支持可伸缩编码的多媒体文件结构 - Google Patents

一种支持可伸缩编码的多媒体文件结构 Download PDF

Info

Publication number
CN102547273A
CN102547273A CN2011100712939A CN201110071293A CN102547273A CN 102547273 A CN102547273 A CN 102547273A CN 2011100712939 A CN2011100712939 A CN 2011100712939A CN 201110071293 A CN201110071293 A CN 201110071293A CN 102547273 A CN102547273 A CN 102547273A
Authority
CN
China
Prior art keywords
video
sublayer
frame
layer
multimedia file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100712939A
Other languages
English (en)
Other versions
CN102547273B (zh
Inventor
孙鹏
陈俊杰
朱小勇
王劲林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Acoustics CAS
Original Assignee
Institute of Acoustics CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Acoustics CAS filed Critical Institute of Acoustics CAS
Priority to CN201110071293.9A priority Critical patent/CN102547273B/zh
Publication of CN102547273A publication Critical patent/CN102547273A/zh
Application granted granted Critical
Publication of CN102547273B publication Critical patent/CN102547273B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种支持可伸缩编码的多媒体文件结构，其特征在于，该结构包括：若干个子层视频帧结构和一个层描述信息结构；所述的多媒体文件包括：一个或多个视频帧，一个视频帧包括：一个或多个子层视频帧；所述的子层视频帧结构，基于MKV的TLV结构，用于存储一个子层视频帧，并在此基础上增加了子层编号；所述的层描述信息结构，用于描述各视频等级与对应子层之间的映射关系；所述的层描述信息结构中存储的内容包括：多媒体文件中各子层视频帧的属性和各子层视频帧的依赖关系。本发明提出的多媒体文件结构简单，通过扩展MKV的结构来支持可伸缩视频编码，可方便地根据指定的视频质量从可伸缩视频流中抽取相应子层的视频帧。

Description

一种支持可伸缩编码的多媒体文件结构
技术领域
本发明涉及多媒体文件结构领域，尤其涉及一种支持可伸缩编码的多媒体文件结构。 
背景技术
网络的异构性和动态性以及终端的多样性使得传统的视频编码算法很难满足流媒体传输的要求。可伸缩视频编码可以很好地解决流媒体传输中网络异构性和动态性以及终端多样性带来的问题。可伸缩视频编码技术把视频信号编码成一个基本层和多个增强层，增强层包括空间增强层、时间增强层和信噪比增强层等。在流媒体传输时，可以根据网络和终端的类型，从可伸缩视频流中抽取相应的子层，以提供不同的视频质量。甚至可以根据网络的动态变化调整传输的子层，当带宽不足时仅传输和解码基本层的码流，当带宽增大时可以传输和解码增强层的码流来提高视频的解码质量。 
目前主流的文件封装格式要么对可伸缩编码支持不够，例如MKV，要么复杂度较高，例如MP4。本发明提出一种基于MKV文件格式的可伸缩视频流存储结构。 
为了在MKV文件中支持可伸缩编码，目前面临的问题有如下三点： 
(1)如何组织可伸缩视频流各子层视频帧； 
(2)如何描述可伸缩视频流各子层视频帧与各子层的对应关系； 
(3)如何根据需要的视频等级得到所需的子层。 
发明内容
本发明的目的在于，为解决上述问题，使得提出一种支持可伸缩编码的多媒体文件结构，通过扩展MKV的结构来支持可伸缩视频编码，可方便地根据指定的视频质量从可伸缩视频流中抽取相应子层的视频帧。 
为实现上述发明目的，本发明提出一种支持可伸缩编码的多媒体文件结构，其特征在于，该结构包括：若干个子层视频帧结构和一个层描述信息结构；所述的多媒体文件包括：一个或多个视频帧，一个视频帧包括：一个或多个子层视频帧； 
所述的子层视频帧结构，基于MKV的TLV结构，用于存储一个子层视频帧，并在此基础上增加了子层编号； 
所述的层描述信息结构，用于描述各视频等级与对应子层之间的映射关系；所述的层描述信息结构中存储的内容包括：多媒体文件中各子层视频帧的属性和各子层视频帧的依赖关系。 
所述的各子层视频帧的属性包括：当前子层提供的视频质量和当前子层所依赖的子层提供的视频质量。 
所述的视频质量包括：帧率、分辨率和比特率。 
所述的各子层视频帧的依赖关系包括：空间增强层、时间增强层和信噪比增强层。 
本发明的优点在于，本发明所提出的基于MKV文件格式的可伸缩视频流存储结构，结构简单，通过扩展MKV的结构来支持可伸缩视频编码，可方便地根据指定的视频质量从可伸缩视频流中抽取相应子层的视频帧。 
附图说明
图1为一种支持可伸缩编码的多媒体文件结构图； 
图2为基于表1得到的一张有向无环图。 
具体实施方式
下面结合附图和具体实施例对本发明进行详细的说明。 
“子层视频帧结构”英文名称命名为：LayeredBlock结构；“层描述信息结构”英文名称命名为：LayerDescription结构。 
为了在MKV文件中支持可伸缩编码，目前面临的问题有如下三点： 
(1)如何组织可伸缩视频流各子层视频帧； 
(2)如何描述可伸缩视频流各子层视频帧与各子层的对应关系； 
(3)如何根据需要的视频等级得到所需的子层。 
针对以上三点，本发明的发明内容主要包括： 
(1)在传统的MKV文件中，通常使用Block结构或者SimpleBlock结构存储视频帧，但是针对可伸缩视频编码，Block结构或者SimpleBlock结构无法清晰地描述各子层视频帧。本发明提出一种可伸缩视频流的存储结构(scalable video coding block，SVCBlock)，用于存储可伸缩视频流的视频帧。在新的视频帧存储结构中，视频数据以子层视频帧为粒度进行存储，在SVCBlock结构中引入子层视频帧结构 LayeredBlock，用于存储子层视频帧。 
(2)LayeredBlock结构采用传统MKV的TLV结构，为了指明子层视频帧对应的子层，在LayeredBlock结构中特别增加了描述字段，即子层视频帧对应的子层编号，通过子层编号可以从SVCBlock结构中抽取相应子层的视频帧。 
(3)可伸缩视频流包含多个视频等级，每个视频等级提供不同的视频质量，例如帧率、分辨率、比特率等。为了能够根据需要的视频等级得到所需的子层，本发明提出一种用于描述各视频等级与各子层映射关系的结构层描述信息LayerDescription结构。LayerDescription结构描述了可伸缩视频流中各子层的属性，如：当前子层及其依赖的子层可以提供的视频质量，包括帧率、分辨率、比特率等，LayerDescription结构还描述了依赖关系，如：直接依赖的子层编号以及依赖关系的类型，例如：空间增强层、时间增强层、信噪比增强层等。当需要获得指定视频质量的视频等级时，首先，比较各子层属性与指定视频质量得到最佳匹配的子层；然后，根据各子层之间的依赖关系得到最佳匹配子层所有依赖的子层，从而获得视频等级所包含的可伸缩视频流的子层。 
如图1所示，图1为一种支持可伸缩编码的多媒体文件结构图。可伸缩视频编码帧结构SVCBlock是典型的TLV结构，用于存储可伸缩视频流的视频帧，每一帧可以分为一个或者多个子层视频帧，子层视频帧存储在子层视频帧结构中，其中子层编号字段指明子层视频帧结构中子层视频帧对应的子层编号。 
为了描述可伸缩视频流中各子层的属性及依赖关系，在Track Entry结构中增加子元素LayerDescription，结构如下 
Figure BDA0000051790230000031
Figure BDA0000051790230000041
LayerDescription结构中各字段语义如下： 
layerNumber表示为可伸缩视频流各子层编号； 
avgBitRate表示为平均比特率；avgFrameRate表示为平均帧率；width表示为宽度；height表示为高度；avgBitRate、avgFrameRate、width和height分别对应地编号为layerNumber的子层及其依赖的子层提供的视频质量，包括平均比特率、平均帧率以及分辨率。 
dependencyCount表示为当前子层直接依赖的子层数量。 
dependent layerNumber表示为当前子层直接依赖的子层编号。 
dependent type表示为当前子层及其依赖子层之间的依赖关系，包括时间增强层、空间增强层、信噪比增强层等。 
下面举例说明如何根据指定视频质量，从可伸缩视频流中抽取相应子层的视频帧，步骤如下： 
(1)从MKV文件中抽取可伸缩视频流各子层LayerDescription结构，如表1所示。在表1中，teel表示时间增强层；spel表示空间增强层；quel表示信噪比增强层。 
Figure BDA0000051790230000042
(2)根据表1可以得到一张有向无环图，如图2所示。其中，图中各节点表示可伸缩视频流中各子层，各节点的属性表示该子层及其依赖的子层提供的视频质量；图中各有向边表示各子层之间的直接依赖关系，依赖关系的类型包括空间增强层、时间增强层、信噪比增强层等。 
(3)根据所需视频质量(分辨率352*288、帧率30fps、比特率115kbps)，比较各节点属性与指定视频质量得到最佳匹配的子层(layer6)。其中，layer表示子层编 号。 
(4)根据各子层之间的依赖关系，得到最佳匹配子层所有依赖的子层(layer5、layer4、layer3、layer2、layer1)。 
(5)根据步骤(4)，如果需要得到指定视频质量，需要从可伸缩视频流中提取的子层集合为{layer6，layer5，layer4，layer3，layer2，layer1}。 
(6)解析LayerBlock结构，读取Layer字段，得到子层视频帧对应的子层编号。根据步骤(5)中得到的子层集合，抽取相应子层的视频帧。 
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种支持可伸缩编码的多媒体文件结构，其特征在于，该结构包括：若干个子层视频帧结构和一个层描述信息结构；所述的多媒体文件包括：一个或多个视频帧，一个视频帧包括：一个或多个子层视频帧；
所述的子层视频帧结构，基于MKV的TLV结构，用于存储一个子层视频帧，并在此基础上增加了子层编号；
所述的层描述信息结构，用于描述各视频等级与对应子层之间的映射关系；所述的层描述信息结构中存储的内容包括：多媒体文件中各子层视频帧的属性和各子层视频帧的依赖关系。
2.根据权利要求1所述的支持可伸缩编码的多媒体文件结构，其特征在于，所述的各子层视频帧的属性包括：当前子层提供的视频质量和当前子层所依赖的子层提供的视频质量。
3.根据权利要求2所述的支持可伸缩编码的多媒体文件结构，其特征在于，所述的视频质量包括：帧率、分辨率和比特率。
4.根据权利要求1所述的支持可伸缩编码的多媒体文件结构，其特征在于，所述的各子层视频帧的依赖关系包括：空间增强层、时间增强层和信噪比增强层。
CN201110071293.9A 2010-12-08 2011-03-24 一种基于mkv的支持可伸缩编码的多媒体文件构造方法 Expired - Fee Related CN102547273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110071293.9A CN102547273B (zh) 2010-12-08 2011-03-24 一种基于mkv的支持可伸缩编码的多媒体文件构造方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201010590470 2010-12-08
CN201010590470.X 2010-12-08
CN201110071293.9A CN102547273B (zh) 2010-12-08 2011-03-24 一种基于mkv的支持可伸缩编码的多媒体文件构造方法

Publications (2)

Publication Number Publication Date
CN102547273A true CN102547273A (zh) 2012-07-04
CN102547273B CN102547273B (zh) 2014-05-07

Family

ID=46353080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110071293.9A Expired - Fee Related CN102547273B (zh) 2010-12-08 2011-03-24 一种基于mkv的支持可伸缩编码的多媒体文件构造方法

Country Status (1)

Country Link
CN (1) CN102547273B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105210370A (zh) * 2013-07-10 2015-12-30 夏普株式会社 图像解码装置以及图像编码装置
CN106165422A (zh) * 2013-10-22 2016-11-23 华为技术有限公司 图像解码装置及图像解码方法
CN108696756A (zh) * 2012-09-28 2018-10-23 夏普株式会社 图像编码装置
CN109168023A (zh) * 2018-08-06 2019-01-08 南京邮电大学 一种可伸缩视频流的缓存方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226513A1 (en) * 2004-03-30 2005-10-13 Wallace Gregory K Video coding system providing separate coding chains for dynamically selected small-size or full-size playback
CN1913631A (zh) * 2006-08-18 2007-02-14 哈尔滨工业大学 基于db2小波的可伸缩性视频编解码方法
JP2009502055A (ja) * 2005-07-15 2009-01-22 ソニー株式会社 変更ファイルフォーマット、ファイルサーバ、データ処理システム及びデータ抽出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226513A1 (en) * 2004-03-30 2005-10-13 Wallace Gregory K Video coding system providing separate coding chains for dynamically selected small-size or full-size playback
JP2009502055A (ja) * 2005-07-15 2009-01-22 ソニー株式会社 変更ファイルフォーマット、ファイルサーバ、データ処理システム及びデータ抽出方法
CN1913631A (zh) * 2006-08-18 2007-02-14 哈尔滨工业大学 基于db2小波的可伸缩性视频编解码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王海威，倪宏，朱明，孙鹏，朱小勇: "一种嵌入式系统多媒体文件快速传输协议", 《小型微型计算机系统》, vol. 32, no. 2, 5 March 2011 (2011-03-05) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696756A (zh) * 2012-09-28 2018-10-23 夏普株式会社 图像编码装置
CN108696756B (zh) * 2012-09-28 2020-12-11 夏普株式会社 图像编码装置
CN105210370A (zh) * 2013-07-10 2015-12-30 夏普株式会社 图像解码装置以及图像编码装置
CN106165422A (zh) * 2013-10-22 2016-11-23 华为技术有限公司 图像解码装置及图像解码方法
US10666978B2 (en) 2013-10-22 2020-05-26 Huawei Technologies Co., Ltd. Image decoding apparatus, image decoding method
CN109168023A (zh) * 2018-08-06 2019-01-08 南京邮电大学 一种可伸缩视频流的缓存方法

Also Published As

Publication number Publication date
CN102547273B (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
JP6411069B2 (ja) 触覚データを符号化及びストリーミングする方法及びシステム
JP5678068B2 (ja) スキップモードによって映像を符号化、復号化する方法及びその装置
US8359370B2 (en) System and method for managing digital media content
CN103309933B (zh) 用于媒体数据传输的方法和设备
CN100556114C (zh) 一种媒体分片存储的方法
CN103139559B (zh) 多媒体信号传输方法和装置
CN103814562A (zh) 用信号表示片段的特性以用于媒体数据的网络流式传输
CN103181186A (zh) 提供串流内容的装置及方法
CN102547273B (zh) 一种基于mkv的支持可伸缩编码的多媒体文件构造方法
CN102224733B (zh) 用于处理视频文件的系统和方法
CN102665103A (zh) 一种适用于流媒体服务的音频视频封装方法
GB2445118A (en) Hierarchical data storage
CN104780422A (zh) 流媒体播放方法及流媒体播放器
CN104575547A (zh) 多媒体文件制作方法、播放方法及系统
US20120207454A1 (en) Streaming service and playback device using svc server
CN102118539A (zh) 一种多媒体播放终端及其文件拖动播放方法和装置
CN101404764A (zh) 一种音视频解码过程中的内存管理方法
CN101802803B (zh) 用于产生和再现基于媒体对象的元数据的方法和装置
US20120023148A1 (en) Applying Transcodings In A Determined Order To Produce Output Files From A Source File
CN104184980A (zh) 一种数据处理方法及电子设备
CN103269450A (zh) 一种面向Android智能电视的多媒体系统
JP4818373B2 (ja) Ｓｖｃファイルのデータ共有方法およびそのファイル
CN104023260A (zh) 硬件解码实现方法、装置及播放器
CN101645967B (zh) 一种以自定义格式处理多媒体数据的移动终端及实现方法
CN105337617A (zh) 一种fsn文件高效压缩方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140507

Termination date: 20200324