CN103929656B - 多媒体数据流格式、元数据产生器、编码及解码方法与系统 - Google Patents

多媒体数据流格式、元数据产生器、编码及解码方法与系统 Download PDF

Info

Publication number
CN103929656B
CN103929656B CN201310014249.3A CN201310014249A CN103929656B CN 103929656 B CN103929656 B CN 103929656B CN 201310014249 A CN201310014249 A CN 201310014249A CN 103929656 B CN103929656 B CN 103929656B
Authority
CN
China
Prior art keywords
multimedia
frame
locating
locating frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310014249.3A
Other languages
English (en)
Other versions
CN103929656A (zh
Inventor
王颂文
童怡新
林品廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MStar Software R&D Shenzhen Ltd
MStar Semiconductor Inc Taiwan
Original Assignee
MStar Software R&D Shenzhen Ltd
MStar Semiconductor Inc Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MStar Software R&D Shenzhen Ltd, MStar Semiconductor Inc Taiwan filed Critical MStar Software R&D Shenzhen Ltd
Priority to CN201310014249.3A priority Critical patent/CN103929656B/zh
Publication of CN103929656A publication Critical patent/CN103929656A/zh
Application granted granted Critical
Publication of CN103929656B publication Critical patent/CN103929656B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及多媒体数据流格式、元数据产生器、编码及解码方法与系统。藉由在多媒体数据流中决定多媒体定位帧,根据多媒体定位帧的位置信息与跟随的多媒体帧个数产生元数据,并在多媒体定位帧的使用者数据区中移入跟随的多个多媒体帧,可降低元数据所储存的数据大小,并使得使用者欲指定观看特定时间点的多媒体帧时,无需等待该特定时间点之前下载完所有多媒体帧方可解码并播放所指定的多媒体帧。

Description

多媒体数据流格式、元数据产生器、编码及解码方法与系统
技术领域
本发明揭示一多媒体数据流格式、一元数据产生器、一编码方法、一编码系统、一解码方法、及一解码系统,尤指一多媒体数据流格式、应用该多媒体数据流格式的一元数据产生器、应用该元数据产生器的一编码方法与一编码系统、对应该编码方法与该编码系统来进行解码的一解码方法与一解码系统。
背景技术
现今在线上观看以顺序流式传输(Progressive Streaming)(例如Youtube)实施的多媒体档案时,使用者需要一定的等待时间等待系统先下载完整的多媒体档案后,才能开始观赏该多媒体档案;然而在多媒体档案大小越来越庞大的现况下,使用者的等待时间越来越长,将会影响线上观看的便利性与即时性。
多媒体数据流的原始态样包含有一音频位元流(Audio Bitstream)与一视频位元流(Video Bitstream),其中该音频位元流与该视频位元流通常是以压缩编码的方式来处理,目的在于降低传输数据量,以免占据传输频宽而减低传输速率。为使音频位元流与视频位元流解码后,能够同步播放对应的的音频及视频,音频位元流与视频位元流会被送入一多工器,藉由多工器的处理将相对应的音频与视频在多媒体数据流中置放于邻近的位置并结合为一数据格式。该数据格式最后会经过反多工器以及解压缩的处理来得到稍后被播放的音频与视频。
请参阅图1,其为一利用顺序流式传输的多媒体数据流MDS0的数据格式示意图。如图2所示,多媒体数据流MDS0中包含音频位元流与视频位元流经多工器处理过产生的多个多媒体帧F0、F1、…、F19、F20、F21、F22、…、FN,其中该些多媒体帧包含有音频帧与视频帧交错排列的多个音频帧(Audio Frame)A0、A1、…、A19、A20、A21、A22、…AN(以下称该些音频帧)及多个视频帧(Video Frame)V0、V1、…、V19、V20、V21、V22、…、VN(以下称该些视频帧),且N为一正整数。具有相同编号数字的音频帧与视频帧在多媒体数据流MDS0中会被视为同一多媒体帧并在同一时间点播放。举例来说,多媒体帧F19会包含成对的音频帧A19与视频帧V19,且音频帧A19与视频帧V19在多媒体数据流MDS0中会在同一时间点播放;同理,多媒体帧F20会包含成对的音频帧A20与视频帧V20,且音频帧A20与视频帧V20在多媒体数据流MDS0中会在同一时间点播放。
一般的后端解多工器在对多媒体数据流中包含的音频帧与视频帧进行解码时,是藉由所有多媒体的相同大小来便利搜寻音频帧与视频帧的方式,只要知道多媒体数据流的起点以及欲搜寻的多媒体帧在多媒体数据流中所有多媒体帧被安排的顺序,就可藉由循序存取的方式搜寻所需的多媒体帧。然而,由于多媒体数据流MDS0中该些音频帧与该些视频帧是以压缩编码的方式产生,会造成每一音频帧彼此之间的数据大小相异,并造成每一视频帧间的数据大小亦相异,在多媒体数据流MDS0中搜寻多媒体帧时,就无法同样的以知道多媒体数据流MDS0的起始点以及欲搜寻的多媒体帧在多媒体数据流MDS0中顺序的方式来进行循序存取式的搜寻了。为了克服这种难以搜寻的状况,多媒体数据流MDS0中包含的一元数据(Metadata)MDT0被设计用来记录该些音频帧与该些视频帧在多媒体数据流MDS0中以交错排列分布的位置信息,以使后端解多工器在对音频帧与视频帧进行解码时可迅速的检索,而不受到音频帧或视频帧间数据大小相异的影响而无法检索。然而,这样做的缺点是当多媒体数据流MDS0所包含的音频帧与视频帧数量增加时,元数据MDT0的数据大小也会成等比例的增加,而占去多媒体数据流MDS0相当的数据量。
当以图1所示多媒体数据流MDS0的数据格式来下载并播放该些音频帧与该些视频帧时,假设使用者在多媒体数据流MDS0中欲观看的时间区间对应于多媒体帧F19至多媒体帧F21之间的音频与视频,基于上述所介绍的顺序流式传输机制以及上述多媒体数据流的循序存取搜寻模式可知,需要先行在元数据MDT0逐项存取由多媒体帧F0至F21的所有多媒体帧位置信息,并等待该段区域的所有多媒体帧皆下载完毕以后,使用者方可存取并观看由多媒体帧F19至F21之间对应时间区间的音频与视频;在该过程中,对元数据MDT0进行的逐项存取次数与时间被花费在不需要的数据区间,且等待该些多媒体帧完全下载完毕相当耗时,若使用者欲存取并播放多媒体数据流MDS0中相当靠近结尾的位置,且多媒体数据流MDS0的数据量很大时(亦即N的值非常大),根据上述的循序逐项存取方式可知,使用者为了存取并播放该段视频所付出的等待时间代价也会极为不划算。
发明内容
为了解决上述先前技术中需要从头开始对多媒体数据流进行检索与下载造成处理数据量过大且等待时间过长的问题,本发明揭示了一多媒体数据流格式、一元数据产生器、一编码方法、一编码系统、一解码方法及一解码系统。
该多媒体数据流格式包含多个多媒体定位帧及一元数据(Metadata)。该多个多媒体定位帧中每一多媒体定位帧包含有一使用者数据区。该使用者数据区储存有该每一多媒体定位帧在一多媒体数据流中被跟随的多个多媒体帧。该元数据储存有该多个多媒体定位帧在该多媒体数据流中的位置信息及跟随该每一多媒体定位帧的多媒体帧数目。该多媒体数据流为一顺序流式传输(Progressive Streaming)数据流。
该元数据产生器包含一暂存存储器及一多媒体数据流处理器。该多媒体数据流处理器用来选取一多媒体数据流中的多个多媒体帧做为多个多媒体定位帧、将该多个多媒体定位帧的任二相邻多媒体定位帧中一第一多媒体定位帧及一第二多媒体定位帧之间的所有多媒体帧透过该暂存存储器移入该第一多媒体帧的一使用者数据区、以及根据该第一多媒体定位帧在该多媒体数据流中的位置信息与该第一多媒体定位帧及该第二多媒体定位帧之间的该所有多媒体帧的数目来产生一元数据。该第一多媒体定位帧在该多媒体数据流中的播放时间点早于该第二多媒体定位帧。该多媒体数据流为一顺序流式传输数据流。
该编码方法包含选取一多媒体数据流中的多个多媒体帧做为多个多媒体定位帧;将该多个多媒体定位帧的任二相邻多媒体定位帧中一第一多媒体定位帧及一第二多媒体定位帧之间的所有多媒体帧移入该第一多媒体帧的一使用者数据区;及根据该第一多媒体定位帧在该多媒体数据流中的位置信息与该第一多媒体定位帧及该第二多媒体定位帧之间的该所有多媒体帧的数目来产生一元数据。该第一多媒体定位帧在该多媒体数据流中的播放时间点早于该第二多媒体定位帧。该多媒体数据流为一顺序流式传输数据流。
该编码系统包含一多工器及一元数据产生器。该多工器用来将一音频位元串与一视频位元串进行位元交替(Bit Interleaving)而产生一多媒体数据流。该元数据产生器用来选取该多媒体数据流中的多个多媒体帧做为多个多媒体定位帧、将该多个多媒体定位帧的任二相邻多媒体定位帧中一第一多媒体定位帧及一第二多媒体定位帧中间包含的所有多媒体帧移入该第一多媒体帧的一第一使用者数据区以及根据该第一多媒体定位帧在该多媒体数据流中的位置信息与该第一多媒体定位帧及该第二多媒体定位帧之间的该所有多媒体帧的数目来产生一元数据。该第一多媒体定位帧在该多媒体数据流中的播放时间点早于该第二多媒体定位帧。该多媒体数据流为一顺序流式传输数据流。
该解码方法包含以一使用者指令所指定的位置信息作为索引查询一元数据,该元数据包含一多媒体编码数据流中的一第一多媒体定位帧的位置信息及该第一多媒体定位帧与相邻且时间点晚于该第一多媒体定位帧的一第二多媒体定位帧之间所有多媒体帧的数目;及根据该位置信息及该第一多媒体定位帧及该第二多媒体定位帧之间所有多媒体帧的数目,由该第一多媒体定位帧的一使用者数据区撷取出该第一多媒体定位帧与该第二多媒体定位帧之间所有多媒体帧。该多媒体数据流为一顺序流式传输数据流。
该解码系统包含一多媒体数据流解码器及一解多工器。该多媒体数据流解码器用来根据一使用者指令所指定的位置信息作为索引查询一元数据。该元数据包含一多媒体编码数据流中的一第一多媒体定位帧的位置信息及该第一多媒体定位帧与相邻且时间点晚于该第一多媒体定位帧的一第二多媒体定位帧之间所有多媒体帧的数目。该多媒体数据流解码器亦用来根据该位置信息及该第一多媒体定位帧与该第二多媒体定位帧之间所有多媒体帧的数目,由该第一多媒体定位帧的一使用者数据区撷取出该第一多媒体定位帧与该第二多媒体定位帧之间的所有多媒体帧。该解多工器用来对该第一多媒体定位帧及所撷取出该第一多媒体定位帧与该第二多媒体定位帧之间的所有多媒体帧进行位元反交替(BitDeinterleaving),以产生一音频解码位元串与一视频解码位元串。
附图说明
图1为一种一般配合顺序流式传输所实施的多媒体数据流的数据格式简略示意图。
图2为根据本发明的一实施例所揭示的一多媒体数据流播放系统的功能方块图。
图3为根据本发明的一实施例所揭示图2所示的元数据产生器的功能方块图。
图4为根据本发明的实施例所揭示配合顺序流式传输所实施多媒体数据流的数据格式简略示意图。
图5为根据本发明的一实施例及图4所示的数据格式,在每一多媒体定位帧的使用者数据区中再另外储存查询表来检索该每一多媒体定位帧所储存的多媒体帧的示意图。
图6为根据本发明的一实施例所揭示的编码方法的流程图。
图7为根据本发明的一实施例所揭示的解码方法的流程图。
主要元件符号说明
MDS0、MDS1 多媒体数据流
MDT0、MDT1 元数据
F0、F1、F19、F20、F21、F22、F23、 多媒体帧
F24、F25、FN
A0、A1、A19、A20、A21、A22、A23、 音频帧
A24、A25、AN
V0、V1、V19、V20、V21、V22、V23、 视频帧
V24、V25、VN
ABS 音频位元流
VBS 视频位元流
ADBS 音频解码位元流
VDBS 视频解码位元流
100 多媒体数据流播放系统
102 编码系统
104 解码系统
110 多工器
120 元数据产生器
122 多媒体数据流处理器
124 暂存存储器
140 多媒体数据流解码器
150 解多工器
602、604、606、702、704 步骤
UDR0、UDR19、UDR22 使用者数据区
LF0、LF19、LF22 多媒体定位帧
LINFO、LINFO_0、LINFO_19、 查询表
LINFO_22
具体实施方式
为了解决上述先前技术中处理数据量过大且等待时间过长的问题,本发明采用的作法是在多媒体数据流中指定多个多媒体定位帧,并将任二多媒体定位帧间的所有多媒体帧改置于较前的多媒体定位帧中包含的使用者数据区(User Data Region),如此一来,元数据只需要储存各多媒体定位帧的位置信息以及其使用者数据区所放置的多媒体帧数目,便可快速的透过元数据检索到欲下载及播放的多媒体定位帧及其包含的多个多媒体帧,而解决了需要另行等待位于该多媒体定位帧之前的所有多媒体帧下载完毕后方可播放的缺点,并达成快速播放被指定的多媒体帧的功效。
请参阅图2,其为根据本发明的一实施例所揭示的一多媒体数据流播放系统100的功能方块图。如图2所示,多媒体数据流播放系统100包含一编码系统102与一解码系统104。编码系统102用来将一音频位元流ABS与一视频位元流VBS加以编码以产生一多媒体数据编码流MDS1,并将多媒体数据编码流MDS1透过网络等远距传输方式传输至解码系统104。解码系统104在接收到多媒体数据编码流MDS1后将其根据一使用者指令所指定的时间点,将所需的多媒体帧加以解码而产生音频解码位元流ADBS与视频解码位元流VDBS,以供播放之用。
编码系统102包含一多工器110及一元数据产生器120。多工器110用来将音频位元串ABS与视频位元串进行位元交替(Bit Interleaving)以产生如图1所示的多个多媒体帧F0、F1、…、F19、F20、F21、F22、F23、F24、F25、…、FN(下称该些多媒体帧),以使音频位元串ABS与视频位元串VBS中时间点相近的音频与视频可以被置放在相邻的位置以进行同步播放。
元数据产生器120用来选取该些多媒体帧中的部分多媒体帧作为多个多媒体定位帧,并根据该些多媒体定位帧与任二多媒体定位帧之间的信息来产生一元数据MDT1,产生元数据MDT1的详细过程将于之后详述。请参阅图3,其为根据本发明的一实施例所揭示元数据产生器120的功能方块图;并请同时参阅图4,其为根据本发明的一实施例所揭示配合顺序流式传输所实施多媒体数据流MDS1的数据格式简略示意图。
如图3所示,元数据产生器120包含有一多媒体数据流处理器122与一暂存存储器124。多媒体数据流处理器122与暂存存储器124用来产生图4所示的元数据MDT1,并根据元数据MDT1的规划,将任二多媒体定位帧之间的所有多媒体帧移入时间点较早的多媒体定位帧中,以实质产生各多媒体定位帧,并据此产生一多媒体编码数据流MDS1。
产生多媒体编码数据流MDS1的过程详述如下,其中多媒体帧F0、F19、F22在此假设为元数据产生器120将要指定的多媒体定位帧中包含的基础帧。当元数据产生器120由多工器110接收到该些多媒体帧时,会由先决定出多个多媒体帧(至少包含多媒体帧F0、F19、F22)作为多媒体定位帧的基础帧,再根据该些多媒体定位帧在接下来被产生的多媒体编码数据流MDS1中的位置信息(例如多媒体帧的编号或位址)及任二多媒体定位帧之间的多媒体帧个数来产生元数据MDT1。
如图4中所图示元数据MDT1所储存的一查询表LINFO的多笔记录所示,每一笔记录都会包含单一多媒体定位帧的一位址与该多媒体定位帧将要包含的多媒体帧的数目。举例来说,多媒体帧F19被指定为一多媒体定位帧LF19的基础帧,多媒体帧F22被指定为一多媒体定位帧LF22的基础帧,则多媒体定位帧LF19会包含多媒体帧F20与F21,亦即多媒体帧F19与多媒体帧F21之间的所有多媒体帧;因此,在元数据MDT1储存的查询表LINFO中所记录有关于多媒体定位帧LF19的记录会包含多媒体定位帧LF19的位址&(A19,V19)以及其包含的多媒体帧个数共二个。同理,随着多媒体帧F0被指定为一多媒体定位帧LF0的基础帧,元数据MDT1的查询表LINFO中会记录有多媒体定位帧LF0的位址&(A0,V0)及其包含的多媒体帧个数共三个(在此假定多媒体定位帧LF0将会包含多媒体帧F1、F2、F3);而随着多媒体帧F22被指定为一多媒体定位帧LF22的基础帧,元数据MDT1会包含多媒体定位帧LF22的位址&(A22,V22)及其包含的多媒体帧个数信息(在此假定多媒体定位帧LF22将会包含三个多媒体帧F23、F24、F25,故多媒体定位帧LF22的多媒体帧个数信息的栏位值为三个)。
在上述产生元数据MDT1的过程中,多媒体数据流处理器122用来执行各多媒体定位帧的选取、位置信息以及包含多媒体帧的个数的决定,而暂存存储器124用来当作上述执行的缓冲之用。然而在本发明的其他实施例中,元数据产生器120亦可为单一元件并能够执行多媒体数据流处理器122与暂存存储器124的功能,而不受图3所示的元件组成限制。
在元数据产生器120产生了元数据MDT1之后,元数据产生器120会将多媒体帧F0、…、FN及元数据MDT1一起传输至多媒体数据编码器130。多媒体数据编码器130会根据元数据MDT1的规划,将多媒体帧移入对应的多媒体定位帧的基础帧中,而在此实质产生多媒体定位帧。举例来说,多媒体数据编码器130会根据元数据MDT1的查询表LINFO中对应于多媒体定位帧LF19的规划记录(&(A19,V19),2),将多媒体帧F20与F21移入多媒体帧F19的一使用者数据区UDR19,以实质产生多媒体定位帧LF19。同理,多媒体数据编码器130会根据元数据MDT1的查询表LINFO中对应于多媒体定位帧LF0的规划记录(&(A0,V0),3),将多媒体帧F1、F2、F3移入多媒体帧F0的一使用者数据区UDR0,以实质产生多媒体定位帧LF0;而多媒体数据编码器130亦会根据元数据MDT1的查询表LINFO中对应于多媒体定位帧LF22的规划记录(&(A22,V22),3),将多媒体帧F23、F24、F25移入多媒体帧F22的一使用者数据区UDR22,以实质产生多媒体定位帧LF22。使用者数据区为一般多媒体帧用来储存琐碎或非重要信息的区域,故可用来储存音频帧与视频帧。多媒体数据编码器130在完成上述所有移动多媒体帧后,产生多媒体编码数据流MDS1而完成了上述的编码程序。如图4所示,多媒体编码数据流MDS1将会包含元数据MDT1及多个多媒体定位帧(至少包含多媒体定位帧LF0、LF19、LF22)。
对比图4所示的多媒体编码数据流MDS1与图1所示的多媒体数据流MDS0可知,两者在多媒体帧部分的大小是实质相等的,因为原来的多媒体帧只是被移入了对应的多媒体定位帧,但是元数据MDT1的大小将会小于元数据MDT0的大小。因为元数据MDT1仅保存了个数相等于多媒体定位帧数目的记录,而多媒体定位帧的数目又小于所有多媒体帧的数目。在多媒体定位帧的数目远小于多媒体帧的数目的情况下,元数据MDT1的大小会远小于元数据MDT0的大小,而使得多媒体编码数据流MDS1的大小也会明显小于多媒体数据流MDS0。
请再参照图2,解码系统104包含一多媒体数据流解码器140及一解多工器150。多媒体数据流解码器140根据使用者指令所指定的片段,对从编码系统102传来的多媒体编码数据流MDS1进行解码,以撷取指定片段中多媒体定位帧原本储存的多媒体帧。解多工器150会将多媒体定位帧与被多媒体数据流解码器140所撷取出的多媒体帧一起进行位元反交替,以产生音频解码位元串与视频解码位元串来进行播放。
多媒体数据流解码器140的详细运作方式将会配合图4所示的数据格式进行解说。在此假设使用者想要观看时间点由多媒体帧F19开始到多媒体帧F21结束的所有音频与视频,并对解码系统104发出了对应的使用者指令。多媒体数据流解码器140在接收到多媒体编码数据流以后,首先会读取元数据MDT1,并根据使用者指令的指示由查询表LINFO检索到多媒体定位帧LF19所在的位址&(A19,V19)以及其包含的多媒体帧个数共二个;接着多媒体数据流解码器140会根据检索到的位址及多媒体帧个数,下载多媒体定位帧LF19,并由多媒体定位帧LF19的使用者数据区UDR19中撷取出其储存共二个的多媒体帧F20、F21。
解多工器150会将多媒体定位帧LF19及多媒体帧F20、F21进行位元反交替处理,以解码出对应的音频解码位元串及视频解码位元串,并交由后端其他具有播放功能的模组依多媒体定位帧LF19、多媒体帧F20、多媒体帧F21的顺序来同步播放音频与视频,以实现使用者指令的要求。相较于先前技术,解码系统104所具备的优点在于使用者在指定播放特定时间点的音频与视频时,只需要下载并检索到对应的多媒体定位帧,并将该多媒体定位帧储存的所有多媒体帧由使用者数据区取出,即可进行播放,而不需等待多媒体数据流由起始点至指定位置的多媒体帧下载完毕方可开始进行播放;换言之,本发明在解码所需的下载数据量小于先前技术,在播放上所需的检索次数与所需时间也少于先前技术,在多媒体数据流的数据量相当庞大或当使用者指定了多媒体数据流中较晚时间点的音频与视频播放时,本发明相较于先前技术的优点将更为明显。
另外,虽然在上述的例子中,仅以检索单一多媒体定位帧为例,然而在本发明的其他实施例中,使用者亦可指定较大范围牵涉到二个以上连续多媒体定位帧的播放。举例来说,使用者指令可指示播放多媒体帧F19至F25的播放,而使得解码系统104可在元数据MDT1的查询表LINFO中检索到多媒体定位帧LF19与LF22的位址与各自使用者数据区所储存的多媒体帧个数等信息,并在多媒体定位帧LF19与LF22两者皆下载完毕以后,随即进行多媒体帧F19至F25的撷取与对应音频/视频位元流的产生及播放。
在本发明的一实施例中,4图所示的数据格式可另外在每一多媒体定位帧的使用者数据区中另外再储存一份查询表,以更精确的检索多媒体定位帧的使用者数据区所储存的多媒体帧。请参阅图5,其为根据本发明的一实施例及图4所示的数据格式,在每一多媒体定位帧的使用者数据区中再另外储存查询表来检索该每一多媒体定位帧所储存的多媒体帧的示意图。
如图5所示,元数据产生器120在产生元数据MDT1的同时,可再为每一预定要产生的多媒体定位帧再另外产生一查询表(等同于另外产生元数据)来储存每一多媒体帧在该多媒体定位帧中的位址与所占位元数量,并在实质产生多媒体定位帧的同时将上述另外产生的查询表与多媒体帧一并置入使用者数据区中。举例来说,元数据产生器120可为预定要产生的多媒体定位帧LF0另外产生一查询表LINFO_0、并为预定要产生的多媒体定位帧LF19另外产生一查询表LINFO_19;元数据产生器120可另在实质产生多媒体定位帧LF0的同时将查询表LINFO_0储存于使用者数据区UDR0中,并在实质产生多媒体定位帧LF19的同时将查询表LINFO_19储存于使用者数据区UDR19中。
而当多媒体数据流解码器140根据使用者指令进行多媒体帧的撷取时,使用者指令可更进一步的指定多媒体定位帧中的特定多媒体帧当作欲播放音频与视频的范围。举例来说,假设使用者指令指定播放多媒体帧F20至F24的音频与视频,则多媒体数据流解码器140在查询元数据MDT1所储存的查询表LINFO时,除了会检索出多媒体定位帧LF19与LF22的位址与储存多媒体帧个数以外,也会在完成多媒体定位帧LF19与LF22的下载以后,更进一步检索查询表LINFO_19与LINFO_22,以取得多媒体帧F20、F21、F23、F24的位址与位元大小,最后再依序将多媒体帧F20、多媒体帧F21、多媒体定位帧F22、多媒体帧F23、多媒体帧F24进行撷取、位元反交替、及播放。这样作的好处是使用者可以更为精细的指定其欲播放的音频与视频时间点,而不全然受到多媒体定位帧的时间点设定的限制,但是又不失第4图所示数据格式带来的好处。
在本发明的某些实施例中,多媒体数据流所包含的多媒体帧或多媒体定位帧的格式为MP4(MPEG-4Part14)格式、MKV(Matroska Video File)格式、或音频格式。以下以当多媒体数据流采用MP4格式的帧时来简单列举本发明的一实施例。
在MP4格式中,所有的数据(包含多媒体数据帧与元数据)都是以数据单元(Atom)为单位来包装,其中多媒体数据帧都是由其类型与数据大小来定义并存放于其元数据(在MP4格式中被称作为moov结构)中,且元数据中所存放的类型与数据大小都是固定以四位元组来记录。MP4格式的多媒体数据帧被称为容器(Chunk),亦即图4或图5所示的多媒体帧F0、F19、F22等。
在MP4格式的元数据中,包含一名为STSZ的数据单元,用来记录每一多媒体帧的大小;本发明将数据单元STSZ重新设计成如图4所示的查询表LINFO或图5所示的查询表LINFO_0、LINFO_19、LINFO_22等,使数据单元STSZ保存的位置信息仅须包含MP4格式的多媒体数据流中多媒体定位帧的位置信息,而不需要记录所有多媒体帧的位置信息,大量减少了解码时的数据搜寻次数及对应的下载时间。
另外,本发明会如图4或图5所示,将原本MP4格式的多媒体数据流中的多媒体帧移入对应的多媒体定位帧的使用者数据区中,因此在多媒体数据流解码器140将多媒体帧由使用者数据区撷取出来以进行解码时不会制造额外的解码负担或麻烦。反观若将本发明实施于H.264/AVC格式的多媒体数据流,虽然可将多媒体帧储存于补充增强信息(Supplemental Enhancement Information,SEI)/网络抽象层(Network AbstractionLayer,NAL)类型信息中,但是因为多媒体封包需要透过编码来进行储存,而会造成位元流长度改变,必须重新定位这些被储存的多媒体封包的相对位址,非常的耗时也会带来庞大的额外计算量。
MP4格式的多媒体数据流在本发明的解码系统104处理的实施例可以图5为例解说。多媒体数据流解码器140在收到使用者指令并判别出其指定的时间点位置后,会先由元数据中找出对应或接近的多媒体定位帧位置,再由被下载完毕的多媒体定位帧所包含的使用者数据区中更进一步的解码出所需的多媒体帧并加以播放。
请参阅表一,其为当上述本发明的方法实施于MP4格式的多媒体数据流时,经过实验所得到的具体数据;其中表一是以多媒体位元率40Kbps及基于改进数据率GSM服务网络(Enhanced Data rates for GSM Evolution,EDGE)所使用的位元传输率80Kbps来进行实验所得到的。表一列载如下:
请参阅表二,其为其为当上述本发明的方法实施于MP4格式的多媒体数据流时,经过实验所得到的具体数据;其中表二是以多媒体位元率20Kbps及基于改进数据率GSM服务网络所使用的位元传输率30Kbps来进行实验所得到的。表二列载如下:
观察表一与表二的数据可以很明显的发现,实施本发明的方法可以得到元数据80%以上的数据量降低与75%以上的下载等待时间减少。
在本发明的一实施例中,多媒体定位帧可以多媒体数据流中的关键帧(Key frame或I-frame)来实施,且移入多媒体定位帧的使用者数据区的多媒体帧可以多媒体数据流中的预测式帧(Predictive frame或P-frame)实施。用上述方法进行编码,并在随后进行多媒体编码数据流的解码时,使用者指令可直接指定关键帧的时间点作为欲解码并播放的时间点,并对关键帧之间的预测式帧进行解码,以便于关键帧与预测式帧的播放。
请参阅图6,其为根据本发明的一实施例所揭示的编码方法的流程图。该编码方法包含步骤如下:
步骤602:选取一多媒体数据流中的多个多媒体帧做为多个多媒体定位帧;
步骤604:将该多个多媒体定位帧的任二相邻多媒体定位帧中一第一多媒体定位帧及一第二多媒体定位帧之间的所有多媒体帧移入该第一多媒体帧的一使用者数据区;及
步骤606:根据该第一多媒体定位帧在该多媒体数据流中的位置信息与该第一多媒体定位帧及该第二多媒体定位帧之间的该所有多媒体帧的数目来产生一元数据。
请参阅图7,其为根据本发明的一实施例所揭示的解码方法的流程图。该解码方法包含步骤如下:
步骤702:以一使用者指令所指定的位置信息作为索引查询一元数据,该元数据包含一多媒体编码数据流中的一第一多媒体定位帧的位置信息及该第一多媒体定位帧与相邻且时间点晚于该第一多媒体定位帧的一第二多媒体定位帧之间所有多媒体帧的数目;及
步骤704:根据该位置信息及该第一多媒体定位帧及该第二多媒体定位帧之间所有多媒体帧的数目,由该第一多媒体定位帧的一使用者数据区撷取出该第一多媒体定位帧与该第二多媒体定位帧之间所有多媒体帧。
图6所示的编码方法与图7所示的解码方法为上述第2-5图所述实施方式的主要技术特征。然而,将图6所示的编码方法与图7所示的解码方法以合理的排列组合或是加诸上述所提及过的各种条件所衍生而成的各种实施例,仍应视为本发明的实施例。
藉由本发明所揭示的多媒体数据流格式、元数据产生器、编码方法、编码系统、解码方法、及解码系统,可使得多媒体数据流中的元数据数据大小获得明显的缩减,并在使用者指令指定了特定时间点期间欲下载并播放的情况下,减少等待下载完毕的等待时间以及多媒体帧的检索次数。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (9)

1.一种元数据产生器,包含:
一暂存存储器;及
一多媒体数据流处理器,用来选取一多媒体数据流中的多个多媒体帧做为多个多媒体定位帧,将该多个多媒体定位帧的任二相邻多媒体定位帧中一第一多媒体定位帧及一第二多媒体定位帧之间的所有多媒体帧透过该暂存存储器移入该第一多媒体帧的一使用者数据区,以及根据该第一多媒体定位帧在该多媒体数据流中的位置信息与该第一多媒体定位帧及该第二多媒体定位帧之间的该所有多媒体帧的数目来产生一元数据;
其中该第一多媒体定位帧在该多媒体数据流中的播放时间点早于该第二多媒体定位帧;及该多媒体数据流为一顺序流式传输数据流;该使用者数据区另储存有跟随每一该多媒体定位帧的该多个多媒体帧的位置信息与数据大小;
其中该多个多媒体帧的位置由该元数据及该使用者数据区所决定,为两层位置索引结构。
2.如权利要求1所述的元数据产生器,其特征在于,当该元数据被读取,且该第一多媒体定位帧透过该元数据所储存的位置信息而被索引时,该使用者数据区所储存的该所有多媒体帧会被读取,且该第一多媒体定位帧会以被该所有多媒体帧跟随的方式与该多个多媒体帧一起被播放。
3.一种编码方法,包含:
选取一多媒体数据流中的多个多媒体帧做为多个多媒体定位帧;
将该多个多媒体定位帧的任二相邻多媒体定位帧中一第一多媒体定位帧及一第二多媒体定位帧之间的所有多媒体帧移入该第一多媒体帧的一使用者数据区;及
根据该第一多媒体定位帧在该多媒体数据流中的位置信息与该第一多媒体定位帧及该第二多媒体定位帧之间的该所有多媒体帧的数目来产生一元数据;
其中该第一多媒体定位帧在该多媒体数据流中的播放时间点早于该第二多媒体定位帧;
其中该多媒体数据流为一顺序流式传输数据流;
其中将跟随每一该多媒体定位帧的该多个多媒体帧的位置信息与数据大小储存于该使用者数据区;及
其中该多个多媒体帧的位置由该元数据及该使用者数据区所决定,为两层位置索引结构。
4.一种编码系统,包含:
一多工器,用来将一音频位元串与一视频位元串进行位元交替而产生一多媒体数据流;及
一元数据产生器,用来选取该多媒体数据流中的多个多媒体帧做为多个多媒体定位帧,将该多个多媒体定位帧的任二相邻多媒体定位帧中一第一多媒体定位帧及一第二多媒体定位帧中间包含的所有多媒体帧移入该第一多媒体帧的一第一使用者数据区,以及根据该第一多媒体定位帧在该多媒体数据流中的位置信息与该第一多媒体定位帧及该第二多媒体定位帧之间的该所有多媒体帧的数目来产生一元数据;及
其中该第一多媒体定位帧在该多媒体数据流中的播放时间点早于该第二多媒体定位帧;及该多媒体数据流为一顺序流式传输数据流;该使用者数据区另储存有跟随每一该多媒体定位帧的该多个多媒体帧的位置信息与数据大小;
其中该多个多媒体帧的位置由该元数据及该使用者数据区所决定,为两层位置索引结构。
5.如权利要求4所述的编码系统,其特征在于,当该元数据被读取,且该第一多媒体定位帧透过该元数据所储存的位置信息而被索引时,该使用者数据区所储存的该所有多媒体帧会被读取,且该第一多媒体定位帧会以被该所有多媒体帧跟随的方式与该多个多媒体帧一起被播放。
6.一种解码方法,包含:
以一使用者指令所指定的一位置信息作为索引查询一元数据,该元数据包含一多媒体编码数据流中的一第一多媒体定位帧的位置信息及该第一多媒体定位帧与相邻且时间点晚于该第一多媒体定位帧的一第二多媒体定位帧之间所有多媒体帧的数目;及
根据该位置信息及该第一多媒体定位帧及该第二多媒体定位帧之间所有多媒体帧的数目,由该第一多媒体定位帧的一使用者数据区撷取出该第一多媒体定位帧与该第二多媒体定位帧之间所有多媒体帧;
其中该多媒体数据流为一顺序流式传输数据流;
根据该使用者指令,由该使用者数据区读取跟随每一该多媒体定位帧的多个多媒体帧的位置信息与数据大小,以撷取该第一多媒体定位帧与该第二多媒体定位帧之间的部分多媒体帧;
其中该多个多媒体帧的位置由该元数据及该使用者数据区所决定,为两层位置索引结构。
7.如权利要求6所述的解码方法,其特征在于,另包含:
依序播放该第一多媒体定位帧及该第一多媒体定位帧与该第二多媒体定位帧之间所有多媒体帧,其中该第一多媒体定位帧与该第二多媒体定位帧之间所有多媒体帧跟随于该第一多媒体定位帧之后。
8.一种解码系统,包含:
一多媒体数据流解码器,用来根据一使用者指令所指定的位置信息作为索引查询一元数据,其中该元数据包含一多媒体编码数据流中的一第一多媒体定位帧的位置信息及该第一多媒体定位帧与相邻且时间点晚于该第一多媒体定位帧的一第二多媒体定位帧之间所有多媒体帧的数目,该多媒体数据流解码器亦用来根据该位置信息及该第一多媒体定位帧与该第二多媒体定位帧之间所有多媒体帧的数目,由该第一多媒体定位帧的一使用者数据区撷取出该第一多媒体定位帧与该第二多媒体定位帧之间的所有多媒体帧;及
一解多工器,用来对该第一多媒体定位帧及所撷取出该第一多媒体定位帧与该第二多媒体定位帧之间的所有多媒体帧进行位元反交替,以产生一音频解码位元串与一视频解码位元串;
该多媒体数据流解码器另用来根据该使用者指令,由该使用者数据区读取跟随每一该多媒体定位帧的多个多媒体帧的位置信息与数据大小,以撷取该第一多媒体定位帧与该第二多媒体定位帧之间的部分多媒体帧;
其中该多个多媒体帧的位置由该元数据及该使用者数据区所决定,为两层位置索引结构。
9.如权利要求8所述的解码系统,其特征在于,该第一多媒体定位帧及该第一多媒体定位帧与该第二多媒体定位帧之间的所有多媒体帧会被依序播放,且该第一多媒体定位帧与该第二多媒体定位帧中间所有多媒体帧跟随于该第一多媒体定位帧之后。
CN201310014249.3A 2013-01-15 2013-01-15 多媒体数据流格式、元数据产生器、编码及解码方法与系统 Expired - Fee Related CN103929656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310014249.3A CN103929656B (zh) 2013-01-15 2013-01-15 多媒体数据流格式、元数据产生器、编码及解码方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310014249.3A CN103929656B (zh) 2013-01-15 2013-01-15 多媒体数据流格式、元数据产生器、编码及解码方法与系统

Publications (2)

Publication Number Publication Date
CN103929656A CN103929656A (zh) 2014-07-16
CN103929656B true CN103929656B (zh) 2017-10-20

Family

ID=51147714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310014249.3A Expired - Fee Related CN103929656B (zh) 2013-01-15 2013-01-15 多媒体数据流格式、元数据产生器、编码及解码方法与系统

Country Status (1)

Country Link
CN (1) CN103929656B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018323A (zh) * 2007-02-08 2007-08-15 华为技术有限公司 一种快进快退播放视频数据的方法和流媒体服务器
WO2011128574A1 (fr) * 2010-04-15 2011-10-20 France Telecom Reception d'un contenu numerique en mode truque
WO2012136880A1 (en) * 2011-04-06 2012-10-11 Nokia Corporation Method, apparatus and computer program product for managing media content
CN102811380A (zh) * 2011-06-03 2012-12-05 三星电子(中国)研发中心 多媒体文件中音视频数据的解复用方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340505B2 (en) * 2009-10-23 2012-12-25 Vivotek Inc. Method of processing audio-video data
US20110292997A1 (en) * 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018323A (zh) * 2007-02-08 2007-08-15 华为技术有限公司 一种快进快退播放视频数据的方法和流媒体服务器
WO2011128574A1 (fr) * 2010-04-15 2011-10-20 France Telecom Reception d'un contenu numerique en mode truque
WO2012136880A1 (en) * 2011-04-06 2012-10-11 Nokia Corporation Method, apparatus and computer program product for managing media content
CN102811380A (zh) * 2011-06-03 2012-12-05 三星电子(中国)研发中心 多媒体文件中音视频数据的解复用方法及装置

Also Published As

Publication number Publication date
CN103929656A (zh) 2014-07-16

Similar Documents

Publication Publication Date Title
CN102144390B (zh) 媒体发送系统和方法
CN104488272B (zh) 用于预测用于对视频进行编码或用于对视频进行解码的运动矢量的方法和设备
CN1076565C (zh) 数字hdtv的数字磁带记录器
CN104620578B (zh) 用于随机访问的多层视频编码的方法和设备以及用于随机访问的多层视频解码的方法和设备
CN1941913B (zh) 用于跳跃图像的方法和设备
JP2012531808A5 (zh)
JP2018182772A (ja) 再生装置、再生方法、及びプログラム
CN1791939A (zh) 记录和重放的方法以及视频记录和重放系统
CN100455004C (zh) 记录数字广播节目并基于时间重放该节目的方法及其设备
TR201802625T4 (tr) Hareketli resim kodlama usulü ve hareketli resim kod çözme usulü.
CN103875249B (zh) 用于多视点视频预测编码的方法和装置以及用于多视点视频预测解码的方法和装置
CN1760982A (zh) 再现装置及方法
US20070076799A1 (en) Determination of decoding information
CN1202699A (zh) 具有纠错能力的数字记录/回放装置及其方法
CN102215429A (zh) 一种用于移动电视的录制方法
CN106031175B (zh) 使用亮度补偿的层间视频编码方法及其装置、以及视频解码方法及其装置
CN104365100A (zh) 用于并行处理的视频编码方法和装置以及视频解码方法和装置
CN105308964A (zh) 用于随机访问的多层视频编码方法及其装置以及用于随机访问的多层视频解码方法及其装置
CN1832574A (zh) 信号处理设备和信号处理方法
CN103929656B (zh) 多媒体数据流格式、元数据产生器、编码及解码方法与系统
CN102065320B (zh) 用于处理关于ts码流的特技播放命令的方法和设备
TWI517682B (zh) 多媒體資料流格式、元數據產生器、編碼及解碼方法與系統
CN101340570B (zh) 一种流媒体播放时实现跳转的方法
KR101302869B1 (ko) 재생 장치 및 재생 방법
CN1925596A (zh) 个人用视频存储装置及其图像播放方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171020

Termination date: 20190115