CN100484229C - 逆多路复用装置及多路复用装置 - Google Patents

逆多路复用装置及多路复用装置 Download PDF

Info

Publication number
CN100484229C
CN100484229C CNB038093634A CN03809363A CN100484229C CN 100484229 C CN100484229 C CN 100484229C CN B038093634 A CNB038093634 A CN B038093634A CN 03809363 A CN03809363 A CN 03809363A CN 100484229 C CN100484229 C CN 100484229C
Authority
CN
China
Prior art keywords
mentioned
time span
information
data
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB038093634A
Other languages
English (en)
Other versions
CN1650624A (zh
Inventor
能登屋阳司
松井义德
远间正真
井村康治
大岳人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1650624A publication Critical patent/CN1650624A/zh
Application granted granted Critical
Publication of CN100484229C publication Critical patent/CN100484229C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

逆多路复用装置200具备:数据取得部210,用来取得MP4文件数据100;解码部213,在每一组moov110、mdat110和每一组moof130、mdat140中对通过数据取得部210所取得的MP4文件数据进行逆多路复用加以解码;内容时间长度确定部211a,用于根据由数据取得部210所取得的MP4文件数据100的moov110中含有的内容总时间长度信息,来确定内容总时间长度;再现部214,用来显示由内容时间长度确定部211a所确定的内容总时间长度。

Description

逆多路复用装置及多路复用装置
技术领域
本发明涉及一种对将图象数据和音乐数据等多媒体数据复用后的复用数据进行逆多路复用的逆多路复用装置,以及对多媒体数据进行多路复用的多路复用装置。
背景技术
近些年,作为对多媒体数据(动态图象、声音、文本或者静态图象等的内容)进行多路复用加以存储的文件格式,MP4已引起人们的关注。
MP4作为文件格式被采用,其应用范围正在不断扩大,该文件格式包括作为动态图象压缩编码方式的MPEG-4,和作为自然图象压缩编码方式的JPEG下一代版本JPEG2000。
原先,该MP4的文件格式由1个数据框和1个标题框构成,该数据框用来存储被多路复用后的内容,该标题框用来存储与其数据区域的内容相关的信息。
因此,从多媒体数据生成MP4文件数据的多路复用装置,是在取得多媒体数据进行编码及多路复用处理,并对所有多媒体数据的处理结束之后,制作其标题框,使MP4文件数据得以完成的。
采用这种多路复用装置,在多媒体数据信息量多的场合下,在多媒体数据的取得及对其的处理结束之后,为了制作该标题框,需要短暂的时间。
例如,就作为带录制功能的携带电话所构成的多路复用装置来说,在图象录制过程中有来电时,为了制作下述标题框而对来电产生时滞,该标题框含有与此前所录制的全部内容相关的信息。另外,在使来电优先的那种场合下,还产生标题框的制作在中途被中断并且不能完成MP4文件数据之类的问题。
因此,MP4的文件格式已有所改进,使多个由数据框和标题框构成的组排成列。
图1表示的是按上述方法改进后的以往MP4文件数据的基本文件格式的数据结构图。
该MP4文件数据900由基本区域900a和扩展区域900b构成。
基本区域900a包括:影像框(下面,称为「moov」)910,是上述标题框;媒体数据框(下面,称为「mdat」)920,是上述数据框。
moov910进一步由1个影像标题框(下面,称为「mvhd」)911、多个磁道框(下面,称为「trak」)912及1个影像范围框(下面,称为「mvex」)913构成。
扩展区域900b是使多个作为上述标题框的1个影像分段框(下面,称为「moof」)930和作为上述数据框的1个媒体数据框(下面,称为「mdat」)940的组排成列,而组合构成的。
moof930进一步由1个影像分段标题框(下面,称为「mfhd」)931和多个磁道分段框(下面,称为「traf」)932构成。
图2是表示moov910详细结构的数据结构图。
在mvhd911中包含对基本内容时间长度信息加以存储的影像时间长度字段911a,该基本内容时间长度信息表示基本区域900a中含有的内容再现所需要的时间长度(基本内容时间长度)。
在trak912中进一步包含磁道(track)标题框(下面,称为「tkhd」)914,在该tkhd914中包含对识别磁道所需的磁道识别信息进行存储的磁道ID字段916和磁道时间长度字段917。另外,在该磁道时间长度字段917中存储基本磁道时间长度信息,该基本磁道时间长度信息表示由上述磁道识别信息所示的基本区域900a中含有的磁道再现所需要的时间长度(基本磁道时间长度)。
在此,磁道(track)指的是内容的一种,意味着动态图象、声音和文本等。
在mvex913中包含数个磁道范围框(下面,称为「trex」)915,其数目与扩展区域900b中所含有的磁道数目相应。
在该trex915中包括:磁道ID字段918,用来存储对磁道加以识别所需的磁道识别信息;第1默认时间长度字段919,用来存储默认样本时间长度信息,该默认样本时间长度信息对于通过该磁道识别信息所确定的扩展区域900b磁道样本,表示由默认值设定出的时间长度。
在此,样本指的是MP4文件格式的最小单位,若磁道是动态图象则意味着1帧和画面,若磁道是声音则意味着例如20(msec)的声音信息。
图3是表示moof930详细结构的数据结构图。
在moof930中所包含的traf932内,进一步包含有1个磁道分段标题框(下面,称为「tfhd」)933和多个磁道分段运行框(下面,称为「trun」)936。
在该tfhd933中包含:磁道ID字段934,用来存储对磁道加以识别所需的磁道识别信息;第2默认时间长度字段935,用来存储默认样本时间长度信息,该默认样本时间长度信息是在通过该磁道识别信息所确定的扩展区域900b磁道样本之中,对于与存储有tfhd933的traf932相关联的样本,表示由默认值设定出的时间长度。在此,也可以省略第2默认时间长度字段935,这种场合下参照第1默认时间长度字段919。
在trun936中包含有对样本时间长度信息加以存储的样本时间长度字段937,该样本时间长度信息表示由上述磁道识别信息所确定的扩展区域900b磁道中所含有的各样本时间长度(样本时间长度)。
这样其构成为,MP4的文件格式包含一组mdat920及moov910并且进一步包含多组mdat940及moof930,也就是说使多个下述两种框的组排成列,这两种框一是存储被多路复用后的内容的框,二是存储与该框中含有的内容相关的信息的框,据此以往的多路复用装置在每次依次取得多媒体数据加以处理时都使MP4文件数据900得以完成,在实时记录过程中发挥作用。而且,就作为带录制功能的携带电话而构成的以往多路复用装置来说,即使在录制过程中也可以防止来电迟滞的产生。
图4是表示生成上述MP4文件数据900的以往多路复用装置结构的结构图。
该多路复用装置700具备图象数据解析部701、声音数据解析部702、第1转换开关703、第2转换开关704、控制部708、moof生成部705、moov生成部706及文件生成部707。
图象数据解析部701通过取得图象数据并对其进行解析,生成表示该图象数据时间印记和大小等的内容的图象确定信息。而且,图象数据解析部701对图象数据进行编码制作图象编码数据,输出该图象编码数据和图象确定信息。
声音数据解析部702通过取得声音数据对其进行解析,生成表示该声音数据时间印记和大小等的内容的声音确定信息。而且,声音数据解析部702对声音数据进行编码制作声音编码数据,输出该声音编码数据和声音确定信息。
moov生成部706按照来自控制部708的控制,生成存储于moov910中的数据(moov数据),予以输出。
moof输出部705按照来自控制部708的控制,生成存储于moof930中的数据(moof数据),予以输出。
控制部708在从图象数据解析部701取得图象确定信息的同时,从声音数据解析部702取得声音确定信息,根据该图象确定信息及声音确定信息来转换第1转换开关703及第2转换开关704,据此通过第2转换开关704首先使之输出应当存储到包含moov数据的基本区域900a中的数据,其次使之输出应当存储到包含moof数据的扩展区域900b中的数据。
文件生成部707用来对从第2转换开关704所输出的各数据,实行多路复用处理,生成MP4文件数据900将其输出。
图5是表示以往的多路复用装置700与moov数据及moof数据的生成有关的动作的流程图。
首先,多路复用装置700制作moov数据(步骤S100)。
其次,多路复用装置700制作moof数据(步骤S102)。
接着,多路复用装置700判别对于所输入的图象数据和声音数据的编码及多路复用有没有未处理的数据(步骤S104)。此处,在判别出有未处理的数据时(步骤S104的Y),反复实行从步骤S102开始的动作,在判别出没有未处理的数据时(步骤S104的N),结束处理。
这样,在采用MP4文件数据900的以往多路复用装置700中,由于依次制作moof数据,因而对实时记录是有效的。
但是,上述MP4文件数据900如图1~图3所示,由于其构成为将多个由数据框和标题框构成的组排成列,因而适于流传输。也就是说,通过取得MP4文件数据900实行逆多路复用处理来再现内容的逆多路复用装置,可以从完成作为数据流所传输的MP4文件数据900所有下载之前,就进行依次再现(下载再现)。
图6表示的是根据上述MP4文件数据900进行内容再现的以往逆多路复用装置结构的结构图。
该逆多路复用装置800用来取得MP4文件数据900加以再现,该装置具备:数据取得部810,用来取得MP4文件数据900;解码部813,用来对通过该数据取得部810所取得的MP4文件数据900进行逆多路复用予以解码;时间处理部811,用于根据所取得的MP4文件数据900实行时间上的处理;随机存取处理部812,用来实行对所取得的MP4文件数据900进行随机存取所需的处理;再现部814,用于根据从解码部813所输出的数据输出图象和声音。
另外,时间处理部811具备:时间长度确定部811a,用来确定MP4文件数据900中含有的一部分内容再现所需要的时间长度;再现时间确定部811b,用来确定再现时间。在此,再现时间指的是,在由最初再现内容时从其再现开始时刻直至当前时刻的再现所花费的时间。
图7表示的是时间长度确定部811a内部结构的框图。
时间长度确定部811a具备第1分离部821、第2分离部822、第3分离部823、第1解析部824及第2解析部825。
第1分离部821若取得MP4文件数据900,则从该MP4文件数据900分离出moov数据,予以输出。
第2分离部822若取得moov数据,则从该moov数据分离出mvhd911中所存储的数据(mvhd数据)和trak912中所存储的数据(trak数据),予以输出。
第3分离部823若取得trak数据,则从该trak数据分离出tkhd914中所存储的数据(tkhd数据),予以输出。
第1解析部824若从第2分离部822取得mvhd数据,则对该mvhd数据进行解析,输出其影像时间长度字段911a中所存储的基本内容时间长度信息。
第2解析部825若从第3分离部823取得tkhd数据,则对该tkhd数据进行解析,输出磁道ID字段916中所存储的磁道识别信息,与此同时输出与该磁道识别信息对应而存储于磁道时间长度字段917中的基本磁道时间长度信息。
这种时间长度确定部811a在向再现部814输出基本内容时间长度信息的同时,将磁道识别信息和基本磁道时间长度信息输出给再现部814,该基本磁道时间长度信息对应于由该磁道识别信息所示的基本区域900a的磁道。
然后,再现部814若取得基本内容时间长度信息、磁道时间长度信息及磁道识别信息,则按照需要显示基本内容时间长度,或者对每一磁道显示基本磁道时间长度。另外,再现部814根据由再现时间确定部811b得出的确定结果,在实行图象和声音再现的同时,显示其再现时间。
图8是表示随机存取处理部812结构的结构图。
随机存取处理部812用于若从外部取得表示目标时间的内容的目标时间信息,则从所储存的MP4文件数据900之中将与该目标时间对应的样本作为目的样本进行检索,该处理部具备数据储存部830a、第1分离部830、第2分离部831、第3分离部832、第4分离部835、第5分离部834、第1解析部836、第2解析部837、第3解析部838、磁道控制部833、决定部839及控制部840。此处,目标时间指的是,用户准备从中途再现内容时的中途再现开始时间。例如,在用户准备再现总时间长度为10分钟的内容而未看到其最前面2分钟期间的场合下,目标时间是2分钟。数据储存部830a用来储存由数据取得部810所取得的MP4文件数据900。
第1分离部830若从数据储存部830a取得MP4文件数据900,则从该MP4文件数据900分离出moov数据和moof数据,予以输出。
第3分离部832若取得moov数据,则从该moov数据分离出mvex913中所存储的数据(mvex数据),予以输出。
磁道控制部833若从第1分离部830取得moov数据,则根据该moov数据输出磁道识别信息。
第2分离部831若从第1分离部830取得moof数据并从磁道控制部833取得磁道识别信息,则从该moof数据分离出下述数据(traf数据)予以输出,该数据与通过磁道识别信息所确定的磁道对应并存储于traf932中。
第4分离部835若从第2分离部831取得traf数据,则从该traf数据分离出tfhd933中所存储的数据(tfhd数据)和trun936中所存储的数据(trun数据),予以输出。
第5分离部834若从第3分离部832取得mvex数据并从磁道控制部833取得磁道识别信息,则从该mvex数据分离出下述数据(trex数据)予以输出,该数据与通过磁道识别信息所确定的磁道对应并存存储于trex915中。
第1解析部836若从第5分离部834取得trex数据,则对该trex数据进行解析,将trex数据中含有的默认样本时间长度信息作为第1时间长度信息加以输出。
第2解析部837若从第4分离部835取得tfhd数据,则对该tfhd数据进行解析,将tfhd数据中含有的样本时间长度信息作为第2时间长度信息加以输出。
第3解析部838若从第4分离部835取得trun数据,则对该trun数据进行解析,将trun数据中含有的样本时间长度信息作为第3时间长度信息加以输出。
决定部839用来从下述3种信息选择决定出任1个并将其作为时间长度信息加以输出,上述3种信息一是从第1解析部836所取得的第1时间长度信息,二是从第2解析部837所取得的第2时间长度信息,三是从第3解析部838所取得的第3时间长度信息。在此,决定部839首先使第3时间长度信息优先,在第3时间长度信息不能被省略的场合下使第2时间长度信息优先,在第2时间长度信息不能被省略的场合下选择第1时间长度信息予以输出。
另外,决定部839在输出时间长度信息时,还输出对与该时间长度信息相应的样本进行识别所需的样本识别信息。
控制部840若取得表示目标时间的目标时间信息,则对时间长度信息中所示的时间长度依次进行加法运算,该时间长度信息是从决定部839逐次输出的。然后,控制部840直至加法运算结果达到目标时间信息中所示的目标时间为止实行上述加法运算,并且在达到目标时间时将从决定部839所取得的样本识别信息作为目的样本识别信息,予以输出。
图9是表示磁道控制部833内部结构的框图。
磁道控制部833具备:第6分离部841,用来取得moov数据并由此分离出trak数据;第7分离部842,用来取得该trak数据并由此进一步分离出tkhd数据;解析部843,用来通过对该tkhd数据进行解析以确定磁道识别信息将其输出。
图10是说明随机存取处理部812的概要动作所用的说明图。
如该图10所示,以往的随机存取处理部812是通过继续对样本时间长度依次进行加法运算,来确定与目标时间对应的目的样本的。
而且,随机存取处理部812将MP4文件数据900和目的样本识别信息输出到解码部813,使解码部813及再现部814实行从目的样本开始的内容再现,该目的样本由目的样本识别信息来表示。
这种以往的逆多路复用装置800若取得作为数据流所传输的MP4文件数据900,则可以据此实行下载再现,与此同时由于具备随机存取处理部812,因而能够对所储存的全部MP4文件数据900进行随机存取。
但是,采用上述以往的逆多路复用装置800,虽然在对MP4文件数据900进行下载再现时可以显示基本区域900a中含有的内容再现所需要的时间长度,但不能对包含扩展区域900b的全部内容总时间长度加以显示,而存在不便于使用的此类问题。
图11是说明以往逆多路复用装置800的问题之处所用的说明图。
作为携带电话而构成的逆多路复用装置800,通过基站990来下载作为数据流所传输的MP4文件数据900,并依次再现该所下载的MP4文件数据900。此时,逆多路复用装置800虽然显示再现时间,但是若在取得所有MP4文件数据900之后,则不能确定再现全部内容所需要的时间长度,其结果是不能在下载过程中或者再现过程中显示内容的总时间长度。例如,在按照使用时间来计费的收费系统中,逆多路复用装置800的用户有时感到下述的担心等,即不清楚使用费基准之类的担心,以及在电池剩余容量少等的场合下电源有可能在中途被切断之类的担心。这样,采用以往的逆多路复用装置800,用户则不能得知内容的总时间长度,而在便利性方面有所欠缺。
因此,本发明的目的是,鉴于这样的问题而提供一种逆多路复用装置及多路复用装置,持续保持下载再现及实时记录的有效性,并提高内容下载再现时的便利性。
发明内容
为达到上述目的,本发明所涉及的逆多路复用装置,用来从其起始部分取得作为数字作品的内容被多路复用后的复用数据加以逆多路复用,上述复用数据的构成为将多个由内容存储框和相关信息存储框构成的组排成列,同时在上述起始部分包含对上述全部内容再现所需要的总时间长度加以确定所需的总时间长度信息,该内容存储框用来存储被多路复用后的内容一部分,该相关信息存储框用来存储与上述一部分内容相关的相关信息,上述逆多路复用装置具备:取得装置,用来取得上述复用数据;处理装置,用来在上述每个组中对通过上述取得装置所取得的上述复用数据进行逆多路复用处理;总时间长度确定装置,用于根据由上述取得装置所取得的上述复用数据起始部分中含有的总时间长度信息,来确定上述总时间长度;显示装置,用来显示由上述总时间长度确定装置所确定的总时间长度。在此其特征也可以是,上述复用数据由分别具有上述组的第1及第2区域构成,上述总时间长度信息包括:内容的第1时间长度信息,用来表示上述第1区域含有的内容再现所需要的时间长度;内容的第2时间长度信息,用来表示上述第2区域含有的内容再现所需要的时间长度,上述总时间长度确定装置通过使由上述第1时间长度信息所示的时间长度和由上述第2时间长度信息所示的时间长度相加,来确定上述总时间长度。
据此,由于通过处理装置使复用数据在每个组都被逆多路复用处理,因而可以从作为数据流所传输的复用数据下载再现内容,与此同时因为根据复用数据前端部分所包含的总时间长度信息,由总时间长度装置来确定总时间长度并由显示装置来显示其总时间长度,所以即使在下载再现过程中也可以向用户告知总时间长度,能够提高内容下载再现时的便利性。
另外其特征也可以是,上述复用数据按照其中所含有的上述内容由第1区域或者分别具有上述组的第1及第2区域构成,在上述复用数据由第1区域构成时,上述总时间长度信息表示上述第1区域含有的内容再现所需要的时间长度,在上述复用数据由第1及第2区域构成时,上述总时间长度信息由内容的第1时间长度信息和内容的第2时间长度信息构成,该内容的第1时间长度信息表示上述第1区域含有的内容再现所需要的时间长度,该内容的第2时间长度信息表示上述第2区域含有的内容再现所需要的时间长度或者上述时间长度不详,上述总时间长度确定装置判别由上述取得装置所取得的上述复用数据是由第1区域构成还是由第1及第2区域构成,在判别出由第1区域构成时,将由上述总时间长度信息所示的时间长度作为上述总时间长度加以确定,在判别出由第1及第2区域构成时,进一步根据上述第2时间长度信息来判别上述第2区域含有的内容再现所需要的时间长度是否不详,在判别出不是不详时,通过使由上述第1时间长度信息所示的时间长度和由上述第2时间长度信息所示的时间长度相加来确定上述总时间长度,在判别出是不详时则判别出不能确定上述总时间长度,上述显示装置在通过上述总时间长度确定装置判别出不能确定上述总时间长度时,报告出上述总时间长度不详。
据此,如果在复用数据中没有第2区域,则第1区域中含有的内容再现所需要的时间长度作为总时间长度被确定,在复用数据由第1及第2区域构成时,第1及第2区域中含有的内容再现所需要的时间长度被实行加法运算,其加法运算结果作为总时间长度被确定,因此可以准确地确定总时间长度,与此同时因为根据复用数据中含有的第2时间长度信息来判别第2区域中含有的内容再现所需要的时间长度是否不详,并在不详报告该意思,所以能够向用户只告知具有可靠性的总时间长度。
另外其特征也可以是,上述逆多路复用装置进一步具备:再现装置,用来再现由上述处理装置进行逆多路复用处理后的内容;再现时间确定装置,用来确定正由上述再现装置再现上述内容的再现时间,上述显示装置计算对上述总时间长度的再现时间之比,根据上述比例使指定的图形产生移动予以显示,该总时间长度由上述总时间长度确定装置来确定,该再现时间由上述再现时间确定装置来确定。
据此,由于根据对总时间长度的再现时间之比使上述图形产生移动,因而用户能够轻易地掌握内容的再现状况。
还有,本发明即使作为上述逆多路复用装置所处理的复用数据的数据结构、存储该复用数据的存储媒体、生成该复用数据的多路复用装置、上述逆多路复用装置和多路复用装置实行的逆多路复用方法及多路复用方法以及使计算机实行该方法的程序,也可以实现。
附图说明
图1是表示以往示例中MP4文件数据基本文件格式的数据结构图。
图2是表示图1的moov详细结构的数据结构图。
图3是表示图1的moof详细结构的数据结构图。
图4是表示图1的生成MP4文件数据的以往多路复用装置结构的结构图。
图5是表示图1的多路复用装置与moov数据及moof数据生成有关的动作的流程图。
图6是表示图1的根据MP4文件数据进行再现的以往逆多路复用装置结构的结构图。
图7是表示图1的时间长度确定部内部结构的框图。
图8是表示图1的随机存取处理部结构的结构图。
图9是表示图1的磁道控制部内部结构的框图。
图10是说明图1的随机处理部概要动作所用的说明图。
图11是说明图1的以往逆多路复用装置的问题所用的说明图。
图12是表示在实施方式中逆多路复用装置及多路复用装置所处理的MP4文件数据之文件格式的数据结构图。
图13是表示图12的根据MP4文件数据进行再现的逆多路复用装置结构的结构图。
图14是表示图12的时间处理部之内容时间长度确定部内部结构的框图。
图15是表示图12的时间处理部之磁道时间长度确定部内部结构的框图。
图16是表示图12的逆多路复用装置内容时间长度确定部特征性动作的流程图。
图17是表示图12的由逆多路复用装置再现部所显示的图象的图象显示图。
图18是表示图12的由逆多路复用装置再现部所显示的其他图象的图象显示图。
图19是表示图12的多路复用装置结构的结构图。
图20是表示图12的多路复用装置动作的流程图。
图21是表示图12的trex语法的显示图。
图22是表示图12的对包含mehd的MP4文件数据进行处理的内容时间长度确定部内部结构的框图。
图23是表示图12的内容时间长度确定部特征性动作的流程图。
图24是表示图12的mehd语法的显示图。
图25是表示图12的变形例涉及的逆多路复用装置所处理的MP4文件数据moof文件格式的数据结构图。
图26是表示图12的变形例涉及的逆多路复用装置随机存取处理部内部结构的框图。
图27是表示图12的变形例涉及的moof时间长度处理内部结构的框图。
图28是表示图12的变形例涉及的traf时间长度处理部内部结构的框图。
图29是说明图12的变形例涉及的随机存取处理部概要动作所用的说明图。
图30是表示图12的变形例涉及的随机存取处理部动作的流程图。
图31是表示图12的变形例涉及的tfhd语法的显示图。
具体实施方式
下面,有关本发明实施方式中的逆多路复用装置及多路复用装置,通过参照附图予以说明。
图12是表示本实施方式中逆多路复用装置及多路复用装置所处理的MP4文件数据之文件格式的数据结构图。
该MP4文件数据100由基本区域100a和扩展区域100b构成,其特征在于,该数据100中含有的表示内容总时间长度的内容信息存储于基本区域100a中。由于存在该信息,因而在逆多路复用装置中用户可以得知总时间长度,提高便利性。另外,对于实时记录的多路复用装置等难以赋予该信息的装置,也可以省略该信息的赋予。
基本区域100a包括:媒体数据框(下面,称为「mdat」)120,用来存储被多路复用后的内容;影像框(下面,称为「moov」)110,用来存储与该mdat120的内容相关的信息。
moov110进一步由1个影像标题框(下面,称为「mvhd」)111、多个磁道框(下面,称为「trak」)112及1个影像范围框(下面,称为「mvex」)113构成。
扩展区域100b的结构是,将多个由1个媒体数据框(下面,称为「mdat」)140和1个影像分段框(下面,称为「moof」)130构成的组排成列,该媒体数据框用来存储被多路复用后的内容,该影像分段框用来存储与该mdat140的内容相关的信息。在此,moof130与以往示例相同,进一步由1个影像分段标题框(下面,称为「mfhd」)和多个磁道分段框(下面,称为「traf」)构成。也就是说,这样的扩展区域100b具有与以往的扩展区域900b相同的结构。
在基本区域100a的moov110的mvhd111内,包含对内容的基本内容时间长度信息进行存储的影像时间长度字段111a,该内容的基本内容时间长度信息表示基本区域100a中含有的内容再现所需要的时间长度(基本内容时间长度)。
在trak112中包含磁道标题框(下面,称为「tkhd」)114。在此,在该tkhd114中包括:磁道ID字段116,用来存储对磁道加以识别所用的磁道识别信息;磁道时间长度字段117,用来存储基本磁道时间长度信息,该基本磁道时间长度信息表示对通过该磁道识别信息所示的基本区域100a磁道进行再现所需要的时间长度(基本磁道时间长度)。
而且,在mvex113中包含数个磁道范围框(下面,称为「trex」)115,其数目与扩展区域100b中含有的磁道数目相应,同时进一步含有1个影像范围标题框(下面,称为「mhex」)113a。
在mhex113a中包含对内容的扩展内容时间长度信息进行存储的影像时间长度字段113b,该内容的扩展内容时间长度信息表示扩展区域100b中含有的内容再现所需要的时间长度(扩展内容时间长度)。在此,扩展内容时间长度信息有时表示「0」,这种场合下该扩展内容时间长度信息表示出扩展内容时间长度不明。
在trex115中包含:磁道ID字段118,用来存储对扩展区域100b的磁道加以识别所需的磁道识别信息;第1默认时间长度字段119,用来存储默认样本时间长度信息,该默认样本时间长度信息对于由该磁道识别信息所确定的扩展区域100b的磁道样本,表示由默认值设定出的时间长度;磁道时间长度字段115a,用来存储内容的扩展磁道时间长度信息,该内容的扩展磁道时间长度信息表示由该磁道识别信息确定的扩展区域100b的磁道再现所需要的时间长度(扩展磁道时间长度)。
也就是说,有关本实施方式的MP4文件数据100,与以往示例相比较其特征在于,在mvex113中包含用来存储扩展内容时间长度信息的mhex113a,并进一步在mvex113的trex115中包含用来存储扩展磁道时间长度信息的磁道时间长度字段115a。
还有,MP4文件数据100在其中所包含的内容信息量少时,有时只由基本区域100a构成,这种场合下其结构为moov110的mvex113被省去。
图13是表示根据上述MP4文件数据100进行内容再现的本实施方式逆多路复用装置200结构的结构图。
该逆多路复用装置200用来取得MP4文件数据100加以再现,该装置具备:数据取得部210,用来从基本区域100a依次取得MP4文件数据100;解码部213,用来在每一组moov110、mdat120和每一组moof130、mdat140中,对通过该数据取得部210所取得的MP4文件数据100依次进行逆多路复用加以解码;时间处理部211,用于根据由数据取得部210所取得的MP4文件数据100实行时间上的处理;随机存取处理部212,用来实行对所取得的MP4文件数据100进行随机存取所需的处理;再现部214,用于根据从解码部213所输出的数据来输出图象和声音。
随机存取处理部212储存有全部通过数据取得部210所取得的MP4文件数据100,若从外部取得表示目标时间的内容目标时间信息,则从该所储存的MP4文件数据100之中将与该目标时间对应的样本作为目的样本进行检索,使解码部213及再现部214实行从该目的样本开始的内容再现。
另外,时间处理部211具备:内容时间长度确定部211a,用于根据MP4文件数据对其中含有的全部内容再现所需要的总时间长度加以确定;磁道时间长度确定部211b,用来对每一磁道确定MP4文件数据100中含有的全部磁道再现所需要的时间长度;再现时间确定部211c,用来确定再现时间。
图14是表示时间处理部211的内容时间长度确定部211a内部结构的框图。
内容时间长度确定部211a具备第1分离部221、第2分离部222、第3分离部224、第1解析部223、第2解析部225及加法运算部226。
第1分离部221用来取得MP4文件数据100,从该MP4文件数据100分离出moov110中所存储的数据(moov数据),予以输出。
第2分离部222若取得moov数据,则从该moov数据分离出mvhd111中所存储的数据(mvhd数据)和mvex113中所存储的数据(mvex数据),予以输出。
第3分离部224若取得mvex数据,则从该mvex数据分离出mhex113a中所存储的数据(mhex数据),予以输出。
第1解析部223若从第2分离部222取得mvhd数据,则对该mvhd数据进行解析,输出其影像时间长度字段111a中所存储的基本内容时间长度信息。
第2解析部225若从第3分离部224取得mhex数据,则对该mhex数据进行解析,输出其影像时间长度字段113b中所存储的扩展内容时间长度信息。
加法运算部226若从第1解析部223及第2解析部225取得基本内容时间长度信息及扩展内容时间长度信息,则对通过基本内容时间长度信息所示的基本内容时间长度和通过扩展内容时间长度信息所示的扩展内容时间长度进行加法运算,输出内容总时间长度信息,该信息表示其加法运算后的时间长度(内容总时间长度)。另外,加法运算部226在扩展内容时间长度信息表示「0」时,将基本内容时间长度信息作为内容总时间长度信息予以输出。
这样,本实施方式的内容时间长度确定部211a,对MP4文件数据100的基本区域100a及扩展区域100b中所包含的内容总时间长度加以确定,输出表示该内容总时间长度的内容的内容总时间长度信息。
图15是表示时间处理部211的磁道时间长度确定部211b内部结构的框图。
磁道时间长度确定部211b具备第1分离部231、第2分离部232、第3分离部233、第4分离部235、第1解析部234、第2解析部236及加法运算部237。
第1分离部231用来取得MP4文件数据100,从该MP4文件数据100分离出moov数据,予以输出。
第2分离部232若取得moov数据,则从该moov数据分离出trak112中所存储的数据(trak数据)和mvex数据,予以输出。
第3分离部233若取得trak数据,则从该trak数据分离出tkhd114中所存储的数据(tkhd数据),予以输出。
第1解析部234若从第3分离部233取得tkhd数据,则对该tkhd数据进行解析,输出tkhd114的磁道ID字段116中所存储的磁道识别信息。再者,第1解析部234从tkhd114的磁道时间长度字段117提取与通过该磁道识别信息所确定的磁道对应的基本磁道时间长度信息,将其输出。
第4分离部235若从第2分离部232取得mvex数据并从第1解析部234取得磁道识别信息,则从该mvex数据分离出与通过该磁道识别信息所确定的磁道对应并且存储于trex115中的数据(trex数据),予以输出。
第2解析部236若从第4分离部235取得trex数据,则对该trex数据进行解析,输出磁道时间长度字段115a中所存储的扩展磁道时间长度信息。
加法运算部237若从第1解析部234取得基本磁道时间长度信息并从第2解析部236取得扩展磁道时间长度信息,则对基本磁道时间长度信息中所示的时间长度和扩展磁道时间长度信息中所示的时间长度进行加法运算,输出磁道总时间长度信息,该信息表示其加法运算后的时间长度(磁道总时间长度)。
这样,本实施方式的磁道时间长度确定部211b,对每一磁道都确定MP4文件数据100的基本区域100a及扩展区域100b中所包含的磁道总时间长度,输出表示该磁道的磁道识别信息和表示该磁道的磁道总时间长度之磁道总时间长度信息。
图16是表示本实施方式中逆多路复用装置200内容时间长度确定部211a特征性动作的流程图。
首先,内容时间长度确定部211a取得MP4文件数据100(步骤S200),对该数据100的mvhd111进行解析并确定基本内容时间长度T1(步骤S202)。
接着,内容时间长度确定部211a判别在通过步骤S200所取得的数据100的moov110中是否包含mvex113(步骤S204)。
在此,内容时间长度确定部211a若检测到mvex113(步骤S204的Y),则判断出MP4文件数据100由基本区域100a和扩展区域100b构成,并进一步通过对mvex113中所包含的mhex113a进行解析(步骤S206),来判别其影像时间长度字段113b中所存储的扩展内容时间长度信息是否表示「0」(步骤S208)。
内容时间长度确定部211a若判别出扩展内容时间长度信息未表示「0」(步骤S208的N),则通过该扩展内容时间长度信息来确定扩展内容时间长度T2(步骤S210)。
然后,内容时间长度确定部211a对基本内容时间长度T1和扩展内容时间长度T2进行加法运算,计算出内容总时间长度T(步骤S212),输出表示该内容总时间长度T的内容的内容总时间长度信息(步骤S214)。
另一方面,在通过步骤S204未检测出mvex113时(步骤S204的N),内容时间长度确定部211a判断出MP4文件数据100由基本区域100a构成,并将基本内容时间长度T1作为内容总时间长度T进行处理(步骤S220),输出内容总时间长度信息(步骤S214)。
然后,在通过步骤S208判别出扩展内容时间长度信息表示「0」时(步骤S208的Y),内容时间长度确定部211a判断出不能计算内容总时间长度T(步骤S216),输出内容的总时间长度不详信息(步骤S218),该内容的总时间长度不详信息用来告知内容总时间长度T为不详。
在此,本实施方式中逆多路复用装置200的再现部214,根据来自解码部213的数据输出图象和声音,并显示由再现时间确定部211c所确定的再现时间,与此同时在从内容时间长度确定部211a输出内容总时间长度信息时,显示由该内容总时间长度信息所示的内容总时间长度,在从内容时间长度确定部211a输出总时间长度不详信息时,报告内容总时间长度为不详。
图17是表示输出内容总时间长度信息时由再现部214所显示的图象的图象显示图。
再现部214用来显示对再现图象予以显示所需的画面P1,在其画面P1上显示用来显示再现图象的再现图象显示部P2、滑动条P3、操作按钮P4及时间显示部P5。
在时间显示部P5上,于附图右侧内容总时间长度例如显示为「00:02:30」,于附图左侧再现时间例如显示为「00:00:30」。
滑动条P3按照对内容总时间长度的再现时间之比,在线条Ln1上从附图左侧向右侧滑动。
图18是表示输出总时间长度不详信息时由再现部214所显示的图象的图象显示图。
再现部214虽然与上面相同显示画面P1,该画面P1包括再现图象显示P2、滑动条P3、操作按钮P4及时间显示部P5,但是在时间显示部P5的附图右侧,将表示内容总时间长度不详的字符或者符号例如显示为「——:——:——」。另外,再现部214在时间显示部P5的附图右侧,显示再现时间例如「00:00:30」。
滑动条P3例如按照对指定时间的再现时间之比,在线条Ln1上从附图左端向右侧滑动,若再现时间超过上述指定时间,则再次反复实行从附图左端向右侧的滑动。
另外,再现部214在从磁道时间长度确定部211b取得磁道识别信息及磁道总时间长度信息时,按照需要对由该磁道识别信息所示的每一磁道,显示由磁道总时间长度信息所示的磁道总时间长度。
这样,本实施方式中的逆多路复用装置200在开始MP4文件数据100的下载时,就可以实行下载再现,同时无需MP4文件数据100的全部下载结束,就能够根据该MP4文件数据100的moov110中所存储的内容总时间长度信息,显示内容总时间长度,可以使便利性得到提高。
下面,有关本实施方式中制作MP4文件数据100的多路复用装置300,予以说明。
图19是表示本实施方式中的多路复用装置300结构的结构图。
该本实施方式中的多路复用装置300具备图象数据解析部301、声音数据解析部302、第1转换开关303、第2转换开关304、控制部308、moof生成部305、moov生成部306及文件生成部307。
图象数据解析部301通过取得图象数据并对其进行解析,生成表示该图象数据时间印记和大小等的内容的图象确定信息。而且,图象数据解析部301对图象数据进行编码制作图象编码数据,输出该图象编码数据和图象确定信息。
声音数据解析部302通过取得声音数据并对其进行解析,生成表示该声音图象时间印记和大小等的内容的声音确定信息。而且,声音数据解析部302对声音数据进行编码制作声音编码数据,输出该声音编码数据和声音确定信息。
moov生成部306根据来自控制部308的控制,生成moov数据予以输出。在此,本实施方式中的moov生成部306对moov数据的mvex113制作mhex113a。
moof生成部305根据来自控制部308的控制,生成moof数据予以输出。
控制部308在从图象数据解析部301取得图象确定信息的同时,从声音数据解析部302取得声音确定信息,根据该图象确定信息及声音确定信息来转换第1转换开关303及第2转换开关304,以此使之通过第2转换开关304首先输出应当存储到包含moov数据的基本区域100a中的数据,其次使之输出应当存储到包含moof数据的扩展区域100b中的数据。
在此,本实施方式中的控制部308在通过moov生成部306输出moov数据时,首先使moov生成部306生成扩展内容时间长度信息表示「0」的那种moov数据并将其输出,该扩展内容时间长度信息存储于mhex113a的影像时间长度字段113b中。
然后,控制部308根据图象确定信息及声音确定信息,对存入图象编码数据及声音编码数据扩展区域100b中的各样本时间长度依次进行加法运算。
接着,控制部308若对所输入的全部声音数据和图象数据使之通过moof生成部305输出moof数据,则将如上所加法运算后的时间长度作为扩展内容时间长度,向moov生成部306输出表示该时间长度的扩展内容时间长度信息。
然后,从控制部308已取得扩展内容时间长度信息的moov输出部306,向文件生成部307输出该扩展内容时间长度信息和内容的位置确定信息,该内容的位置确定信息表示该信息被存储的mhex113a影像时间长度字段113b的位置。
文件输出部307若从moov生成部306取得扩展内容时间长度信息和位置确定信息,则在通过该位置确定信息所示的mhex113a影像时间长度字段113b上,写上该所取得的扩展内容时间长度信息。也就是说,文件生成部307将表示「0」的扩展内容时间长度信息变更成此后所取得的扩展内容时间长度信息,使MP4文件数据得以完成。
图20是表示本实施方式中的多路复用装置300动作的流程图。
首先,多路复用装置300生成moov数据(步骤S300),该moov数据含有表示「0」的扩展内容时间长度信息。也就是说,多路复用装置300最初预先生成暂时的moov数据。
接着,多路复用装置300制作moof数据(步骤S302)。
然后,多路复用装置300判别对于所输入的图象数据和声音数据的编码及多路复用有没有未处理的数据(步骤S304)。在此,在判别出有未处理的数据时(步骤S304的Y),反复实行从步骤S302开始的动作,在判别出没有未处理的数据时(步骤S304的N),将根据样本时间长度加法运算结果的扩展内容时间长度信息写在moov数据中(步骤S306),结束处理。
这种本实施方式中的多路复用装置300,由于按照内容的信息量生成MP4文件数据,该MP4文件数据的结构为一组moov110、mdat120和至少一组moof130、mdat140并排成列,因而在实时记录方面是有效的,同时可以将为了提高逆多路复用装置200便利性所需要的扩展内容时间长度信息,存储于moov110中。
图21是表示trex语法的显示图。
在trex115的磁道时间长度字段115a中根据版本的不同而分配32位和64位,在第1默认时间长度字段119中分配32位。另外,时标由mvhd111来表示。
还有,本实施方式中虽然在MP4文件数据100的mvex113中存储有包含扩展内容时间长度信息的mhex113a,但是取代该mhex113a也可以存储含有内容总时间长度信息的框(下面,称为「mehd」).
图22是表示根据包含mehd的MP4文件数据来确定内容总时间长度的内容时间长度确定部内部结构的框图。
该内容时间长度确定部211a’具备第1分离部211’、第2分离部222’、第3分离部224’及解析部225’。第1分离部211’用来取得MP4文件数据,从该MP4文件数据分离出moov数据予以输出。第2分离部222’若取得moov数据,则从该moov数据分离出mvex数据予以输出。第3分离部224’若取得mvex数据,则从该mvex数据分离出上述mehd中所存储的mehd数据予以输出。解析部225’若从第3分离部224’取得mehd数据,则对该mehd数据进行解析输出内容总时间长度信息。
图23是表示上述内容时间长度确定部211a’的特征性动作的流程图。
首先,内容时间长度确定部211a’取得上述MP4文件数据(步骤S260),判别在该数据中是否包含mehd(步骤S262)。
在此,内容时间长度确定部211a’若检测到mehd(步骤S262的Y),则对该mehd进行解析(步骤S264),判别mehd中所存储的内容总时间长度信息是否表示出「0」(步骤S266)。
然后,内容时间长度确定部211a’在通过步骤S266判别出内容总时间长度信息未表示「0」时(步骤S266的N),输出该内容总时间长度信息(步骤S268)。另一方面,内容时间长度确定部211a’在通过步骤S262判别出数据中未包含mehd时(步骤S262的N),或者在通过步骤S266判别出内容总时间长度信息表示「0」时(步骤S266的Y),判别出不能确定内容总时间长度(步骤S270),输出内容的总时间长度不详信息(步骤S272),该内容的总时间长度不详信息用来告知内容总时间长度为不详。
这样,由于取代mhex113a将mehd存储于MP4文件数据中,因而内容时间长度确定部211a’不用为了确定内容总时间长度而对基本区域100a的内容时间长度和扩展区域100b的内容时间长度进行加法运算,可以通过对mehd数据进行解析,容易地确定内容总时间长度。
另一方面,多路复用装置300的控制部308在使moov生成部306生成moov数据时,首先使moov生成部306生成mehd中所存储的内容总时间长度信息表示「0」的那种moov数据,与此同时根据图象确定信息及声音确定信息,对图象编码数据及声音编码数据的基本区域100a和扩展区域100b中所存入的各样本时间长度依次进行加法运算。而且,控制部308若对所输入的全部声音数据和图象数据使之从moof生成部305输出moof数据,则将如上所加法运算后的时间长度作为内容总时间长度,向moov生成部306输出表示该时间长度的内容总时间长度信息。据此,多路复用装置300的文件生成部307生成对上述mehd进行存储的MP4文件数据100。
图24是表示mehd语法的显示图。
在mehd存储内容总时间长度信息的影像时间长度字段中,根据版本的不同而分配32位和64位。例如,在版本表示0时分配32位,在版本表示1时分配64位。另外,时标由mvhd来表示。
还有,mhex113a也可以具有图24所示的那种语法。
另外,上述实施方式中在扩展内容时间长度信息表示「0」的场合下,假设扩展内容时间长度为不详,而其值也可以是「0」以外的如负数等。
(变形例)
下面,有关上述本实施方式中的逆多路复用装置200变形例,予以说明。
虽然上述的逆多路复用装置200对基本区域的结构与以往文件格式不同的MP4文件数据进行处理,但是本变形例所涉及的逆多路复用装置将进一步对扩展区域的结构也与以往文件格式不同的MP4文件数据进行处理。
图25是表示本变形例涉及的逆多路复用装置所处理的MP4文件数据的moof文件格式的结构图。
moof130’由1个mfhd131和多个traf132构成。
mfhd131由项目计数字段131a和多个时间长度项目字段131b构成,在时间长度项目字段131b中进一步形成有对识别磁道所需的磁道识别信息进行存储的磁道ID字段131c,以及存储moof时间长度信息的moof时间长度字段131d,该moof时间长度信息在与该moof130’成对的mdat140中表示由该磁道识别信息所确定的磁道时间长度(moof时间长度)。
traf132由1个磁道分段标题框(下面,称为「tfhd」)133和多个磁道分段运行框(下面,称为「trun」)136构成,在tfhd133中包含有存储traf时间长度信息的traf时间长度字段135,以及存储默认样本时间长度信息的第2默认时间长度字段134。
存储于traf时间长度字段135中的traf时间长度信息表示,由traf132的trun136中含有的样本时间长度信息所示的样本时间长度总和(traf时间长度),存储于第2默认时间长度字段134中的默认样本时间长度信息表示,对于该traf时间长度由默认值设定出的时间长度。
图26是表示本变形例涉及的逆多路复用装置随机存取处理部内部结构的框图。
随机存取处理部400与以往的随机存取处理部812相比可以减少计算量快速地找出目的样本,该处理部包括:数据储存部401,用来储存具有图25所示moof130’的MP4文件数据100’;moof时间长度处理部420,用来确定moof时间长度;traf时间长度处理部430,用来确定traf时间长度;样本时间长度处理部440,用来确定样本时间长度;主控制部410,用来控制这些处理部。
主控制部410若取得MP4文件数据100’和表示目标时间的目标时间信息,则对该MP4文件数据100’的结构进行解析,控制moof时间长度处理部420、traf时间长度处理部430及样本时间长度处理部440,对通过这些各处理部所确定的moof时间长度、traf时间长度及样本时间长度实行累计处理,以此输出目的样本识别信息,该信息表示与上述目标时间相应的目的样本。
图27是表示moof时间长度处理部420内部结构的框图。
moof时间长度处理部420具备第1分离部421、第2分离部423、磁道控制部422及解析部424。
第1分离部421若取得具有图25所示moof130’的MP4文件数据100’,则从该MP4文件数据100’分离出moov数据和moof数据,予以输出。
第2分离部423若从第1分离部421取得moof数据,则从该moof数据分离出mfhd131中所存储的数据(mfhd数据),予以输出。
磁道控制部422若从第1分离部421取得moov数据,则根据该moov数据输出磁道识别信息。
解析部424若从第2分离部423取得mfhd数据,与此同时从磁道控制部422取得磁道识别信息,则对mfhd数据进行解析从该mfhd数据提取由磁道识别信息所确定的磁道moof时间长度信息,将其输出。
图28是表示traf时间长度处理部430内部结构的框图。
traf时间长度处理部430具备第1分离部431、第2分离部433、第3分离部434、磁道控制部432及解析部435。
第1分离部431若取得MP4文件数据100’,则从该MP4文件数据100’分离出moov数据和moof数据,予以输出。
磁道控制部432若从第1分离部431取得moov数据,则根据该moov数据输出磁道识别信息。
第2分离部433若从第1分离部431取得moof数据,与此同时从磁道控制部432取得磁道识别信息,则对moof数据进行解析从该moof数据分离出与通过磁道识别信息所确定的磁道对应的traf数据,予以输出。
第3分离部434若从第2分离部433取得traf数据,则从该traf数据分离出tfhd数据,予以输出。
解析部435若从第3分离部434取得tfhd数据,则对该tfhd数据进行解析,从该tfhd数据提取traf时间长度信息予以输出。
另外,样本时间长度处理部440通过从MP4文件数据100’实行指定的分离处理,对每一磁道分离出trun数据,从该trun数据提取样本时间长度信息予以输出。
图29是说明随机存取处理部400的概要动作所用的说明图。
图29(a)是表示MP4文件数据100’数据流的数据结构图。这种数据流按照样本单位来构成,并且在该样本中包含有表示可查找(最初可读出)的标识。
图29(b)是表示MP4文件数据100’段构造的数据结构图。
在MP4文件数据100’的文件格式中如上所述,包含moov110和moof130’,在该moof130’中包含traf132。
包含于MP4文件数据100’中的内容总时间长度,采用基本内容时间长度A及扩展内容时间长度B之和来表现。
还有,扩展内容时间长度B采用扩展区域由各moof130’所示的moof时间长度C1、C2、…的总和来表现,moof时间长度C1、C2、…采用各自moof130’内由各traf132所示的traf时间长度D1、D2…的总和来表现。
图29(c)是说明随机存取处理部400的查找动作所用的说明图。
随机存取处理部400若取得表示目标时间的目标时间信息,则首先在基本内容时间长度A中加上扩展内容时间长度B。如果其加法运算结果与目标时间相等,则随机存取处理部400将MP4文件数据100’最后所取得的样本作为目的样本加以确定,输出表示该目的样本的目的样本识别信息。
另一方面,若加法运算结果超过目标时间,则随机存取处理部400按照时序依次实行对基本内容时间长度A的moof时间长度C1、C2、…的加法运算。在其加法运算结果与目标时间相等时,随机存取处理部400将与最后加法运算出的moof时间长度对应的最后样本作为目的样本加以确定,输出表示该目的样本的目的样本识别信息。
另外,在其加法运算结果超过目标时间时,随机存取处理部400对于刚好超过目标时间的加法运算结果,按照时序依次实行traf时间长度D1、D2…的加法运算。在其加法运算结果与目标时间相等时,随机存取处理部400将与最后加法运算出的traf时间长度对应的最后样本作为目的样本加以确定,输出表示该样本的目的样本识别信息。
然后还有,在其加法运算结果超过目标时间时,随机存取处理部400对于刚好超过目标时间的加法运算结果,按照时序依次实行样本时间长度E1、E2…的加法运算。此处,在其加法运算结果与目标时间相等时,随机存取处理部将与最后加法运算出的样本时间长度对应的样本作为目的样本加以确定,输出表示该目的样本的目的样本识别信息。
图30是表示随机存取处理部400动作的流程图。
首先,随机存取处理部400在基本内容时间长度A中加上扩展内容时间长度B,判别其加法运算结果与目标时间X是否相等(步骤S400)。
在其判别结果为判别出相等时(步骤S400的Y),随机存取处理部400判别出目的样本是处于MP4文件数据最后的样本(步骤S402)。
另外,在判别出不相等时(步骤S400的N),随机存取处理部400首先将变量N设为N=1(步骤S404),采用基本内容时间长度A及moof时间长度Cn由下式计算出时间长度a(步骤S406)。
a = A + Σ n = 1 N C n
在此,随机存取处理部400判别时间长度a与目标时间X是否相等(步骤S408),在判别出相等时(步骤S408的Y),判别出目的样本是与moof时间长度CN对应的最后样本(步骤S410)。
另外,随机存取处理部400在判别出时间长度a与目标时间X不相等时(步骤S408的N),进一步判别时间长度a是否比目标时间X更大(步骤S412)。
随机存取处理部400在判别出时间长度a不比目标时间X更大时(步骤S412的N),设为N=N+1(步骤S414),反复实行从步骤S406开始的动作。还有,上式表达出基本内容时间长度A与moof时间长度C1~CN的总和,但随机存取处理部400不用在N每次增加时全都实行上式的加法运算处理,而通过暂时保存好加法运算处理结果并在N每次增加1时对上述所保存的加法运算处理结果进一步加上与上述N相当的CN,来求出上式的解。
然后,在判别出时间长度a比目标时间X更大时(步骤S412的Y),随机存取处理部400首先将变量M设为M=1(步骤S416),采用基本内容时间长度A、moof时间长度Cn及traf时间长度Dm由下式计算出时间长度b。
b = A + Σ n = 1 N - 1 C n + Σ m = 1 M D m
在此,随机存取处理部400判别时间长度b与目标时间X是否相等(步骤S418),在判别出相等时(步骤S418的Y),判别出目的样本是与traf时间长度DM对应的最后样本(步骤S420)。
另外,随机存取处理部400在判别出时间长度b与目标时间X不相等时(步骤S418的N),进一步判别时间长度b是否比目标时间X更大(步骤S422)。
随机存取处理部400在判别出时间长度b不比目标时间X更大时(步骤S422的N),设为M=M+1(步骤S424),反复实行从步骤S417开始的动作。而且,在判别出时间长度b比目标时间X更大时(步骤S422的Y),随机存取处理部400首先将变量L设为L=1(步骤S426),采用基本内容时间长度A、moof时间长度Cn、traf时间长度Dm及样本时间E1由下式计算出时间长度c(步骤S428)。
c = A + Σ n = 1 N - 1 C n + Σ m = 1 M - 1 D m + Σ l = 1 L E l
在此,随机存取处理部400判别时间长度c与目标时间X是否相等(步骤S430),在判别出相等时(步骤S430的Y),判别出目的样本是与样本时间长度EL对应的样本(步骤S432)。
另外,随机存取处理部400在判别出时间长度c与目标时间X不相等时(步骤S430的N),进一步判别时间长度c是否比目标时间X更大(步骤S434)。
随机存取处理部400在判别出时间长度c不比目标时间X更大时(步骤S434的N),设为L=L+1(步骤S436),反复实行从步骤S428开始的动作。而且,在判别出时间长度c比目标时间X更大时(步骤S434的Y),随机存取处理部400判断出已产生误差(步骤S438)。
接着,在通过步骤S402、步骤S410、步骤S420或者步骤S432目的样本被确定之后,随机存取处理部400输出表示该目的样本的目的样本识别信息(步骤S440)。
这样采用本变形例,在扩展区域moof130’的mfhd131中设置对moof时间长度信息进行存储的moof时间长度字段131d,并进一步在tfhd133中设置对traf时间长度信息进行存储的traf时间长度字段135,与此同时在随机存取时从目标时间找出目的样本,此时首先采用扩展内容时间长度,其次采用比扩展内容时间长度更短的moof时间长度,再其次采用比moof时间长度更短的traf时间长度,而且最后采用比traf时间长度更短的样本时间长度,因此,与图8所示的以往随机存取处理部812的动作相比,可以减少计算量,快速地找出目的样本。
而且,随机存取处理部400将MP4文件数据100’和目的样本识别信息输出给解码部213,使解码部213及再现部214实行来自目的样本的内容再现,该目的样本由该目的样本识别信息来表示。
图31是表示tfhd133语法的显示图。
如该图31所示,在traf132的traf时间长度字段135中例如分配32位。
还有,随机存取处理部400的主控制部410也可以判别来自moof时间长度处理部420的moof时间长度信息输出状况和由moof时间长度信息所示的moof时间长度有效性,在准备使用moof时间长度的场合下,未输出moof时间长度信息时或者判别出moof时间长度非有效时,使traf时间长度处理部430输出moof130’中所存储的全部traf时间长度信息,以取代moof时间长度而采用这些traf时间长度之和。再者,随机存取处理部400的主控制部410还可以判别来自traf时间长度处理部430的traf时间长度信息输出状况和由traf时间长度信息所示的traf时间长度有效性,在准备使用traf时间长度的场合下,未输出traf时间长度信息时或者判别出traf时间长度非有效时,使样本时间长度处理部440输出traf132中所存储的全部样本时间长度信息,以取代traf时间长度而采用这些样本时间长度之和。
另外采用上述变形例,虽然在各样本中包含有表示能否查找的标识,但是也可以对于与moof130对应的多个样本包含1个标识,或者对于与traf132对应的多个样本包含1个标识。据此,可以减少对每个样本检查标识的处理。
产业上的可利用性
本发明所涉及的逆多路复用装置适用于对MP4文件数据进行下载及再现的个人计算机和携带电话等,本发明所涉及的多路复用装置适用于取得图象和声音等多媒体数据制作并记录MP4文件数据的数字录像机和带录制功能的携带电话等。

Claims (5)

1.一种逆多路复用装置,对将数字作品的内容进行了多路复用的复用数据,从其起始部分取得该数据,进行逆多路复用,其特征为:
上述复用数据的结构为,多个由内容存储框和相关信息存储框构成的组排成列,并且在上述起始部分包含总时间长度信息,该内容存储框用来存储被多路复用后的内容的一部分,该相关信息存储框用来存储与上述一部分内容相关的相关信息;上述总时间长度信息表示上述内容全部再现所需要的总时间长度或者时间长度为不详,
上述逆多路复用装置具备
取得装置,用来取得上述复用数据;
处理装置,用来在上述每个组中对通过上述取得装置所取得的上述复用数据进行逆多路复用处理;
总时间长度确定装置,用于根据由上述取得装置所取得的上述复用数据起始部分含有的总时间长度信息,来确定上述总时间长度;
显示装置,用来显示由上述总时间长度确定装置所确定的总时间长度,
上述总时间长度确定装置
判别由上述取得装置所取得的上述复用数据中是否含有上述总时间长度信息,并在判别出含有上述总时间长度信息时,进一步判别上述总时间长度信息是否表示时间长度为不详,
在判别出未表示时间长度为不详时,
确定由上述总时间长度信息所表示的上述总时间长度,
在判别出上述复用数据中未包含上述总时间长度信息时,或者判别出上述总时间长度信息表示时间长度为不详时,
判别出不能确定上述总时间长度,
上述显示装置
在判别出不能由上述总时间长度确定装置来确定上述总时间长度时,报告上述总时间长度为不详。
2.根据权利要求1记载的逆多路复用装置,其特征为:
进一步,按照上述复用数据中含有的上述内容,上述复用数据由基本区域或者分别具有上述组的基本区域及扩展区域构成,
在上述复用数据由基本区域构成时,上述总时间长度信息表示上述基本区域含有的内容再现所需要的时间长度,
在上述复用数据由基本区域及扩展区域构成时,上述总时间长度信息由第1时间长度信息和第2时间长度信息构成,该第1时间长度信息的内容表示上述基本区域含有的内容再现所需要的时间长度,该第2时间长度信息表示上述扩展区域含有的内容再现所需要的时间长度或上述时间长度为不详,
上述总时间长度确定装置
还判别由上述取得装置所取得的上述复用数据是由基本区域构成还是由基本区域及扩展区域构成,
在判别出由基本区域构成时,将通过上述总时间长度信息所示的时间长度确定为上述总时间长度,
在判别出由基本区域及扩展区域构成时,进一步根据上述第2时间长度信息,判别上述扩展区域含有的内容再现所需要的时间长度是否为不详,
在判别出不是不详时,
通过使由上述第1时间长度信息所示的时间长度和由上述第2时间长度信息所示的时间长度相加,来确定上述总时间长度,
在判别出是不详时,
判别出不能确定上述总时间长度。
3.根据权利要求2记载的逆多路复用装置,其特征为:
在上述复用数据的起始部分,包含有表示上述复用数据是否由基本区域及扩展区域构成的区域确定信息,
上述总时间长度确定装置根据上述区域确定信息,来判别由上述取得装置所取得的上述复用数据是由基本区域构成还是由基本区域及扩展区域构成。
4.一种多路复用装置,用来对作为数字作品的内容进行多路复用,生成复用数据,其特征为:
该装置具备
取得装置,用来取得作为数字作品的内容;
多路复用装置,用来对作为数字作品的内容进行多路复用;
时间长度信息生成装置,用于根据由上述取得装置所取得的内容,生成表示作为数字作品的内容全部再现所需要的总时间长度,或上述总时间长度为不详的内容的总时间长度信息;
数据生成装置,用来生成上述复用数据,使多个由内容存储框和相关信息存储框构成的组排成列,并进一步使通过上述时间长度信息生成装置所生成的总时间长度信息包含于起始部分,所述内容存储框存储被上述多路复用装置复用后的内容的一部分,所述相关信息存储框存储与被上述多路复用装置复用后的内容的一部分相关的相关信息;
上述数据生成装置
用于按照上述复用数据中含有的内容,由基本区域或者分别具有上述组的基本区域及扩展区域来构成上述复用数据,
上述时间长度信息生成装置
在上述复用数据由基本区域构成时,将上述总时间长度信息作为下述内容予以生成,该内容表示上述基本区域含有的内容再现所需要的时间长度,
在上述复用数据由基本区域及扩展区域构成时,由第1时间长度信息和第2时间长度信息来构成上述总时间长度信息,该第1时间长度信息的内容表示上述基本区域含有的内容再现所需要的时间长度,该第2时间长度信息的内容表示上述扩展区域含有的内容再现所需要的时间长度,或者上述时间长度不详。
5.根据权利要求4记载的多路复用装置,其特征为:
上述数据生成装置
用于使起始部分包含区域确定信息,生成上述复用数据,该区域确定信息表示上述复用数据是否由基本区域及扩展区域构成。
CNB038093634A 2002-04-26 2003-04-22 逆多路复用装置及多路复用装置 Expired - Fee Related CN100484229C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002126028 2002-04-26
JP126028/2002 2002-04-26
US37864402P 2002-05-09 2002-05-09
US60/378,644 2002-05-09

Publications (2)

Publication Number Publication Date
CN1650624A CN1650624A (zh) 2005-08-03
CN100484229C true CN100484229C (zh) 2009-04-29

Family

ID=29272363

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038093634A Expired - Fee Related CN100484229C (zh) 2002-04-26 2003-04-22 逆多路复用装置及多路复用装置

Country Status (5)

Country Link
US (1) US7436859B2 (zh)
EP (1) EP1501301B1 (zh)
CN (1) CN100484229C (zh)
AU (1) AU2003227449A1 (zh)
WO (1) WO2003092285A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100662376B1 (ko) * 2005-11-04 2007-01-02 엘지전자 주식회사 미디어 재생 시간 계산 방법
JP4991034B2 (ja) 2005-11-04 2012-08-01 エルジー エレクトロニクス インコーポレイティド モバイル通信ターミナル及びモバイル通信ターミナルのメディア再生時間を計算する方法
US8788933B2 (en) * 2005-12-01 2014-07-22 Nokia Corporation Time-shifted presentation of media streams
KR101611531B1 (ko) * 2009-11-13 2016-04-12 삼성전자주식회사 촬영장치 및 촬영영상 제공방법
US9185468B2 (en) 2010-12-20 2015-11-10 Google Technology Holdings LLC MP4 container file formats and methods of processing MP4 container files
WO2011144097A2 (zh) * 2011-05-26 2011-11-24 华为技术有限公司 重排、抽取分片中媒体数据的方法、设备及系统
JP2013051607A (ja) * 2011-08-31 2013-03-14 Canon Inc データ処理装置、方法および制御プログラム
US9330101B2 (en) * 2013-12-18 2016-05-03 Microsoft Technology Licensing, Llc Using constraints on media file formats to improve performance
KR101676400B1 (ko) * 2015-10-27 2016-11-15 삼성전자주식회사 촬영장치 및 촬영영상 제공방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3060919B2 (ja) * 1995-11-16 2000-07-10 松下電器産業株式会社 圧縮動画像復号・表示装置および圧縮動画像簡易編集装置
JP2883603B1 (ja) * 1998-03-02 1999-04-19 三洋電機株式会社 記録媒体再生装置
JP3403636B2 (ja) 1998-04-06 2003-05-06 パイオニア株式会社 情報記録媒体及びその再生装置
JP2000353134A (ja) 1999-06-10 2000-12-19 I4 Corp 情報提供方法およびその記録媒体
JP2002027381A (ja) * 2000-07-07 2002-01-25 Toshiba Corp 録画再生装置

Also Published As

Publication number Publication date
CN1650624A (zh) 2005-08-03
US7436859B2 (en) 2008-10-14
US20050155071A1 (en) 2005-07-14
EP1501301A4 (en) 2014-04-30
EP1501301A1 (en) 2005-01-26
EP1501301B1 (en) 2017-04-19
WO2003092285A1 (fr) 2003-11-06
AU2003227449A1 (en) 2003-11-10

Similar Documents

Publication Publication Date Title
US8010566B2 (en) Extended multimedia file structure and multimedia file producting method and multimedia file executing method
KR100977578B1 (ko) 부호화/복호화 방법 및 장치.
CN106576151B (zh) 视频处理装置和方法
CN100484229C (zh) 逆多路复用装置及多路复用装置
US7424333B2 (en) Audio fidelity meter
CN103069812A (zh) 提供基于分段的多媒体流服务的方法及装置、接收基于分段的多媒体流服务的方法及装置
US10104356B2 (en) Scenario generation system, scenario generation method and scenario generation program
US20110160886A1 (en) Method for file formation according to freeview av service
CN101017696B (zh) 标签信息产生装置和标签信息产生方法
RU2012102478A (ru) Способ распространения аудиовизуальных произведений (варианты)
CN102969013A (zh) 数据处理设备及其控制方法
JP4436617B2 (ja) 逆多重化装置
KR101390810B1 (ko) 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치
KR101295377B1 (ko) 파일 포맷을 구성하는 방법과 상기 파일 포맷을 가지는파일을 포함한 방송 신호를 처리하는 장치 및 방법
CN100380985C (zh) 信号处理装置
CN107005736A (zh) 识别媒体类型
CN101714162B (zh) 信息处理和信息提供装置、方法、程序和信息处理系统
CN113852857A (zh) 一种基于html5视频帧步进时的声音播放方法及系统
CN112929686A (zh) 线上实时回放录制视频的方法及装置
KR100670443B1 (ko) 음악/이미지 동조용 데이터 파일이 기록된 컴퓨터로 읽을수 있는 기록매체 및 이미지 데이터 샘플을 오디오 파일에삽입하는 방법
JP4383721B2 (ja) 多重化分離装置
KR20040101187A (ko) 역다중화 장치
KR20060119533A (ko) 오디오/비디오 동기용 멀티미디어 파일 작성 프로그램을기록한 컴퓨터로 읽을 수 있는 기록매체 및 오디오/비디오동조화 장치
JP2023091483A (ja) 格納装置、再生装置、格納方法、再生方法、データ構造、及びプログラム
CN100369031C (zh) 一种音乐电视制作播放系统及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090429

Termination date: 20190422

CF01 Termination of patent right due to non-payment of annual fee