CN101604545B - 生成设备以及生成方法 - Google Patents

生成设备以及生成方法 Download PDF

Info

Publication number
CN101604545B
CN101604545B CN2009101464958A CN200910146495A CN101604545B CN 101604545 B CN101604545 B CN 101604545B CN 2009101464958 A CN2009101464958 A CN 2009101464958A CN 200910146495 A CN200910146495 A CN 200910146495A CN 101604545 B CN101604545 B CN 101604545B
Authority
CN
China
Prior art keywords
captions
demonstration
demonstration group
data
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101464958A
Other languages
English (en)
Other versions
CN101604545A (zh
Inventor
浜田俊也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101604545A publication Critical patent/CN101604545A/zh
Application granted granted Critical
Publication of CN101604545B publication Critical patent/CN101604545B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本发明公开了生成设备、生成方法以及程序，其中，该生成设备包括：字幕编码单元，用于通过对字幕的图像数据进行编码来生成字幕数据；以及确定单元，用于基于通过对图像数据进行编码获得的编码数据的大小来确定字幕的再生对于其显示是否及时，将字幕数据分为作为显示单位的显示组，以及确定单元根据编码数据的大小与处理时间之间的大小-时间关系从感兴趣的显示组的编码数据的大小中获得关于感兴趣的显示组的处理时间，并在关于感兴趣的显示组的可用时间低于关于感兴趣的显示组的处理时间时，确定感兴趣的显示组的字幕的再生对于其显示是不及时的，从而输出错误信息。通过本发明，可以执行字幕的再生以对于其字幕的显示是及时的。

Description

生成设备以及生成方法
相关申请的交叉参考 
本发明包含于2008年6月10日向日本专利局提交的日本优先权专利申请JP 2008-151695所公开的主题，其全部内容结合于此作为参考。 
技术领域
本发明涉及生成设备、生成方法以及程序，具体地，涉及允许从具有符合例如MP4文件格式或ISO基本媒体文件格式等的格式的、存储有关于字幕的字幕数据的文件中再生字幕以对于其字幕的显示及时的生成设备、生成再生以及程序。 
背景技术
对于文件的格式，例如，ISO基本媒体文件格式(ISO/IEC(国际标准化组织/国际工程协会))144996-12：第12部分)是可用的(例如，参见ISO/IEC 14496-12：2005(E)第12部分：ISO基本媒体文件格式)。 
此外，对于源于ISO/IEC 14496-12：第12部分的格式，MP4文件格式(ISO/IEC 14496-14：第14部分)是可用的(例如，参见ISO/IEC 14496-14：2003(E)第14部分：MP4文件格式)。 
通过ISO基本媒体文件格式和MP4文件格式的管理方法，显示单位(访问单位)中的显示时间与从显示单位中的显示开始时间到下一显示单位中的显示开始时间的时间是相同的，例如，对于移动画面数据的兼容性较高。例如，关于移动画面数据，将一帧或一个GOP(画面组)作为显示单位，并且可以将其显示边缘存储在ISO基本媒体文件格式的文件中作为ISO基本媒体文件格式的一个样本(与一个样本相关)。 
现在，在ISO基本媒体文件格式和MP4文件格式中，例如，下文描述ISO基本媒体文件格式。然而，以下描述对MP4文件格式也是正确的。 
发明内容
顺便提及，近年来，通过用于分配数据的配置(例如，互联网和LAN(局域网))，存在趋向于移动画面内容和音频内容的分配的数据分配趋势。还存在关于这种分配的要求以在移动画面上叠加并显示字幕。 
关于移动画面内容，已经存在对通过叠加在移动画面上来显示的字幕的需求。然而，在字幕数据存储在符合ISO基本媒体文件格式的文件(其中存储有诸如移动画面数据、音频数据等的所谓的媒体数据)中的情况下，字幕的再生在很多情况下可能对于其字幕的显示不及时。 
具体地，通过ISO基本媒体文件格式，开始显示(输出)数据的显示(输出)开始时间可通过元数据来管理，而不是通过用于数据再生的解码时间也不是开始再生数据的解码开始时间来管理。因 此，在字幕数据存储在符合ISO基本媒体文件格式的文件中的情况下，字幕的再生在很多情况下可能对于其字幕的显示不及时。 
已经意识到，在字幕数据存储在符合ISO基本媒体文件格式等的文件中的情况下，期望从其文件中再生字幕以对于其字幕的显示是及时的。 
根据本发明的实施例，生成设备或使计算机用作生成设备的程序，包括：字幕编码单元，被配置为通过对字幕的图像数据进行编码来生成包括关于移动画面的移动画面数据以及关于在移动画面的整个显示区间上显示的字幕的字幕数据的数据流中的字幕数据；以及确定单元，被配置为基于通过对字幕的图像数据进行编码获得的编码数据的大小来确定字幕的再生对于字幕的显示是否及时，其中，将字幕的显示恒定的区间作为字幕的显示单位，将字幕数据分为显示组，显示组是显示单位中的字幕数据，以及其中，在当显示紧接在作为被注意的显示组的感兴趣的显示组的字幕之前被显示的字幕时的显示开始时间与感兴趣的显示组的字幕的显示开始时间之间的时间被当作可用于再生感兴趣的显示组的可用时间，并且此外用于再生感兴趣的显示组的时间被当作处理时间的情况下，确定单元根据大小-时间关系从感兴趣的显示组的编码数据的大小中获得关于感兴趣的显示组的处理时间，其中，大小-时间关系是在编码数据的大小与处理时间之间预先获得的关系，当关于感兴趣的显示组的可用时间低于关于感兴趣的显示组的处理时间时，确定感兴趣的显示组的字幕的再生对于其字幕的显示是不及时的，从而输出表示错误的错误信息。 
根据本发明实施例的生成方法是包括以下步骤的生成方法：被配置为生成包括关于移动画面的移动画面数据以及关于在移动画面的整个显示区间上显示的字幕的字幕数据的数据流的生成装置 通过对字幕的图像数据进行编码来生成字幕数据；以及基于通过对字幕的图像数据进行编码获得的编码数据的大小来确定字幕的再生对于字幕的显示是否及时，其中，将字幕的显示恒定的区间作为字幕的显示单位，将字幕数据分为显示组，显示组是显示单位中的字幕数据，以及在当显示紧接在作为被注意的显示组的感兴趣的显示组的字幕之前被显示的字幕时的显示开始时间与感兴趣的显示组的字幕的显示开始时间之间的时间被当作可用于再生感兴趣的显示组的可用时间，并且此外用于再生感兴趣的显示组的时间被当作处理时间的情况下，根据大小-时间关系从感兴趣的显示组的编码数据的尺寸中获得关于感兴趣的显示组的处理时间，其中，大小-时间关系是在编码数据的大小与处理时间之间预先获得的关系，当关于感兴趣的显示组的可用时间低于关于感兴趣的显示组的处理时间时，确定感兴趣的显示组的字幕的再生对于其字幕的显示是不及时的，从而输出表示错误的错误信息。 
根据上述设置，将字幕的显示恒定的区间作为字幕的显示单位，将字幕数据分为显示组，显示组是显示单位中的字幕数据。此外，在当显示紧接在作为被注意的显示组的感兴趣的显示组的字幕之前被显示的字幕时的显示开始时间与感兴趣的显示组的字幕的显示开始时间之间的时间被当作可用于再生感兴趣的显示组的可用时间，并且此外用于再生感兴趣的显示组的时间被当作处理时间的情况下，根据大小-时间关系从感兴趣的显示组的编码数据的尺寸中获得关于感兴趣的显示组的处理时间，其中，大小-时间关系是在编码数据的大小与处理时间之间预先获得的关系。随后，当关于感兴趣的显示组的可用时间低于关于感兴趣的显示组的处理时间时，确定感兴趣的显示组的字幕的再生对于其字幕的显示是不及时的，从而输出表示错误的错误信息。 
生成设备可以是独立设备，或者可以是组成一个设备的内部块。此外，可以通过传输介质传输或者在记录介质中记录来提供程序。 
根据上述结构，可以执行字幕的再生以对于其字幕的显示是及时的。 
附图说明
图1是示出存储在符合ISO基本媒体文件格式的文件中的媒体数据的实例的示图； 
图2A～图2D是示出ISO基本媒体文件格式的原子(stom)的概括的示图； 
图3A和图3B是描述字幕显示的示图； 
图4是描述新格式的示图； 
图5是示出存储在新格式文件中的数据流的实例的示图； 
图6是示出存储在新格式文件中的字幕数据的数据结构的实例的示图； 
图7是示出激活显示组的定时的示图； 
图8A和图8B是示出显示组的数据结构的实例的示图； 
图9是示出PCS(页面组成段)的语法的实例的示图； 
图10是描述PCS中的page_state(页面状态)值的示图； 
图11是示出RDS(区域定义段)的语法的实例的示图； 
图12是示出字幕、区域和字幕平面的关系的示图； 
图13是示出CDS(CLUT定义段)的语法的实例的示图； 
图14是示出ODS(对象数据定义段)的语法的实例的示图； 
图15是示出END(显示组结束段)的语法的实例的示图； 
图16是示出根据实施例的再生设备的结构实例的框图； 
图17是描述字幕再生处理的流程图； 
图18是示出显示组的再生和显示顺序的示图； 
图19A和图19B是用于描述规则R1～R3的示图； 
图20是示出大小-时间关系的示图； 
图21是示出根据实施例的生成设备的结构实例的框图； 
图22是描述字幕生成处理的流程图；以及 
图23是示出根据实施例的计算机的结构实例的框图。 
具体实施方式
在ISO基本媒体文件格式的简要预备描述之后，紧接着描述本发明的实施例。图1示出了存储在符合ISO基本媒体文件格式的文 件中的媒体数据的实例。在图1中，将媒体数据分为样本#1～样本#9的九个样本。 
这里，一个样本是用于显示(输出)媒体数据的显示(输出)单位。例如，在媒体数据为移动画面数据的情况下，作为MPEG(运动图像专家组)-2视频标准等的一帧或一个GOP(画面组)对应于一个样本。此外，例如，在媒体数据为音频数据的情况下，通过其音频数据标准确定的一个音频帧等对应于一个样本。 
将样本没有间隙地密集配置在时间轴上，即，以再生时间顺序密集地配置，并且在再生时顺序进行再生。对于ISO基本媒体文件格式，由一个或多个样本构成组块(chunk)。组块是具有相同特性的一个或多个连续样本的组。对于移动画面数据，例如，将具有相同帧率等的连续样本当作一个组块。此外，对于音频数据，将具有相同取样频率或量化步长等的连续样本当作一个组块。 
在图1中，作为从从开始的三个样本的样本Sample#1～Sample#3构成一个组块Chunk#1，随后的三个样本Sample#4～Sample#6构成一个组块Chunk#2，随后的一个样本Sample#7构成一个组块Chunk#3，随后的一个样本Sample#8构成一个组块Chunk#4，以及最后一个样本Sample#9构成一个组块Chunk#5。 
对于ISO基本媒体文件格式，在称为样本表格原子(下文适当地称作原子)的一些类型的数据库中记录用于开始每个样本的显示(输出)的显示(输出)开始时间。术语“原子”表示用于存储关于媒体数据的元数据(信息、属性)的数据库结构。例如，在ISO/IEC14496-12：2005(E)第12部分：ISO基本媒体文件格式中描述了关于原子的细节。 
图2A～图2D示出了图1中的媒体数据的原子的概括。原子的实例包括时间-样本原子(time-to-sample atom)、样本大小原子、样本-组块原子(sample-to-chunk atom)以及组块偏移原子。图2A示出了作为图1中的媒体数据的时间-样本原子的概括。样本具有称为持续时间的再生时间(区间)，以及时间-样本原子表示持续时间(样本持续时间)和具有其持续时间的样本数量(样本数)之间的对应性。图2A中的时间-样本原子分别表示存在持续时间＝3的四个样本、持续时间＝1的两个样本以及持续时间＝2的三个样本。 
图2B示出了作为图1中的媒体数据的样本大小原子的概括。样本大小原子表示样本和通过字节数(大小)表示的样本大小之间的对应性。 
图2C示出了作为图1中的媒体数据的样本-组块原子的概括。样本-组块原子表示样本和组块之间的关系，并且关于具有相同样本数(每个组块的样本)和相同属性(样本描述ID)的组块的样本-组块原子被概括为一个条目(记录)。 
即，在样本-组块原子中描述了(表示)具有相同样本数和相同属性的一个或多个连续组块的顶部的组块(第一组块)和其一个或多个组块的样本数和属性(样本描述ID)(的信息)。 
在图1中的媒体数据中，对于顶部组块Chunk#1和第二(从顶部开始的第二个)组块Chunk#2的每一个，样本数为3，并且样本描述ID为23。因此，从图2C中的样本-组块原子的顶部开始的第一行条目描述了样本数为3且样本描述ID为23的连续两个组块Chunk#1和Chunk#2的顶部组块是组块Chunk#1，构成其组块的样本数为3，并且其样本描述ID为23。 
此外，在图1中的媒体数据中，对于第三组块Chunk#3和第四组块Chunk#4的每一个，样本数为1，并且样本描述ID为23。因此，从图2C中的样本-组块原子的顶部开始的第二行条目描述样本数为1且样本描述ID为23的连续两个组块Chunk#3和Chunk#4的顶部组块是Chunk#3，构成其组块的样本数为1，以及其样本描述ID为23。 
此外，在图1中的媒体数据中，对于最后(第五)组块Chunk#5，样本数为1，并且样本描述ID为24。因此，从图2C中的样本-组块原子的顶部开始的第三行条目描述了样本数为1且样本描述ID为24的一个组块Chunk#5的顶部组块是Chunk#5，构成其组块的样本数为1，以及其样本描述ID为24。 
图2D示出了作为图1中的媒体数据的组块偏移原子的概括。组块偏移原子表示组块和通过字节数(大小)表示的从其组块文件顶部开始的相对位置(偏移)之间的对应性。注意，对于ISO基本媒体文件格式，在原子中描述(记录)了每个样本的显示开始时间。 
对于移动画面和音频，完成特定样本的显示(输出)的显示结束时间(之后紧随的时间)变成下一样本的显示(输出)开始时间，所以当样本的显示(输出)开始时间到达时，开始每个样本的显示(输出)，从而显示(输出)连续的移动画面和音频。另一方面，为了通过叠加在移动画面上来显示字幕，不得不将关于其字幕的字幕数据作为媒体数据存储在符合ISO媒体文件格式的文件中。 
这里，字幕是诸如单独在特定时间段内(移动画面再生区间)叠加并显示在移动画面的特定区域上的字符的图像。 
图3A和图3B是描述字幕显示的示图。对于字幕，通过叠加在移动画面上开始显示，并且一旦过去特定时间段，就消除显示，根据需要进行重复。即，以间歇方式来显示字幕。 
对没有间距连续显示(输出)的样本预设符合ISO基本媒体文件格式的样本的管理。因此，通过ISO基本媒体文件格式，没有建立用于管理诸如字幕的以间断方式显示的媒体数据的方法，即，用于将字幕数据存储在文件中的方法作为标准。 
因此，例如，如果我们假定将关于一个字幕的字幕数据处理为一个样本，则ISO基本媒体文件格式引起不方便：没有定义(规定)特定字幕和接下来显示的字幕之间、不显示字幕的区间或者从移动画面的顶部直到显示第一个字幕的、没有显示字幕的区间。 
即，图3A示出了在将关于一个字幕的字幕数据处理为一个样本的情况下的字幕的显示。在将关于一个字幕的字幕数据处理为一个样本的情况下，没有定义如图3A中L1所示的、特定字幕和接下来显示的字幕之间、没有显示字幕的区间以及如图3A中L2所示的、从移动画面的顶部直到显示第一字幕的区间。 
为此，图3B示出了将在开始字幕显示之后消除其字幕直到(在其之前)开始下一字幕的显示(或直到移动画面的结束)处理为一个样本的情况下的字幕的显示。在将开始字幕显示之后直到开始下一字幕显示处理为一个样本的情况下，以再生时间顺序密集地配置字幕的样本以及移动画面或音频的样本。 
然而，即使在这种情况下，也没有消除未规定从移动画面的顶部开始直到显示第一字幕的、没有显示字幕的区间的不便。此外，一旦将显示字幕的区间以及在消除其字幕之后、没有显示其字幕的 区间被处理为一个样本，毫不例外地，字幕的一个样本的区间与显示字幕的区间相同。 
因此，符合ISO基本媒体文件格式的原子引起不便，其中，可以识别样本区间，但是没有识别实际上显示字幕的区间(实际显示区间)。 
因此，定义了适用于ISO基本媒体文件格式的字幕数据的数据结构(格式)，此外，定义了符合存储其数据结构的字幕数据的ISO基本媒体文件格式的文件格式(下文称作“新格式”)。 
将参照图4描述新格式。通过新格式，存储在文件中的数据流至少包括：关于移动画面的移动画面数据以及关于显示在其移动画面的整个显示区间上的字幕的字幕数据。此外，将字幕显示恒定的区间作为字幕的显示单位，将字幕数据分为显示组，该显示组为其显示单位中的字幕数据。 
即，通过新格式，字幕被认为显示在移动画面的整个显示区间上。然而，对于没有显示字幕的区间(非显示区间)，认为显示“没有”(不存在或不可见)的字幕。此外，字幕的显示(包括“没有”字幕)恒定以使没有改变字幕颜色等的区间被作为字幕的显示单位，并在显示单位中独立地定义字幕数据。 
现在，如果我们假定将用作显示单位的字幕数据称作显示组，则通过新格式，将关于显示在移动画面的整个显示区间上的字幕的字幕数据分为多个显示组。 
通过新格式，关于显示(可见)字幕的区间(显示区间)，存在其字幕的显示组，并且对于字幕的非显示区间，存在“没有”字幕显示组。 
此外，例如，在显示特定字幕之后改变其字幕的颜色、字符、显示位置等的情况下，应该存在用于其改变的字幕数据，所以通过不同显示组来定义改变以前的字幕和改变以后的字幕。 
通过新格式，可以通过一个或多个显示组的集合来定义叠加并显示在用作内容的移动画面上的一系列字幕。此外，通过新格式，一个显示组对应于符合ISO基本媒体文件格式的一个样本。 
图4示出了显示组和样本之间的对应关系。在图4中，以时间顺序配置隐藏字幕的非显示区间的显示组(“没有”字幕的显示组)#1、字幕A的显示组(用于显示字幕A的显示组)#2、非显示区间的显示组#3、字幕B的显示组#4、字幕C的显示组#5、非显示区间的显示组#6、字幕D的显示组#7以及非显示区间的显示组#8。显示组#1～#8的每一个都对应于一个样本。 
如上所述，将字幕显示恒定包括“没有”字幕的区间作为字幕的显示单位，并定义作为其显示单位中的字幕数据的显示组，从而可以消除未定义(规定)没有显示字幕的区间(非显示区间)的不便以及由于字幕的一个样本的区间与显示字幕的区间(显示区间)不同所以不能识别字幕显示区间的不便。 
随后，作为其结果，可以将字幕数据存储在符合ISO基本媒体文件格式的文件中(可以存储字幕数据以适当地显示字幕)。 
此外，将字幕显示恒定的区间(显示单位)的字幕数据作为显示组，从而可以适当地显示字幕。 
具体地，例如，在图4中，暂时地，在连续两个显示组#4和#5联合以形成一个显示组的情况下，根据由显示组#4和#5联合的显示组(下文称为“联合显示组”)，首先，显示字幕B，随后代替字幕B来显示字幕C。 
因此，例如，在应该显示字幕C的显示组#5的区间中执行随机访问的情况下，根据联合显示组，代替在显示组#5的区间中显示的字幕C而显示字幕B。 
另一方面，在存在字幕显示恒定的区间中划分的显示组#4和#5的情况下，当在应该显示字幕C的显示组#5的区间中执行随机访问时，显示字幕C。如上所述，可以显示在其区间中显示的字幕。 
图5示出了存储在新格式文件中的数据流的实例。存储在新格式文件中的数据流为符合ISO基本媒体文件格式的数据流，并且在图5中，将包括原子的元数据设置在其数据流的顶部。 
在元数据之后，顺次设置移动画面数据、音频数据和字幕数据。移动画面数据、音频数据和字幕数据中的每一个均为以样本为单位的数据。注意，存储在新格式文件中的数据流可以为不符合ISO媒体文件格式而符合MP4文件格式的数据流。 
如上所述，新格式的字幕数据的样本为显示组。显示组包括：字幕的图像数据以及表示屏幕(移动画面)上字幕的显示区域的诸如坐标、颜色(调色板)等的数据。 
此外，显示组还包括：稍后描述的用作表示显示在一个屏幕上的字幕数量的字幕数信息的numer_of_region_composition_objects、稍后描述的用作表示字幕透明度的透明度信息的T-value等。 
现在，numer_of_region_composition_objects由显示在一个屏幕(帧或场)上的字幕(对象)的id(标识)、表示字幕的显示区域的id和字幕的显示位置(的信息)构成。此外，T-value取0以上的值，并且在该值为0的情况下，这表示字幕完全透明(无色和透明)。 
通过非显示区间期间的显示组，将用作表示显示在一个屏幕上的字幕数量的字幕数信息的numer_of_region_composition_objects设置为0，或者将用作表示字幕的透明度的透明度信息的T-value设置为0。 
在numer_of_region_composition_objects为0的情况下，不存在要被显示的字幕。因此，根据numer_of_region_composition_objects为0的显示组，显示不存在的字幕，由此实现字幕的隐藏。 
此外，在T-value为0的情况下，显示完全透明的字幕。因此，根据T-value为0的显示组，显示完全透明的字幕，即，不可见的字幕，由此实现字幕的隐藏。 
具体地，当显示(字幕的)显示组时，用于再生新格式文件的稍后描述的再生设备清除(消除)在作为显示字幕的显示区域的区域内的字幕。因此，如果在该区域中存在以显示顺序通过最后的显示组显示的字幕，则清除其字幕。 
在清除在该区域中的字幕之后，再生设备开始绘制新字幕。这时，如果要被显示的字幕(对象)的数量为0，则在该区域中不进行绘制。此外，如果要被显示的字幕完全透明，则在该区域中绘制完全透明的字幕。在任意一种情况下，均等价地不显示字幕。 
图6示意性地示出了存储在新格式文件中的字幕数据(字幕图形流)的数据结构。注意，图6中的字幕数据的数据结构具有与BD-ROM(蓝光光盘只读存储器)的高兼容性，并通过AVCHD标准规定字幕的数据。因此，可以通过改进用于再生BD-ROM或符合AVCHD标准的记录介质的设备来容易地制造用于再生新格式文件的再生设备。即，当再生新格式文件时，并不需要从开始制造仅用于其文件的再生设备。 
在图6中，字幕数据由一个或多个时期(epoch)的阵列构成。一个时期由一个或多个显示组的阵列构成。对于显示组的类型，存在两种类型：显示周期开始显示组和显示改变点显示组。 
时期由一个显示周期开始显示组以及0以上的显示改变点显示组构成。具体地，显示周期开始显示组被设置在时期的顶部，此后，设置0以上的显示改变点显示组。以字幕的显示顺序一次一个地激活时期，并且用于新格式文件的再生设备保持关于有效时期的存储管理。具体地，在激活时期的同时，再生设备保持关于其时期的数据存储(包括处理时期的再生设备的状态)。此外，在激活特定时期之后的情况下，(不激活其时期)，激活下一个时期，再生设备不保持关于最后激活的时期的数据。 
时期是保持用于显示字幕的字幕平面(绘制字幕(的图像数据)的、用于显示字幕的存储器的存储区域)的存储内容并且当切换有效时期时(即，在显示周期开始显示组设置在有效时期顶部的定时) 清除字幕平面的单位。注意，如上所述，在显示改变点显示组的定时处清除字幕平面的区域。 
在激活时期的同时，对于其激活的时期可以激活一个调色板表(CLUT(颜色查找表)和多至两个字幕(对象)。因此，通过本发明，可以同时在一个屏幕上显示多至两个字幕(对象)。注意，同时显示的字幕数量不仅限于两个，可以只显示一个，或者同时显示三个以上的字幕。 
显示组是字幕数据的基本组成，并且是片段的集合。具体地，显示组由两个以上的片段组成，并且从页面组成段(下文称作为PCS)开始，在END片段结束。在PCS和END片段之间插入(设置)0以上的定义段。 
对于显示组顶部的PCS，添加表示用于开始其显示组(的字幕)的显示的显示开始时间的PTS(呈现开始时间)。因此，显示组包括PTS，并变成可以指定显示开始时间的最小单位。当通过其显示组(所包括的PCS)的PTS所表示的时间到达时，激活每一个显示组。 
注意，要被激活的显示组是包括在激活时期中的显示组。此外，不同时激活两个以上的显示组，因此，当激活特定显示组时，此时已经激活的显示组结束(不激活)。 
图7示出了激活显示组时的定时。我们假定特定显示组#0包括PCS#0，并且接下来显示的(显示字幕)显示组#1包括PCS#1。 
当通过添加至PCS#0的PTS所表示的显示开始时间到达时，激活包括PCS#0的显示组#0，并显示其显示组#0(的字幕)。此后， 当通过添加至PCS#1的PTS所表示的显示开始时间到达时，不激活显示组#0，取而代之，激活包括PCS#1的显示组#1。随后，显示激活的显示组#1。 
图8A和图8B示出了显示组的数据结构。如上所述，对于显示组的类型，存在显示周期开始显示组和显示改变点显示组两种类型。 
图8A示出了显示周期开始显示组的数据结构，图8B示出了显示改变点显示组的数据结构。显示周期开始显示组和显示改变点显示组具有相同的数据结构。具体地，如图6所示，显示组包括设置在其顶部的PCS和设置在末尾的END片段(下文还称作END)。即，显示组仅从一个PCS开始，并且仅以一个END结束。PCS仅指在包括其PCS的显示组内定义的对象。 
将定义段设置在PCS和END之间。对于定义段的类型，存在用于定义区域的区域定义段(下文还称作RDS)、用于定义调色板颜色的CLUT定义段(下文还称作CDS)和用于存储字幕的图像数据的对象定义段(下文还称作ODS)的三种类型。 
显示组仅包括一个RDS。RDS定义了包括其RDS的时期内的所有可用区域(显示字幕的显示区域)。区域的大小和位置在时期内没有改变。通过RDS，例如，可以定义多至两个区域。 
此外，显示组仅包括一个CDS。CDS定义了在包括其CDS的显示组内的可用颜色的信息(CLUT)。通过CDS，定义了除缺省值的颜色数据(稍后描述的CLUT_entry())之外的所有颜色数据。此外，显示组可以包括多至两个ODS。通过ODS，定义了从PCS参考的所有对象。 
两种类型的显示组之间的差异，即，在显示周期开始显示组(图8A)和显示改变点显示组(图8B)之间的差异仅在于是否表示时期的顶部。具体地，显示周期开始显示组表示时期的顶部(开始)。此外，将用于首先在时期内显示字幕的信息存储在显示周期开始显示组中。另一方面，在字幕的显示在时期内发生改变的情况下，将用于其改变的信息存储在显示改变点显示组中。 
显示周期开始显示组和显示改变点显示组都包括用于显示字幕的信息，并且还是能够在时期内开始包括解码等的再生的位置。 
因此，通过再生设备，即使当在时期中间读取字幕数据时，如果可以读入理想条件下的显示改变点显示组，就可以开始其显示改变点显示组的显示(的字幕)。 
图9示出了PCS的语法的实例。PCS主要存储诸如其上叠加有字幕的移动画面的分辨率、帧率等的移动画面的属性信息、显示组的类型(包括其PCS的显示组为显示周期开始显示组还是显示改变点显示组)、组成字幕的对象(字幕的图像数据)的id、显示字幕的区域的id以及用于在字幕平面上设置对象的坐标信息。 
具体地，在图9中，segment_type表示片段的类型。对于片段，存在图6和图8所述的PCS、END、RDS、CDS和ODS的五种类型。将表示片段为PCS的值设置为PCS的segment_type。 
segment_length表示从紧接在该segment_length的字段之后到片段(PCS)末尾的长度。 
video_horizontal_size表示其上叠加有包括该PCS的显示组的字幕的移动画面的平方向上的大小。具体地，将表示用于显示移动 画面的、作为绘制移动画面(的图像数据)的存储器的存储区域的视频平面水平方向上的像素数量的值设置为video_horizontal_size。 
video_vertical_size表示其上叠加有包括该PCS的显示组的字幕的移动画面的垂直方向上的大小。具体地，将表示视频平面的垂直方向上的线的数量的值设置为video_vertical_size。 
video_frame_rate表示其上叠加有包括该PCS的显示组的字幕的移动画面的帧率。 
page_version_number表示PCS的版本数。具体地，例如，将通过使紧接在包括该PCS的显示组之前显示的显示组中所包括的PCS的page_version_number的值增加1所获得的值设置为page_version_number。 
然而，在包括该PCS的显示组的字幕的对象与紧接在之前显示的显示组(下文还称作“最后显示组”)的字幕的对象相同(在通过采用对字幕显示所应用的ODS(的对象数据)执行字幕显示的情况下)，将与在最后显示组中包括的PCS的page_version_number的值相同的值设置为page_version_number。 
具体地，例如，除颜色之外，在包括该PCS的显示组的字幕的字符与最后显示组的字幕的字符相同的情况下，将与在最后显示组中包括的与PCS的page_version_number的值相同的值设置为page_version_number。 
因此，基本上，将通过使在最后显示组中包括的PCS的page_version_number的值增加1所获得的值设置为显示周期开始显示组的page_version_number。 
此外，根据显示改变点显示组的字幕的对象是否与最后显示组的字幕的对象相同，将通过递增最后显示组中包括的PCS的page_version_number的值所获得的值或相同值设置为显示改变点显示组的page_version_number。 
page_state表示显示组的类型。具体地，将表示包括该PCS的显示组为显示周期开始显示组还是显示改变点显示组的信息设置为page_state。 
ref_to_CLUT_id表示作为用于确定对包括该PCS的显示组的(字幕的)显示所应用的CLUT的id的CLUT_id。CLUT_id是在CDS中定义的。 
number_of_region_composition_objects表示在该PCS中定义的region_composition_object()的数量。通过本实施例，可以0～2范围内的整数值设置为number_of_region_composition_objects。 
region_composition_object()包括ref_to_object_id、ref_to_region_id、object_horizontal_position和object_vertical_position。当用于再生新格式文件的再生设备绘制字幕平面上的区域内的像素时，采用region_composition_object()。即，例如，根据region_composition_object()，执行将被显示字幕的对象(ODS)(的对象数据)的确定、显示字幕的区域的确定等。 
注意，一个region_composition_object()与通过包括该PCS的显示组内的RDS所定义的稍后描述的region()相关。例如，一个region()可以与多至两个region_composition_object()相关。 
ref_to_object_id表示作为确定包括该PCS的显示组的字幕的对象的id的object_id。通过ODS定义object_id。 
ref_to_region id表示作为用于确定指定(定义)对包括该PCS的显示组的(字幕的)显示所采用的区域的region()的id的region_id。通过RDS来定义region_id。 
注意，通过上述ref_to_object_id确定的所有字幕的对象(的像素)必须包括在通过由ref_to_region_id确定的region()所指定的区域的范围内。 
object_horizontal_position表示通过ref_to_object_id确定的字幕对象的左上角像素的显示位置在水平方向上的坐标。坐标原点是字幕平面(图形平面)左上角的像素点。object_horizontal_position的值必须包括在通过由ref_to_region_id确定的region()所指定的区域的范围内。 
object_vertical_position表示通过ref_to_object_id确定的字幕对象的左上角像素的显示位置在垂直方向上的坐标。以与object_horizontal_position情况相同的方式，坐标原点是字幕平面(图形平面)左上角的像素点。以与object_horizontal_position情况相同的方式，object_vertical_position的值必须包括在通过由ref_to_region_id确定的region()所指定的区域的范围内。 
这里，提供的region_composition_object()的数量与显示在包括该PCS的显示组上的字幕的数量相同。因此，可以说表示region_composition_object()的数量的number_of_region_composition_objects是表示显示在一个屏幕上的字幕数量的字幕数信息。 
对于非显示区间期间的显示组，例如，将用作字幕数信息的number_of_region_composition_objects设置为0，并显示不存在的字幕，从而隐藏字幕。 
图10是描述通过图9的PCS中的page_state所获得的值的示图。page_state取两字节的值。然而，在两字节的值中，为了进一步扩展，保留00b(b表示其先前值为二进位)和11b。 
在page_state为01b的情况下，这表示包括具有其page_state的PCS的显示组为显示改变点显示组。 
在page_state为10b的情况下，这表示包括具有其page_state的PCS的显示组是作为时期的开始(顶部)显示组的显示周期开始显示组。 
图11示出了RDS的语法的实例。在显示字幕的显示屏幕上的矩形显示区域的区域中，例如，RDS定义了左上角的坐标、水平方向上的像素大小和垂直方向上的像素大小。仅在通过RDS定义的区域内显示字幕。 
segment_type表示诸如在图9中描述的片段类型。将表示片段为RDS的值设置为RDS中的segment_type。 
segment_length表示从紧接在segment_length的字段前到片段(RDS)末尾的长度。 
number_of_regions表示通过该RDS定义的region()的数量。通过本实施例，可以将0～2范围内的整数值设置为number_of_regions。 
region()包括region_id、region_horizontal_position、region_vertical_position、region_width和region_height。region()定义了用于显示通过PCS中的ref_to_object_id确定的字幕的对象的区域(图9)(绘制对象的字幕平面的区域)。 
注意，通过一个RDS，可通过两个region()定义多至两个区域。然而，通过一个RDS定义的两个区域没有必要包括叠加。 
region_id是确定区域的唯一数。例如，region_id的值必须为00h(h表示先前值为16进制数)或01h。 
此外，如上所述，通过一个RDS，可定义多至两个region()，但是在一个RDS的情况下，定义了两个region()，两个region()的region_id的每个值必须为唯一值(不同值)。 
region_horizontal_position表示在通过region_id确定的区域(通过region()定义的区域)的左上角像素的位置在字幕平面上的水平方向的坐标。坐标原点是字幕平面上左上角的像素点。region_horizontal_position的值必须包括在0～video_horizontal_size(图9)-1的范围内。 
region_vertical_position表示通过region_id确定的区域左上角的像素位置在字幕平面上垂直方向的坐标。与region_horizontal_position的情况类似，坐标原点是字幕平面上左上角的像素点。region_vertical_position的值必须包括在0～video_vertical_size(图9)-1的范围内。 
region_width表示通过region_id确定的区域的宽度(水平方向上的长度)。region_width的值必须包括在1～video_horizontal_size(图9)-region_horizontal_position(图11)的范围内。 
region_height表示通过region_id确定的高度(垂直方向上的长度)。region_height的值必须包括在从1～video_vertical_size(图9)-region_vertical_position(图11)的范围内。 
图12示出了字幕(的对象)、区域和字幕平面之间的关系。根据PCS中的region_composition_object()(图9)，确定将被显示的字幕(的对象)、显示其字幕的区域等。具体地，通过包括在region_composition_object()中的ref_to_object_id(图9)来确定字幕的对象。 
此外，根据包括在region_composition_object()中的object_horizontal_position和object_vertical_position(图9)，确定字幕的对象的左上角像素的显示位置(目的位置)的水平方向和垂直方向的坐标的每一个。 
此外，根据包括在通过包括在region_composition_object()(图9)中的ref_to_region_id确定的region()(具有与通过ref_to_region_id表示的相同值的region())中的region_horizontal_position和region_vertical_position(图11)，确定显示字幕的区域的左上角像素的位置在字幕平面上的水平方向和垂直方向的坐标的每一个。 
此外，根据包括在region()中的region_width和region_height，分别确定显示字幕的区域的宽度和高度。 
图13示出了CDS的语法的实例。将CLUT(彩色调色板数据)存储在CDS中。CLUT包括时期内的可用颜色值的数量的、字幕平面上的颜色和透明度的信息。 
具体地，CDS定义了作为用于唯一确定颜色数据集合的CLUT(颜色查找表)的id的一组CLUT_id、作为CLUT版本数的CLUT_version_number、包括亮度Y、色差Cr和Cb以及透明度T作为分量的颜色数据、以及确定其颜色数据的id(指标)(CLUT_entry_id)。 
如图9所述，segment_type表示片段的类型。将表示片段为CDS的值设置为给CDS中的segment_type。 
segment_length表示从紧接在segment_length的字段之前到片段(CDS)末尾的长度。 
CLUT_id表示确定该CDS(其中存储CLUT)的唯一数。通过本实施例，例如，将CLUT固定为00h。 
CLUT_version_number表示时期内的该CDS(其中存储CLUT)的版本数。 
一旦将新CLUT定义段装入时期，将CLUT_version_number的值设置(复位)为0。一旦引入与最后CDS不同的CDS，例如，将CLUT_version_number的值设置为通过使最后CDS中的CLUT_version_number的值增加1所获得的值。 
具体地，将在时期内第一CDS中的CLUT_version_number设置为0。通过随后CDS中的CLUT_version_number，在其CDS中的CLUT(CLUT_entry())与时期内的最后CDS中的CLUT不同 的情况下，将通过使最后CDS中的CLUT_version_number增加1所获得的值设置给其，并且在其CDS中的CLUT与最后CDS中的CLUT相同的情况下，将与最后CDS中的CLUT_version_number相同的值设置给其。 
CLUT_entry()是CLUT的条目(记录)，并包括CLUT_entry_id、Y-value、Cr-value、Cb-value和T-value。 
CLUT_entry_id表示CLUT的条目的数量(指标)。根据CLUT_entry_id，确定特定的颜色。 
注意，例如，CLUT_entry_id为8位，并采用00h～FFh范围内的值。然后，CLUT_entry_id为FFh的条目CLUT_entry()没有被(可以不)存储在CDS中。因此，CLUT_entry_id为FFh的条目CLUT_entry()不(可以不)存在。 
例如，将CLUT_entry_id为FFh的条目CLUT_entry()的颜色数据处理为用作缺省值的完全透明的颜色。 
因此，可以将CLUT_entry_id为00h～FEh的多至255个CLUT_entry()存储在CDS中，并且对于字幕的颜色，可同时采用包括透明颜色(CLUT_entry_id为FFh的情况)的多至256种颜色。 
Y-value表示CLUT_entry_id所表示的条目CLUT_entry()的颜色数据的亮度Y。例如，Y-value取16～235的值。 
Cr-value表示CLUT_entry_id所表示的条目CLUT_entry()的颜色数据的色差Cr。例如，Cr-value取16～240的值。 
Cb-value表示CLUT_entry_id所表示的条目CLUT_entry()的颜色数据的色差Cb。例如，Cb-value取16～240的值。 
注意，亮度Y以及颜色偏差Cr和Cb符合Rec.ITU-R BT.601-5和Rec.ITU-R BT.709-5标准。 
T-value表示CLUT_entry_id所表示的条目CLUT_entry()的颜色数据的透明度T。T-value取0～255的值。值为255的T值表示颜色完全不透明，T-value的值越小，透明度越大。值为0的T-value表示颜色完全透明。 
这里，例如，将T-value的缺省值定义为0。此外，对于Y-value、Cr-value和Cb-value，不定义缺省值。 
注意，没有将CLUT_entry_id为00h～FFh的所有256个条目CLUT_entry()都存储在CDS中。 
然而，如上所述，将CLUT_entry_id为FFh的条目CLUT_entry()的颜色数据处理为完全透明的颜色，并且其条目CLUT_entry()没有被(可以不)存储在CDS中。在这种情况下，将没有存储在CDS中的条目CLUT_entry()的颜色数据处理为完全透明的颜色。 
这里，可以将T-value称作表示字幕的透明度的透明度信息。通过非显示区间期间的显示组，例如，将用作该透明度信息的T-value取表示颜色完全透明的值，即，取用作缺省值的0，并显示不可见的字幕，由此隐藏字幕。 
注意，为了隐藏字幕，通过存储在CDS中的CLUT的所有条目CLUT_entry()，T-value必须设置为0，但是通过本实施例，这可以通过在CDS中不存储CLUT的条目CLUT_entry()来等效地执行。 
图14示出了ODS的语法的实例。将字幕的对象(图像数据)、作为用于唯一地确定其对象的id的object_id以及对象的版本数(object_version_number)等存储在ODS中。 
如图9所述，segment_type表示片段的类型。将表示片段为ODS的值设置给ODS中的segment_type。 
segment_length表示从紧接在segment_length的字段之前到片段(ODS)末尾的长度。 
object_id是确定通过该ODS定义的字幕对象的唯一数。通过本实施例，如上所述，可通过一个时期同时显示多至两个字幕，将object_id设置为000h或0001h以确定多至两个字幕的对象。 
object_version_number表示通过该ODS定义的对象的版本数。 
将一个字幕的图像数据和其他数据存储在object_data()中。 
具体地，object_data()包括object_length、object_horizontal_size、object_vertical_size和encoded_data_string()。 
object_length表示从紧接在object_length的字段之后到object_data()末尾的字节数。 
object_horizontal_size表示在对象宽度(水平方向)上的像素数。例如，对象宽度必须为大于等于8个像素。因此，object_horizontal_size的值必须为8～video_horizontal_size的值(图9)。 
video_vertical_size表示对象高度(垂直方向)上的像素数。例如，对象高度必须为大于等于8个像素。因此，object_horizontal_size的值必须为8～video_horizontal_size的值(图9)。 
例如，将通过使字幕的图像数据(对象)经受行程长度压缩(runlength compression)所获得的编码数据存储在encoded_data_string()中。 
注意，例如，可以通过设置包括ODS的多个显示组来更新(改变)显示在时期内的字幕的对象，其中，将不同的encoded_data_string()存储在该时期内。 
此外，例如，字幕的图像数据包括CLUT_entry_id(图13)作为像素值。 
图15示出了END的语法的实例。END表示作为片段集合的显示组的结束。 
如图9所述，segment_type表示片段的类型。将表示片段为END的值设置给END中的segment_type。 
segment_length表示紧接在该segment_length的字段之后到片段(END)末尾的长度。 
图16是示出用于再生新格式文件的根据本发明实施例的再生设备的结构实例的框图。在图16中，再生设备由记录介质11、文件读入单元12、数据分配单元13、视频解码系统14、视频帧缓冲器15、合成单元16、显示帧缓冲器17、图像显示装置18、音频解码系统19、音频输出装置20和字幕解码系统30构成。 
将存储新格式数据流的文件(新格式文件)记录在记录介质11中。注意，记录介质11可以是再生设备内置的纪录介质(包括可与再生设备拆离的记录介质)，或者可以是外部记录介质(包括诸如互联网等的网络上的记录介质)。 
例如，文件读入单元12根据用户的操作等读入(接收)记录在记录介质11中的新格式文件，并将该新格式文件提供给数据分配单元13。 
数据分配单元13从文件读入单元12提取移动画面数据以及用于从存储在新格式文件中的数据流(图5)再生其移动画面数据的元数据，并将这些数据提供给(分配给)视频解码系统14。 
此外，数据分配单元13从文件读入单元12提取音频数据以及用于从存储在新格式文件中的数据流再生其音频数据的元数据，并将这些数据提供给音频解码系统19。 
此外，数据分配单元13从文件读入单元12提取字幕数据以及用于从存储在新格式文件中的数据流再生其字幕数据的元数据，并且将这些数据提供给字幕解码系统30。 
视频解码系统14根据来自数据分配单元13的数据以执行其数据的解码，从而再生移动画面的图像数据(基带的图像数据)以将该数据提供给视频帧缓冲器15。 
视频帧缓冲器15临时存储来自视频解码系统14的移动画面的图像数据，并将该数据提供给合成单元16。 
合成单元16将从字幕解码系统30提供的字幕的图像数据合成(叠加)至来自视频帧缓冲器15的移动画面的图像数据，并将作为合成结果获得的合成图像数据提供给显示帧缓冲器17。 
显示帧缓冲器17临时存储来自合成单元16的合成图像数据。 
图像显示装置18由诸如LCD(液晶显示器)、有机EL(电致发光)面板等的显示器构成，并显示与存储在显示帧缓冲器17中的合成图像数据相对应的图像。 
视频解码系统19根据来自数据分配单元13的数据以执行其数据的解码，从而再生音频数据以将该音频数据提供给音频输出装置20。 
音频输出装置20由未示出的放大器、扬声器等构成，使来自音频解码系统19的音频数据经受特定处理，并输出与作为其结果而获得的音频相对应的音频。 
字幕解码系统30是再生单元的实例，其根据字幕数据以再生字幕，并根据来自数据分配单元13的数据以使其数据经受解码等，从而再生字幕的图像数据以将其提供给合成单元16。 
具体地，字幕解码系统30由解码缓冲器31、字幕解码器32和字幕缓冲器33构成。 
解码缓冲器31临时存储从数据分配单元13提供给字幕解码系统30的数据。 
具体地，将用作字幕数据的显示组以及用作元数据的字幕的显示开始时间的数据(例如，关于字幕的ISO基本媒体文件格式的时 间-取样原子(图2A)等)从数据分配单元13提供给解码缓冲器31。 
解码缓冲器31临时存储来自数据分配单元13的显示组、字幕(显示组)的显示开始时间的数据。 
字幕解码器32读取存储在解码缓冲器31中的显示组，根据其显示组以再生字幕的图像数据(对象)，从而在后级的字幕缓冲器33上绘制该图像数据。 
具体地，例如，字幕解码器32将存储在从解码缓冲器31读出的显示组的ODS(图14)所包括的encoded_data_string()中的编码数据解码为字幕的图像数据(对象)。 
此外，字幕解码器32在字幕缓冲器33的存储区域的位置中绘制字幕的图像数据，该位置通过对应于包括在从解码缓冲器31读出的显示组的CDS(图13)中的CLUT_entry()的颜色和透明度、包括在其显示组的PCS(图9)中的object_horizontal_position和object_vertical_position等来确定。 
字幕缓冲器33具有所谓的双缓冲器结构，并临时存储来自字幕解码器32的字幕的图像数据，以将其提供给合成单元16。 
具体地，字幕缓冲器33由两个开关34和35以及两个帧缓冲器36和37构成。 
开关34选择帧缓冲器36和37中的一个，并将从字幕解码器32提供给字幕缓冲器33的字幕的图像数据提供给所选帧缓冲器。 
开关35选择帧缓冲器36和37中的一个，并从所选帧缓冲器读出字幕的图像数据，以将该数据提供给合成单元16。 
帧缓冲器36和37与上述字幕平面等效，并临时存储从开关34提供的字幕的图像数据。 
这里，开关34和35以联锁方式进行操作。具体地，当开关35选择帧缓冲器36和37中的一个时，开关34选择另一个。 
开关35选择帧缓冲器36和37中的一个，从而从所选帧缓冲器读出字幕的图像数据，并通过开关35、合成单元16和显示帧缓冲器17将该数据提供给图像显示装置18，从而在图像显示装置18上显示与存储在帧缓冲器36和37中的一个中的字幕的图像数据相对应的图像(字幕)。 
同时，开关34选择帧缓冲器36和37的另一个，从而将接下来要显示在图像显示装置18上的字幕的图像数据存储(绘制)在所选的另一个帧缓冲器中。 
具体地，在图像显示装置18上显示存储在帧缓冲器36和37中的一个中的字幕的图像数据(用作与其相对应的图像的字幕)的同时，执行帧缓冲器36和37的另一个的存储内容的更新，即，执行接下来要显示的字幕的图像数据的绘制。 
注意，开关35参考存储在解码缓冲器31中的字幕的显示开始时间的数据，并且一旦存储在帧缓冲器36和37中的一个中的字幕的图像数据的显示开始时间到达，开关35选择帧缓冲器36和37中的一个，并读出来自所选帧缓冲器的字幕的图像数据，以将该数据提供给合成单元16。 
如上所述，一旦开关35选择帧缓冲器36和37中的一个，开关34选择帧缓冲器36和37中的另一个。 
此外，一旦存储在帧缓冲器36和37中的一个中的字幕的图像数据的显示开始时间到达，字幕解码器32从解码缓冲器31读出接着存储在其一个中的字幕显示的字幕的显示组。此外，字幕解码器32根据接下来要显示的字幕的显示组，从解码缓冲器31读出以开始诸如字幕的图像数据的解码等的再生，并执行关于通过开关34选择的帧缓冲器36和37中的一个的字幕图像的绘制。 
重复上述处理，从而在图像显示装置18上以叠加在移动画面上的方式显示字幕。 
通过如上所述配置的再生设备，执行移动画面处理(移动画面再生处理)、音频处理(音频再生处理)和字幕处理(字幕再生处理)。 
具体地，通过移动画面再生处理，文件读入单元12读出移动画面数据以及用于从存储在记录介质11中的新格式文件再生其移动画面数据的元数据，以通过数据分配单元13将这些数据提供给视频解码系统14。 
视频解码系统14执行通过数据分配单元13提供的数据的解码等，从而再生移动画面的图像数据，以通过视频帧缓冲器15将该数据提供给合成单元16。 
合成单元16通过所执行的稍后将进行描述的字幕再生处理在通过视频帧缓冲器15提供的移动画面的图像数据上合成(叠加) 从字幕解码系统30提供的字幕的图像数据，并通过显示帧缓冲器17将作为合成结果获得的合成图像数据提供给图像显示装置18。 
通过图像显示装置18，根据通过显示帧缓冲器17提供的合成图像数据，显示与合成图像数据相对应的图像。 
另一方面，通过音频再生处理，文件读入单元12读出音频数据以及用于从记录在记录介质11中的新格式文件再生其音频数据的元数据，以通过数据分配单元13将这些数据提供给音频解码系统19。 
音频解码系统19执行通过数据分配单元13提供的数据的解码等，从而再生音频数据以将该数据提供给音频输出装置20。 
通过音频输出装置20，输出(发出)与来自音频解码系统19的音频数据相对应的音频。 
此外，通过字幕再生处理，文件读入单元12读出字幕数据以及用于从记录在记录介质11中的新格式文件再生其字幕数据的元数据，以通过数据分配单元13将这些数据提供给字幕解码系统30。 
字幕解码系统30执行通过数据分配单元13提供的数据的解码等，从而再生字幕的图像数据以将这些数据提供给合成单元16。 
如上所述，通过合成单元16，在来自视频帧缓冲器15的移动画面的图像数据上合成从字幕解码系统30提供的字幕的图像数据，并通过显示帧缓冲器17将合成图像数据提供给图像显示装置18。 
通过图像显示装置18，显示与合成图像数据相对应的图像，因此，以叠加在移动画面上的方式显示字幕。 
图17是通过图16中的再生设备描述字幕再生处理的流程图。 
在步骤S11中，文件读入单元12从记录在记录介质11中的新格式文件中读出用作用于再生字幕数据的元数据的字幕的显示开始时间的数据，以通过数据分配单元13将该数据提供给字幕解码系统30的解码缓冲器31。 
解码缓冲器31存储通过数据分配单元13提供的字幕的显示开始时间的数据，并且处理从步骤S11前进至步骤S12。 
在步骤S12中，文件读入单元12从记录在记录介质11中的新文件格式读出一个显示组，以通过数据分配单元13将该数据提供给字幕解码系统30的解码缓冲器31。 
具体地，例如，在记录在新格式文件中的还没有读出的显示组中，文件读入单元12读出记录至文件的顺序是最早的一个显示组，并通过数据分配单元13将该数据组提供给字幕解码系统30的解码缓冲器31。 
解码缓冲器31临时存储通过数据分配单元13提供的显示组，并且处理从步骤S12前进至步骤S13。 
在步骤S13中，字幕解码器32读出存储在解码缓冲器31中的显示组，并再生字幕的图像数据，以根据其显示组在字幕缓冲器33上绘制该图像数据。 
具体地，字幕解码器32将从解码缓冲器31读出的显示组解码为字幕的图像数据。 
此外，字幕解码器32在通过开关34选择的字幕缓冲器33的帧缓冲器36和37的一个(不被用于显示)上绘制(粘贴)字幕的图像数据。 
随后，处理从步骤S13前进至步骤S14，其中，字幕解码器系统30确定在最后的步骤S13中绘制的字幕的图像数据的显示开始时间是否已经到达。 
在步骤S14中确定在最后的步骤S13中绘制的字幕(下文还称作“最近的字幕”)的显示开始时间还没有到达的情况下，处理返回至步骤S14。 
此外，在步骤S14中确定最近的字幕的显示开始时间已经到达的情况下，处理前进至步骤S15，在步骤S15中，开关35选择字幕缓冲器33的帧缓冲器36和37中存储(绘制)最近的字幕的图像数据的一个。 
注意，这时，开关34选择没有被开关35选择的帧缓冲器36和37中的一个。 
在帧缓冲器36和37中，从通过开关35选择的一个帧缓冲器读出最近字幕的图像数据，并提供给合成单元16。 
通过合成单元16，在来自视频帧缓冲器15的移动画面的图像数据上合成从字幕解码系统30的开关35提供最近字幕的图像数据，并在图像显示装置18上显示与作为其结果获得的合成图像数据相对应的图像。即，以叠加在移动画面上的方式显示最近的字幕。 
随后，处理从步骤S15前进至步骤S16，其中，在文件读入单元12确定是否已经从记录在记录介质11中的新格式文件读出了所有的显示组。 
在步骤S16中确定还没有从新格式文件读出所有显示组的情况下，即，在存在还没有被读出的显示组的情况下，处理返回至步骤S12，如上所述，在步骤S12中，文件读入单元12读出还没有读出的显示组中的一个显示组，即，读出跟随最近字幕的显示组的显示组，并通过数据分配单元13将该显示组提供给解码缓冲器31。 
解码缓冲器31临时存储通过数据分配单元13提供的显示组，并且处理从步骤S12前进至步骤S13。 
在步骤S13中，字幕解码器32读出存储在解码缓冲器31中的显示组(跟随最近字幕显示组的显示组)，并根据其显示组，再生字幕的图像数据以在通过开关34选择的帧缓冲器36和37中的一个上绘制该字幕的图像数据。此后，重复相同的处理。 
另一方面，在步骤S16中确定已经从新格式文件读出了所有显示组的情况下，字幕再生处理结束。 
如上所述，通过字幕解码系统30，当最近字幕的显示开始时间到达时，在帧缓冲器36和37中，在开关35处选择存储最近字幕的图像数据的一个，因此，通过图像显示装置18以叠加在移动画面上的方式显示最近的字幕。 
此外，当最近字幕的显示开始时间到达时，通过字幕解码器32，开始再生跟随最近字幕的显示组的显示组，并在通过开关34选择 的帧缓冲器36和37的一个上绘制通过其再生获得的字幕的图像数据。 
如上所述，开关34和35以联锁方式进行操作，其中，当开关35选择帧缓冲器36和37中的一个时，开关34选择另一个。 
因此，在帧缓冲器36和37中，当开关35选择存储最近字幕的图像数据的一个，并由此在图像显示装置18上显示最近的字幕时，通过开关34在帧缓冲器36和37中选择没有存储最近字幕的图像数据的一个，并在通过开关34选择的一个缓冲器上绘制通过字幕32再生的下一字幕的图像数据(跟随最近的字幕的显示组的显示组的字幕的图像数据)。 
如上所述，通过字幕解码系统30，特定显示组(的字幕)的显示开始时间被视为用于开始诸如接下来要被显示的显示组的解码等的再生的解码开始时间(再生开始时间)，因此，顺次再生显示组。具体地，当特定显示组的显示开始时间到达时，开始其显示组的字幕的显示，与此同时，从文件中读入接下来要被显示的显示组(的字幕)，并开始其再生。 
注意，对于第一显示组(首先要显示的显示组)，不存在其最后显示组，因此，一旦从文件读出第一显示组并存储在解码缓冲器31中，字幕解码器32立即开始其再生。 
此外，对于非显示区间期间的显示组，即，PCS中的number_ofregion_composition_objects(图9)为0的显示组或者CDS中的T_value(图13)为0的显示组，在步骤S13中，字幕解码器32根据其显示组来再生没有字幕的图像数据或者完全透明的字幕的图像数据。因此，隐藏字幕。 
如上所述，通过字幕的显示恒为字幕的显示单位的区间，将字幕数据分为每一个均为显示单位中的字幕数据的显示组，此外，在显示组中包括用作表示要被显示在一个屏幕上的字幕数的字幕数信息的number_of_region_composition_objects和用作表示字幕的透明度的透明度信息的T_value，并且对于隐藏字幕的非显示区间期间的显示组，将number_of_region_composition_objects设置为0，或者将T_value设置为0以隐藏字幕，并且将字幕数据存储在符合ISO基本媒体文件格式或MP4文件格式的文件中(以适当地显示字幕)，从而，可以根据存储其字幕数据的文件适当地执行字幕的显示(文件(内容)创建者想要的字幕的显示)。 
注意，新格式中的字幕数据的数据结构考虑DVB(数字视频广播)的字幕数据流。 
具体地，如图6所示，通过采用由从等层开始的时期、显示组、和片段的三个等级所组成的等级结构将字幕数据存储在新格式文件中，这对于DVB的字幕数据流是共同的。 
此外，如图6所述，字幕数据由一个或多个时期的阵列组成，一个时期由一个或多个显示组的阵列组成，并且显示组由片段组成，通常，这对于DVB的时期、显示组和片段是共同的。 
然而，在不修改的情况下，不将DVB的字幕数据流存储在符合ISO基本媒体文件格式(对于MP4文件格式也是一样的)的文件中。 
另一方面，新格式中的字幕数据的数据结构与关于图9、图11、图13中描述的每个片段的内容(语法)等、图10中描述的显示组 的类型等的DVB的字幕数据流不同，以存储在符合ISO基本媒体文件格式的文件中。 
此外，新格式中的字幕数据的数据结构与DVB的字幕数据流的不同之处在于一个显示组对应于ISO基本媒体文件格式的一个取样。这还用于将字幕数据存储在符合ISO基本媒体文件格式的文件中。 
注意，例如，在ETSI EN 300743，数字视频广播(DVB)；字幕系统中描述了DVB的字幕数据流。 
接下来，如上所述，在符合ISO基本媒体文件格式等的文件中存储字幕数据作为显示组的情况下，如果可以将用于开始诸如其显示组(的字幕)的解码等的再生的解码开始时间和用于开始显示的显示开始时间与元数据一起存储在文件中，则通过字幕解码系统30(图16)，期望在解码开始时间处开始诸如显示组的解码等的再生，并在显示开始时间处开始字幕的显示。 
然而，通过ISO基本媒体文件格式(对于MP4文件格式也一样)，可作为元数据来管理显示开始时间，但是没有定义用于管理解码开始时间的方法还有用于诸如解码等的再生时间(解码时间)。 
注意，例如，MPEG2视频的DTS(解码时戳)是解码开始时间，但是通过MPEG2视频，存在DTS和PTS(当前时戳)匹配的画面，所以用于画面解码的解码时间本身在解码器模型上被认为为0。这里，DTS和PTS之间的差异是用于B画面(双向预测画面)的重新排序的时间，并且不考虑解码时间本身。 
在以ISO基本媒体文件格式存储显示组作为字幕数据的情况下，如上所述，可以管理显示组的(字幕的)显示开始时间，但是用于开始诸如显示组的解码等的再生的解码开始时间和用于诸如解码等的再生时间是不被管理的。 
因此，一旦以ISO基本媒体文件格式存储显示组而不考虑处理时间，引起以下不便：显示组的再生对于其显示组的显示开始时间不及时，因此，不适当地显示字幕(字幕显示失败)。 
即，通过图16中的再生设备，可以从存储在新格式文件中的元数据中识别出显示组的显示开始时间。然而，再生设备不能识别何时应该开始再生，以使显示组的再生对于其显示开始时间及时。 
因此，通过图16中的再生设备，例如，如上所述，作为显示组的显示开始时间，采用紧接在其显示组之前的显示组的显示开始时间，当特定显示组的显示开始时间到达时，开始诸如下一显示组(接下来要显示的字幕的显示组)的解码等的再生。 
然而，在没有考虑用于诸如显示组的解码等的再生的时间而将显示组存储在新格式文件中的情况下，从特定显示组的显示开始时间至下一显示组的显示开始时间例外地完成诸如下一显示组的解码等的再生，并且存在字幕再生对于其字幕的显示不及时的可能性。 
因此，下文将给出关于以下方法的描述：对于用于通过以ISO基本媒体文件格式存储显示组生成新格式文件的生成设备，通过将特定约束加在其文件生成上(下文还称作“文件生成约束”)，执行根据其文件的字幕的再生，从而及时显示其字幕。 
注意，对于用于再生新格式文件的再生设备，假定采用了图16中的再生设备，即，仅包括一个用于执行显示组的解码的字幕解码器32的再生设备(可以单独执行一个显示组的解码，但是不能同时执行多个显示组的解码的再生设备)。 
图16中的再生设备包括单独的一个字幕解码器32，所以为了使字幕的再生对于其显示是及时的，存在两种条件，其中，对于第一条件，用于特定显示组的解码的必要解码时间与另一显示组的解码时间不重叠，对于第二条件，完成字幕解码器32进行的解码显示组的解码完成时间是其显示组的显示开始时间之前的时间。 
试验性地，通过新格式文件，如果可以管理(存储)显示组的显示开始时间和解码开始时间，则在生成设备中生成存储显示组的文件以满足第一条件和第二条件，从而在再生设备中字幕的再生对于其显示可以是及时的。 
具体地，在这种情况下，通过再生设备，利用新格式文件在解码开始时间处开始诸如显示组的解码等的再生，并在显示开始时间处开始显示，从而字幕的再生对于其显示可以是及时的。 
图18示出了通过生成的文件而执行以满足第一条件和第二条件的显示组的再生和显示时序。通过再生设备，当解码开始时间到达时，开始诸如显示组的解码等的再生。随后，当显示开始时间到达时，开始显示组的(字幕)显示。 
解码开始时间和显示开始时间满足第一条件和第二条件，所以通过再生设备，如上所述，分别根据解码开始时间和显示开始时间来执行显示组的再生和显示，从而，字幕的再生对于其显示可以是及时的。 
顺便提及，用于显示组再生的时间基本等于用于解码的时间。用于解码的时间，由此所使用的时间取决于多种因素，诸如字幕编码数据(encoded_data_string()(图14))的编码方法、字幕的大小(像素数)、字幕颜色的数量、字幕(的图像)的复杂性、叠加字幕的移动画面的帧率、分辨率等，所以对于每个显示组(样本)来说都是不同的。 
通过生成设备，如果根据取决于各种因素并且对于每个显示组来说都不同所使用的这种时间，则执行用于确定满足第一条件和第二条件的解码开始时间和显示开始时间的处理，其处理负荷大大增加。 
注意，通常在内容创作时确定显示开始时间，所以基本上，通过生成设备，确定满足第一条件和第二条件的解码开始时间。 
此外，对于用于再生新格式文件的再生设备，其中，将字幕数据存储在符合诸如上述ISO基本媒体文件格式的文件中，必须具有样本的解码开始时间的解码器模型不适用于其。 
具体地，通过ISO基本媒体文件格式，可以通过用作元数据的时间-样本原子(图2A)的持续时间(样本持续时间)而获得的样本的显示组的显示开始时间，但是不存在用于表示样本的解码开始时间的方法。 
因此，即使在生成设备中确定了满足第一条件和第二条件的解码开始时间和显示开始时间，用于再生新格式文件的再生设备不识别在生成设备中确定的解码开始时间。 
因此，不期望强加确定满足第一条件和第二条件的解码开始时间和显示开始时间作为文件生成约束。 
因此，为了防止生成设备的处理负荷大大增加，并利于用于再生新格式文件的再生设备使字幕的再生对于其显示是及时的，将采用以下规则R1～R6作为文件生成约束。 
相同地，规则R1是设置用于开始诸如显示组的解码等的再生的解码(再生)开始时间以及用于开始紧接在之前显示的字幕的显示组的显示的显示开始时间。 
当注意特定显示组时，规则R2把从紧接在其感兴趣的显示组(感兴趣的显示组)之前要被显示的显示组(最后显示组)的显示开始时间直到感兴趣的显示组的显示开始时间的时间(在最后显示组的显示开始时间和感兴趣的显示组的显示开始时间之间的时间)作为可用于再生感兴趣的显示组的可用时间T。 
代替规则R2，在最后显示组为非显示区间中的显示组的情况下，采用规则R3，并将从进一步紧接在紧接感兴趣的显示组之前的要显示的显示组之前的显示开始时间直到感兴趣的显示组的显示开始时间的时间作为感兴趣的显示组的可用时间T。 
将用于诸如感兴趣的显示组的解码等的再生的时间Tmin作为感兴趣的显示组的可用时间T的最小值，规则R4防止可用时间T小于时间Tmin。 
根据规则R4，感兴趣的显示组的可用时间T大于等于时间Tmin，从而保证在可用时间T期间完成诸如感兴趣的显示组的解码等的再生，即，直到其显示开始时间完成感兴趣的显示组的再生。 
因此，可以执行感兴趣的显示组的再生，以对于其显示是及时的。此外，在完成诸如感兴趣的显示组的解码等的再生之前，感兴趣的显示组的显示开始时间，即，跟随感兴趣的显示组的显示组的解码开始时间到达，从而可以防止诸如显示组的解码等的再生处理失败。 
注意，如果我们假定将连续的两个显示组之间的显示开始时间间隔作为显示组间隔，则可用时间T由于通用规则而变成显示组间隔。此外，时间Tmin是显示组间隔的最小值以保证执行显示组的再生以对于其显示是及时的。 
根据规则R4，没有通过关于其显示组自身的参数，而是通过最后显示组(在应用规则R3的情况下，进一步在最后显示组之前要显示的显示组)的显示时间(显示组间隔)来约束在显示时间轴上的何处设置特定显示组。 
规则R5假设感兴趣的显示组的时间Tmin仅取决于感兴趣的显示组的编码数据(encoded_data_string()(图14))。 
具体地，实际上，显示组的时间Tmin接收多种因素的影响，诸如用于将副标题(的图像数据)编码成为编码数据的编码方法、字幕的图像数据的大小、字幕的(图像的)大小(水平像素数×垂直像素数)、字幕颜色的数量、字幕的(图像的)复杂性、字幕的形状(字幕为纵向还是横向等)、显示字幕的显示位置、以及进一步地叠加字幕的移动画面的帧率、扫描类型(隔行或逐行)、位速率(峰值速率和平均速率)等。 
在考虑这些所有各种因素的同时获得时间Tmin的情况下，可以获取精确值作为时间Tmin，但是另一方面，用于获取时间Tmin的处理的负荷会增加。 
此外，为了在考虑这些所有各种因素的同时获得时间Tmin，例如，必须通过作为自变量(argument)的这些各种因素来获得用于输出具有精确值的时间Tmin的函数(模型)，但是难以获得这种函数。 
为此，采用假设感兴趣的显示组的时间Tmin仅取决于感兴趣的显示组的编码数据的规则R5，从而，可以容易地获得时间Tmin。 
在感兴趣的显示组是数据流中首先要显示的数据组的情况下，规则R6是不应用规则R1～R5。 
具体地，将要显示在移动画面的整个显示区间上的字幕的显示组存储在新格式文件中，所以首先显示的显示组的显示开始时间与开始移动画面的显示的时间一致(必须一致)。 
随后，在所谓的启动延时中包括首先要显示的显示组的时间，因此最初地，显示组的再生对于其显示是及时的，因此，不必强加文件生成约束。 
例如，将规则R6应用于图4中首先要显示的显示组#1。图4中的显示组#1是非显示区间期间的显示组，但是还是将规则R6应用于除非显示区间之外的区间(显示区间)期间的显示组。 
下面将参照图19A和图19B进行关于规则R1～R3的进一步的描述。注意，下文中，感兴趣的显示组还称作当前显示组，以及最后显示组还称作在前显示组。 
在前显示组不是非显示区间期间的显示组的情况下，图19A示出了前显示组和当前显示组的阵列。 
从当前显示组的显示开始时间直到接下来要显示的显示组(后面的显示组)的显示开始时间，显示当前显示组(的字幕)。将从当前显示组的显示开始时间直到后面的显示组的显示开始时间的时间称作激活当前显示组的时间(周期)。 
在从在前显示组的显示开始时间直到当前显示组的显示开始时间的时间内显示在前显示组，所以该时间为激活在前显示组的时间。 
当假定执行显示组的再生对于其显示是及时的时，规则R1，即，将显示组的解码开始时间与最后显示组的显示开始时间设置为相同的规则等效于执行假设用于诸如当前显示组的解码等的再生时间小于等于激活在前显示组的时间的建模。 
具体地，如果已经执行显示组的再生以对于其显示是及时的，在在前显示组的显示开始时间处，必须完成其在前显示组的再生。 
因此，在前显示组的显示开始时间处，字幕解码器32(图16)可以开始对作为下一显示组的当前显示组的解码。随后，直到当前显示组的显示开始时间，即，在激活在前显示组的同时，必须完成诸如当前显示组的解码等的再生。 
注意，在其显示开始时间之前已经完成当前显示组的再生的情况下，在完成当前显示组的再生之后直到其显示开始时间，字幕解码器32为待机状态(等待数据)(等待后面的显示组的解码的开始的状态)。 
规则R2是从规则R1得出的规则。具体地，根据规则R1，在激活在前显示组的同时，从在前显示组的显示开始时间必须完成当前显示组的再生。 
因此，可用于当前显示组的再生的可用时间T到达激活在前显示组的时间(在前显示组的显示开始时间和当前显示组的显示开始时间之间的时间)，因此，推出规则R2。 
图19B是描述规则R3的示图。现在，我们假定，在连续显示的三个显示组中，最后显示的显示组为当前显示组。 
在这种情况下，在连续显示的三个显示组中，第二要显示的显示组为在前显示组。 
现在，在连续显示的三个显示组中，将首先要显示的显示组，即，将紧接在前显示组之前的显示组称作第二在前显示组。 
现在，我们假定在前显示组是非显示区间期间的显示组，即，仅用于消除第二在前显示组(的字幕)的显示组。 
在前显示组是非显示区间期间的显示组，所以不存在在字幕解码器32中进行解码的编码数据(encoded_data_string()(图14))(解码数据不必进行解码)。 
因此，在激活第二在前显示组时字幕解码器32不必对在前显示组进行解码。因此，字幕解码器32不是在在前显示组的显示开始时间而是在第二在前显示组的显示开始时间处可以开始当前显示组的解码。 
因此，可用于当前显示组的再生的可用时间T变成第二在前显示组的显示开始时间和当前显示组的显示开始时间之间的时间。 
具体地，在最后显示组是非显示区间期间的显示组的情况下，推出规则R3，其将从进一步紧接在紧接感兴趣的显示组之前的要显示的显示组(显示区间期间的显示组)之前的要显示的显示开始时间开始的时间作为感兴趣的显示组的可用时间T。 
现在，我们假定，在在前显示组是非显示区间期间的显示组的情况下，第二在前显示组不是非显示区间期间的显示组。 
试验性地，在连续两个显示组都是非显示区间期间的显示组的情况下，可以使两个显示组集成为非显示区间期间的一个显示组。因此，使这种显示组集成，从而在在前显示组是非显示区间期间的显示组的情况下，第二在前显示组是不是非显示区间期间的显示组的显示组。 
接下来，将参照图20对关于怎样根据规则R5获得时间Tmin进行描述。 
用于显示组的再生的时间Tmin被视为用于对编码数据进行解码的时间。然而，如上所述，用于对编码数据进行解码的时间取决于多种因素，所以难以精确地执行建模。 
通过规则R5，感兴趣的显示组的时间Tmin被视为仅取决于感兴趣的显示组的编码数据(encoded_data_string()(图14))的大小，因此，可以容易地执行时间Tmin的建模。 
根据规则R5，通过根据将其显示组的编码数据的大小s作为自变量的函数F(s)的表达式Tmin＝F(s)来表示显示组的时间Tmin，并且通过建模，获得函数F(s)。 
函数F(s)取决于字幕解码系统30(图16)的标准，具体地，取决于字幕解码器32的性能。 
图20示出了通过关于具有特定性能的字幕解码器32的仿真所获得的函数F(s)。函数F(s)输出具有作为自变量的编码数据的大小s的时间Tmin，所以可以说函数F(s)表示作为编码数据的大小s和时间Tmin之间的关系的大小-时间关系。在图20中，横轴表示以位为单位的编码数据的大小s，纵轴表示以移动画面的帧(视频帧)的数量为单位的时间Tmin。 
注意，开始显示组(的字幕)的显示的定时与显示叠加有字幕的移动画面的帧的定时相匹配(必须匹配)，因此，在图20中，将帧数作为垂直轴上时间Tmin的单位。 
此外，水平轴上编码数据的大小s是存储在ODS(图14)中的encoded_data_string()的字节大小。 
根据仿真，已经确认，编码数据的大小s越大，时间Tmin就越大，图20示出了基于其仿真结果所创建的大小-时间关系。 
注意，通过图20中的大小-时间关系，以确定的方式，时间Tmin的值变成通过将所谓的余量(margin)与仿真时获得的值相加的值，使得显示组的再生对于其显示是及时的。在考虑显示组的再生对于其显示是及时的确定性的同时，可以确定余量。 
图21是示出了根据实施例的、用于根据上述规则R1～R6生成新格式文件的生成设备的结构实例的框图。 
生成设备由字幕显示时间数据库40、字幕处理单元50、元数据处理单元61、图像处理单元62、音频处理单元63和数据合成单元64构成。 
字幕显示时间数据库40存储字幕的显示开始时间。这里，例如，通过创建者等预先确定字幕的显示开始时间，其中，创建者通过利用图21中的生成设备来创建文件(内容)。 
将字幕的图像数据提供给字幕处理单元50。字幕处理单元50处理提供给其的字幕的图像数据，以生成字幕样本，即，显示组，并将其提供给数据合成单元64。 
具体地，字幕处理单元50由字幕编码器51、确定单元52、大小-时间关系数据库53和错误处理单元54构成。例如，将用作字幕的图像数据的位图数据的一张图表(屏幕值)适当地提供给字幕解码器51。 
字幕编码器51对提供给其的字幕的图像数据进行编码以生成要存储在新格式文件中的字幕数据，并将字幕数据提供给确定单元52。具体地，字幕编码器51对提供给其的字幕的图像数据进行编码，从而生成编码数据(encoded_data_string()(图14))。随后，字幕编码器51采用其编码数据以生成作为字幕样本的显示组，并将其提供给确定单元52作为感兴趣的显示组。 
此外，字幕编码器51通过参照存储在字幕显示时间数据库40中的字幕(显示组)的显示开始时间来获得感兴趣的显示组的可用时间T，并将其提供给确定单元52。 
注意，在字幕编码器51处生成的显示组是非显示区间期间的显示组的情况下，可以消除编码数据的必要性。 
确定单元52检测包括在来自字幕编码器51的感兴趣的显示组中的编码数据的大小s。此外，确定单元52基于包括在感兴趣的显示组中的编码数据的大小s来确定由图16中的再生设备再生感兴趣的显示组对于其显示是否及时。 
具体地，确定单元52根据用作存储在大小-时间关系数据库53中的大小-时间关系的函数F(s)(图20)，从包括在感兴趣的显示组中的编码数据的大小s中获得关于感兴趣的显示组的时间Tmin。 
此外，确定单元52获得感兴趣的显示组的可用时间T和从包括在感兴趣的显示组中的编码数据的大小s中所获得的时间Tmin之间的幅值相关性，并基于其幅值相关性来确定感兴趣的显示组的再生对于其显示是否及时。 
具体地，在感兴趣的显示组的可用时间T大于等于Tmin的情况下，确定单元52确定感兴趣的显示组的再生对于其显示是及时的。此外，在感兴趣的显示组的可用时间T小于时间Tmin的情况下，确定单元52确定感兴趣的显示组的再生对于其显示是不及时的。 
在确定感兴趣的显示组的再生对于其显示是及时的情况下，确定单元52将感兴趣的显示组提供给数据合成单元64。 
此外，在确定感兴趣的显示组的再生对于其显示是不及时的情况下，确定单元52输出表示错误的错误信息。 
如图20所述，大小-时间关系数据库53存储用作预先获得的大小-时间关系的函数F(s)。 
错误处理单元54根据确定单元52的错误信息的输出来执行用于实现感兴趣的显示组的再生对于其显示是及时的错误处理。 
具体地，例如，一旦确定单元52输出错误信息，例如，错误处理单元54执行用于增加感兴趣的显示组的可用时间T的处理作为错误处理。 
这里，例如，错误处理单元54通过延迟感兴趣的显示组的显示开始时间或者通过加速紧接在感兴趣的显示组之前的显示组的显示开始时间，来增加感兴趣的显示组的可用时间T。 
具体地，错误处理单元54将用于命令延迟感兴趣的显示组的显示开始时间或者命令提前紧接在感兴趣的显示组之前的显示组的显示开始时间的控制信号提供给字幕解码器51。 
在从错误处理单元54提供控制信号的情况下，字幕编码器51根据其控制信号执行用于延迟感兴趣的显示组的显示开始时间或加速紧接在感兴趣的显示组之前的显示组的显示开始时间的时间调节。此外，字幕编码器51采用时间调节之后的显示开始时间以再次获得感兴趣的显示组的可用时间T，并将其提供给确定单元52。 
这里，如上所述，执行用于延迟感兴趣的显示组的显示开始时间或加速紧接在感兴趣的显示组之前的显示组的显示开始时间的时间调节，从而可以增加感兴趣的显示组的可用时间T。 
然而，在延迟感兴趣的显示组的显示开始时间的情况下，跟随感兴趣的显示组的显示组的可用时间T变短。此外，在执行加速紧接在感兴趣的显示组之前的显示组的显示开始时间的情况下，紧接在感兴趣的显示组之前的显示组的可用时间T变短。 
在跟随感兴趣的显示组的显示组的可用时间T变短由此其可用时间T变得短于跟随感兴趣的显示组的显示组的时间Tmin的情况下，跟随感兴趣的显示组的显示组的再生对于其显示是不及时的。 
此外，在紧接在感兴趣的显示组之前的显示组的可用时间T变短由此其可用时间T变得短于紧接在感兴趣的显示组之前的显示组的时间Tmin的情况下，紧接在感兴趣的显示组之前的显示组的再生对于其显示是不及时的。 
因此，在延迟感兴趣的显示组的显示开始时间由此跟随感兴趣的显示组的显示组的可用时间T变得短于其时间Tmin的情况下，以及在提前紧接在感兴趣的显示组之前的显示组的显示开始时间由此紧接在感兴趣的显示组之前的显示组的可用时间T变得短于其时间Tmin的情况下，错误处理单元54执行另一错误处理。 
具体地，错误处理单元54执行用于使感兴趣的显示组的时间Tmin更短的处理作为错误处理。 
这里，例如，错误处理单元54使字幕编码器51改变编码参数，以使在字幕编码器51中获得的感兴趣的显示组的编码数据的大小更短，从而使感兴趣的显示组的时间Tmin更短。 
具体地，错误处理单元54将用于命令减少用作编码目标的字幕的图像数据的颜色数或减少(间隔剔除)其图像数据的大小(像素数)等的控制信号提供给字幕编码器51。 
在从错误处理单元54提供控制信号的情况下，字幕编码器51根据其控制信号执行用于减少用作编码目标的字幕的图像数据的颜色数或减少其图像数据的大小的处理，并执行用于将其处理之后的字幕的图像数据变换成为编码数据的重新编码。随后，字幕解码器51采用作为重新编码的结果获得的编码数据以重新生成感兴趣的显示组，并将其提供给确定单元52。 
如上所述，确定单元52根据用作存储在大小-时间关系数据库53中的大小-时间关系的函数F(s)(图20)从包括在感兴趣的显示组中的编码数据的大小s获得感兴趣的显示组的时间Tmin。 
在这种情况下，包括在感兴趣的显示组中的编码数据是通过对颜色数和大小较小的字幕的图像数据进行编码所获得的数据，所以其大小s变小，因此，根据大小-时间关系从其大小s获得的时间Tmin也变短。 
将元数据(附加信息)提供给元数据处理单元61。元数据处理单元61使提供给其的元数据经受预定处理，并将其提供给数据合成单元64。 
将移动画面数据提供给图像处理单元62。图像处理单元62使提供给其的移动画面数据经受预定处理，并将其提供给数据合成单元64。 
将音频数据(例如，伴随移动画面数据的音频数据)提供给音频处理单元63。音频处理单元63使提供给其的音频数据经受预定处理，并将其提供给数据合成单元64。 
数据合成单元64合成(多路复用)来自元数据处理单元61的元数据、来自图像处理单元62的移动画面数据、来自音频处理单元63的音频数据以及来自字幕处理单元50(的确定单元52)的用 作字幕数据的显示组，生成存储作为其合成结果获得的数据流的新格式文件，并输出该新格式文件。 
注意，在元数据中包括存储在字幕显示时间数据库40中的显示组的显示开始时间，但是通过数据合成单元64将该显示开始时间以诸如ISO基本媒体文件格式的时间-样本原子(图2A)等的形式存储在新格式文件中。 
此外，在通过在错误处理单元54中执行的错误处理来执行显示组的显示开始时间的时间调节的情况下，将其时间调节之后的显示开始时间存储在新格式文件中。 
接下来，将参照图22对关于在图21的生成设备的字幕处理单元50中执行的处理(字幕生成处理)进行描述。 
通过字幕处理单元50，例如，字幕编码器51等待用作所提供的字幕的图像数据的位图数据的一张图表(屏幕值)，并且在步骤S51中，获得(接收)其字幕的图像数据，并且处理前进至步骤S52。 
在步骤S52中，字幕编码器51通过参照存储在字幕显示时间数据库40中的字幕(显示组)的显示开始时间来获得感兴趣的显示组的可用时间T。随后，字幕编码器51将感兴趣的显示组的可用时间T与其显示开始时间一起提供给确定单元52，并且处理从步骤S52前进至步骤S53。 
在步骤S53中，字幕编码器51对在最近的步骤S51中获得的字幕的图像数据进行编码，从而生成编码数据(encoded_data_string()(图14))。此外，字幕编码器51采用其编码数据以生成用作字幕样本的显示组，将其作为感兴趣的显示组提供给确定单元52，并且处理从步骤S53前进至步骤S54。 
在步骤S54中，确定单元52检测包括在来自字幕编码器51的感兴趣的显示组中的编码数据的大小s。此外，确定单元52根据存储在大小-时间关系数据库53中的大小-时间关系(图20)从包括在感兴趣的显示组中的编码数据的大小s中获得感兴趣的显示组的时间Tmin。 
随后，处理从步骤S54前进至步骤S55，确定单元52确定感兴趣的显示组的可用时间T是否大于等于感兴趣的显示组的时间Tmin。 
在步骤S55中判定感兴趣的显示组的可用时间T小于感兴趣的显示组的时间Tmin的情况下，即，在感兴趣的显示组的再生对于其显示是不及时的情况下，处理前进至步骤S56，在步骤S56中，确定单元52输出错误信息，并且处理前进至步骤S57。 
在步骤S57中，错误处理单元54执行用于延迟感兴趣的显示组的显示开始时间或者加速紧接在感兴趣的显示组之前的显示组的显示开始时间的时间调节，从而确定是否改变(增加)感兴趣的显示组的可用时间。 
在执行时间调节从而增加感兴趣的显示组的可用时间T的情况下，如图20所述，跟随感兴趣的显示组的显示组的可用时间T变短，因此，其可用时间T变得短于跟随感兴趣的显示组的显示组的时间Tmin，并且跟随感兴趣的显示组的显示组的再生对于其显示不及时，或者紧接在感兴趣的显示组之前的显示组的可用时间T变短，因此，其可用时间T变得短于紧接在感兴趣的显示组之前的显示组的时间Tmin，并且紧接在感兴趣的显示组之前的显示组的再生对于其显示不及时。 
在步骤S57中，如上所述，在引起显示组的再生对于其显示不及时的情况下，执行时间调节，因此，进行难以增加感兴趣的显示组的可用时间T的确定。另一方面，如上所述，在没有导致显示组的再生对于其显示不及时的情况下，在步骤S57中，执行时间调节，因此，做出可以增加感兴趣的显示组的可用时间T的确定。 
在步骤S57中确定可以增加感兴趣的显示组的可用时间T的情况下，处理前进至步骤S58，其中，错误处理单元54将用于命令延迟感兴趣的显示组的显示开始时间或提前紧接在感兴趣的显示组之前的显示组的显示开始时间的时间调节控制信号提供给字幕编码器51。 
在从错误处理单元54提供时间调节控制信号的情况下，根据其控制信号，字幕编码器51执行时间调节，以延迟感兴趣的显示组的显示开始时间或者提前紧接在感兴趣的显示组之前的显示组的显示开始时间。此外，字幕编码器51采用时间调节之后的显示开始时间以再次获得感兴趣的显示组的可用时间T，并将其提供给确定单元52。注意，在时间调节目标为感兴趣的显示组的显示开始时间的情况下，字幕编码器51还将感兴趣的显示组的时间调节之后的显示开始时间提供给确定单元52。 
随后，处理从步骤S58返回至步骤S55，此后，重复相同处理。 
此外，在步骤S57中确定执行时间调节从而确定难以增加感兴趣的显示组的可用时间T的情况下，处理前进至步骤S59，其中，错误处理单元54将用于改变编码参数的控制信号提供给字幕编码器51，其中，该控制信号命令减少进行编码的字幕的图像数据的颜色数或减少其图像数据的大小等。 
在从错误处理单元54提供用于改变编码参数的控制信号的情况下，字幕编码器51根据其控制信号执行用于减少上次进行编码的字幕的图像数据的颜色数的处理或者用于减少其图像数据的大小的处理(减少大小的处理)。随后，处理从步骤S59返回至步骤S53，其中，字幕编码器51在减少大小处理以后对字幕的图像数据进行编码，此后，重复相同处理。 
另一方面，在步骤S55中判定感兴趣的显示组的可用时间T大于等于感兴趣的显示组的时间Tmin的情况下，即，在感兴趣的显示组的再生对于其显示及时的情况下，处理前进至步骤S60，在步骤S60中，确定单元52将感兴趣的显示组和感兴趣的显示组的显示开始时间(在执行时间调节的情况下，时间调节之后的显示开始时间)提供给数据合成单元64，并且处理前进至步骤S61。 
通过合成单元64，如上所述，例如，以诸如ISO基本媒体文件格式的时间-样本原子(图2A)等的形式将从确定单元52提供的感兴趣的显示组的显示开始时间存储在新格式文件中。 
在步骤S61中，字幕处理单元50确定是否已经处理存储在新格式文件中的字幕的所有的图像数据。 
在步骤S61中确定存在存储在新格式文件中的字幕的图像数据的未处理字幕的图像数据的情况下，处理返回至步骤S51，此后，重复相同处理。 
此外，在步骤S61中确定已经处理了存储在新格式文件中的字幕的所有图像数据的情况下，字幕生成处理结束。 
如上所述，当感兴趣的显示组的可用时间T短于感兴趣的显示组的时间Tmin时，确定单元52确定感兴趣的显示组的再生对于感兴趣的显示组的显示不及时，并输出错误信息，从而可以防止生成 显示组的再生对于显示组的显示不及时的文件，因此，再生设备可根据执行再生以对于其字幕的显示来说是及时的。 
具体地，通过图16中的再生设备，如上所述，为了在字幕解码系统30中假定特定显示组(的字幕)的显示开始时间作为接下来要显示的显示组的解码开始时间，再生显示组。 
另一方面，图21中的生成设备保证从特定显示组的显示开始时间直到接下来要显示的显示组的显示开始时间的时间(接下来要显示的显示组的可用时间T)大于等于其显示组的时间Tmin。 
因此，通过图16中的再生设备，可以执行显示组的再生以对于其显示是及时的。 
通过本实施例，在显示组的可用时间T小于时间Tmin的情况下，减少字幕的图像数据的颜色数和大小、编码数据的大小s，因此，减少时间Tmin。然而，减小字幕的图像数据的颜色数和大小导致文件内容(内容)的修改，在进行用户(文件创建者)的确认之后，可以执行用于减少字幕的图像数据的颜色数和大小的处理以减少时间Tmin。可选地，通过生成设备，不执行诸如减少字幕的图像数据的颜色数和大小以减少时间Tmin的错误处理，错误信息，即，字幕的再生对于其显示不及时的影响被通知给用户，并且可以通过等待来自用户的命令来执行随后的对策。 
用于执行显示开始时间的时间调节以增加可用时间T的错误处理与上述相同。 
注意，在没有执行错误处理的情况下，可以不设置错误处理单元54地配置字幕处理单元50(图21)。此外，为了减少编码数据的大小s由此减小时间Tmin，存在除减少字幕的图像数据的颜色数 和大小之外的方法，其中，合成多个字幕的图像数据(图像数据的多个图表)以获得图像数据(一个字幕的图像数据)的图表。 
接下来，可通过硬件或软件来执行上述一系列处理。在通过软件执行一系列处理的情况下，在通用计算机等中安装组成软件的程序。 
图23示出了根据实施例的计算机的结构实例，其中安装执行上述一系列处理的程序。 
可以在用作预先包括在计算机内的记录介质的硬盘105或ROM 103中记录该程序。可选地，可以将程序临时或永久地存储(记录)在诸如软磁盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘、半导体存储器等的可移动记录介质111中。可以将这种可移动记录介质111设置为所谓的数据包软件。 
注意，除将程序从可移动介质111安装在计算机中的上述配置之外，通过无线人造卫星将程序从下载网站无线传输至计算机或者由电缆通过诸如互联网的网络将程序传输至计算机的配置是可用的，并且计算机在通信单元108中接收如此传输的程序，并将该程序安装到内置硬盘105中。 
计算机内包括CPU(中央处理单元)102。通过总线101将输入/输出接口110连接至CPU 102，并且一旦通过用户操作由键盘、鼠标、麦克风等组成的输入单元107输入命令，CPU 102经由输入/输出接口110根据其命令执行存储在ROM(只读存储器)103中的程序。可选地，CPU 102将存储在硬盘105中的程序(从卫星或互联网传输并在通信单元108中接收且安装在硬盘105中的程序，或者从安装在驱动器109上的可移动记录介质111读取并安装在硬盘105中的程序)下载至RAM(随机存储器)104并执行程序。因 此，CPU 102根据上述流程图执行处理或通过上述框图结构执行的处理。随后，CPU 102通过输入/输出接口110从由LCD(液晶显示器)、扬声器等组成的输出单元106输出其处理结果，或者从通信单元108传输它们，进一步将它们记录在硬盘105中。 
现在，通过本说明书，描述使计算机执行各种类型处理的程序的处理步骤不是必须根据如流程图所述的顺序时序地被执行，而是可以包括并行或单独执行的处理(例如，并行处理或对象定向处理)。 
此外，可以通过单个计算机来处理该程序或者可以通过以分布式的方式的多台计算机来处理该程序。此外，可以将该程序传输至远程计算机并在远程计算机中执行该程序。 
注意，本发明的实施例不仅限于上述实施例，在不背离本发明本质的范围内，可以执行各种修改。 
本领域的技术人员应该理解，根据设计要求和其他因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。 

Claims (7)

1.一种生成设备，包括：
字幕编码装置，被配置为通过对字幕的图像数据进行编码来生成包括关于移动画面的移动画面数据以及关于在所述移动画面的整个显示区间上显示的所述字幕的字幕数据的数据流中的所述字幕数据；
确定装置，被配置为基于通过对所述字幕的图像数据进行编码获得的编码数据的大小来确定所述字幕的再生对于所述字幕的显示是否及时；以及
错误处理装置，被配置为执行错误处理；
其中，用所述字幕的显示恒定的区间作为所述字幕的显示单位，将所述字幕数据分为显示组，所述显示组是所述单位中的所述字幕数据；
其中，在当显示紧接在作为被注意的显示组的感兴趣的显示组的字幕之前被显示的字幕时的显示开始时间与所述感兴趣的显示组的字幕的显示开始时间之间的时间被当作可用于再生所述感兴趣的显示组的可用时间，并且此外用于再生所述感兴趣的显示组的时间被当作处理时间的情况下，所述确定装置根据大小-时间关系从所述感兴趣的显示组的编码数据的大小中获得关于所述感兴趣的显示组的处理时间，其中，所述大小-时间关系是在所述编码数据的大小与所述处理时间之间预先获得的关系，并且当关于所述感兴趣的显示组的可用时间低于关于所述感兴趣的显示组的处理时间时，确定所述感兴趣的显示组的字幕的再生对于其字幕的显示是不及时的，从而输出表示错误的错误信息；以及
其中，所述错误处理是根据由所述确定装置输出的所述错误信息增加关于所述感兴趣的显示组的所述可用时间的处理或减少关于所述感兴趣的显示组的处理时间的处理。
2.根据权利要求1所述的生成设备，其中，所述错误处理装置通过延迟所述感兴趣的显示组的字幕的所述显示开始时间或通过加快紧接在所述感兴趣的显示组的字幕之前被显示的字幕的所述显示开始时间来增加关于所述感兴趣的显示组的所述可用时间。
3.根据权利要求1所述的生成设备，其中，所述错误处理装置通过所述字幕编码装置来改变编码参数以减小所述感兴趣的显示组的编码数据的大小，从而减少关于所述感兴趣的显示组的所述处理时间。
4.根据权利要求1所述的生成设备，其中，所述显示组包括表示将要显示的所述字幕的数量的字幕数信息以及表示所述字幕的透明度的透明度信息；
其中，在隐藏所述字幕的非显示区间期间的显示组包括表示所述字幕的数量为0的字幕数信息或表示所述字幕完全透明的透明度信息；
其中，在紧接在所述感兴趣的显示组的字幕之前被显示的字幕的显示组是所述非显示区间期间的显示组的情况下，在紧接在所述感兴趣的显示组的字幕之前被显示的字幕之前进一步紧接被显示的字幕的显示开始时间与所述感兴趣的显示组的字幕的所述显示开始时间之间的时间被当作关于所述感兴趣的显示组的所述可用时间。
5.根据权利要求1所述的生成设备，其中，所述移动画面数据是格式符合MP4文件格式或ISO基本媒体文件格式的数据。
6.一种生成方法，包括以下步骤：
被配置为生成包括关于移动画面的移动画面数据以及关于在所述移动画面的整个显示区间上显示的字幕的字幕数据的数据流的生成装置通过对所述字幕的图像数据进行编码来生成所述字幕数据，基于通过对所述字幕的图像数据进行编码所获得的编码数据的大小来确定所述字幕的再生对于所述字幕的显示是否及时，并且由错误处理装置执行错误处理；
其中，用所述字幕的显示恒定的区间作为所述字幕的显示单位，将所述字幕数据分为显示组，所述显示组是显示所述单位中的所述字幕数据；
其中，在当显示紧接在作为被注意的显示组的感兴趣的显示组的字幕之前被显示的字幕时的显示开始时间与所述感兴趣的显示组的字幕的显示开始时间之间的时间被当作可用于再生所述感兴趣的显示组的可用时间，并且此外用于再生所述感兴趣的显示组的时间被当作处理时间的情况下，根据大小-时间关系从所述感兴趣的显示组的编码数据的大小中获得关于所述感兴趣的显示组的处理时间，其中，所述大小-时间关系是在所述编码数据的大小与所述处理时间之间预先获得的关系，并且当关于所述感兴趣的显示组的可用时间低于关于所述感兴趣的显示组的处理时间时，确定所述感兴趣的显示组的字幕的再生对于其字幕的显示是不及时的，从而输出表示错误的错误信息；以及
其中，所述错误处理是根据所输出的所述错误信息增加关于所述感兴趣的显示组的所述可用时间的处理或减少关于所述感兴趣的显示组的处理时间的处理。
7.一种生成设备，包括：
字幕编码单元，被配置为通过对字幕的图像数据进行编码来生成包括关于移动画面的移动画面数据以及关于在所述移动画面的整个显示区间上显示的所述字幕的字幕数据的数据流中的所述字幕数据；
确定单元，被配置为基于通过对所述字幕的图像数据进行编码获得的编码数据的大小来确定所述字幕的再生对于所述字幕的显示是否及时；以及
错误处理单元，被配置为执行错误处理；
其中，用所述字幕的显示恒定的区间作为所述字幕的显示单位，将所述字幕数据分为显示组，所述显示组是所述单位中的所述字幕数据；
其中，在当显示紧接在作为被注意的显示组的感兴趣的显示组的字幕之前被显示的字幕时的显示开始时间与所述感兴趣的显示组的字幕的显示开始时间之间的时间被当作可用于再生所述感兴趣的显示组的可用时间，并且此外用于再生所述感兴趣的显示组的时间被当作处理时间的情况下，所述确定单元根据大小-时间关系从所述感兴趣的显示组的编码数据的大小中获得关于所述感兴趣的显示组的处理时间，其中，所述大小-时间关系是在所述编码数据的大小与所述处理时间之间预先获得的关系，并且当关于所述感兴趣的显示组的可用时间低于关于所述感兴趣的显示组的处理时间时，确定所述感兴趣的显示组的字幕的再生对于其字幕的显示是不及时的，从而输出表示错误的错误信息；以及
其中，所述错误处理是根据由所述确定单元输出的所述错误信息增加关于所述感兴趣的显示组的所述可用时间的处理或减少关于所述感兴趣的显示组的处理时间的处理。
CN2009101464958A 2008-06-10 2009-06-09 生成设备以及生成方法 Expired - Fee Related CN101604545B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008151695 2008-06-10
JP2008-151695 2008-06-10
JP2008151695A JP4518194B2 (ja) 2008-06-10 2008-06-10 生成装置、生成方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN101604545A CN101604545A (zh) 2009-12-16
CN101604545B true CN101604545B (zh) 2011-11-02

Family

ID=41399970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101464958A Expired - Fee Related CN101604545B (zh) 2008-06-10 2009-06-09 生成设备以及生成方法

Country Status (3)

Country Link
US (1) US8368813B2 (zh)
JP (1) JP4518194B2 (zh)
CN (1) CN101604545B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426479B2 (en) * 2007-08-09 2016-08-23 Cisco Technology, Inc. Preserving captioning through video transcoding
CN102511047A (zh) * 2010-05-14 2012-06-20 联发科技（新加坡）私人有限公司 视频节目的字幕消除方法以及相关视频显示系统
JP2012120143A (ja) * 2010-11-10 2012-06-21 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
CN102724232A (zh) * 2011-05-06 2012-10-10 新奥特（北京）视频技术有限公司 一种基于udp协议的网络字幕机的方法和系统
JP5678807B2 (ja) * 2011-06-09 2015-03-04 富士通セミコンダクター株式会社 映像・音声データ処理装置およびデータ多重化方法
JP2014115963A (ja) * 2012-12-12 2014-06-26 Canon Inc 情報処理装置、情報処理方法、及びプログラム
CN107211169B (zh) * 2015-02-03 2020-11-20 索尼公司 发送装置、发送方法、接收装置以及接收方法
CN107431835B (zh) * 2015-04-13 2020-09-11 索尼公司 发送装置、发送方法、再现装置以及再现方法
CN106993227B (zh) * 2016-01-20 2020-01-21 腾讯科技（北京）有限公司 一种进行信息展示的方法和装置
US10230812B1 (en) * 2016-01-29 2019-03-12 Amazon Technologies, Inc. Dynamic allocation of subtitle packaging
CN106210750B (zh) * 2016-06-27 2019-04-23 杭州当虹科技有限公司 一种Bluray-DVD视频正片内容提取系统
WO2018021107A1 (ja) * 2016-07-26 2018-02-01 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN110620946B (zh) * 2018-06-20 2022-03-18 阿里巴巴（中国）有限公司 字幕显示方法及装置
CN109525899A (zh) * 2018-11-19 2019-03-26 青岛海信传媒网络技术有限公司 字幕和视频同步呈现的方法及装置
US11070891B1 (en) * 2019-12-10 2021-07-20 Amazon Technologies, Inc. Optimization of subtitles for video content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717013A (zh) * 2004-06-29 2006-01-04 乐金电子（沈阳）有限公司 电视机的字幕错误修正装置及其方法
JP2006050013A (ja) * 2004-07-30 2006-02-16 Casio Comput Co Ltd テレビ放送受信装置、記録再生装置
CN101112096A (zh) * 2004-12-02 2008-01-23 索尼株式会社 编码装置和方法、解码装置和方法、程序、记录介质和数据结构

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684542A (en) * 1993-12-21 1997-11-04 Sony Corporation Video subtitle processing system
JPH09102940A (ja) * 1995-08-02 1997-04-15 Sony Corp 動画像信号の符号化方法、符号化装置、復号化装置、記録媒体及び伝送方法
US6233253B1 (en) * 1997-05-23 2001-05-15 Thomson Licensing S.A. System for digital data format conversion and bit stream generation
KR100341444B1 (ko) * 1999-12-27 2002-06-21 조종태 디지털비디오디스크의 자막처리방법
KR20030065332A (ko) * 2002-01-31 2003-08-06 톰슨 라이센싱 소시에떼 아노님 비디오 시스템에서 보조 정보를 처리하기 위한 방법
KR100939711B1 (ko) * 2002-12-12 2010-02-01 엘지전자 주식회사 텍스트 기반의 서브타이틀 재생장치 및 방법
CN101740077B (zh) * 2003-07-03 2015-06-17 松下电器产业株式会社 记录介质、再现装置、记录方法、集成电路、程序和再现方法
KR20070028326A (ko) * 2004-02-10 2007-03-12 엘지전자 주식회사 기록매체 및 텍스트 서브타이틀 스트림 디코딩 방법과 장치
US7529467B2 (en) * 2004-02-28 2009-05-05 Samsung Electronics Co., Ltd. Storage medium recording text-based subtitle stream, reproducing apparatus and reproducing method for reproducing text-based subtitle stream recorded on the storage medium
US7778526B2 (en) * 2004-06-01 2010-08-17 Nero Ag System and method for maintaining DVD-subpicture streams upon conversion to higher compressed data format
JP2006004486A (ja) * 2004-06-16 2006-01-05 Toshiba Corp 情報記録媒体及び情報再生装置
JP2006050192A (ja) * 2004-08-04 2006-02-16 Matsushita Electric Ind Co Ltd 多重化方法、情報記録媒体、およびデータ再生方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717013A (zh) * 2004-06-29 2006-01-04 乐金电子（沈阳）有限公司 电视机的字幕错误修正装置及其方法
JP2006050013A (ja) * 2004-07-30 2006-02-16 Casio Comput Co Ltd テレビ放送受信装置、記録再生装置
CN101112096A (zh) * 2004-12-02 2008-01-23 索尼株式会社 编码装置和方法、解码装置和方法、程序、记录介质和数据结构

Also Published As

Publication number Publication date
US8368813B2 (en) 2013-02-05
US20090303382A1 (en) 2009-12-10
CN101604545A (zh) 2009-12-16
JP4518194B2 (ja) 2010-08-04
JP2009302637A (ja) 2009-12-24

Similar Documents

Publication Publication Date Title
CN101604545B (zh) 生成设备以及生成方法
CN101604544B (zh) 再生设备、再生方法、程序以及数据结构
CN101315804B (zh) 编辑装置和方法以及数据处理装置和方法
CN101005630B (zh) 记录方法、再现装置和方法
CN101702757B (zh) 记录介质和方法、再现装置和方法、程序和集成电路
EP1614108B1 (en) Recording medium having a data structure for managing reproduction of text subtitle data and methods and apparatuses of recording and reproducing
CN1906694B (zh) 再现装置、再现方法、程序、记录介质和数据结构
CN101111895B (zh) 再现装置和再现方法
KR101033593B1 (ko) 그래픽 데이터 재생을 관리하기 위한 데이터 구조를 갖는기록 매체, 그에 따른 기록 및 재생 방법 및 장치
CN101385006B (zh) 多视频源管理
CN101789257B (zh) 再现设备、再现方法、记录设备和记录介质的生产方法
KR20060006952A (ko) 서브타이틀 데이터의 재생을 관리하기 위한 데이터 구조를갖는 기록 매체, 그에 따른 기록 및 재생 방법 및 장치
CN100479047C (zh) 记录基于文本的字幕流的存储介质及再现其的设备和方法
CN101202091B (zh) 记录方法、再现装置和方法
CN101026725B (zh) 再现设备及再现方法
US20070263979A1 (en) File Recording Apparatus and Editing Method for Video Effect
CN1918909B (zh) 文件记录设备、文件记录方法、文件重放设备、文件重放方法
CN1293561C (zh) 存储受控单元的控制命令的存储方法
CN1816867B (zh) 有含图形数据数据结构的记录媒介和记录重放方法和装置
CN1816866A (zh) 有含图形数据数据结构的记录媒介和记录重放方法和装置
CN1764978A (zh) 从hdd至光盘驱动器快速存档的方法、系统和软件

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111102

Termination date: 20150609

EXPY Termination of patent right or utility model