CN1781153A - 记录介质和方法、再现装置和方法、程序和集成电路 - Google Patents

Abstract

记录介质储存通过多路复用视频流和图形流构成的AVClip。图形流呈现由多个图像构成的运动图像，并且图形流包括再现将要与图像组合的图形的图形数据。图形流还包括窗口信息(WDS)，所述窗口信息规定用于呈现图形的窗口，并表示平面上的窗口的宽度、高度和位置，所述平面是将图形与图像组合起来的再现装置的平面存储器。

Description

记录介质和方法、再现装置和方法、程序和集成电路

技术领域

本发明涉及一种记录介质，如BD-ROM，和再现器装置，特别涉及通过再现数字流而进行加字幕的技术，该数字流是通过多路复用视频流(video stream)和图形流(graphics stream)而构成的。

通过实施图形流实现的背景技术是用于允许不同语言区域的人们欣赏用他们本国语言以外的语言产生的影片的重要技术。常规的加字幕技术的例子是用于基于由欧洲通讯标准协会(EurpeanTelecommunications Standards Institute(ETSI))提出的ETSI EN 300743标准的像素缓冲器(Pixel Buffer)的存储器分配方案。像素缓冲器是用于临时储存解压缩图形的存储器，再现装置将像素缓冲器中的图形写入被称为图形平面(Graphics Plane)的显示存储器中，因此显示该图形。在存储器分配方案中，在像素缓冲器中包括区域(region)的定义，并且对应该区域的一部分解压缩图形被写入图形平面中。例如，当字幕“Goodbye”包含在像素缓冲器中，并且定义该区域的位置和尺寸以便包括“Go”部分，则“Go”部分被写入图形平面中并显示在荧光屏上。同样。当定义该区域的位置和尺寸以便包括“Good”部分时，则“Good”部分显示在荧光屏上。

通过重复定义区域和写到图形平面，字幕“Goodbye”逐渐显示在荧光屏上，即首先是“Go”，然后是“Good”，接着是“Goodbye”，最后显示整个字幕“Goodbye……”。通过利用这种方式提供字幕，可以实现划入(wipe-in)效果。

然而，ETSI EN 300 743标准根本没有考虑到在写到图形平面的负荷很高时保证图形显示(graphics display)和图像显示(picture display)之间的同步。

被写到图形平面的图形没有被压缩，因而，用于写到图形平面的负荷增加，而图形的分辨率变得更高。当以1920×1080的分辨率提供图形时，这个分辨率是被提出用于BD-ROM的标准分辨率，要写到图形平面的图形的大小高达2兆字节，并且需要从像素缓冲器到图形平面的图形数据传输的更高的带宽，以便与图像显示同步地提供大到2兆字节的图形。然而，要求高带宽用于数据传输以将＜RTI图形写到图形平面会妨碍了降低制造再现装置成本的企图。通过使再现装置总是进行“合理的写入”，其中只有与前面的显示的不同之处被写到图形平面中，而可以降低写到图形平面所需的带宽。但是，要求再现装置总是进行“合理的写入”限制了可适用于再现装置的软件。

如上所述，写到图形平面的高负荷要求再现装置在高带宽下工作，或者进行合理的写入，结果是，限制了再现装置的产品研制。

发明内容

本发明的目的是提供一种记录介质，即使在将要写到图形平面中的数据量很大时，利用该记录介质也可以与图像显示同步地更新图形。

为了实现上述目的，根据本发明的记录介质的例子是用于储存数据的记录介质，所述记录介质包括：通过多路复用视频流和图形流构成的数字流，其中所述视频流代表由多个图像构成的运动图像，图形流包括：表示将要与这些图像组合的图形的图形数据；和规定一个窗口以在其中提供图形的窗口信息，窗口信息指示出在平面上的窗口的宽度、高度和位置，该平面是将图形与图像组合起来的再现装置的平面存储器(plane memory)。

通过规定对应每个图像的平面的一部分作为用于提供图形的窗口，而不必使再现装置为整个平面提供图形，并且再现装置只在有限尺寸的窗口中提供图形就足够了。由于不必在平面中在窗口以外提供图形，因此可以减少再现装置中的软件的负载。

此外，通过设置窗口的尺寸以便保证图形和图像之间的同步显示，可以使进行制作的制造者保证在任何种类的再现装置中的同步显示，即使在最坏情况下进行图形的更新。

而且，通过窗口信息设置窗口的位置和尺寸，可以调整制作中的窗口的位置和尺寸，从而在观察屏幕时，使字幕不干扰对图像的观看。因此，即使屏幕上的图像随着时间流逝而改变时，也可保持图形的可视性，因此可以保持影片的质量。

更新图形时的最坏情况是指在最低效率操作下更新图形的情况，即全部清楚窗口并重新绘制窗口。当为了准备最坏情况而设置窗口的尺寸时，希望上述记录介质使得窗口的宽度和高度设置成使窗口的尺寸是该平面的1/x，该平面对应每个图像的尺寸，x是基于窗口更新率和图像显示率之间的比例的实数。

通过用这种方式设置窗口尺寸，用于写到图形平面上所需的再现装置上的带宽设置为固定值。通过构成再现装置，以便满足这个带宽，可以实现图形和图像之间的同步显示，而与安装到再现装置上的软件无关。

如上所述，可以提供用于再现装置的结构的最低标准。只要传输速度设置成满足该最低标准，该再现装置的设计可以由开发者决定。因此，可以扩大再现装置的研制的可能性。

附图的简要说明

图1表示根据本发明记录介质的使用的例子；

图2表示BD-ROM的结构；

图3是示意性地表示AVClip的结构的示意图；

图4A表示一个展示(presentation)图形流的结构；

图4B表示转换了功能段之后获得的PES信息包；

图5表示由各种功能段构成的逻辑结构；

图6表示字幕的显示位置和时元(Epoch)之间的关系；

图7A表示在目标定义段(ODS)中定义图形目标的语法；

图7B表示调色板(Palette)定义段的语法；

图8A表示窗口定义段(WDS)的语法；

图8B表示描绘组合段(PCS)的语法；

图9表示用于做字幕的显示设置的描述的例子；

图10表示DS1中的WDS和PCS的描述的例子；

图11表示DS2中的PCS的描述的例子；

图12表示DS3中的PCS的描述的例子；

图13是在进行切入/切出(Cut-In/Out)时的显示设置的描述的例子，并且是沿着时间轴表示的；

图14是在进行淡入/淡出(Fade-In/Out)时沿着时间轴表示的显示设置的描述的例子；

图15是在进行滚动(Scrolling)时沿着时间轴表示的显示设置的描述的例子；

图16是在进行划入/划出(Wipe-In/Out)时沿着时间轴表示的显示设置的描述的例子；

图17是对比两种情况的图：窗口具有四个图形目标，和窗口具有两个图形目标；

图18表示用于计算解码持续时间的算法的例子；

图19是图18的算法的流程图；

图20A和B是图18的算法的流程图；

图21A表示每个窗口具有目标定义段的情况；

图21B和C是表示在图18中所提到的数字之间的顺序的时序图；

图22A表示其中每个窗口具有两个目标定义段的情况；

图22B和C表示图18中所提到的数字之间的顺序的时序图；

图23A表示两个窗口中的每个窗口包括ODS的情况；

图23B表示解码周期(2)比清除周期(1)和写周期(31)的总和更长的情况；

图23C表示清除周期(1)和写周期(31)的总和比解码周期(2)长的情况；

图24表示在本说明书中的例子中所述的更新时间的偏移；

图25A表示为了进行上述更新而描述的四个显示设置；

图25B是表示在四个显示设置中包含的功能段的DTS和PTS的设置的时序图；

图26表示根据本发明的再现装置的内部结构；

图27表示写速度Rx、Rc、Rd、图形平面8、编码数据缓冲器13、目标缓冲器15和组合缓冲器16的尺寸；

图28是表示由再现装置执行的流水线处理的时序图；

图29表示在完成图形平面的清除之前ODS的解码结束的情况的流水线处理中的时序图；

图30是表示功能段的负载操作过程的流程图；

图31表示一个多路复用的例子；

图32表示将DS10装载到编码数据缓冲器13的一种方式；

图33表示正常再现中的DS1、DS10、DS20的装载；

图34表示在图33所示正常再现中的DS1、DS10和DS20的装载；

图35表示通过图形控制器17执行的处理的流程图；

图36表示通过图形控制器17执行的处理的流程图；

图37表示通过图形控制器17执行的处理的流程图；

图38表示在PDS的PTS基础上的再现装置的流水线处理；

图39是表述再现装置的流水线处理中的END的意义的示意图：

图40表示根据第二实施例的再现装置的内部结构；

图41示意性地表示读出和写到构成双缓冲器的图形平面的操作；

图42是表示根据第三实施例的BD-ROM的制造工艺的流程图。

实施本发明的最佳方式

第一实施例

下面解释根据本发明的记录介质的第一实施例。

图1表示记录介质的使用的例子。在图中，BD-ROM 100是根据本发明的记录介质。BD-ROM 100用于给由再现装置200、电视300和遥控器400构成的家庭影院系统提供电影作品数据。

根据本发明的记录介质是通过BD-ROM的应用层(applicationlayer)的改进来制造的。图2表示BD-ROM的结构。

在该图中，在图的底部示出了BD-ROM，并在BD-ROM上方示出了BD-ROM上的轨道。该轨道实际上在盘上是螺旋形状的，但是图中示出的是直线。该轨迹包括导入(lead-in)区、卷区(volume area)和导出区。这个图中的卷区具有物理层、文件系统层和应用层。在图的顶部，使用目录结构示出了BD-ROM的应用格式。如图所示，BD-ROM具有在根目录下的目录BDMV，并且BDMV目录包含具有扩展名M2TS(XXX.M2TS)的用于储存AVClip的文件、具有扩展名CLPI(XXX.CLPI)的用于储存AVClip的管理信息的文件、和具有扩展名MPLS(YYY.MPLS)的用于为AVClip定义逻辑播放列表(PL)的文件。通过形成上述应用格式，可以制造根据本发明的记录介质。在每种类型有一个以上文件的情况下，优选在BDMV下提供命名为STREAM、CLIPINF和PLAYLIST的三个目录，以便在一个目录中储存具有相同扩展名的文件。具体地说，希望在STREAM中储存具有扩展名MSTS的文件、在CLIPINF中储存具有扩展名CLPI的文件以及在PLAYLIST中储存具有扩展名MPLS的文件。

下面解释上述应用格式中的AVClip(XXX.M2TS)。

AVClip(XXX.M2TS)是通过多路复用视频流、至少一个声频流和展示图形流获得的MPEG-TS格式(TS是传输流)的数字流。视频流表示影片的图像，声频流表示影片的声音，展示图形流(presentation graphics stream)表示影片的字幕。图3是示意性地表示AVClip的结构的示图。

AVClip(XXX.M2TS)按照以下方式构成。由多个视频帧(图像pj1，pj2和pj3)构成的每个视频流和由多个声频帧(图的顶行)构成的声频流被转换成一行PES信息包(图的第二行)，然后被转换成一行TS信息包(图的第三行)。展示图形流(图的底行)被转换成PES信息包(图的倒数第二行)，然后转换成TS信息包(图的倒数第三行)。三行PS信息包被多路复用，由此构成AVClip(XXX.M2TS)。

在图中，只有一个展示图形流被多路复用。但是，在BD-ROM可对多种语言兼容的情况下，用于每种语言的展示图形流被多路复用从而构成AVClip。用上述方式构成的AVClip被分割成一个以上的范围(extent)，与普通计算机文件相同，并被储存在BD-ROM中的各区域中。

接着，解释展示图形流。图4A表示展示图形流的结构。顶行表示要被多路复用到AVClip的TS信息包行。从顶行数的第二行表示构成图形流的PES信息包行。PES信息包行是通过提取具有预定PID的TS信息包中的有效载荷并连接该提取的有效载荷而构成的。

从顶行数的第三行表示图形流的结构。该图形流由命名为展示组合段(PCS)、窗口定义段(WDS)、调色板定义段(PDS)、目标定义段(ODS)和显示设置段(END)END的功能段构成。在上述功能段当中，PCS被称为屏幕组合段，WDS、PDS、ODS和END被称为定义段。PES信息包和每个功能段一一对应，或者一个对应多个。换言之，一个功能段在被转换成一个PES信息包之后，或者在被分割成多个片段并转换成一个以上PES信息包之后被记录在BD-ROM中。

图4B表示通过转换功能段获得的PES信息包。如图所示，PES信息包由信息包报头和有效载荷构成，并且有效载荷是功能段的主体。信息包报头包括对应该功能段的DTS和PTS。下面将包含在信息包报头中的DTS和PTS称为功能段的DTS和PTS。

上述各种功能段构成如图5所示的逻辑结构。图5表示由各种功能段构成的逻辑结构。在图中，顶行表示时元(epoch)，中间行表示显示设置(DS)，底行表示功能段。

在构成图形流的所有多个功能段当中，中间行所示的每个DS是构成一个屏幕的图形的一组功能段。图中的虚线表示底行中的功能段属于由该虚线标示的DS，并表示PCS、WDS、PDS、ODS和END等一串功能段构成一个DS。该再现装置能够通过读取构成DS的功能段而产生一个屏幕的图形。

顶行所示的时元表示时间周期，在一个时元中沿着AVClip再现的时间轴存储器管理在时间上是连续的。一个时元还表示分配给相同时间周期的一组数据。这里所称的存储器是储存一个屏幕的图形的图形平面，和储存解压缩图形数据的目标缓冲器。存储器管理的连续性意味着在该时元中不会发生图形平面或目标缓冲器的闪烁，并且只在图形平面上的预定矩形区域中进行图形的擦除和展现(这里的闪烁表示擦除平面或缓冲器中的储存数据的所有内容)。在一个时元内矩形区域的尺寸和位置是固定的。只要只在图形平面上的预定矩形区域中进行图形的擦除和展现，就可以保证图像和图形之间的同步再现。换言之，该时元是再现时间轴中的一个单元，并且在这个单元中，保证图像和图形同步地再现。当将在其中擦除和展现图形的该区域移动到不同位置时，必须在时间轴上定义一个点来移动该区域，并且该点之后的一段时间成为一个新的时元。在两个时元之间的区间不能保证同步再现。

在观看实际影片时，一个时元是在屏幕上的相同矩形区域中显示字幕的时间周期。图6表示字幕的位置和时元之间的关系。在该附图所示的例子中，示出的五个字幕“Actually…”、“I was hiding”、“myfeeling”、“I always”和“loved you”根据影片中的图像而移动。具体地说，字幕“Actually…”、“I was hiding”和“my feeling”出现在屏幕的底部，而字幕“I always”和“loved ybu”显示在屏幕的顶部。当观看屏幕时，考虑到影片的可观赏性，矩形区域的位置是移动的以使字幕不遮挡图像。字幕出现在底部的时间周期是时元1，字幕出现在顶部的下一时间周期是时元2。时元1和2各自具有不同区域以在其中显示字幕。时元1中的区域是位于屏幕底部的窗口1，并且时元2中的区域是位于屏幕顶部的窗口2。存储器管理在每个时元1和2中是连续的，因而，在窗口1和2的字幕的显示与图像同步。

接着，将详细介绍显示设置(DS)。

图5中的虚线hkl1和hkl2表示位于中间行的功能段属于哪个时元。一系列DS“Epoch Start”(时元开始)、“采集点”(AcquisionPoint)和“正常情况”(Normal Case)构成在顶部行的该时元。“EpochStart”、“Acquision Point”和“Normal Case”是DS的各个类型，并且“Acquision Point”和“Normal Case”之间的顺序都没有关系，它们中任一个都可以先出现。

Epoch Start是具有“新显示”的显示效果的DS，其表示新时元的开始。因此，Epoch Start包含用于显示屏幕的新元素所需的所有功能段。Epoch Start设置在作为AVClip的跳跃操作(skip operation)的目标的位置上，如影片中的章节。

Acquision Point是具有“显示更新”的显示效果的DS，并且其用于呈现图形的内容与作为在前DS的Epoch Start是相同的。AcquisionPoint不设置在时元的开始点，但是包含显示屏幕的新成分所需的所有功能段。因此，当对Acquision Point进行跳跃操作时，可以不出现故障地显示图形。因而，利用Acquision Point，可以在该时元中部构成一个屏幕。

Acquision Point设置在可以作为跳跃操作的目标的位置上。这种位置的例子是可以在进行时间检索时指定的位置。时间检索是响应于用户的输入时间的操作，从而在对应由用户规定的时间的再现点而开始再现。该时间是大致规定的，如相差10分钟或10秒钟，相应地，再现开始的点设置为例如10分钟间隔或10秒钟间隔。通过将Acquision Point提供在再现可以开始的点上，可以在时间检索之后平滑地进行再现。

Normal Case是具有“显示更新”的显示效果的DS，并只包含不同于前一屏幕成分的元素。具体地说，当DSv中的字幕与DSu中的字幕相同但是屏幕在DSv和Dsu中以不同方式显示时，DSv设置成只包括PCS并使DSv为Normal Case。由此，不必提供具有与前一DS中的ODS的内容相同内容的ODS，从而可以减小BD-ROM中的数据大小。另一方面，由于作为Normal Case的DS只包含差异，因此单独使用Normal Case不可能构成该屏幕。

下面解释定义段(ODS、WDS和PDS)的细节。目标定义段(ODS)是定义图形目标的功能段。下面首先解释图形目标。记录在BD-ROM中的AVClip的卖点是其与高清晰度电视一样的高分辨率，因此图形目标的分辨率设置在1920×1080像素。由于1920×1080像素的高分辨率，可以在屏幕上清楚地显示字幕的具体字符格式。关于字幕的颜色，每个像素(色差红Cr、色差蓝Cb、亮度Y、和透明度T)的指标值的位长度是8位，因此可以从全色(16777216种颜色)中选择用于这些字幕的任何256种颜色。由图形目标实现的字幕通过在透明背景上设置正文来呈现。

定义图形目标的ODS的语法示于图7A中。ODS由表示字节是ODS的segment_type(段_类型)、表示ODS的数据长度的segment_length(段_长度)、唯一地表示对应该时元中的ODS的图形目标的object_id(目标_id)、表示该时元内的ODS的版本的object_version_number(目标_版本_号)、last_insequence_flag(最后_非序列_标记)和作为对应一部分或全部图形目标的连续序列比特的object_data_fragment。

object_id用于唯一地识别对应该时元内的ODS的图形目标。图形流的该时元包含具有相同ID的一个以上的ODS。具有相同ID的ODS也具有相同宽度和高度，并且被分配以目标缓冲器中的公共区域。在该公共区域中读取具有相同ID的一个ODS之后，用具有相同ID的下一个ODS对被读取的ODS进行重写。在进行视频流的再现时，通过用具有相同ID的下一ODS重写被读到目标缓冲器的ODS，从而更新该ODS的图形。只在一个时元期间施加了尺寸约束，即，具有相同ID的图形目标的宽度和高度应该是相同的，并且不同时元中的图形目标可以具有不同尺寸。

下面介绍last_sequence_flag(最后_序列_标记)和object_data_fragment(目标_数据_片段)。在有些情况下，由于PES信息包的有效载荷限制而不可能在一个ODS中储存构成字幕的解压缩图形。在这些情况下，图形分裂成一系列连续的片段，并且一个片段设置为object_data_fragment。当一个图形目标作为一个以上片段被储存时，除了最后片段以外的每个片段都具有相同的尺寸。最后片段小于或等于在前片段的尺寸。承载这些片段的ODS按照相同的连续顺序出现在DS中，其中由ODS表示的序列的最后一个具有last_sequence_flag。虽然ODS的上述语法是基于这样的假设，即，该多个片段从在前PES开始堆叠，但是这些片段可以堆叠成使得每个PES含有空白部分。

接着，解释调色板定义段(PDS)。PDS用于定义颜色转换用的调色板。图7B表示PDS的语法。PDS由表示该段是PDS的segment_type、表示PDS的数据长度的segment_length、唯一地标示包含在PDS中的调色板的palette_id(调色板_id)、表示该时元内的PDS的版本的palette_version_number(调色板_版本_号)、和规定调色板的条目号(entry number)的palette_entry_id构成。palette_entry_id(调色板_条目_id)表示色差红(Cr_value)、色差蓝(Cb_value)、亮度(Y_value)和透明度(T_value)。

接下来，介绍窗口定义段(WDS)。

WDS用于定义图形平面上的矩形区域。如上所述，只有在图形平面上的某个区域内进行擦除和显现时，存储器管理是连续的。图形平面上的该区域由WDS定义并被称为“窗口”。图8A示出了WDS的语法。如图所示，WDS由表示该段是WDS的segment_type、表示WDS的数据长度的segment_length、唯一地标示图形平面上的该窗口的window_id、规定图形平面上的窗口的左上角像素的水平地址的window_horizontal_position、规定图形平面上的窗口的左上角像素的垂直地址的window_vertical_position、规定图形平面上的窗口的宽度的window_width和规定图形平面上的窗口的高度的window_height构成。

下面介绍window_horizontal_position、window_vertical_position、window_width、和window_height可以采取的数值的范围。用于这些值的坐标系在图形平面上的区域内，并且该窗口的尺寸两维地由表示高度的window_height和表示宽度的window_width来表示。

window_horizontal_position规定图形平面上的该窗口的左上角像素的水平地址，并且处于0到(window_width)-1的范围内。而且，window_vertical_position规定图形平面上的该窗口的左上角像素的垂直地址，并且处于0到(window_height)-1的范围内。

window_width规定图形平面上的该窗口的宽度。规定的宽度落入1到(video_width)-(window_horizontal_position)的范围内。此外，window_height规定图形平面上的窗口的高度，并且该规定的高度在1到(video_height)-(window_vertical_position)的范围内。

每一个时元内的图形平面上的窗口的位置和尺寸由window_horizontal_position、window_vertical_position、window_width、和window_height定义。因而，可以调节正在构成的窗口的位置和尺寸，使得在观看影片时，一个时元内的窗口出现在不遮挡图像的位置上。由此，字幕的可见性变得更高。由于为每一个时元定义了WDS，即使图像随着时间改变，也可以根据图像调节窗口的位置。结果是，影片的质量保持为与在字幕结合到影片的主体中的情况一样高。

接着，解释显示设置段(END)的结束。END提供完成DS的传输的信息。在数据流中将End插入到紧跟在一个DS中的最后IDS之后，End由表示该段是END的segment_type和表示END的数据长度的segment_length构成。END不包括需要进一步解释的任何其它元素。

接着，下面将介绍展示成分段(PCS)。

PCS是用于构成交互式显示的功能段。图8B表示PCS的语法。如图所示，PCS由segment_type、segment_length、composition_number、Composition_state、palette_update_flag、palette_id和窗口信息1-m构成。

composition_number通过0-15的范围内的数值表示DS中的图形更新。如果图形更新存在于时元的头部和PCS之间，则在每次发生图形更新时增加composition_number。

Composition_state表示其中含有PCS的DS的类型、Normal Case、Acquision Point或Epoch Start。

palette_update_flag表示PCS描述仅对调色板的显示更新。仅对调色板的显示更新表示只有调色板从相邻的在前调色板更新。如果进行仅对调色板的显示更新，则palette_update_flag字段设置为“1”。

palette_id标示要在仅对调色板的显示更新中使用的调色板。

窗口信息1-m表示怎样控制包含该PCS的DS中的每个窗口。图8B中的虚线wd1用于详细地表述窗口信息i的内部语法。窗口信息i由object_id、window_id、object_cropped_flag、object_horizontal_position、object_vertical_position、和cropping_rectangle信息1-n构成。

object_id标示对应窗口信息i的窗口中的ODS。

window_id标示在PCS中分配了图形目标的窗口。最多两个图形目标可以分配给一个窗口。

object_cropped_flag用于在目标缓冲器中在裁剪图形目标的显示和非显示之间进行切换。当object_cropped_flag设置为“1”，裁剪图形目标显示在目标缓冲器中，并如果设置为“0”，则不显示图形目标。

object_horizontal_position规定图形平面中的图形目标的左上角像素的水平地址。

obiect_vertical_position规定图形平面中的图形目标的左上角像素的垂直地址。

cropping_rectangle信息1-n是在object_cropped_flag设置为“1”时使用的元素。虚线wd2是用于表示用于cropping_rectangle信息i的内部语法的细节。如虚线wd2所示，cropping_rectangle信息i由四个字段构成：object_cropping_horizontal_position、object_cropping_vertical_position、object_cropping_width和object_cropping_height。

object_cropping_horizontal_position规定在图形平面中显示图形目标期间使用的裁剪矩形的左上角角的水平地址。裁剪矩形是用于规定和裁剪一部分图形目标的裁剪框，并对应ETSI EN 300 743标准中的区域。

object_cropping_vertical_position规定在图形平面中显现图形目标期间使用的裁剪矩形的左上角角的垂直地址。

object_cropping_width规定该裁剪矩形的宽度。

object_cropping_height规定该裁剪矩形的高度。

下面详细介绍PCS的具体例子。在该例中，在图像播放时，如图6所示的字幕“Actually…”、“I was hiding”和“my feelings.”通过3次写到图形平面而逐渐地出现。图9是用于实现这种字幕显示的说明的例子。图中的时元包括DS1(Epoch Start)、DS2(Normal Case)和DS3(Normal Case)。DS1含有用于规定其中显示字幕的窗口的WDS、用于规定台词“Actually…I was hiding my feelings.”和第一PCS。DS2含有第二PCS，并且DS3含有第三PCS。

图10-12表示在DS中含有的WDS和PCS的例子。图10表示DS1中的PCS的例子。

在图10中，WDS的window_horizontal_position和window_vertical_position由LP1、图形平面上的窗口的左上角像素的位置表示。window_width和window_height分别表示该窗口的宽度和高度。

在图10中，object_cropping_horizontal_position和object_cropping_vertical_position表示一个坐标系中的裁剪矩形的参考点ST1，该坐标系的原点是图形目标的左上角像素。裁剪矩形是具有从ST到object_cropping_width的宽度和从ST到object_cropping_height的高度的区域(由粗线框所示的矩形)。裁剪图形目标位于虚线框cp1表示的矩形内，具有坐标系中的参考点，坐标系的原点位于图形平面中的object_horizontal_position和object_vertical_position(图形目标的左上角像素)。由此，将字幕“Actually…”写到图形平面上的窗口，然后与电影图像组合并显示在屏幕上。

图11表示DS2中的PCS的例子。不解释DS2中的WDS，因为DS2中的WDS与DS1中的WDS相同。DS2中的裁剪信息的描述不同于图10所示的裁剪信息的描述。

在图11中，裁剪信息中的object_cropping_horizontal_position和object_cropping_vertical_position表示目标缓冲器中的“Actually…Iwas hiding my feelings.”中的字幕“I was hiding”的左上角像素。object_cropping_width和object_cropping_height表示含有字幕“I washiding”的矩形的宽度和高度。由此，字幕“I was hiding”被写到图形平面上，然后与电影图像组合并显示在屏幕上。

图12表示在DS3中的PCS的例子。由于DS3中的WDS与DS1中的WDS相同，因此不解释DS3中的WDS。DS3中的裁剪信息的描述不同于图10所示的裁剪信息的描述。

在图12中，裁剪信息中的object_cropping_horizontal_position和object_cropping_vertical_position表示目标缓冲器中的“Actually…Iwas hiding my feelings.”中的字幕“my feelings”的左上角像素。object_cropping_width和object_cropping_height表示含有字幕“myfeelings”的矩形的宽度和高度。由此，字幕“my feelings”被写到图形平面的窗口中，然后与电影图像组合并显示在屏幕上。

如上所述，通过描述DS1、DS2和DS3，可以实现在屏幕上显示字幕的效果。还可以实现其它效果，并且下面介绍用于实现其它效果的说明协议。

首先，解释用于切入/切出的说明协议。图13表示在进行切入/切出时对DS的描述的沿着时间轴表示的例子。

在图中，窗口(x，y，u，v)中的x和y分别表示window_vertical_position和window_horizontal_position的值，并且u和v分别表示window_width和window_height。而且在图中，裁剪矩形(a，b，c，d)中的a和b分别表示object_cropping_vertical_position和object_cropping_horizontal_position的值，并且c和d分别表示object_cropping_width和object_cropping_height的值。显示设置DS11、DS12和DS13处于图中的再现时间轴上的点t11、t12和t13上。

处于点t11上的DS11包括其中Composition_state是“Epoch Start”和object_cropped_flag是“0”(no_cropping_rectangle_visible)的PCS#0、具有在图形平面中的(100，100)上的宽度700×高度500的窗口用的声明的WDS#0、PDS#0、表示字幕“片头字幕(Credits)：”的ODS#0和END。

处于点t12的DS12包括PCS#1，其Composition_state是“NormalCase”，并表示图形目标的裁剪操作是从目标缓冲器中的(0，0)开始，大小为600×400(cropping_rectangle#0(0，0，600，400))，并且将裁剪图形目标定位在图形平面(on Window#0(0，0))中的坐标(0，0)。

处于点t13的DS13包括其PCS#2，其Composition_state是“NormalCase”，并且其中object_cropped_flag设置为“0”，以便擦除裁剪图形目标(no_cropping_rectangle_visible)。

利用上述的显示设置，“Credits：”在t11不显示，而在t12出现，然后再次在t13不显示，从而实现了切入/切出效果。

其次，解释用于淡入/淡出效果的说明协议。图14表示在进行淡入/淡出时DS的说明的沿着时间轴表示的例子。显示设置DS21、DS22、DS23和DS24处于图中的再现时间轴上的点t21、t22、t23和t24。

处于点t21上的DS21包括PCS#0、WDS#0、PDS#0、ODS#0和END，其中PCS#0的Composition_state是“Epoch Start”并表示目标缓冲器中的图形目标的裁剪操作从(0，0)开始且大小为600×400(cropping_rectangle#0(0，0，600，400))，并且将裁剪图形目标定位在图形平面(在on Window#0(0，0))中的坐标(0，0)，WDS#0具有对窗口位于图象平面的(100，100)，大小为宽度700×高度500的声明，ODS#0表示字幕“Fin”。

处于点t22上的DS22包括其Composition_state是“Normal Case”的PCS#1和PDS#1。PDS#1表示与PDS#0相同的Cr和Cb的值，但是由PDS#1表示的亮度比PDS#0中的亮度高。

处于点t23的DS23包括其Composition_state是“Normal Case”的PCS#2、PDS#2和END。PDS#2表示与PDS#1相同的Cr和Cb的值，但是由PDS#2表示的亮度比PDS#1中的亮度低。

处于点t24上的DS24包括其Composition_state是“Normal Case”和object_cropped_flag是“0”(no_cropping_rectangle_visible)的PCS和END。

每个DS规定不同于在前DS的PDS，因而，在一个时元中以一个以上PCS显现的图形目标的亮度逐渐变高或低。借此，可以实现淡入/淡出的效果。

下面将解释用于滚动的说明协议。图15表示在进行滚动时沿着时间轴表示的DS的说明的例子。显示设置DS31、DS32、DS33和DS34处于图中的再现时间轴上的点t31、t32、t33和t34上。

处于点t31上的DS31包括其Composition_state被设置为“EpochStart”并且object_cropped_flag是“0”(no_cropping_rectangle_visible)的PCS#0、具有对在图形平面中的(100，100)处的宽度700×高度500的窗口的声明的WDS#0、PDS#0、表示字幕“Credits：Company”的ODS#0和END。

处于点t32的DS32包括PCS#1，其Composition_state是“NormalCase”，并表示图形目标的裁剪操作是目标缓冲器中从(0，0)开始大小为600×400(cropping_rectangle#0(0，0，600，400))，并且将裁剪图形目标定位在图形平面中的坐标(0，0)处(on Window#0(0，0))。图形目标中的从(0，0)开始的600×400的区域包括显示为两行的字幕“Credits：Company”的一部分“Credits”，因此“Credits：”部分出现在图形平面上。

处于点t33的DS33包括PCS#2，其Composition_state是“NormalCase”，并且表示图形目标的裁剪操作是目标缓冲器中从坐标(0，100)开始的600×400大小(cropping_rectangle#0(0，100，600，400))，并且将裁剪的图形目标定位在图形平面中的坐标(0，0)处(onWindow#0(0，0))。目标缓冲器中的从(0，100)开始的600×400尺寸的区域包括两行中所示的字幕“Credits：Company”的“Credits：”部分和“Company”部分，因此“Credits：”和“Company”部分出现在图形平面上的两行中。

处于点t34的DS34包括PCS#3，其Composition_state是“NormalCase”，并表示图形目标的裁剪操作是从目标缓冲器(cropping_rectangle#0(0，200，600，400))中从(0，200)开始的600×400的尺寸，并将裁剪图形目标定位在图形平面中的坐标(0，0)(on Window#0(0，0))。图形目标中的从(0，0)开始的600×400的区域包括在两行中所示的字幕“Credits：Company”的“Company”部分，因此“Company”部分出现在图形平面上。通过上述PCS说明，可以向下滚动在两行中的该字幕。

最后，将解释用于划入/划出效果的说明协议。图16表示沿着时间轴表示的进行划入/划出时的DS的说明的例子。显示设置DS21、DS22、DS23和DS24处于图中的再现时间轴上的点t21、t22、t23和t24上。

处于点t51上的DS51包括其Composition_state是“Epoch Start”和object_cropped_flag是“0”(no_cropping_rectangle_visible)的PCS#0、具有对在图形平面中的在(100，100)处的宽度700×高度500的窗口的声明的WDS#0、PDS#0、表示字幕“Fin”的ODS#0和END。

处于点t52上的DS52包括PCS#1，其Composition_state是“NormalCase”和表示图形目标的裁剪操作是从目标缓冲器中的(0，0)开始的600×400SIZE(cropping_rectangle#0(0，0，600，400))，并且在图形平面中的坐标(0，0)上定位裁剪图形目标(on Window#0(0，0))。目标缓冲器中从(0，0)开始的600×400尺寸的区域包括字幕“Fin”，因此在图形平面上出现字幕“Fin”。

处于点t53的DS53包括PCS#2，其Composition_state是“NormalCase”，并且表示图形目标的裁剪操作将在目标缓冲器中从(200，0)开始的400×400SIZE(cropping_rectangle#0(200，0，400，400))，并且将裁剪的图形目标定位在图形平面中的坐标(200，0)处(onWindow#0(200，0))。由此，用窗口中的坐标(200，0)和(400，400)表示的区域变为显示区域，并且由坐标(0，0)和(199，400)表示的区域变为非显示区域。

处于点t54上的DS54包括PCS#3，其Composition_state是“NormalCase”，并且表示图形目标的裁剪操作是在目标缓冲器中从(400，0)开始的200×400SIZE(cropping_rectangle#00(400，0，200，400))，并且将裁剪的图形目标定位在图形平面(on Window#0(400，0)上)中的坐标(400，0)上。由此，用窗口中的坐标(0，0)和(399，400)表示的区域变为非显示区域。

由此，随着非显示区域变大，显示区域变小，因此实现了划入/划出效果。

如上所述，使用相应的语言(script)可以实现各种效果，如切入/切出、淡入/淡出、划入/划出和滚动，因此可以做各种布置来呈现字幕。

为了实现上述效果的约束如下。为了实现滚动效果，需要对窗口进行清除和重画的操作。以图15为例，必须进行“窗口清除”，从而在t32从图形平面中擦除图形目标“Credits：”，然后进行“窗口重画”，从而在t32和t33之间的间隔期间将“Credits：”的下部分和“Company”的上部分写到图形平面上。假设该间隔与视频帧的间隔相同，则用于滚动效果所希望的目标缓冲器和图形平面之间的传送速度是重要的。

这里，介绍关于窗口可以是多大的约束。Rc是目标缓冲器和图形平面之间的传送速度。这里最坏的情况是要以速度Rc进行窗口清除和窗口重画。在这种情况下，需要以Rc的一半的速度(Rc/2)进行窗口清除和窗口重画中的每一个。

为了使窗口清除和窗口重画与视频帧同步，需要满足以下等式，

窗口尺寸×帧速度Rc/2

如果帧速度是29.97，Rc由如下关系式表示，

Rc＝窗口尺寸×2×29.97

在显示字幕时，窗口尺寸占图形平面的至少25％到33％。图形平面中的像素总量为1920×1080。假定每像素的索引比特长度是8位，则图形平面的总容量是2兆比特(1920×1080×8)。

假定窗口尺寸是图形平面的总容量的1/4，窗口尺寸变为500K比特(＝2M比特/4)。通过将这个值代到上述关系式中，计算出Rc为256Mbps(＝500K比特×2×29.97)。如果用于窗口清除和窗口重画的速度可以是帧速度的一半或四分之一，即使Rc相同，也可以使窗口的尺寸成为两倍或四倍。

通过保持该窗口尺寸为图形平面的25％到33％，并以256Mbps的传送速度显示字幕，无论要实现任何种类的显示效果，都可以保持图形和电影图像之间的同步显示。

接着，介绍窗口的位置、尺寸和面积。如上所述，窗口的位置和面积在一个时元内不变。窗口的位置和尺寸在一个时元内设置为相同，因为如果位置和尺寸改变则必须改变图形平面的目标写地址，并且改变地址所引起的操作将降低从目标缓冲器向图形平面的传送速度。

每个窗口的图形目标的数量有限制。提供该数量的限制是为了减少传送解码图形目标的操作。这里的操作是在设置图形目标的边缘的地址时产生的，并且边缘的数量越多，产生的操作越多。

图17表示相互比照的例子，在一个例子中一个窗口具有四个图形目标，另一个例子中一个窗口具有两个图形目标。具有四个图形目标的例子的边缘的数量是具有两个图形目标的例子的边缘数量的两倍。

在图形目标的数量没有限制的情况下，不知道在传送图形时会产生多少操作，因此用于传送的负载急剧增加和减少。另一方面，当窗口中的图形目标的最大数量是两个时，考虑最多有4个操作费来设置传送速度。因而，更容易设置最小传送速度的量。

接着，介绍具有PCS和ODS的DS如何分配到AVClip的时间轴。时元是一个时间周期，其中存储器管理沿着再现时间轴是连续的。由于时元由一个以上的DS构成，如何将DS分配到AVClip的再现时间轴是很重要的。AVClip的再现时间轴是用于规定每片图像数据的解码和再现的定时的时间轴，所述图像数据构成被多路复用为AVClip的视频流。再现时间轴上的解码和再现定间用90KHz的精度表示。附在DS中的PCS和ODS上的DTS和PTS表示在再现时间轴上同步控制的定时。将显示设置分配到再现时间轴上意味着使用附在PCS和ODS上的DTS和PTS进行同步控制。

首先，下面将介绍如何使用固定到ODS上的DTS和PTS进行同步控制。

以90KHz的精度，DTS表示在ODS的解码开始时的时刻，PTS表示在解码结束时的时刻。

ODS的解码不是立即完成的，而是具有一定的时间长度。响应于要清楚地表示解码持续时间的开始点和结束点的请求，ODS的DTS和PTS分别表示在解码开始和结束时的时刻。

PTS的值表示截止时间，因此必须使ODS的解码在由PTS表示的时间前完成，并且解压缩的图形目标被写到再现装置上的目标缓冲器。

DSn中的任何ODSj的解码开始时间以90KHz的精度由DTS(DSn[ODS])来表示。将解码持续时间的最大长度加上DTS(DSn[ODS])是ODSj的解码结束时的时间。

当ODsj的尺寸是“SIZE(DSn[ODS])”和ODS的解码速度是“Rd”时，用秒表示的用于解码所需的最大时间表示为“SIZE(DSn[ODS])//Rd”。符号“//”表示进行除法并对十分位之后的位置四舍五入的操作符。

通过将最大时间周期转换成以90KHz的精度表示的数字并加到ODSj的DTS上，就计算得到了由PTS表示的解码结束时的时间(90KHz)。

DSn中的ODSj的PTS用以下关系式表示，

PTS(DSn[ODSj])＝DTS(DSn[ODSj])+90000×(SIZE(DSn[ODSj])//Rd)

此外，必须使两个连续的ODS，ODSj和ODSj+1之间的关系满足以下关系式，

PTS(DSn[ODSj])≤DTS(DSn[ODSj+1])

接下来解释PCS的DTS和PTS的设置。

必须在DSn中的第一ODS(ODS1)的解码开始时间之前和在DSn中的第一PDS(PDS1)变为有效时的时间(PTS(DSn[PDS1])之前，将PCS装载到再现装置上的目标缓冲器。因而，必须将DTS设置成满足以下关系式，

DTS(DSn[PCS])≤DTS(DSn[ODS1])

DTS(DSn[PCS])≤PTS(DSn[PDS1])

此外，DSn中的PCS的PTS用以下关系式表示，

PTS(DSn[PCS])≥DTS(DSn[PCS])+decodeduration(DSn)

“decodeduration(DSn)”表示对用于更新PCS的所有图形目标进行解码所持续的时间。解码持续时间不是固定值，但也不随再现装置和安装到再现装置上的器件或软件的状态而改变。当用于构成DSn.PCSn屏幕的目标是DSn.PCSn.OBJ[j]时，decodeduration(DSn)受到(i)清除窗口所需的时间、(ii)用于解码DSn.PCSn.OBJ的解码持续时间和(iii)用于写DSn.PCSn.OBJ所需的时间的影响。当设置Rd和Rc时，decode_duration(DSn)总是相同的。因此，通过计算正在执行的这些持续时间的长度来计算PTS。

decode_duration的计算是在图18所示的程序为基础进行的。图19、20A和20B是示意性表示该程序的算法的流程图。下面参照附图介绍关于decode_duration的计算。在图19所示的流程图中，首先，调用PLANEINITIALZE函数(图19中的步骤S1)。PLANEINITIALZE函数用于调用计算使图形平面初始化所需的时间周期的功能，用于再现DS。在图19中的步骤S1中，使用参数DSn、DSn.PCS.OBJ[0]和decode_duration调用该函数。

下面参照图20A介绍PLANEINITIALZE函数。在该图中，initialize_duration表示PLANEINITIALZE函数的返回值的变量。

图20中的步骤S2是if语句，用于根据DSn中的PCS中的page_state是否表示Epoch Start而切换操作。如果page_state表示Epoch Start(DSn.PCS.page_state＝＝epoch_start，图18中的步骤S2＝是)，则清除图形平面所需的时间周期设置为initialize_duration(步骤S3)。

当目标缓冲器和图形平面之间的传送速度Rc是如上所述的256,000,000，并且图形平面的总尺寸设置为video_width*video_height时，清除所需的时间周期是“video_width*video_height//256000000”。当乘以90.000Hz以用PTS的时间精度表示时，清除图形平面所需的时间周期是“90000×video_width*video_height//256000000”。这个时间周期加到initialize_duration上。

如果page_state不表示Epoch Start(步骤S2＝不)，则对于所有窗口，清除由WDS定义的窗口[i]所需的时间周期加到initialize_duration上(步骤S4)。当目标缓冲器和图形平面之间的传送速度Rc是如上所述256,000,000和属于WDS的窗口[i]的总尺寸是∑SIZE(WDS.WIN[i]时，清除所需的时间周期是“∑SIZE(WDS.WIN[i]//256000000”。当乘以90.000Hz以便以PTS的时间精度表示时，清除属于WDS的窗口所需的时间周期是“90000×∑SIZE(WDS.WIN[i]//256000000”。这个时间周期加到initialize_duration上，结果是，initialize_duration被返回。上面是PLANEINITIALZE函数。

图19中的步骤S5用于根据DSn中的图形目标的数量是2或1来切换操作，(图18中，if(DSn.PCS.num_of_object＝＝2，if(DSn.PCS.num_of_object＝＝1)，和如果该数量是1(步骤S5)，用于解码图形目标的等待时间加到decode_duration上(步骤S6)。等待时间的计算是通过调用WAIT函数(图18，decode_duration+＝WAIT(DSn，DS.PCS.OBJ[0]，decode_duration)来进行的。该函数是使用设置到DSn、DSn.PCS.OBJ[0]、decode_duration等参量来调用的，并且返回值是wait_duration。

图20B是表示WAIT函数的操作的流程图。

在该流程图中，调用者(invoker)的decode_duration设置为current_duration。object_definition_ready_time是设置为DS的图形目标的PTS的变量。

current_time是设置为DSn中的PCS的DTS和current_duration的总值的变量。当object_definition_ready_time大于current_time(步骤S7为是，如果(current_time＜object_definition_ready_time))，作为返回值的wait_duration设置为object_definition_ready_time和current_time之间的差值(步骤S8，wait_duration+＝object_definition_ready_time-current_time)。decode_duration设置为WAIT函数的返回值加到用于重画该窗口所需的时间周期上所得的时间周期，(90000*(SIZE(DSn.WDS.WIN[0]))//256000000)。

上面的解释是关于图形目标的数量是1的情况。在图5中的步骤S5中，判断是否图形目标的数量是2。如果DSn中图形目标的数量是大于2(在图18中，ifDSn.PCS.num_of_object＝＝2)，则使用PCS中的OBJ[0]作为参量调用WAIT函数，并将返回值加到decode_duration上(步骤S10)。

在随后的步骤S11中，判断是否DSn的OBJ[0]所属的窗口与图形目标[1]所属的窗口相同(if(DSn.OBJ[0]).window_id＝＝DSn.PCS.OBJ[1].window_id)。如果该窗口是相同的，则使用OBJ[1]作为参量调用WAIT函数，并将返回值wait_duration加到decode_duration上(步骤S12)，并且将重画OBJ[1]所属的窗口所需的时间(90000*(SIZE(DSn.WDS.OBJ[0].window_id))//256000000)加到decode_duration上(步骤S13)。

如果判断这些窗口是不同的(步骤S11，“不同”)，则将重画OBJ[0]所属的窗口所需的时间(90000*(SIZE(DSn.WDS.OBJ[0].window_id))//256000000)加到decode_duration上(步骤S15)，使用OBJ[1]作为参量调用WAIT函数，将返回值wait_duration加到decode_duration上(步骤S16)，并将重画OBJ[1]所属的窗口所需的时间(90000*(SIZE(DSn.WDS.OBJ[0].window_id))//256000000)加到decode_duration上(步骤S17)。

通过上述算法计算decode_duration。下面介绍设置OCS的PTS的具体方式。

图21A表示一个窗口中包含一个ODS的情况。图21B和21C是时序图，按照图18中显示的时间的顺序显示各个值。每个图中的底行“ODS解码”和中间行“图形平面访问”表示在再现时同时进行的两个操作。上述算法是在假设这两个操作并列进行的情况下进行说明的。

图形平面访问包括清除周期(1)和写周期(3)。清除周期(1)表示清除整个图形平面所需的时间周期(90000×(图形平面的尺寸//256000000))，或者清除图形平面上的所有窗口所需的时间周期(∑(90000×(窗口[i]的尺寸//256000000))。

写周期(3)表示显示整个窗口所需的时间周期(90000×(窗口[i]的尺寸//256000000)。

此外，解码周期(2)表示ODS的DTS和PTS之间的时间周期。

清除周期(1)、解码周期(2)和写周期(3)的长度可以根据要清除的范围、要解码的ODS的尺寸、和要写到图形平面的图形目标的尺寸而变化。为了方便起见，图中的解码周期(2)的开始点与清除周期(1)的开始点相同。

图21B表示解码周期(2)很长和decode_duration等于解码周期(2)和写周期(3)的总和的情况。

图21C表示清除周期(1)很长，和decode_duration等于清除周期(1)和写周期(3)的总和的情况。

图22A-22C表示在一个窗口中包括两个ODS的情况。图22B和22C中的解码周期(2)表示用于解码两个图形所需的总时间周期。同样，写周期(3)表示用于将两个图形写到图形平面中所需的总时间周期。

即使ODS的数量是2，也可以利用与图21的情况相同的方式计算decode_duration。当用于解码两个ODS的解码周期(3)很长时，decode_duration等于解码周期(2)和写周期(3)的总和，如图22B所示。

当清除周期(1)很长时，decode_duration等于清除周期(1)和写周期(3)的总和。

图23A表示两个窗口的每个窗口包括一个ODS的情况。与以前的情况相同，当清除周期(1)比用于解码两个ODS的解码周期(3)长时，decode_duration等于清除周期(1)和解码周期(2)的总和。然而，当清除周期(1)比解码周期(3)短时，可以在解码周期(2)结束之前写第一窗口。因而，decode_duration不等于清除周期(1)和写周期(3)的总和，或者解码周期(2)和写周期(3)的总和中的任何一个。

当用于解码第一ODS所需的时间周期是写周期(31)和用于解码第二ODS所需的时间周期是写周期(32)时，图23B表示了解码周期(2)比清除周期(1)和写周期(31)的总和长的情况。在这种情况下，decode_duration等于解码周期(2)和写周期(32)的总和。

图23C表示清除周期(1)和写周期(3)的总和比解码周期(2)长的情况。在这种情况下，decode_duration等于清除周期(1)、写周期(31)和写周期(32)的总和。

预先从再现装置的模式得知图形平面的尺寸。而且，窗口的尺寸和ODS的尺寸和数量也可以在创造时得知。因而，可以发现decode_duration等于哪个时间周期的组合：清除周期(1)和写周期(3)，解码周期(2)和写周期(3)，解码周期(2)和写周期(32)，或者清除周期(1)、写周期(3)和写周期(32)。

通过在计算上述decode_duration的基础上设置ODS的PTS，可以以高精度与图像数据同步地显示图形。通过定义窗口和限制重画该窗口的区域使这种高精度的同步显示变为可能。因此，将窗口的概念引入创作环境(authoring environment)中具有重大意义。

下面将介绍DSn中的WDS的DTS和PTS的设置。WDS的DTS可以设置成满足以下关系式，

DTS(DSn[WDS])≥DTS(DSn[PCS])

另一方面，DSn中的WDS的OTS表示开始写到图形平面的截止时间。由于写到图形平面上的窗口就足够了，开始写到图形平面的时间通过从用于写WDS所需的时间周期减去由PCS的PTS表示的时间长度来确定。当WDS的总尺寸是∑SIZE(WDS.WIN[i])时，用于清除和重画所需的时间周期是“∑SIZE(WDS.WIN[i])//256000000”。当以90.000KHz的时间精度表示时，该时间是“90000×∑SIZE(WDS.WIN[i])//256000000”。

相应地，可以通过以下关系式计算WDS的PTS，

PTS(DSn[WDS])＝PTS(DSn[PCS])-90000×∑SIZE(WDS.WIN[i])//256000000

在WDS中表示的PTS是截止时间，并可以比PTS更早地开始写到图形平面。换言之，如图23所示，一旦对一个窗口中的要显现的ODS进行解码，通过解码获得的图形目标的写操作可以在此时开始。

如上所述，可以使用加到WDS的DTS和PTS将该窗口分配给AVClip的再现时间轴上的任何时间点。

下面参照图24-25所示的具体例子介绍在这些设置的基础上显示设置中的DTS和PTS的设置的例子。该例子是关于通过四次写到图形平面来显示字幕和用于显示两个字幕“what is blu-ray”和“blu-rayis everywhere”中的每一个进行更新的情况。图24表示在该例中更新随时间的变化。直到点t1为止，显示“what”，在t1之后直到t2显示“what is”，然后在t3显示“what is blu-ray”。在已经出现第一字幕的整个句子之后，在t4显示第二字幕“blu-ray is everywhere”。

图25A表示为了进行上述更新所描述的四个显示设置。DS1包括用于控制在t1的更新的PCS1.2、用于着色的PDS1、对应字幕“whatis blu-ray”的ODS1、和作为DS1的结束代码的END。

DS2包括用于控制在t2的更新的PCS1.2和END。DS3包括用于控制在t3的更新的PCS1.3和END。DS4包括用于控制在t2的更新的PCS2、用于颜色转换的PDS2、对应字幕“blu-ray is everywhere”的ODS2和END。

参见图25B中的时序图，解释四个显示设置中的每个功能段的DTS和PTS的设置。

时序图中的再现时间轴与图24中的时间轴相同。在图25A的时序图中，PTS(PCS1.1)、PTS(PCS1.2)、PTS(PCS1.3)和PTS(PCS2)分别设置在用于显示“what”的显示点t1、用于显示“what is”的显示点t2、用于显示“what is blu-ray”的显示点t3和用于显示“blu-rayis everywhere”的显示点t4。每个PTS按照上述那样设置，因为必须在每个字幕的显示点上进行控制，例如在每个PCS中所述的裁剪。

PTS(ODS1)和PTS(ODS2)设置成表示通过分别从分别由PTS(PCS1.1)和PTS(PCS2)表示的点减去decode_duration计算的点，这是因为PTS(PCS)必须设置成满足以下公式，

PTS(DSn[PCS])≥DTS(DSn[PCS])+decodeduration(DSn)

在图25B中，PTS(ODS2)设置成表示点t4之前出现的点t5，PTS(ODS1)设置成表示在点t1之前出现的点t0。

DTS(ODS1)和DTS(ODS2)设置成表示通过从分别由PTS(ODS1)和PTS(ODS2)表示的点减去decode_duration计算的点，这是因为DTS(ODS)必须设置成满足以下等式，

PTS(DS[ODSj])＝DTS(DSn[ODSj])+90000×(SIZE(DSn[ODSj])//Rd)

在图25B中，PTS(ODS2)设置成表示在点t0之前出现的点t5，PTS(ODS1)设置成表示在点t0之前出现的点。这里满足由DTS(ODS2)＝PTS(ODS1)表示的关系。

通过在先显示的前一个ODS的PTS之后立即设置ODS的PTS，再现装置进行这样的操作，其中将该ODS读出到存储器中以便重写前一个ODS，因此可以通过小尺寸存储器进行再现处理。通过实现这种再现处理，可用于再现装置的存储器尺寸的选择变得更宽了。

PCS1.1的DTS设置成为DTS(PCS1.1)＝DTS(ODS1)，因为PCS1.1的DTS的值可以是由DTS(ODS1)表示的点之前的任何点。

ODS1的PTS、ODS2的DTS以及PCS1.2、PCS1.3和PCS2的PTS设置在点0，以便满足由以下关系式表示的关系，

PTS(ODS1)＝DTS(ODS2)＝PTS(PCS1.2)

＝PTS(PCS1.3)＝PTS(PCS2)

这是因为用于PCS1.2和PCS1.3的DTS的值可以是在由PTS(PCS1.3)表示的点之前的任何点，并且PCS2的DTS可以是由DTS(PCS2)表示的点之前的任何点。

如上所述，通过同时读出一个以上的PCS，在完成了在前PCS的更新后，就可以立即进行后一个PCS的更新。

PCS的DTS和PTS以及ODS的DTS和PTS满足由上述公式表示的关系。因而，可以使这些值设置为DTS(ODS2)＝PTS(ODS1)或者PTS(ODS1)＝DTS(ODS2)＝PTS(PCS1.2)＝PTS(PCS1.3)＝DTS(PCS2)。通过对时间戳的这种设置，可以调节解码时的负载增加或需要更多缓冲器的周期的长度。这种调节扩大了在再现期间的控制的可能性，并且有利于进行创造或制造再现装置的人。

上述显示设置(PCS、WDS、PDS、ODS)的数据结构是用编程语言中描述的分类结构的例子。进行创作的作者可以通过根据以Blu-ray盘预记录格式提供的语法来描述分类结构而在BD-ROM上获得该数据结构。

接着，下面介绍根据本发明的再现装置的实际例子。图26表示根据本发明的再现装置的内部结构。根据本发明的再现装置是在图中所示的内部结构基础上可工业上制造的。根据本发明的再现装置主要由以下三部分构成：系统LSI、驱动器件、和微型计算机系统，并且可以通过将这三个部分安装到该装置的壳体和基板上来工业上制造该再现装置。系统SI是集成电路，其中集成了用于执行该再现装置的功能的各个处理单元。按照上述方式制造的再现装置包括BD驱动1、读取缓冲器2、PID滤波器3、传送缓冲器4a-4c、外围电路4d、视频解码器5、视频平面6、声频解码器7、图形平面8、CLUT单元9、加法器10、图形解码器12、编码数据缓冲器13、外围电路13a、流图形处理器14、目标缓冲器15、组合缓冲器16、和图形控制器17。

BD驱动1执行BD-ROM的装载/读取/弹出和访问BD-ROM。

读取缓冲器2是用于按照先进先出的顺序储存从BD-ROM读取的TS信息包的FIFO存储器。

PID滤波器3对从读取缓冲器2输出的一个以上TS信息包进行滤波。通过PID3进行的过滤是只将具有所希望PID的TS信息包写到传送缓冲器4a-4c。对于通过PID滤波器3进行的滤波不需要缓冲，因而，在没有延迟的情况下将输入到PID滤波器3的TS信息包写到传送缓冲器4a-4c上。

传送缓冲器4a-4c是用于按照先进先出的顺序储存从PID滤波器3输出的TS信息包。从传送缓冲器4a-4c输出TS信息包的速度是速度Rx。

外围电路4d是用于将从传送缓冲器4a-4c读出的TS信息包转换成功能段的布线逻辑电路。通过该转换获得的功能段被储存在编码数据缓冲器13中。

视频解码器5对从PID滤波器3输出的一个以上的TS信息包解码为解压缩图像，并写到视频平面6。

视频平面6是用于运动图像的平面储存器。

声频解码器7对从PID滤波器3输出的TS信息包进行解码并输出解压缩声频数据。

图形平面8是具有用于一个屏幕的区域的平面储存器，并且能储存一个屏幕的解压缩图形。

CLUT单元9根据由PDS表示的Y、Cr和Cb的值来转换储存在图形平面8中的解压缩图形的索引颜色。

加法器10将已经通过CLUT单元9进行了颜色转换的解压缩图形乘以由PDS表示的T值(透明度)，加上被储存在每个像素的视频平面中的分解图像数据，然后获得和输出形成的图像。

图形解码器12解码图形流，从而获得分解图形，并将分解图形作为图形目标写到图形平面8中。通过解码图形流，字幕和菜单出现在屏幕上。图形解码器12包括编码数据缓冲器13、外围电路13a、流图形处理器14、目标缓冲器15、组合缓冲器16和图形控制器17。

编码数据缓冲器13是存储功能段以及DTS和PTS的缓冲器。该功能段是通过从储存在传送缓冲器4a-4c中的传送流中的每个TS信息包除去TS信息报头部和PES信息报头部，并通过顺次设置有效载荷获得的。在形成PES信息包之间的联系之后，储存除去的TS信息报头部和PES信息报头部中的PTS和DTS。

外围电路13a是实现编码数据缓冲器13和流图形处理器14之间的传送、编码数据缓冲器13和组合缓冲器16之间的传送的布线逻辑电路。在传送操作中，当在当前时间是由ODS的DTS表示的时间时，将ODS从编码数据缓冲器13传送到流图形处理器14。在当前时间是由PCS和PDS的DTS表示的时间时，将PCS和PDS传送到组合缓冲器16。

流图形处理器14解码ODS，并将通过解码获得的索引颜色的解压缩图形作为图形目标写到目标缓冲器15。通过流图形处理器14进行的解码在对应ODS的DTS的时间开始，并在由对应ODS的PTS表示的解码结束时间之前结束。图形目标的解码速度Rd是流图形处理器14的输出速度。

目标缓冲器15是对应ETSI EN 300 743标准中的像素缓冲器的缓冲器，并且设置通过流图形处理器14进行的解码获得的图形目标。目标缓冲器15必须设置为与图形平面8的两倍或四倍一样大，这是因为在进行滚动效果的情况下，目标缓冲器15需要储存与图形平面的两倍或四倍一样大的图形目标。

组合缓冲器16是其中设置PCS和PDS的存储器。

图形控制器17解码设置在组合缓冲器16中的PCS，并在该PCS基础上进行控制。用于进行控制的定时是以附加在PCS的PTS为基础的。

接着，下面介绍传送速度和构成PID滤波器3、传送缓冲器4a-4c、图形平面8、CULT单元9、编码数据缓冲器13和图形控制器17的缓冲器尺寸的推荐值。图27表示写速度Rx、Rc和Rd、图形平面8、编码数据缓冲器13、目标缓冲器15和组合缓冲器16的尺寸。

目标缓冲器15和图形平面8之间的传送速度Rc是本实施例的再现装置中的最高速度，并由窗口尺寸和帧速度计算为256Mbps(＝500Kbytes×29.97×2)。

与Rc不同，流图形处理器14和目标缓冲器15之间的传送速度Rd(像素解码速度)不必在每个视频帧循环中被更新，并且Rd是Rc的1/2或1/4就足够了。因而，Rd是128Mbps或64Mbps。

传送缓冲器4a-4c和编码数据缓冲器13之间的传送缓冲器泄漏速度Rx是压缩状态下的ODS的传送速度。因而，乘以压缩率的传送速度Rd足以用于传送缓冲泄漏速度Rx。假定ODS的压缩率是25％，16Mbps(＝64Mbps×25％)就足够了。

图中所示的传送速度和缓冲器尺寸是最小标准，并且也可以设置为较高速度和较大尺寸。

在上述构成的再现装置中，每个元件执行流水线结构中的解码操作。

图28是表示通过再现装置进行的流水线处理的时序图。图中的第5行是BD-ROM中的显示设置，第4行表示从PCS、WDS、PDS和ODS到编码数据缓冲器13的读取周期。第3行表示由流图形处理器14执行的每个ODS的解码周期。第1行表示图形控制器17执行的操作。

附加于ODS1和ODS2的DTS(解码开始时间)分别表示图中的t31和t32。由于解码开始时间由DTS设置，因此每个ODS需要读出到编码数据缓冲器13。因而，在对ODS1解码到编码数据缓冲器13的解码周期dp1之前完成ODS1的读取。而且，在对ODS2进行解码到编码数据缓冲器13的解码周期dp2之前完成ODS2的读取。

另一方面，附加于ODS1和ODS2的PTS(解码结束时间)分别表示图中的t32和t33。通过流图形处理器14执行的ODS1的解码是在t32之前完成，并且ODS2的解码在t33表示的时间之前完成。如上所述，在ODS的DTS表示的时间之前，流图形处理器14将将ODS读到编码数据缓冲器13，并且在ODS的PTS表示的时间之前，对读到编码数据缓冲器13的ODS进行解码，而且将解码的ODS写到目标缓冲器15。

在图中第1行的周期cd1表示图形控制器17清除图形平面所需的周期。而且，周期td1表示将在目标缓冲器上获得的图形目标写到图形平面8所需的周期。WDS的PTS表示开始写的截止时间，PCS的PTS表示写的结束时间和用于显示的定时。在由PCS的PTS表示的时间，在图形平面8上获得构成交互式屏幕的解压缩图形。

CLUT单元9进行解压缩图形的颜色转换和加法器10进行储存在视频平面6中的分解图形和分解图像的组合之后，获得组合图像。

在图形解码器12中，流图形处理器14连续地进行解码，同时图形控制器17进行图形平面8的清除。通过上述流水线处理，可以进行图形的即时显示。

在图28中，解释了在完成ODS的解码之前图形平面的清除结束的情况。图29表示在完成图形平面的清除之前ODS解码结束的情况中的流水线处理中的时序图。在这种情况下，不可能在完成ODS的解码时写到图形平面。当完成图形平面的清除时，就可以将通过解码获得的图形写到图形平面。

接着，下面介绍如何运行控制单元20和图形解码器12。控制单元20是通过写一段程序并使一般的CPU执行该程序来运行的，该程序执行图30中所示的操作。下面参照图30介绍通过控制单元20执行的操作。

图30是表示功能段的装载操作的处理的流程图。在该流程图中，段K是可变的，表示在再现AVClip时读出的每个段(PCS、WDS、PDS和ODS)。忽略标记是确定段K是否被忽略或装载的标记。该流程图具有循环结构，其中首先忽略标记被初始化到0，然后对每个段K重复执行步骤S21-S24和步骤S27-S31(步骤S25和步骤S26)。

步骤S21是用于判断段K是否是PCS，如果段K是PCS，则进行步骤S27和步骤S28中的判断。

步骤S22是用于判断忽略标记是否为0。如果忽略标记为0，则操作移动到步骤S23，如果忽略标记是1，则操作移动到步骤S24。如果忽略标记是0(步骤S22中为是)，则在步骤S23中将段K装载到编码数据缓冲器13中。

如果忽略标记是1(步骤S22中是否)，则在步骤S24中忽略段K。由此，由于步骤S22是否(步骤S24)，则忽略属于DS的其余所有功能段。

如上所述，段K是否忽略或装载是由忽略标记来确定的。步骤S27-S31、S34和S35是用于设置忽略标记的步骤。

在步骤S27中，判断段K的segment_type是否是Acquision Point。如果段K是Acquision Point，则操作移动到步骤S28，如果段K是Epoch Start或Normal Case，则操作移动到步骤S31。

在步骤S28中，判断是否在前DS存在于图形解码器12中的任何缓冲器中(编码数据缓冲器13、流图形处理器14、目标缓冲器15、和组合缓冲器16)。在步骤S27中的判断为是时进行步骤S28中的判断。在前DS不存在于图形解码器12中的情况表示进行跳跃操作的情况。在这种情况下，从作为Acquision Point的DS开始显示，因此操作转移到步骤S30(步骤S28中是否)。在步骤S30中，忽略标记设置为0，并且操作移动到步骤S22。

在前DS存在于图形解码器12中的情况指的是进行正常再现的情况。在这种情况下，操作移动到步骤S29(步骤S28中为是)。在步骤S29中，忽略标记设置为1，并且操作移动到步骤S22。

在步骤S31中，判断PCS的segment_type是否是Normal Case。如果PCS是Normal Case，则操作移动到步骤S34，如果PCS是EpochStart，则在步骤S30中将忽略标记设置为0。

在步骤S34中，与步骤S28中一样，判断在前DS是否存在于图形解码器12中的任何缓冲器中。如果在前DS存在，则忽略标记设置为0(步骤S30)。如果在前DS不存在，不可能获得足够的功能段来构成交互式屏幕，忽略标记设置为1(步骤S35)。

通过用上述方式设置忽略标记，在在前DS不存在于图形解码器12中时，忽略构成Normal Case的功能段。

用如图31所示的对DS进行多路复用的情况作为例子介绍如何进行DS的读取的方式。在图31的例子中，将三个DS与运动图像多路复用。DS1的segment_type是Epoch Start，DS10的segment_type是Acquision Point，并且DS20的segment_type是Normal Case。

假设在对三个DS和运动图像进行多路复用的AVClip中，执行由箭头am1表示的图像数据pt10跳跃操作，并且DS10最接近于跳跃目标，因此DS10是在图30中的流程图中表示的DS。尽管在步骤S27中判断segment_type是Acquision Point，但是因为没有在前DS存在于编码数据缓冲器13中而将忽略标记设置为0，并且将DS10装载到再现装置的编码数据缓冲器13，如图32中的箭头md1所示。另一方面，在跳跃目标处于DS10(图31中的箭头am2所示)之后的情况下，DS20将被忽略，因为DS20是Normal Case显示设置，并且因为在前DS不存在于编码数据缓冲器13中(图32中的箭头md2)。

图33表示正常再现中的DS1、DS10和DS20的装载。其PCS的segment_type是Epoch Start的DS1被原样装载到编码数据缓冲器13中(步骤S23)。然而，由于其PCS的segment_type是Acquision Point的DS10的忽略标记设置为1(步骤S29)，因此构成DS10的功能段被忽略并且不装载到编码数据缓冲器13(图34中的箭头rd2，步骤S24)。此外，由于DS20的PCS的segment_type是Normal Case，因此将DS20装载到编码数据缓冲器13(图34中的箭头rd3)。

接下来，解释由图形控制器17执行的操作。图35-37表示由图形控制器17执行的操作的流程图。

步骤S41-S44是流程图的主程序的步骤并等待在步骤S41-S44中描述的任何事件发生。

步骤S41是判断当前再现时间是否是由PCS的DTS表示的时间，如果该判断为是，则执行步骤S45-S53中的操作。

步骤S45是判断OCS的Composition_state是否是Epoch Start，如果判断是Epoch Start，则在步骤S46中清除全部图形平面8。如果判断是Epoch Start以外的其它情况，则清除由WDS的window_horizontal_position、window_vertical_position、window_width和window_height表示的窗口。

步骤S48是在步骤S46或在步骤S47中执行清除之后进行的步骤，并判断是否经过了由任何ODSx的PTS表示的时间。任何ODSx的解码能够在清除结束之前已经完成，因为整个图形平面8的清除花费了时间。因此，在步骤S48中，判断清除结束之前是否任何ODSx的解码已经完成。如果判断为否，则操作返回到主程序。如果已经经过了由任何ODSx的PTS表示的时间，则执行步骤S49-S51中的操作。在步骤S49中，判断object_cropped_flag是否为0，如果该标记为0，则将图形目标设置为“No-display(不显示)”(步骤S50)。

如果在步骤S49中判断该标记不是0，则将根据object_cropping_horizontal_position、object_cropping_vertical_position、cropping_width和cropping_height而裁剪的目标写到图形平面8中的窗口中的由object_cropping_horizontal_position和object_cropping_vertical_position表示的位置上(步骤S51)。通过上述操作，在该窗口中呈现一个或多个图形目标。

在步骤S52中，判断是否经过了对应另一ODSy的PTS的时间。在将ODSx写到图形平面8中时，如果已经完成了ODSy的解码，则ODSy变为ODSx(步骤S53)，并且操作移动到步骤S49。由此，也对另一ODS执行从步骤S49-51的操作。

接下来，下面参照图36介绍步骤S42和步骤S54-S59。

在步骤42中，判断当前再现点是否处于WDS的PTS。如果该判断是当前再现点处于WDS的PTS，则在步骤S54中判断该窗口的数量是否是一个。如果该判断是两个，则操作返回到主程序。如果判断是一个，则执行步骤S55-S59的循环处理。在该循环处理中，对在该窗口中显示的两个图形目标的每个执行步骤S55-S59中的操作。在步骤S57中，判断object_cropped_flag是否表示0。如果它表示0，则不显示该图形(步骤S58)。

如果它不表示0，则将根据object_cropping_horizontal_position、object_cropping_vertical_position、cropping_width和cropping_height而裁剪的目标写到图形平面8中的窗口中的由object_cropping_horizontal_position和object_cropping_vertical_position表示的位置上(步骤S59)。通过重复上述操作，在该窗口中呈现一个或多个图形目标。

在步骤S44中，判断当前再现点是否处于PDS的PTS。如果该判断是当前再现点处于PDS的PTS，则在步骤S60中判断是否pallet_update_flag是否是一。如果该判断是一，则将由pallet_id表示的PDS设置在CLUT单元中(步骤S61)。如果判断是0，则跳过步骤S61。

之后，CLUT单元进行将与运动图像组合的图形平面8上的图形目标的颜色转换(步骤S62)。

接着，下面参照图37介绍步骤S43和步骤S64-S66。

在步骤S43中，判断当前再现点是否处于ODS的PTS。如果判断当前再现点是处于ODS的PTS，则在步骤S63中判断该窗口的数量是否是两个。如果判断是一个，则操作返回到主程序。如果判断是两个，则执行步骤S64-S66中的操作。在步骤S64中，判断object_cropped_flag是否表示0。如果它表示0，则不显示图形(步骤S65)。

如果它不表示0，则将根据object_ropping_horizontal_position、object_cropping_vertical_position、cropping_width和cropping_height而裁剪的目标写到图形平面8中的窗口中的由object_cropping_horizontal_position和object_cropping_vertical_position表示的位置上(步骤S66)。通过重复上述操作，在每个窗口中呈现图形目标。

上面的说明是关于PCS的DTS和PTS以及属于DSn的ODS的DTS和PTS。没有说明PDS的DTS和PTS以及END的DTS和PTS。首先，说明属于DSn的PD的DTS和PTS。

关于属于DSn的PDS，如果在第一ODS的解码开始点之后(DTS(DSn[ODS1]))通过将PDS装载到组合缓冲器16中就足够了，在CLUT单元9中该PDS可由PCS获得(DTS(DSn[PCS]))。因而，需要将DSn中的每个PDS(PDS1-PDS1AST)的PTS的值设置成满足以下关系式，

DTS(DSn[PCS])≤PTS(DSn[PDS1])

PTS(DSn[PDSj])≤PTS(DSn[PDSj+1])≤PTS(DSn[PDS1AST])

PTS(DSn[PDS1AST])≤DTS(DSn[ODS1])

注意在再现期间没有参考PDS的DTS，将ODS的DTS设置为与PDS的PTS相同的值，以便满足MPEG2标准。

下面介绍在DTS和PDS设置成满足上述关系式时再现装置的流水线处理中的DTS和PTS的作用。图38表示在PDS的PTS基础上的再现装置的流水线。图38是以图26为基础的。图38中的第一行表示设置CLUT单元9中的ODS。第一行下面是与图26中的第一到第五行相同的。在传输PCS和WDS之后和ODS1解码之前，将PDS1-PDSLast设置到CLUT单元9，因而对CLUT单元9的PDS1-PDSLast的设置是在由ODS1的DTS表示的点之前设置的，如箭头up2和up3所示。

如上所述，在ODS的解码之前进行PDS的设置。

接着，介绍DSn中的显示设置段的END的PTS的设置。属于DSn的END表示DSn的结束，因而必须使END的PTS表示ODS2的解码结束时间。解码结束时间由ODS2(ODSLast)的PTS(PTS(DSn(ODSLast)表示，因此要求END的PTS设置为满足以下等式的值，

DTS(DSn[END])＝PTS(DSn[ODSLast])

鉴于DSn和属于DSn+1的PCS之间的关系，在第一ODS(ODS1)的装载时间之前将DSn中的PCS装载到组合缓冲器16，因此END的PTS应该是在DSn中的PCS的装载时间之后和属于DSn+1的PCS的装载时间之前。因而，需要使END的PTS满足下列关系，

DTS(DSn[PCS])≤PTS(DSn[END])≤DTS(DSn+1[PCS])

另一方面，第一ODS(ODS1)的装载时间是在最后PDS(PDSLast)的装载时间之前，因此END的PTS(PTS(DSn[END]))应该是在属于DSn的PDS的装载时间(PTS(DSn[PDSLast]))之后。相应地，END的PTS必须满足以下关系，

PTS(DSn[PDSLAST])≤PTS(DSn[END])

下面是关于再现装置的流水线处理中的END的PTS的的重要性的说明。图39是表示再现装置的流水线处理中的END的重要性的示意图。图39是以26为基础的，图39中的每行基本上与图26中的相同，除了图39中的第一行表示组合缓冲器16的内容之外。此外，在图39中，示出了2个显示设置，DSn和DSn+1。DSn中的ODSLast是A-ODS的最后ODSn，相应地，由END的PTS表示的点是在DSn+1中的PCS的DTS之前。

在END的PTS之前，可以发现在再现期间在DSn中装载ODS是何时完成的。

注意尽管在再现期间不参照END的DTS，但是END的DTS设置为与END的PTS相同的值，以便满足MPEG2标准。

如上所述，根据本实施例，将一部分图形平面规定为用于显示图形的窗口，因此再现装置不必在整个平面呈现图形。再现装置可以只为预定尺寸的窗口中，如图形平面的25％-33％，呈现图形。由于不需要呈现窗口中的图形以外的图形，因此用于再现装置中的软件的负载减少了。

即使在对例如图形平面的1/4进行图形更新的最坏情况下，可以通过再现装置以预定传送速度如256Mbps进行对图形平面的写操作，并且通过设置窗口的尺寸以便确保与图像的同步显示，从而能够与图像同步地显示图形。

因此，由于很容易保证同步显示，因此可以实现用于各种再现装置的高分辨率字幕显示。

第二实施例

在第一实施例中，该窗口的尺寸设置为整个图形平面的1/4，并将向图形平面进行写操作的写速度Rc设置为256Mbps，以便为每个视频帧更新图形。此外，通过设置更新速度为视频帧速度的1/2或1/4，可以更新大尺寸的图形。然而，当更新速度是视频帧速度的1/2或1/4，需要经过2或4个帧来写到图形平面。当提供一个图形平面时，在写图形的2或4个帧期间图形的写处理对于用户来说是可见的。在这种情况下，不能有效地实现显示效果，如从一个图形到较大图形立刻的转换。因此，在第二实施例中，提供两个图形平面。图40表示根据第二实施例的再现装置的内部结构。与根据图24和25中的再现装置相比，图40中的再现装置的新特征在于图40中的再现装置具有两个图形平面(图中的图形平面81和图形平面82)，并且这两个图形平面构成双重缓冲器。因而，可以对图形平面之一写入，同时从另一图形平面进行读取。此外，根据第二实施例的图形控制器17切换在由PCS的PTS表示的点读出的图形平面。

图41示意性地表示读出和写到构成双重缓冲器的图形平面的操作。上面的行表示图形平面81的内容，下面的行表示图形平面82的内容。图中示出了从第一帧到第五帧的每帧的两个图形平面的内容(从左到右)。被粗线环绕的每帧的图形平面81和82的一部分是读出的目标。在图中，在图形平面81中含有脸谱标记，并且该脸谱标记将被处于目标缓冲器15中的太阳标记来代替。太阳标记的尺寸是4兆比特，这是目标缓冲器15的最大尺寸。

为了以写到图形平面的速度(Rc＝256Mbps)将太阳标记写到图形平面82中，需要经过4帧，直到完成写操作，并且在第一帧期间只将太阳标记的1/4写到图形平面82中，在第二帧期间写2/4，在第三帧期间写3/4。然而，由于图形平面81是要在屏幕上显示的目标，因此将太阳标记写到该图形平面中的过程对于用户来说是不可见的。在第五帧，当显示的目标转换到图形平面82时，图形平面82的内容变得对于用户来说是可见的。因此，完成了从脸谱标记向太阳标记的转换。

如上所述，根据第二实施例，即使在用四帧将大尺寸图形写到图形平面时，也可以将屏幕中的显示立即转换到另一图形，因此在屏幕中一次显示如Credits、电影概要或警告时是有用的。

第三实施例

第三实施例涉及BD-ROM的制造工艺。图42是表示根据第三实施例的BD-ROM的制造工艺。

BD-ROM的制造包括用于制造材料和记录电影和声音的材料制造步骤S201、用于使用创作装置产生应用格式的创作步骤S202、和用于制造BD-ROM的主盘和冲压以便完成BD-ROM的冲压步骤S203。

BD-ROM的创作步骤包括如下的步骤S204-S209。

在步骤S204中，描述WDS以便定义显示字幕的窗口，在步骤S205中，在一个时间周期中定义该窗口以便该窗口以相同尺寸出现在相同位置上，该时间周期设置为一个时元，并且描述每个时元的PCS。

利用上述方式获得OCS之后，将作为用于字幕的资料的图形转换成ODS，并在步骤S206中通过将ODS与PCS、WDS、和PDS组合而获得显示设置。然后，在步骤S207中，将显示设置中的每个功能段分割成PES信息包，并通过附加时间戳而获得图形流。

最后，在步骤S208中，通过对具有分开产生的视频流和声频流的图形流进行多路复用而产生AVClip。

获得AVClip之后，通过将AVClip调整成BD-ROM格式，完成了应用格式。

其它问题

上面的说明没有展示根据本发明的所有实施例。本发明也可以通过以下所示的修改例来实现。在本申请的权利要求书中所述的发明包括上述实施例以及修改例的扩展或普遍化。尽管所述扩展和普遍化的程度是以申请时的相关技术的技术水平的特性为基础的，但是根据本申请的权利要求的发明反映了解决常规技术中的技术问题的手段，因此本发明的范围不超过本领域技术人员为了解决常规技术中的技术问题而能认识到的技术范围。因此，根据本申请权利要求的发明实质上对应本发明的细节的说明。

(1)在说明所有实施例时使用了BD-ROM。然而，本发明的特征在于在介质中记录的图形流，并且这一特征不取决于BD-ROM的物理性能。能储存图形流的任何记录介质都可实现本发明。这种记录介质的例子除了内置硬盘以外还包括：光盘，如DVD-ROM、DVD-RAM、DVD-RW、DVD-R、DVD+RW、DVD+R、CD-R和CD-RW；磁性光盘，如PD和MO；半导体存储卡，如小型快闪卡、智能介质、存储棒、多媒体卡、和PCM-CIA卡；和磁盘，如软盘、超级盘、Zip、和Clikl，和可拆卸硬盘驱动器，如ORB、Jaz、SparQ、SyJet、EZFley、和微驱动器。

(2)在上面所有实施例中所述的再现装置对在BD-ROM中记录的AVClip进行解码并将解码的AVClip输出到TV。然而，也可以通过只包括BD-ROM驱动器的再现装置来实现本发明，其中TV设有其他元件。在这种情况下，再现装置和TV可以经IEEE1394而连接在一起，从而构成家庭网络。而且，尽管这些实施例中的再现装置是通过连接到TV而使用的，但是该再现装置也可以多合一TV和再现装置。此外，形成每个实施例的再现装置中的处理的主要部分的LSI(集成电路)可以单独投入实现。这种再现装置和LSI都在本说明书中描述了，因此，无论采取怎样的工作示例，以根据第一实施例的再现装置的内部结构为基础制造再现装置能够实现本发明。而且，根据本发明的再现装置的是否作为礼物或收益的转送、出租和进口都被认为是实施本发明。通过店面显示和发布小册子向普通用户提供这种转送和出租也都被认为是实施了本发明。

(3)由流程图中所示的程序执行的信息处理是使用硬件资源实现的，因而，其处理示于每个流程图中的程序本身也是一个本发明。尽管所有上述实施例描述了根据本发明的程序内置于再现装置中，但是根据第一实施例的程序可以独立实施。独立实施该程序的例子包括(i)制造该程序，(ii)作为礼物或利益转送这些程序，(iii)出租这些程序，(iv)进口这些程序，(v)将这些程序经过交互式电子通信线提供给一般公众，(vi)通过店面显示和小册子发布转送和出租给普通用户。

(4)在每个流程图中顺序执行的步骤中的时间元素是本发明的实质特征，并且很清楚每个流程图中所示的程序公开了再现的方法。通过依次执行每个步骤中的操作来执行由流程图表示的程序，从而获得本发明的目的和实现效果，是实施根据本发明的记录方法。

(5)在BD-ROM中记录时，希望给构成AVClip的每个信息包加上扩展报头。扩展报头是被称为TP_EXTRA_HEADER的4比特数据，其包括arrival_time_stamp和copy_permission_indicator。具有TP_EXTRA_HEADER的TS信息包(以下称为具有EX的TS信息包)，其每32个信息包被分为一组，并且写到3个扇区。包括32个具有EX的TS信息包的组具有6144比特(＝32×192)，这是与3个扇区的6144比特(＝2048×3)的尺寸相同的尺寸。被储存在3个扇区中的32个具有EX的TS信息包的组被称为对准单元。

当在通过IEEE1394连接的家庭网络中使用再现装置时，该再现装置通过以下传输程序传输对准单元。发送器从包含在对准单元中的32个具有EX的TS信息包的每个信息包获得TP_EXTRA_HEADER，并在DTCP标准的基础上在解码之后输出TS信息包的主体。当输出TS信息包时，将等时信息包插在任何两个相继的TS信息包之间。插入点是以由TP_EXTRA_HEADER中的arrival_time_stamp表示的时间为基础的位置。伴随着TS信息包的输出，再现装置输出DTCP_Descripor。DTCP_DESCRIPTOR表示用于复制允许的设置。通过描述DTCP_DESCRIPTOR以便表示禁止复制，当在通过IEEE1394标准连接的家庭网络中使用时，不通过其他器件记录TS信息包。

(6)上述实施例中的数字流是AVClip。然而，数字流可以是DVD-视频标准或DVD-视频记录标准中的视频目标(VOB)。VOB是通过多路复用视频流和声频流获得的基于ISO/IEC13818-L-标准的程序流。此外，AVClip中的视频流也可以是以MPEG4或WMV标准为基础的。而且，声频流可以以线性-PCM、Dolby-AC3、MP3、MPEG-AAC或DTS标准为基础的。

(7)上述实施例中的电影可以是通过对经过模拟广播传输的模拟图像信号进行编码而获得的，或者可以是由经过数字广播传输的传送流构成的流数据。

还可以通过对记录在录像带中的模拟或数字图像信号进行编码来获得内容。此外，这些内容还可以通过对从视频照相机中直接装载的模拟或数字图像信号进行编码来获得。而且，这些内容可以是通过配送服务器传输的数字作品。

(8)第一和第二实施例中的图形目标是在运行长度限制编码基础上进行编码的栅格数据。采用运行长度限制编码用于压缩和编码图形目标，因为运行长度限制编码是最适合于压缩和解压缩字幕的。这些字幕具有水平方向上的长度变得相对长的特性，因而，通过使用运行长度限制编码可以获得高压缩率。此外，运行长度限制编码优选用于制成用来解码的软件，因为解压缩中的负载很低。此外，为了在字幕和图形目标之间共享解码用的装置结构，对图形目标采用与用于这些字幕的压缩/解压缩方法相同的方法。然而，使用运行长度限制编码不是本发明的主要部分，图形目标可以是PNG数据。而且，图形目标不需要是栅格数据，可以是矢量数据。此外，图形目标可以是透明图形。

(9)通过PCS进行的显示效果的目标可以是根据再现装置的语言设置选择的用于字幕的图形。实现这种显示具有很高利用价值，因为可以通过根据再现装置的语言设置显示的字幕图形来实现在常规DVD中由运动图像实现的效果。

(10)通过PCS获得的显示效果的目标可以是根据再现装置的显示设置而选择的用于字幕的图形。具体地说，用于各种显示模式的图形，如宽屏、全屏显示和邮政信箱被记录在BD-ROM中，并且再现装置根据与再现装置连接的TV的设置来选择任何记录设置。在这种情况下，对根据显示设置显示的字幕图形执行以PCS为基础的显示效果，这些字幕看上去更令人印象深刻和更专业化。实现这种显示器具有高实用性，因为可以通过根据再现装置的显示设置显示的字幕图形来实现与常规DVD中的运动图像本身中实现的效果相同的效果。

(11)在第一实施例中，窗口尺寸设置为整个图形平面的25％，以便将对图形平面的写速度Rc设置为在一帧中执行图形平面的清除和重画的速度。但是，Rc可以设置成在垂直回描周期期间完成清除和重画。假定垂直回描周期是1/29.93秒的25％，Rc是1Gbps。用这种方式设置Rc具有很高实用价值，因为可以更平滑地显示图形。

此外，除了在垂直回描周期期间的写操作之外，还可以与行扫描同步地进行写操作。由此，甚至可以在写速度Rc是256Mbps时更平滑地显示图形。

(12)在上述实施例中，将图形平面安装到再现装置上。但是，还可以将用于储存一行的解压缩像素的线缓冲器代替图形平面安装到再现装置上。转换成图像信号是通过行来进行的，因此可以单独利用线缓冲器来执行图像信号的转换。

(13)在上述实施例中，作为图形的例子介绍了电影的文本字幕。但是，该图形可以包括例如构成商标的图案、字符和颜色的组合、国家饰章、国旗、国徽、国家政府使用的标记和用于监督或认证的大图章、国际组织的饰章、旗帜或徽章，或者特殊项目的原始标记。

(14)在第一实施例中，假设水平地写字幕，用于呈现字幕的窗口被限定在屏幕的上侧或者屏幕的底部。但是，可以将窗口限定成在屏幕的左或右侧上显现，以便在屏幕的左侧和右侧上显示字幕。通过这种方式，可以改变文本方向并垂直显示字幕。

(15)上述实施例中的AVClip构成电影。但是，AVClip也可以用于卡拉OK。在这种情况下，PCS可以执行显示效果，使得字幕的颜色随着声音而改变。

参考数字

1BD驱动器；2读缓冲器；3PID滤波器；4TB缓冲器；5视频解码器；6视频平面；7声频解码器；8图形平面；9CULT单元；10加法器；12图形解码器；13编码数据缓冲器；14流图形处理器；16组合缓冲器；17图形控制器；200再现装置；300TV；400遥控器。

工业实用性

根据本发明的记录介质和再现装置能以显示效果显示字幕。因而，可以给市场上供应的电影增加更高的价值，并激励电影市场和消费产品。因此，根据本发明的记录介质和再现装置在如电影工业和消费产品工业等工业领域具有很高工业实用性。

Claims (16)

1、一种用于储存数据的记录介质，所述记录介质包括：

通过多路复用视频流和图形流构成的数字流，其中所述视频流代表由多个图像构成的运动图像，该图形流包括：

表示将要与所述图像组合的图形的图形数据；和

规定在其中呈现图形的窗口的窗口信息，所述窗口信息表示平面上的窗口的宽度、高度和位置，该平面是将图形与图像组合起来的再现装置的平面存储器。

2、根据权利要求1的记录介质，其中窗口的宽度和高度设置成使该窗口的尺寸是该平面的1/x，该平面对应每个图像的尺寸，x是以窗口更新速度和图像显示速度之间的比例为基础的实数。

3、根据权利要求1的记录介质，其中：

该图形流包括含有裁剪信息的控制信息，所述裁剪信息规定在通过解码该图形数据获得的图形目标内的裁剪框；和

要在该窗口中呈现的图形是裁剪框内的图形目标的一部分。

4、根据权利要求3的记录介质，其中控制信息含有位置信息，所述位置信息规定在该窗口中呈现该裁剪框内的图形目标部分的位置。

5、根据权利要求4的记录介质，其中：

该图形流包括用于实现滚动、划入、划出、切入、切出显示效果之一的多条控制信息；和

该控制信息中的每条信息包括分别规定不同裁剪框和位置的裁剪信息和位置信息。

6、一种用于再现数字流的再现装置，所述数字流是通过多路复用视频流和图形流构成的，所述再现装置包括：

视频解码器，可操作地对视频流进行解码，以便获得由多个图像构成的运动图像；

图形解码器，可操作地呈现图形，以使该图形与所述图像同步地显示；和

平面存储器，其对应一个平面，并用于将所述图形与所述图像组合起来，其中：

该图形流包括窗口信息，该窗口信息规定所述平面的一部分作为窗口以在其中呈现所述图形；和

通过所述图形解码器呈现所述图形包括在所述平面存储器中的窗口中清除图形，并将图形写到所述平面存储器中的该窗口中。

7、根据权利要求6的再现装置，其中：

所述图形流包括压缩图形数据；和

所述图形解码器包括处理器和控制单元，该处理器可操作地对压缩图形数据进行解码，所述控制单元可操作地进行所述清除操作和所述写操作。

8、根据权利要求7的再现装置，其中：

该窗口的尺寸设置为所述平面的1/x，x是以窗口更新速度和视频流的显示速度之间的比例为基础的实数；和

以基于该窗口的更新速度和窗口的尺寸的传送速度进行由所述控制单元执行的所述写操作。

9、根据权利要求7的再现装置，其中：

所述图形解码器包括目标缓冲器，其可操作地储存由所述处理器解码的解压缩图形数据；

该图形流包括控制信息，该控制信息包括裁剪信息，该裁剪信息规定通过解码目标缓冲器中的该图形数据获得的图形目标内的裁剪框；

所述控制单元是可操作地裁剪在裁剪框内的一部分图形目标；并

将要与所述图像同步地显示的该图形是该裁剪框内的一部分图形目标。

10、根据权利要求9的再现装置，其中：

该控制信息含有位置信息，所述位置信息规定在所述窗口内呈现该裁剪框内的部分的位置；和

裁剪框内的该部分被写到由该位置信息规定的该位置上的窗口内。

11、根据权利要求10的再现装置，其中：

该图形流包括多条控制信息；

分别由在每条该控制信息中的裁剪信息和位置信息表示的裁剪部分和位置是不同的；并且

所述控制单元可操作以便根据每条控制信息中的裁剪信息和位置信息，通过进行该图形的清除和写来实现滚动、划入、划出、切入和切出显示效果之一。

12、根据权利要求6的再现装置，还包括构成双重缓冲器的两个平面存储器，其中通过将所显示图形从储存在所述双重缓冲器中的平面存储器之一中的内容切换到储存在另一所述平面存储器中的内容来显示图形。

13、一种在记录介质上进行记录的方法，所述方法包括：

产生应用数据；和

在记录介质中记录产生的应用数据，其中：

该应用数据包括通过多路复用视频流和图形流构成的数字流；

该视频流代表由多个图像构成的运动图像，该图形流包括：

代表要与该图像组合的该图形的图形数据；和

窗口信息，规定窗口以在其中呈现图形，该窗口信息表示平面上的该窗口的宽度、高度和位置，该平面是组合该图形与该图像的再现装置的平面存储器。

14、一种用于使计算机再现数字流的程序，所述数字流是通过多路复用视频流和图形流构成的，所述程序包括：

代码，可操作地使该计算机对该视频流进行解码，以便获得由多个图像构成的运动图像；和

代码，可操作地使计算机呈现图形，以便与该图像同步地显示，其中：

该图形流包括窗口信息，该窗口信息规定该平面的一部分作为窗口以在其中呈现图形；和

可操作地使该计算机呈现该图形的所述代码包括可操作地使该计算机对用于组合该图形与该图像的平面存储器中的窗口中的图形执行清除，以及将该图形写到该平面存储器中的该窗口中的代码。

15、一种再现数字流的方法，所述数字流是通过多路复用视频流和图形流构成的，所述方法包括：

对该视频流进行解码，以便获得由多个图像构成的运动图像；和

呈现图形，以便与该图像同步地显示，其中：

该图形流包括窗口信息，用于规定一部分平面作为窗口以在其中呈现图形；和

所述图形的呈现包括用于组合该图形与该图像的平面存储器中的窗口中的该图形的清除和将该图形写到该平面存储器中的该窗口。

16、一种用于再现数字流的集成电路，所述数字流是通过多路复用视频流和图形流构成的，所述集成电路包括：

视频解码器，可操作地对该视频流进行解码，以便获得由多个图像构成的运动图像；

图形解码器，可操作地呈现图形，以便与该图像同步地显示；和

平面存储器，其对应平面并用于组合该图形与该图像，其中：

该图形流包括窗口信息，该窗口信息规定该平面的一部分作为窗口以在其中呈现图形；和

通过所述图形解码器执行的图形的呈现包括该平面存储器中该窗口中的图形的清除和将图形写到该平面存储器中的该窗口。

Images