CN101626478B - 图像编码装置及方法、图像解码装置及方法、记录方法及装置 - Google Patents

Abstract

本发明的图像编码装置，编码静止图像及运动图像，包括：决定单元，决定第1上限和第2上限，该第1上限示出静止图像的按每一图片的代码量的上限，该第2上限示出运动图像的按每一图片的代码量的上限；编码单元，在使静止图像及运动图像符合上述第1及第2上限的状况下，编码静止图像及运动图像；多路复用单元，对编码后的静止图像和编码后的运动图像进行多路复用，从而生成流；生成单元，生成确定上述第1及第2上限的管理信息；以及输出单元，输出上述流和管理信息。

Description

图像编码装置及方法、图像解码装置及方法、记录方法及装置

本申请是申请日为：2005年8月9日、申请号为：2005800251244、发明名称为：图像编码装置、图像解码装置的发明专利申请的分案申请。 

技术领域

本发明涉及图像编码装置、图像解码装置等，尤其是涉及包括运动图像和静止图像的流的编码、解码。并且涉及再生时确保随机访问性的封装媒体。 

背景技术

对以往的DVD-Video盘(以下称为“DVD”)进行说明。 

图1是示出DVD的结构的图。如图1下部所示，DVD从读入(read-in)到读出(read-out)之间存在逻辑地址空间，在逻辑地址空间中，开头记录有文件系统的容量信息，接着记录有图像或声音等的应用数据(application data)。 

文件系统是ISO9660或UDF(通用光盘格式：Universal Disc Format)，文件系统的结构是将盘上的数据以被称为目录或者文件的单位来表现的。对于日常所使用的PC(个人电脑)而言，通过称为FAT(文件分配表：File Allocation Table)或NTFS(新技术文件系统：NT File System)的文件系统，以目录或文件的结构记录在硬盘的数据被表现在计算机上，从而可以提高可用性。 

在DVD使用UDF及ISO9660这两个文件系统(UDF及ISO9660这两个组合起来称为“UDF桥”)，无论根据UDF及ISO9660的哪一文件系统驱动程序都能读出数据。当然在可重写型DVD的DVD-RAM/R/RW，也可以通过上述文件系统，进行物理上的数据的读、写、以及删除。 

记录在DVD的数据，通过文件系统，可以作为像图1左上部所示的目录或者文件而存在。根目录(图1的“ROOT”)的正下面被放置称为 “VIDEO_TS”的目录，这里记录有DVD的应用数据。应用数据被分割为多个文件并被记录，以下文件作为主要文件。 

VIDEO_TS.IFO盘再生控制信息文件 

VTS_01_0.IFO视频标题集#1再生控制信息文件 

VTS_01_0.VOB视频标题集#1流文件 

规定有2种扩展名，“IFO”是记录有再生控制信息的文件，“VOB”是记录有作为AV数据的MPEG流的文件。再生控制信息是以下信息，即为了实现在DVD所采用的交互性(按照用户操作使再生状态动态变化的技术)的信息，或像元数据这样的附属在标题和AV流的信息等。并且，在DVD中再生控制信息一般称为导航信息。 

作为再生控制信息文件，存在管理盘全体的“VIDEO_TS.IFO”和，各个视频标题集(在DVD的1张盘上可记录多个标题，换句话说在DVD的1张盘上可记录不同内容的多个电影，或者内容相同而版本不同的多个电影。)的再生控制信息的“VTS_01_0.IFO”。在此，文件名中的“01”示出视频标题集的号码，例如，当视频标题集的号码#2时，成为“VTS_02_0.IFO”。 

图1右上部是在DVD的应用软件层的DVD导航空间，上述的再生控制信息被展开了的逻辑结构空间。“VIDEO_TS.IFO”内的信息作为VMGI(视频管理信息：Video Manager Information)在DVD导航空间被展开，“VTS_01_0.IFO”等在每个视频标题集存在的再生控制信息作为VTSI(视频标题集信息：Video Title Set Information)在DVD导航空间被展开。 

被记述在VTSI的信息有，称为PGC(程序链：Program Chain)的再生序列的信息的PGCI(程序链信息：Program Chain Information)。PGCI由Cell(单元)的集合和称为指令的一种编程信息所构成。Cell本身，是视频对象VOB(Video Object的简称，指MPEG流)的一部分区间或全部区间的集合，Cell的再生意味着由该VOB的Cell所指定了的区间的再生。 

指令是由DVD的假想机器所处理的指令，与在浏览器上所执行的Java(注册商标)脚本语言(script)等相近。然而，Java脚本语言，除了进行 逻辑演算以外，还进行窗口和浏览器的控制(例如，打开新的浏览器的窗口)，与此相比，DVD的指令除了进行逻辑演算以外只进行AV标题的再生控制(例如，指定再生的章节等)，这样，DVD的指令不同于Java脚本语言。 

Cell作为内部信息具有记录在盘上的VOB的开始地址及结束地址(盘上的逻辑记录地址)，播放器利用记述在Cell的VOB的开始地址及结束地址的信息，读出数据并执行再生。 

图2是用于说明被嵌入在AV流中的导航信息的略图。在DVD中具有特征性的交互性，不是只根据记录在上述“VIDEO_TS.IFO”或“VTS_01_0.IFO”等的导航信息才实现的，而是使用称为导航包组件(或称为“NV_PCK”)专用媒介，在VOB内与图像数据及声音数据一起被多路复用。 

在这里作为简单的交互性的例子，对菜单进行说明。几个按钮出现在菜单画面上，各个按钮定义有该按钮被选择并被执行时所要处理的内容。并且，在菜单上一个按钮被选择(通过高亮(highlight)覆盖在所选择的按钮上的半透明颜色，示出该按钮被选择)，用户使用遥控器的上下左右键进行移动，可以从所选择的按钮移到该按钮的上下左右的按钮。使用遥控器的上下左右键，使高亮移至要选择并执行的处理，并决定(按下决定键)，从而对应的指令的程序被执行。一般，标题和章节的再生是根据指令来执行的。 

图2左上部示出在NV_PCK内所存储的控制信息的概要。NV_PCK内包含高亮颜色信息和各个按钮信息等。高亮颜色信息内记述有调色板信息，覆盖显示的高亮的半透明颜色被指定。按钮信息内记述有以下信息：各个按钮位置信息的矩形区域信息，从该按钮移至其他按钮的移动信息(指定与用户移动上下左右键的各操作相对应的、要移动到的按钮)；按钮指令信息(该按钮被决定的时候被执行的指令)。 

如图2中央右上部所示，菜单上的高亮被制作成覆盖图像。覆盖图像是指，在根据按钮信息内的矩形区域信息所确定的按钮上，涂上根据调色板信息所确定的颜色的图像。将该覆盖图像覆盖在图2右部示出的背景图像上，并一起显示在画面上。 

如上所述，菜单被实现在DVD中。使用NV_PCK在流中嵌入导航数据的一部分的理由是，可以与流同步对菜单信息进行动态更新(例如，可以仅在再生电影途中的5分～10分之间显示菜单)，并且，即使是使流和菜单信息同步较困难的应用数据，也可以实现流和菜单信息的同步显示。并且，另一个大的理由是，为了提高用户的操作性，在NV_PCK存储用于支援特殊再生的信息，从而对记录在DVD的AV数据进行非正常再生，如快进和倒带等的时候，也可以顺利地解码该AV数据并进行再生等。 

图3是DVD流的VOB的示意图。在图3(A)所示的影像数据、声音数据、字幕数据等的数据，如图3(B)所示按照MPEG系统标准(ISO/IEC13818-1)被数据包化及包组件化，如图3(C)所示分别被多路复用，成为1个MPEG程序流。并且，如上所述，含有用于实现交互性的按钮指令的NV_PCK也一起被多路复用。 

MPEG系统的多路复用的特征在于，被多路复用的各个数据是按该编码顺序的比特列，而被多路复用的数据之间，即，影像数据、声音数据、字幕数据之间，并不一定按再生顺序形成比特列。这因为，MPEG系统流的解码器模型(一般被称为System Target Decoder或者STD(图3的D部))，具有解码缓存器(decoder buffer)，到解码时刻为止暂时存储数据，该解码缓存器与解开被多路复用的数据之后的各个基本流相对应。例如DVD-Video所规定的解码缓存器，按每个基本流大小不同，对于影像的缓存大小是232KB，对于声音的缓存大小是4KB，对于字幕的缓存大小是52KB。 

即，与影像数据并列被多路复用的字幕数据，并不一定与影像数据在相同时时刻被解码或被再生。 

另外，作为下一代DVD标准存在BD(Blu-ray Disc)。对于DVD，其目的在于，对标准画质(Standard Definition画质)的影像进行封装分发(DVD-Video标准)或模拟广播的记录(DVD Video Recording标准)，不过，对于BD，可以照原样记录高精度画质(High Definition画质)的数字广播(Blu-ray Disc Rewritable标准，以下称为BD-RE)。 

然而，BD-RE标准，一般将数字广播的记录作为目的，因此特殊再生支援信息等未被进行最佳化。考虑到将来，将高精度影像以比数字广播更 高的速度来进行封装分发(BD-ROM标准)，就需要即使在非正常再生时也不给用户增加负担的构造。 

在专利文献1公开BD-RE的特殊再生支援信息(时间图)。 

专利文献1：日本特开2000-228656号公报 

对于以往的信息记录媒体存在的问题是，在运动图像和静止图像之间，由于每一图片的代码量的上限值相同，因此不能高画质地编码静止图。 

例如，对于MPEG-4AVC，规定了图片的代码量的最大值。对于BD等的应用程序标准，将在MPEG-4AVC的规定值、或在应用程序独自设定的值，作为图片的代码量的上限值。可以通过在MPEG-4AVC标准规定的、称为MinCR(Minimum Compression Ratio)的参数，来限制上限值。MinCR是一种参数，示出对原图的编码图片压缩率的下限。例如，若MinCR为2，则示出编码图片的代码量为原图的数据大小的2分之1以下。 

对于以往的信息记录媒体，在运动图像应用程序和静止图像应用程序，作为MinCR使用相同的值。对于运动图像，由于对编码数据进行解码时的处理量大，特别是对于在解码1个图片时的运算量成为由标准所设定的上限值这样的不利状态下，也要为了能够保证工作而决定MinCR。另外，对于静止图像，显示间隔大于运动图像，因此与解码时的处理量相比，画质更重要。然而，将静止图像编码成高画质时，代码量就会增加，因此存在的问题是，对于在静止图像和运动图像之间的MinCR相同的以往的信息记录媒体，特别进行帧内编码时，对图片不能分配足够的比特。 

发明内容

本发明的目的在于，提供一种图像编码装置及图像解码装置，在运动图像和静止图像混在一起的情况下，对静止图像进行编码并解码时实现高于运动图像的画质。 

为了实现上述目的，本发明的图像编码装置包括：决定单元，根据编码对象的图像是静止图像还是运动图像来决定第1上限和第2上限，该第1上限示出静止图像的每一图片的代码量的上限，该第2上限示出运动图像的每一图片的代码量的上限；编码单元，在使静止图像及运动图像符合上述第1及第2上限的状态下，编码静止图像及运动图像；多路复用单元， 对编码后的静止图像和编码后的运动图像进行多路复用，从而生成流；生成单元，生成确定上述第1及第2上限的管理信息；以及输出单元，输出上述流和管理信息。在此，可以使上述第1上限大于上述第2上限。 

根据此结构，可以使静止图像的代码量的上限(第1上限)大于运动图像的代码量的上限(第2上限)。据此，在运动图像和静止图像混在一起的情况下，在再生装置可以抑制运动图像的解码处理量，也可以对静止图像进行编码时实现高于运动图像的画质。 

在此，上述管理信息也可以包括，分别与上述流的每个规定单位相对应的标志，并上述标志示出相对应的规定单位是运动图像还是静止图像。 

根据此结构，在流中的每个规定单位，可以决定每图片的代码量是第1上限还是第2上限。再者，若在图像编码装置和图像解码装置之间所定固定的第1上限和第2上限，则上述管理信息，并不一定需要明显的示出第1上限和第2上限，只要示出各规定单位是运动图像还是静止图像，就可以。据此，可以更减少管理信息的数据量。 

在此，上述第1及第2上限可以示出对于原图的数据量每一图片的代码量压缩了多少。 

在此，也可以是这样：上述编码后的静止图像，包括第1单位和第2单位，该第1单位存储解码静止图像时被参考的初始化信息，该第2单位存储上述静止图像的像素数据；上述第1单位，可以包括以下信息和识别标志，该信息示出反复显示上述静止图像时的帧率，该识别标志示出上述第1单位中是否存在上述示出帧率的信息；在上述静止图像的数据内存在上述第1单位的情况下，上述识别标志被设定。 

根据此结构，以帧率为基准，可以设定静止图像的显示时刻及显示时间。 

在此，上述管理信息可以具有与上述流内的所有的静止图像的地址有关的信息。 

本发明的图像解码装置，包括：获得单元，获得含有编码后的运动图像及编码后的静止图像的流；分离单元，从上述流分离编码后的静止图像和编码后的运动图像；以及解码单元，对已分离的编码后的运动图像及编码后的静止图像进行解码；上述解码单元，向编码后的静止图像的解码期 间赋予容限(margin)，按照被赋予容限的解码期间开始解码或输出编码后的静止图像，该解码期间是从解码时间戳至表示时间戳的期间。 

根据此结构，在静止图像的每一图片的代码量多于运动图像的每一图片的代码量的情况下，可以简单且确实地解码画质高于运动图像的静止图像。例如，即使解码图像大小较大的静止图像时，或即使由移动电话等处理能力较小的解码装置，也可以解码高画质的静止图像。 

在此，解码单元也可以是这样：在编码后的静止图像所含的解码时间戳的时刻，开始解码，到上述表示时间戳的时刻为止未完毕静止图像的解码的情况下，向上述表示时间戳赋予容限，在被赋予容限的表示时间戳输出解码后的静止图像。 

根据此结构，由于仅当延迟静止图像的解码时推迟实际上的输出时刻，因此，可以按照静止图像的代码量或解码时的处理量动态且灵活地变更输出时刻。 

在此，解码单元也可以，向上述解码时间戳赋予容限，在被赋予容限的解码时间戳的时刻，开始静止图像的解码。 

根据此结构，由于将解码开始时刻早于解码时间戳的时刻，因此，可以不发生静止图像的输出延迟，也可以在符合表示时间戳的时刻再生。 

在此，上述所编码的静止图像也可以是这样：包括第1单位和第2单位，该第1单位存储解码静止图像时被参考的初始化信息，该第2单位存储上述静止图像的像素数据；上述第1单位，可以包括以下信息和识别标志，该信息示出反复显示上述静止图像时的帧率，该识别标志示出上述第1单位中是否存在上述示出帧率的信息；在上述静止图像的数据内存在上述第1单位的情况下，上述识别标志一定被设定，上述解码单元，在从解码完毕的静止图像的表示时间戳至按顺序下一个要解码的静止图像的表示时间戳之间，按照上述帧率输出上述解码完毕的静止图像。 

并且，对于本发明的图像编码方法、图像解码方法、半导体装置、代码列的结构，与上述相同，因此省略此说明。 

如上所述，根据本发明的图像编码装置、图像解码装置，将在静止图像的按每一图片的代码量的上限值设定为大于运动图像，从而获得以下效果，即，在再生装置，可以抑制再生运动图像时的处理量，并且，在再生 静止图像时可以再生高画质的静止图像，其实用价值极高。 

附图说明

图1是DVD的结构图。 

图2是高亮的结构图。 

图3是示出在DVD多路复用的例子的图。 

图4是说明示出对实施方式1的剪辑适用特定的MinCR值之事的标志、及数据结构的图。 

图5是示出多路复用方法的流程图。 

图6是示出多路复用装置的结构的方框图。 

图7A是示出静止图像流的第1再生方法的说明图。 

图7B是示出静止图像流的第2再生方法的说明图。 

图8是示出静止图像流的第1再生方法的流程图。 

图9是示出静止图像流的第2再生方法的流程图。 

图10是HD-DVD的数据阶层图。 

图11是HD-DVD上的逻辑空间的结构图。 

图12是HD-DVD播放器的摘要的方框图。 

图13是HD-DVD播放器的结构的方框图。 

图14是HD-DVD的应用程序空间的说明图。 

图15是MPEG流(VOB)的结构图。 

图16是包组件的结构图。 

图17是说明AV流和播放器的关系的图。 

图18是向磁道缓存的AV数据连续供给模型图。 

图19是VOB信息文件结构图。 

图20是时间戳的说明图。 

图21是播放列表文件的结构图。 

图22是与播放列表相对应的程序文件的结构图。 

图23是BD盘全体管理信息文件的结构图。 

图24是记录全局事件处理程序的文件的结构图。 

图25是说明时间事件的例子的图。 

图26是说明用户事件的例子的图。 

图27是说明全局事件处理程序的例子的图。 

图28是假想机器的结构图。 

图29是播放器变数表的图。 

图30是示出事件处理程序(时间事件)的例子的图。 

图31是示出事件处理程序(用户事件)的例子的图。 

图32是播放器的基本处理的流程图。 

图33是播放列表再生处理的流程图。 

图34是事件处理的流程图。 

图35是示出字幕处理的流程图。 

图36是说明时间图和静止图像的关系的图。 

图37是说明示出能否解码要参考的图片的标志。 

图38是说明示出所有的入口参考I帧的标志的图。 

图39是说明运动图像应用程序和幻灯片放映的区别的图。 

图40是说明保证参考所有的I帧的标志的图。 

图41是示出在MPEG-4AVC的静止图像的数据结构的图。 

图42是示出在MPEG-4AVC的静止图像的再生方法的图。 

图43A示出作为记录媒体本身的软盘的物理形式的例子。 

图43B示出软盘的正面外观、断面结构、以及软盘。 

图43C示出用于向软盘FD记录并再生上述程序的结构。 

图中：201-BD盘，202-光学拾波器，203-程序记录存储器，204-管理信息记录存储器，205-AV记录存储器，206-程序处理部，207-管理信息处理部，208-表示处理部，209-成像面(image plane)，210-视频面，211-合成处理部，301-程序记录存储器，302-程序处理器，303-UOP管理器，304-管理信息记录存储器，305-方案处理器，306-表示控制器，307-时钟，308-映像存储器，309-磁道缓存，310-多路分用器，311-映像处理器，312-视频处理器，313-声音处理器，314-成像面，315-视频面，316-合成处理部，317-驱动控制器，1001-编码部，1002-系统多路复用部，1003-结合部，2000-多路复用装置2001-MinCR决定部，2002-MinCR信息生成部，2003-管理信息制作部，3207-运动图像下变频器，3215-字幕下变频器，3223-静止图 像下变频器，3228-声音下变频器，S101-软盘插入步骤，S102-BD.INFO读取步骤，S103-BD.PROG读取步骤，S104-第1事件生成步骤，S105-事件处理程序执行步骤，S201-UOP接收步骤，S202-UOP事件生成步骤，S203-菜单呼叫判定步骤，S204-事件生成步骤，S205-事件处理程序执行步骤，S301-播放列表再生开始步骤，S302-播放列表信息(XXX.PL)读取步骤，S303-播放列表程序(XXX.PROG)播放列表步骤，S304-单元再生开始步骤，S305-AV再生开始步骤，S401-AV再生开始步骤，S402-VOB信息(YYY.VOBI)读取步骤，S403-VOB(YYY.VOB)读取步骤，S404-VOB再生开始步骤，S405-VOB再生结束步骤，S406-下一个单元存在判定步骤，S501-播放列表再生开始步骤，S502-播放列表再生结束判定步骤，S503-时间事件时刻判定步骤，S504-事件生成步骤，S505-事件处理程序执行步骤，S601-播放列表再生开始步骤，S602-播放列表再生结束判定步骤，S603-UOP接收判定步骤，S604-UOP事件生成步骤，S605-菜单呼叫判定步骤，S606-用户事件有效期间判定步骤，S607-事件生成步骤，S608-事件处理程序执行步骤，S701-播放列表再生开始步骤，S702-播放列表再生结束判定步骤，S703-字幕绘制开始判定步骤，S704-字幕绘制步骤，S705-字幕显示结束判定步骤，S706-字幕删除步骤。 

具体实施方式

以下，参照附图对本发明的实施方式进行说明。 

实施方式1 

本实施方式中说明一种信息记录媒体及其再生装置，在BD-ROM等的封装媒体，可以抑制再生运动图像时的处理量，并且，可以将静止图像编码成高画质。 

对于本实施方式的信息记录媒体，对运动图像和静止图像分别适用不同的MinCR，从而对于运动图像，鉴于解码时的处理量使MinCR值大，对于静止图像，为了保证用于编码成高画质的充分的图片大小，使MinCR值小于运动图像。 

图4示出本实施方式的信息记录媒体的数据结构的例子。对于BD管理信息中的流管理信息，在称为ClipInfo的数据对象示出剪辑(Clip)的属 性。并且，剪辑指出AV数据的文件，例如，存储MPEG-4AVC的静止图像流的1个文件为1个剪辑。为了示出运动图像和静止图像适用不同的MinCR之事，需要示出每个剪辑的MinCR值的信息。因此，ClipInfo被附加示出MinCR值的信息，该MinCR值是对要参考的剪辑所适用的。在此，设想事先所定对静止图像的剪辑和运动图像的剪辑所适用的MinCR值，存储标志信息，从而示出对剪辑所适用的MinCR值，该标志信息示出要参考的剪辑是运动图像还是静止图像。对于图4的例子，在盘内至少存储有静止图像和运动图像的剪辑，分别通过ClipInfo#1和ClipInfo#2可参考。在此，ClipInfo#1存储示出剪辑为静止图像的标志信息，ClipInfo#2存储示出剪辑为运动图像的标志信息。通过参考该标志信息，可以获得构成剪辑的图片的MinCR值。对于图4的例子，静止图像的剪辑的MinCR为2，运动图像的剪辑的MinCR为4，从而同时实现静止图像的高画质化和运动图像解码时的处理量的抑制。并且，此MinCR值是一个例子，也可以使用其他组合，并对于再生装置的处理量有富余的应用程序，可以使静止图像和运动图像的MinCR值相同。并且，也可以是事先规定静止图像用的MinCR值和运动图像用的MinCR值的多中组合，并导入示出特定的组合的参数，从而示出MinCR值。并且，剪辑可以是MPEG-2系统的传输流，也可以是对程序流AV数据进行数据包化后的流。 

并且，在ClipInfo存在称为application_type的域，该域示出再生剪辑的应用程序类型。在本域可以示出，应用程序是运动图像还是静止图像，并且，静止图像时可以示出，是时基(Time base)还是可浏览(Browsable)。在此，时基是一种应用程序类型，以事先所定的间隔显示静止图像，可浏览是一种应用程序类型，用于用户决定静止图像的显示时刻。因此，也可以是这样，即，application_type的域的值，指出时基或可浏览的静止图像应用程序时，静止图像用的MinCR值被适用，指出运动图像应用程序时，运动图像用的MinCR值被适用。 

并且，MinCR值，除了可以在运动图像和静止图像之间切换以外，还可以在不同的运动图像的剪辑之间切换。例如，当包括主影像和副影像时，对于主影像，可以将MinCR值设定为小，从而编码成高画质，对于副影像，考虑处理量，可以将MinCR值设定为大。在此，作为示出MinCR值 的信息，不使用示出是静止图像还是运动图像的标志信息，而使用示出每个剪辑的MinCR值的信息。 

并且，对于示出运动图像或静止图像的代码量的上限的参数，不仅限于MinCR，也可以是其他参数，例如，作为数据大小直接示出代码量的上限值。 

并且，示出在剪辑的图片的代码量的上限值的信息，可以存储在ClipInfo以外的BD管理信息，也可以存储在编码数据内。当存储在编码数据时，可以按GOP(图像组：Group Of Picture)等的随机访问单位存储，例如，对于MPEG-4AVC，可以使用用于存储用户数据的数据单位。并且，作为用于存储用户数据的数据单位有：具有特定类型的NAL(网络提取层：Network Abstraction Layer)单元；或用于存储用户数据的SEI(补充增强资料信息：Supplemental Enhancement Information)消息等。并且，也可以是，以随机访问单位等与剪辑不同的单位来可以切换图片的代码量的上限值。 

并且，在一些数据再生装置，当解码运动图像时，判定为用于解码1个图片的编码数据的时间来不及事先所定的时间时，或判定为来不及图片的显示时刻时，有时跳跃该图片的解码而开始下1个图片的解码。或者，解码运动图像时可以对应于最坏情况的情况下，也存在以下情况，当再生本实施方式的信息记录媒体的静止图像时，静止图像的代码量的上限值会大于运动图像，一旦代码量成大就用于解码的时间也就会增加，结果静止图像的解码被跳跃。在此，一般，静止图像的显示间隔长于运动图像，因此到事先设定的显示开始时刻为止解码未完毕，也只要解码完毕后显示，就再生质量的下降是轻微的。因此，解码静止图像时，到事先设定的显示开始时刻为止解码未完毕的情况下，也可以不跳跃解码而在解码完毕后显示。 

并且，在上述说明了BD，对于可以存储静止图像和运动图像的信息记录媒体，就可以使用同样方法。并且，对于编码方法，不仅限于MPEG-4AVC，也可以适用于MPEG-2Video或在SMPTE(电影与电视工程师协会：Society of Motion Picture Television Engineers)正在标准化中的VC 1等其他的编码方式。 

图5是示出，本实施方式中，用于制作存储在信息记录媒体的数据的多路复用方法的流程图。与以往的多路复用方法不同，本实施方式的多路复用方法包括以下步骤：按照剪辑的种类切换MinCR值的步骤(步骤S2001、步骤S2002、步骤S2003)；以及生成用于确定MinCR值的标志信息并包括到管理信息的步骤(步骤S2004和步骤S2005)。 

首先，在步骤S2001，判定要生成的剪辑是运动图像还是静止图像。剪辑是静止图像时，至步骤S2002，设定事先所定的静止图像剪辑用的MinCR值，并剪辑是运动图像时，至步骤S2003，设定事先所定的运动图像剪辑用的MinCR值。其次，在步骤S1001，为了满足由步骤S2002或步骤S2003所设定的MinCR值，编码构成剪辑的图片，并至步骤S1002。在步骤S1002，对由步骤S1001所编码的数据进行系统多路复用。对于BD，作为系统多路复用方式使用MPEG-2的传输流。其次，在步骤S2004，生成用于确定MInCR值的标志信息，在步骤S2005，生成管理信息，该MInCR值适用于构成剪辑的图片，该管理信息包括由步骤S2004所生成的标志信息。最后，在步骤S1003，将管理信息和被系统多路复用的编码数据结合一起并输出。在此，结合时，可以将管理信息和被系统多路复用的编码数据，作为不同文件来存储，也可以结合为1个文件。并且，作为不同文件存储时，可以存储到同一目录。并且，对于在步骤S2001的静止图像用的MinCR值的设定，可以根据流的比特率、等级、档次来规定。在此，等级是一种参数，示出比特率、帧率、或图像大小等的编码参数的上限值，档次是一种参数，规定在编码时可以使用的工具的组合。例如，在流的比特率较低的情况下，即使将minCR成小(将代码量的上限成大)也可以在运动图像的帧内完毕解码，因此静止图像和运动图像使用相同minCR就可以。反而，在流的比特率较高的情况下，通过将静止图像的minCR小于运动图像(将代码量的上限成大)，来可以实现静止图像的高画质化。并且，作为用于确定MinCR值的信息，也可以是标志信息以外的信息，例如，直接存储图片的代码量的最大值等。再者，在处理多个剪辑的情况下，反复从步骤S2001至步骤S2005的处理，全剪辑的系统多路复用和管理信息的生成结束后，可以在步骤S1003进行结合并输出。 

再者，静止图像，与运动图像不同，最好在一定的时间能够欣赏各图 像，因此也可以使显示间隔为规定值以上。在此，在步骤S1001，也可以这样编码，即，以解码顺序连续的静止图像的显示时刻为规定值以上。并且，对于解码时刻及显示时刻的设定，在步骤S1002进行，因此可以在步骤S1002这样设定，即，仅将以解码顺序连续的静止图像的显示时刻设定为所定的值以上。在此，在步骤S1001，当编码输入图像时不需要考虑显示时刻的间隔。 

并且，对于声音、图形等的数据，可以与运动图像或静止图像一起进行多路复用，但在此省略说明。 

图6是示出本实施方式的实现多路复用方法的多路复用装置2000的结构的方框图。多路复用装置2000包括，MinCR决定部2001，MinCR信息生成部2002，编码部1001，系统多路复用部1002，管理信息制作部2003，结合部1003，与以往的多路复用装置不同，包括，MinCR决定部2001，MinCR信息生成部2002，以及在管理信息制作部2003生成管理信息，该管理信息包括用于确定MinCR值的标志信息。 

以下说明各部的工作。MinCR决定部，根据剪辑属性ClipChar决定MinCR值，并将决定后的MinCR值cr输入到编码部1001和MinCR信息生成部2002，该剪辑属性ClipChar示出剪辑是运动图像还是静止图像，该MinCR值适用于构成剪辑的图片。编码部1001，根据由MinCR值所决定的MinCR值，编码输入运动图像或图像数据Vin，并将编码数据Cdata输出到系统多路复用部1002。系统多路复用部1002，对编码数据Cdata进行系统多路复用，将多路复用数据Mdata输入到结合部1003。另外，MinCR信息制作部，根据MinCR值cr，生成作为标志信息的MinCR信息crInf，并输入到管理信息制作部2003，该标志信息是用于确定由构成剪辑的图片所适用的MinCR值的信息。管理信息生成部，从系统多路复用部1002获得时间图等的流信息StrInf，并生成包括MinCR信息crInf的管理信息CtrInf，并输出到结合部1003，该流信息StrInf用于生成关于多路复用数据Mdata的管理信息。结合部1003，将管理信息CtrInf与多路复用数据Mdata结合，并作为存储数据Dout输出。并且，流信息StrInf，也可以从编码部1001被输入到管理信息制作部2003。 

并且，通过创作工具等制作数据时，有时在不同的装置进行编码数据 的生成和系统多路复用或管理信息的制作，但在此情况下，将各装置的工作与多路复用装置2000的各部的工作相同就可以。 

其次说明再生方法。在静止图像的代码量多于运动图像图片的情况下，虽然依靠再生装置的处理能力，但有时发生从DTS(解码时刻：Decoding Time Stamp)至PTS(表示时刻：Presentation Time Stamp)的解码期间内来不及静止图像的解码的情况。为了在此情况下也正常再生并输出静止图像，在本实施方式，通过如下所示的第1或第2再生方法再生静止图像。 

图7A是示出静止图像流的第1再生方法的说明图。在该图中，DTS 1是指，由带有静止图像pic1的代码的数据包(称为PES数据包)头所含的解码时间戳的时刻，DTS1示出应该开始解码静止图像pic1的时刻。PTS1是指，由带有静止图像pic1的代码的数据包头所含的表示时间戳的时刻，PTS1示出应该开始静止图像pic1的表示(输出或显示)的时刻。对于DTS2、DTS3、PTS2、PTS3与此相同。 

该图的静止图像pic2示出以下情况，即，在DTS2的时刻开始解码，解码完毕时刻在于PTS2的时刻之后的情况。对于第1再生方法，静止图像的解码完毕时刻来不及PTS的时刻的情况下，在解码完毕时刻紧后的帧格(time grid)的时刻就开始表示。 

如此，对于第1再生方法，在由编码后的静止图像所含的解码时间戳的时刻开始解码，到上述表示时间戳的时刻为止静止图像的解码未完毕的情况下，向上述表示时间戳赋予容限，在被赋予的表示时间戳输出解码后的静止图像。 

图7B是示出静止图像的第2再生方法的说明图。对于第2再生方法，向DTS赋予容限，在赋予了容限时刻开始静止图像的解码，并在PTS的时刻输出。 

图8是示出静止图像的第1再生方法的流程图。如该图所示，对于第1再生方法，在静止图像图片(pic_N)的DTS时刻开始pic_N的解码(S3001)，判定在静止画图片(pic_N)的PTS(PTS_N)时刻是否完毕此解码(S3002)，完毕时，在PTS(PTS_N)时刻输出被解码的静止图像图片(pic_N)(S3003)，未完毕时，在解码完毕紧后的帧格的时刻输出被解码的静止图像图片 (pic_N)(S3004)。 

如此，根据第1再生方法，仅在静止图像的解码延迟的情况下，推迟实际输出时刻，因此可以按照静止图像的代码量动态且灵活地变更输出时刻。 

图9是示出静止图像的第2再生方法的流程图。如上图所示，对于第2再生方法，判定是否静止图像流(S4001)，静止图像流时，比图片(pic_N)的DTS时刻，提早规定时间T的时刻开始解码pic_N(S4002)，不是静止图像流时(是运动图像流时)，在DTS时刻开始解码(S4003)。在此规定时间T是赋予给DTS的容限，该容限如下被规定，即，使被赋予容限的、从DTS至PTS的时间不短于用于静止图像的解码的时间。 

根据该第2再生方法，使解码开始时刻早于DTS时刻，因此可以不发生静止图像的输出延迟，也可以在PTS时刻进行恰当的再生。 

并且，在图9中，对于所有的静止图像使解码开始时刻提早，但也可以仅在静止图像的代码量超过阈值时，使解码开始时刻提早。例如，图7B的pic1、pic3的代码量为阈值以下，而pic2的代码量超过阈值的情况下，pic1、pic3的解码开始时刻为DTS1、DTS3时刻。pic2的解码开始时刻为(DTS2-T)。并且，也可以是仅在图像大小、比特率、或等级等的参数超过规定的值的情况下，进行步骤S4002的处理。 

并且，图8、图9所示的第1、第2再生方法，由后述的图12的表示管理部208、图13及图17的视频处理器、或图13的合成处理部被执行，并被包括在图33的S404。 

(盘上的逻辑数据结构) 

图10是示出BD-ROM结构的图，该图特别示出作为盘媒体的BD盘(104)，以及记录在该盘的数据(101、102、103)的结构。在BD盘(104)记录：AV数据(103)、有关AV数据的管理信息及AV再生序列等的BD管理信息(102)、用于实现交互性的BD再生程序(101)。本实施方式中，为方便说明，以用于再生电影的AV内容的AV应用数据为主进行说明，也可以作为其他的用途来使用。 

图11是示出记录在上述BD盘的逻辑数据的目录及文件的结构的图。BD盘与其他的光盘一样，例如与DVD和CD等一样，从内圈到外圈具有 螺旋状的记录区域，内圈读入和外圈读出之间具有可以记录逻辑数据的逻辑地址空间。在BD盘的读入部内侧存在称为BCA(群刻区：Burst CuttingArea)的区域，该区域是除驱动器之外不能读出数据的特殊区域。这个区域的数据即使利用应用数据也不能读出，因此，可利用于，例如著作权保护技术等。 

在逻辑地址空间，记录有文件系统信息(容量)以及影像数据等的应用数据，其中文件系统信息(容量)在开头。如“背景技术”中的说明，文件系统是UDF和ISO9660等的文件系统，与一般的PC相同，使用目录及文件的结构就可以读出所记录的逻辑数据。 

在本实施方式的BD盘上的目录及文件的结构中，BDVIDEO目录被放置在根目录(ROOT)的正下面。此目录是存储有，在BD处理的AV内容或管理信息等的数据(图10说明的101、102、103)。 

BDVIDEO目录下面，记录有以下的7种文件。 

BD.INFO(文件名固定) 

“BD管理信息”之一，是记录有与BD盘全体有关的信息的文件。BD播放器最先读出该文件。 

BD.PROG(文件名固定) 

“BD再生程序”之一，是记录有与BD盘全体有关的再生控制信息的文件。 

XXX.PL(“XXX”可变，扩展名“PL”固定) 

“BD管理信息”之一，是记录有作为方案(再生序列)的播放列表信息的文件。每个播放列表存在一个文件。 

XXX.PROG(“XXX”可变，扩展名“PL”固定) 

“BD再生程序”之一，是记录有上述每个播放列表的再生控制信息的文件。与“XXX.PROG”文件对应的播放列表是文件主体名(“XXX”)相同的播放列表。 

YYY.VOB(“YYY”可变，扩展名“VOB”固定) 

“AV数据”之一，是记录有VOB(与背景技术中说明的VOB相同)的文件。每个VOB存在一个文件。 

YYY.VOBI(“YYY”可变，扩展名“VOBI”固定) 

“BD管理信息”之一，是记录有与AV数据VOB有关的流管理信息的文件。与“YYY.VOBI”文件对应的VOB是文件主体名(“YYY”)相同的VOB。 

ZZZ.PNG文件(“ZZZ”可变，扩展名“PNG”固定) 

“AV数据”之一，是记录有用于构成字幕及菜单的映像数据PNG(是以W3C标准化了的图像格式，称为“png”)的文件。每个PNG映像存在一个文件。 

(播放器的结构) 

其次，用图12及图13，对再生上述BD盘的播放器的结构进行说明。 

图12是示出播放器的大体功能结构的方框图。BD盘(201)之上的数据，通过光学拾波器(202)被读出。被读出的数据，按照该数据的种类被传送到专用的存储器。BD再生程序(“BD.PROG”或者“XXX.PROG”文件的细节)被传送到程序记录存储器(203)，BD管理信息(“BD.INFO”、“XXX.PL”、或者“YYY.VOBI”)被传送到管理信息记录存储器(204)，AV数据(“YYY.VOB”或者“ZZZ.PNG”)被传送到AV记录存储器(205)。 

记录在程序记录存储器(203)的BD再生程序由程序处理部(206)来处理，记录在管理信息记录存储器(204)的BD管理信息由管理信息处理部(207)来处理，记录在AV记录存储器(205)的AV数据由表示处理部(208)来处理。 

程序处理部(206)，接收由管理信息处理部(207)再生的播放列表的信息或程序的执行时刻等的事件信息，执行程序。并且，程序可以动态地改变再生的播放列表，此时，向管理信息处理部(207)发送播放列表的再生命令，从而实现动态地改变再生的播放列表。程序处理部(206)接收来自用户的事件，即遥控器键的请求，当存在与该用户事件对应的程序时，执行该程序。 

管理信息处理部(207)接收来自程序处理部(206)的指示，分析对应的播放列表以及与播放列表对应的VOB的管理信息，指示表示处理部(208)再生作为对象的AV数据。并且，管理信息处理部(207)从表示处理部(208)接收标准时刻信息，根据时刻信息对表示处理部(208)指示停止AV数据的再生，还有，生成向程序处理部(206)表示程序的执行时刻的事件。 

表示处理部(208)具有分别对应于影像，声音，字幕/映像(静止图像) 的解码器，按照来自管理信息处理部(207)的指示，进行AV数据的解码及输出。影像数据，字幕/映像被解码之后，分别被绘制到的各个专用面，即视频面(210)或者成像面(209)，在合成处理部(211)进行影像的合成，并被输出到TV等的显示设备。 

如图12中说明，BD播放器具有对应于记录在图10所示的BD盘的数据的机器结构。 

图13是将上述的播放器的结构详细化后的方框图。在图13，AV记录存储器(205)作为映像存储器(308)及磁道缓存(309)来表现，程序处理部(206)作为程序处理器(302)及UOP管理器(303)来表现，管理信息处理部(207)作为方案处理器(305)及表示控制器(306)来表现，表示处理部(208)作为时钟(307)、多路分用器(310)、映像处理器(311)、视频处理器(312)、声音处理器(313)来表现。 

从BD盘(201)所读出的VOB数据(MPEG流)被记录在磁道缓存(309)，映像数据(PNG)被记录在映像存储器(308)。多路分用器(310)按照时钟(307)的时刻，抽出记录在磁道缓存(309)的VOB数据，将影像数据发送到视频处理器(312)，将声音数据发送到声音处理器(313)。视频处理器(312)及声音处理器(313)，按照MPEG系统标准的规定，分别以解码缓存器和解码器来构成。即，从多路分用器(310)被发送来的影像及声音的数据，分别在解码缓存器被暂时记录，按照时钟(307)在各解码器被解码。 

对于记录在映像存储器(308)的PNG，存在以下的2个处理方法。当映像数据作为字幕用的数据的情况下，由表示控制器(306)指示解码时刻。方案处理器(305)一旦接收来自时钟(307)的时刻信息，为了能适当地显示字幕，到了字幕的显示开始时刻(开始及结束)，就指示表示控制器(306)进行字幕的显示或停止显示。从表示控制器(306)接受了解码/显示的指示的映像处理器(311)，从映像存储器(308)抽出对应的PNG数据进行解码，绘制到成像面(314)。 

其次，映像数据是菜单用的数据的情况下，由程序处理器(302)来指示解码时刻。程序处理器(302)指示解码映像的时刻是不能一概而论的，要依存于程序处理器(302)处理的BD程序。 

映像数据及影像数据，如图12中的说明，分别被解码之后，被绘制 到成像面(314)、视频面(315)，由合成处理部(316)进行合成之后，被输出。 

从BD盘(201)所读出的管理信息(方案、AV管理信息)，被存储在管理信息记录存储器(304)，方案信息(“BD.INFO”及“XXX.PL”)由方案处理器(305)来读出并处理。并且，AV管理信息(“YYY.VOBI”)由表示控制器(306)来读出并处理。 

方案处理器(305)分析播放列表的信息，并将由播放列表所参考的VOB和其再生位置通知给表示控制器(306)，表示控制器(306)分析作为对象的VOB的管理信息(“YYY.VOBI”)，向驱动控制器(317)发出指示，使其读出作为对象的VOB。 

驱动控制器(317)，按照来自表示控制器(306)的指示，使光学拾波器移动，读出作为对象的AV数据。所读出的AV数据，如上所述由映像存储器(308)或者磁道缓存(309)来读出。 

方案处理器(305)监视时钟(307)的时刻，在管理信息所设定的时刻，向程序处理器(302)输出事件。 

记录在程序记录存储器(301)的BD程序(“BD.PROG”或者“XXX.PROG”)，由程序处理器(302)来执行并处理。程序处理器(302)，在事件由方案处理器(305)发送来的情况下，或者事件由UOP管理器(303)发送来的情况下，处理BD程序。UOP管理器(303)，当用户通过遥控器键发来请求的情况下，生成对程序处理器(302)的事件。 

(应用程序空间) 

图14是示出BD的应用程序空间的图。在BD的应用程序空间，播放列表(PlayList)是一个再生单位。播放列表是单元(Cell)的联合，具有根据连接的顺序所决定的再生序列的静态方案和根据程序所记述的动态方案。只要是没有根据程序的动态方案，播放列表按顺序再生各个单元，并且，在全部单元再生结束的时刻，结束播放列表的再生。另外，程序可以进行超出播放列表的再生记述，也可以动态地改变根据用户的选择或者播放器的状态而再生的对象。作为典型例子，可举出菜单。在BD中，可以定义菜单是根据用户的选择来再生的方案，可根据程序使播放列表动态地选择。 

在这里所说的程序，是根据时间事件或者用户事件所执行的事件处理程序。 

时间事件是根据被嵌入到播放列表的时刻信息所生成的事件。用图13所说明的从方案处理器(305)发送到程序处理器(302)的事件，就是相当于此时间事件。当时间事件被发行时，程序处理器(302)执行并处理根据标识符(ID)所对应的事件处理程序。如同上述，被执行的程序可以指示其他的播放列表的再生，在此情况下，使现在正再生的播放列表的再生停止，而使被指定的播放列表再生。 

用户事件是由用户的遥控器键操作所生成的事件。用户事件分为两大类型。第一个是，根据光标键(“上”“下”“左”“右”键)或者“决定”键的操作所生成的菜单选择的事件。与菜单选择的事件对应的事件处理程序只在播放列表内所限定的期间内有效(作为播放列表的信息，设定有各个事件处理程序的有效期)，遥控器的“上”“下”“左”“右”键或者“决定”键被按下的情况下，检索有效的事件处理程序，当有效的事件处理程序存在时，则该事件处理程序被执行并处理。当其他情况下，则菜单选择的事件被忽视。 

第二个用户事件是根据“菜单”键的操作所生成的菜单呼叫的事件。当菜单呼叫的事件被生成时，则全局事件处理程序被呼出。全局事件处理程序是不依存播放列表的、且总是有效的事件处理程序。使用该功能，从而可以安装DVD的菜单呼叫(标题再生中呼叫出声音、字幕等，变更声音或者字幕后的中断的时候起进行标题的再生的功能等)。 

在播放列表作为构成静态方案的单位的单元(Cell)，参考VOB(MPEG流)的全部或者一部分的再生区间。单元，将VOB内的再生区间作为开始、结束时刻的信息来保持。与每个VOB成对的VOB管理信息(VOBI)，在此内部具有作为与数据的再生时刻对应的记录地址的表信息的时间图(TimeMap或者TMAP)，通过该时间图，从上述的VOB的再生、结束时刻，可以导出VOB内(即成为对象的“YYY.VOB”内)的读出开始地址及结束地址。再者，有关时间图的详细细节待后述。 

(VOB的详细细节) 

图15是本实施方式中使用的MPEG流(视频对象：VOB)的结构图。如图15所示，VOB由多个VOBU(视频对象组：Video Object Unit)所构成。VOBU是一种再生单位，以MPEG视频流的GOP(图片组：Group Of Pictures)为基准，但包括音频数据的多路复用流的一种再生单位。VOBU具有1.0秒以下的视频再生时间，一般具有0.5秒左右的再生时间。 

VOBU开头的TS数据包(MPEG-2传输流数据包：MPEG-2TransportStream Packet)，按顺序存储有序列头，GOP头和I帧(Intra-coded)，并可以从I帧开始解码。并且，通过时间图管理：该VOBU开头的包括I帧的开头的TS数据包的地址(开始地址)；从该开始地址至包括I帧的最后的TS数据包为止的地址(结束地址)；以及该I帧的再生开始时刻(PTS)。因此，每个VOBU开头的TS数据包都被赋予有时间图的入口(entry)。 

在VOBU的内部具有视频数据包(V_PKT)和音频数据包(A_PKT)。各数据包具有188字节，虽然图15中没示出，但在各TS数据包紧前被赋予有ATS(到达时间戳：Arrival Time Stamp)，该ATS是与该TS数据包的相对应的解码器供给开始时刻。 

每个TS数据包被赋予ATS的理由是TS流的系统率不是固定的，而是可变的。一般，赋予固定的系统率时插入称为NULL数据包的虚拟TS数据包，但要在有限的记录容量内以高画质记录时，则可变的系统率较合适，因此在BD记录有作为带有ATS的TS流。 

图16是示出TS数据包的结构的图。如图16所示，TS数据包，由TS数据包头、适用域、有效负载(Payload)所构成。TS数据包存储PID(PacketIdentifier)，据此，可以识别存储在TS数据包的信息。适用域存储PCR(程序时钟基准：Program Clock Reference)。PCR是解码流的机器的时钟基准(称为System Time Clock，STC)参考值。一般，机器根据PCR的时刻对系统流进行多路分用后，再构筑视频流等各种流。有效负载存储PES数据包。 

PES数据包头存储，DTS(解码时间戳：Decoding Time Stamp)和PTS(表示时间戳：Presentation Time Stamp)。DTS示出存储在该PES数据包的视频/音频帧的解码时刻，PTS示出影像声音输出等的表示时刻。称为视频数据及音频数据的基本数据，在被称为PES数据包有效负载(PESPacket Payload)的数据包(PES Packet)的数据存储区域的开头依次被存储。PES数据包记录有，用于识别存储在有效负载的数据是不是流的数据的ID(stream_id)。 

ISO/IEC13818-1规定了TS流的细节，BD具有特征的一点是，将ATS 赋予给各TS数据包。 

(VOB的交插记录) 

其次，用图17及图18，说明VOB文件的交插记录。 

图17上部是上述的播放器的结构图的一部分。如图所示，BD盘上的VOB数据即MPEG流，通过光学拾波器被输入到磁道缓存，BD盘上的PNG数据即映像数据，通过光学拾波器被输入到映像存储器。 

磁道缓存是FIFO，被输入的VOB的数据按照被输入的顺序被发送到多路分用器。这个时候，各个TS数据包，按照上述的ATS从磁道缓存中拔出，通过多路分用器，被发送到视频处理器或者声音处理器。另一方面，对于映像数据，关于绘制哪个映像，要由表示控制器所指示。还有，在绘制中所使用的映像数据是字幕用的映像数据的情况下，在被使用的同时从映像存储器中删除，但在绘制中所使用的映像数据是菜单用的映像数据的情况下，在绘制该菜单的期间中，原样保留在映像存储器内。这是因为，菜单的绘制依存于用户的操作，在追随用户的操作，再次显示菜单的一部分或者置换为别的映像的时候，使被再次显示的部分的映像数据容易被解码。 

图17的下部是用于说明在BD盘上的VOB文件及PNG文件的交插记录的图。一般来说ROM，例如CD-ROM和DVD-ROM中，作为一连串的连续再生单位的AV数据是连续被记录的。这是因为，只要数据是连续记录的，驱动器就能依次读出数据，送到解码器里，但连接的数据被分割，分散地配置在盘上的情况下，驱动器查找各个连续区间，在查找期间中可能数据的读出会停，就有可能导致数据的供给停止。在BD，也最好是将VOB文件记录在连续区域，但如同字幕数据，与记录在VOB的影像数据同步再生的数据，需要与VOB文件相同，以某种方法从BD盘中读出。 

作为字幕数据的读出方法之一，可在VOB的再生开始之前，一并读出字幕用的映像数据(PNG文件)。然而，这个方法需要大容量的存储器，所以不具有现实性。 

所以，使用了将VOB文件分成几个块，与映像数据交插记录的方法。图17下部是说明该交插记录的图。 

通过对VOB文件和映像数据进行妥当地交插配置，从而不需要如上 述的大容量的一时记录存储器，可以在必要的时刻，将映像数据存储到映像存储器。然而，读出映像数据的时候，理所当然地停止读出VOB数据。 

图18是说明，使用用于解决此问题的磁道缓存的VOB数据连续供给模型的图。 

如上述说明，VOB的数据先被存到磁道缓存。对磁道缓存的数据输入速率(Va)和，与来自磁道缓存的数据输出速率(Vb)之间设定差的(Va＞Vb)时候，只要从BD盘持续读出数据，磁道缓存的数据存储量就会持续增加。 

如图18的上部所示，VOB的一连续记录区域从逻辑地址“a1”持续到“a2”为止。“a2”到“a3”之间，记录有映像数据，是不能读出VOB数据的区间。 

图18的下部是示出磁道缓存的内部的图。横轴示出时间，纵轴示出存储在磁道缓存的内部的数据量。时刻“t1”示出开始读出作为VOB的一连续记录区域的开始点的“a1”的时刻。在此时刻之后，以速率Va-Vb将数据存储到磁道缓存。当然该速率是，输入到磁道缓存的数据的速率和，从磁道缓存输出的数据的速率的差。时刻“t2”是读出作为一连续记录区域的结束点的“a2”的数据的时刻。即，时刻从“t1”到“t2”之间，磁道缓存内的数据量以速率Va-Vb来增加，根据下述公式1，可求出时刻“t2”的数据存储量B(t2)。 

B(t2)＝(Va-Vb)×(t2-t1)(公式1) 

此后，因为映像数据持续到BD盘上的地址“a3”，向磁道缓存输入的数据是0，磁道缓存内的数据量以输出速率“-Vb”来减少。该工作持续到读出位置“a3”，即持续到时刻“t3”。 

在这里重要的是，时刻“t3”之前存储在磁道缓存的数据量一旦0，则向解码器供给的VOB的数据就没有了，可能会有VOB的再生停止。然而，在时刻“t3”数据仍然存留在磁道缓存的情况下，则会继续再生VOB而不会停止。 

由下述公式2所示出该条件。 

B(t2)≥-Vb×(t3-t2)(公式2) 

即决定映像数据(非VOB数据)的配置来满足公式2就可以。 

(导航数据结构) 

利用图19至图25，来说明BD的导航数据(BD管理信息)结构。 

图19是示出VOB管理信息文件(“YYY.VOBI”)内部结构的图。 

VOB管理信息具有，该VOB的流属性信息(Attribute)和时间图。流属性包含，视频属性(Video)和音频属性(Audio#0～Audio#m)。特别对于音频流，VOB可以同时持有多个音频流，所以根据音频流的数(Number)，示出数据域(data field)的有无。 

下列示出，视频属性(Video)持有的域和，各个域可持有的值。 

压缩方式(Coding)： 

MPEG1 

MPEG2 

MPEG4 

MPEG4-AVC(Advanced Video Coding) 

分辨率(Resolution)： 

1920×1080 

1440×1080 

1280×720 

720×480 

720×565 

宽高比(Aspect) 

4∶3 

16∶9 

帧速率(Framerate) 

60 

59.94(60/1.001) 

50 

30 

29.97(30/1.001) 

25 

24 

23.976(24/1.001) 

下列示出，音频属性(Audio)持有的域和，各个域的可持有的值。 

压缩方式(Coding)： 

AC3 

MPEG1 

MPEG2 

LPCM 

声道数(Ch)： 

1～8 

语言属性(Language)： 

时间图(TMAP)是持有每个VOBU的信息的表，持有VOB所具有的VOBU的数(Number)和各VOBU信息(VOBU#1～VOBU#n)。各个VOBU信息，由VOBU开头的TS数据包(开始I帧)的地址I_start和该I帧的结束地址为止的偏移地址(I_end)以及该I帧的再生开始时刻(PTS)所构成。 

并且，I_end的值，可以不是偏移值即I帧的大小，而可以是I帧的实际结束地址。 

图20是说明VOBU信息的细节的图。 

众所周知，为了实现高画质记录，MPEG视频流有时被可变比特率压缩，与此再生时间和数据大小，没有单纯的相关关系。反而，由于声音的压缩标准AC3进行以固定比特率压缩声音数据，时间和地址的关系由一次式所求出。然而，对于MPEG视频数据，各个帧持有固定的显示时间，例如对于NTSC，1帧持有1/29.97秒的显示时间，而每个帧压缩后的数据大小根据画的特性或图像类型，即I/P/B图像的类型而大不相同。从而，对于MPEG视频，以一次式表现时间和地址的关系是不可能的。 

理所当然，对于被多路复用MPEG视频数据的MPEG系统流，即VOB，以一次式表现时间和数据大小的关系是不可能的。据此，在VOB内，由时间图(TMAP)连接时间和地址。 

如此，某时刻信息被赋予时，检索该时刻属于哪个VOBU(追溯按每个VOBU的PTS)，此后跳到作为TMAP持有该时刻紧前的PTS的VOBU(由I_start所指定的地址)，从VOBU开头的I帧开始解码，从该时刻的图片开始显示。 

其次，用图21说明，播放列表信息(“XXX.PL”)的内部结构。 

播放列表信息，由单元列表(CellList)和事件列表(EventList)所构成。 

单元列表(CellList)是播放列表内的再生单元序列，以该列表的记述顺序再生单元。单元列表(CellList)包括，单元的数(Number)和各单元信息(Cell#1～Cell#n)。 

单元信息(Cell#)持有：VOB文件名(VOBName)，在该VOB内的开始时刻(In)以及结束时刻(Out)，字幕表(SubtitleTable)。开始时刻(In)以及结束时刻(Out)，分别以在该VOB内的帧号码来表现，使用上述的时间图，从而能够得到再生所需的VOB数据的地址。 

字幕表(SubtitleTable)是持有与该VOB同步再生的字幕信息的表。字幕与声音相同能持有多个语言，字幕表(SubtitleTable)由最初信息的语言数(Number)和，接着语言数的每个语言的表(Language#1～Language#k)所构成。 

各语言的表(Language#)，由语言信息(Lang)和，每个表中所显示的字幕的字幕信息数(Number)和，每个表中所显示的字幕的字幕信息(Speech#1～Speech#j)所构成，字幕信息(Speech#)，由对应的映像数据文件名(Name)和，字幕显示开始时刻(In)以及字幕显示结束时刻(Out)和，字幕显示位置(Position)所构成。 

事件列表(EventList)是定义了在该播放列表内发生的事件的表。事件列表，由事件数(Number)和，接着事件数的各个事件(Event#1～Event#m)所构成，各个事件(Event#)，由事件的种类(Type)和，事件的ID(ID)和，事件发生时刻(Time)和，有效期间(Duration)所构成。 

图22是持有各个播放列表的事件处理程序(时间事件和菜单选择用的用户事件)的事件处理程序表(“XXX.PROG”)。 

事件处理程序表，具有被定义的事件处理程序/程序数(Number)和，各个事件处理程序/程序(Program#1～Program#n)。各事件处理程序/程序(Program#)记述有，事件处理程序的开始的定义(<event_handler>标记)和，与上述的事件的标识符成对的事件处理程序的ID(ID)，之后，该程序被记述在，接着Function的括号“{”与“}”之间。存储在上述“XXX.PL”的事件列表(EventList)的事件(Event#1～Event#m)，以“XXX.PROG”的事件处 理程序的ID(ID)来确定。 

其次，用图23说明与BD盘全体有关的信息(“BD.INFO”)的内部结构。 

BD盘全体信息，由标题列表(TitleList)和全局事件用的事件表(EventList)所构成。 

标题列表(TitleList)，由盘内的标题数(Number)和接着标题数的各标题信息(Title#1～Title#n)所构成。各个标题信息(Title#)包含：标题中所包含的播放列表的表(PLTable)和标题内的章节列表(ChapterList)。播放列表的表(PLTable)具有：标题内的播放列表的数(Number)和，播放列表名(Name)即播放列表的文件名。 

章节列表(ChapterList)，由标题包含的章节数(Number)和各个章节信息(Chapter#1～Chapter#n)所构成，各个章节信息(Chapter#)，持有包含该章节的单元的表(CellTable)，单元的表(CellTable)，由单元数(Number)和各个单元的入口信息(CellEntry#1～CellEntry#k)所构成。单元的入口信息(CellEntry#)，由包含该单元的播放列表名和，在播放列表中的单元号码所记述。 

事件列表(EventList)持有，全局事件的数(Number)和，各个全局事件的信息。在此需要注意的是，最先被定义的全局事件被称为第一事件(FirstEvent)，在BD盘被插入到播放器的时候，第一个被呼出。全局事件用事件信息只持有事件类型(Type)和事件的ID(ID)。 

图24是示出全局事件处理程序的程序表(“BD.PROG”)的图。本表与用图22说明的事件处理程序表的内容相同。 

(事件发生的机理) 

用图25至图27，对事件发生的机理进行说明。图25是时间事件的例子。 

如同上述，时间事件由播放列表信息(“XXX.PL”)的事件列表(EventList)所定义。作为时间事件被定义的事件，即事件类型(Type)为“TimeEvent”的情况下，在事件生成时刻(“t1”)，持有ID“Ex1”的时间事件从方案处理器被输出到程序处理器。程序处理器寻找，持有事件ID“Ex1”的事件处理程序，执行并处理成为对象的事件处理程序。例如，本实施方式中进行2个按钮映像的绘制。 

图26是进行菜单操作的用户事件的例子。如同上述，进行菜单操作的用户事件也是由播放列表信息(“XXX.PL”)的事件列表(EventList)来定义的。作为用户事件被定义的事件，即事件类型(Type)为“UserEvent”的情况下，在事件生成时刻(“t1”)，该用户事件成为准备状态。这个时候，事件本身还未被生成。该事件处于以有效期信息(Duration)所示的期间准备状态。 

如图26所示，用户按下遥控器键的“上”“下”“左”“右”键或者“决定”键的情况下，首先UOP事件由UOP管理器所生成并被输出到程序处理器。程序处理器，向方案处理器输出UOP事件，方案处理器，检索在接收UOP事件的时刻是否存在有效的用户事件，当存在有效的用户事件的情况下，生成用户事件，向程序处理器输出。程序处理器，寻找持有事件ID“Ev1”的事件处理程序，执行并处理成为对象的事件处理程序。例如，在本实施方式中是开始播放列表#2的再生。 

被生成的用户事件中，不包含哪个遥控器键是被用户按下的键的信息。被选择的遥控器键的信息，由UOP事件被传到程序处理器，并被记录到假想播放器所持有的寄存器SPRM(8)，且被保持。该事件处理程序的程序，可以调查该寄存器的值，并执行分歧处理。 

图27是全局事件的例子。如同上述，全局事件由有关BD盘全体的信息(“BD.INFO”)的事件列表(EventList)来定义。作为全局事件所定义的事件类型(Type)为“GlobalEvent”的情况下，仅在用户操作遥控器键的情况下，事件才被生成。 

当用户按下“菜单”时，首先UOP事件由UOP管理器生成，并被输出到程序处理器。程序处理器向方案处理器输出UOP事件，方案处理器生成相当的全局事件，并送到程序处理器。程序处理器，寻找持有事件ID“menu”的事件处理程序，执行并处理成为对象的事件处理程序。例如，在本实施方式中是开始播放列表#3的再生。《73％》 

本实施方式中，简单称为“菜单”键，但是如同DVD一样，菜单键也可以是多个。可以定义与每个菜单键相对应的ID。 

(假想播放器机器) 

图28是用于说明程序处理器的功能结构的图。程序处理器是内部持 有假想播放器机器的处理模块。假想播放器机器是定义为BD的功能模型，而不依存于BD播放器的实装上。即，保证在任何BD播放器中都能执行相同的功能。 

假想播放器机器，持有两大功能。是编程函数和播放器变数(寄存器)。编程函数，以JavaScript为基础，将以下2个功能作为BD特征函数被定义。 

链接函数：停止现在的再生，开始被指定的播放列表，单元，时刻起的再生。 

Link(PL#，Cell#，time) 

PL#：：播放列表名 

Cell#：单元号码 

time：单元内的再生开始时刻 

PNG绘制函数：将指定PNG数据绘制到成像面 

Draw(File、X、Y) 

File：PNG文件名 

X：X坐标位置 

Y：Y坐标位置 

成像面清除函数：清除成像面的指定区域 

Clear(X、Y、W、H) 

X：X坐标位置 

Y：Y坐标位置 

W：X方向宽度 

H：Y方向宽度 

作为播放器变数可举出，示出播放器的状态的系统参数(SPRM)和，可作为普通用途使用的通用参数(GPRM)。 

图29是示出系统参数(SPRM)的一览的图。 

SPRM(0)：语言代码 

SPRM(1)：声音流号码 

SPRM(2)：字幕流号码 

SPRM(3)：角度号码 

SPRM(4)：标题号码 

SPRM(5)：章节号码 

SPRM(6)：程序号码 

SPRM(7)：单元号码 

SPRM(8)：选择键信息 

SPRM(9)：导航计时器 

SPRM(10)：再生时刻信息 

SPRM(11)：卡拉OK用混合模式 

SPRM(12)：父母用国信息 

SPRM(13)：父母级别 

SPRM(14)：播放器设定值(视频) 

SPRM(15)：播放器设定值(音频) 

SPRM(16)：声音流用语言代码 

SPRM(17)：声音流用语言代码(扩展) 

SPRM(18)：字幕流用语言代码 

SPRM(19)：字幕流用语言代码(扩展) 

SPRM(20)：播放器地区代码 

SPRM(21)：预备 

SPRM(22)：预备 

SPRM(23)：再生状态 

SPRM(24)：预备 

SPRM(25)：预备 

SPRM(26)：预备 

SPRM(27)：预备 

SPRM(28)：预备 

SPRM(29)：预备 

SPRM(30)：预备 

SPRM(31)：预备 

还有，在本实施方式，假想播放器的编程函数，以JavaScript为基础被定义，也可以是用在UNIX(注册商标)OS等的B-Shell或Peri Script等 的编程函数，换句话说，本发明不仅限于JavaScript。 

(程序的例子) 

图30及图31是在事件处理程序的程序的例子。图30是具有2个选择按钮的菜单的程序的例子。在单元(PlayList#1.Cell#1)开头使用时间事件，执行图30左侧的程序。在此，最初作为通用参数之一的GPRM(0)被设定为“1”。GPRM(0)用于在该程序中识别被选择的按钮。最初的状态下，将配置在左侧的按钮1被选择之事作为初始值。 

其次，使用绘制函数Draw，分别针对按钮1和按钮2进行PNG的绘制。按钮1，在坐标(10，200)为起点(左端)，绘制PNG映像“1black.png”。按钮2，在坐标(330，200)为起点(左端)，绘制PNG映像“2white.png”。还有，在本单元的最后使用时间事件，执行图30右侧的程序。在这里，被指定为，使用Link函数，从该单元的开头开始再次再生。 

图31是菜单选择的用户事件的事件处理程序的例子。事件处理程序上写有，当按下“左”键，“右”键，“决定”键的任一个的情况下，分别对应于上述各键的程序。当用户按下遥控器键的情况下，如同用图26所说明的那样，生成用户事件，图31的事件处理程序启动。本事件处理程序中，使用识别选择按钮的GPRM(0)的值和识别被选择的遥控器键的SPRM(8)，进行分歧处理。 

条件1)，在按钮1被选择、且选择键为“右”键的情况下，将GPRM(0)再设定为2，并且将处于选择状态的按钮变更为右键2。分别改写按钮1、按钮2的映像。 

条件2)，在选择键是“决定(OK)”，按钮1被选择的情况下，开始再生播放列表#2。 

条件3)，在选择键是“决定(OK)”，按钮2被选择的情况下，开始再生播放列表#3。 

如上述的执行处理。 

(播放器处理流程) 

其次，用图32至图35来说明播放器的处理流程。图32是到AV的再生为止的基本处理流程。 

插入BD盘时(S101)，BD播放器执行BD.INFO文件的读取和分析 (S102)以及BD.PROG文件的读取(S103)。BD.INFO及BD.PROG，先一同被存储到管理信息记录存储器，并且由方案处理器来分析。 

其次，方案处理器，按照BD.INFO文件内的第一事件(FirstEvent)信息，生成最初的事件(S104)。被生成的第一事件由程序处理器所接收，执行并处理与该事件对应的事件处理程序(S105)。 

值得注目的是，与第一事件相对应的事件处理程序记录有应该最先再生的播放列表信息。假设，播放列表的再生没被指示的情况下，播放器不进行任何再生，一直等待用户事件(S201)。当BD播放器接收来自用户的遥控器操作时，UOP管理器对程序管理器启动UOP事件(S202)。 

程序管理器，判别UOP事件是不是菜单键(S203)，当UOP事件是菜单键的情况下，向方案处理器输出UOP事件，并且方案处理器生成用户事件(S204)。程序处理器，执行并处理与被生成的用户事件相对应的事件处理程序(S205)。 

图33是从PL再生开始到VOB再生开始为止的处理流程。如上所述，由第一事件处理程序或者全局事件处理程序，开始播放列表的再生(S301)。方案处理器，作为再生再生对象的播放列表所需的信息，进行播放列表信息“XXX.PL”的读取和分析(S302)，以及与播放列表相对应的程序信息“XXX.PROG”(S303)的读取。接着，方案处理器，按照在被播放列表中所登记的单元信息指示单元的再生(S304)。单元的再生，意味着从方案处理器对表示控制器发出请求，并且表示控制器开始再生AV(S305)。 

当开始再生AV时(S401)，表示控制器读入和分析，与再生的单元相对应的VOB的信息文件(XXX.VOBI)(S402)。表示控制器，确定使用时间图开始再生的VOBU以及确定其地址，并向驱动控制器指示读出地址，驱动控制器读出成为对象的VOB数据(S403)，VOB数据被送到解码器，该数据开始再生(S404)。 

VOB的再生，持续到该VOB的再生区间结束为止(S405)，再生区间结束时，转到下一个单元的再生(S304)。不存在下一个的单元的情况下，则再生停止(S406)。 

图34是从AV的再生开始后的事件处理流程。BD播放器是事件驱动型的播放器模型。当播放列表的再生开始时，分别启动时间事件系列，用 户事件系列，及字幕显示系列的事件处理，并同时执行这些事件处理。 

S500系列的处理是时间事件系列的处理流程。播放列表的再生开始后(S501)，在经过确认播放列表的再生是否已经结束的步骤(S502)之后，方案处理器确认是否到了时间事件发生时刻(S503)。当到了时间事件发生时刻的情况下，方案处理器生成时间事件(S504)，程序处理器接收时间事件，执行并处理事件处理程序(S505)。 

当在步骤S503还没有到时间事件发生时刻的情况下，或当在步骤S504执行并处理了事件处理程序之后，返回到步骤S502，重复上述的处理。还有，在步骤S502确认播放列表的再生已经结束时，时间事件系列的处理被强制结束。 

S600系列的处理是用户事件系列的处理流程。开始再生播放列表后(S601)，经过播放列表的再生结束确认步骤(S602)，转到UOP的接收确认步骤的处理(S603)。当接收了UOP时，UOP管理器生成UOP事件(S604)，且接收UOP事件的程序处理器，确认UOP事件是否属于菜单呼叫(S605)，UOP事件属于菜单呼叫的情况下，程序处理器使方案处理器生成事件(S607)，并且程序处理器执行并处理事件处理程序(S608)。 

在步骤S605，判断为UOP事件不属于菜单呼叫时，表示UOP事件是根据光标键或者“决定”键的事件。这个情况下，方案处理器判断现在时刻是否在用户事件有效期间内(S606)，现在时刻在用户事件有效期间内的情况下，方案处理器生成用户事件(S607)，程序处理器执行并处理对象的事件处理程序(S608)。 

当在步骤S603，UOP没被接收的情况下；当在步骤S606现在时刻不在用户事件有效期间内的情况下；以及当在步骤S608执行并处理了事件处理程序之后，返回到步骤S602，重复上述的处理。还有，在步骤S602确认为播放列表的再生已经结束时，用户事件系列的处理被强制结束。 

图35是字幕处理的流程。播放列表的再生开始后(S701)，经过播放列表的再生结束确认步骤(S702)，移到字幕绘制开始时刻确认步骤(S703)。字幕绘制开始时刻的情况下，方案处理器向表示控制器指示字幕的绘制，表示控制器向映像处理器指示字幕的绘制(S704)。在步骤S703判断为不是字幕绘制开始时刻的情况下，确认是否为字幕显示结束时刻(S705)。当判 断为是字幕显示结束时刻的情况下，表示控制器向映像处理器指示字幕的删除，映像处理器从成像面删除被绘制的字幕(S706)。 

当字幕绘制步骤S704结束后；当字幕删除步骤S706结束后；或当字幕显示结束时刻确认步骤S705中判断为不是该时刻的情况下，返回到步骤S702，重复上述的处理。还有，在步骤S702确认了播放列表的再生已经结束时，与字幕显示系列的处理被强制结束。 

实施方式2 

其次，说明实施方式2。 

实施方式2说明，应用上述应用程序来实现静止图像的幻灯片放映。此内容基本上根据实施方式1，因此以扩展部分或不相同的部分为中心进行说明。 

(I帧的参考) 

图36示出幻灯片放映(静止图像应用程序)和时间图的关系。一般，仅由静止图像(I帧)构成幻灯片放映。时间图具有静止图像数据的位置和大小信息，某静止图像时被选择时，提取需要的数据并输出到解码器，从而显示1张静止图像。一般，不一定像运动图像那样按顺序显示幻灯片放映，根据用户的交互性未决定显示顺序，为了保证从哪里都能够显示，使用能够单独解码的、被进行帧内编码的I帧。 

然而，为了抑制数据量，也可以通过P帧或B帧实现幻灯片放映，该P帧参考I帧进行压缩，该B帧参考2张以上的前后图片进行压缩。 

然而，对于P帧或B帧，若没有要参考的图片，就不能解码。因此，根据用户的交互性，要从位于中途的P帧或B帧开始再生时，不能解码。因此，如图37所示，设置标志，该标志示出时间图指出的图片为I帧，且示出不参考任何其他图像。通过参考此标志可以示出如下，在不需要参考图像的情况下，即可以独立解码的情况下，与前后的显示无关，从此图像可以解码及显示，但在需要参考图像的情况下，若有关图像到此时为止未被解码就不能显示，因此，按照显示顺序有时不能显示图像。 

并且，如图38所示，将标志记录到时间图或有关导航信息的一个地方，该标志示出，作为时间图全体，从时间图可以参考的图像一定为I帧， 即可以独立解码每个图片。该标志不存在时，时间图的入口不一定指出I帧，因此不能保证能够解码被参考的图片。 

并且，至此根据MPEG2视频流以I帧进行了说明，但在MPEG4-AVC(又称为H.264或JVT)的情况下，可以是IDR(即时解码刷新：Instantaneous Decoder refresh)帧，或可以是IDR帧以外的I帧，并且，在其他形式的图像的情况下，只要可以单独解码的图像，就可以容易应用。 

(所有的I帧的参考的保证) 

图39示出运动图像应用程序和静止图像应用程序(幻灯片放映)的差异。如图39(a)所示，在运动图像应用程序的情况下，一旦开始再生，就连续解码以后的图片，因此不需要从时间图向所有的I帧设定参考，可以仅在要开始再生的点设定时间图的入口。 

图39(b)是幻灯片放映的例子。在幻灯片放映的情况下需要如下，通过用户的操作不显示前后的影像，而通过跳跃操作等与顺序无关显示静止图像。因此，若对所有的I帧不登录时间图的入口，实际上不分析所有的流就不能将应该显示的I帧的数据输出到解码器，因此效率低。只要各I帧具有时间图的入口，就可以仅对需要的I帧的数据直接访问而读取数据，并输出到解码器，访问效率高，也可以使到显示为止的时间短，因此效率高。 

若可以识别为对I帧存在入口，就即使访问任何I帧时，也通过参考时间图的入口，可以知道要读出的数据的范围，因此不需要多余分析前后的流。 

在不保证对所有的I帧存在入口的情况下，当被指定显示在时间图未被登录的I帧时，应该一边分析此前后的流一边抽出需要的数据，访问效率低，到显示为止的时间也长，因此效率低。 

据此，如图40所示在时间图内准备标志，从而仅分析静态数据可以识别需要或不需要分析前后的流，因此这些标志是有效的，该标志示出是否保证所有的I帧从时间图被参考。 

并且，该标志不仅有效于像幻灯片放映那样的静止图像应用程序，也有效于运动图像应用程序，因此该标志保证从任何I帧都能够开始再生。 

实施方式3 

在实施方式2说明了，作为用于实现静止图像应用程序，可以使用MPEG-4AVC。MPEG-4AVC的静止图像，不是MPEG-4AVC标准本身，而根据MPEG-2系统面向MPEG-4AVC的扩展标准(ISO/IEC 13818-1Amendment 3)作为AVC Still Picture被规定。然而存在以下问题：在MPEG-2系统标准中未规定静止图像的再生方法，不能决定再生MPEG-4AVC的静止图像时的显示时刻等，再生机器在任意的时刻进行显示，因此在机器间不能实现再生动作的互换性。在本实施方式说明，用于将MPEG-4AVC适用于静止图像的数据结构，以及显示方法。 

在MPEG-2系统标准中的AVC Still Picture，被规定为包括IDR帧，从该IDR帧被参考的SPS(序列参数集：Sequence Parameter Set)，以及(图像参数集：Picture Parameter Set)。图41示出在本实施方式中的MPEG-4AVC的静止图像(以下称为AVC静止图像)的数据结构。图中的框，各别示出NAL单元(网路提取层单元：Network Abstraction Unit)。对于AVC静止图像，必须包括End ofSequence的NAL单元。End ofSequence是示出在MPEG-4AVC的序列的终端的识别信息，布置End of Sequence的NAL单元来使序列结束，从而，对于AVC静止图像的显示方法根据MPEG-4AVC标准以外，可以独自进行定义。在此，对于各NAL单元的出现顺序，按照由MPEG-4AVC标准所定的规定。再者，也可以代替End of Sequence，将End of Stream的NAL单元配置在AVC静止图像的终端。 

其次，参照图42说明AVC静止图像的显示方法。对于静止图像应用程序，需要规定静止图像的显示时刻、以及静止图像的显示时间长度。从时间图或PES(Packetized Elemantary Stream)数据包的头中获得AVC静止图像的显示时刻(PTS：Presentation Time Stamp)。在此，通过时间图显示所有的静止图像的显示时刻时，仅参考时间图可以获得显示时刻。从第N1的AVC静止图像的显示时刻至第N+1的AVC静止画的显示时刻的间，固定第N1的AVC静止图像的显示，即，反复显示第N1的AVC静止图像。 

再生AVC静止图像时，最好从AVC静止图像的数据可以获得帧率。在MPEG-4AVC中，可以通过SPS内的VUI(Video Usability Information) 示出运动图像流的显示率。具体而言，参考num_units_in_tick，time_scale，fixed_frame_rate_flag的3个域。在此，time_scale示出时标，例如，可以以30000Hz工作的时钟的time_scale为30000。num_units_in_tick是示出时钟的工作时间的基本单位，例如，time_scale为30000的时钟的num_units_in_tick为1001，就可以示出时钟工作时的基本周期为29.97Hz。并且，通过设定fixed_frame_rate_flag，可以示出帧率是固定的。在MPEG-4AVC中，使用这些域，可以示出连续的2张图片的显示时刻的差分值但本实施方式中，使用这些域，示出反复显示AVC静止图像时的帧率。首先，通过将fixed_frame_rate_flag设定为1，示出帧率是固定的。其次，将帧率设定为23.976Hz时，例如，分别将num_units_in_tick设定为1001，将time_scale设定为24000。即，设定两个域，从而成为帧率＝time_scale/num_units_in_tick。再者，为了保证存在VUI及VUI的上述3个域，将SPS内的vui_parameters_present_flag以及VUI内的timing_info_present_flag，都设定为1。第N的AVC静止图像为最后的AVC静止图时，到有用户工作为止，或到通过程序事先所定的下一个工作开始为止，固定显示。并且，帧率的设定方法，不仅限于time_scale/num_units_in_tick。例如，在MPEG-4AVC的运动图像流中，time_scale/num_units_in_tick示出域的率(示出域的显示间隔的参数)，因此帧率为time_scale/num_units_in_tick/2。因此，在静止画中，也可以将帧率为time_scale/num_units_in_tic/2。 

通过上述方法所示的帧率，是与在BD管理信息内所示的帧率值一致的。具体而言，与通过作StreamCodingInfo中的frame_rate域来所示的值一致，该StreamCodingInfo是作为示出流的编码参数的信息。 

并且，从由上述方法所示的帧率，可以获得反复显示AVC静止图像时的显示周期。此显示周期，可以是帧格，也可以是域格的整数倍。在此，格示出可以显示帧或域的时刻。据此，可以保证与视频、图形等其他影像资源的同步再生。在此，帧格或域格，以视频等特定的流的帧率为基准被生成。再者，第N和第N+1的AVC静止图像的显示时刻的差分值，可以是帧格，也可以是域格的整数倍。 

作为再生AVC静止图像时参考的时间图，使用实施方式2的时间图。 

并且，在BD ROM标准等中，通过规定num_units_in_tick，time_scale，fixed_frame_rate_flag的默认值，可以省略这些域。 

并且，在视频流的情况下禁止在流内变更分辨率，但对于静止图像的流，即使变换分辨率也不破坏而可以实现在解码工作中的缓冲管理，因此可以使分辨率在流内变更。在此，通过SPS内的域示出分辨率。 

并且，即使是MPGE-4AVC以外的编码方式，包括同样的数据结构时，可以适用本实施方式的数据结构及再生方法。 

实施方式4 

再者，将在上述各实施方式中所示的信息记录媒体和用于实现此编码方法、解码方法及多路复用方法的程序，记录到软盘等的记录媒体，从而可以在独立的计算机系统中容易实施由上述各实施方式所示的处理。 

图43A至图43C是，使用记录在软盘等的记录媒体的程序，通过计算机系统，实施上述各实施方式的编码方法及解码方法时的说明图。 

图43B示出软盘的正面外观、断面结构、以及软盘，图43A示出作为记录主体的软盘的物理形式的例子。软盘FD在盒F内被内存，在该软盘的表面上，从外圈到内圈形成同心圆状的多个磁道Tr，各磁道按角度方向分割为16个扇区。因此，对于存储有上述程序的软盘，在上述软盘FD上被分配的区域，记录有上述程序。 

并且，图43c示出用于对软盘FD进行上述程序的记录再生的结构。将实现编码方法及解码方法的上述程序记录到软盘FD的情况下，通过软盘驱动器从计算机系统Cs写入上述程序。并且，在计算机系统中构筑通过软盘内的程序实现编码方法及解码方法的再生方法及记录方法的情况下，通过软盘驱动器从计算机系统读出程序，并转送到计算机系统。 

并且，在上述说明中，作为记录媒体，用软盘进行了说明，但用光盘也可以进行同样说明。并且，记录媒体不仅限于此，如IC卡、ROM盒等，可记录程序的记录媒体就可以同样实施。 

此外，图6、图12、图13所示出的方框图的各功能方框以LSI来实现，该LSI为典型的集成电路。该LSI可以进行单片化，也可以多片化(例如，可以对存储器以外的功能方框进行单片化)。上述所说的LSI，根据集 成度的不同，也称为IC、系统LSI、超级LSI、极超级LSI。 

此外，集成电路化的方法不限于LSI，也可以以专用电路或通用处理器来实现。也可以利用，制造LSI后，可编程的FPGA(现场可编程门阵列：Field Programmable Gate Array)，或可重新构成LSI内部的电路单元格的连接或设定的可重装处理器。 

再者，随着半导体技术的进展或由派生的另一个技术，出现可代替LSI的集成电路化的技术时，当然，可以通过此技术进行功能方框的集成化。有生物技术的应用等的可能性。 

并且，也可以，各功能方框中，仅对于存储数据的单元，不进行单片化，并构成像本实施方式的记录媒体115那样的另外结构。 

此外，对于图6、图12、图13等所示的方框图的各功能方框以及图5、图7至图9、图32、图33所示的流程图，以处理器以及程序来实现此主要部分。 

如此，可以将上述实施方式所示的图像编码方法或图像解码方法使用于上述某个机器、系统，从而可以获得上述实施方式所说明的效果。 

本发明，适用于编码或解码运动图像的编码装置，也适用于发送运动图像的网络服务器、接收运动图像的网络终端、可记录再生运动图像的数码相机、带相机的移动电话、BD等光盘录像/再生机、PDA(个人数字助理：Personal Digital Assistants)、个人计算机等。 

Claims (6)

1.一种图像编码装置，其对静止图像及运动图像进行编码，其特征在于，

该图像编码装置具备：

决定单元，其基于编码对象的图像是静止图像还是运动图像，决定表示静止图像的每一图片的代码量的上限的第1上限与表示运动图像的每一图片的代码量的上限的第2上限；

第1编码单元，其按照每个规定单位对静止图像进行编码，以满足所述第1上限；

第2编码单元，其按照每个规定单位对运动图像进行编码，以满足所述第2上限；

生成单元，其按照每个所述规定单位，生成确定所述代码量的上限的管理信息；和

输出单元，其输出所述管理信息和按照每个所述规定单位进行了编码的静止图像及运动图像，

所述第1上限比所述第2上限还大，

所述管理信息包括表示所述规定单位是由静止图像构成的规定单位还是由运动图像构成的规定单位的标志。

2.一种图像编码方法，对静止图像及运动图像进行编码，其特征在于，

该图像编码方法具有：

决定步骤，基于编码对象的图像是静止图像还是运动图像，决定表示静止图像的每一图片的代码量的上限的第1上限与表示运动图像的每一图片的代码量的上限的第2上限；

第1编码步骤，按照每个规定单位对静止图像进行编码，以满足所述第1上限；

第2编码步骤，按照每个规定单位对运动图像进行编码，以满足所述第2上限；

生成步骤，按照每个所述规定单位，生成确定所述代码量的上限的管理信息；和

输出步骤，输出所述管理信息和按照每个所述规定单位进行了编码的静止图像及运动图像；

所述第1上限比所述第2上限还大，

所述管理信息包括表示所述规定单位是由静止图像构成的规定单位还是由运动图像构成的规定单位的标志。

3.一种图像解码装置，对由权利要求1所述的图像编码装置所生成的编码数据进行解码，其特征在于，该图像解码装置具备：

提取单元，其从所述编码数据中的所述管理信息中提取标志；

第1解码单元，其在所述标志表示所述规定单位由静止图像构成的情况下，基于所述第1上限进行静止图像的解码；和

第2解码单元，其在所述标志表示所述规定单位由运动图像构成的情况下，基于所述第2上限进行运动图像的解码。

4.一种图像解码方法，对由权利要求2所述的图像编码方法所生成的编码数据进行解码，其特征在于，该图像解码方法具有：

提取步骤，从所述编码数据中的所述管理信息中提取标志；

第1解码步骤，在所述标志表示所述规定单位由静止图像构成的情况下，基于所述第1上限进行静止图像的解码；和

第2解码步骤，在所述标志表示所述规定单位由运动图像构成的情况下，基于所述第2上限进行运动图像的解码。

5.一种记录方法，在记录介质中记录对静止图像及运动图像进行了编码的编码数据，其特征在于，

该记录方法包括：

决定步骤，基于编码对象的图像是静止图像还是运动图像，决定表示静止图像的每一图片的代码量的上限的第1上限与表示运动图像的每一图片的代码量的上限的第2上限；

第1编码步骤，按照每个规定单位对静止图像进行编码，以满足所述第1上限；

第2编码步骤，按照每个规定单位对运动图像进行编码，以满足所述第2上限；

生成步骤，按照每个所述规定单位，生成确定所述代码量的上限的管理信息；

输出步骤，其输出所述管理信息和按照每个所述规定单位进行了编码的静止图像及运动图像；和

记录步骤，其在记录介质中记录所述输出的编码数据，

所述第1上限比所述第2上限还大，

所述管理信息包括表示所述规定单位是由静止图像构成的规定单位还是由运动图像构成的规定单位的标志。

6.一种记录装置，在记录介质中记录对静止图像及运动图像进行了编码的编码数据，其特征在于，

该记录装置具备：

决定单元，其基于编码对象的图像是静止图像还是运动图像，决定表示静止图像的每一图片的代码量的上限的第1上限与表示运动图像的每一图片的代码量的上限的第2上限；

第1编码单元，其按照每个规定单位对静止图像进行编码，以满足所述第1上限；

第2编码单元，其按照每个规定单位对运动图像进行编码，以满足所述第2上限；

生成单元，其按照每个所述规定单位，生成确定所述代码量的上限的管理信息；

输出单元，其输出所述管理信息和按照每个所述规定单位进行了编码的静止图像及运动图像；和

记录单元，其在记录介质中记录所述输出的编码数据，

所述第1上限比所述第2上限还大，

所述管理信息包括表示所述规定单位是由静止图像构成的规定单位还是由运动图像构成的规定单位的标志。

Images