CN101010951A

CN101010951A - 运动图像编码方法及装置

Info

Publication number: CN101010951A
Application number: CNA2005800291010A
Authority: CN
Inventors: 远间正真; 角野真也; 井口雅保; 冈田智之; 松井义德; 近藤敏志; 矢羽田洋; 池田航
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-08-31
Filing date: 2005-08-30
Publication date: 2007-08-01
Anticipated expiration: 2025-08-30
Also published as: EP2346243B1; KR20070056059A; JP4813591B2; EP1791358A4; JP4813593B2; JP2010028861A; CN101010951B; JPWO2006025388A1; JP4201213B2; ATE511314T1; US20070274393A1; US7756205B2; EP1791358A1; CN101820544A; EP1791358B1; CN101841714A; CN101800900A; CN101820544B; JP2008148337A; JP4099512B2

Abstract

本发明涉及的图像编码方法，在由管理信息所示的连续再生单位，使适用于运动图像的编码数据的可变长编码方式固定，从而可以消除因可变长编码方式的转换而引起的延迟，并且，减少因缓存管理方法的转换而引起的处理负荷，因此适合于MPEG－4 AVC等封装媒体，该封装媒体是在流内可以转换可变长编码方式的流被多路复用的封装媒体。

Description

运动图像编码方法及装置

技术领域

本发明涉及转换可变长编码方式，并编码运动图像的运动图像编码方法、图像编码装置、数据。

背景技术

对以往的DVD-Video盘(以下称为“DVD”)进行说明。

图1是示出DVD的结构的图。如图1下部所示，DVD从读入(read-in)到读出(read-out)之间存在逻辑地址空间，在逻辑地址空间中，开头记录有文件系统的容量信息，接着记录有图像或声音等的应用数据(application data)。

文件系统是ISO9660或UDF(通用光盘格式：Universal DiscFormat)，文件系统的结构是将盘上的数据以称为目录或者文件的单位来表现的。对于日常所使用的PC(个人电脑)，通过称为FAT(文件分配表：File Allocation Table)或者NTFS(新技术文件系统：NT File System)的文件系统，以目录或文件的结构记录在硬盘的数据被表现在计算机上，从而可以提高可用性。

在DVD使用UDF及ISO9660这两个文件系统(UDF及ISO9660这两个组合起来称为“UDF桥”)，无论根据UDF及ISO9660的哪一文件系统驱动程序都能读出数据。当然在可重写型DVD的DVD-RAM/R/RW，也可以通过上述文件系统，也可以进行物理上的数据的读、写、以及删除。

记录在DVD的数据，通过文件系统，可以作为像图1左上部所示的目录或者文件而存在。根目录(图1的“ROOT”)的正下面被放置称为“VIDEO_TS”的目录，这里记录有DVD的应用数据。应用数据被分割为多个文件并被记录，以下文件作为主要文件。

VIDEO_TS.IFO盘再生控制信息文件

VTS_01_0.IFO视频标题集#1再生控制信息文件

VTS_01_0.VOB视频标题集#1流文件

.....

规定有2种扩展名，“IFO”是记录有再生控制信息的文件，“VOB”是记录有作为AV数据的MPEG流的文件。再生控制信息是以下信息，即为了实现在DVD所采用的交互性(按照用户操作使再生状态动态变化的技术)的信息，或像元数据这样的附属在标题和AV流的信息等。并且，在DVD中再生控制信息一般称为导航信息。

作为再生控制信息文件，存在管理盘全体的“VIDEO_TS.IFO”和，各个视频标题集(在DVD的1张盘上可记录多个标题，换句话说在DVD的1张盘上可记录不同内容的多个电影，或者内容相同而版本不同的多个电影。)的再生控制信息的“VTS_01_0.IFO”。在此，文件名中的“01”示出视频标题集的号码，例如，当视频标题集的号码#2时，成为“VTS_02_0.IFO”。

图1右上部是在DVD的应用软件层的DVD导航空间，上述的再生控制信息被展开了的逻辑结构空间。“VIDEO_TS.IFO”内的信息作为VMGI(视频管理信息：Video Manager Information)在DVD导航空间被展开，“VTS_01_0.IFO”等在每个视频标题集存在的再生控制信息作为VTSI(视频标题集信息：Video Title Set Information)在DVD导航空间被展开。

被记述在VTSI的信息有，称为PGC(程序链：Program Chain)的再生序列的信息的PGCI(程序链信息：Program Chain Information)。PGCI由Cell(单元)的集合和称为指令的一种编程信息所构成。Cell本身，是视频对象VOB(Video Object的简称，指MPEG流)的一部分区间或全部区间的集合，Cell的再生意味着由该VOB的Cell所指定了的区间的再生。

指令是由DVD的假想机器所处理的指令，与在浏览器上所执行的Java(注册商标)script等相近。然而，Java脚本语言，除了进行逻辑运算以外，还进行窗口和浏览器的控制(例如，打开新的浏览器的窗口)，与此相比，DVD的指令除了进行逻辑运算以外只进行AV标题的再生控制(例如，指定再生的章节等)，这样，DVD的指令不同于Java脚本语言。

Cell作为内部信息具有记录在盘上的VOB的开始地址及结束地址(盘上的逻辑记录地址)，播放器利用记述在Cell的VOB的开始地址及结束地址的信息，读出数据并执行再生。

图2是用于说明被嵌入在AV流中的导航信息的略图。在DVD中具有特征性的交互性，不是只根据记录在上述“VIDEO_TS.IFO”或“VTS_01_0.IFO”等的导航信息才实现的，而是使用称为导航包组件(或称为“NV_PCK”)专用媒介，几个重要信息在VOB内与图像数据及声音数据一起被多路复用。

在这里作为简单的交互性的例子，对菜单进行说明。几个按钮出现在菜单画面上，各个按钮定义有该按钮被选择并被执行时所要处理。并且，在菜单上一个按钮被选择(通过高亮(high light)覆盖在所选择的按钮上的半透明颜色，示出该按钮被选择)，用户使用遥控器的上下左右键进行移动，可以从所选择的按钮移到该按钮的上下左右的按钮。使用遥控器的上下左右键，使高亮移至要选择并执行的按钮，并决定(按下决定键)，从而对应的指令的程序被执行。一般，标题和章节的再生是根据指令来执行的。

图2左上部示出在NV_PCK内所存储的控制信息的概要。

NV_PCK内包含高亮颜色信息和各个按钮信息等。高亮颜色信息内记述有调色板信息，覆盖显示的高亮的半透明颜色被指定。按钮信息内记述有以下信息：各个按钮位置信息的矩形区域信息，从该按钮移至其他按钮的移动信息(指定与用户移动上下左右键的各操作相对应的、要移动到的按钮)；按钮指令信息(该按钮被决定的时候被执行的指令)。

如图2中央右上部所示，菜单上的高亮被制作成覆盖图像。覆盖图像是指，在根据按钮信息内的矩形区域信息所确定的按钮上，涂上根据调色板信息所确定的颜色的图像。将覆盖图像合成在图2右部所示的背景图像上，并一起显示在画面上。

如上所述，菜单被实现在DVD中。使NV_PCK在流中嵌入导航数据的一部分的理由是，可以与流同步对菜单信息进行动态更新(例如，可以仅在再生电影途中的5分～10分之间显示菜单)，并且，即使是使流和菜单信息同步较困难的应用数据，也可以实现流和菜单信息的同步显示。并且，另一个大的理由是，为了提高用户的操作性，在NV_PCK存储用于支援特殊再生的信息，从而对记录在DVD的AV数据进行非正常再生，如快进和倒带等的时候，也可以顺利地解码该AV数据并进行再生等。

图3是DVD流的VOB的示意图。在图3(A)示出的影像、声音、字幕等的数据，如图3(B)所示，按照MPEG系统标准(ISO/IEC13818-1)被数据包化及包组件化，如图3(C)所示，分别被多路复用，生成1个MPEG程序流。并且，如上所述，含有用于实现交互性的按钮指令的NV_PCK也一起被多路复用。

MPEG系统的多路复用的特征在于，被多路复用的各个数据是按该编码顺序的比特列，而被多路复的数据之间，即，影像、声音、字幕之间，并不一定按再生顺序形成比特列。这因为，MPEG系统流的解码器模型(一般称为System Target Decoder或者STD(图3的D部))，具有解码缓存器(decoder buffer)，到解码时刻为止暂时存储数据，该解码缓存器与解开被多路复用的数据之后的各个基本流相对应。例如DVD-Video所规定的解码缓存器，按每个基本流大小不同，对于影像的缓存大小是232KB，对于声音的缓存大小是4KB，对于字幕的缓存大小是52KB。

即，与影像数据并列被多路复用的字幕数据，并不一定与影像数据在相同时时刻被解码或被再生。

另外，作为下一代DVD标准存在BD(Blu-ray Disc)。

对于DVD，其目的在于，对标准画质(Standard Definition画质)的影像进行封装分发(DVD-Video标准)或模拟广播的记录(DVD VideoRecording标准)，不过，对于BD，可以照原样记录高精度画质(HighDefinition画质)的数字广播(Blu-ray Disc Rewritable标准，以下称为BD-RE)。

然而，BD-RE标准，一般将数字广播的记录作为目的，因此特殊再生支援信息等未被进行最佳化。考虑到将来，将高精度影像以比数字广播更高的速度来进行封装分发(BD-ROM标准)，就需要即使在非正常再生时也不给用户增加负担的构造。

并且，对于BD，作为运动图像的编码方式之一采用MPEG-4AVC(进阶视频编码：Advanced Video Coding)。MPEG-4 AVC是指，ISO/IEC(国际标准化机构/国际电气标准会议)的JTC1/SC29/WG11和ITU-T(国际电气通信联合国际电气通信标准化部门)共同制定的高压缩率的下一代编码方式。

对于一般的运动图像编码，通过减少时间方向及空间方向的冗余性，来进行信息量的压缩。在此，对于将时间上的冗长性的减少作为目的的画面间预测编码，参考前面或后面的图片，以块单位进行运动的检测并进行预测图像的制作，从而对所获得的预测图像和编码对象图片之间的差分量进行编码。在此，图片是示出1张画面的词语，在渐进(progressive)图像意味着帧，在隔行(interlace)图像意味着帧或场。在此，隔行图像是一种图像，由不同时刻的2个场构成1个帧。对于隔行图像的编码或解码处理可以进行以下处理：将1个帧照原样处理；将1个帧作为2个场处理；按帧内的每块将1个帧作为帧结构或场结构来处理。

I帧(Intra Picture)不参考参考图像而进行画面内预测编码。并且，P帧(Predicted Picture)，仅参考1张图片而进行画面间预测编码。并且，B帧(Bidirectional Picture)可以同时参考2张图片而进行画面间预测编码。对于B帧，可以在显示时间上从先或从后的任意组合，来参考2张图片。对于参考图像(参考图片)，按作为编码及解码的基本单位的每个块可以指定，但该参考图片区别为如下，将在编码后的比特流中先被记述的参考图片作为第1参考图片，将以后被记述的参考图片作为第2参考图片。但，编码并解码这些图片时的条件为，要参考的图片必须已经被编码并解码。

从要编码的图像，减去预测信号后的残差信号，被频率变换并量化后，被可变长编码，从而作为编码流被输出，该预测信号是由画面内预测或画面间预测所获得的。对于MPEG-4 AVC有两种可变长编码方式，即CAVLC(内容自适应可变长度编码：Context-Adaptive VariableLength Coding)和CABAC(内容自适应二进制算术编码：Context-Adaptive Binary Arithmetic Coding)，并以图片为单位可以转换。在此，自适应是一种方式，按照周围的状况灵活选择高效率的编码方式。

图4是示出MPEG-4 AVC的流中的可变长编码方式的例子，该可变长编码适用于构成可随机访问的单位的图片。在此，虽然在MPEG-4AVC没有相当于MPEG-2视频的GOP(Group of Pictures：图像组)的概念，但以特别的图片为单位来分割数据，就可以构成相当于GOP的可随机访问的单位，该可随机访问的单位称为随机访问单位(RAU)，该特别的图片是不依赖于其他图片也可以解码的图片。如图4所示，作为可变长编码方式适用CABAC或CAVLC，以图片为单位转换。

其次，CABAC和CAVLC，可变长解码时的处理不同，因此，参照图5A至图5C说明各可变长解码处理。图5A示出进行CABAD(内容自适应二进制算术解码：Context-Adaptive Binary ArithmeticDecoding)和CAVLD(内容自适应可变长度解码：Context-AdaptiveVariable Length Decoding)的图像解码装置的方框图，该CABAD是通过CABAC被可变长编码的数据的解码处理，该CAVLD是通过CAVLC被可变长编码的数据的解码处理。

如下述进行包括CABAD的图像解码处理。首先，将适用了CABAC的编码数据Vin输入到流缓存5001。接着，算术解码部5002，从流缓存读出编码数据Vr进行算术解码，将2值数据Bin1输入到2值数据缓存5003。2值数据处理部5004，从2值数据缓存5003获得2值数据Bin2，解码2值数据，将解码后的2值数据Din1输入到像素复原部5005。像素复原部5005，对2值解码数据Din1进行逆量化、逆变换、以及运动补偿等，复原像素，输出解码数据Vout。

图5B是示出，从开始解码适用了CABAC的编码数据到实施像素复原处理为止的工作的流程图。首先，在步骤S5001，对适用了CABAC的编码数据Vin进行算术解码，生成2值数据。其次，在步骤S5002，判定1个以上的图片等所定的数据单位量的2值数据是否齐全，当已齐全时进入步骤S5003，当未齐全时反复进行步骤S5002。在此，进行2值数据的缓冲的理由是：对于CABAC，有可能每个图片或每个宏块的2值数据的代码量成极大，接着算术解码的处理负荷也会明显增加，因此为了在最坏情况下也不中断再生，需要事先进行一定量的算术解码处理。在步骤S5003，解码2值数据，在步骤S5004，实施像素复原处理。如上所述，对于CABAD，在S5001及S5002所定的数据单位量的2值数据未齐全时，不能开始像素复原处理，因此在开始解码时发生延迟。

如下述进行包括CAVLD的图像解码处理。首先，将适用了CAVLC的编码数据Vin输入到流缓存5001。接着，CAVLD部5006，进行可变长解码处理，将VLD解码数据Din2输入到像素复原部5005。像素复原部5005进行逆量化、逆变换、以及运动补偿等，复原像素，输出解码数据Vout。图5C是示出，从开始解码适用了CAVLC的编码数据到实施像素复原处理为止的工作的流程图。首先，在步骤S5005进行CAVLD，接着，在步骤S5004实施像素复原处理。如上所述，与CABAD不同，对于CAVLD，在像素复原处理开始之前，不需要等待所定的数据单位量的数据齐全，并且，不需要持有像2值数据缓存5003那样的、在可变长解码处理中的中间缓存。

图6是示出解码流的以往的解码装置的工作的流程图，该流是如图4的例子那样的、在流的中途转换可变长编码方式的流。首先，在步骤S5101获得示出适用于图片的可变长编码方式的信息，进入步骤S5102。在步骤S5102，判定按解码顺序紧前一个图片和现在的图片是否转换了可变长编码方式。CABAD和CAVLD，在可变长解码处理中的缓存的管理方法不同，因此，转换了可变长编码方式时，进入步骤S5103进行缓存管理的转换处理，未转换可变长编码方式时，进入步骤S5104。在步骤S5104判定可变长解码方式是否CAVLC，是CAVLC时，进入步骤S5105进行CAVLD处理，是CABAC时，进入步骤S5106。在步骤S5106，判定按解码顺序紧前一个图片和现在的图片转换了可变长编码方式，转换了时，进入步骤S5107，如图5的步骤S5001和步骤S5002所示，到所定的数据单位量的数据齐全为止进行算术解码，之后解码2值数据。在步骤S5106判定为未转换可变长编码方式时，进入步骤S5108，进行普通的CABAD处理。在此，普通的CABAD处理是，不进行2值数据的缓冲的处理，该2值数据是CAVLC转换为CABAC时、或开始解码适用CABAC的流时需要的2值数据。最后，在步骤S5109实施像素复原处理。

专利文献1：日本特开2000-228656号公报

非专利文献1：Proposed SMPTE Standard for Television：VC-1Compressed Video Bitstream Format and Decoding Process，FinalCommittee Draft 1 Revision 6，2005.7.13

如上所述，存在的第1个问题是：再生以往的MPEG-4 AVC的流被多路复用后的以往的信息记录媒体时，以图片为单位转换可变长编码方式，因此，CAVLC转换为CABAC时，因2值数据的缓冲而引起延迟。特别有可能导致以下情况，即，转换频度高，就会累积延迟，导致再生中断。并且，存在的第2个问题是：CABAC和CAVLC，缓存管理方法不同，每当可变长编码方式转换时需要转换缓存方式，因此导致解码时的处理负荷的增加。

发明内容

本发明的目的在于，提供一种图像编码方法，不使编码时的处理负荷增加，且不发生再生中断。

用于实现上述目的的图像编码方法是一种运动图像编码方法，转换可变长编码方式来编码运动图像：决定成为连续再生的对象的连续区间；在上述连续区间不转换可变长编码方式来编码运动图像，从而生成流；生成包括第1标志信息的管理信息，该第1标志信息示出在上述连续区间的可变长编码方式是固定的。

根据此结构，由于在成为连续再生的对象的区间使可变长编码方式固定，因此可以消除因可变长编码方式的转换而引起的解码时的延迟，也可以提高解码时的再生质量。

并且，可以减少因缓存管理方法的转换而引起的处理负荷。

在此，上述连续区间也可以是，与1个流相对应的、由传输流的数据包标识符所确定的区间。

在此，也可以是这样，构成上述连续区间的流，由传输流的数据包标识符所确定。

在此，也可以是这样，上述连续区间是，包括成为无缝连接的对象的流的区间。

在此，也可以是这样，上述连续区间是，包括与构成无缝的多角度的各角度相对应的流的区间。

在此，也可以是这样，上述连续区间是，包括与构成非无缝的多角度的各角度相对应的流的区间。

在此，进一步，也可以是这样，运动图像编码方法，按所编码的运动图像的每个规定单位，将示出可变长编码方式的第2标志信息插入到流。

在此，也可以是这样，上述管理信息，包括示出1个以上的再生区间的再生顺序的播放列表，该再生区间是流的全部或一部分；上述第1标志信息，按播放列表所示的每个再生区间被生成；上述规定单位是，在以MPEG-4 AVC所编码的流中被附加图片参数集的单位。

根据此结构，通过使用在MPEG-4 AVC等的流内可以转换可变长编码方式的编码，可以不使编码时的处理负荷增加，也可以防止再生中断。

在此，也可以是这样，上述管理信息，包括示出1个以上的再生区间的再生顺序的播放列表，该再生区间是流的全部或一部分；上述第1标志信息，按由播放列表所示的再生区间被生成；上述第2标志信息，示出与以宏块为单位的信息有关的编码方法；上述规定单位是在流的图片；上述以宏块为单位的信息，在可变长编码方式是位面编码的第1方式的情况下，在流中以宏块为单位被附加，在可变长编码方式是位面编码的第2方式的情况下，在流中以图片为单位被附加；对于上述第2方式，与图片内的所有的宏块相对应第2标志信息被插入到流的图片的开头。

根据此结构，通过使用在MPEG-4 AVC等的流内可以转换可变长编码方式的编码，可以不使编码时的处理负荷增加，防止再生中断。

在此，也可以是这样，上述第1标志信息，示出在上述连续区间的可变长编码方式是固定的，并且，示出该流是无缝连接的对象的流。

根据此结构，可以减少管理信息的数据量。

并且，本发明的图像编码装置，由于具有与上述图像编码方法相同的单元，因此省略详细说明。

并且，本发明的具有计算机可读取的结构的数据，包括管理信息和示出编码后的运动图像的流；上述管理信息，包括第1标志信息，该第1标志信息示出在成为连续再生的对象的连续区间的可变长编码方式是固定的；上述流，包括第2标志信息，该第2标志信息，按所编码的运动图像的规定单位示出可变长编码方式。

并且，可以减少因缓存管理方法的转换而引起的处理负荷。

在此也可以是，上述管理信息，包括示出1个以上的再生区间的再生顺序的播放列表，该再生区间是流的全部或一部分；上述第1标志信息，与由播放列表所示的各流相对应；上述规定单位是，在流中被附加图片参数集的单位。

在此也可以是，上述管理信息，包括示出1个以上的再生区间的再生顺序的播放列表，该再生区间是流的全部或一部分；上述第1标志信息，与由播放列表所示的各流相对应；上述第2标志信息，示出每个宏块的编码方法；上述规定单位，在可变长编码方式是第1方式的情况下，在流中以宏块为单位，在可变长编码方式是第2方式的情况下，在流中以图片为单位；在可变长编码方式是上述第2方式的情况下，与图片内的所有的宏块相对应的第2标志信息被插入到流的图片的开头。

如上所述，根据本发明的运动图像编码方法，通过在连续区间使适用于运动图像的编码数据的可变长编码方式固定，来可以消除因可变长编码方式的转换而引起的解码时的延迟，并可以减少因缓存管理方法的转换而引起的处理负荷。例如，可以提高如MPEG-4或VC-1等的封装媒体的再生质量，并可以减少再生装置的处理负荷，因此，其实用价值极高，该封装媒体是在流内可以转换可变长编码方式的流被多路复用的封装媒体。

附图说明

图1是DVD的结构图。

图2是高亮的结构图。

图3是示出在DVD多路复用的例子的图。

图4是示出在以往的MPEG-4 AVC流以图片为单位适用的可变长编码方式的例子的图。

图5A是示出解码适用CABAC和CAVLC的流的解码装置的结构的方框图。

图5B是示出解码适用CABAC的流的工作的流程图。

图5C是示出解码适用CAVLC的流的工作的流程图。

图6是示出以往的多路复用装置的工作的流程图。

图7是示出，在由信息记录媒体所存储的MPEG-4 AVC流，以图片为单位被适用的可变长编码方式的例子的图。

图8是示出，在信息记录媒体，示出单位的标志信息的存储例子的图，该单位是可变长编码方式是固定的单位。

图9是示出再生信息记录媒体的解码装置的工作的流程图。

图10是示出多路复用装置的结构的方框图。

图11是示出多路复用装置的工作的流程图。

图12是示出图11中的S5201的具体例子的流程图。

图13是示出图11中的S5202的具体例子的流程图。

图14是示出除了图11中的S5203以外的具体例子的流程图。

图15是示图11中的S5204的具体例子的流程图。

图16是HD-DVD的数据阶层图。

图17是HD-DVD上的逻辑空间的结构图。

图18是HD-DVD播放器的摘要的方框图。

图19是HD-DVD播放器的结构的方框图。

图20是HD-DVD的应用程序空间的说明图。

图21是MPEG流(VOB)的结构图。

图22是包组件的结构图。

图23是说明AV流和播放器的关系的图。

图24是向磁道缓存连续供给AV数据的模型图。

图25是VOB信息文件结构图。

图26是时间图的说明图。

图27是播放列表文件的结构图。

图28是与播放列表相对应的程序文件的结构图。

图29是BD盘全体管理信息文件的结构图。

图30是记录全局事件处理程序的文件的结构图。

图31是说明时间事件的例子的图。

图32是说明用户事件的例子的图。

图33是说明全局事件处理程序的例子的图。

图34是假想机器的结构图。

图35是播放器变数表的图。

图36是示出事件处理程序(时间事件)的例子的图。

图37是示出事件处理程序(用户事件)的例子的图。

图38是播放器的基本处理的流程图。

图39是播放列表再生处理的流程图。

图40是事件处理的流程图。

图41是示出字幕处理的流程图。

图42是说明实施方式2的时间图和静止图像的关系的图。

图43是说明示出能否解码要参考的图片的标志。

图44是说明示出所有的入口参考I帧的标志的图。

图45是说明运动图像应用程序和幻灯片放映的区别的图。

图46是说明保证参考所有的I帧的标签的图。

图47是示出在实施方式3的MPEG-4 AVC的静止图像的数据结构的图。

图48是示出说明在MPEG-4 AVC的静止图像的再生方法的图。

图49是说明示出对剪辑适用特定的MinCR值的标志、及数据结构的图。

图50是示出实施方式5的多路复用方法的工作的流程图。

图51是示出多路复用装置的结构的方框图。

图52A示出实施方式6的作为记录媒体本身的软盘的物理形式的例子。

图52B示出软盘的正面外观、断面结构、以及软盘。

图52C示出用于向软盘FD记录并再生上述程序的结构。

符号说明

201 BD盘

202 光学拾波器

203 程序记录存储器

204 管理信息记录存储器

205 AV记录存储器

206 程序处理部

207 管理信息处理部

208 表示处理部

209 成像面(image plane)

210 视频面

211 合成处理部

301 程序记录存储器

302 程序处理器

303 UOP管理器

304 管理信息记录存储器

305 方案处理器

306 表示控制器

307 时钟

308 映像存储器

309 磁道缓存

310 多路分用器

311 映像处理器

312 视频处理器

313 声音处理器

314 成像面

315 视频面

316 合成处理部

317 驱动控制器

3207 运动图像下变频器

3215 字幕下变频器

3223 静止图像下变频器

3228 声音下变频器

S101 盘插入步骤

S102 BD.INFO读取步骤

S103 BD.PROG读取步骤

S104 第一事件生成步骤

S105 事件处理程序执行步骤

S201 UOP接收步骤

S202 UOP事件生成步骤

S203 菜单呼叫步骤

S204 事件生成步骤

S205 事件处理程序执行步骤

S301 播放列表再生开始步骤

S302 播放列表(XXX.PL)读取步骤

S303 播放列表程序(XXX.PROG)读取步骤

S304 Cell再生开始步骤

S305 AV再生开始步骤

S401 AV再生开始步骤

S402 VOB信息(YYY.VOBI)读取步骤

S403 VOB(YYY.VOB)读取步骤

S404 VOB再生开始步骤

S405 VOB再生结束步骤

S406 下一个Cell存在判定步骤

S501 播放列表再生开始步骤

S502 播放列表再生结束判定步骤

S503 时间事件时刻判定步骤

S504 事件生成步骤

S505 事件处理程序执行步骤

S601 播放列表再生开始步骤

S602 播放列表再生结束判定步骤

S603 UOP接收判定步骤

S604 UOP事件生成步骤

S605 菜单呼叫判定步骤

S606 用户事件有效期间判定步骤

S607 事件生成步骤

S608 事件处理程序执行步骤

S701 播放列表再生开始步骤

S702 播放列表再生结束判定步骤

S703 字幕绘制开始判定步骤

S704 字幕绘制步骤

S705 字幕显示结束判定步骤

S706 字幕删除步骤

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

实施方式1

首先，说明实施方式1。

在本实施方式，说明信息记录媒体及其再生装置，在BD-ROM等的封装媒体，解码运动图像的编码数据时，该信息记录媒体及其再生装置可以抑制解码工作的延迟及处理负荷的增加，该解码工作的延迟是因可变长编码方式转换而引起的，该处理负荷的增加是因与可变长编码方式转换同时需要的缓存管理方法转换而引起的。在此，运动图像的编码方式是MPEG-4 AVC，但也可以是在流的中途可以转换可变长编码方式的其他编码方式。

对于存储在本实施方式的信息记录媒体的MPEG-4 AVC流，管理信息中存储以下信息：示出可以转换可变长编码方式的单位受限制、并且转换单位受限制的信息；或示出受限制的转换单位的信息。

图7是示出在MPEG-4 AVC的流的可变长编码方式的转换单位的限制例子。在BD-ROM等的封装媒体，由播放列表等示出连续再生运动图像的编码数据的单位(以下，称为连续再生单位)，因此，如果在连续再生单位使可变长编码方式固定，就不会在连续再生的区间发生因可变长编码方式的转换而引起的解码工作的延迟、或缓存管理方法的转换。因此，对于本实施方式，在连续再生单位使可变长编码方式固定。图7的(a)和(b)，分别示出例子，即，将在连续再生单位的可变长编码方式限制为仅是CAVLC或仅是CABAC。并且，连续再生的剪辑的连接条件有两种连接，即，无缝连接和非无缝连接。在此，该连接包括同一剪辑内的多个区间的连接。对于非无缝连接，例如连接到打开GOP时那样，有时发生解码工作的间距，因此，也可以允许转换可变长编码方式，对于被无缝连接的连续再生单位使可变长编码方式固定。

并且，也可以在剪辑或随机访问单位(RAU)等与连续再生单位不同的单位，使可变长编码方式固定。图7(c)和(d)示出以剪辑单位是固定的例子，图7(e)示出以随机访问单位是固定的例子。

其次，对于管理信息，在MPEG-4 AVC的流，存储示出可变长编码方式的转换单位被限制的标志信息。在此，将编码方式的识别信息作为标志使用。图8示出在BD-ROM存储标志的例子。对于BD-ROM，播放列表参考的各剪辑的编码方式，存储在管理信息内的称为StreamCodingInfo的区域，因此，在此示出编码方式是MPEG-4 AVC时，在连续再生单位使可变长编码方式固定。并且，可以另外示出可变长编码方式是CABAC还是CAVLC。

并且，也可以另外规定并存储示出可变长编码方式的转换单位受限制的标志，还可以存储示出转换单位的信息。并且，这些信息，可以存储在MPEG-4 AVC的流内。例如，示出在随机访问单位内的图片可变长编码方式是固定的信息，可以存储在随机访问单位的开头图片的SEI(补充增强信息：Supplemental Enhancement Information)，或存储在具有Unspecified的类型的NAL(网络提取层：Network AbstractionLayer)单元。

再者，对于MPEG-4 AVC，在PPS(Picture Parameter Set)内的entropy#coding#mode#flag，示出可变长编码方式是CAVLC还是CABAC，该PPS示出以图片为单位的初始化信息。因此，在一定区间内可变长编码方式是固定时，在该区间的图片参考的所有的PPS中，entropy#coding#mode#flag的域(field)的值是固定的。对于MPEG-4AVC，在所定的区间以解码顺序存在的图片不参考的PPS，可以允许存储在上述所定的区间，但对于在区间内的图片不参考的PPS的entropy#coding#mode#flag的域的值，不需要限制。例如，对于随机访问单位RAU内的图片参考的所有的PPS，保证在随机访问单位RAU内存在，但随机访问单位RAU内的图片不参考的PPS，也可以在随机访问单位内存在。此时，不参考的PPS不影响解码，因此，不需要限制Centropy#coding#mode#flag的域的值。但是，在所定区间所包含的PPS的entropy#coding#mode#flag的域的值规定为唯一的值，就能简化处理，因此，可以使包括不参考的PPS的域的值固定。

图9是示出在本实施方式的信息记录媒体的连续再生单位的解码工作的流程图。在连续再生单位可变长编码方式是固定的，因此，与图6的以往的解码工作不同，在解码中途不需要2值数据的缓冲以及缓存管理方法的转换。对于各步骤的工作，与在图6中的相同符号的步骤相同，因此省略说明。

并且，作为新的编码方式，SMPTE(电影电视工程师协会：TheSociety of Motion Picture and Television Engineers)正在制定VC-1(非专利文献1)的标准。对于VC-1，定义了示出宏块(具有16×16像素大小的单位)的编码方法的各种标志。例如，标志示出：是否跳跃宏块(skipmacro block)；是场模式还是帧模式；是否直接模式宏块等。

位面编码是被扩展的编码工具之一。将示出上述宏块的编码方法的标志示出时，使用位面编码。对于位面编码，可以在图片头示出汇集1个图片量的这些标志。一般，相邻的宏块，相关程度高，因此，标志的相关程度也高。据此，对相邻的多个宏块的标志一起进行编码，从而可以减少表现标志的代码量。

对于位面编码，规定有七种编码方法。其中之一是，以宏块头编码各标志的方法，此方法称为RAW模式(RAW MODE)，与MPEG-2视频方式或MPEG-4视频方式相同。剩下的6种方法是，对1个图片量的标志一起进行编码的方法，按照对相邻的宏块的标志怎样一起进行编码，来定义不同方法。作为其6种方法有以下方法，例如：对左右相邻的2个宏块的标志一起进行编码的方法；排在水平方向的一行的宏块的标志全部为“0”时，以1比特的“0”示出此标志，一行的宏块的标志中至少有1个“1”时，将各标志按原样编码的方法等。

在位面编码使用其7种方法中的哪个方法，可以按每个标志独立，以图片为单位变更。

在此，对于位面编码，将仅使用以宏块头编码各标志的方法的情况作为模式1，将仅使用对1个图片量的标志一起进行编码的方法的情况作为模式2，在模式1和模式2，解码时的工作不同，因此有可能在模式的转换部分处理负荷增加，来发生延迟。据此，与限制上述可变长编码的转换单位相同，对于位面编码也可以限制模式1和模式2的转换单位。例如，在连续再生单位、或在被无缝连接的连续再生单位，使模式固定。并且，也可以将标志信息包括到管理信息，该标志信息示出在所定单位位面编码的模式是固定的。例如，可以将由StreamCodingInfo所示出的编码方式作为标志信息使用，并示出编码方式为VC-1时，在所定单位使位面编码的模式固定。

再者，将在宏块头编码各标志的方法、和对1个图片量的标志一起进行编码的方法都可以使用的情况作为模式3时，存在以下情况，即，按照使用VC-1的环境，灵活使用模式1和模式3。例如，对处理能力低的终端可以使用模式1，对处理能力高的终端可以使用模式3。在此情况下，在所定的再生单位，固定为模式1或模式3的某一模式是有效的。再者，可以将示出固定为模式1或模式3的某一模式的标志信息，或将示出固定为哪个模式的信息，存储在管理信息或编码流。并且，可以灵活使用模式2和模式3。

图10是示出本实施方式的用于实现多路复用方法的多路复用装置5100的结构的方框图。多路复用装置5100，具有转换单位决定部5101、转换信息生成部5102、编码部5103、系统多路复用部5104、管理信息制作部5105、结合部5106。下面，说明各部的工作。

转换单位决定部5101，决定可以转换可变长编码方式的单位，并将决定后的转换单位Unit输入到转换信息生成部5102、以及编码部5103。转换单位，可以事先被设定，也可以从外部设定。转换信息生成部5102，根据转换单位Unit，生成示出可以转换可变长编码的单位的转换信息SwInf，输入到管理信息制作部5105。编码部5103，为了符合转换单位Unit的限制，编码各剪辑的数据，将编码数据Cdatal输入到系统多路复用部5104。系统多路复用部5104，对编码数据Cdatal进行系统多路复用，将流信息StrInfl输入到管理信息制作部5105，将多路复用数据Mdatal输入到结合部5106。对于BD-ROM，作为系统多路复用的方式，使用称为资源数据包的、向MPEG-2的传输流加上4字节的头的方式。并且，流信息StrInfl，包括时间图等用于生成关于多路复用数据Mdatal的管理信息的信息。管理信息制作部5105，生成包括按照流信息StrInfl所生成的时间图、以及转换信息SwInf等的管理信息CtrInfl，输入到结合部5106。结合部5106，将管理信息CtrInf和多路复用数据Mdatal结合，并作为存储数据Doutl输出。

并且，通过创作工具等制作数据时，有时在不同的装置进行编码数据的生成和系统多路复用或管理信息的制作，即使在此情况下，只要各装置的工作与多路复用装置5100的各部的工作相同就可以。

图11是示出，本实施方式中，用于制作存储在信息记录媒体的多路复用数据的多路复用方法的工作的流程图。本实施方式的多路复用方法，与以往的多路复用方法不同之处在于，包括：决定可以转换可变长编码方式的单位的步骤(步骤S5201)；根据决定后的单位编码剪辑的步骤(步骤S5202)；以及生成示出可变长编码的转换单位的标志信息的步骤(步骤S5204)。

首先，在步骤S5201决定可以转换可变长编码方式的单位。即，决定可以以连续再生单位、剪辑单位、或随机访问单位中的哪个单位来转换。接着，步骤S5202，根据由步骤S5201所决定的转换单位，编码MPEG-4 AVC的剪辑的数据。步骤S5203，判定最后剪辑的编码是否结束，判定为结束时进入步骤S5204，判定为未结束时返回步骤S5202反复进行剪辑的编码。步骤S5204，生成示出可变长编码的转换单位的标志信息，进入步骤S5205。步骤S5205，制作包括由步骤S5204所生成的标志信息的管理信息，对管理信息和剪辑的数据进行多路复用，并输出。

图12是示出，决定可以转换图11中的可变长编码方式的单位的步骤(S5201)的具体例子的流程图。在该图，将图7(c)和(d)所示的剪辑作为可以转换可变长编码方式的最小单位。在此，剪辑是指，在记录媒体上作为AV数据的文件被存储的、例如存储MPEG-4 AVC的1个流、或VC-1的1个流的1个文件。并且，在传输流中，剪辑是指，由TS数据包的标识符所确定的流。

在图12，转换单位决定部5101，判定编码对象的图片是否剪辑的开始图片(S5201a)，在不是开始图片的情况下，即剪辑的中途的图片的情况下，决定在该剪辑的编码中不可转换可变长编码方式(S5201f)。

在是开始图片的情况下，转换单位决定部5101，判定开始图片的剪辑是否与已编码的紧前的剪辑进行无缝连接(S5201b)，在进行无缝连接的情况下，决定在开始图片的剪辑的编码中不可转换可变长编码方式(S5201f)。

在不进行无缝连接的情况下，转换单位决定部5101，判定开始图片的剪辑是否与构成多角度的角度相对应的剪辑(S5201c)，在是与该角度相对应的剪辑的情况下，决定在开始图片的剪辑的编码中，在构成该多角度的角度之间，不可转换可变长编码方式(S5201f)。在此，在可以与各角度进行无缝连接的无缝·多角度，各角度的可变长编码方式被决定为与多角度区间的紧前的剪辑相同的方式。另一方面，在不能保证可以与各角度进行无缝连接的非无缝·多角度，如果在各角度可变长编码方式相同，该方式就可以与多角度区间的紧前的剪辑不同。

并且，转换单位决定部5101，在编码对象的图片是剪辑的开始图片，并不符合S5101b至S5101c的任一个的情况下(否的情况)，决定为，将开始图片的剪辑的可变长方式对已编码的紧前的剪辑可以转换(S5201e)。

如此，在图12的流程图，在转换单位决定部5101决定为不可转换的剪辑，被决定为(a)由传输流的数据包所特定的剪辑，(b)成为无缝连接的对象的多个剪辑，(c)与构成多角度的各角度相对应的多个剪辑。并且，关于S5201a至S5201c的判定，按怎样的顺序进行都可以。并且，在多角度的情况下，仅在无缝多角度，可以使可变长编码方式不可转换。并且，可以通过文件名等的与数据包标识符不同的信息来识别剪辑。并且，在图12说明了，可以转换可变长编码方式的最小单位是图7(C)、(d)所示的剪辑的情况，但也可以以像图7(e)那样的RAU为最小单位。在此情况下，将图中的“剪辑”换为“RAU”的处理就可以。

图13是示出图11中的剪辑编码步骤(S5202)的具体例子的流程图。在图13示出进行MPEG-4 AVC的编码的情况。在该图，编码部5103，在开始剪辑的编码之前，判定可否转换该剪辑的可变长编码方式(S5202a)。该判定依据图12的决定。编码部5103，在判定为可以转换的情况下，任意决定该剪辑的可变长编码方式(S5202b)，在判定为不可转换的情况下，将该剪辑的可变长编码方式决定为与其他剪辑相同的方式，该其他剪辑是相互无缝连接之前的剪辑、或构成相同的多角度的剪辑(S5202c)。再者，编码部5103，在图片参数组PPS设定示出所决定的可变长编码方式的标志(S5202d)，根据所决定的可变长编码方式编码该剪辑(S5202e)。该标志，在MPEG4-AVC，称为entoropy#coding#mode#flag。

如此，编码部5103，针对判定为不可转换的连续区间的剪辑，不转换可变长编码方式而编码运动图像，从而生成编码数据Cdatal。

图14是示出图11中的标志信息生成步骤(S5204)及管理信息生成步骤(S5205)的具体例子的流程图。

在该图转换信息生成部5102，判定由编码部5103所编码的剪辑，是否判定为可以转换可变长编码方式的剪辑(S5204a)，当剪辑是判定为可以转换的剪辑的情况下，生成标志信息，该标志信息示出可变长编码方式是固定的，并使该标志信息与该剪辑相对应，而将该标志信息存储到存储器的工作区域(S5204b)，当剪辑不是判定为可以转换的剪辑的情况下，生成标志信息，该标志信息示出可变长编码方式不是固定的，并使该标志信息与该剪辑相对应，而将该标志信息存储到存储器的工作区域(S5204b)。再者，转换信息生成部5102，判定该剪辑是否由编码部5103所编码的最后剪辑(S5204d)，当剪辑不是最后剪辑时，反复进行上述S5204a至S5204c，当剪辑是最后剪辑时，将存储在存储器的工作区域的标志信息作为转换信息SwInf输出到管理信息制作部5105。

再者，管理信息制作部5105，生成包含播放列表的管理信息(S5205a)，参考转换信息SwInf，向播放列表所含的播放项目附加标志信息，该标志信息示出可变长编码方式是固定的(S5205b)。并且，标志信息也可以是，示出可变长编码方式是否与由紧前的播放项目所参考的再生区间相同的信息。在此，播放列表，示出1个以上的播放项目的再生顺序。播放项目是指出应该再生的剪辑的信息，将1个剪辑的全部或一部分作为再生区间指出。并且，上述标志信息，也可以与附加在播放项目的其他参数兼用。在此情况下，可以将如意味着剪辑被进行无缝连接的参数(例如”connection#condition＝5”)与上述标志信息兼用。之所以这样是因为，在图12中决定为不可转换的连续区间(可变长编码方式固定的区间)是：(a)由传输流的数据包标识符所确定的剪辑；(b)成为无缝连接的对象的多个剪辑；(c)与构成多角度的各角度相对应的多个剪辑，其中(b)以无缝连接为前提。并且，由于以称为”is#multi#angle”的标志可以示出是否多角度区间，因此，可以将该标志兼用于示出可变长编码方式固定的标志。据此，可以减少管理信息的数据量。

图15是示出在图11中的剪辑编码步骤(S5202)的其他的具体例子的流程图。图15示出进行VC-1编码的情况。在该图，在开始编码剪辑之前，编码部5103，判定在RAW模式和其他模式之间是否可以转换该剪辑的可变长编码方式(S5202a)。根据图12的决定进行该判定。编码部5103，在判定为可以转换的情况下，任意决定该剪辑的位面编码方式(S5202f)，在判定为不可转换的情况下，将该剪辑的位面编码方式决定为与紧前的剪辑相同的方式(S5202g)。编码部5103，判定所决定的位面编码方式是RAW模式(RAW MODE)还是其他方式(S5202h)。编码部5103，按每个图片附加示出模式的信息，判定为是RAW模式(RAW MODE)的情况下，在各宏块编码每个宏块MB的所定的信息(S5202i)，判定为不是RAW模式(RAW MODE)的情况下，在图片的开头将每个宏块MB的所定的信息一起设定，编码该剪辑(S5202j)。并且，示出上述模式的信息，由在VC-1称为IMODE的域来示出。

如此，编码部5103，针对判定为不可转换的连续区间的剪辑，不转换位面编码方式而编码运动图像，从而生成编码数据Cdatal。

并且，上述播放列表，不仅使用于光盘，也可以有这样的使用方法，当经过网络接收流时，接收并分析播放列表，决定要接收的流，此后实际开始接收流。并且，在将流作为RTP(Real-time TransportProtocol)的数据包或TS数据包等进行数据包化后以IP(Internet Protocol)网传送的情况下，也可以，作为再生控制信息，由例如SDP(SessionDescription Protocol)等示出在再生区间可变长编码方式是否固定。

下面示出，存储有由本实施方式涉及的图像编码方法所生成的数据的BD-ROM盘的数据结构，以及再生该盘的播放器的结构。

(盘上的逻辑数据结构)

图16是示出BD-ROM结构的图，该图特别示出作为盘媒体的BD盘(104)，以及记录在该盘的数据(101、102、103)的结构。在BD盘(104)记录：AV数据(103)、有关AV数据的管理信息及AV再生序列等的BD管理信息(102)、用于实现交互性的BD再生程序(101)。本实施方式中，为方便说明，以用于再生电影的AV内容的AV应用数据为主进行说明，也可以作为其他的用途来使用。

图17是示出记录在上述BD盘的逻辑数据的目录及文件的结构的图。BD盘与其他的光盘一样，例如与DVD和CD等一样，从内圈至外圈具有螺旋状的记录区域，内圈读入和外圈读出之间具有可以记录逻辑数据的逻辑地址空间。在BD盘的读入部内侧存在称为BCA(群刻区：Burst Cutting Area)的区域，该区域是除驱动器之外不能读出数据的特殊区域。这个区域的数据即使利用应用数据也不能读出，因此，可利用于，例如著作权保护技术等。

在逻辑地址空间，记录有文件系统信息(容量)以及影像数据等的应用数据，其中文件系统信息(容量)在头部。如背景技术中说明，文件系统是UDF和ISO9660等的文件系统，与一般的PC相同，使用目录及文件的结构来可以读出所记录的逻辑数据。

在本实施方式的BD盘上的目录及文件的结构中，BDVIDEO目录被放置在根目录(ROOT)的正下面。此目录是存储有，在BD处理的AV内容或管理信息等的数据(图16说明的101、102、103)。

BDVIDEO目录下面，记录有以下的7种文件。

BD.INFO(文件名固定)

“BD管理信息”之一，是记录有与BD盘全体有关的信息的文件。BD播放器最先读出该文件。

BD.PROG(文件名固定)

“BD再生程序”之一，是记录有与BD盘全体有关的再生控制信息的文件。

XXX.PL(“XXX”可变，扩展名“PL”固定)

“BD管理信息”之一，是记录有作为方案(再生序列)的播放列表信息的文件。每个播放列表存在一个文件。

XXX.PROG(“XXX”可变，扩展名“PL”固定)

“BD再生程序”之一，是记录有上述每个播放列表的再生控制信息的文件。由文件主体名(“XXX”相同)来识别与播放列的对应。

YYY.VOB(“YYY”可变，扩展名“VOB”固定)

“AV数据”之一，是记录有VOB(与背景技术中说明的VOB相同)的文件。每个VOB存在一个文件。

YYY.VOBI(“YYY”可变，扩展名“VOBI”固定)

“BD管理信息”之一，是记录有与AV数据VOB有关的流管理信息的文件。由文件主体名(“YYY”相同)来识别与VOB的对应。

ZZZ.PNG文件(“ZZZ”可变，扩展名“PNG”固定)

“AV数据”之一，是记录有用于构成字幕及菜单的映像数据PNG(是以W3C标准化了的图像格式，称为“png”)的文件。每个PNG映像存在一个文件。

(播放器的结构)

其次，用图18及图19，对再生上述BD盘的播放器的结构进行说明。

图18是示出播放器的大体功能结构的方框图。

BD盘201之上的数据，通过光学拾波器202被读出。被读出的数据，按照该数据的种类被传送到专用的存储器。BD再生程序(“BD.PROG”或者“XXX.PROG”文件的细节)被传送到程序记录存储器(203)，BD管理信息(“BD.INFO”、“XXX.PL”、或者“YYY.VOBI”)被传送到管理信息记录存储器(204)，AV数据(“YYY.VOB”或者“ZZZ.PNG”)被传送到AV记录存储器(205)。

记录在程序记录存储器(203)的BD再生程序由程序处理部(206)来处理，记录在管理信息记录存储器(204)的BD管理信息由管理信息处理部(207)来处理，记录在AV记录存储器(205)的AV数据由表示处理部(208)来处理。

程序处理部(206)，接收由管理信息处理部(207)再生的播放列表的信息或程序的执行时刻等的事件信息，执行程序的处理。并且，程序可以动态地改变再生的播放列表，此时，向管理信息处理部(207)发送播放列表的再生命令，从而实现动态地改变再生的播放列表。程序处理部(206)接收来自用户的事件，即遥控器键的请求，当存在与该用户事件对应的程序时，执行该程序。

管理信息处理部(207)接收来自程序处理部(206)的指示，分析对应的播放列表以及与播放列表对应的VOB的管理信息，指示表示处理部(208)再生作为对象的AV数据。并且，管理信息处理部(207)从表示处理部(208)接收标准时刻信息，根据时刻信息对表示处理部(208)指示停止AV数据的再生，还有，生成向程序处理部(206)示出程序的执行时刻的事件。

表示处理部(208)具有分别对应于影像、声音、字幕/映像(静止图像)的解码器，按照来自管理信息处理部(207)的指示，进行AV数据的解码及输出。影像数据、字幕/映像被解码之后，分别被绘制到的各个专用面、视频面(210)或者成像面(209)，在合成处理部(211)进行影像的合成，并被输出到TV等的显示设备。

如图18中说明，BD播放器具有对应于记录在图16所示的BD盘的数据的机器结构。

图19是将上述的播放器的结构详细化后的方框图。在图19，AV记录存储器(205)与映像存储器(308)及磁道缓存(309)相对应而展开，程序处理部(206)与程序处理器(302)及UOP管理器(303)相对应而展开，管理信息处理部(207)与方案处理器(305)及表示控制器(306)相对应而展开，表示处理部(208)与时钟(307)、多路分用器(310)、映像处理器(311)、视频处理器(312)、声音处理器(313)相对应而展开。

从BD盘(201)所读出的VOB数据(MPEG流)被记录在磁道缓存(309)，映像数据(PNG)被记录在映像存储器(308)。多路分用器(310)按照时钟(307)的时刻，抽出记录在磁道缓存(309)的VOB数据，将影像数据发送到视频处理器(312)，将声音数据发送到声音处理器(313)。视频处理器(312)及声音处理器(313)，按照MPEG系统标准的规定，分别以解码缓存器和解码器来构成。即，从多路分用器(310)被发送来的影像及声音的数据，分别在解码缓存器被暂时记录，按照时钟(307)在各解码器被解码。

对于记录在映像存储器(308)的PNG，存在以下的2个处理方法。

当映像数据作为字幕用的数据的情况下，由表示控制器(306)指示解码时刻。方案处理器(305)一旦接收来自时钟307的时刻信息，为了能适当地显示字幕，到了字幕的显示开始时刻(开始及结束)，就指示表示控制器(306)进行字幕的显示或停止显示。从表示控制器(306)接受了解码/显示的指示的映像处理器(311)，从映像存储器(308)抽出对应的PNG数据进行解码，绘制到成像面(314)。

其次，映像数据是菜单用的数据的情况下，由程序处理器(302)来指示解码时刻。程序处理器(302)指示解码映像的时刻是不能一概而论的，要依存于程序处理器(302)处理的BD程序。

映像数据及影像数据，如图18中的说明，分别被解码之后，被输出到成像面(314)、视频面(315)，由合成处理部(316)进行合成之后，被输出。

从BD盘(201)所读出的管理信息(方案、AV管理信息)，被存储在管理信息记录存储器(304)，方案信息(“BD.INFO”及“XXX.PL”)由方案处理器(305)来读出并处理。并且，AV管理信息(“YYY.VOBI”)由表示控制器(306)来读出并处理。

方案处理器(305)分析播放列表的信息，并将由播放列表所参考的VOB和其再生位置指示给表示控制器(306)，表示控制器(306)分析作为对象的VOB的管理信息(“YYY.VOBI”)，向驱动控制器(317)发出指示，使其读出作为对象的VOB。

驱动控制器(317)，按照来自表示控制器(306)的指示，使光学拾波器移动，读出作为对象的AV数据。所读出的AV数据，如上所述由映像存储器(308)或者磁道缓存(309)来读出。

方案处理器(305)监视时钟(307)的时刻，在管理信息所设定的时刻，向程序处理器(302)输出事件。

记录在程序记录存储器(301)的BD程序(“BD.PROG”或者“XXX.PROG”)，由程序处理器(302)来执行并处理。程序处理器(302)，在事件由方案处理器(305)发送来的情况下，或者事件由UOP管理器(303)发送来的情况下，处理BD程序。UOP管理器(303)，当用户通过遥控器键发来请求的情况下，生成对程序处理器(302)的事件。

(应用程序空间)

图20是示出BD的应用程序空间的图。

在BD的应用程序空间，播放列表(PlayList)是一个再生单位。播放列表是单元(Cell)的联合，具有根据连接的顺序所决定的再生序列的静态方案和根据程序所记述的动态方案。只要是没有根据程序的动态方案，播放列表按顺序再生各个单元，并且，在全部单元再生结束的时刻，结束播放列表的再生。另外，程序可以进行超出播放列表的再生记述，也可以动态地改变根据用户的选择或者播放器的状态而再生的对象。作为典型例子，可举出菜单。在BD中，可以定义菜单是根据用户的选择来再生的方案，可根据程序使播放列表动态地选择。

在这里所说的程序，是根据时间事件或者用户事件所执行的事件处理程序。

时间事件是根据被嵌入到播放列表的时刻信息所生成的事件。用图19所说明的从方案处理器(305)发送到程序处理器(302)的事件，就是相当于此时间事件。当时间事件被发行时，程序处理器(302)执行并处理根据标识符(ID)所对应的事件处理程序。如同上述，被执行的程序可以指示其他的播放列表的再生，在此情况下，使现在正再生的播放列表的再生停止，而使被指定的播放列表再生。

用户事件是由用户的遥控器键操作所生成的事件。用户事件分为两大类型。第一个是，根据光标键(“上”“下”“左”“右”键)或者“决定”键的操作所生成的菜单选择的事件。与菜单选择的事件对应的事件处理程序只在播放列表内所限定的期间内有效(作为播放列表的信息，设定有各个事件处理程序的有效期)，遥控器的“上”“下”“左”“右”键或者“决定”键被按下的情况下，检索有效的事件处理程序，当有效的事件处理程序存在时，则该事件处理程序被执行并处理。当其他情况下，则菜单选择的事件被忽视。

第二个用户事件是根据“菜单”键的操作所生成的菜单呼叫的事件。当菜单呼叫的事件被生成时，则全局事件处理程序被呼出。全局事件处理程序是不依存播放列表的、且总是有效的事件处理程序。使用该功能，从而可以安装DVD的菜单呼叫(标题再生中呼叫出声音、字幕等，变更声音或者字幕后的中断的时候起进行标题的再生的功能等)。

在播放列表作为构成静态方案的单位的单元(Cell)，参考VOB(MPEG流)的全部或者一部分的再生区间。单元，将VOB内的再生区间作为开始、结束时刻的信息来保持。与每个VOB成对的VOB管理信息(VOBI)，在此内部具有作为与数据的再生时刻对应的记录地址的表信息的时间图(Time Map或者TMAP)，通过该时间图，从上述的VOB的再生、结束时刻，可以导出VOB内(即成为对象的“YYY.VOB”内)的读出开始地址及结束地址。再者，有关时间图的详细细节待后述。

(VOB的详细细节)

图21是本实施方式中使用的MPEG流(视频对象：VOB)的结构图。

如图21所示，VOB由多个VOBU(视频对象组：Video Object Unit)所构成。VOBU是一种再生单位，以MPEG视频流的GOP(图片组：Group Of Pictures)为基准，包括音频数据的、作为多路复用流的单位。VOBU具有1.0秒以下的视频再生时间，一般具有0.5秒左右的再生时间。

VOBU开头的TS数据包(MPEG-2传输流数据包：MPEG-2Transport Stream Packet)，存储序列头，接着存储GOP头和I帧(Intra-coded)，并可以从I帧开始解码。并且，通过时间图管理：该VOBU开头的包括I帧的开头的TS数据包的地址(开始地址)；从该开始地址至包括I帧的最后的TS数据包为止的地址(结束地址)；该I帧的再生开始时刻(PTS)。因此，时间图的入口，按每个VOBU开头的TS数据包被赋予。

VOBU，在此内部具有视频数据包(V_PKT)和音频数据包(A_PKT)。各数据包具有188字节，虽然图21中没示出，但在各TS数据包紧前，ATS(到达时间戳：Arrival Time Stamp)被赋予，该ATS是该TS数据包的相对性的解码器供给开始时刻。

TS流的系统率不是固定率，而是可变率，因此ATS按每个TS数据包被赋予。一般，固定系统率时插入称为NULL数据包的虚拟TS数据包，但在有限的记录容量内以高画质记录时，可变率较合适，因此在BD作为带有ATS的TS流记录。

图22是示出TS数据包的结构的图。

如图22所示，TS数据包，由TS数据包头、适用域、有效负载(Payload)所构成。TS数据包头存储PID(数据包识别码：PacketIdentifier)，根据这个，可以识别存储在TS数据包的信息。适用域存储PCR(程序时钟基准：Program Clock Reference)。PCR是解码流的机器的时钟基准(称为System Time Clock，STC)参考值。一般，机器根据PCR的时刻对系统流进行多路分用，再构筑视频流等的各种流。有效负载存储PES数据包。

PES数据包头存储，DTS(解码时间戳：Decoding Time Stamp)和PTS(表示时间戳：Presentation Time Stamp)。DTS示出存储在该PES数据包的视频/音频帧的解码时刻，PTS示出影像声音输出等的表示时刻。称为视频数据及音频数据的基本数据，在称为PES数据包有效负载(PES Packet Payload)的数据包(PES Packet)的数据存储区域的开头依次被存储。PES数据包头记录有，用于识别存储在有效负载的数据是不是流的数据的ID(stream_id)。

ISO/IEC13818-1规定TS流的详细细节，BD的特征在于，将ATS赋予给各TS数据包。

(VOB的交插记录)

其次，用图23及图24，说明VOB文件的交插记录。

图23上部是上述的播放器的结构图的一部分。如图所示，BD盘上的VOB数据即MPEG流，通过光学拾波器被输入到磁道缓存，BD盘上的PNG数据即映像数据，通过光学拾波器被输入到映像存储器。

磁道缓存是FIFO，被输入的VOB的数据按照被输入的顺序被发送到多路分用器。这个时候，各个TS数据包，按照上述的ATS从磁道缓存中拔出，通过多路分用器，被发送到视频处理器或者声音处理器。另一方面，对于映像数据，关于绘制哪个映像，要由表示控制器所指示。还有，在绘制中所使用的映像数据是字幕用的映像数据的情况下，在被使用的同时从映像存储器中删除，但在绘制中所使用的映像数据是菜单用的映像数据的情况下，在绘制该菜单的期间中，原样保留在映像存储器内。这是因为，菜单的绘制依存于用户的操作，在追随用户的操作，再次显示菜单的一部分或者置换为别的映像的时候，使被再次显示的部分的映像数据容易被解码。

图23的下部是用于说明在BD盘上的VOB文件及PNG文件的交插记录的图。一般来说ROM，例如CD-ROM和DVD-ROM中，作为一连串的连续再生单位的AV数据是连续被记录的。这是因为，只要数据是连续记录的，驱动器就能依次读出数据，送到解码器里，但连接的数据被分割，分散地配置在盘上的情况下，驱动器查找各个连续区间，在查找期间中可能数据的读出会停，就有可能导致数据的供给停止。在BD，也最好是将VOB文件记录在连续区域，但如同字幕数据，与记录在VOB的影像数据同步再生的数据，需要与VOB文件相同，以某种方法从BD盘中读出。

作为字幕数据的读出方法之一，可在VOB的再生开始之前，一并读出字幕用的映像数据(PNG文件)。然而，这个方法需要大容量的存储器，所以不具有现实性。

所以，使用了将VOB文件分成几个块，与映像数据交插记录的方法。图23下部是说明该交插记录的图。

通过对VOB文件和映像数据进行妥当地交插配置，从而不需要如上述的大容量的一时记录存储器，可以在必要的时刻，将映像数据存储到映像存储器。然而，读出映像数据的时候，理所当然地停止读出VOB数据。

图24是说明，使用用于解决此问题的磁道缓存的VOB数据连续供给模型的图。

如上述说明，VOB的数据先被存到磁道缓存。对磁道缓存的数据输入速率(Va)和，与来自磁道缓存的数据输出速率(Vb)之间设定差的(Va＞Vb)时候，只要从BD盘持续读出数据，磁道缓存的数据存储量就会持续增加。

如图24的上部所示，VOB的一连续记录区域从逻辑地址“a1”持续到“a2”为止。“a2”到“a3”之间，记录有映像数据，是不能读出VOB数据的区间。

图24的下部是示出磁道缓存的内部的图。横轴示出时间，纵轴示出存储在磁道缓存的内部的数据量。时刻“t1”示出开始读出作为VOB的一连续记录区域的开始点的“a1”的时刻。在此时刻之后，以速率Va-Vb将数据存储到磁道缓存。当然该速率是，输入到磁道缓存的数据的速率和，从磁道缓存输出的数据的速率的差。时刻“t2”是读出作为一连续记录区域的结束点的“a2”的数据的时刻。即，时刻从“t1”到“t2”之间，磁道缓存内的数据量以速率Va-Vb来增加，根据下述公式1，可求出时刻“t2”的数据存储量B(t2)。

B(t2)＝(Va-Vb)×(t2-t1)(公式1)

此后，因为映像数据持续到BD盘上的地址“a3”，向磁道缓存输入的数据是0，磁道缓存内的数据量以输出速率“-Vb”来减少。该工作持续到读出位置“a3”，即持续到时刻“t3”。

在这里重要的是，时刻“t3”之前存储在磁道缓存的数据量一旦0，则向解码器供给的VOB的数据就没有了，可能会有VOB的再生停止。

然而，在时刻“t3”数据仍然存留在磁道缓存的情况下，则会继续再生VOB而不会停止。

由下述公式2所示出该条件。

B(t2)≥-Vb×(t3-t2)(公式2)

即决定映像数据(非VOB数据)的配置来满足公式2就可以。

(导航数据结构)

利用图25至图31，来说明BD的导航数据(BD管理信息)结构。

图25是示出VOB管理信息文件(“YYY.VOBI”)内部结构的图。

VOB管理信息具有，该VOB的流属性信息(Attribute)和时间图。流属性包含，视频属性(Video)和音频属性(Audio#0～Audio#m)。特别对于音频流，VOB可以同时持有多个音频流，所以根据音频流的数(Number)，示出数据域(data field)的有无。

下列示出，视频属性(Video)持有的域和，各个域可持有的值。

压缩方式(Coding)：

MPEG1

MPEG2

MPEG4

MPEG4-AVC(Advanced Video Coding)

分辨率(Resolution)：

1920×1080

1440×1080

1280×720

720×480

720×565

宽高比(Aspect)

4∶3

16∶9

帧速率(Framerate)

60

59.94(60/1.001)

50

30

29.97(30/1.001)

25

24

23.976(24/1.001)

下面示出，音频属性(Audio)持有的域和，各个域的可持有的值。

压缩方式(Coding)：

AC3

MPEG1

MPEG2

LPCM

声道数(Ch)：

1～8

语言属性(Language)：

时间图(TMAP)是持有每个VOBU的信息的表，持有VOB所具有的VOBU的数(Number)和各VOBU信息(VOBU#1～VOBU#n)。各个VOBU信息，由VOBU开头的TS数据包(开始I帧)的地址I_start和该I帧的结束地址为止的偏移地址(I_end)以及该I帧的再生开始时刻(PTS)所构成。

并且，I_end的值，可以不是偏移值即I帧的大小，而可以是I帧的实际结束地址。

图26是说明VOBU信息的详细细节的图。

众所周知，为了实现高画质记录，MPEG视频流有时被可变比特率压缩，与此再生时间和数据大小，没有单纯的相关关系。反而，由于声音的压缩标准AC3进行以固定比特率压缩声音数据，时间和地址的关系由一次式所求出。然而，对于MPEG视频数据，各个帧持有固定的显示时间，例如对于NTSC，1帧持有1/29.97秒的显示时间，而每个帧压缩后的数据大小根据画的特性或图像类型，即I/P/B图像的类型而大不相同。从而，对于MPEG视频，以一次式表现时间和地址的关系是不可能的。

理所当然，对于被多路复用MPEG视频数据的MPEG系统流，即VOB，以一次式表现时间和数据大小的关系是不可能的。据此，在VOB内，由时间图(TMAP)连接时间和地址。

如此，某时刻信息被赋予时，检索该时刻属于哪个VOBU(追溯按每个VOBU的PTS)，此后跳到作为TMAP持有该时刻紧前的PTS的VOBU(由I_start所指定的地址)，从VOBU开头的I帧开始解码，从该时刻的图片开始显示。

其次，用图27说明，播放列表信息(“XXX.PL”)的内部结构。

播放列表信息，由单元列表(CellList)和事件列表(EventList)所构成。

单元列表(CellList)是播放列表内的再生单元序列，以该列表的记述顺序再生单元。单元列表(CellList)包括，单元的数(Number)和各单元信息(Cell#1～Cell#n)。

单元信息(Cell#)持有：VOB文件名(VOBName)，在该VOB内的开始时刻(In)以及结束时刻(Out)，字幕表(SubtitleTable)。开始时刻(In)以及结束时刻(Out)，分别以在该VOB内的帧号码来表现，使用上述的时间图，从而能够得到再生所需的VOB数据的地址。

字幕表(SubtitleTable)是持有与该VOB同步再生的字幕信息的表。字幕与声音相同能持有多个语言，字幕表(SubtitleTable)由最初信息的语言数(Number)和，接着语言数的每个语言的表(Language#1～Language#k)所构成。

各语言的表(Language#)，由语言信息(Lang)和，每个表中所显示的字幕的字幕信息数(Number)和，每个表中所显示的字幕的字幕信息(Speech#1～Speech#j)所构成，字幕信息(Speech#)，由对应的映像数据文件名(Name)和，字幕显示开始时刻(In)以及字幕显示结束时刻(Out)和，字幕显示位置(Position)所构成。

事件列表(EventList)是定义了在该播放列表内发生的事件的表。事件列表，由事件数(Number)和，接着事件数的各个事件(Event#1～Event#m)所构成，各个事件(Event#)，由事件的种类(Type)和，事件的ID(ID)和，事件发生时刻(Time)和，有效期间(Duration)所构成。

图28是持有各个播放列表的事件处理程序(时间事件和菜单选择用的用户事件)的事件处理程序表(“XXX.PROG”)。

事件处理程序表，具有被定义的事件处理程序/程序数(Number)和，各个事件处理程序/程序(Program#1～Program#n)。各事件处理程序/程序(Program#)记述有，事件处理程序的开始的定义(<event_handler>标签)和，与上述的事件的标识符成对的事件处理程序的ID(ID)，之后，该程序被记述在，接着Function的括号“{”与“}”之间。存储在上述“XXX.PL”的事件列表(EventList)的事件(Event#1～Event#m)，以“XXX.PROG”的事件处理程序的ID(ID)来确定。

其次，用图29说明与BD盘全体有关的信息(“BD.INFO”)的内部结构。

BD盘全体信息，由标题列表(TitleList)和全局事件用的事件表(EventList)所构成。

标题列表(TitleList)，由盘内的标题数(Number)和接着标题数的各标题信息(Title#1～Title#n)所构成。各个标题信息(Title#)包含：标题中所包含的播放列表的表(PLTable)和标题内的章节列表(ChapterList)。播放列表的表(PLTable)具有：标题内的播放列表的数(Number)和，播放列表名(Name)即播放列表的文件名。

章节列表(ChapterList)，由标题包含的章节数(Number)和各个章节信息(Chapter#1～Chapter#n)所构成，各个章节信息(Chapter#)，持有包含该章节的单元的表(CellTable)，单元的表(CellTable)，由单元数(Number)和各个单元的项目信息(CellEntry#1～CellEntry#k)所构成。单元的项目信息(CellEntry#)，由包含该单元的播放列表名和，在播放列表中的单元号码所记述。

事件列表(EventList)持有，全局事件的数(Number)和，各个全局事件的信息。在此需要注意的是，最先被定义的全局事件称为第一事件(FirstEvent)，在BD盘被插入到播放器的时候，第一个被呼出。全局事件用事件信息只持有事件类型(Type)和事件的ID(ID)。

图30是示出全局事件处理程序的程序表(“BD.PROG”)的图。

本表与用图28说明的事件处理程序表的内容相同。

(事件发生的机理)

用图31至图33，对事件发生的机理进行说明。

图31是时间事件的例子。

如同上述，时间事件由播放列表信息(“XXX.PL”)的事件列表(EventList)所定义。作为时间事件被定义的事件，即事件类型(Type)为“TimeEvent”的情况下，在事件生成时刻(“t1”)，持有ID“Exl”的时间事件从方案处理器被输出到程序处理器。程序处理器寻找，持有事件ID“Exl”的事件处理程序，执行并处理成为对象的事件处理程序。例如，本实施方式中进行2个按钮映像的绘制。

图32是进行菜单操作的用户事件的例子。

如同上述，进行菜单操作的用户事件也是由播放列表信息(“XXX.PL”)的事件列表(EventList)来定义的。作为用户事件被定义的事件，即事件类型(Type)为“UserEvent”的情况下，在事件生成时刻(“t1”)，该用户事件成为准备状态。这个时候，事件本身还未被生成。该事件处于以有效期信息(Duration)所示的期间准备状态。

如图32所示，用户按下遥控器键的“上”“下”“左”“右”键或者“决定”键的情况下，首先UOP事件由UOP管理器所生成并被输出到程序处理器。程序处理器，向方案处理器输出UOP事件，方案处理器，检索在接收UOP事件的时刻是否存在有效的用户事件，当存在有效的用户事件的情况下，生成用户事件，向程序处理器输出。程序处理器，寻找持有事件ID“Evl”的事件处理程序，执行并处理成为对象的事件处理程序。例如，在本实施方式中是开始播放列表#2的再生。

被生成的用户事件中，不包含哪个遥控器键是被用户按下的键的信息。被选择的遥控器键的信息，由UOP事件被传到程序处理器，并被记录到假想播放器所持有的寄存器SPRM(8)，且被保持。该事件处理程序的程序，可以调查该寄存器的值，并执行分歧处理。

图33是全局事件的例子。

如同上述，全局事件由有关BD盘全体的信息(“BD.INFO”)的事件列表(EventList)来定义。作为全局事件所定义的事件类型(Type)为“GlobalEvent”的情况下，仅在用户操作遥控器键的情况下，事件才被生成。

当用户按下“菜单”时，首先UOP事件由UOP管理器生成，并被输出到程序处理器。程序处理器向方案处理器输出UOP事件，方案处理器生成相当的全局事件，并送到程序处理器。程序处理器，寻找持有事件ID“menu”的事件处理程序，执行并处理成为对象的事件处理程序。例如，在本实施方式中是开始播放列表#3的再生。

本实施方式中，简单称为“菜单”键，但是如同DVD一样，菜单键也可以是多个。可以定义与每个菜单键相对应的ID。

(假想播放器机器)

图34是用于说明程序处理器的功能结构的图。

程序处理器是内部持有假想播放器机器的处理模块。假想播放器机器是定义为BD的功能模型，而不依存于BD播放器的安装上。即，保证在任何BD播放器中都能执行相同的功能。

假想播放器机器，持有两大功能。是编程函数和播放器变量(寄存器)。编程函数，以Java(注册商标)Script为基础，将以下2个功能作为BD特征函数被定义。

链接函数：停止现在的再生，开始被指定的播放列表，单元，时刻起的再生。

Link(PL#，Cell#，time)

PL#：播放列表名

Cell#：单元号码

time：单元内的再生开始时刻

PNG绘制函数：将指定PNG数据绘制到成像面

Draw(File，X，Y)

File：PNG文件名

X：X坐标位置

Y：Y坐标位置

成像面清除函数：清除成像面的指定区域

Clear(X，Y，W，H)

X：X坐标位置

Y：Y坐标位置

W：X方向宽度

H：Y方向宽度

作为播放器变数可举出，示出播放器的状态的系统参数(SPRM)和，可作为普通用途使用的通用参数(GPRM)。

图35是示出系统参数(SPRM)的一览的图。

SPRM(0)：语言代码

SPRM(1)：声音流号码

SPRM(2)：字幕流号码

SPRM(3)：角度号码

SPRM(4)：标题号码

SPRM(5)：章节号码

SPRM(6)：程序号码

SPRM(7)：单元号码

SPRM(8)：选择键信息

SPRM(9)：导航计时器

SPRM(10)：再生时刻信息

SPRM(11)：卡拉OK用混合模式

SPRM(12)：父母用国信息

SPRM(13)：父母级别

SPRM(14)：播放器设定值(视频)

SPRM(15)：播放器设定值(音频)

SPRM(16)：声音流用语言代码

SPRM(17)：声音流用语言代码(扩展)

SPRM(18)：字幕流用语言代码

SPRM(19)：字幕流用语言代码(扩展)

SPRM(20)：播放器地区代码

SPRM(21)：预备

SPRM(22)：预备

SPRM(23)：再生状态

SPRM(24)：预备

SPRM(25)：预备

SPRM(26)：预备

SPRM(27)：预备

SPRM(28)：预备

SPRM(29)：预备

SPRM(30)：预备

SPRM(31)：预备

还有，在本实施方式，假想播放器的编程函数，以Java(注册商标)Script为基础，也可以是用在UNIX(注册商标)OS等的B-Shell或Perl Script等的编程函数，换句话说，本发明不仅限于Java(注册商标)Script。

(程序的例子)

图36及图37是在事件处理程序的程序的例子。

图36是具有2个选择按钮的菜单的程序的例子。

在单元(PlayList#1.Cell#1)开头使用时间事件，执行图36左侧的程序。在此，最初作为通用参数之一的GPRM(0)被设定为“1”。GPRM(0)用于在该程序中识别被选择的按钮。最初的状态下，将配置在左侧的按钮1被选择之事作为初始值。

其次，使用绘制函数Draw，分别针对按钮1和按钮2进行PNG的绘制。按钮1，在坐标(10，200)为起点(左端)，绘制PNG映像“1black.png”。按钮2，在坐标(330，200)为起点(左端)，绘制PNG映像“2white.png”。

还有，在本单元的最后使用时间事件，执行图36右侧的程序。在这里，被指定为，使用Link函数，从该单元的开头开始再次再生。

图37是菜单选择的用户事件的事件处理程序的例子。

事件处理程序上写有，当按下“左”键、“右”键、“决定”键的任一个的情况下，分别对应于上述各键的程序。当用户按下遥控器键的情况下，如同用图32所说明的那样，生成用户事件，图37的事件处理程序启动。本事件处理程序中，使用识别选择按钮的GPRM(0)的值和识别被选择的遥控器键的SPRM(8)，进行分歧处理。

条件1)按钮1被选择、且选择键为“右”键的情况

将GPRM(0)再设定为“2”，并且将处于选择状态的按钮变更为右键2。

分别改写按钮1、按钮2的映像。

条件2)选择键是“决定(OK)”，按钮1被选择的情况

开始再生播放列表#2

条件3)选择键是“决定(OK)”，按钮2被选择的情况

开始再生播放列表#3

进行如同上述的执行处理。

(播放器处理流程)

其次，用图38至图16来说明播放器的处理流程。

图38是到AV的再生为止的基本处理流程。

插入BD盘时(S101)，BD播放器执行BD.INFO文件的读取和分析(S102)以及BD.PROG文件的读取(S103)。BD.INFO及BD.PROG，先一同被存储到管理信息记录存储器，并且由方案处理器来分析。

其次，方案处理器，按照“BD.INFO”文件内的第一事件(FirstEvent)信息，生成最初的事件(S104)。被生成的第一事件由程序处理器所接收，执行并处理与该事件对应的事件处理程序(S105)。

值得注目的是，与第一事件相对应的事件处理程序记录有应该最先再生的播放列表信息。假设，播放列表的再生没被指示的情况下，播放器不进行任何再生，一直等待用户事件(S201)。

当BD播放器接收来自用户的遥控器操作时，UOP管理器对程序管理器启动UOP事件(S202)。

程序管理器，判别UOP事件是不是菜单键(S203)，当UOP事件是菜单键的情况下，向方案处理器输出UOP事件，并且方案处理器生成用户事件(S204)。程序处理器，执行并处理与被生成的用户事件相对应的事件处理程序(S205)。

图39是从PL再生开始到VOB再生开始为止的处理流程。

如上所述，由第一事件处理程序或者全局事件处理程序，开始播放列表的再生(S301)。方案处理器，作为再生再生对象的播放列表所需的信息，进行播放列表信息“XXX.PL”的读取和分析(S302)，以及与播放列表相对应的程序信息“XXX.PROG”(S303)的读取。接着，方案处理器，按照在被播放列表中所登记的信元信息指示信元的再生(S304)。单元的再生，意味着从方案处理器对表示控制器发出请求，并且表示控制器开始再生AV(S305)。

当开始再生AV时(S401)，表示控制器读入和分析，与再生的单元相对应的VOB的信息文件(XXX.VOBI)(S402)。表示控制器，确定使用时间图开始再生的VOBU以及确定其地址，并向驱动控制器指示读出地址，驱动控制器读出成为对象的VOB数据(S403)，VOB数据被送到解码器，该数据开始再生(S404)。

VOB的再生，持续到该VOB的再生区间结束为止(S405)，再生区间结束时，转到下一个单元的再生(S304)。不存在下一个的单元的情况下，则再生停止(S406)。

图40是从AV的再生开始后的事件处理流程。

BD播放器是事件驱动型的播放器模型。当播放列表的再生开始时，分别启动时间事件系列，用户事件系列，及字幕显示系列的事件处理，并同时执行这些事件处理。

S500系列的处理是时间事件系列的处理流程。

播放列表的再生开始后(S501)，在经过确认播放列表的再生是否已经结束的步骤(S502)之后，方案处理器确认是否到了时间事件发生时刻(S503)。当到了时间事件发生时刻的情况下，方案处理器生成时间事件(S504)，程序处理器接收时间事件，执行并处理事件处理程序(S505)。

当在步骤S503还没有到时间事件发生时刻的情况下，或当在步骤S504执行并处理了事件处理程序之后，返回到步骤S502，重复上述的处理。还有，在步骤S502确认播放列表的再生已经结束时，时间事件系列的处理被强制结束。

S600系列的处理是用户事件系列的处理流程。

开始再生播放列表后(S601)，经过播放列表的再生结束确认步骤(S602)，转到UOP的接收确认步骤的处理(S603)。当接收了UOP时，UOP管理器生成UOP事件(S604)，且接收UOP事件的程序处理器，确认UOP事件是否属于菜单呼叫(S605)，UOP事件属于菜单呼叫的情况下，程序处理器使方案处理器生成事件(S607)，并且程序处理器执行并处理事件处理程序(S608)。

在步骤S605，判断为UOP事件不属于菜单呼叫时，表示UOP事件是根据光标键或者“决定”键的事件。这个情况下，方案处理器判断现在时刻是否在用户事件有效期间内(S606)，现在时刻在用户事件有效期间内的情况下，方案处理器生成用户事件(S607)，程序处理器执行并处理对象的事件处理程序(S608)。

当在步骤S603，UOP没被接收的情况下；当在步骤S606现在时刻不在用户事件有效期间内的情况下；以及当在步骤S608执行并处理了事件处理程序之后，返回到步骤S602，重复上述的处理。还有，在步骤S602确认为播放列表的再生已经结束时，用户事件系列的处理被强制结束。

图41是字幕处理的流程。

播放列表的再生开始后(S701)，经过播放列表的再生结束确认步骤(S702)，移到字幕绘制开始时刻确认步骤(S703)。字幕绘制开始时刻的情况下，方案处理器向表示控制器指示字幕的绘制，表示控制器向映像处理器指示字幕的绘制(S704)。在步骤S703判断为不是字幕绘制开始时刻的情况下，确认是否为字幕显示结束时刻(S705)。当判断为是字幕显示结束时刻的情况下，表示控制器向映像处理器指示字幕的删除，映像处理器从成像面删除被绘制的字幕(S706)。

当字幕绘制步骤S704结束后；当字幕删除步骤S706结束后；或当字幕显示结束时刻确认步骤S705中判断为不是该时刻的情况下，返回到步骤S702，重复上述的处理。还有，在步骤S702确认了播放列表的再生已经结束时，与字幕显示系列的处理被强制结束。

实施方式2

其次，说明实施方式2。

实施方式2说明，应用上述应用程序来实现静止图像的幻灯片放映。此内容基本上根据实施方式1，因此以扩展部分或不相同的部分为中心进行说明。

(I帧的参考)

图42示出幻灯片放映(静止图像应用程序)和时间图的关系。一般，仅由静止图像(I帧)构成幻灯片放映。时间图具有静止图像数据的位置和大小信息，某静止图像时被选择时，提取需要的数据并输出到解码器，从而显示1张静止图像。一般，不一定像运动图像那样按顺序显示幻灯片放映，根据用户的交互性未决定显示顺序，为了保证从哪里都能够显示，使用能够单独解码的、被进行帧内编码的I帧。

然而，为了抑制数据量，也可以通过P帧或B帧实现幻灯片放映，该P帧参考I帧进行压缩，该B帧参考2张以上的前后图片进行压缩。

然而，对于P帧或B帧，若没有要参考的图片，就不能解码。因此，根据用户的交互性，要从位于中途的P帧或B帧开始再生时，不能解码。因此，如图43所示，准备标志，该标志示出时间图指出的图片为I帧，且示出不参考任何其他图像。通过参考此标志可以示出如下，在不需要参考图像的情况下，即可以独立解码的情况下，与前后的显示无关，从此图像可以解码及显示，但在需要参考图像的情况下，若有关图像到此时为止未被解码就不能显示，因此，按照显示顺序有时不能显示图像。

并且，如图44所示，将标志记录到时间图或有关导航信息的一个地方，该标志示出，作为时间图全体，从时间图可以参考的图像一定为I帧，即可以独立解码每个图片。该标志不存在时，时间图的入口不一定指出I帧，因此不能保证能够解码被参考的图片。

并且，到此根据MPEG2视频流以I帧进行了说明，但在MPEG4-AVC(又称为H.264或JVT)的情况下，可以是IDR(即时解码刷新：Instantaneous Decoder refresh)帧，或可以是IDR帧以外的I帧，并且，在其他形式的图像的情况下，只要可以单独解码的图像，就可以容易应用。

(所有的I帧的参考的保证)

图45示出运动图像应用程序和静止图像应用程序(幻灯片放映)的差异。如图45(a)所示，在运动图像应用程序的情况下，一旦开始再生，就连续解码以后的图片，因此不需要从时间图向所有的I帧设定参考，可以仅在要开始再生的点设定时间图的入口。

图45(b)是幻灯片放映的例子。在幻灯片放映的情况下需要如下，通过用户的操作不显示前后的影像，而通过跳跃操作等与顺序无关显示静止图像。因此，若对所有的I帧不登录时间图的入口，实际上不分析所有的流就不能将应该显示的I帧的数据输出到解码器，因此效率低。只要各I帧具有时间图的入口，就可以仅对需要的I帧的数据直接访问而读取数据，并输出到解码器，访问效率高，也可以使到显示为止的时间短，因此效率高。

只要识别为对I帧存在入口，就即使访问任何I帧时，也通过参考时间图的入口，可以知道要读出的数据的范围，因此不需要多余分析前后的流。

在不保证对所有的I帧存在入口的情况下，当被指定显示在时间图未被登录的I帧时，应该一边分析此前后的流一边抽出需要的数据，访问效率低，到显示为止的时间也长，因此效率低。

据此，如图46所示在时间图内准备标志，从而仅分析静态数据可以识别需要或不需要分析前后的流，因此这些标志是有效的，该标志示出是否保证所有的I帧从时间图被参考。

并且，该标志不仅有效于像幻灯片放映那样的静止图像应用程序，也有效于运动图像应用程序，因此该标志保证从任何I帧都能够开始再生。

实施方式3

在实施方式2说明了，作为用于实现静止图像应用程序，可以使用MPEG-4 AVC。MPEG-4 AVC的静止图像，不是MPEG-4 AVC标准本身，而根据MPEG-2系统面向MPEG-4 AVC的扩展标准(ISO/IEC13818-1 Amendment3)作为AVC Still Picture被规定。然而，在MPEG-2系统标准未规定静止图像的再生方法，因此，为了使用于静止图像应用程序需要另外规定再生方法。在本实施方式说明，用于将MPEG-4AVC适用于静止图像的数据结构，以及显示方法。

在MPEG-2系统标准中的AVC Still Picture，被规定为包括IDR帧，该IDR帧参考的SPS(序列参数集：Sequence Parameter Set)，以及(图像参数集：Picture Parameter Set)。图47示出在本实施方式中的MPEG-4AVC的静止图像(以下称为AVC静止图像)的数据结构。图中的框，各别示出NAL单元(网路提取层单元：Network Abstraction Unit)。对于AVC静止图像，必须包括End of Sequence的NAL单元。End of Sequence是示出在MPEG-4 AVC的序列的终端的识别信息，布置End ofSequence的NAL单元来使序列结束，从而，对于AVC静止图像的显示方法根据MPEG-4 AVC标准以外，可以独自进行定义。在此，对于各NAL单元的出现顺序，按照由MPEG-4 AVC标准所定的规定。

其次，参照图48说明AVC静止图像的显示方法。对于静止图像应用程序，需要规定静止图像的显示时刻、以及静止图像的显示时间长度。从时间图或PES(Packetized Elemantary Stream)数据包的头中获得AVC静止图像的显示时刻(PTS：Presentation Time Stamp)。在此，通过时间图显示所有的静止图像的显示时刻时，仅参考时间图可以获得显示时刻。从第N1的AVC静止图像的显示时刻至第N+1的AVC静止画的显示时刻的间，固定第N1的AVC静止图像的显示，即，反复显示第N1的AVC静止图像。

再生AVC静止图像时，从AVC静止图像的数据可以获得帧率为好。在MPEG-4 AVC中，可以通过SPS内的VUI(Video UsabilityInformation)示出运动图像流的显示率。具体而言，参考num_units_in_tick，time_scale，fixed_frame_rate_flag的3个域。在此，time_scale示出时标，例如，可以以30000Hz工作的时钟的time_scale为30000。num_units_in_tick是示出时钟的工作时间的基本单位，例如，time_scale为30000的时钟的num_units_in_tick为1001，就可以示出时钟工作时的基本周期为29.97Hz。并且，通过设定fixed_frame_rate_flag，可以示出帧率是固定的。在MPEG-4 AVC中，使用这些域，可以示出连续的2张图片的显示时刻的差分值，但本实施方式中，使用这些域，示出反复显示AVC静止图像时的帧率。首先，通过将fixed_frame_rate_flag设定为1，示出帧率是固定的。其次，将帧率设定为23.976Hz时，例如，分别将num_units_in_tick设定为1001，将time_scale设定为24000。即，设定两个域，从而成为帧率＝time_scale/num_units_in_tick。再者，为了保证存在VUI及VUI的上述3个域，将SPS内的vui_parameters_present_flag以及VUI内的timing_info_present_flag，都设定为1。第N的AVC静止图像为最后的AVC静止图时，到有用户工作为止、或到通过程序事先被设定的下一个工作开始为止，使显示冻结。并且，帧率的设定方法，不仅限于time_scale/num_units_in_tick。例如，在MPEG-4 AVC的运动图像流中，time_scale/num_units_in_tick示出域的率(示出域的显示间隔的参数)，因此帧率为time_scale/num_units_in_tick/2。因此，在静止画中，也可以将帧率为time_scale/num_units_in_tic/2。

通过上述方法所示的帧率，是与在BD管理信息内所示的帧率值一致的。具体而言，与通过作StreamCodingInfo中的frame_rate域来所示的值一致。

并且，从由上述方法所示的帧率，可以获得反复显示AVC静止图像时的显示周期。此显示周期，可以是帧格，也可以是域格的整数倍。据此，可以保证与视频、图形等其他影像资源的同步再生。在此，帧格或域格，以视频等特定的流的帧率为基准被生成。再者，第N和第N+1的AVC静止图像的显示时刻的差分值，可以是帧格，也可以是域格的整数倍。

作为再生AVC静止图像时参考的时间图，使用实施方式2的时间图。

并且，在BD ROM标准等中，通过规定num_units_in_tick、time_scale、fixed_frame_rate_flag的默认值，可以省略这些域。

并且，在视频流的情况下禁止在流内变更分辨率，但对于静止图像的流，即使变换分辨率也不破坏而可以实现在解码工作中的缓冲管理，因此可以使分辨率在流内变更。在此，通过SPS内的域示出分辨率。

并且，即使是MPGE-4 AVC以外的编码方式，包括同样的数据结构时，可以适用本实施方式的数据结构及再生方法。

实施方式4

在实施方式2说明了，作为用于实现静止图像应用程序，可以使用MPEG-4 AVC。本实施方式中说明一种信息记录媒体及其再生装置，在BD-ROM等的封装媒体，可以抑制再生运动图像时的处理量，并且，可以将静止图像编码成高画质。

首先，说明以往的信息记录媒体。例如，对于MPEG-4 AVC，规定图片的代码量的最大值。对于BD等的应用程序标准，将在MPEG-4AVC的规定值、或在应用程序独自设定的值，作为图片的代码量的上限值。通过在MPEG-4 AVC标准规定的、称为MinCR(MinimumCompression Ratio)的参数，来可以限制上限值。MinCR是一种参数，表示对原图的编码图片压缩率的下限。例如，MinCR为2，表示编码图片的代码量为原图的数据大小的2分之1以下。

对于以往的信息记录媒体，在运动图像应用程序和静止图像应用程序，作为MinCR使用相同的值。对于运动图像，对编码数据进行解码时的处理量大，因此，特别为了在最坏状态也能够保证工作，决定MinCR，该最坏状态是在解码1个图片时运算量成为由标准所设定的上限值的状态。另外，对于静止图像，显示间隔长于运动图像，因此与解码时的处理量相比，画质更重要。然而，将静止图像编码成高画质时，代码量就会增加，因此存在以下问题，即，对于在静止图像和运动图像之间的MinCR相同的以往的信息记录媒体，特别进行帧内编码时，对图片不能分配充分的比特。

对于本实施方式的信息记录媒体，对运动图像和静止图像分别适用不同的MinCR，从而对于运动图像，鉴于解码时的处理量使MinCR值大，对于静止图像，为了保证用于编码成高画质的充分的图片大小，使MinCR值小于运动图像。

图49示出本实施方式的信息记录媒体的数据结构的例子。对于BD管理信息中的流管理信息，在称为ClipInfo的数据对象示出剪辑(Clip)的属性。并且，剪辑指出AV数据的文件，例如，存储MPEG-4 AVC的静止图像流的1个文件为1个剪辑。为了示出运动图像和静止图像适用不同的MinCR之事，需要示出每个剪辑的MinCR值的信息。因此，ClipInfo被附加示出MinCR值的信息，该MinCR值是对要参考的剪辑所适用的。在此，设想事先规定对静止图像的剪辑和运动图像的剪辑所适用的MinCR值，存储标志信息，从而示出对剪辑所适用的MinCR值，该标志信息示出要参考的剪辑是运动图像还是静止图像。对于图49的例子，在盘内至少存储有静止图像和运动图像的剪辑，分别通过ClipInfo#1和ClipInfo#2可参考。在此，ClipInfo#1存储示出剪辑为静止图像的标志信息，ClipInfo#2存储示出剪辑为运动图像的标志信息。通过参考该标志信息，可以获得构成剪辑的图片的MinCR值。对于图4的例子，静止图像的剪辑的MinCR为2，运动图像的剪辑的MinCR为4，从而同时实现静止图像的高画质化和运动图像解码时的处理量的抑制。并且，此MinCR值是一个例子，也可以使用其他组合，并对于再生装置的处理量有富余的应用程序，可以使静止图像和运动图像的MinCR值相同。并且，也可以是事先规定静止图像用的MinCR值和运动图像用的MinCR值的多中组合，并导入示出特定的组合的参数，从而示出MinCR值。并且，在示出剪辑为静止图像时，可以保证使解码或显示连续的2张图片时的间隔成为事先所规定的值以上或变大。例如，假设为，对于静止图像，连续的2张图片的显示间隔为0.5秒以上。据此，MinCR值为2，在每一图片的代码量变大时，显示间隔为0.5秒以上，该显示间隔十分长，因此，在每一图片的代码量变大时也可以保证各图片的解码。

并且，在ClipInfo存在称为application_type的域，该域示出再生剪辑的应用程序类型。在本域可以示出，应用程序是运动图像还是静止图像，并且，静止图像时可以示出，是时基(Time base)还是可浏览(Browsable)。在此，时基是一种应用程序，以事先规定的间隔显示静止图像，可浏览是一种应用程序，用于用户决定静止图像的显示时刻。因此，也可以是这样，即，application_type的域的值，指出时基或可浏览的静止图像应用程序时，静止图像用的MinCR值被适用，指出运动图像应用程序时，运动图像用的MinCR值被适用。

并且，MinCR值，除了在运动图像和静止图像之间转换，还可以在不同的运动图像的剪辑之间转换。例如，当包括主影像和副影像时，对于主影像，可以将MinCR值设定为小，从而编码成高画质，对于副影像，考虑处理量，可以将MinCR值设定为大。在此，作为示出MinCR值的信息，不使用示出是静止图像还是运动图像的标志信息，而使用示出每个剪辑的MinCR值的信息。

并且，对于示出运动图像或静止图像的代码量的上限的参数，不仅限于MinCR，也可以是其他参数，例如，作为数据大小直接示出代码量的上限值。

并且，示出在剪辑的图片的代码量的上限值的信息，可以存储在ClipInfo以外的BD管理信息，也可以存储在编码数据内。当存储在编码数据时，可以按GOP(图像组：Group Of Picture)等的随机访问单位存储，例如，对于MPEG-4 AVC，可以使用用于存储用户数据的数据单位。并且，作为用于存储用户数据的数据单位有：具有特定类型的NAL(网络提取层：Network Abstraction Layer)单元；或用于存储用户数据的SEI(补充增强资料信息：Supplemental Enhancement Information)消息等。并且，也可以是，以随机访问单位等与剪辑不同的单位来可以转换图片的代码量的上限值。

并且，在一些数据再生装置，当解码运动图像时，判定为来不及用于解码1个图片的编码数据的时间时，或判定为来不及图片的显示时刻时，有时跳跃该图片的解码而开始下1个图片的解码。或者，解码运动图像时可以对应最坏情况的情况下，也存在以下情况，当再生本实施方式的信息记录媒体的静止图像时，静止图像的代码量的上限值会大于运动图像，一旦代码量成大就用于解码的时间也就会增加，结果静止图像的解码被跳跃。在此，一般，静止图像的显示间隔长于运动图像，因此到事先设定的显示开始时刻为止解码未完毕，也只要解码完毕后显示，就再生质量的下降是轻微的。因此，解码静止图像时，到事先设定的显示开始时刻为止解码未完毕的情况下，也可以不跳跃解码而在解码完毕后显示。

并且，在上述说明了BD，对于可以存储静止图像和运动图像的信息记录媒体，就可以使用同样方法。并且，编码方式，不仅限于MPEG-4AVC，也可以适用于MPEG-2 Video等其他编码方式。

实施方式5

图50是示出，本实施方式中，用于制作存储在信息记录媒体的数据的多路复用方法的流程图。与以往的多路复用方法不同，本实施方式的多路复用方法包括以下步骤：按照剪辑的种类转换MinCR值的步骤(步骤S2001、步骤S2002、步骤S2003)；以及生成用于确定MinCR值的标志信息并包括到管理信息的步骤(步骤S2004和步骤S2005)。

首先，在步骤S2001，判定要生成的剪辑是运动图像还是静止图像。剪辑是静止图像时，进入步骤S2002，设定事先规定的静止图像剪辑用的MinCR值，并剪辑是运动图像时，进入步骤S2003，设定事先规定的运动图像剪辑用的MinCR值。其次，在步骤S1001，为了满足由步骤S2002或步骤S2003所设定的MinCR值，编码构成剪辑的图片，并进入步骤S1002。在步骤S1002，对由步骤S1001所编码的数据进行系统多路复用。对于BD，作为系统多路复用方式使用MPEG-2的传输流。其次，在步骤S2004，生成用于确定MInCR值的标志信息，在步骤S2005，生成管理信息，该MInCR值适用于构成剪辑的图片，该管理信息包括由步骤S2004所生成的标志信息。最后，在步骤S1003，将管理信息和被系统多路复用的编码数据结合一起并输出。并且，作为用于确定MinCR值的信息，也可以是标志信息以外的信息，例如，直接存储图片的代码量的最大值等。

并且，对于声音、图形等的数据，可以与运动图像或静止图像一起进行多路复用，但在此省略说明。

图51是示出本实施方式的实现多路复用方法的多路复用装置2000的结构的方框图。多路复用装置2000包括，MinCR决定部2001，MinCR信息生成部2002，编码部1001，系统多路复用部1002，管理信息制作部2003，结合部1003，与以往的多路复用装置不同，包括，MinCR决定部2001，MinCR信息生成部2002，以及在管理信息制作部2003生成管理信息，该管理信息包括用于确定MinCR值的标志信息。

以下说明各部的工作。MinCR决定部，根据剪辑属性ClipChar决定MinCR值，并将决定后的MinCR值cr输入到编码部1001和MinCR信息生成部2002，该剪辑属性ClipChar示出剪辑是运动图像还是静止图像，该MinCR值适用于构成剪辑的图片。编码部1001，根据由MinCR值所决定的MinCR值，编码输入运动图像或图像数据Vin，并将编码数据Cdata输出到系统多路复用部1002。系统多路复用部1002，对编码数据Cdata进行系统多路复用，将多路复用数据Mdata输入到结合部1003。另外，MinCR信息制作部，根据MinCR值cr，生成作为标志信息的MinCR信息crInf，并输入到管理信息制作部2003，该标志信息是用于确定由构成剪辑的图片所适用的MinCR值的信息。管理信息生成部，从系统多路复用部1002获得时间图等的流信息StrInf，并生成包括MinCR信息crInf的管理信息CtrInf，并输出到结合部1003，该流信息StrInf用于生成关于多路复用数据Mdata的管理信息。结合部1003，将管理信息CtrInf与多路复用数据Mdata结合，并作为存储数据Dout输出。在此，编码部1001，可以根据剪辑的种类或MinCR值，连续的2张图片的解码或显示间隔的下限。

并且，通过创作工具等制作数据时，有时在不同的装置进行编码数据的生成和系统多路复用或管理信息的制作，但在此情况下，将各装置的工作与多路复用装置2000的各部的工作相同就可以。

实施方式6

再者，将在上述各实施方式中所示的信息记录媒体和用于实现此编码方法、解码方法及多路复用方法的程序，记录到软盘等的记录媒体，从而可以在独立的计算机系统中容易实施由上述各实施方式所示的处理。

图52A至图52C是，使用记录在软盘等的记录媒体的程序，通过计算机系统，实施上述各实施方式的编码方法及解码方法时的说明图。

图52B示出软盘的正面外观、断面结构、以及软盘，图52A示出作为记录主体的软盘的物理形式的例子。软盘FD在盒F内被内存，在该软盘的表面上，从外圈到内圈形成同心圆状的多个磁道Tr，各磁道按角度方向分割为16个扇区。因此，对于存储有上述程序的软盘，在上述软盘FD上被分配的区域，记录有上述程序。

并且，图52c示出用于对软盘FD进行上述程序的记录再生的结构。将实现编码方法及解码方法的上述程序记录到软盘FD的情况下，通过软盘驱动器从计算机系统Cs写入上述程序。并且，在计算机系统中构筑通过软盘内的程序实现编码方法及解码方法的再生方法及记录方法的情况下，通过软盘驱动器从计算机系统读出程序，并转送到计算机系统。

并且，在上述说明中，作为记录媒体，用软盘进行了说明，但用光盘也可以进行同样说明。并且，记录媒体不仅限于此，如IC卡、ROM盒等，可记录程序的记录媒体就可以同样实施。

再者，对图10、图18、图19、图23、图51等所示出的方框图的各功能方框以LSI来实现，该LSI为典型的集成电路。该LSI可以进行单片化，也可以多片化(例如，可以对存储器以外的功能方框进行单片化)。上述所说的LSI，根据集成度的不同，也称为IC、系统LSI、超级LSI、极超级LSI。

此外，集成电路化的方法不限于LSI，也可以以专用电路或通用处理器来实现。也可以利用，制造LSI后，可编程的FPGA(现场可编程门阵列：Field Programmable Gate Array)，或可重新构成LSI内部的电路单元格的连接或设定的可重装处理器。

再者，随着半导体技术的进展或由派生的另一个技术，出现可代替LSI的集成电路化的技术时，当然，可以通过此技术进行功能方框的集成化。有生物技术的应用等的可能性。有生物技术的适应等作为可能性。

并且，也可以，各功能方框中，仅对于存储数据的单元，不进行单片化，并构成像本实施方式的记录媒体115那样的另外结构。

此外，对于图10、图18、图19、图23、图51等所示的方框图的各功能方框以及图9、图11至图15、图38至图41、图50所示的流程图，以处理器以及程序来实现此主要部分。

上述实施方式所示的图像编码方法或图像解码方法可以使用于如上所述的机器、系统的任一个，据此，可以获得由上述实施方式所说明的效果。

Claims

1、一种运动图像编码方法，转换可变长编码方式来编码运动图像，其特征在于，

决定成为连续再生的对象的连续区间；

在上述连续区间不转换可变长编码方式来编码运动图像，从而生成流；

生成包括第1标志信息的管理信息，该第1标志信息示出在上述连续区间的可变长编码方式是固定的。

2、如权利要求1所述的运动图像编码方法，其特征在于，

上述连续区间是，与1个流相对应的、由传输流的数据包标识符所确定的区间。

3、如权利要求1所述的运动图像编码方法，其特征在于，

构成上述连续区间的流，由传输流的数据包标识符所确定。

4、如权利要求1所述的运动图像编码方法，其特征在于，

上述连续区间是，包括成为无缝连接的对象的流的区间。

5、如权利要求1所述的运动图像编码方法，其特征在于，

上述连续区间是，包括与构成无缝的多角度的各角度相对应的流的区间。

6、如权利要求1所述的运动图像编码方法，其特征在于，

上述连续区间是，包括与构成非无缝的多角度的各角度相对应的流的区间。

7、如权利要求1所述的运动图像编码方法，其特征在于，

运动图像编码方法，进一步，

将第2标志信息插入到流，该第2标志信息，按所编码的运动图像的规定单位示出可变长编码方式。

8、如权利要求7所述的运动图像编码方法，其特征在于，

上述管理信息，包括示出1个以上的再生区间的再生顺序的播放列表，该再生区间是流的全部或一部分；

上述第1标志信息，按由播放列表所示的每个再生区间被生成；

上述规定单位是，在以MPEG-4 AVC所编码的流中被附加图片参数集的单位。

9、如权利要求7所述的运动图像编码方法，其特征在于，

上述第2标志信息，示出与以宏块为单位的信息有关的编码方法；

上述规定单位是，在流中的图片；

上述以宏块为单位的信息，在可变长编码方式是第1方式的情况下，在流中以宏块为单位被附加，在可变长编码方式是第2方式的情况下，在流中以图片为单位被附加；

对于上述第2方式，与图片内的所有的宏块相对应的第2标志信息被插入到流中的图片的开头。

10、如权利要求8或9所述的运动图像编码方法，其特征在于，

上述第1标志信息，示出在上述连续区间的可变长编码方式是固定的，并且，示出该流是无缝连接的对象的流。

11、一种运动图像编码方法，转换可变长编码方式来编码运动图像，其特征在于，包括：

决定单元，决定成为连续再生的对象的连续区间；

编码单元，在上述连续区间不转换可变长编码方式来编码运动图像，从而生成流；

生成单元，生成包括第1标志信息的管理信息，该第1标志信息示出在上述连续区间的可变长编码方式是固定的。

12、一种数据，具有计算机读取可能的构造，其特征在于，

上述数据，包括管理信息，以及包括示出编码后的运动图像的流；

上述管理信息，包括第1标志信息，该第1标志信息示出在成为连续再生的对象的连续区间的可变长编码方式是固定的。

上述流，包括第2标志信息，该第2标志信息，按所编码的运动图像的规定单位示出可变长编码方式。

13、如权利要求12所述的数据，其特征在于，

上述第1标志信息，与由播放列表所示的各再生区间相对应；

14、如权利要求13所述的数据，其特征在于

上述第1标志信息，与由播放列表所示的各再生区间相对应；

上述规定单位是，在流中的图片；

在可变长编码方式是第1方式的情况下，上述以宏块为单位的信息在流中以宏块为单位被附加，在可变长编码方式是第2方式的情况下，上述以宏块为单位的信息在流中以图片为单位被附加；

在可变长编码方式是上述第2方式的情况下，与图片内的所有的宏块相对应的第2标志信息被插入到流中的图片的开头。