CN103503070B - 与高画质有关的记录介质、再现装置、记录装置、编码方法、及解码方法 - Google Patents

与高画质有关的记录介质、再现装置、记录装置、编码方法、及解码方法 Download PDF

Info

Publication number
CN103503070B
CN103503070B CN201280020329.3A CN201280020329A CN103503070B CN 103503070 B CN103503070 B CN 103503070B CN 201280020329 A CN201280020329 A CN 201280020329A CN 103503070 B CN103503070 B CN 103503070B
Authority
CN
China
Prior art keywords
picture
bit
bit sequence
gray scale
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280020329.3A
Other languages
English (en)
Other versions
CN103503070A (zh
Inventor
小川智辉
佐佐木泰治
矢羽田洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN103503070A publication Critical patent/CN103503070A/zh
Application granted granted Critical
Publication of CN103503070B publication Critical patent/CN103503070B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/808—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal
    • H04N9/8081—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal involving data reduction
    • H04N9/8082—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal involving data reduction using predictive coding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G11B20/1251—Formatting, e.g. arrangement of data block or words on the record carriers on discs for continuous data, e.g. digitised analog information signals, pulse code modulated [PCM] data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1262—Formatting, e.g. arrangement of data block or words on the record carriers with more than one format/standard, e.g. conversion from CD-audio format to R-DAT format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B2020/1264—Formatting, e.g. arrangement of data block or words on the record carriers wherein the formatting concerns a specific kind of data
    • G11B2020/1289—Formatting of user data

Abstract

记录介质中记录有基本视频流和增强视频流。表示增强视频流中的图片的像素灰度的比特序列，示出表示原图像中的像素灰度的比特序列与表示基本视频流中的图片数据的像素灰度的比特序列之间的差分。位移参数在对表示基本视频流中的图片的像素灰度的比特序列与表示增强视频流中的图片的像素灰度的比特序列进行加算时，规定在再现装置侧应该进行的位移操作。

Description

与高画质有关的记录介质、再现装置、记录装置、编码方法、及 解码方法
技术领域
属于影像的色彩深度的记录技术的技术领域。
背景技术
色彩深度的记录技术是指在RGB色彩空间，或者YCrCb色彩空间上，通过将预定的位宽分配给各色彩的灰度，从而以某比特长的数据再现原图像的色彩的深度并将其记录在记录介质的技术。通过8比特的像素比特值，即亮度Y、红色差Cr、蓝色差Cb分别为8比特长的灰度比特序列来表现记录在现有的记录介质上供再现·显示的图像。
现有技术文献
专利文献
专利文献1：日本特开2008-129127号公报
发明内容
发明所要解决的课题
作为记录在DVD或蓝光磁盘（Blu-rayDisc）中的影像的原图像，使用对记录了电影的胶片进行扫描并被转换成数字数据的数据，或者使用如CG电影那样在计算机上被渲染的数据。在以RGB或YCrCb表示各像素的色彩空间上，这些构成原图像的数据的各色彩常常具有超过8比特的灰度。
对此，在上述色彩空间上，记录于DVD或蓝光磁盘的影像的各色彩具有8比特的灰度。即，虽然原图像具有超过8比特的灰度，但是被记录到DVD或蓝光磁盘时，影像的各色彩的灰度被取整成8比特进行记录。该8比特的位宽是鉴于在TV的显示装置上能够表现的灰度数，或者当时制定上述记录介质的规格时的LSI的处理能力而决定的值。在使用了上述记录介质的电影作品的发行中，不能否认该取整产生的部分发生了品质恶化，存在改善画质的余地。另外，取整为8比特仅仅是一个示例，在动态图像的编码方式中，由于所需规格要求高压缩率，因此通常使用非可逆转换，存在在非可逆转换的过程中产生的转换误差导致显示品位降低的情况。
上述课题在假设DVD或蓝光（Blu-ray）为记录目的地的记录介质的情况下提示了技术课题，但是该假设在对上述技术课题进行说明时，仅仅选用了身边的题材，本申请中技术课题的对象并不仅限于DVD或蓝光为记录目的地的记录介质的案例。整体解决在通过广播介质、通信介质等某些介质对图像进行传输时的显示质量的降低，是本申请将要解决的技术课题，在不久的将来，将上述技术在工业产品的领域实际使用时，它将是本领域技术人员必须面对的技术障碍。
本发明的目的是对色彩深度表现进行充实。
用于解决课题的手段
能够解决上述课题的发明是指以下记录介质，包含基本视频流和增强视频流，其中，基本视频流是通过对原图像实施非可逆转换而得到的，增强视频流包含位移参数和图片数据，表示所述增强视频流中的图片的像素灰度的比特序列，示出表示原图像中的像素灰度的比特序列与表示基本视频流中的图片数据的像素灰度的比特序列之间的差分，所述位移参数在对表示基本视频流中的图片的像素灰度的比特序列与表示增强视频流中的图片的像素灰度的比特序列进行加算时，规定在再现装置侧应该进行的位移操作。
发明效果
由于增强视频流示出原图像中的图片的灰度比特序列和表示基本视角视频流中的图片的像素灰度的比特序列之间的差分，因此在基本视角视频流的生成过程中产生的转换误差表现为增强视频流的像素的灰度比特序列。因此，通过对表示增强视频流中的图片的像素灰度的比特序列和基本视角视频流的图片中的灰度比特序列进行结合，从而能够对不逊色于原图像的图像进行还原。
在上述发明中，设定位移参数使得仅仅针对规定的图片对色彩深度进行加深，并且由于位移参数与基本视频流不同，被记录在记录介质上，因此不会导致用于记录的记录介质的容量和解码器的规模增大、或者平面存储器的规模增大。
附图说明
图1示出记录于蓝光磁盘的灰度比特序列。
图2示出色彩深度扩展的原理。
图3示出像素位移量b。
图4示出原图像是自然图像，且由于压缩时的比特率不够，压缩并解码的比特序列包含很多误差的案例。
图5示出色彩深度扩展交互流文件。
图6示出基本视频流的图片、增强视频流的图片、原图像的图片。
图7示出原图像的图案和基本视频流的图片中的图案。
图8示出8个帧中的图片数据的分配比特量的变化、该变化时的各个帧中的亮度Y、红色差Cr、蓝色差Cb的像素比特值，以及将色彩深度扩展至相关原图像的像素比特值的情况下的位移范围的设定。
图9示出8个帧上的图片数据的分配比特量的变化、该变化时的各个帧上的基本视频图片的像素的灰度位宽和增强视频图片的像素的灰度位宽。
图10示出记录装置的内部结构的一个示例。
图11示出流生成部的内部结构的一个示例，该流生成部具有用于色彩深度扩展的视频编码器。
图12示出加算部16的正值化转换过程。
图13是示出记录方法的处理步骤的流程图。
图14示出基本视频流、增强视频流的生成步骤。
图15示出再现装置的内部结构的一个示例。
图16示出视频解码器部23和色彩深度扩展部24的内部结构的一个示例。
图17是示出根据位移量b对表示基本视频流中的图片的像素灰度的比特序列进行位移的情况下的色彩深度扩展步骤的流程图。
图18是从基本视频流和增强视频流中对N比特的影像进行重构的装置的衍生。
图19是示出根据位移量b对表示增强视频流中的图片的像素灰度的比特序列进行位移的情况下的色彩深度扩展步骤的流程图。
图20示出在色彩深度扩展后的图片中如何对存在于坐标（x，y）上的像素的亮度Y、红色差Cr、蓝色差Cb进行转换的转换过程。
图21示出在图20所示的色彩深度扩展过程中使用怎样的参数。
图22示出使用第2实施方式的记录介质和再现装置的家庭影院系统。
图23示出作为多层次化的光盘的磁盘介质的内部结构的一个示例。
图24示出以文件系统为前提的光盘的应用格式。
图25示出交互流文件、m2ts文件，以及文件基础的相互关系。
图26示出主TS的生成过程。
图27示出增强视频流的内部结构的一个示例。
图28示出剪辑信息文件的一个示例。
图29示出播放列表信息的内部结构的一个示例。
图30示出BDMV目录的播放列表、色彩深度扩展播放列表。
图31示出再现装置1002的结构。
图32示出如何从构成色彩深度扩展交互流文件的数据块中还原ATC序列。
图33示出基本视频剪辑信息中的区段开始点信息的一个示例和增强视频剪辑信息中的区段开始点信息的一个示例。
图34用于说明ATC序列1、2中的任意数据块的源包序号。
图35示出系统目标解码器104的内部结构的一个示例。
图36示出色彩深度扩展平面的存储内容的一个示例。
图37示出平面合成部的内部结构。
图38示出应用于再现装置的情况下的色彩深度扩展部24的内部结构的一个示例。
图39示出应用第1实施方式中的变更的情况下的色彩深度扩展部24的内部结构的一个示例。
图40示出播放项目的再现步骤。
图41示出ATC序列还原步骤。
图42示出索引表的内部结构的一个示例。
图43是示出色彩深度扩展程序的处理步骤的流程图。
图44示出光盘的记录方法。
图45是示出编著工序的处理步骤的流程图。
图46示出AV文件写入工序的处理步骤。
图47以表的形式示出扩展功能能力的存储方式。
图48是示出从将磁盘插入播放器之后到再现开始之间用于设定GPRM的处理步骤的流程图。
图49示出画中画内容的一个示例。
图50示出通过将子画面视频重合于母画面视频从而实现的画中画图像。
图51示出本实施方式的编码装置的内部结构的一个示例。
图52示出用于获取画中画视频流的编码装置的内部结构的一个示例。
图53示出用于更有效地进行图52所示的压缩处理的编码装置的内部结构的一个示例。
图54示出能够实施编码方法的发明的广播装置的内部结构的一个示例。
图55对比并示出基本视频流中的图片和画中画视频流中的图片。
图56示出基本视频流中的多个图片数据和增强视频流中的多个图片数据。
图57示出画中画视频流中的图片的内部结构的一个示例。
图58是示出流编码方法的处理步骤的流程图。
图59示出宏块编码方法的处理步骤。
图60示出接收装置的内部结构。
图61示出第4实施方式的系统目标解码器104的内部结构的一个示例。
图62是示出第4实施方式的解码步骤的动作流程图。
图63示出第5实施方式中的再现装置的内部结构的一个示例。
图64为了从网络上获取画中画视频流而追加了AV流获取部的内部结构。
具体实施方式
具有上述课题解决手段的记录介质能够作为用于对内容进行柜台销售包介质进行实施。具有上述课题解决手段的再现装置的发明能够作为用于对包介质进行再现的播放器设备进行实施，该播放器设备，集成电路的发明能够作为编入于该播放器设备的系统LSI进行实施。再现方法的发明能够作为根据该播放器实现的时间序列步骤进行实施。程序的发明能够作为执行形式程序进行实施，该执行形式程序记录于计算机可读取的记录介质，并且安装于播放器设备。
（第1实施方式）
第1实施方式是关于在对原图像进行编码并将其记录于市售的包介质时，对色彩深度进行进一步加深的改良。
｛实施本实施方式时发明人发现的课题｝
在DVD或蓝光磁盘等包介质中记录并提供电影作品时，对具有超过8比特的灰度的原图像，取整为8比特进行记录。由此，如果要显示色彩的平滑的变化即渐变时，由于用8比特则灰度是不够的，导致在从DVD或蓝光磁盘上对原图像中平滑地变化的渐变进行再现的影像上产生色彩的梯度。
在此考虑的对策是提升像素比特值，例如从8比特提升至更大的比特值。画质改善不断进步的等离子体显示器、液晶显示器或者有机EL显示器等显示设备中的大多数都能够对超过8比特的灰度进行显示。随着相关显示装置的进步，扩大在对原图像进行编码时的像素比特值成为基础的对策。
然而，编码时的像素位宽的扩大不仅使显示装置的成本上升，也引起用于记录的记录介质的容量和解码的规模增大、再现装置中的存储器的规模增大，导致记录介质的容量不足和再现装置的成本上升。另外，因为用8比特的值是否产生与原图像之间的误差，是由图像中的运动激烈程度和图案的复杂程度所决定的，所以一味地增加像素灰度的比特的位宽并不是明智的想法。
第1实施方式中记载的发明（以下称为本发明）的目的是提供一种记录介质，该记录介质能够再现原图像所具有的渐变的平滑度，而不会导致记录介质容量不足或再现装置的成本上升。
｛用于解决课题的手段｝
在记录介质的局面上实现课题解决的情况下，该局面中的记录介质，其特征在于，记录介质中记录有基本视频流和增强视频流，基本视频流是通过对原图像实施非可逆转换而得到的，增强视频流包含位移参数和图片数据，表示所述增强视频流中的图片的像素灰度的比特序列，示出表示原图像中的像素灰度的比特序列与表示基本视频流中的图片数据的像素灰度的比特序列之间的差分，所述位移参数在对表示基本视频流中的图片的像素灰度的比特序列与表示增强视频流中的图片的像素灰度的比特序列进行加算时，规定在再现装置侧应该进行的位移操作。
作为能够解决上述课题的手段而记载于上位概念中的事项，能够进行多种下位概念化。以下列举该下位概念化中的典型事项。
（差分的下位概念化）
期望所述差分是通过将基本视频流中的图片的像素灰度的位宽扩展到原图像中的像素灰度的位宽，然后将原图像中的像素的灰度比特序列减去扩展后的灰度比特序列，对该相减结果进行正值化转换而得到的。该下位概念明确了差分的导出过程。此处所述的原图像与基本视频流的图片之间的差分由于是用正值表现的，所以通过导入现有的编码器或平面存储器，能够实现适合色彩深度扩展的灰度比特序列的位移操作。由此，因为能够用现有的编码器模型和播放器模型对增强视频流进行操作，所以通过活用以往的产品开发中培养出的设计知识，能够对可扩展色彩深度的记录介质和再现装置进行产品化。由此能够进一步缩短产品的开发周期，能够高频率地进行产品的模型更换。另外，产品制造商能够经常地向市场推出新商品，能够成功地确定企业的品牌形象和取得市场份额。
（对基本视频流进行的位移操作的下位概念化）
期望所述位移操作包含：将基本视频流中的图片的像素灰度的位宽扩展至原图像中的像素的灰度比特序列的位宽的操作，其中，所述位移参数是位移计数的指定，所述位移计数的指定表示在将表示增强视频流中的图片的像素灰度的比特序列加算至表示基本视频流中的图片的像素灰度的比特序列时，应该使基本视频流中的图片的像素灰度比特序列向上位方向位移几次。该下位概念化明确了位移参数怎样作用于基本视频流的图片的灰度比特序列。非可逆转换的转换误差存在于原图像中的像素的灰度比特序列的下位比特侧的情况下，通过将基本视频流的比特位置位移至上位方向，能够对原图像中的像素的灰度比特序列进行再现。
（对增强视频流进行的位移操作的下位概念化）
期望所述位移操作包含：将基本视频流中的图片的像素灰度的位宽扩展至原图像中的像素的灰度比特序列的位宽的操作，其中，位移参数是目标比特位置的指定，所述目标比特位置的指定表示：将增强视频流的灰度比特序列加算到扩展了位宽的基本视频流图片的灰度比特序列时，应该将增强视频流的灰度比特序列位移到几比特。该下位概念化明确了位移参数怎样作用于增强视频流的图片的灰度比特序列。与某帧的图片数据相对的位移量是按照误差范围的最上位比特而决定的，因此如果按照相关位移量对增强视频流的像素中的8比特灰度进行位移，则在非可逆转换中的转换误差的范围超过增强视频流的像素的灰度值的情况下，能够将增强视频流的图片的灰度值位移至该误差范围的最上位比特。经过这样的位移之后，将增强视频流的像素比特值加算至N比特灰度值的下位比特侧，因此在误差范围超过增强视频流的像素的灰度值的情况下，在经过编码和解码的原图像的再现过程中被舍去的部分成为下位比特侧。由此即使误差范围对图像的上位比特产生影响，由于再现后的图像的看起来成为灰度的下部分稍微不同的程度，因此能够抑制比特舍去所产生的影响。由此能够再现原图像的平稳的渐变变化。
（位移参数的存储方式的下位概念化）
期望所述基本视频流中的多个图片数据以及所述增强视频流中的多个图片数据构成图片组，该图片组分别构成多个帧，具有与所述多个帧中的各帧对应的位移参数作为参数序列。该下位概念化明确了如何对位移参数进行存储，如何向再现装置提供位移参数。由此，在动态图像内容中，以图像组单位对位移参数进行归纳和存储，能够提高位移参数的使用效率，该图像组单位是随机访问的单位。
（再现装置的局面）
在再现装置的局面上实现课题解决的情况下，该局面中的再现装置，其特征在于，再现装置从记录介质中读出并再现基本视频流和增强视频流，基本视频流是通过对原图像实施非可逆转换而得到的，增强视频流包含位移参数和图片数据，表示所述增强视频流中的图片的像素灰度的比特序列，示出表示原图像中的像素灰度的比特序列与表示基本视频流中的图片数据的像素灰度的比特序列之间的差分，所述位移参数在对表示基本视频流中的图片的像素灰度的比特序列与表示增强视频流中的图片的像素灰度的比特序列进行加算时，规定在再现装置侧应该进行的位移操作，该再现装置具有：视频解码器，其通过对基本视频流进行解码从而得到关于构成基本视频流中的图片数据的各个像素的灰度比特序列；以及色彩深度扩展部，其利用增强视频流中的图片的各个像素的灰度比特序列和位移参数，通过对基本视频流中的像素的灰度比特序列进行比特操作从而执行色彩深度扩展。
作为能够解决上述课题的手段而记载于上位概念中的事项，能够进行多种下位概念化。以下列举该下位概念化中的典型事项。
（色彩深度扩展部的下位概念化）
期望所述色彩深度扩展部具有：第1位移电路，其通过将灰度比特序列位移至上位方向，从而对基本视频流中的像素灰度的位宽进行扩展，该灰度比特序列是与视频解码后的基本视频流相关的解码结果；减算部，其通过从表示增强视频流中的图片的像素灰度的比特序列中减去修正值，从而将表示该像素灰度的比特序列转换成附带符号比特序列；以及加算部，其对与构成基本视频流的图片数据的各个像素相关的灰度比特序列，加算通过对增强视频流的灰度比特序列进行转换而得到的附带符号数据。该下位概念化支持色彩深度扩对现有的硬件元件进行利用并具体化，详细的说明在后面的段落。因为用公知的硬件元件能够安装色彩深度扩展部，所以能够使色彩深度扩展功能的实施进一步地现实化。
（对基本视频流进行的位移操作的下位概念化）
期望所述第1位移部根据位移参数对灰度比特序列进行位移，该灰度比特序列是与基本视频流相关的解码结果，色彩深度扩展部具有第2位移电路，该第2位移电路对由加算部加算了附带符号比特的灰度比特序列进行位移，并扩展至原图像中的灰度比特序列的位宽。这是对基本视频流的位移操作的硬件的实现性而言，由此使得后述的N比特灰度的可变化成为可能。
（对增强视频流进行的位移操作的下位概念化）
期望所述色彩深度扩展部具有：第2位移电路，其按照位移参数所示的位移量，对通过对增强视频流的灰度比特序列进行转换而得到的附带符号比特序列进行位移，所述加算部将位移完成后的附带符号比特序列加算至与构成基本视频流的图片数据的各个像素相关的灰度比特序列。这是使得后述的舍去误差最小化成为可能的下位概念化。
（视频解码器的下位概念化1）
期望所述视频解码器是对基本视频流进行解码的第1视频解码器，所述再现装置所述再现装置具有对增强视频流进行解码的第2视频解码器。这是为了立体视再现，在具有2个以上的视频解码器的再现装置中，用于有效地活用其硬件资源的下位概念化。
（视频解码器的下位概念化2）
期望所述视频解码器是多视视频解码器，其对构成基本视频流的图片数据和构成增强视频流的图片数据进行解码。这是在为了立体视再现和多角度播放，在安装有多视角的视频解码器的再现装置上，用于有效地活用现有的硬件资源的下位概念化。
（位移参数获取的下位概念化）
期望所述基本视频流中的图片数据和所述增强视频流中的图片数据构成图片组，该图片组构成多个帧，具有与各帧对应的位移参数作为参数序列，所述视频解码器在对基本视频流中的任意图片进行解码时，对作为增强视频流中的图片数据的、与基本视频流中的图片相同时刻再现的图片进行解码，同时从参数序列中取出与该图片数据对应的位移参数并设定在色彩深度扩展部。其能够以帧精度对位移参数进行切换，用于执行更加细致的色彩深度扩展的下位概念化。
（记录装置的局面）
在记录装置的局面上实现课题解决的情况下，该局面中的记录装置，其特征在于，记录装置将基本视频流和增强视频流写入记录介质，该记录装置具有：第1编码单元，其通过对原图像实施非可逆转换，从而得到由预定的位宽的灰度比特的像素构成的基本视频流；解码单元，其对通过实施非可逆转换而得到的基本视频流进行解码，从而得到非压缩图片，该非压缩图片由位宽比原图像中的像素的灰度比特序列的短的灰度比特序列的像素构成；计算部，其对有关原图像中的各个像素的灰度比特序列与基本视频流中的图片的像素的灰度比特序列之间的差分进行计算；以及第2编码单元，其对增强视频流进行创建，该增强视频流将计算出的差分作为图片数据的像素的灰度比特序列。
作为能够解决上述课题的手段而记载于上位概念中的事项，能够进行多种下位概念化。以下列举该下位概念化中的典型事项。
（计算部的下位概念化）
期望所述计算部包含：位移电路，其将构成与基本视频流相关的非压缩图片的各个像素的灰度比特序列位移至上位方向；减算部，其从与原图像中的各个像素有关的灰度比特序列中减去完成位移的灰度比特序列；以及加算部，其通过将预定的修正值加算至减算结果中从而得到差分，第2编码单元创建增强视频流，该增强视频流包含加算结果和位移电路用于位移的位移值。这是用于以公知的硬件元件使得色彩深度扩展部的安装成为可能的下位概念化，通过导入该下位概念化能够使得色彩深度扩展功能进一步成为现实。
参照附图对有关上述课题解决手段的课题解决过程进行具体的说明。为了消除了非可逆转换的转换误差的影响，在本发明中导入两种视频流。第一个是基本视频流，其是通过对原图像进行非可逆转换而生成的。另一个是增强视频流，增强视频流中的图片的各个像素的灰度比特序列表示原图像中的像素灰度比特序列与示出基本视频流中的图片的像素灰度的比特序列之间的差分。这里的差分是包含上述那样的非可逆转换的差分。
下面，对原图像中的灰度比特序列和示出基本视频流中的图片的像素灰度的比特序列之间的关系进行说明。
图1（a）是原图像中的N比特的灰度比特序列，（b）示出记录到蓝光只读磁盘、DVD视频时应该记录的8比特的灰度比特序列。（c）示出对N比特灰度实施非可逆转换，通过对该转换结果进行解码而得到的8比特灰度。图中的阴影部分示出非可逆转换所产生的转换误差。
在图1中描绘了3个灰度比特序列。该3个灰度比特序列分别为：由N比特构成的比特序列（灰度比特序列1801），该N比特表示构成原图像的各个像素的各色彩的色彩深度，该原图像是蓝光磁盘的记录对象；8比特的比特序列（灰度比特序列1802），其为了将上述灰度比特序列1801压缩成适合蓝光磁盘，对上述N比特中的上位第8比特或第9比特进行四舍五入等而得到的；8比特的比特序列（灰度比特序列1803），其是通过MPEG2或MPEG-4AVC等压缩技术对灰度比特序列1802进行压缩，并进一步解码而得到的。
此处，如果比较构成原图像的灰度比特序列与构成从蓝光磁盘再现的影像的灰度比特序列1803，则在上述压缩之前丢失下位（N-8）比特的信息，并且在灰度比特序列1803中由于非可逆压缩，下位比特中包含误差。色彩深度的扩展是指：对于上述压缩·解码而得到的比特序列，通过添加附加信息，尽量将其还原成与构成原图像的N比特的比特序列相近的比特序列。
在色彩深度扩展中，对从N比特的原图像转换成8比特的适合蓝光磁盘的原图像时丢失的下位的（N-8）比特的信息以及压缩时包含误差的灰度比特序列1803的下位比特的信息进行还原。利用图2对色彩深度扩展进行说明。
在图2中对与图1相同的要素赋予相同的序号。图2（a）示出原图像中的N比特灰度1801，（b）示出通过将应该记录于蓝光只读磁盘和DVD视频的图片的8比特灰度转换为N比特灰度而得到的N比特灰度1803。（c）示出原图像的N比特灰度1801减去N比特化的基本视频流的灰度1803从而得到的8比特的增强视频流灰度1901。通过结合（a）的灰度比特序列1801、（c）的8比特灰度1901，能够再现原图像的N比特灰度。
首先，将灰度比特序列1803的比特序列向左（上位方向）进行比特位移并N比特化，使其仅位移了位移参数所指定的位移量b。这里“位移量b”是指，所述位移参数在对表示基本视频流中的图片的像素灰度的比特序列与表示增强视频流中的图片的像素灰度的比特序列进行加算时，规定应该在再现装置侧进行的位移操作的数值参数（位移参数）。该参数中包含“位移计数的指定”和“目标比特位置的指定”。“位移计数的指定”是指应该进行几次位移操作才好的计数数量，“目标比特位置”是指位移操作进行的比特值移动的目标位置，该位移操作是指应该位移到原图像中的灰度比特序列的第几比特才好。
本图中的位移量b是位移计数的指定，设定为b=N-8。通过向上位方向进行（N-8）次位移操作，位移后的下位比特排成（N-8）部分的0。接着，原图像的灰度比特序列1801的比特序列减去刚才的N比特化的灰度比特序列1803。在图2（b）中，与转换为N比特的灰度比特序列1803的下位（N-8）比特变为0000相比，原图像的上位（N-8）比特中存在某些非零的值。由此，如果灰度1803是原图像的N比特灰度的上位8比特的话，则该N比特灰度的上位8比特成为应该原样记录在蓝光磁盘和DVD视频中的8比特灰度，下位（N-8）比特应该成为非可逆转换时的转换误差。
此处在（c）中进行减算。其结果是，得到的以灰度比特序列1901表示的比特序列成为用于对原图像中丢失的（N-8）比特和压缩时包含的误差进行修正的比特序列。因此，对用灰度比特序列1803表示的比特序列进行N比特化之后，通过加算用灰度比特序列1901表示的比特序列，能够对原N比特的灰度比特序列1801进行还原。由以灰度比特序列1803的部分为像素比特值的图片数据构成的视频流成为“基本视频流”。另一方面，由将灰度比特序列1901的部分作为像素比特值的图片数据构成的视频流成为“增强视频流”。
利用图3对像素位移量b进行更详细的说明。图3示出像素位移量b。为了简单地进行说明，设原图像的N比特为12比特进行说明。
图3（a）示出原图像的12比特的灰度，（b）示出应该记录于蓝光只读磁盘、DVD视频的理想的8比特灰度。（c）示出对12比特序列灰度实施非可逆转换从而得到的8比特灰度。（d）示出通过原图像的灰度比特序列减去转换成12比特灰度的基本视频流图片的灰度而得到的8比特灰度。
首先，原图像的各像素的各色彩的色彩信息如灰度比特序列3701所示，具有12比特的信息量。此处，压缩成适合蓝光时，舍去灰度比特序列3701的下位4比特，如灰度比特序列3702所示的那样进行8比特化。并且，通过MPEG2等编码方法对用灰度比特序列3702表示的、由8比特化的色彩信息构成的8比特的原图像进行压缩、解码后成为灰度比特序列3703。在图3（c）的示例中，由于非可逆压缩，用灰度比特序列3703表示的比特序列的下位4比特包含误差。在原图像的比特序列的灰度比特序列3701中，用虚线框包围的灰度比特序列3704在色彩深度扩展时成为应该还原的比特序列。
结合具体的计算示例对图3中的增强视频流的灰度比特序列进行说明。比特序列3701为100111011100，将其转换为8比特的基本视频流的情况下，基本视频流的灰度比特序列理想的是成为原图像中的像素的灰度比特序列的上位8比特，即10011101。但是实际上，由于非可逆转换的误差，应该成为10011101的基本视频流的8比特灰度成为10010010。
此处，将基本视频流中的图片的8比特灰度转换为12比特灰度，从原图像的灰度比特序列100111011100中减去转换为12比特的100100100000。由此得到（d）的比特序列10111100。如果将该比特序列10111100作为增强视频流中的灰度记录于记录介质的话，通过结合该增强视频流的8比特灰度和包含误差的基本视频流的8比特灰度从而能够再现原来的12比特灰度。
接着，利用图4对原图像是自然图像，且由于压缩时的比特率不够，由于压缩并解码的比特序列而包含很多误差的案例进行说明。在图4中，到此为止原图像的灰度比特序列3701和适合蓝光的8比特化的灰度比特序列3702相同，但是非可逆压缩后解码的灰度比特序列和图3的案例不同。
具体地说，在图3的灰度比特序列3703中作为下位的4比特中包含误差进行说明，但是在图4中解码后的比特序列3801的下位5比特中包含误差。即，从成为原图像的灰度比特序列3701来考虑的话，灰度比特序列3701的下位9比特中包含误差。
即，如果取得通过已说明的手法对原图像的12比特的比特序列与对非可逆压缩并解码后的比特序列3801进行4比特位移并12比特化而得到的比特序列之间的差，则出现9比特的比特序列。如果能够将成为差分的9比特原样地作为用于色彩深度扩展的信息进行记录的话就没有问题，但是必须考虑到将其作为另外的增强视频流进行压缩的情况。民用设备的通常的视频编码器由于对超过8比特的比特长度进行操作，无法对上述9比特的信息进行压缩。
作为用于解决该问题的方法，将9比特中相当于最上位比特（MSB）侧的上位8比特作为增强视频流的压缩对象，从9比特的LSB侧舍去1比特。这种情况下，在原图像的12比特中，不将相当于最下位比特（LSB）的1比特作为增强视频流而进行压缩，但是作为色彩深度的信息应该优先对更上位的比特进行还原。
如果优先进行这种还原，则通过位移电路始终对基本视频流进行N比特是不合适的，将解码了基本视频流的比特序列与原图像进行比较，限定为原图像的下位8比特也不合适。比较原图像和所述解码的比特序列，根据位移量将包含误差范围的最上位比特指定为目标比特位置，将8比特量作为面向LSB的编码对象是合适的。
此处，将编码后的基本视频流与解码后的比特序列和原图像的比特序列进行比较，将应该对原图像的12比特中几比特以下进行修正的指针表示为相对于像素的比特值的位移量b。
结合具体的计算示例对图4中的增强视频流的灰度比特序列进行说明。对原图像的12比特灰度实施非可逆转换的情况下，转换结果应该成为“10011101”，该“10011101”是12比特灰度的上位8比特。但是现实中，由于非可逆转换的转换误差，转换结果成为10001010。生成增强视频流的灰度比特序列以能够消除该误差。具体地说，将基本视频流的8比特扩展为12比特并从原图像的12比特灰度减去扩展后的12比特灰度。该减算结果成为100111100，成为9比特。其中，由于不能存储于增强视频流的8比特的位宽，因此将上位8比特“10011110”作为增强视频流的灰度。并且将误差范围的最上位比特，即第9比特指定为位移量。由此利用设定为位移量的9比特和增强视频流的8比特值能够实现原图像灰度的再现。
<与转换误差的存在位置对应的还原方法的变更>
由以上的图2、图4中可知，原图像的还原方法随着转换误差存在的位置而发生变化。通常，将原图像的N比特灰度转换为基本视频流的8比特灰度的情况下，原图像的下位比特（N-8）成为转换误差。这是因为该下位（N-8）比特是在转换为基本视频流时被舍去。另一方面，误差也对基本视频流中的8比特灰度的部分有影响。
只在原图像中下位（N-8）比特的部分产生转换误差的情况下，以位移量b来指示转换误差的最上位比特，仅以该b对基本视频流的灰度进行位移即可。该情况下的位移量b成为位移计数的指定。即，位移量b的位移计数的指定表示在将表示增强视频流中的图片的像素灰度的比特序列加算至表示基本视频流中的图片的像素灰度的比特序列时，应该使基本视频流中的图片的像素灰度比特序列向上位方向位移几次。
另一方面，原图像中上位8比特的部分产生误差的情况下，必须将该误差的影响抑制在最小限度。具体地说，以位移量b来指示转换误差的最上位比特，必须根据该b将增强视频流的灰度位移至上位方向。该情况下的位移量b是目标比特位置的指定。位移量b的目标比特位置的指定表示将增强视频流的灰度比特序列加算至完成位宽扩展的基本视频流的灰度比特序列时，应该将增强视频流的灰度比特序列位移到几比特。
在本实施方式中，作为用于色彩深度扩展的灰度比特操作，导入利用每帧的位移量使基本视频流的图片的灰度比特位移的操作，和使增强视频流的图片的灰度比特位移的操作。后者的比特操作是将原图像与基本视频流图片之间的差分在增强视频流的位宽8比特内表现时，用于使比特值的舍去的影响最小化。
以下，参照附图对上述那样的下位概念化的记录介质的发明、记录装置的发明、再现装置的发明的实施方式进行详细说明。对在记录介质中，应该存储像素值位移量b的存储位置进行说明。作为像素值位移量b的存储位置，考虑以下位置。
第1个位置是在基本视频流中。这种情况下，现有的播放器由于包含于基本视频流中未知数据的像素值位移量b可能产生误操作等。
第2个位置是在增强视频流中。这种情况下，由于在现有的播放器中增强视频流不会流入包标识符滤波器以后的解码器，可以说不会影响现有的播放器。
上述第1个放置位置也好，第2个放置位置也好，在本实施方式中，以现有的再现装置中的动作保证为优先而选择第2个存储位置。对相对于该增强视频流的位移量b的存储形态进行说明。位移量b的存储形态，是以预定的单位对设定于各帧/各场的位移量进行结合并转换为一个参数的序列的基础上，存储在视频流中。在本实施方式中，以记录介质中的随机访问的单位对各帧/各场的位移量进行结合，将结合后的位移量作为位移量序列，编入增强视频流中的随机访问的单位中。此处，基本视频流和增强视频流是动态图像的情况下，随机访问的单位成为GOP（图片组），基本视频流和增强视频流是可浏览幻灯片的情况下，随机访问的单位成为浏览单元。在视频流被加密的情况下，加密单位（组块）成为随机访问单位。通过对每个这样的各种形态的随机访问，整理并存储位移量序列，从而能够确实地在再现装置中读取位移量。
上述基本视频流和增强视频流被分割为多个数据块，通过对这些数据块进行交互配置从而实现适合再现装置的再现处理。将通过对构成基本视频流的多个数据块和构成增强视频流的多个数据块进行交互配置而得到的流文件称为“色彩深度扩展交互流文件”。
图5示出色彩深度扩展交互流文件。本图的中间是色彩深度扩展交互流文件的内部结构，如本图所示，色彩深度扩展立体视交互流文件是通过对基本视频的数据块和增强视频数据块进行交互配置从而构成的。如本图所示，色彩深度扩展交互流文件是对基本视频的数据块和增强视频的数据块进行交互配置而形成的。基本视频数据块存储有基本视频流的图片，增强视频数据块存储有增强视频流的图片。向上的箭头sr1、sr2、sr3……示出这些数据块的存储内容。如箭头sr1、sr2、sr3……所示，基本视频的数据块中存储有基本视频流中的多个图片。如箭头sr11、sr12、sr13……所示，增强视频的数据块中存在有增强视频流中的多个图片。基本视频流中的图片的图片类型有IDR图片、P图片以及B图片，它们构成图片组。
进行以下处理：基本视频流和增强视频流的图片数量相同，对在基本视频流中应该以各帧来显示的图片和在增强视频流中应该以各帧来显示的图片设定有相同值的DTS、PTS，在相同的帧时刻进行解码，在相同的帧时刻进行显示。
对构成基本视频流的图片数据和构成增强视频流的图片数据是经过怎样的过程而生成的生成过程进行说明。图6示出基本视频流的图片、增强视频流的图片、原图像的图片。
图6（a）的中间是原图像的图片数据，左侧是构成基本视频流的图片数据，右侧是构成增强视频流的图片数据。这些图片数据由1920×1080数量的像素构成。本图的各图片数据的厚度示意性地示出构成图片数据的像素所具有的色彩深度的差异。原图像的图片数据由各个像素是N比特的亮度Y、N比特的红色差Cr、N比特的蓝色差Cb构成。基本视频流的图片数据由各个像素是8比特的亮度Y、8比特的红色差Cr、8比特的蓝色差Cb构成。增强视频流的图片数据由各个像素是N-8比特的亮度Y、N-8比特的红色差Cr、N-8比特的蓝色差Cb构成。
箭头cr1、2、3示出基本视频流的图片和增强视频流的图片的像素比特值构成原图像的哪个部分。沿着图中的箭头，基本视频流的图片的像素比特值构成原图像的图片的像素比特只的上位比特值，增强视频流的图片的像素比特值构成原图像的像素值的下位比特值。即，基本视频流的8比特的值表示原图像的上位比特，增强视频流的灰度比特序列表示基本视频流的灰度比特序列与原图像中的像素的灰度比特序列之间的差分。因此，对基本视频流和增强视频流进行解码，如果对通过解码而得到的比特值进行组合，能够再现构成原图像的像素的N比特灰度。由于存在这样的对应关系，将基本视频流的图片和增强视频流的图片记录于记录介质，在再现装置中沿着该箭头cr1、2、3、4、5、6，将基本视频流的图片的像素比特值和增强视频流的图片的像素比特值加在一起，能够对原图像的像素比特值进行还原。
根据该灰度比特值，对影像的渐变如何变化进行说明。图（b）示出原图像的N比特灰度中的渐变变化。在该图（b）中，使N比特的N为12比特，能够在4096的数值范围内进行灰度表现。因此在（b）中，以横轴为x坐标，纵轴为从0到4095的灰度值的图表中示出灰度变化。图（c）示出基本视频流的图片中的渐变变化。能够用8比特的位宽来表现256灰度。因此在（c）中，以横轴为x坐标，纵轴为从0到255的灰度值的图表中示出灰度变化。比较（b）的图表和（c）的图表，在256灰度的变化中渐变变化时成为离散，无法通过充分的精度对图像中的细微图案进行表现。但是4096灰度的渐变变化中，能够看到该离散性柔和、渐变变化平滑。
可知，原图像中的像素的N比特的色彩的深度通过基本视频流的图片中的像素比特值和增强视频流的图片中的像素比特值之间的结合来表现。以下，通过具体示例对上述色彩深度扩展进行说明，加深技术性理解。此处设想的具体示例是指对运动激烈的体育内容进行编码，考虑如图7的内容作为该影像内容。图7示出原图像的图案和基本视频流的图片中的图案。图7（b）是基本视频流的图片的图像的一个示例。（b）中的块框示出从N比特转换为8比特时产生误差的宏块。本图中的图像的一个示例是对运动的一个场景进行提取，由于影像内的出场人物的运动的激烈程度，球部分的图案部分、制服的图案部分产生马赛克状的误差（例如，在MPEG2视频等中作为块部位出现的误差）。这是利用增强视频流的位移量和像素值进行补充从而实现不逊色于原图像的影像的再现。图7（a）是该补充结果。在图7（a）中不存在误差。因此，通过将增强视频流与基本视频流同时记录于记录介质，能够在再现装置上执行该原图像的再现。
如果对利用了增强视频流的色彩深度扩展进行导入的话，利用12比特的灰度表现根据如图6（b）所示的4096灰度下的分辨率对该制服的图像的细致度进行再现。由此能够以接近自然图像的美观度对原图像进行再现。
参照图8对于在根据各帧中的位移量b对基本视频流的图片中的灰度比特序列进行位移的案例进行说明。
图8示出8个帧中的图片数据的分配比特量的变化，和该变化时的各个帧中的基本视频图片的像素的灰度位宽和增强视频图片的像素的灰度位宽。
图8的第1段是纵轴为各帧的分配比特量，横轴为时间轴的图表。第2段示出各帧中的基本视频流的图片和增强视频流的图片的比特灰度。基本视频流的图片的位宽都是8比特。相对地，在帧（1）、帧（2）、帧（3）中，增强视频流的图片的像素位宽是4比特、2比特、0比特。在帧（4）、帧（5）中，位宽是3比特、1比特，在帧（6）（7）（8）中是2比特、0比特、3比特。图8的第3段示出将表示基本视频流中的图片的像素灰度的比特序列向上位方向位移多少。在帧（1）、帧（2）、帧（3）中，由于非可逆转换的误差的最上位比特成为4比特、2比特、0比特，基本视频流的图片中的Y、Cr、Cb的灰度比特序列分别仅向上位方向位移4比特、2比特、0比特。在帧（2）、帧（3）中，仅将基本视频流的灰度比特序列位移3比特、1比特，在帧（6）（7）（8）中，仅将基本视频流的图片的灰度比特序列向上位方向位移2比特、0比特、3比特。
参照图9进行说明有关在根据各帧中的位移量b对增强视频流的图片中的灰度比特序列进行位移的案例。
图9示出8个帧中的图片数据的分配比特量的变化，该变化时的各个帧中的亮度Y、红色差Cr、蓝色差Cb的像素比特值，以及将色彩深度扩展至该原图像的像素比特值的情况下的位移范围的设定。
图9的第1段示出纵轴为各帧的分配比特量，横轴为时间轴的图表。在该图表中，在帧（1）中分配比特量升高，帧（2）（3）的分配比特量依次降低。然后，在帧（4）、（5）、帧（6）（7）中重复分配比特量“高”、分配比特量“低”、“高”、分配比特量“低”的变化。在该图表中，帧（1）中的分配比特量最高，接着是帧（2）（6），接着是依次是帧（3）（7）。这是根据各帧中的图案的复杂度和运动的激烈度。
每帧的误差范围的差异作为位移量/增强视频流的像素比特值的差异以帧精度来表现。
第2段示出应该以帧（1）（2）（3）至（7）、帧（8）分别来显示的一个画面量的像素。第3段示出在亮度Y、红色差Cr、蓝色差Cb的灰度中产生非可逆转换中的转换误差的范围的最上位比特。图9的第4段示出增强视频流的灰度比特序列被配置在12比特的范围内的哪个位置。由于在帧（1）、帧（2）、帧（3）中成为12比特、10比特、8比特，因此分别将增强视频流的图片中的Y、Cr、Cb的灰度比特序列配置于第12比特、第10比特、第8比特。在帧（4）、帧（5）中，将增强视频流的灰度比特序列配置于第11比特、第9比特，在帧（6）（7）（8）中配置于增强视频流的图片的灰度比特序列的第10比特、第8比特、第11比特。
由以上可知，表示增强视频流中的图片的像素灰度的比特序列的比特位置根据设定于各帧的位移量而变化。可知，用帧精度将各帧的误差范围的差异作为各帧的位移量的差异、增强视频流的像素比特值的差异进行表现，能够完成体育内容的高品位的再现。该帧精度、像素精度的再现才是上述那样的色彩深度扩展的具体形态之一。
以上是对增强视频流的说明。接着，对将该增强视频流与基本视频流一起记录至记录介质的记录装置的详细情况进行说明。
图10示出记录装置的内部结构的一个示例。如本图所示，记录装置具有：导入部1，其导入由N比特的像素比特值构成的原图像数据；流生成部2，其从原图像数据生成基本视频流和增强视频流；写入部3，其将生成的基本视频流和增强视频流写入至记录介质。
（用于色彩深度扩展的压缩的构造）
图11示出流生成部2的内部结构的一个示例，该流生成部2具有用于色彩深度扩展的视频编码器。如本图所示，流生成部2具有：第1位移电路11，其将原图像的N比特的像素比特值位移至8比特；第1视频编码器12，其对像素比特值转换为8比特的图像数据进行编码；视频解码器13，其对第1视频编码器12的编码结果进行解码，得到由8比特的像素比特值构成的图像数据；第2位移电路14，其将通过视频解码器13的解码而得到的8比特的像素比特值位移至上位方向，得到由N比特的像素比特值构成的图像数据；减算部15，其将由构成原图像数据的N比特的像素比特值减去通过第2位移电路14的位移而得到的N比特像素的比特值；加算部16，其将修正值加算至减算部15的减算结果的N比特像素比特值；第2视频编码器17，其对加算部16的加算结果的8比特的像素比特值和第2位移电路14进行位移时的位移量进行编码处理，得到增强视频流。
由多个图片构成的原图像的各像素的各色彩具有N比特的比特长。在第1位移电路中，所述N比特的原图像从N比特转换为8比特后被输入至第1视频编码器，作为基本视频流而输出。接着，在视频解码器中对从第1视频编码器输出的基本视频流进行解码，输出8比特的影像。该8比特的影像的各像素的各色彩是由图1的灰度比特序列1803构成的影像，各比特序列通过第2位移电路成为N比特的图像。接着，对N比特的原图像和每个从第2位移电路输出的各色彩的N比特灰度比特进行减算处理。这里所说的减算处理相当于：对于各像素的各色彩，从图2说明的灰度比特序列1801中减去N比特化的灰度比特序列1803。
该减算处理的结果是：对于N比特的原图像，得到由包含在基本视频流中丢失的下位比特和由第1第2视频编码器进行压缩时包含误差的下位比特信息（在图1的灰度比特序列1803中作为“相对于原图像而包含误差的下位比特”而记载的信息）的8比特的灰度比特序列构成的差分图像。
由于通过所述减算处理由所述8比特的差分图像构成的数据也存在具有负值的情况，因此根据需要加算修正值使其成为正值后，将其输入至第2视频编码器，并输出增强视频流。
加算部16对表示基本视频流中的图片的像素灰度的比特序列与表示增强视频流中的像素灰度比特序列之间的差分执行正值化。以下对加算部16的正值化转换进行说明。图12示出加算部16的正值化转换过程。图12（a）示出原图像的12比特的数值范围。（b）示出12比特化的基本视频流的灰度的数值范围。（c）示出减算结果，（d）示出希望表现为增强视频流的数值范围。由于减算结果是用附带符号的8比特进行表现，数值范围是-127至+127，因此如果加算“+127”作为修正值则能够将减算结果正值化为0至+254。相反，在再现时通过将增强视频流的像素灰度减去127能够再现-127至+127的差分。
在转换为N比特像素比特值的过程中是否产生误差，可以通过检查由原图像的N比特灰度减去对8比特灰度进行上位位移而得到的N比特灰度而得到的减算结果是否为0来进行判断。并且，通过将该减算结果输入至优先编码器从而能够将该减算结果转换为表示误差范围的上位比特的N比特值。由此能够从任意的帧中取得固有的位移量。
本实施方式的记录装置通过用ASIC等的硬件集成元件对上述那样的记录装置中的各构成要素进行具体实现化从而能够在工业上进行生产。在该硬件集成元件上采用CPU、代码ROM、RAM等常用的计算机构架的情况下，在代码ROM上预先编入有用计算机代码对上述那样的各结构要素的处理步骤进行描述的程序，必须在硬件集成元件内的CPU上执行该程序的处理步骤。对采用常用的计算机系统的构架的情况下，软件安装所需要的处理步骤进行说明。图13是示出记录方法的处理步骤的流程图。
在步骤S1中，将原图像中的图片的各像素转换为N比特灰度，在步骤S2中将原图像的图片中的1秒单位的集合作为编码对象。以下，进入步骤S3至步骤S8。该循环是在原图像的图片的集合中，对作为编码对象的图片进行压缩编码而得到GOP（步骤S3），生成基本视频流和增强视频流的图片（步骤S4），具有存储有预定量GOP的图片（步骤S5）。然后，在将基本视频流的GOP和增强视频流的GOP转换为数据块并进行交互配置的基础上，记录至记录介质中（步骤S6）。步骤S7规定循环的结束条件，判定原图像中是否剩下作为下一个编码对象的图片。如果剩下的话，在步骤S8中从原图像的图片集合中取得作为下一个编码对象的图片并返回步骤S3。通过执行该循环，能够将基本视频流的图片和增强视频流的图片记录至记录介质。
图14示出基本视频流、增强视频流的生成步骤。在本流程图中的变量（i）用于确定成为处理对象的图片的控制变量。因此，在以下的流程图中，在循环的第i循环的处理中记载为成为处理对象的图片（i）。并且，用帧（i）来表示应该显示图片（i）的帧，并且用位移量（i）来表示帧（i）中的固有位移量。
步骤S10规定对构成GOP的各图片重复进行步骤S11至步骤S18的处理的循环结构。将图片（i）作为该重复的对象。在步骤S11中，对图片（i）中的8比特灰度进行扩展并转换至N比特灰度，在步骤S12中，将从原图像的N比特灰度减去基本视频流的图片的N比特灰度的减算结果作为误差范围。在步骤S13中，判断在N比特灰度的原图像中误差范围是否存在于8比特以下的情况。
如果在步骤S13中判定为“是（Yes）”则进入步骤S14。在步骤S14中，将8比特的误差范围或者包含误差范围的8比特作为8比特灰度。如果在步骤S13中判定为“否（NO）”则进入步骤S15。在步骤S15中，从误差范围的最上位中切除8比特作为8比特灰度。在步骤S16中，将修正值加算至8比特灰度进行正值化转换，在S17中将加算结果作为增强视频流的图片的8比特灰度。在S18中，将误差范围的最上位比特作为帧（i）的位移量（i）描述至位移量序列。
以上是对记录装置的说明。接着，对再现装置进行详细说明。
图15示出再现装置的内部结构的一个示例。该再现装置由下列结构构成：驱动器21，其对记录有基本视频流和增强视频流的记录介质进行装入；读出部22，其从记录介质中读出包含基本视频流的传输流和包含增强视频流的传输流；视频解码器部23，其对基本视频流和增强视频流进行解码并得到基本视频流的图片、增强视频流的图片以及位移量；色彩深度扩展部24，其利用增强视频流中的图片和位移量进行色彩深度扩展并得到由N比特的像素比特值构成的图像数据；平面存储器25，其对由N比特像素比特值构成的图像数据进行存储；设备间接口26，其用于将图像数据转送至显示装置。
对从前述基本视频流和增强视频流中，重构N比特的影像的色彩深度扩展部进行说明。
首先，对利用规定于各帧的位移量b对基本视频流的图片的灰度比特序列进行位移的情况下的色彩深度扩展部的内部结构进行说明。图16示出视频解码器部23和色彩深度扩展部24的内部结构的一个示例。如本图所示，视频解码器部23由对基本视频流进行解码的第1视频解码器31和对增强视频流进行解码的第2视频解码器32构成。
色彩深度扩展部24由下列结构构成：第1位移电路33，其仅以位移量b将基本视频流的像素灰度位移至上位方向；减算部34，其由表示增强视频流中的图片的灰度的8比特值减去修正值并将其转换为附带符号的比特值；加算部35，其对基本视频流的图片中的8+b比特灰度和减算部34的减算结果进行加算；第2位移电路36，其仅以（N-8-1）将加算部35的加算结果位移至上位方向，并将其作为N比特灰度。
仅以图像位移量b表示基本影像的各像素的各色彩并通过第1位移电路对其进行位移（相当于在图2中，将灰度比特值1803向左位移并在其下位插入0的处理），将所述增强影像的各像素的各色彩的色彩深度减去修正值后，加算至上述位移后的基本影像，并且通过第2位移电路36仅位移（N-8-1）比特后，作为N比特的图像而输出。在这里，修正值与图11中说明的编码时所使用的修正值的值相同。通过加算部16对修正值进行加算，是为了将减算结果作为增强视频流的各个像素灰度。存在原图像的像素的N比特灰度与通过基本视频流的解码而得到的8比特灰度之间的减算结果成为负值的情况。在这里，作为与解码时共同使用的值，通过将预先规定的修正值加算至8比特灰度比特从而得到正值。由此，能够将上述减算结果作为增强视频流的像素进行使用。
以位移量对表示基本视频流中的图片的像素灰度的比特序列进行位移的图16的色彩深度扩展部的结构用于使扩展后的色彩深度N可变化。在这里，为了使N可变化，仅以位移量b的比特值将基本视频流的灰度向上位方向位移的同时，加算进行正值化的增强视频流的灰度，然后必须仅以N-8-1对加算结果进行位移。在图16的色彩深度扩展部中，因为第2位移电路36具有对原图像中的像素的灰度比特序列的位宽与基本视频流的灰度比特序列的位宽之间的差分（N-8-1）进行调整的作用，所以图18的色彩深度的结构成为与扩展后的色彩深度“N”的可变化相适合的结构。
对在上述再现装置的产品开发时软件安装所需的处理步骤进行说明。图17是示出以基本视频流的位移量b对表示基本视频流中的图片的像素灰度的比特序列进行位移的情况下的色彩深度扩展步骤的流程图。在本流程图中的变量（i）用于确定成为处理对象的图片的控制变量。因此，在以下的流程图中，在循环的第i循环的处理中记载为成为处理对象的图片（i）。并且，用帧（i）来表示应该显示图片（i）的帧，并且用位移量（i）来表示帧（i）中的固有位移量。
本流程图规定了以下循环结构：在步骤S20中打开色彩深度扩展交互流文件，到满足步骤S29的结束条件为止重复进行步骤S21～步骤S28的处理。步骤S21等待判定是否读出基本视频流的GOP和增强视频流的GOP，步骤S22是判断基本视频流的图片和增强视频流的图片的解码是否完成。如果步骤S21、步骤S22为“是”，则在步骤S23中从基本视频流的图片所属的GOP中取出关于GOP的位移量，仅以位移量使基本视频流中的图片的像素的8比特灰度位移至上位方向并使其为N比特灰度。
在步骤S24中，通过从增强视频流的图片中的8比特灰度减去修正值从而将其转换为附带符号的比特值，在步骤S25中将增强视频流的图片（i）的附带符号比特值加算至通过向上位方向的位移而得到的N比特灰度值的下位。在步骤S26中，仅以N-8-1将加算结果向上位方向位移。
在步骤S27中，将以加算结果N比特值作为像素的比特灰度值的图片（i）写入平面存储器。步骤S28判定GOP内是否还存在剩下的图片，如果该步骤为“是”则进入步骤S22。步骤S40在步骤S28判定为“是”的情况下执行，判断再现是否结束。如果没有结束则返回步骤S21。
以上，对利用规定于各帧的位移量b对基本视频流的图片的灰度比特序列进行位移的结构进行的说明。接着，对利用规定于各帧的位移量b对增强视频流的图片的灰度比特序列进行位移的情况的色彩深度扩展部的内部结构进行说明。
图18是从基本视频流和增强视频流中对N比特的影像进行重构的装置的衍生。该衍生的结构将各帧的位移量b作为目标比特位置而进行使用。即，位移量b示出在原图像的N比特的灰度比特序列中转换误差的最上位比特存在于第几比特，因此为了将增强视频流的灰度比特序列移动至该位移量b的比特位置，必须从位移量b中减去增强视频流的灰度比特序列的位宽“8”，并将减算结果“b-8”作为位移计数数量。图中的加算部实现该N-8的运算。与图16相比，本图中的色彩深度扩展部的内部结构存在以下不同点：第1位移电路的位移量始终是固定的，因此不需要将像素值位移量b输入至第1位移电路，不需要N比特像素输出前所需的第2位移电路36。
如图18所示，色彩深度扩展部24由以下结构构成：第1位移电路33，其将8比特基本视频流的图片中的8比特灰度转换为8+b比特灰度；减算部34，将增强图片中的8比特灰度减去修正值并转换为附带符号比特值；第2位移电路36，其仅以（b-8）将由减算部34的减算而转换为附带符号比特序列的增强视频流的像素灰度比特序列位移至上位方向；加算部35，其将第2位移电路36的位移结果加算至基本视频流的图片中的8+b比特灰度，并转换为N比特灰度的像素。
到构成由第1视频解码器31解码的影像的各色彩的比特序列的上位比特为止包含误差的情况下，例如，在基本视频流中的8比特的灰度比特序列中，下位第6比特中包含误差的情况下，在原图像中的像素的灰度比特序列中成为第10（=6+4）比特，因此将像素位移量b设定为“10”。由此在第2位移电路36中，将位移计数10-8=2的“2”设定至第2位移电路。由此，通过对增强视频流进行解码而得到的8比特的灰度比特序列仅向上位方向位移2比特，并且与上述第1位移电路的输出进行加算。
构成由第1视频解码器31解码的影像的各色彩的比特序列中不包含误差的情况，即构成灰度比特序列的12比特的灰度比特序列中仅在下位4比特中包含误差的情况下，将像素值位移量b设定为“4”。这种情况下，由于N-8成为-4，第2位移电路36没有完成增强视频流的位移，将上述第1位移电路的输出加算至通过视频解码器的解码而得到的增强视频流的8比特灰度比特。
用位移量b对表示增强视频流中的图片的像素灰度的比特序列进行位移的图18的内部结构是用于使色彩深度N固定化的结构。这里的色彩深度扩展是指：仅以N-8对基本视频流的图片进行位移的同时，锦衣（b-8）对正值化后的增强视频流的图片灰度进行位移。在图18的色彩深度扩展部中，第2位移电路具有在原图像中的像素的灰度比特序列的位宽中，以位移量b所指定的目标比特位置对增强视频流的灰度比特序列进行变位的作用，因此图18的色彩深度扩展部的结构是与扩展后的色彩深度“N”的固定化相适合的结构。
图19是示出色彩深度扩展步骤的流程图。在本流程图中的变量（i）用于确定成为处理对象的图片的控制变量。因此，在以下的流程图中，在循环的第i循环的处理中记载为成为处理对象的图片（i）。并且，用帧（i）来表示应该显示图片（i）的帧，并且用位移量（i）来表示帧（i）中的固有位移量。
本流程图规定了以下循环结构：在步骤S30中打开色彩深度扩展交互流文件，到满足步骤S39的结束条件为止重复进行步骤S21～步骤S28的处理。步骤S31等待判定是否读出基本视频流的GOP和增强视频流的GOP，步骤S32是判断基本视频流的图片和增强视频流的图片的解码是否完成。如果步骤S31、步骤S32为“是”，则进入步骤S33。
在步骤S33中，仅以位移量将基本视频流中的图片的像素的8比特灰度位移至上位方向并转换为N比特灰度。
在步骤S34中，通过从增强视频流的图片中的8比特灰度减去修正值从而将其转换为附带符号的比特值，在步骤S35中将增强视频流的图片的附带符号比特值加算至通过位移至上位方向而得到的N比特灰度值的下位。
在步骤S36中，判定与增强视频流的帧（i）有关的位移量b（i）是否为8以上。如果不足8的话跳到步骤S37。如果在8以上的话，在步骤S37中仅以（N-8）将增强视频流的图片的灰度比特序列位移至上位方向。在步骤S38中，将以加算结果N比特值作为像素的比特灰度值的图片写入平面存储器。步骤S39判定GOP内是否还存在剩下的图片，如果该步骤为“是”则进入步骤S32。步骤S40在步骤S39判定为“是”的情况下执行判断再现是否结束。如果没有结束则返回步骤S21。
在通过该结构实现色彩深度扩展时，与基本视频流中的各图片的像素的灰度比特相关的比特操作成为重要。由于该比特操作的处理内容的往返是重要的，因此与上述内部结构不同，准备了图20、图21这两个说明图进行详细解说。参照这些说明书进行详细的解说。
图20示出在色彩深度扩展后的图片中如何对存在于坐标（x，y）上的像素的亮度Y、红色差Cr、蓝色差Cb进行转换的转换过程。第1段示出由8比特灰度×3的像素比特值构成的1920×1080的图片基础（i）。第2段示出由在该图片基础（i）中存在于（x，y）的像素构成的亮度Y（x，y）、红色差Cr（x，y）、蓝色差Cb（x，y）。第3段示出与这些亮度Y（x，y）、红色差Cr（x，y）、蓝色差Cb（x，y）相对的位移处理。亮度Y（x，y）、红色差Cr（x，y）、蓝色差Cb（x，y）的位移是通过仅以对应于基础（i）的位移量b（i）将亮度Y（x，y）、红色差Cr（x，y）、蓝色差Cb（x，y）位移至上位方向而完成的。
第4段示出使用了在以帧（i）显示的增强视频流的图片增强（i）中存在于（x，y）的亮度Y（x，y）、红色差Cr（x，y）、蓝色差Cb（x，y）的下位比特设定。如上所述，亮度Y（x，y）、红色差Cr（x，y）、蓝色差Cb（x，y）减去了修正值。由此，将减去了修正值的增强（i）的像素比特值设定于最下位比特，得到12比特×3的像素比特值。第5段示出仅以1920×1080对12比特灰度的像素进行配置而成的色彩深度扩展完成的图片。箭头set1示出使用色彩深度扩展后的像素比特值的像素设定。
图21示出在图20所示的色彩深度扩展过程中使用怎样的参数。第1段示出基本视频流中的图片、增强视频流中的图片、以及位移量序列。在这些基本视频流、增强视频流、位移量序列中进行了以下处理：对在基本视频流中应该由帧（i）显示的图片基础（i）和在增强视频流中应该由帧（i）显示的图片增强（i）设定相同值的PTS，显示于帧（i）。另外，该图片基础（i）所属的GOP的位移量序列中存在b（i）作为帧中的位移量。朝向左下方的箭头cu1、2、3示意性地示出图片基础（i）、图片增强（i）、位移量b（i）是如何设定的。可知，图片基础（i）的（x、y）成为处理对象时，选定帧（i）中固有的b（i）作为位移量参数，并且使用图片增强（i）的（x，y）中的像素比特值作为下位比特。图中的箭头set2示出将经过以上过程而生成的图像作为色彩深度扩展后的像素比特值进行使用。如以上那样，以像素单位对下位比特进行设定。
位移量和增强视频流的像素比特值如图8、图9那样变化的情况下，通过经过如图20所示的色彩深度扩展的过程从而能够将各帧扩展至最优的比特长。该处理是对于构成基本视频流和增强视频流的图片数据之一的一个像素的处理。图片数据具有1920×1080的分辨率，并且在每秒的动态图像中再现24张的图片数据，因此以1920×1080×24的命令完成上述比特操作。
如上所述，根据本实施方式能够向社会输送以下动态图像内容：通过对表示增强视频流中的图片的像素灰度的比特序列和基本视频流的图片中的灰度比特序列进行组合，从而能够还原不逊色于原图像的图像，因此显示装置侧的显示能力能够显示超过8比特的灰度的色彩深度的情况下，如何能够充分发挥该显示能力。由此，能够激活内容业界和显示装置的制造业界，能够带来国内产业的振兴。
（第2实施方式）
本实施方式是使用第1实施方式所说明的基本视频流和增强视频流，用于实现电影作品的发布的实施方式。
图22示出使用第1实施方式的记录介质、再现装置的家庭影院系统。
磁盘介质1001是用于通过蓝光只读磁盘（Blu-ray ReadOnly）的应用格式格式、蓝光可重写应用格式（Blu-ray Rewritable）以及AVC-HD应用格式对以上实施方式所示的基本视频流和增强视频流进行存储的光学式记录介质。
再现装置1002根据规定于上述应用格式的的程序、播放列表信息以及流信息对基本视频流和增强视频流进行读出，并对这些流进行解码处理。并且，根据目前的再现模式，将一个画面量的像素灰度比特序列输出至显示装置。在再现装置1002中，能够设定为通常模式（非色彩深度扩展模式）和色彩深度扩展模式的任意一个。在色彩深度扩展模式中，从再现装置1002中输出的像素比特值成为N比特灰度，在非色彩深度扩展模式中从再现装置1002中输出的像素比特值成为8比特灰度。
显示装置1003经由设备间接口接受从再现装置1002发送出来的一个画面量的像素比特值，根据该像素比特值通过驱动显示面板的显示元件从而进行图像显示。该图像显示中除了存在8比特的灰度的通常模式（非色彩深度扩展模式）之外，还存在12比特的灰度的色彩深度扩展模式。以上是对家庭影院系统的说明。接着，对磁盘介质进行详细说明。
图23示出作为多层次化的光盘的磁盘介质的内部结构的一个示例。
第1段示出多层次化的光盘的一个示例，第2段是将存在于各记录层上的螺旋磁道拉伸至水平方向而描绘的图。将这些记录层中的螺旋磁道作为一个连续的卷区域进行操作。卷区域由位于最内周的读入区、位于最外周的读出区、以及存在于读入区与读出区之间的记录层1的记录区域、记录层2的记录区域、记录层3的记录区域构成。这些记录层1的记录区域、记录层2的记录区域以及记录层3的记录区域构成一个连续的逻辑地址空间。
通过对光盘进行访问的单位从最前头开始对卷区域赋予连续序号，将该序号称为逻辑地址。通过指定逻辑地址对来自光盘的数据进行读出。在这里，蓝光只读磁盘那样的读取专用磁盘的情况下，基础上逻辑地址连续的扇形在光盘上的物理性配置上也是连续的。即，可以对逻辑地址连续的扇形的数据进行读出而不进行搜寻。但是，在记录层的边界上，即使逻辑地址是连续的也不能进行连续的读出。因此，利用预先登记在记录装置中的层边界的逻辑地址。
卷区域在紧接着读入区域之后对文件系统管理信息进行记录，接着，在文件系统管理信息上存在所管理的分区区域。文件系统是通过将磁盘上的数据称为目录或者文件的单位来表现的构造，在蓝光只读磁盘的情况下通过UDF（通用光盘格式，Universal DiscFormat）进行记录。在日常使用的PC（个人电脑）的情况下，通过经由被称为FAT或者NTFS的文件系统，从而以目录或者文件的结构将记录于硬盘上的数据表现在计算机上，能提高可用性。通过该文件系统，与通常的PC一样能够使用目录、文件结构对记录的逻辑数据进行读出。
第4段示出文件系统所管理的文件系统区域中的区域分配。文件系统区域中的内周侧存在非AV数据记录区域。紧接着非AV数据记录区域之后，存在AV数据记录区域。第5段示出这些非AV数据记录区域和AV数据记录区域的记录内容。AV数据记录区域中存在构成AV文件的区段。非AV数据记录区域中存在构成AV文件以外的非AV文件的区段。
图24示出基于文件系统的光盘的应用格式。
BDMV目录是记录有通过蓝光只读磁盘进行操作的传输流和管理信息等的数据的目录。BDMV目录下面存在被称为“BDJO目录”、“JAR目录”、“播放列表目录”、“CLIPINF目录”、以及“STREAM目录”的五个字目录，BDMV目录中配置有“index.bdmv”、“MovieObject.bdmv”两种文件。
“index.bdmv（文件名固定）”存储索引表。索引表对再现装置中的标题序号寄存器中存储得到的多个标题序号与规定动作模式的程序文件之间的对应关系进行规定。在这里，标题序号寄存器中的标题序号中有0、1至999、不定值（0xFFFF）这样的序号。标题序号0是顶层菜单标题的标题序号。顶层菜单标题是通过用户通过菜单调用操作而能够调用的标题。不定值（0xFFFF）的标题序号是最先播放标题的标题序号。所谓最先播放标题，是在记录介质的刚装入后进行向视听者的警告或内容提供商的标志显示等的标题。索引表具有分别对应于各标题号的入口（索引表入口），通过在各个索引表入口中描述规定动作模式的动作模式对象，详细地规定各个标题以怎样的动作模式动作。
“MovieObject.bdmv（文件名固定）”存储有1个以上的电影对象。电影对象是在将命令解析器作为控制主体的动作模式（HDMV模式）中，对再现装置应该进行的控制步骤进行规定的程序文件，包含屏蔽标记，该屏蔽标记规定在由用户进行了1个以上的命令和针对GUI的菜单调用、标题调用的情况下，是否屏蔽这些调用。
“BDJO目录”中存在赋予了扩展符bdjo的程序文件（xxxxx.bdjo[，“xxxxx”是可变的，扩展符“bdjo”是固定的）。该程序文件在对象指向编程语言的动作模式中，对BD-J对象进行存储，该BD-J对象是对再现装置应该进行的控制步骤进行规定的程序文件。
该Java（注册商标）应用的实体是存储于BDMV目录下面的JAR目录中的Java（注册商标）存档文件（YYYYY.jar）。应用是例如Java(注册商标)应用，由加载于虚拟机器的堆区域（也称工作存储器）的1个以上的xlet程序构成。加载于该工作存储器的xlet程序以及数据构成应用。
“PLAYLIST目录”中存在赋予了扩展符mpls的程序文件（xxxxx.mpls[，“xxxxx”是可变的，扩展符“mpls”是固定的）。将被赋予扩展符mpls并存储于BDMV目录的播放列表信息文件称为“mpls文件”。
“CLIPINF目录”中存在赋予了扩展符mpls的剪辑信息文件（clpi.mpls[，“xxxxx”是可变的，扩展符“clpi”是固定的）。
将构成存在于以上目录的文件的区段记录于非AV数据区域。
“STREAM目录”是存储有流文件的目录，本目录中以xxxxx.m2ts（[「xxxxx」是可变的，扩展符“m2ts”是固定的）的形式存储有流文件。将扩展符是mp2s、存储于BDMV目录的流文件称为“m2ts文件”。
CLREXT目录是BDMV中存在的程序文件、播放列表信息文件、剪辑信息文件以及流文件的扩展版，存在色彩深度扩展适合程序文件、色彩深度扩展播放列表信息文件、色彩深度扩展剪辑信息文件和色彩深度扩展流文件。该色彩深度扩展交互流文件才是通过对基本视频流和增强视频流进行交互配置而生成的色彩深度扩展交互流文件。此外，CLREXT目录中存在扩展功能判定文件。在进行使色彩深度扩展程序文件适合色彩深度扩展的处理时，该扩展功能判定文件用于扩展功能的能力判定。这些色彩深度扩展目录的文件中，在螺旋磁道的内周侧记录有色彩深度扩展对应剪辑信息文件、色彩深度扩展对应播放列表信息文件、色彩深度扩展对应程序文件以及扩展功能判定文件。色彩深度扩展流文件记录于螺旋磁道的外周侧。这样进行记录是为了在色彩深度扩展流文件的读取之前将色彩深度扩展对应剪辑信息文件、色彩深度扩展对应播放列表信息文件、色彩深度扩展对应程序文件以及扩展功能判定文件取入至存储器。
图25示出色彩深度扩展交互流文件、m2ts文件、以及文件基础的相互关系。第1段示出m2ts文件，第2段示出记录介质上的数据块。数据块中存在包含基本视频流的传输流（主TS）的一部分（基本数据块）和包含增强视频流的传输流（子TS）的一部分（增强数据块）。基本数据块存在以下几种：通过非色彩深度扩展模式和色彩深度扩展模式这两者进行访问（图25中的数据块B[1]、B[2]）的基本数据块；仅通过非色彩深度扩展模式进行访问而不通过色彩深度扩展模式进行访问（图25中的B[3]ne、B[4]ne:no-color depth extention）的基本数据块；以及不通过非色彩深度扩展模式进行访问而只通过色彩深度扩展模式进行访问（图25中的B[3]ce、B[4]ce:color depth extention)）的基本数据块。通常，基本数据块由非色彩深度扩展模式和色彩深度扩展模式共同使用，但是基本数据块中配置于记录层的边界的基本数据块分离为B[x]ce和B[x]ne。这是因为在层边界附近，为了确保连续长度而必须将非色彩深度扩展模式的再现路径和色彩深度扩展模式的再现路径分离。另一方面，增强数据块有数据块E[1]、E[2]、E[3]构成。箭头ex1、ex2、ex3、ex4示出如下归属关系：第2段中的数据块E[1]、B[1]、E[2]、B[2]、E[3]、B[3]ce、D[4]、B[4]ce、B[3]ne、B[4]ne中，B[1]、B[2]、B[3]ne、B[4]ne构成m2ts文件的区段。
以上是对数据块的说明。接着，对通过这些数据块的区段构成的流文件的详细情况进行说明。第3段示出交互流文件，第4段示出文件基础，第5段示出文件增强。文件基础是由数据块B[x]ne(non-color depth Extention)和数据块B[x]构成的文件，在非色彩深度扩展模式中进行再现。存在剪辑基本信息作为对应于该文件基础的剪辑信息。
文件增强是由E[x]构成的文件，在色彩深度扩展模式中进行访问。存在剪辑增强信息作为对应于该文件增强的剪辑信息。剪辑基本信息包含基本入口映射，该基本入口映射是用于在基本视频流中对GOP开头的I图片和IDR图片进行随机访问的入口映射。剪辑基本信息包含增强入口映射，该扩展入口映射是用于在增强视频流中对GOP开头的I图片和IDR图片进行随机访问的入口映射。由于存在这些剪辑基本信息和剪辑增强信息，将文件基础和文件增强分别作为另外的AV剪辑进行操作。
箭头ex5、ex6示出如下归属关系：数据块中E[1]、B[1]、E[2]、B[2]、E[3]、B[3]ce、E[4]、B[4]ce构成交互流文件的区段。
第4段示出构成该交互流文件的数据块中，B[1]、B[2]、B[3]ce、B[4]ce成为文件基础的区段，第5段示出构成交互流文件的数据块中，E[1]、E[2]、E[3]、E[4]成为文件增强的区段。
文件基础、文件增强以及m2ts文件由1个以上的区段构成。区段除了对该数据长度的下限值进行规定之外，能够使数据长度自由地变化。作为该下限值的数据长度，将基于用于立体视再现的播放模式的BBD-3D播放器模型进行规定。
以下对构成文件基础、文件增强、m2ts文件的区段的下限值进行说明。
文件基础的区段具有与区段EXT1[n]相同的下限值，该区段EXT1[n]是在BBD-3D播放器模型中的基本视视频流的文件区段。这种情况下，包含基本视频流的文件基础EXT1[n]的下限值是通过色彩深度扩展模式的再现时中的各基本数据块的最后区段到下一个增强数据块的第一个区段为止的跳转期间和该增强数据块的最后的区段到下一个基本数据块的第一个区段为止的跳转区间，以不产生双缓冲器的下溢的方式决定的。这里的双缓冲器由第1读出缓冲器和第2读出缓冲器构成。第1读出缓冲器与蓝光只读设备的2D模式的再现装置的读出缓冲器是同一种东西。
在色彩深度扩展模式中，从构成第n个基本数据块的最后区段到构成第p个增强数据块的第一个区段为止的跳转需要时间TFjump3D(n)，从构成第p个增强数据块的最后一个区段到构成第（n+1）个基本数据块的第一个区段为止的跳转需要时间TBjump3D(n)。这里的TFjump3D(n)和TBjump3D(n)式BD-3D播放器模型中的3D再现模式下的跳转时间。
而且，以速度Rud3D将各基本数据块读出至第1读出缓冲器，以速度Rud3D将各增强数据块读出至第2读出缓冲器，并且，以平均速度Rbext3D将所述基本数据块从读出缓冲器1转送至视频解码器时，通过以下条件A的公式来表示EXT1[n]的下限值。
<条件A>
EXT1[n]的下限值≧（Rud3D×Rbext3D）/(Rud3D－Rbext3D)×(TFjump3D（n）＋EXT2[n]/(Rud3D＋TBjump3D(n)))
构成文件增强的区段具有与EXT2[n]相同的下限值，该EXT2[n]是BD-3D播放器模型中的从属视（dependent view）视频流的文件区段。EXT2[n]的下限值是通过在色彩深度扩展模式的再现时，从某个增强数据块的区段到下一个基本数据块的区段为止的跳转期间和该基本数据块的区段到下一个增强数据块的区段为止的跳转期间，以再现装置中的双缓冲器中不产生下溢的方式决定的。从构成第（n+1）个基本数据块的最后的区段到构成第（p+1）个增强数据块的第一个区段为止的跳转是时间TFjump3D(n+1)，并且，以平均速度Rdext3D将所述从属视视频流从读出缓冲器2转送至解码器时，通过以下条件B的公式来表示EXT2[n]的下限值。速度Rud3D和平均速度Rbext3D是BD-3D播放器模型中的3D再现模式下的转送时间。
<条件B>
EXT2[n]的下限值≧（Rud3D×Rbext3D）/(Rud3D－Rdext3D)×(TBjump3D（n）＋EXT1[n+1]/(Rud3D＋TFjump3D(n+1)))
在构成色彩深度扩展交互流文件的区段中，成为与m2ts文件相同结构要素的区段具有与区段“EXT2D”相同的下限值，该区段“EXT2D”是在BD-3D播放器模型中仅在2D输出模式下读出的。EXT2D的下限值是在非色彩深度扩展模式的再现时，在从各基本数据块的最后一个区段到下一个基本数据块的第一个区段为止的跳转期间中，以不产生再现装置中的读出缓冲器的缓冲下溢的方式决定的。
从第n个基本数据块到第（n+1）个基本数据块之间的跳转需要时间Tjump2D(n)，以速度Rud2D从读出缓冲器中读出各基本数据块，并且，以平均速度Rbext2D将所述基本数据块从读出缓冲器转送至视频解码器时，通过以下条件C的公式来表示EXT2D的下限值。
<条件C>
EXT2D的下限值≧（Rud2D×Rbext2D）/(Rud2D－Rbext2D)×Tjump2D（n）构成文件基础的数据块中，构成仅在深度扩展模式中再现的数据块（数据块B[n]ce）的区段与在BD-3D播放器模型中仅在3D再现模式下进行读出的区段（区段Sextss）具有相同的下限值。这里的Sextss作为满足以下条件D的值而算出。
<条件D>
SextSS[Byte]≧ceil[(Tjump＋Tdiff×Rud72)/(1000×8))×(Rextss×192)/(Rud72×188－Rextss×192)]
这里，Rud72是来自3D再现模式中的BD-ROM驱动器的72mbps数据速率，Tdiff是在对构成增强数据块的区段EXT2[n]进行读出时的延迟时间。
图25（b）示出主TS的内部结构，图25（c）示出子TS的内部结构的一个示例。如图25（b）所示，主TS包含1支基本视频流、32支PG流、32支IG流和32支音频流。如图25（c）所示，子TS包含1支增强视频流、32支PG流和32支IG流。
接着，对作为复用于TS的基本流（ES）的视频流、音频流、演示图形流以及交互图形流进行说明。
在图25（b）中，将视频流、音频流、演示图形流（PG）以及交互图形流中的一个以上复用于主TS中。
音频流中存在主声音音频流和副声音音频流这个两种类。在进行混合再现的情况下主声音音频流是应该成为主声音的音频流，在进行混合再现的情况下副声音音频流是应该成为副声音的音频流。副声音流中存在用于该混合的用于缩减像素采样的信息和用于增益控制的信息。
演示图形流（PG流）通过在解码器中采用流水线，能够实现与影像之间的细致的同步，适合于字幕显示的图形流。通过实现流水线的解码动作，能够实现与动态图像之间的细致的同步，因此PG流的用途不仅限于字幕那样的文字再现。对电影作品的吉祥物进行显示，使其与动态图像同步并进行动作等，只要是需要细致的同步的图形再现，能够采用任何东西作为PG流的再现对象。
交互图形（IG）流是如下图形流：通过具有对话操作信息，能够随着视频流的再现进行对菜单进行显示，并且根据用户操作而对顶层菜单进行显示。
视频流中存在构成画中画的母画面影像和构成子画面影像的视频流。对这些构成母画面影像的视频流和构成子画面影像的视频流的共同结构进行说明。在MPEG-2、MPEG-4AVC、SMPTE VC-1等的动态图像压缩编码中，利用动态图像的空间方向和时间方向的冗余性进行数据量的压缩。作为利用时间方向的冗余性的方法，使用图片间预测编码。在图片间预测编码中，在对某图片进行编码时，根据显示时间顺序将其前方或者后方的图片作为参照图片。并且，从该参照图片中检测运动量，对于进行了运动补偿的图片与编码对象的图片之间的差分值通过消除空间方向的冗余性从而进行数据量的压缩。
在这里，将仅使用编码对象图片而不使用参照图片并进行图片内预测编码的图片称为内部（I）图片。图片是包含帧和场这两者的1个编码单位。并且，参照已处理完的1张图片将进行图片间预测编码的图片称为预测（P）图片，将同时参照已处理的2张图片而进行图片间预测编码的图片称为双预测（B）图片，将B图片中的由其他图片参照的图片称为Br图片。此外，在此将帧构造的情况下的帧、场构造的场称为视频访问单元。
通过PID对包含于AV剪辑的各流进行识别。例如，分别将排列x1011分配至利用于电影的影像的视频流，将排列x1100至0x111F分配至音频流，将排列x1200至0x121F分配至演示图形，将排列x1400至0x141F分配至交互图形流，将排列x1B00至0x1B1F分配至用于电影的子画面影像的视频流，将排列x1A00至0x1A1F分配至用于与主声音混合的副声音的音频流。
接着，对主TS的内部结构进行详细说明。图26示出主TS的生成过程。图26（a）示意性地示出如何对主TS进行复用。首先，将由多个视频帧构成的视频流501和多个音频帧构成的音频流504分别转换为PES包列502和505，转换为TS包503和506。同样，将演示图形流507和交互图形510的数据分别转换为PES包列508及511，进而转换为TS包509及512。构成为AV剪辑513将这些TS包复用为1支流。
图26（b）示出更加详细地示出在PES包列中以何种方式保存视频流。本图中的第1段表示视频流的视频帧列。第2段表示PES包列。如本图的箭头yyl、yy2、yy3、yy4所示，按照每个图片对作为视频流中的多个视频演示单元(Video Presentation Unit)的I图片、B图片、P图片进行分割，并保存于PES包的有效负载中。各PES包具有PES包头，在PES包头中保存有图片的显示时刻即PTS(Presentation Time-Stamp)和图片的解码时刻即DTS(DecodingTime-Stamp)。
图26（c）表示最终写入AV剪辑中的TS包的形式。TS包是由具有识别流的PID等信息的4Byte的TS包头和保存数据的184Byte的TS有效负载构成的188Byte固定长度的包，对上述说明的PES包进行分割并保存于TS有效负载。BD-ROM的情况下，对TS包赋予4Byte的TP_Extra_Header，构成192Byte的源包，并写入AV剪辑。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向后述的系统目标解码器的PID滤波器的转送开始时刻。如图28(c)的下段所示，AV剪辑中排列有源包，从AV剪辑的开头递增的序号被称为SPN(源包号码)。
此外，在AV剪辑中包含的TS包中，除了影像·声音·字幕等各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(ProgramClockReference)等。PAT表示在AV剪辑中利用的PMT的PID是什么，按照PAT自身的PID排列进行登记。PMT具有保存着AV剪辑中包含的影像·声音·字幕等各流的PID和对应于各PID的流的属性信息，此外，具有关于AV剪辑的各种描述符。在描述符中，有指示许可·不许可AV剪辑的拷贝的拷贝控制信息等。PCR为了取得ATS的时间轴即ATC(Arrival Time Clock)与PTS·DTS的时间轴即STC(System Time Clock)的同步，具有对应于将该PCR包转送至解码器的ATS的STC时间的信息。在AV剪辑的主TS的开头，保存有PAT包、PMT包。
图26（d）对PMT的数据构造进行详细说明。在PMT的开头，配置有描述有包含于该PMT中的数据的长度等的PMT包头。在其后面配置有多个与作为AV剪辑有关的表描述符。将上述的拷贝控制信息等作为表描述符进行记载。在表描述符之后，配置有多个与包含于AV剪辑中的各流有关的流信息。流信息为了识别流的压缩编解码器等，由记载有流类型、流的PID、流的属性(帧率、纵横比等)的流描述符构成。流描述符的数量与AV剪辑中存在的流的数量相同。
以上是对于主TS的说明。接着，对子TS进行详细说明。子TS中仅存储有用于色彩深度扩展的增强视频流，这一点与主TS不同。在将基本视频流和增强视频流转换为NAL单元形式的基础上，进一步转换为MPEG2-TS形式。由于基本视频流和增强视频流都被转换为NAL形式并且记录于记录介质中，因此可以接受如下的混合操作：将基本视频流的一部分与增强视频流的一部分混合在一起进行记录，并送入视频解码器。
图27示出增强视频流的内部结构的一个示例。第1段是多个GOP，第2段示出构成GOP的多个视频访问单元。这些视频访问单元相当于图片数据，在GOP中的各个显示帧（图中的Frame(1)～Frame(number＿of＿displayed＿frames＿in＿GOP））中进行显示。
第3段示出视频访问单元的内部结构的一个示例。各视频访问单元通过分别对视频访问单元分割符、序列参数集、图片参数集、SEI（Supplemental EnhancementInformation补充增强信息）信息、对原图像中的像素的灰度比特序列进行减算而得到的切片数据序列、序列终端代码、流终端代码进行NAL单元化并排列而构成。
对以上中的存储于1个NAL单元的序列参数集（SPS）和存储于1个NAL单元的图片参数集（PPS）进行说明。
存储于1个NAL单元的序列参数集（SPS）中存在序列序号，存储于1个NAL单元的图片参数集（PPS）中也存在序列序号的参考。通过沿着该PPS内的参考，能够确定存储有PPS的NAL单元归属于存储于交互流文件的1个比特流内的基本视频流的序列和增强视频流的序列中的哪一个序列。由此，通过使用该序列序号的参考，能够将存储有PPS的NAL单元分类为基本视频流的序列和增强视频流的序列。
NAL单元和片头中都配置有SPS序号参考，因此能够得知各切片数据归属于基本视频流的序列和增强视频流的序列中的哪一个序列。另外，由于片头中存在PPS序号的参考，因此可以得知各切片数据归属于哪一个图片。有了这些线索，通过将切片数据统合至构成相同序列且相同图片的每个片头，从而能够从NAL单元中对图片数据，即基本图片数据和增强图片数据分别进行还原。
此外，由于在NAL单元化的片头中存在帧序号，能够得知各切片数据归属于哪一个帧，有了这些线索，能够从处于混合状态的NAL单元中对构成相同帧的基本图片数据和增强图片数据的组合进行还原。
并且，SEI信息中存在位移量序列。位移量序列由帧（1）的图片的像素比特值的位移量（1）、帧（2）的图片的像素比特值的位移量（2）、帧（3）的图片的像素比特值的位移量（3）、帧（4）的图片的像素比特值的位移量（4）……帧（N）的图片的像素比特值的位移量（N）构成。图27中的位移量序列中的各位移量与依显示顺序排列的各图片对应，将固有的位移量规定于应该显示该图片的帧。
可知，在以上的增强视频流的数据构造中，位移量的差异是以帧的精度来表现的。
以上是对主TS、子TS的说明。为了使这些主TS、子TS的随机访问成为可能，在记录介质中准备有剪辑信息作为专用的信息。上述文件结构中的剪辑信息文件存储有该剪辑信息。
剪辑信息文件是如图28（a）所示的AV剪辑的管理信息，与AV剪辑一一对应，由片断信息、流属性信息以及入口映射构成。剪辑信息中具有用于包含有基本视频流的主TS的剪辑基本信息和用于包含有增强视频流的子TS的剪辑增强信息，这些信息存储于剪辑信息文件。图28示出剪辑信息文件的内部结构。
剪辑信息如图28（a）所示，由系统速率、再现开始时刻、再现结束时刻构成。除了这些，还具有区段开始点信息作为用于对交互流文件进行访问的信息。
系统速率表示AV剪辑的、向后述的系统目标解码器的PID滤波器器的最大转送速率。作为包含于AV剪辑的ATS的间隔被设定为系统速率以下。再现开始时刻是AV剪辑的开头的视频帧的PTS，再现结束时刻被设定为AV剪辑的终端的视频帧的PTS加上1帧量的再现间隔而得到的时刻。
如图28（b）所示，流属性信息按照每个PID对关于包含于AV剪辑的各流的属性信息进行登记。流属性信息具有按每个视频流、音频流、演示图形流以及交互图形流而不同的信息。视频流属性信息具有该视频流以怎样的压缩编解码器被压缩、构成视频流的各个图片数据的解析度如何、纵横比如何、帧率如何等的信息。音频流属性信息具有该音频流以怎样的压缩编解码器被压缩、该音频流中包含的声道数为多少、对应于哪种语言、采样频率如何等信息。这些信息用于播放器设备再现之前的解码器的初始化等。
如图28（c）所示，入口映射是如下的表信息：该表信息记载有入口映射包头信息1101、示出包含于AV剪辑内的视频流的各I图片的显示时刻的PTS、以及开始各I图片的AV剪辑的SPN的。在这里将以表的一个行表示的成对的PTS和SPN信息成为入口点。此外，将开头作为0，将对各入口点的每一个递增而得到的值称为入口点ID(以下称为EP_ID)。通过利用该入口映射，再现机能够确定保存有与视频流的时间轴上的任意地点对应的AV剪辑的文件位置。例如，在快进·返回的特殊再现时，通过确定、选择并再现在入口映射登记的I图片，不必对AV剪辑进行解析，就能够有效地进行随机访问。此外，按照复用在AV剪辑内的各视频流的每一个制作入口映射，由PID管理。进而，在入口映射中，在开头保存有入口映射包头信息1101，在此，保存有该入口映射所指的视频流的PID和入口点数量等信息。
图28（d）示出区段开始点信息表的内部结构的一个示例。如本图所示，区段开始点信息表由number_of_extent_start_points和number_of_extent_start_points个的SPN_tart_point构成。
number_of_extent_start_points表示归属于相关AV流文件的区段的个数。剪辑基本信息中的区段开始点信息表与剪辑增强信息中的区段开始点信息表的对与number_of_extent_start_points为相同值。
SPN_start_point(SPN_extent_start[0]～SPN_extent_start[number_of_extent_start_point])由number_of_extent_start_point+l个SPN_extent_start构成。SPN_extent_start由区段标识符[extent_id]指示，是表示AV流文件中第extent_id个区段开始的源数据包的源数据包序号的32位的值。
接着，对播放列表文件(YYY.MPLS)进行说明。
由播放列表文件定义的再现路径是所谓“多路径”。多路径是将对包含基本视频流的成为“主”的传输流进行定义的再现路径(主路径)和对包含增强视频流的成为“从”的传输流进行定义的再现路径(子路径)结合而成的。如果在该多路径中规定基本视频流的再现路径，在子路径中规定从属视频流的再现路径的话，能够最佳地对用于色彩深度扩展模式的基本视频流和增强视频流的组合进行规定。播放列表信息具有播放项目信息-流信息-传输流的阶层构造，对于传输流和流信息的组与播放项目信息的比率，为1对多的关系，能够根据多个播放项目信息来多重参照1个传输流。从而，通过将为了某个播放列表制作的传输流采用为库电影（bank film)，通过多个播放列表信息文件中的播放项目信息来参照该传输流，由此能够高效制作电影作品的变更。
图29示出播放列表信息的内部结构的一个示例。如图29（a）所示，播放列表信息包含表示与成为“主”的TS相对的再现路径的定义的“主路径信息”、表示与从属“从”的TS相对的再现路径的定义的“子路径信息”、用于对再现区间设定映射标记和链接点的“播放列表标记信息”和“扩展数据”。如图29（c）所示，播放列表由一个以上播放项目1201构成，各播放项目表示对AV剪辑的再现区间。各播放项目1201分别由播放项目ID识别，按播放列表内应再现的顺序描述。另外，播放列表包含表示再现开始点的入口标志1202。入口标志1202可赋予由播放项目定义的再现区间内，附加于相对于播放项目应成为再现开始点的位置，用于出头再现。播放列表信息包含表示播放项目中标记点在哪里的时间戳和表示标记点的属性的属性信息，该属性信息表示由播放列表标记信息定义的标记点是链接点还是入口标记。
链接点是虽然可基于链接命令链接，但在由用户执行章节跳过操作的情况下是不构成选择对象的标记点。
入口标记是可基于链接命令的链接，且在由用户执行章节跳过操作的情况下是构成选择对象的标记点。
组入IG流的按钮信息内的链接命令以经由播放列表标记信息的间接参照形式来指定出头位置。
利用图29（c）对播放项目信息的内容进行说明。播放项目中包含：剪辑信息参照符1301，其利用剪辑信息文件的文件名（clip_information_file_name）对视频流再现时应该参照的剪辑信息进行指定；AV剪辑的再现开始时刻1302，其在视频流的STC时间轴上对应该开始再现的时间点（In_Time）进行指定；AV剪辑的再现结束时刻1303，其在视频流的STC时间轴上对应该结束再现的时间点（Out_Time）进行指定；连接条件1310；以及基本流选择表1305。再现开始时刻与再现终止时刻是时间信息，所以再现器参照剪辑信息文件的入口地图，取得与指定的再现开始时刻和再现终止时刻相对应的SPN，确定读出开始位置并进行再现处理。
连接条件1310表示前方播放项目与连接类型。在播放项目的连接条件1310为“1”的情况下，播放项目所指示的AV剪辑表示不保证与该播放项目之前的播放项目所指示的AV剪辑无缝连接。在播放项目的连接条件1310为“5”或“6”的情况下，播放项目所指示的AV剪辑保证与该播放项目之前的播放项目所指示的AV剪辑无缝连接。连接条件1310为“5”是伴随清零制动的无缝连接。这里的“清零制动”的意思是：可以在播放项目间在播放项目间中断STC的连续性，即连续后播放项目的AV剪辑开头的视频显示时刻开始时刻比连续前播放项目的AV剪辑终端的视频显示时刻还不连续。但是，当将连续前播放项目的AV剪辑输入至后述的系统目标解码器1503的PID滤波器之后，接着将连续后播放项目的AV剪辑输入至系统目标解码器1503的PID滤波器并进行再现时，需要系统目标解码器1503的解码无破绽地制作AV剪辑。另外，存在连续前播放项目的AV剪辑的音频终端帧与连续后播放项目的音频开头帧在再现时间轴上必须不重合等制约条件。
连接条件1310为“6”是“ATS、PTS中存在连续性的清零制动连接”当结合连续前播放项目的AV剪辑与连续后播放项目的AV剪辑时，必须能够作为一个AV剪辑进行再现。即，连续前播放项目的AV剪辑与连续后播放项目的AV剪辑之间STC连续，另外ATC也连续。
基本流选择表1305由多个流入口1309构成，流入口1309由流选择序号1306、流路径信息1307以及流识别信息1308构成。流选择序号1306是从基本流选择表中包含的流入口1309的开头依次递增的序号，用于播放器上的流识别。流路径信息1307是表示将由流识别信息1308所示的流多路复用于哪个AV剪辑上的信息，例如若是“主路径”，则表示对应的播放项目的AV剪辑，若是“子路径ID=1”，则表示该子路径ID所示的子路径中，对应于该播放项目的再现区间的子播放项目的AV剪辑。流识别信息1308是PID等信息，表示复用于所参照的AV剪辑的流。另外，流入口1309中还同时记录有各流的属性信息。这里，所谓属性信息是表示各流的性质的信息，例如在音频、演示图形以及交互图形的情况下，包含语言属性等。
如图29（d）所示，播放列表可以具有1个以上的子路径。子路径按注册到播放列表的顺序分配ID，作为子路径ID，用于识别子路径。子路径表示与主路径同步再现的一连串再现路径。子播放项目具有与子播放项目一样再现的剪辑信息1301、再现开始时刻1302和再现终止时刻1303，子播放项目的再现开始时刻1302和再现终止时刻1303以与主路径相同的时间轴表示。例如，登记于播放项目#2的流选择表1305中的某个流入口1309以子路径ID=0表示演示图形1的情况下，在子路径ID=0的子路径中，复用于与播放项目#2的再现区间中同步再现的子播放项目#2的AV剪辑中的演示图形1在播放项目#2再现区间中进行再现。另外，子播放项目中存在与播放项目的连接条件具有相同含义的SP连接条件等字段。SP连接条件为“5”或“6”的子播放项目边界的AV剪辑需要遵守与连接条件“5”或“6”相同的上述条件。
图29（e）中的扩展数据是仅存在于色彩深度扩展播放列表的信息元素，包含扩展流选择表。扩展流选择表具有增强视频流的流入口和流属性，通过该流入口在再现装置上对增强视频流的复用分离进行指示。
图30示出根据记录于BDMV目录的播放列表文件（mpls文件）而定义的播放列表和色彩深度扩展播放列表。第1段示出BDMV目录的播放列表信息，第2段示出基本数据块，第3段示出色彩深度扩展播放列表，第4段示出增强数据块。
箭头rf1、rf2、rf3示出对BDMV目录的播放列表信息的播放项目信息中的clip_information_file_name中描述的文件名00001与扩展符m2ts进行组合的再现路径。此时，由数据块B[1]、B[2]、B[3]ne构成基本视频侧的再现路径。
箭头rf4、rf5、rf6、rf7表示由色彩深度扩展播放列表信息的播放项目信息指定的再现路径。此时，使用B[1]、B[2]、B[3]ce、B[4]ce构成基本视频侧的再现路径。
箭头rf8、rf9、rf10、rf11表示由色彩深度扩展播放列表信息的子播放项目信息指定的再现路径。此时，使用E[1]、E[2]、E[3]、E[4]构成增强视频侧的再现路径。构成由这些播放项目信息和子播放项目信息所指定的再现路径的数据块能够通过对描述于播放项目信息中的clip_information_file_name的文件名与扩展符ceif组合并进行文件打开来读出。
在将主TS、子TS存储于立体视交互流文件的情况下，BDMV目录的播放列表的播放项目信息中的clip_information_file_name对m2ts文件的文件名进行描述。色彩深度扩展播放列表的播放项目信息中的clip_information_file_name对文件基础的文件名进行描述。文件基础是虚拟的文件，其文件名与立体视交互流文件相同，所以只要将立体视交互流文件的文件名描述于播放项目信息中的clip_information_file_name即可。扩展流选择表的流登录信息中的ref_to_subclip_entry_id对文件增强的文件名进行描述。文件增强的文件名是在立体视交互流文件的识别序号加上1。
如上所述，由于能够将基本视频数据块与增强视频数据块存储至一个交互流文件中，同时将交互流文件作为文件m2ts、文件基础及文件增强中任意一个文件进行打开，所以在解码器侧能够与通常的流文件一样对交互流文件进行处理。因此，可在基本视频流、增强视频流的存储方式中积极地取入交互流文件。
此外，在色彩深度扩展播放列表中，利用播放列表信息的主路径信息和子路径信息，能够将基本视频流和增强视频流统合为1个多路径。由此，基本视频流和增强视频流不是如第1实施方式所示的那样地采取色彩深度扩展交互流文件的形式，而是能够以Out-of-MUX的形式进行记录。不仅能够存储并记录于同一记录介质的不同流文件，也能够存储并记录于不同记录介质的不同流文件。
能够允许以Out-of-MUX的形式对用于色彩深度扩展的增强视频流和对应于色彩深度扩展的播放列表信息进行存储，作为仅将基本视频流记录于蓝光只读磁盘的包介质进行销售，作为对购入该包介质的用户的特别待遇，能够提供增强视频流。即，将仅记载有基本视频流的包介质的蓝光只读磁盘装入至再现装置时，再现装置从服务器中下载包含对应于该基本视频流的增强视频流的AV剪辑和对应于该AV剪辑的剪辑信息文件、色彩深度扩展播放列表信息文件、色彩深度扩展对应程序。并且，通过形成这些下载文件和对蓝光只读磁盘中的文件进行一体化的虚拟封装，从而能够实现色彩深度的扩展。
（用于再现对应于色彩深度扩展的影像的再现装置）
接着，对存储涉及本发明的色彩深度扩展影像的蓝光只读磁盘进行再现的再现装置进行说明。
图31示出再现装置1002的结构。图31的内部结构可以说是将到此为止所说明的色彩深度扩展部置于中心，该图的前段、后段以及外围部分配置有用于担保作为再现装置的功能的结构元素。该再现装置由磁盘驱动器100、读出部101、第1读出缓冲器102a、第2读出缓冲器102b、ATS还原部103、系统目标解码器104、平面存储器组105a、平面合成部105b、设备间接口106、再现控制部107、管理信息存储器108、寄存器组110、程序执行部111、程序存储器112、扩展功能存储器113、设备固有处理部114、索引存储器115、程序管理部116、用户事件处理部117构成。
磁盘驱动器100与通常的磁盘驱动器一样，根据来自再现控制部107的请求，从蓝光只读磁盘读出数据，但是其不同点在于：将从蓝光只读磁盘中读出的AV剪辑转送至第1读出存储器102a或第2读出存储器102b。对包含色彩深度扩展影像的磁盘进行再现时，从再现控制部107发送对包含基本视频流的AV剪辑和包含增强视频流的AV剪辑进行交互读出的请求。磁盘驱动器100进行如下切换：将包含基本视频流的AV剪辑的数据转送第1读出缓冲器102a，将包含增强视频流的AV剪辑的数据转送第2读出缓冲器102b。对包含色彩深度扩展影像的影像进行再现时，由于需要同时对包含基本视频流的AV剪辑和包含增强视频流的AV剪辑进行读入，因此要求通常的蓝光只读磁盘驱动器以上的接入速度性能。
读出部101对记录有构成立体视影像的内容的记录介质进行装入，并执行针对记录介质的读出。另外，读出部从视频流的时间轴上的任意的时间点开始执行随机访问。具体地说，被命令从视频流的时间轴上的任意时间点开始的再现的情况下，使用入口映射搜索对应于该任意的时间点的访问单元的源包序号。通过上述搜索，能够对存储有该访问单元的访问单元分隔符的源包的源包序号进行确定。执行从该源包序号的读出和解码。在场景跳跃时，使用表示分支目标的时间信息来执行上述搜索，从而执行随机访问。
第1读出缓冲器102a是保存有从磁盘驱动器100读入的构成主TS的TS包的缓冲器。
第2读出缓冲器102b是保存有从磁盘驱动器100读入的构成子TS的TS包的缓冲器。
ATC序列还原部103对从1个记录介质中读出的交互流文件内的源包中，构成基本视频流的ATC序列和构成增强视频流的ATC序列进行分离，分别写入2个读出缓冲器。由此，再现装置能够进行如下处理：是否分别从另外的记录介质中读出构成基本视频流的ATC序列和构成增强视频流的ATC序列。
系统目标解码器104对读出至第1读出缓冲器102a中的源包和读出至第2读出缓冲器102b中的源包进行多路径分离处理，进行流的解码处理。系统目标解码器104对解码的基本视频流和增强视频流进行解码并进行色彩深度扩展。
平面存储器组105a由多个平面存储器构成。这些平面存储器构成层模型，各个平面存储器的存储内容供层合成而使用。非压缩的一个画面量的灰度比特序列被写入这些平面存储器。在各个访问单元的演示时间戳所示的再现开始时刻到来时进行该写入。
平面合成部105b进行多个平面存储器中的层合成。通过在平面存储器的层模型中对层模型中的层级间的全部组合执行使存储于层级间的平面存储器的像素数据的像素值重叠的处理，来进行平面存储器的层合成。通过在平面存储器的层模型中对层模型中的2个层级的全部组合执行使存储于2个层级的平面存储器中的像素数据的像素值重叠的处理，来进行由平面合成部105b进行的层合成。
层级间的重叠是如下的处理:将透过率α作为权重与位于某层级的平面存储器的行单位的像素值相乘，将(1-透过率α)这样的权重与位于其下位层级的平面存储器的行单位的像素值相乘，将进行了这些亮度的加权的像素值彼此相加，将加算结果作为该层级中的行单位的像素的像素值。通过在位于层模型的相邻的2个层级的行单位的像素彼此中重复执行该层级间的重叠，实现上述层合成。
设备间接口106经由接口与家庭影院系统中的其它设备连接时，经过协议阶段，转移到数据传输阶段，进行数据传输。该协议阶段掌握对方侧设备的能力(包括解码能力、再现能力、显示频率)，并设定到播放器设定寄存器中，决定用于以后的传输的传输方式，包括相互认证阶段。经过该协议阶段，将进行了层合成的图片数据中的一行量的非压缩·明文形式的像素数据按照显示装置中的水平同步期间而以高转送速率转送至显示装置。这里，在色彩深度扩展模式中，应该转送的像素数据成为亮度Y、红色差Cr和蓝色差Cb分别被扩展至8比特至N比特的像素数据。由此，在设定于色彩深度扩展模式的情况下的传输阶段中，发送接收部209在传输之前，向显示装置传达像素比特值的位宽。
另一方面，在显示装置中的水平回扫期间和垂直回扫期间，对与再现装置连接的其他装置(不仅显示装置，还包括放大器、扬声器)转送非压缩·明文形式的音频数据。由此，显示装置、放大器、扬声器这样的设备能够接受非压缩·明文形式的图片数据、非压缩·明文形式的音频数据，能够实现再现输出。此外，在对方侧设备中存在解码能力的情况下，能够进行视频流、音频流的直通传输。在直通传输中，能够将视频流、音频流保持压缩·加密形式进行传输。
再现控制部107对驱动器100和系统目标解码器104进行控制，具有对AV剪辑的再现进行控制的功能。再现控制部107基于来自程序执行部111的再现命令、或者用户事件处理部117的通知，解释播放列表信息，并对AV剪辑的再现处理进行控制。为了进行该控制，具备用于解释播放列表信息的再现控制引擎和用于AV剪辑的再现控制的再现引擎。另外，再现控制部107参照系统参数进行再现动作。当程序执行部111对以包含进行了色彩深度扩展的基本视频流的AV剪辑为再现对象的播放列表的再现进行命令时，对包含播放列表中作为再现对象的播放项目的基本视频流的AV剪辑进行确定，对包含用于进行基本视频流的色彩扩展的增强视频流的AV剪辑进行确定。在包含增强视频流的AV剪辑的确定中，考虑如下确定：使用包含基本视频流的AV剪辑的名字的关联和使用其它管理文件的关联。然后，要求磁盘驱动100解释对应的剪辑信息文件的入口映射，根据表示先将区段配置于从哪个区段的区段开始类型，从再现开始地点以区段为单位交互地对包含基本视频流的AV剪辑和包含增强视频流的AV剪辑进行读出。再现开始时，向第1读出缓冲器102a或第2读出缓冲器102b读完第一个区段后，开始从第1读出缓冲器102a和第2读出缓冲器102b向系统目标解码器104进行转送。
管理信息存储器108从记录介质中记录的多个播放列表信息、片断信息中，对成为再现控制部107的处理对象的(当前播放列表信息、当前片断信息)进行存储。
寄存器组110由多个播放器状态寄存器、多个播放器设定寄存器、以及通用目的寄存器构成。各个播放器状态寄存器和播放器设定寄存器都是句长为32比特的寄存器，对32比特长度的寄存器分别赋予寄存器序号，使用该寄存器序号确定应该访问的寄存器。
播放器状态寄存器(Player Status Register:PSR)110a是如下的寄存器：在装入光盘时设定初期值、或者在当前播放项目的变更等再现装置的状态变化时，对其存储值的有效性进行判定。作为该存储值，存在当前的标题序号、当前的播放列表序号、当前的播放项目序号、当前的流序号、以及当前的章节序号等。由于在光盘的装入时对初期值进行存储，所以该存储值是暂时的，如果光盘弹出或者再现装置的电源切断，该存储值失去有效性。
播放器设定寄存器(Player Setting Register:PSR)110b与播放器状态寄存器的不同点在于，实施有电源对策。由于实施有电源对策，在再现装置的电源切断时，其存储值被存储到非易失性的存储器中，在再现装置的电源接通时，该存储值恢复。再现装置的制造主体(制造商)将在再现装置的出厂时决定的再现装置的各种配置、用户按照设置步骤设定的各种配置、以及再现装置与TV系统、音响、放大器等的家庭影院系统的设备连接时，将通过与作为连接对方的设备之间的协议从而判明的对方侧设备的能力设定于播放器设定寄存器。存在色彩深度扩展模式作为本实施方式所特有的再现模式。这是作为连接对方的显示装置是12比特对应的显示装置，在再现装置的设置时，仅在用户使色彩深度扩展模式有效的情况下设定的特殊的再现模式。在存储于预定的寄存器序号的播放器状态和播放器设定寄存器的32比特长度的比特序列中，将任意的比特范围[bx：by]的比特序列的值作为在程序进行动作时的动作系统的环境变量（系统变量）进行处理。
播放器状态寄存器和播放器设定寄存器中的系统参数包含如下参数。
SPRM（0）：语言代码
SPRM（1）：主声音流序号
SPRM（2）：字幕流序号
SPRM（3）：角度序号
SPRM（4）：标题序号
SPRM（5）：章节序号
SPRM（6）：程序序号
SPRM（7）：小区序号
SPRM（8）：选择键信息
SPRM（9）：导航计时器
SPRM（10）：当前再现时刻
SPRM（11）：卡拉ok用混音模式
SPRM（12）：家长用国家信息
SPRM（13）：家长级别
SPRM（14）：播放器设定值（视频）
SPRM（15）：播放器设定值（音频）
SPRM（16）：声音流用语言代码
SPRM（17）：声音流用语言代码（扩展）
SPRM（18）：字幕流用语言代码
SPRM（19）：字幕流用语言代码（扩展）
SPRM（20）：播放器地区代码
SPRM（21）：子画面影像流序号
SPRM（22）：副声音流序号
SPRM（23）：再现状态
SPRM（24）：3D影像再现能力
每当显示属于AV剪辑的各图片数据时更新SPRM(10)。即，如果再现装置显示新的图片数据，则将SPRM(10)更新为表示该新的图片数据的显示时刻(PTS)的值。如果参照该SPRM(10)，就能够知道当前的再现时间点。
SPRM(16)的声音流用语言代码和SPRM(18)的字幕流用语言代码是在播放器使用在屏显示(on screen display)来描绘设置菜单时，能够通过设置菜单来设定的项目，表示播放器的默认的语言代码。例如，如果SPRM(16)的声音流用语言代码是英语，则能够将具有如下功能加入BD程序文件，该功能为：对播放列表进行再现的基础上，从播放项目的流选择表中查找具有相同语言代码的流入口，选择该声音流来进行再现。此外，再现控制部107—边检查系统参数的状态一边进行再现。此外，SPRM(1)、SPRM(2)、SPRM(21)、SPRM(22)分别表示声音流序号、字幕流序号、子画面影像流、以及副声音流的序号，这些值与前述的流选择序号606对应。例如，通过程序执行部111来变更声音流序号SPRM(1)。再现控制部107从当前再现的播放项目的流选择表605中，与流选择序号606进行比较，参照一致的流入口609而切换再现的声音流。这样，切换是否对某个声音·字幕·子画面影像流进行再现。
通用目的寄存器(General Purpose Register：GPR)1lOc是在再现装置的MPU进行算术运算或比特运算时，用于存储作为其该运算符的数值的硬件资源。播放器状态寄存器禁止由程序进行值的写入，但是在通用目的寄存器中，能够进行该写入。在本实施方式中，将该通用目的寄存器作为色彩深度扩展能力寄存器进行使用。色彩深度扩展能力寄存器表示是否存在通过色彩深度扩展实现的扩展功能的处理能力。该扩展功能有多个种类，能够对这些扩展功能分别设定处理能力的存在与否。
在存储于预定的寄存器序号的通用目的寄存器的32比特长度的比特序列中，将任意的比特范围[bx：by]的比特序列的值作为在程序进行动作时的动作系统的播放器变量（通用目的参数：GPRM）进行处理。
程序执行部111是对存储于BD程序文件的程序进行执行的处理器。命令执行模块1lla具备命令编译器，通过解读并执行构成电影对象的导航命令，从而执行HDMV模式的控制。字节码执行模块1llb是所谓Java虚拟机的平台部，将构成存储于堆存储器的BD-J应用的字节码、构成系统应用的字节码转换为本机代码，并使MPU执行。
程序存储器112对成为程序执行部111的执行对象的控制程序进行存储。该程序中存在适合色彩深度扩展处理的色彩深度扩展程序。
扩展功能存储器113是对扩展功能判定文件进行存储的存储器。
设备固有处理部114在蓝光只读磁盘的播放器中执行没有进行假设的设备固有功能。在本实施方式中，作为该设备固有功能的其中一个，进行色彩深度扩展模式的设定和扩展功能能力的初始化。
前者的色彩深度扩展模式设定是在将再现装置设置于家庭影院系统并首次与显示装置连接时进行的。在该首次连接时，设备固有处理部114通过设备间接口从而取得显示装置中的色彩深度。显示装置中的像素灰度超过8比特，如果能够进行在12比特下的色彩深度表现，则弹出对向色彩深度扩展模式转移进行催促的设置菜单，向用户询问是否转移至色彩深度扩展模式。如果用户选择色彩深度扩展模式，设备固有处理部114对播放器设定寄存器进行设定使得当前模式表示色彩深度扩展模式。在此基础上在设备间接口中的协议阶段上，通过设备间接口将色彩深度扩展模式设置于显示装置。显示装置不能进行12灰度下的色彩深度表现的情况下，或者用户不希望选择色彩深度扩展模式的情况下，对播放器设定寄存器进行设定使得当前模式表示非色彩深度扩展模式。
后者的扩展功能能力的初始化是在记录介质的装入时进行的。在当前模式设定为色彩深度扩展模式的状态下对记录介质进行装入时，设备固有处理部114进行扩展功能能力的初始化以从该记录介质加载的程序。通过对表示各种扩展功能的能力的有无的扩展功能能力寄存器分别设定初始值从而进行该初始化。由此，从记录介质加载的程序能够分别判断在应用色彩深度扩展的各种确认功能之中哪个可以执行哪个不可以执行。
索引存储器115是在将磁盘介质装入本再现装置时读入索引表的存储器。
程序管理部116根据再现装置状态和用户操作，将规定于索引表的多个标题中的任意1个作为当前标题来选择，并存储于播放器状态寄存器之一的当前标题序号寄存器。并且，选择与当前标题序号对应的程序文件，向导航指令执行模块和字节码执行模块发出指令，以将该程序文件作为处理对象。程序文件中存在用于字节码的动作模式的程序文件和用于导航指令的动作模式的程序文件。
用户事件处理部117响应于通过遥控器的用户操作，委托程序执行部111或再现控制部107执行处理。例如，在通过遥控器按下按钮的情况下，委托程序执行部111执行包含于该按钮的指令。例如，在通过遥控器按下快进·回退按钮的情况下，命令再现控制部107执行对当前再现的播放列表的AV剪辑的快进·回退处理。
在上述结构中，记录介质和其再现装置以通过MPEG4-MVC来实现立体视再现的BD-3D应用格式或其播放器模型为基础。在该应用格式或该播放器模型中，代替构成来自其他视的视图像的增强视频流，如果对增强视频流进行导入，就能够对用于色彩深度扩展的记录介质或再现装置进行导入，因此编著环境或再现装置的动作验证的机制能够活用BD-3D所培养的设计资产。由此能够使色彩深度扩展内容尽早地进行实用化。
图32（a）示出如何进行将交互流文件还原为ATC序列。图32（a）表示具备ATC序列还原部的读出部的内部结构的一个示例。如上所述，在两个驱动器与两个读出缓冲器之间存在ATC序列还原部。图中的箭头B0象征性地示出来自一个驱动器的基本数据库和增强数据块输入，箭头Bl示意性地示出构成基本视频流的ATC序列1的写入，箭头Dl示意性地示出构成增强视频流的ATC序列2的写入。
图30（b）表示如何处理通过ATC序列还原部而得到的2个ATC序列。图中的正中表示PID滤波器。左侧表示通过ATC序列还原部而得到的2个ATC序列。右侧表示复用分离这2个ATC序列得到的基本视频流、增强视频流、PG流1和2、IG流1和2。这些ATC序列通过剪辑信息中的入口映射从而取得与STC序列之间的对应。
将到达时间戳附加至构成对应于基本视频流的ATS序列1和对应于增强视频流的ATS序列2的各个TS包，在多个TS包中，在基本流选择表中构成允许同时进行再现的基本流的每单位时间的总数据大小在48Mbps以下。每单位时间的总数据大小是在以到达时间戳为基准的时间轴上的确认框的窗口内算出的，无论该窗口存在于以到达时间戳为基准的时间轴中的任意时间点，所述总数据大小都是48Mbps。
每1秒的数据大小是48Mbit，因此为了流的同时读出，即使TS包的供给量在某个部分上升至96Mbit，由于限制为“每1秒的比特量在48Mbit以下”，最坏的情况下的96Mbit的数据供给量也不会持续0.5秒以上。
由于有无论在流的再现时间轴上的任意一个时间点“最坏的情况下也不会持续0.5秒以上”的保障，因此以始终先对96Mbit×0.5秒的大小的TS包进行读出并供给至解码器的方式构成再现装置的话，能够避免解码器内的缓冲的下溢。
图33示出基本视频剪辑信息中的区段开始点信息的一个示例和增强视频剪辑信息中的区段开始点信息的一个示例。（a）示出基本视频剪辑信息的区段开始点信息和增强视频剪辑信息的区段开始点信息。(b)示出构成ATC序列1的基本视频数据块B[0]、B[1]、B[2]……B[n]、构成ATC序列2的增强视频数据块E[0]、E[1]、E[2]……E[n]。(c)示出增强数据块的源包数量、基本数据块的源包数量。
在这些中，增强数据块的开头源包序号和基本数据块的开头源包序号如（d）所示。
在交互流文件中，E[0]的开头SPN成为“0”，B[0]的开头SPN成为“b1”。
由于E[1]的开头SPN成为先行的E[0]的源包数量b1与B[0]的源包数量a1的和，所以成为“b1+a1”。
由于B[1]的开头SPN成为先行的E[0]的源包数量b1、B[0]的源包数量a1以及先行的E[1]的源包数量b2-b1的和，所以成为“b2+a1(=b1+a1+b2-b1)”。
由于E[2]的开头SPN成为先行的E[0]的源包数量b1、B[0]的源包数量a1、先行的E[1]的源包数量b2-b1以及B[1]的源包数量a2-a1的和，所以成为“b2+a2(=b1+a1+b2-b1+a2-a1)”。
由于B[2]的开头SPN成为先行的E[0]的源包数量b1、B[0]的源包数量a1、先行的E[1]的源包数量b2-b1、B[1]的源包数量a2-a1以及E[2]的源包数量b3-b2的和，所以成为“b3+a2(=b1+a1+b2-b1+a2-a1+b3-b2)”。
图34用于说明ATC序列1、2中的任意数据块的源包序号。
在图34（a）的ATC序列2中，考虑求出bx的源包序号中存在的E[x]的交互流文件中源包序号的情况。此时，由于E[x]的开头源包序号成为E[0]、B[0]、E[1]、B[1]、E[2]、B[2]……E[x-1]、B[x-1]的相对源包数量的源包数量总和，所以如图34（b）所示，成为“bx+ax”。
在图34（a）的ATC序列1中，考虑求出存在于ax的源包序号的B[x]的交互流文件中源包序号的情况。此时如图34（b）所示，由于B[x]的开头源包序号成为E[0]、B[0]、E[1]、B[1]、E[2]、B[2]……E[x-1]、B[x-1]、E[x]的相对源包数量的源包数量总和，所以成为“bx+1+ax”。
图34（c）示出将上述基本数据块作为区段的文件基础与将上述增强数据块作为区段的文件增强。
相当于B[x]的文件基础的区段，即EXTl[x]的开头LBN和连续长度、以及相当于E[x]的文件增强的区段，即EXT2[x]的开头LBN和连续长度通过如下方式求出。
在根据E[x]的开头源包序号求出LBN时，通过（(bx+ax)*192/2048)的计算，将源包转换为LBN。同样，在根据B[x]的开头源包序号求出LBN时，通过((bx+1+ax)*192/2048)的计算，将源包转换为LBN。这里，“192”是用字节数量来表示源包大小，“2048”是用字节数量来表示扇区大小（逻辑块大小）。通过该转换能够对读出目的地的逻辑地址进行导出。
接着，参照图35对系统目标解码器104的内部结构进行说明。系统目标解码器104的内部结构成为如下结构：在第1实施方式所示的视频解码器部23、色彩深度扩展部24的外围配置用于对蓝光只读设备进行处理的独特的结构要素。在本图中，通过对系统目标解码器104的结构要素赋予120序号的参照标记，实现构成要素的整理。如该120序号的参照标记所示，系统目标解码器104包括：第1源包解包器121a、第2源包解包器121b、PID过滤器122a和122b、母画面视频解码器部123、子画面视频解码器124、PG解码器125、图片开关123a、IG解码器126、主声音解码器127、副声音解码器128、图像处理器129。
第1源解包器121a对储存于第1读出缓冲器102aa的源包进行解释，取出TS包并发送至第1PID过滤器122a。
第2源解包器121b对储存于第1读出缓冲器102aa的源包进行解释，取出TS包并送出至第2PID过滤器122b。在该送出中，根据各源包的ATS对向解码器的输入时刻进行调整。具体而言，在ATC计数器生成的ATC值与源包的ATS值成为相同的瞬间，根据AV剪辑的记录速率，仅将该TS包转送至PID滤波器。
第1PID滤波器122a将从源解包器输出的TS包中，将TS包的PID与再现所需的PID一致的TS包按照PID转送至视频解码器、子画面视频解码器、IG解码器、PG解码器、声音解码器、副声音解码器。例如，在BD-ROM的情况下，当包含于TS包的PID为0x1011时，转送至母画面视频解码器，当PID为0xlB00至0xlBlF时，转送至子画面视频解码器，当PID为0xl100至0x11lF时，转送至主声音解码器，当PID为0xlA00至0xlAlF时，转送至副声音解码器，当PID为0xl200至0xl21F时，转送至PG解码器，当PID为0xl400至0xl41F时，转送至IG解码器。
第2PID滤波器122b将从第2源去包器121b输出的TS包中，将TS包的PID与再现所需的PID一致的TS包按照PID转送至视频解码器的第2传输缓冲器。作为本实施方式特有的处理，第1、第2PID滤波器122b执行根据显示模式的复用分离。这里的显示模式如果是非色彩深度扩展模式，则第1PID滤波器122a仅对归属于基本视频流的TS包进行复用分离并传输至视频解码器。如果是色彩深度扩展模式，则在第1PID滤波器122a对归属于基本视频流的TS包进行复用分离的同时，第2PID滤波器对归属于增强视频流的TS包进行复用分离，并传输至视频解码器。
母画面视频解码器部123是MPEG4-MVC视频解码器，在设定为色彩深度扩展模式的情况下，输入至基本视频流和增强视频流这2个系统的流，在执行色彩深度扩展的基础上进行画面输出。
图片开关123a对从母画面视频解码部123转送的已解码的帧/场图像是8比特基本图片还是8比特增强图片进行判定，并传输至色彩深度扩展部。
子画面视频解码器124具有与母画面视频解码器同样的结构，对输入的子画面视频流进行解码，在显示时刻(PTS)的定时将图片写出到子画面视频平面上。
PG解码器125在从源打包器输入的TS包中提取演示图形流并进行解码，将非压缩的图形数据在显示时刻(PTS)的定时写出至PG平面中。具体而言，PG解码器包含存储从PG流中读出的功能段的“编码数据缓冲器”、对画面结构段进行解码而得到图形对象的“流图形处理器”、存储通过解码而得到的图形对象的“对象缓冲器”、存储画面结构段的“合成缓冲器”、和“合成控制器”，该合成控制器对存储于合成缓冲器的画面构成段进行解读，根据这些画面构成段中的控制项目，使用对象缓冲器中得到的图形对象，在图形平面上执行画面构成。
IG解码器126在从源包解包器输入的TS包中提取交互图形流并进行解码，将非压缩的图形数据在显示时刻(PTS)的定时写出至IG平面中。具体而言，IG解码器包含存储从IG流中读出的功能段的“编码数据缓冲器”、对画面结构段进行解码而得到图形对象的“流图形处理器”、存储通过解码而得到的图形对象的“对象缓冲器”、存储画面结构段的“合成缓冲器”、和“合成控制器”，该合成控制器对存储在合成缓冲器中的画面构成段进行解读，根据这些画面构成段中的控制项目，使用对象缓冲器中得到的图形对象，在图形平面上执行画面构成。
主声音解码器127具有缓冲缓冲器，在缓冲器中存储数据，并除去TS包头、PES包头等信息，进行声音流的解码处理，得到非压缩的LPCM状态的音频数据，在再现时刻(PTS)的定时中输出值声音混合器。由于复用于AV剪辑的音频流的压缩编码形式具有AC3、DTS等，所以根据流的属性来切换压缩声音的解码方式。
副声音解码器128具有与主声音解码器同样的结构，进行对输入的副声音流的解码，在显示时刻的定时将非压缩的LPCM的状态的音频数据输出至声音混合器。由于复用于AV剪辑的音频流的压缩编码形式有DolbyDigitalPlus、DTS-HDLBR等，所以根据流的属性来切换压缩声音的解码方式。
声音混合器128a对从主声音解码器输出的非压缩声音数据和从副声音解码器输出的非压缩声音数据进行混合(声音的重合)并输出至扬声器等。
图像处理器129对从程序执行部转送的图形数据(PNG.JPEG)进行解码，按照程序执行部所指定的显示时刻，输出至图像平面。
接着，对母画面视频解码器部123的内部结构进行说明。在本图中，通过对母画面视频解码器部123的结构要素赋予130序号的参照标记来实现结构要素的整理。如该130序号的参照标记所示，色彩扩展对应视频解码器由TB131、MB132、EB133、TB134、MB135、EB136、压缩影像解码器137、缓冲开关138、DPB139以及图片开关124构成。
第1TB(Transport Buffer)131是在从第1PID滤波器122a输出包含基本视频流的TS包时，对TS包保持原样地临时进行储存的缓冲器。
第1MB(Muliplexed Bufffer)132是在从TB131向EB133输出基本视频流时，用于临时存储PES包的缓冲器。在从TB131将数据转送至MB132时，除去TS包的TS包头。
第1EB(Elementary Buffer)133是对处于编码状态的视频访问单元进行存储的缓冲器。在从MB132将数据转送至EB133时，除去PES包头。
第1TB(Transport Buffer)134是在从第2PID滤波器122b输出包含增强视频流的TS包时，对TS包保持原样地临时进行储存的缓冲器。
第1MB(Muliplexed Bufffer)135是在从TB134向EB136输出增强视频流时，用于临时对构成增强视频流的PES包进行存储的缓冲器。在从TB134将数据转送至MB136时，除去TS包的TS包头。
第1EB(Elementary Buffer)136是对处于编码状态的增强视频流的视频访问单元进行存储的缓冲器。在从MB135将数据转送至EB136时，除去PES包头。
压缩影像解码器137通过在预定的解码时刻（DTS)对视频基本流的各个视频访问单元进行解码，从而制作帧/字段图像。由于复用于AV剪辑的视频流的压缩编码形式中有MPEG2、MPEG4AVC、VC1等，所以根据流的属性对压缩影像解码器137的解码方法进行切换。压缩影像解码器137将解码后的帧/场图像转送至DPB139，在显示时刻（PTS)的定时将对应的帧/场图像转送至图片开关。
缓冲器开关138通过分配给视频访问单元的解码时刻（DTS)的定时，将存储于第1EB、第2EB中的图片转送至压缩影像解码器137。另外，压缩影像解码器137也可以利用在对视频访问单元进行解码时所取得的解码开关信息，决定从第1EB、第2Eb的哪一个中抽出下一个访问单元。
DPB(Decoded Picture Buffer：解码图片缓冲器)139是暂时保持解码后的帧/场图像的缓冲器。压缩影像解码器137用于在对进行了图片间预测编码的P图片和B图片等的视频访问单元进行解码时，参照已解码的图片。
接着，对平面存储器组的内部结构进行说明。通过对平面存储器组的结构要素赋予140序号的参照标记，实现结构要素的整理。如该140序号的参照标记所示，平面存储器组由子画面视频平面141、PG平面142、IG平面143、图像平面144、以及色彩深度扩展平面145构成。
在子画面视频平面140中输出由系统目标解码器104对子画面视频流进行解码而得到的子画面视频用的图片数据。
在PG平面141中存储有由系统目标解码器104对演示图形流进行解码而得到的图形数据。
在IG平面142中存储有由系统目标解码器104对交互图形流进行解码而得到的图形数据。
在图像平面143中存储有从系统目标解码器104输出的图像数据。
色彩深度扩展平面存储器144通过2个分配对非压缩的图片进行存储，该2个分配是能够对由8比特灰度值构成的图片数据进行存储的分配和能够对由12比特灰度值构成的图片数据进行存储的分配。在将当前模式设定为通常的再现模式的情况下平面存储器成为前者的分配。将当前模式设定为色彩深度扩展的情况下设定为后者的分配。
图36示出色彩深度扩展平面的存储内容的一个示例。在图36（a）、（b）中将存储器的存储区域描绘成格子状。该格子分别意味着存储器的各记忆元素。以SD-RAM和RD-RAM这样的动态RAM构成平面存储器的情况下，这些存储元素通过作为动态RAM中的的页区域的ROW地址和作为页区域中的存储元素的相对地址的COLUMN地址而决定，各个存储元素具有32比特的字长。因此，将构成图片的各像素的像素成分的灰度比特序列归纳并存储于页领域中的多个存储元素。另外，平面存储器连接有存储器控制器，相关存储器控制器发挥如下作用：将画面上的（x，y）坐标转换为存储元素的ROW地址和COLUM地址。上述像素成分中存在亮度Y、红色差Cr以及蓝色差Cb的种类，在平面存储器中，以多个像素的亮度成分、多个像素的红色差成分的方式，将多个像素中共通的像素成分存储于同一个页领域。
图36（a）示出色彩深度扩展的分配。在色彩深度扩展模式中，如（a）所示仅以1920×1080、1280×720的规模对由12比特的亮度Y、12比特的红色差Cr以及12比特的蓝色差Cb构成的像素数据进行存储。（b）示出非色彩深度扩展的分配。在该分配中，对基本视频流的图片中的8比特灰度比特序列进行存储。可知在色彩深度扩展模式中，由于比特长度从24比特增大至36比特，因此平面存储器的规模成为1.5倍。
系统目标解码器具有与色彩深度扩展相关的将MPEG-4MVC作为视频解码器进行使用的内部结构。MPEG-4MVC（多视视频编码，Multiview Video Coding）视频流以对从多个视看到的多个影像进行有效地压缩为目的而开发的视频压缩技术，对此进行利用。具体地说，利用MPEG-4MVC的基本视作为上述基本视频流，利用MPEG-4MVC的非基本视作为增强视频流。将由MPEG-4MVC基本视频流和MPEG-4MVC非基本视频流构成的MPEG-4MVC视频流输入至MPEG-4MVC解码器，作为8比特基本图片和8比特增强图片进行输出，并输入至色彩深度扩展部。
图37示出平面合成部的内部结构。
平面加算部144a、b、c、d对子画面视频平面、PG平面和IG平面进行元数据裁剪，与色彩深度扩展平面进行合成，转送至图像平面的重叠处理。裁剪部146a、b、c基于元数据，对存储于平面的非压缩图片数据、图形数据进行裁剪。裁剪部146d基于程序API，对存储于平面的非压缩图形数据进行裁剪。
加算部147a、b、c、d进行平面之间的合成。
位移电路148a、b、c、d将子画面视频平面、PG平面、IG平面以及图像平面的像素从8比特扩展至N比特灰度。通过将这些像素的灰度扩展至N比特，从而能够进行与扩展至N比特的图片数据之间的合成。
图38示出应用于再现装置的情况下的色彩深度扩展部24的内部结构的一个示例。如图38所示，色彩深度扩展部24由将8比特基本视频流的图片转换为8+b比特图片的第1位移电路32、从8比特增强图片减去修正值的减算部34、对8+b比特基本图片和减算部34的减算结果进行加算的加算部35、以及仅以位移量b对加算部35的加算结果进行位移而得到N比特图片的第2位移电路36构成。
在图38中，视频解码器在再现装置的播放器状态寄存器所管理的当前再现时刻（PTM）成为PTS所示的时刻时，在赋予有其PTS的基本视频图片数据的显示之前，从SEI的位移序列中取出与其图片数据对应的位移量并设定于色彩深度扩展部的位移电路。另外，将具有与其PTS相同时刻的PTS的增强视频流的图片输出至平面存储器。这些之后，通过输出基本视频流的图片从而将其作为色彩深度扩展的对象。由此，基本视频流的图片的像素比特值以其基本视频流的图片所属的平面的位移量向上位方向位移。
图39示出应用第1实施方式中的变更的情况下的色彩深度扩展部24的内部结构的一个示例。如图39所示，色彩深度扩展部24由将8比特基本视频流的图片转换为由8+b比特的灰度比特序列构成的图片的第1位移电路32、从8比特增强图片中减去修正值并转换为附带符号比特值的减算部34、仅以位移量b对减算部34的减算结果进行位移的第2位移电路36、以及对由8+b比特的灰度比特序列构成的基本图片和第2位移电路36的位移结果进行加算的加算部35构成。
为了色彩深度扩展而使用MPEG-4MVC的优点在于：在蓝光中为了3D的记录·显示已使用有MPEG-4MVC，因此能够利用蓝光3D对应播放器的硬件资源的一部分而容易进行色彩深度扩展。
在上述再现装置的产品开发时，必须在再现装置的CPU上执行用于处理上述那样的播放列表、播放项目以及AV剪辑的处理步骤。对该软件安装所需的处理步骤进行说明。图40示出播放项目的再现步骤。
步骤S201判定当前输出模式是否为色彩深度扩展模式，如果当前输出模式为非色彩深度扩展模式，则执行步骤S203至步骤S206。
在步骤S203中，打开由当前播放项目的Clip_Iformation_file_name中描述的“XXXXX”与扩展符“m2ts”指定的流文件，在步骤S204中，使用对应于视频流的数据包ID的入口点，将当前PlayItem.In_Time及当前PlayI em.Out_Time转换为Mart_SPN[i]及End_SPN[i]。
在步骤S205中，确定属于用于将包ID[i]的TS包[i]从Start_SPN[i]读出至End_SPN[i]的读出范围[i]的区段，在步骤S206中，指示记录介质的驱动器，以连续读出属于读出范围[i]的区段。
如果当前输出模式是色彩深度扩展模式，则移动到步骤S301至步骤S308的循环。
在步骤S301中，打开由当前播放项目的Clip_Information_file_name中描述的"XXXXX"与扩展符“ceif”指定的流文件。
在步骤S302中，使用对应于基本视频流的基本入口映射，将当前PlayItem.In_Time及当前PlayItem.Out_Time转换为Start_SPN[i]及End_SPN[i]。
在步骤S303中，使用对应于增强视频流的扩展入口映射，将SubPlayItemIn_Time、SubPlayItemOut_Time转换为Start_SPN[j]、End_SPN[j](步骤S304)。
确定属于用于将构成基本视频流的TS包[i]从Start_SPN[i]读出至End_SPN[i]的读出范围[i]的区段（步骤S305)，确定属于用于将数据包ID[j]的TS包[j]从Start_SPN[j]读出至End_SPN[j]的读出范围的区段（步骤S306)。然后，在步骤S307中，按地址的升序分类属于读出范围[i]、[j]的区段，在步骤S308中，使用分类的地址，指示驱动器连续读出属于读出范围[i]、[j]的区段。然后，若读出源包序列，则在步骤S309中，分别还原基本视频的ATC序列和增强视频的ATC序列，送入基本视频用PID滤波器和增强视频用PID滤波器。
图41示出ATC序列还原步骤。步骤S91将基本视频用ATC序列设为ATC序列1，将增强视频用ATC序列设为ATC序列2。步骤S92中，将变量x初始化为1。该变量x指示增强视频数据块和基本视频数据块。以后，重复步骤S94至步骤S96的循环。
判定由变量x指示的源包序号bx是否是由基本视频数据块的最后数值n指示的源包序号bn(步骤S93)，若不是，则重复如下处理，直到步骤S93判定为是，即将从由源包序号bx+ax指示的源包（bx+ax)至由bx+1+ax指示的源包(bx+1+ax)之前的包追加到ATC序列2(步骤S94)，将从源包（bx+1+ax)至源包(bx+1+ax+1)之前的包追加到ATC序列1(步骤S95)，将变量x加1(步骤S96)。
若步骤S93判定为是，则将从源包序号bn起（number_of_Source_packet2-bn)个的源包追加到ATC序列2(步骤S97)，将从源包序号an起（number_of_source_packetl-an)个的源包追加到ATC序列1(步骤S98)。
如上所述，若复原ATC序列1、2，则在存储器上生成用扇区数量来表示基本数据块的开头LBN及连续长度的文件入口，虚拟地打开文件基础（步骤S99)。同样地，在存储器上生成用扇区数量来表示增强数据块的开头LBN及连续长度的文件入口，虚拟地打开文件从属（步骤S100)。
在进行以上再现控制的再现装置中，为了对适合色彩深度扩展的播放列表进行再现，需要对索引表和程序文件实施以下的改良。
首先，对索引表的改良部位进行说明。图42示出索引表的内部结构的一个示例。图42（a）组合地示出对各个多个标题和该标题成为当前标题时应作为处理对象的程序文件的标识符。在该图中，可知n+2个的色彩深度扩展适合程序文件的标识符与n+2个的标题对应。由此，根据标题选择能够对适合色彩深度扩展的程序进行启动。在以上的索引表中，根据最先播放标题的选择而能够对启动色彩深度扩展程序的瞬时启动的意图进行读出。
图42（b）示意性地示出扩展功能程序的处理。（b）的第1段对应地示出播放器状态寄存器中的再现模式的设定、扩展功能对应程序、以及扩展功能能力寄存器。第2段示出色彩深度扩展播放列表和mpls播放列表。箭头ins1、2示意性地示出程序的播放列表再现指示。这样，扩展功能对应程序参照再现模式和寄存器，选择性地对2个播放列表进行再现，由此能够使用色彩深度扩展播放列表对基本视频流和增强视频流的组合进行恰当地再现。
图43是示出色彩深度扩展程序的处理步骤的流程图。在步骤S31中，取出对应于应该最开始执行的扩展功能的GPRM的存储值，在步骤S32中对存储值是否表示能力存在进行判定。表示能力存在的情况下，在步骤S34中开始对指定色彩深度扩展交错流文件的播放列表的再现。不表示能力存在的情况下，开始对指定m2ts流文件的播放列表的再现。
步骤S35表示扩展功能菜单，在步骤S36中成为用户的扩展功能选择等待。如果选择，则取出对应于选择的扩展功能的GPRM的数值，在步骤S38中对数值是否表示能力存在进行判定。能力存在的情况下，在步骤S40中开始对指定色彩深度扩展交互流文件的播放列表的再现。能力不存在的情况下，在步骤S39中开始对指定m2ts流文件的播放列表的再现。
如上所述，如果GPR表示扩展功能的能力存在，则程序文件的程序对色彩深度扩展交互流文件进行选择并再现，因此只在扩展功能的能力存在于再现装置的情况下执行色彩深度扩展适合播放列表，不存在能力的话，选择通常的播放列表进行再现。
综上，结束对再现装置的说明。
（记录装置、记录方法的形态）
接着，对用于将本实施方式所示的基本视频流和增强视频流写入蓝光一次写入（Blu-ray Write Once）磁盘、蓝光可擦写（Blu-ray Rewritable）磁盘、AVC-HD磁盘等磁盘介质的记录方法进行说明。
本实施方式的记录方法在具有N比特的灰度比特的原图像的输入时，能够实时地制作作为流文件的AV文件和作为流文件以外的文件的非AV文件，直接写入至记录介质中的AV数据记录区域、非AV数据记录区域，即作为实时记录来实现。不仅如此，还包括预格式，即通过事先制作应该记录于卷区域中的比特流的整体像，基于该比特流制作原版盘，并压制该原版盘，从而对光盘进行量产。通过实时记录的记录方法及基于预格式记录的记录方法都能确定本实施方式的记录介质。通过实时记录技术来实现记录方法的情况下，执行该记录方法的记录装置，实时地制作AV剪辑并写入至蓝光一次写入磁盘、蓝光可擦写磁盘、AVC-HD磁盘。
执行实时记录的记录装置是照相机设备，使用光学设备进行摄像，包含：摄像部，其得到以N比特灰度来表现的原图像数据；流生成部，其通过解码N比特灰度的原图像数据从而得到基本视频流和增强视频流的组合；音频解码器，其对音频信号进行解码并得到音频流；多路分离器，其对视频流和音频流等进行复用并得到MPEG2-TS；源打包器，其将构成MPEG2-TS形式的数字流的TS包转换为源包；写入部，其将转换为源包形式的MPEG2-TS数字流存储至AV剪辑文件并写入蓝光一次写入磁盘、蓝光可擦写磁盘、AVC-HD磁盘等；以及控制部。在数字流的写入的同时，记录装置的控制部在存储器上进行生成剪辑信息或播放列表信息的处理。具体地说，由用户要求录制处理时，控制部在蓝光一次写入磁盘、蓝光可擦写磁盘、AVC-HD磁盘上创建AV剪辑的流文件和剪辑信息文件。并且，如果由编码器生成视频流的GOP，则记录装置的控制部在该GOP上，取得位于开头的帧内图片的PTS和存储该GOP的开头部分的源包的包序号，将该PTS及数据包序号的组作为EP_PTS入口及EP_SPN入口的组，追记至剪辑信息文件的入口映射。以后，每当生成GOP时，都将EP_PTS入口及EP_SPN入口的组追记于剪辑信息文件的入口映射中。此时，在GOP的开头是IDR图片的情况下，将设定为“打开”的is_angle_change标志追加到EP_PTS入口及EP_SPN入口的组。如果GOP的开头不是IDR图片的情况下，将设定为“关闭”的is_angle_change标志追加到EP_PTS入口及EP_SPN入口的组。
另外，根据应记录的流的属性来设定剪辑信息文件中的流的属性信息。如上所述，若生成AV剪辑和剪辑信息并写入至蓝光一次写入磁盘、蓝光可擦写磁盘、以及AVC-HD磁盘，则经由该剪辑信息内的基本入口映射，生成对再现路径进行定义的播放列表信息，并写入至蓝光一次写入磁盘、蓝光可擦写磁盘、AVC-HD磁盘。通过在实时记录技术中执行这种处理，在拍摄时可以在蓝光一次写入磁盘、蓝光可擦写磁盘、以及AVC-HD磁盘上得到AV剪辑-剪辑信息-播放列表信息等阶层构造。
以上是执行基于实时记录的记录方法的记录装置。接着，对基于预格式记录的记录方法进行说明。
基于预格式记录的记录方法包含记录装置执行编著工序的光盘的制造方法。执行编著工序的记录装置包括：输入部，除了N比特的原图像之外，其还输入子画面视频的动态图像素材、声音素材和字幕素材、菜单素材；流生成部，其从N比特灰度的原图像制作基本视频流和增强视频流；子画面视频编码器，其对子画面视频的动态图像素材进行编码；音频编码器，其对声音素材进行编码；PG生成器，其从字幕素材制作PG流；IG生成器，其从菜单素材制作交互图形流；储存器，用于将生成的各种流在文件系统上分类保存；多路分离器，其对生成的各种流进行复用而得到传输流；编著部，按照与用户的对话输入，规定应该记录在蓝光只读盘中的数据的流再现构造，基于此制作蓝光只读盘中的卷图像。
上述储存器是区域内网络中的网络驱动器，视频流、音频流等在这些储存器的预定的目录构成中作为文件存储。编码器是上述区域内网络中的服务器计算机，通过区域内网络访问上述那样的储存器，执行各种流的读出和传输流的写入。
在区域内网络的各储存器中，存储有N比特灰度的原图像、视频流、音频流、字幕流、传输流等的文件在GUI中通过图标和缩略图等来视地表现。用户通过对显示在用户界面的GUI上的图标和缩略图进行拖曳操作、拖放操作、以及点击操作，能够对N比特灰度的原图像、视频流、音频流、字幕流、传输流等执行拷贝操作、削除操作、以及编辑操作。
图44示出光盘的记录方法。图44（a）是示出基于预格式记录的记录方法的流程图。光盘的制造方法包括：编著步骤、署名步骤、介质密钥取得步骤、介质密钥加密步骤、物理格式步骤、标识符嵌入步骤、母版制作步骤、复制步骤。
编著步骤S201制作表示光盘的卷区域的整体像的比特流。
署名步骤S202在光盘的制造时，对AACS LA进行署名请求。具体地说，提取比特流的一个步骤，发送给AACS LA。在此，AACS LA是管理与下一代数字家电设备中的著作物保护技术有关的许可证的团体。使用编著装置进行光盘的编著的编著站点及使用母版制作装置执行母版制作的母版制作站点从AACS LA接受许可证的提供。此外，管理介质密钥、无效化信息。并且，取得由AACS LA署名的比特流的一部分。
介质密钥取得步骤S203从AACS LA取得介质密钥。介质密钥并不是始终使用固有的密钥，而是到此为止制造的光盘的张数到达一定张数时更新为新的密钥。通过更新介质密钥，能够排除特定的制造商和设备，即使万一加密密钥被破解，能够通过使用无效化信息来将其自身无效化。
介质密钥加密步骤S204使用通过介质密钥取得步骤取得的介质密钥，将用于比特流的加密的密钥加密。
物理格式步骤S205对比特流执行物理格式。
标识符嵌入步骤S206在收录于光盘的比特流中，将无法由一般的设备检测的唯一的标识符作为数字水印嵌入。由此，能够防止由于非法的母版制作带来的盗版的量产。
母版制作步骤S207制作光盘的原版。首先，在玻璃基板上形成光蚀刻层，对该光蚀刻层，以与希望的组或比特对应的方式照射激光并曝光，实施显像处理。该组或比特表示8-16调制后的比特流的各比特值。然后，基于通过这样的激光切割形成与组或比特对应的凹凸的光蚀刻，制作光盘的原版。
复制步骤S208使用光盘的原版来大量生产作为其复制的光盘。同图(b)不是大量生产光盘，而是表示一般用户使用PC在BD-R、BD-RE等中记录到此为止的实施方式所述的各种文件的情况的、基于预格式记录的记录方法的处理步骤。与同图(a)相比，在同图(b)的记录方法中，不存在物理格式(步骤S205)、母版制作(步骤S207)、复制(步骤S208)，取代与此，存在各文件的写入工序(步骤S209)。
下面对编著工序进行说明。图45是示出编著工序的处理步骤的流程图。
在步骤S101中，定义主TS及子TS的卷轴（reel)组。所谓“卷轴”是存储构成基本流素材的数据的文件，在编著系统中，存在于本地网络上的驱动器上。对由照相机设备摄影的图像、摄影时录音的声音、之后的后期录音收录的声音、每种语言的字幕、以及菜单进行数据化后的信息相当于这些卷轴。所谓“卷轴组”是表示应复用于一个TS上的基本流的集合的、对素材文件的链接群。这里，对主TS、子TS分别定义卷轴组。
在步骤S102中，通过对播放项目、子播放项目的原型进行定义，对播放项目、子播放项目的再现顺序进行定义，从而对主路径、子路径的原型进行定义。播放项目的原型的定义通过在平面视输出模式下经由GUI受理该播放项目中应该许可再现的卷轴的指定和In_Time/Out_Time的指定来执行。子播放项目的原型的定义通过在立体视输出模式下经由GUI受理对与该子播放项目对应的播放项目中应许可再现的卷轴的指定和In_Time/Out_Time的指定来执行。
应许可再现的卷轴的指定由通过检查箱检查卷轴组中素材文件的链接中应许可再现的链接的GUI构成。此时，对与各卷轴相对应的数值输入栏进行显示。另外，通过该数值输入栏，对有关各卷轴的优先顺序进行受理，将其设为对应于卷轴的优先顺序。根据以上应许可再现的卷轴的设定与优先顺序的设定，生成流选择表、扩展流选择表。
In_Time及Out_Time的指定通过记录装置执行如下处理来执行，即在GUI上图形化并显示基本视频流或增强视频流的时间轴，在图形化的时间轴上，使滑杆移动，从用户受理该滑杆的位置设定。播放项目、子播放项目的再现顺序的定义通过记录装置从用户受理如下操作来执行，即在GUI上对播放项目的In_Time中的图片进行缩略化并显示，并对该缩略设定再现顺序。
在步骤S103中，通过对由卷轴组指定的素材文件进行编码，从而得到多个基本流。在该编码过程中，能够实现从原图像生成基本视频流和增强视频流的处理。这些多个基本流中存在基本视频流、增强视频流、和应该对这些基本视频流和增强视频流进行复用的音频流、PG流、IG流。
在步骤S104中，通过将编码得到的基本流中、与基本视频流属于同一卷轴组的相同基本流与该基本视频流进行复用，得到一个主TS。
在步骤S105中，通过将编码得到的基本流中、与增强视频流属于同一卷轴组的相同基本流与该增强视频流进行复用，得到一个子TS。在步骤S106中，根据编码及复用时设定的参数，生成剪辑信息文件的原型。
在步骤S107中，根据播放项目的原型，生成播放项目信息、子播放项目信息，对这些播放项目信息、子播放项目信息定义再现顺序，生成主路径信息、子路径信息，定义播放列表信息。
在播放项目信息的制作中，为了将复用于主TS上的基本流中、在播放项目的基本构造中规定为应以平面视输出模式再现的基本流设定为可再现，在播放项目信息内生成流选择表。另外，为了规定在基本视频流中的再现区间，将上述编辑作业中规定的In_Time、Out_Time记载于播放项目信息中。
在子播放项目信息的制作中，为了将复用于子TS上的基本流中、在播放项目的基本构造中规定为应以立体视输出模式再现的基本流设定为可再现，在播放列表信息的扩展符数据内生成扩展流选择表。播放项目信息、子播放项目信息由于根据剪辑信息文件内的信息来定义，所以根据剪辑信息文件的原型来设定。
在步骤S108中，将主TS、子TS、剪辑信息文件的原型、播放列表信息的原型转换为根据规定应用程序格式的目录文件群。
经过以上程序，若生成主TS、子TS、剪辑信息、播放项目信息、子播放项目信息，则将主TS、子TS转换为分别独立的流文件，将剪辑信息转换为剪辑信息文件，将播放项目信息和子播放项目信息转换为播放列表信息文件，由此得到应记录在记录介质中的一连串文件组。
图46示出AV文件写入工序的处理步骤。在伴随着实时记录的记录方法或母版制作、复制的记录方法的实施中，通过本图的流程图来实现AV文件的写入。
在步骤S401中，创建xxxxx.ceif，在记录装置的存储器上制作文件入口。步骤S402是能否确保空的连续扇区区域的判定，若能确保，则在步骤S403中，在空的连续扇区区域中，仅以EXT2[i]写入构成增强数据块的源包序列，然后，执行步骤S404至步骤S408。在不能确保的情况下，在步骤S409中进行例外处理之后，终止记录方法。
步骤S404至步骤S408构成重复步骤S404至步骤S406、步骤S408的处理的循环，直到步骤S407判定为否。
步骤S405在空的连续扇区区域中，仅以EXTl[i]写入构成基本数据块的源包序列。步骤S406将表示写入源包序列的开头地址和连续长度的分配标识符追记到文件入口中，作为区段进行登记。与之相伴，将指示所写入的源包序列的开头源包序列序号的区段开始点信息追记至剪辑基本信息、剪辑增强信息内的元数据中。
步骤S407规定循环的终止条件，进行基本数据块、增强数据块中是否存在未写入的源数据包的判定。若存在，则移动到步骤S408，继续循环。若不存在，则移动到步骤S410。
步骤S408判定是否存在连续扇区区域，若存在，则移动到步骤S403，若不存在，则返回到步骤S402。
在步骤S410中，关闭xxxxx.ceif，将文件入口写入记录介质中。在步骤S411中，创建xxxxx.m2ts，在存储器中生成xxxxx.m2ts的文件入口。在步骤S412中，将表示文件2D中固有的基本数据块的开头地址和连续长度的分配描述符追记至xxxxx.m2ts的文件入口中。在步骤S413中，关闭xxxxx.m2ts，写入文件入口。
如上所述，根据本实施方式，通过导航级别对在各色彩中只能再现8比特灰度的色彩深度的影像的播放器和对应于超过8比特的色彩深度的再现的播放器进行识别，从而从磁盘中选择适当的流进行再现。
在以往的8比特的视频流与在以往的设备中再现、对应于超过8比特的色彩深度的播放器中，通过利用以往的8比特的视频流和用于进行色彩深度扩展的增强视频流进行再现，从而能够对原图像的色彩深度进行还原并再现。
通过加上与蓝光只读磁盘共同的数据结构中一部分的改变，能够制作内容多样的变更，实现内容的充实化，因此能够带来电影业界、出版业街、游戏业界、音乐业界等内容制作业界的进一步的发展。通过相关制作业界的发展，在激活国内产业的同时，能够实现国内产业的竞争力强化。本发明为国内产业带来各种贡献。
（第3实施方式）
第3实施方式关于应用色彩深度扩展的扩展功能的能力判定。通过应用之前的实施方式中叙述的色彩深度扩展功能，内容制作者能够定义各种各样的扩展功能。这些扩展功能中，对内容提供商或内容制作者的微标进行色彩深度扩展并显示的扩展功能或对用于特别功能的菜单进行色彩深度扩展并显示的扩展功能以及对设置菜单进行色彩深度扩展并显示的扩展功能。特别是色彩深度扩展的微标显示是加深企业品牌印象的，对高图像质量化的要求很高。但是，上述那样的扩展功能是由内容制作者进行定义，由内容制作者带来的，由制造商制造的所有的再现装置不可能对这些扩展功能的全部进行支持。
这里由制造商制造的再现装置中存在规格高或规格低的、与显示装置成一体的再现装置等各种各样的变更，即使具有色彩深度扩展部，也会发生无法支持内容制作者所制作的扩展功能的情况。因此，作为内容制作者与制造商的协商，在制造商侧，通过使用再现装置中的播放器变量从而明示扩展功能的能力。
（第3实施方式所要解决的问题）
以往，磁盘上的程序在对播放器是否支持规定的功能进行判别时，需要在系统参数内对表示是否支持规定功能的标记进行定义。例如，考虑将表示为预留（Reserved）的第24个变量假设为规定功能，例如作为表示是否与第1实施方式所说明的色彩深度扩展对应的场进行使用。作为磁盘上的导航或JAVA脚本而记录的程序参照该第24个变量能够进行色彩深度的再现可否判断等。
但是，通过该方法进行扩展功能的对应可否的判断的情况下，每次追加功能，存在盲目地消耗当前预留的系统元数据的问题。
第3实施方式中记载的发明（以下称为本发明）的目的在于提供一种再现装置，该再现装置在扩展功能的对应可否的判断时不会消耗播放器变量的预约区域。
用于解决课题的手段
在再现装置的局面上实现课题解决的情况下，该局面中的再现装置特征在于，该再现装置在从装入记录介质后到读取索引为止的期间，读入表示扩展功能的能力设定的设定表，将多个通用目的寄存器中设定表所指示的通用目的寄存器设定为记载于设定表的初始值。
这里设定表中的多个扩展功能对应有2个以上的通用目的寄存器序号，期望所述再现装置将预定的初始值设定到设定表中2以上的连续的通用目的寄存器序号所指定的通用目的寄存器。这是对后述的“进一步错误检测”进行回避的下位概念化。
通过将上述技术特征导入再现装置的发明从而能够实现上述课题的解决。一边参照附图一边对有关上述课题解决手段的课题解决过程进行具体的说明。
在本实施方式中，将可以用作普通用途的常规参数（GPRM）用于扩展功能的能力的显示。GPRM一般用于作为播放器内的存储器的一部分仅确保预定的容量的，由通常被称为导航指令的一连串的指令群构成的程序对必要的数值进行临时保持。但是，如蓝光磁盘那样其主要目的是用于影像的再现那样的光盘的情况下，很少通过导航指令进行如此负载的处理，使用确保的全GPRM的情况基本没有。
首先，在磁盘上准备扩展功能判定文件。扩展功能判定文件可以记录于BDMV文件夹下，也可以记录于其它地方。扩展功能判定文件对GPRM的扩展功能能力的存储方式进行规定。图47以表的形式示出扩展功能能力的存储方式。图47（a）的存储方式将设定目的地的GPRM序号和设定值与多个种类的扩展功能分别对应。种类中有功能1、2、3，这些功能中，可知功能1对应于第123个GPRM和0x12345678这样的数值。可知功能2对应于第456个GPRM和0x87654321这样的数值。例如，扩展功能1表示色彩深度扩展的情况下，将磁盘装入至对应于扩展功能判定文件的播放器设备时，设备固有处理部114在再现开始之前首先读入所述扩展功能判定文件，所述播放器与扩展功能1对应的情况下，设备固有处理部114对由设定GPRM表示的、设定值表示于GPRM123的设定值0x12345678进行设定。另外，所述播放器不与扩展功能2对应的情况下，设备固有处理部114不将值设定于GPRM456。
这样从将磁盘插入播放器之后，到对索引表进行读出并在索引表中开始由最先播放标题的标题序号所指定的第一个程序的执行的期间内，将指定的设定值设定于由扩展功能判定文件指定的GPRM中。由此，再现开始后（前述的程序的执行开始后），根据由导航指令或JAVA脚本构成的程序，通过确认可能设定有值的GPRM的值，从而判断播放器是否与希望的功能对应，能够对再现的播放列表进行变更，并且能够进行AV剪辑的再现，该AV剪辑的再现用于特意向用户通知对应于规定功能。
这样利用GPRM，虽然能够进行规定功能的对应可否判断，但是设定于某GPRM的初始值偶尔成为与扩展功能判定文件所指定的设定值相同的情况下，前述的程序可能错误判定为播放器与规定功能对应。这是因为GPRM是为了保持程序所需的变量而作为临时的区域进行确保的存储器，因此不仅限于以0为磁盘插入时的值进行初始化的情况。
为了防止错误判定，应该改良GPRM的存储方式。这里，GPRM的存储方式是由扩展功能判定文件规定的，因此如图47（b）所示，准备对于规定的功能设定多个GPRM那样的扩展功能判定文件。并且，在播放器读入所述扩展功能判定文件时，记载有与播放器对应的扩展的种类的情况下，将设定值记录至对应的所有GPRM。图47（b）以表的形式示出扩展功能能力的存储方式。本图的存储方式将2个GPRM序号和2个定值与多个种类的扩展功能分别对应。扩展功能的种类中有功能1、2、3，这些功能中，可知功能1对应于第123个GPRM、0x12345678这样的数值、第999个GPRM、0x33112352这样的数值。
这里，可知功能2对应于第456个GPRM、0x87654321这样的数值、第246个GPRM和0x43756947这样的数值。
另外，在图47（b）中，表示扩展功能1的行2行连续，这是因为希望其连续。这是因为，例如，在扩展功能1的第1行（设定GPRM123）的下一行（第2行）上继续扩展功能2的设定（GPRM456），接着再次对扩展功能1的设定（GPRM999）进行记载的情况下，播放器无法判别读入到第几行才能设定为扩展功能1的设定所需的所有GPRM。
这里在图47（a）的存储方式2071中，能够进行扩展功能1的再现的情况下，播放器将0x12345678设定于GPRM123，但是在对表示存储方式2702的扩展功能判定文件进行读入时，播放器对应于扩展功能1的情况下，将0x12345678设定于GPRM123的同时，将0x33112352设定于GPRM999，进行扩展功能1的对应可否判定的程序通过参照GPRM123和GPRM999这两个，从而回避进一步的错误检出，能够进行对应可否的判定。
另外，在更好地与扩展功能判定文件对应的播放器中，期望设GPRM的初始值为“0”，设定为初始值0后，根据扩展功能判定文件期望将必要的设定值设定于必要的GPRM。
另外，虽然说明了播放器将设定GPRM的序号或设定值照原样使用，但是对于例如用扩展功能判定文件来表示的设定GPR中记载的值，也可以进行规定的运算，或者将散列值作为应设定算出的值的GPRM的序号，也可以对于设定值，例如记载128比特的设定值，计算散列值并算出32比特的数值，将其设定于GPRM。
这样，加入规定的运算或散列值的运算而将值设定于GPRM，从而仅将知道前述的规定的运算和散列值的运算公式的播放器能够设定恰当的值，因此能够减少扩展功能的对应可否的错误判定。
图48是示出从将磁盘介质插入播放器之后到再现开始之间用于设定GPRM的处理步骤的流程图。
插入磁盘介质后，播放器对扩展功能判定文件进行读入（S401）。接着，依次对扩展功能判定文件进行处理。具体而言，对记录于扩展功能判定文件的扩展功能是否对应于所述播放器进行判定，对应的情况下，将扩展功能判定文件所指定的值设定于由扩展功能判定文件指定的GPRM。该处理在进行记载于扩展功能判定文件的所有的扩展功能的判定之后进行（S402、S403、S404）。
所有的扩展功能的判定结束后，开始执行由索引文件的最先播放标题参照的程序。（S405）
以上那样，根据本实施方式，由于在索引表的读入和最先播放标题的再现之前，将扩展功能的能力的有无设定于GPRM，因此能够在最先播放标题的再现时，对徽标进行色彩深度扩展并显示。由此，能够回应来自内容提供商或者内容制作者的强烈要求。另外，将扩展功能的能力显示于GPRM，因此能够避免播放器设定寄存器、播放器状态寄存器的预约区域的消耗，能够留下播放器模型的将来的扩展余地。
（第4实施方式）
第4实施方式应用前述的色彩深度扩展的机制，因此具体而言其目的在于进一步有效地进行母画面视频的一部分置换。
图49示出设想的应用的一个示例。首先，“脸部的置换”示出将电影等主人公替换为别的演员，视听者能够将从照相机取入的自己的脸部与主人公的脸部进行替换。另外作为别的应用示例示出在“广告牌的置换”中，将电影中出现的广告牌按照各个国家进行替换，根据赞助商进行替换的应用。以往，为了实现这些应用，对母画面视频准备子画面视频，通过将子画面视频重合于母画面视频来实现。图50示出通过将子画面视频重合于母画面视频从而实现的画中画图像。
{发明所要解决的课题}
此时，以往的子画面视频的大多数对于具有高清晰（1920×1080或1280×720）分辨率的母画面视频，由于磁盘容量的制约或视频解码器的处理量的制约，多使用分辨率较低的影像（例如SD分辨率的影像），存在以下那样的课题。
（1）由于一般SD分辨率中使用的色彩空间（ITU-R BT.601）与高清晰中使用的色彩空间（ITU-R BT.709）不同，将子画面视频照样地重叠至母画面视频上的情况下，在母画面视频和子画面视频的边间上存在出现色彩差异。为了避免这种情况，在母画面视频和子画面视频的合成前，在对色彩空间进行转换使其与哪个色彩空间重合的情况下，也由于转换时的误差使得母画面视频和子画面视频的色彩难以完全重合。
（2）对子画面视频进行扩大或缩小并重叠的情况下，根据扩大·缩小时的方式，由于子画面视频内的线渗出，因此存在构成从母画面视频向子画面视频连续那样的对象的线渗出的情况。
作为回避这些课题的方法，存在子画面视频也使用与母画面视频相同分辨率的影像的方法。但是，这种情况如应用例所示，尽管只想对母画面视频内的一部分的部位进行置换，但是需要将子画面视频作为视频流而压缩至对于母画面视频来说不需要进行置换的部位，因此与使用以往的SD分辨率的子画面视频的情况相比，产生新的课题，即子画面视频所需的数据量增大。
本发明的目的在于提供一种编码方法，该编码方法能够进行通常的动态图像和画中画动态图像之间的切换而不使子画面视频的数据量增大。
用于解决课题的手段
在编码方法的局面上实现课题解决的情况下，该局面中的编码方法，其特征在于，
该编码方法包含：第1编码步骤，其通过对原图像进行编码处理从而生成基本视频流；以及第2编码步骤，其生成画中画视频流，该画中画视频流由各个图片数据中的画中画数据构成，画中画数据是基本视频流中的图片的画面区域的一部分被替换成子画面区域的图片数据，第2编码步骤进行图片间预测编码处理，通过只将基本视频流中的各个图片数据作为参照图像的图片间预测编码处理，对画中画数据中的位于被替换成子画面区域的部分以外的画面区域的像素块进行编码。
作为能够解决上述课题的手段而记载于上位概念中的事项，能够进行多种下位概念化。以下列举该下位概念化中的典型事项。
（关于画中画视频流的指定方法的下位概念化）
期望所述画中画视频流的图片数据间歇性地存在于基本视频流的再现时间轴上，
构成基本视频流的各图片数据包含存在或不存在标记，该存在或不存在标记表示在再现时间轴上是否存在应该在同一时间点再现的画中画视频流的图片数据。在不存在画中画视频流的图片的期间内，能够冻结对于画中画视频流的处理，因此能够避免发生画中画视频流侧的缓冲器的下溢。
（与子画面区域内的压缩编码方式有关的下位概念化）
期望在构成所述画中画视频流的各个图片数据上，通过图片间预测运动补偿处理，在构成画中画视频流的其它图片数据上，对存在于被替换为子画面区域的部分中的像素块进行解码，该图片间预测运动补偿处理将存在于被替换为子画面区域的部分中的像素块作为参照图像。
在画中画视频流的内部，使用子画面视频之间的相关性的压缩编码成为可能，因此能够提高编码效率。
在解码方法的局面上实现课题解决的情况下，该局面中的解码方法，其特征在于，该解码方法包括：第1解码步骤，其通过对基本视频流进行解码从而得到非压缩的图片数据；以及第2解码步骤，其通过对画中画视频流进行解码从而得到画中画图片数据，所述第2解码步骤对像素块执行图片间预测运动补偿，该像素块位于画中画数据中子画面区域以外的画面区域，该图片间预测运动补偿只将基本视频流中的各个图片数据作为参照图像。
作为能够解决上述课题的手段而记载于上位概念中的事项，能够进行多种下位概念化。以下列举该下位概念化中的典型事项。
（关于画中画的指定方法的下位概念化）
期望所述画中画视频流的图片数据间歇性地存在于基本视频流的时间轴上，基本视频流中的各图片数据包含存在或不存在标记，该存在或不存在标记表示在时间轴上是否存在应该在同一时间点再现的画中画视频流的图片数据，第2解码步骤根据存在或不存在标记切换是否冻结对画中画视频流的处理。在不存在画中画视频流的图片的期间内，能够冻结对于画中画视频流的处理看，因此能够将存在于画中画视频流的解码图片数据缓冲器的参照图片用于后段的处理。
（与对于子画面图像的压缩编码有关的下位概念化）
期望在构成所述画中画视频流的各个图片数据上，通过图片间预测运动补偿处理，在构成画中画视频流的其它图片数据上，对存在于被替换为子画面区域的部分中的像素块进行解码，该图片间预测运动补偿处理将存在于被替换为子画面区域的部分中的像素块作为参照图像。在画中画视频流的内部，使用子画面视频之间的相关性的压缩编码成为可能，因此能够提高编码效率。
这些课题解决手段中存在每个像素块中运动补偿时的参照图片的限制。像素块是预定的横像素数量、预定的纵像素数量的像素的集合，在本实施方式中，采用横32像素×纵32像素的像素集合的宏块作为像素块。
参照附图对有关上述课题解决手段的课题解决过程进行具体的说明。图51示出对本实施方式的编码方法进行实施的装置（编码装置）的内部结构的一个示例。如本图所示，编码装置具有：第1视频编码器41，其对原图像进行编码并得到基本视频流；视频解码器42，其对基本视频流进行解码；参照图片缓冲器43，其对通过视频解码器的解码而得到的非压缩的图片数据进行存储；第2视频编码器44，其通过对参照存储于参照图片缓存器中的参照图片对图像的一部分被置换为子画面视频的画中画图像进行解码从而得到画中画视频流。
首先，通过第1视频编码器41将原图像作为基本视频流进行压缩。接着，通过视频解码器对前述的基本视频流进行解码，将解码的图片作为参照图片记录于参照图片缓冲器。接着将只置换了脸部的图片输入至第2视频编码部44，但是第2视频编码器44参照前述的参照图片进行压缩。该方式的优点在于：第2视频编码器44所参照的参照图片，除了第1视频编码器41的非可逆压缩的压缩误差之外，成为置换对象的脸部以外的地方相同，因此在实际的压缩中仅对成为置换对象的脸部的部分进行压缩处理，脸部以外的区域只要对参照图片进行参照就可以。
这里，第1视频编码器41和第2视频编码器44考虑使用例如MPEG-4MVC的视频编码器。以往，MPEG-4MVC的技术是为了对从多个视观察的同一个物体的图像进行有效地压缩而开发的压缩技术，因此通过互相参照从多个视观察的影像（多个视）并进行压缩从而能够有效地进行压缩。
在本实施方式中，对于母画面视频，也能够将仅置换脸部的图像作为多个视进行压缩的图像，置换对象以外的地方全部与母画面视频相同，因此能够非常有效地进行压缩。
另外，作为次要的效果，保持于参照图片缓冲器的参照图片是非可逆压缩后被解码的图片，因此与原图像相比，下位比特不同的可能性较高（在第1实施方式中使用图1说明的内容），但是由于在第2视频编码器44中包含下位比特误差而进行编码，因此第2视频编码器44所输出的画中画视频流在被置换的脸部以外的区域中，也对与参照图片之间的差分进行编码，因此成为更接近原图像，即更高图像质量。
（为导入本实施方式特有的编码方法而产生的课题）
上述方式的课题，在第2视频编码器44使用参照图片进行压缩时，由于参照图片的下位比特由于非可逆压缩而变化，因此即使与只置换脸部的图像比较比特，也不能正确地把握被置换的地点，作为结果对整个画面进行了编码，因此处理量变大。
本发明的次要目的能够回避整个画面的编码所带来的处理量增大。
用于解决课题的手段
在编码方法的局面上实现课题解决的情况下，该局面中的编码方法，其特征在于，在第2编码步骤中，生成画中画数据时生成由多个标记构成的替换信息，所述替换信息中的各个标记表示通过分割画中画数据而得到的多个像素块是否在画中画上分别构成子画面区域。
在解码方法的局面上实现课题解决的情况下，该局面中的解码方法，其特征在于，在第2解码步骤中，在对画中画流进行解码时，获取由多个标记构成的替换信息，在获取的替换信息中，对于与被设定为打开的标记对应的像素块，不执行使用了参照图片的图片间预测运动补偿，对在获取的替换信息中与被设定为关闭的标记对应的像素块，执行使用了参照图片的图片间预测运动补偿。
通过将上述技术特征导入至编码方法的发明、解码方法的发明从而能够实现上述课题的解决。参照图52对有关上述课题解决手段的课题解决过程进行具体的说明。图52示出用于获取画中画视频流的编码装置的内部结构的一个示例。图52与图51的不同点在于，记录于参照图片缓冲器的参照图片成为原图像而不是对第1视频编码器的输出进行解码的图片。该情况下，对第2视频编码器44所参照的参照图片和仅置换脸部的图像进行比较，则除了置换部位以外，在像素单位中直到下位比特都一样。因此，使用参照图片进行压缩时，直到下位比特都一样的部位完全不需要编码处理，只要将其作为对参照图片进行参照而记录即可，因此能够将编码处理的对象仅限定于置换对象的脸部部分。
图53示出用于更有效地进行图52所示的压缩处理的编码装置的内部结构的一个示例。通常，制作电影内容，实现前述的演员置换那样的应用的情况下，在制作电影内容的时间点，在母画面视频内通过像素单位对成为置换对象的部位进行判明。另外，在MPEG-4MVC等的压缩技术中，通过以最小4×4像素构成的称为宏块的单位从而进行压缩处理。
因此，将母画面视频和仅置换脸部的图像作为以4×4像素构成的宏块单位进行分割，在4×4的宏块单位中，判定母画面视频和仅置换脸部的图像是否完全相同（标记为“0”），是否有一部分不同（标记为“1”），将其作为图53中所示那样的置换信息而持有。
利用第2视频编码器44对仅置换脸部的图像进行压缩时，利用所述置换信息，仅将成为置换对象的宏块（即，标记为“1”的宏块）作为编码对象，只要将其它宏块作为对参照图片进行参照的宏块进行处理即可。
通过这样利用置换信息进行压缩，从而在对仅置换脸部的图像进行编码时，能够仅对置换的像素/宏块的部位进行编码处理。
另外，成为置换对象的像素/宏块的地点和原图像有很多不同，存在很多即使利用参照图像进行压缩也不能进行有效地压缩的情况。因此，在第2视频编码器44中，也考虑仅利用置换信息对画中画数据进行编码的结构而不利用参照图片缓冲器。
置换信息的标记只要能够表示各个宏块是否在子画面内就足够了，因此位宽为1比特即可。由此（存在于图片数据的宏块的个数）只要有×1的比特大小就能够制作置换信息。
置换信息中的各标记的设定如下。在图片平面之中，通过元数据中的图像结构入口的坐标（x，y）和子画面区域的纵宽·横宽从而对置换为子画面视频的区域进行规定。由此，将图片平面中的坐标（x，y）和子画面区域的纵宽·横宽转换为宏块地址，就能够明示宏块从哪里开始从哪里结束。通过宏块所属的切片的序号和宏块所属的切片中的宏块的连续序号的组来表现图片平面中的宏块地址。由此，由元数据的图像结构入口中的子画面区域的坐标（x，y）和子画面区域的纵宽·横宽而求出子画面区域的左上顶点、右上顶点、左下顶点以及右下顶点，将其转换为宏块数据就能够确定成为属于子画面区域的宏块。
在置换信息生成时，首先求出包含左上顶点的宏块的宏块Start的序号和包含右上顶点的宏块的宏块End的序号。同时求出包含左上顶点的切片的切片Start的序号和包含右下顶点的切片的切片End的序号。
并且对于存在于切片Start至切片End的各个多个切片，只要将与宏块Start至宏块End的宏块对应的置换信息的标记设定为“1”，通过置换信息对存在有子画面区域的宏块进行确定。能够利用元数据中的图像结构入口通过以下方式算出宏块Start、宏块End、切片Start、切片End。
由于子画面区域中的左上顶点的X坐标是画面结构入口中的子画面区域的x坐标，将该子画面区域的x坐标除以宏块中的横像素量其商成为宏块Start。
由于子画面区域中的右上顶点的X坐标是画面结构入口中的子画面区域的x坐标加上子画面区域的横宽而得到的坐标，将该子画面区域的（x坐标+横宽）除以宏块中的横像素数量其商成为宏块End。
由于子画面区域中的左上顶点的Y坐标是画面结构入口中的子画面区域的y坐标，将该子画面区域的y坐标除以切片中的纵像素数量其商成为切片Start。
由于子画面区域中的右下顶点的Y坐标是画面结构入口中的子画面区域的x坐标加上子画面区域的纵宽而得到的坐标，将该子画面区域的（y坐标+纵宽）除以切片中的纵像素数量其商成为切片End。
在这些从切片Start至切片End的各个宏块中，将宏块Start到宏块End的标记设定为“1”，在构成基本视频流的图片的宏块中，对置换为子画面区域的宏块进行确定。由此生成置换信息。
另外，虽然将置换信息的单位作为宏块单位，但是不仅限于此，置换信息也可以是像素单位，也可以是1个以上的矩形区域。能够在对电视广播内容进行发送的发送装置上实施上述编码方法的发明。该电视广播内容是1TS-2VS形式。如果是1TS-2VS形式的电视广播内容，则包含基本视频流、画中画视频流的传输流文件成为解码的对象。
另外，画中画视频流也可以另外通过网络等进行分布。这种情况下，在包含通过广播电波发送的基本视频流的传输流内，期望记载有表示包含画中画视频流的传输流或者MP4文件等保持于网络上的哪个位置的URL等的信息（画中画视频流所在信息）。更具体地说，前述的URL等的画中画视频流所在信息记载于以下地点。
（1）基本视频流或者画中画视频流的包头
能够将画中画视频流所在信息记录于基本视频流或者画中画视频流内的包头等。或者，也可以归纳于GOP开头的帧并对多个帧/场量的画中画视频流所在信息进行保持，而不是分别按各帧/场对画中画视频流所在信息进行保持。
（2）PMT（Program Map Table）
也可以将画中画视频流所在信息记录于PMT（Program Map Table）。例如，将画中画视频流所在信息作为基本视频流或者画中画视频流的流描述符的一个信息进行保持。
（3）导航或者JAVA的命令的指示
虽然只通过视频帧单位或者PMT划分的区间、播放项目单位等预先决定的单位/区间来对画中画视频流所在信息（1）、（2）以及（4）进行切换，但是也可以例如根据导航或者JAVA的命令而取得画中画视频流所在信息，按照该取得的画中画视频流所在信息，取得画中画视频流。
（4）来自播放项目信息、子播放项目信息的指示
将画中画视频流记录于记录介质并提供给再现装置的情况下，也能够以播放项目单位或者子播放项目单位来保持画中画视频流所在信息。对画中画视频流所在信息进行记录的地点不仅限于上述的地点，也可以例如先将画中画视频流所在信息记录于网络上的服务器等，设备根据需要能够取得。
将这些通过基本视频流、画中画视频流的组来实现的广播内容称为“画中画广播”。在“画中画广播”中，根据用户的视频流切换操作，通过选择性地进行再现从而实现原始的动态图像与置换了影像的一部分的动态图像之间的切换。
图54示出能够实施编码方法的发明的广播装置的内部结构的一个示例。如本图所示，该广播装置包含：图像储存器50，其存储多个应该成为画中画的母画面视频的母画面视频流和多个应该成为画中画的子画面视频的子画面视频流；再现部51，其对母画面视频流和子画面视频流进行再现；合成部52，其根据元数据对母画面视频流和子画面视频流进行合成；画中画图像生成部53，其受理用户操作，制作元数据；GUI部53a，其受理用户操作；多视（视点）编码部54，其通过对原图像和画中画图像进行编码，从而得到由原图像构成的基本视频流和由画中画图像构成的画中画视频流；复用部55，其对基本视频流和画中画视频流与音频流和字幕流一起进行复用而得到传输流；送出部56，其对复用而得到的传输流进行送出。
上述多视编码部包含从图51到图53所示的第1视频编码器、第2视频编码器和参照图片。
通过将多个视频流和PMT表转换为传输流包序列并复用从而生成1TS-2VS形式的电视广播内容中的传输流。
该PMT表包含1个以上的表描述符和与各视频流对应的流信息，各留信息包含流类型、包标识符以及流描述符。表描述符中描述有服务类型信息。服务类型信息表示广播内容是否是能够切换为画中画影像的广播内容。
<画中画视频流生成部的详细>
对画中画视频流生成部进行说明。画中画视频流生成部根据元数据，通过将子画面视频流中的各个图片合成至母画面视频流中的各个图片从而实现画中画。元数据是用于画中画的元数据，该元数据由与对于母画面视频而设定的任意一个再现区间对应的再现区间入口构成，再现区间入口包含包头和多个画面结构入口，该包头包含面向对于母画面视频流而设定的再现区间的参考。
多个画面结构入口规定应该构成对于对应的母画面视频而设定的再现区间的再现时的多个画面结构的内容，各个画面结构入口规定应该合成的子画面视频的指定、表示1个画面结构的时期的时间戳、画面合成中的子画面视频的水平坐标和垂直坐标、以及在对子画面视频进行缩放时的缩放后的横宽·纵宽。
存在多个子画面视频，这些子画面视频形成子画面视频流，由此通过该子画面视频流的标识符与该子画面视频流的时间轴中的再现时间点的指定的组对元数据的入口中的子画面视频的指定进行表现。
在画中画视频流生成部中进行画中画再现的编著，以将根据包含于画面结构入口的横宽·纵宽而完成扩大或缩小的子画面视频显示于再现区间入口中的多个画面结构入口中、具有与当前的再现时间点对应的时间戳的画面结构入口的水平位置和垂直位置。
并且，再现装置的画中画视频流生成部，将根据包含于该画面结构入口的横宽·纵宽而完成扩大或缩小的子画面视频显示于再现区间入口中的多个画面结构入口中、具有与当前的再现时间点对应的时间戳的画面结构入口的水平位置和垂直位置。由此，能够根据当前的再现时间点的进行使画中画中的子画面视频的水平坐标和垂直坐标变化，另外，能够根据当前的再现时间点的进行使画中画中的子画面视频的大小变化。
再现区间入口中的包头包含色度键允许与否标记和色度键上限值，该色度键许可标记规定是否允许合成部的色度键合成。在再现区间入口中的包头表示色度键合成允许的情况下，画中画视频流生成部进行对构成母画面视频流的各个图片数据和构成子画面视频流的各个图片数据之间的色度键合成。
以对子画面视频中的多个像素中的、亮度低于与对于当前的母画面视频流而设定的再现区间对应的再现区间入口中的包头的色度键上限值的像素进行透过的方式，将透过率设定于合成部。由此，对于以蓝色背景为背景拍摄的子画面视频，将该背景部分作为透明部分进行处理使得能够透视母画面视频。由此，能够从640×480分辨率的SD图像质量的矩形形状的子画面视频中抽出出场人物并与母画面视频进行合成。
以下，通过具体示例对上述编码限制的窍门进行说明，加深技术性理解。此处设想的具体示例是指对运动内容进行编码，作为该影像内容，考虑如图55的内容。图55对比并示出基本视频流中的图片和画中画视频流中的图片。图55（a）是作为基本视频流的母画面图片的一个示例，图55（b）是作为画中画视频流的子画面图片的一个示例。在右侧的（b）的图片中，虚线框包围的部分是子画面图片，是完成置换的部分。如此，将对母画面视频的脸部的部分进行置换的图像作为画中画视频流发送出去。
图56示出基本视频流中的多个图片数据和增强视频流中的多个图片数据。在图56中第1段是基本视频流中的多个图片，第2段是增强视频流中的多个图片数据。将基本视频流中的图片构成GOP，各个图片设定于IDR图片、P图片、B图片、Br图片的类型。将画中画视频流中的图片设定于P图片、B图片、Br图片的类型。
图片间的箭头rp1～rp18示意性地示出在帧间运动条件中参照哪个图片的参照关系。但是，画中画视频流的图片整体不存在对画中画视频流内的其它图片整体进行参照的参照关系。
图中附带“×”的箭头rp21至rp23夸大有画中画视频流内的图片数据整体对其它的图片数据整体进行参照的参照关系能否存在于该画中画视频流。由于不再将子画面视频的一部分和母画面视频的一部分作为参照图片混合使用，因此能够回避模拟轮廓的发生和色彩的渗透的发生。由此能够将使得高品位的画中画成为可能的画中画视频流送入广播接收装置。
但是，如果仅限于置换图像的范围，则允许归属于画中画视频流的图片数据的子画面区域的像素块对同一画中画视频流内的其它图片数据的子画面区域的像素块进行参照。图像中的箭头rp30、rp31、rp32、rp33……示出允许归属于画中画视频流的图片数据的子画面区域的像素块对同一画中画视频流内的其它图片数据的子画面区域的像素块进行参照的参照关系。关于置换图像的部位，索性通过参照前后的图片从而提高画中画视频流的压缩效率。即，更期望如下形态：一边参照画中画视频流内的前后图片一边对置换图像的区域进行压缩，一边参照基本视频流一边对置换图像以外的区域进行压缩。
这是上述那样的编码限制的窍门的具体方式之一。画中画视频流和基本视频流由同数量的图片构成，基本视频流中的各图片的DTS、PTS和增强视频流中的各图片的DTS-PTS设定为相同时刻。图中的纵线示出基本视频流的DTS和增强视频流的图片的DTS是相同时刻。以基本视频流的图片→增强视频流的图片→基本视频流的图片→增强视频流的图片的顺序将图片标识符分配至这些图片。由此，以奇数的图片标识符对基本视频流进行识别，以偶数的图片标识符对增强视频流的图片进行识别。
另一方面，宏块由宏块类型、参照图片的参照符（re_idx）、运动矢量等要素构成，使用参照图片的参照符能够对应该成为参照图片的图片进行确定。如上所述，由于分配有基本视频流的图片的奇数的图片序号，因此通过将奇数的图片标识符作为参照图片描述于图片参照符，从而能够实现上述那样的运动补偿的限制。以上是对编码限制的说明。接着，详细说明制作上述具体例的画中画视频流时置换信息是怎样构成的。
图57示出画中画视频流中的图片的内部结构的一个示例。本图的图片示出图55的图像示例，该图片由多个宏块构成。本图中的“Flg”是在上述那样的置换信息中，与各个宏块对应的标记，在本图中对完成置换的演员的脸部的宏块设定为标记=1，其它宏块设定为标记=0。这是上述那样的每个宏块的置换信息的标记设定的具体方式之一。
上述那样，画中画视频流生成部用于处理编辑的元数据，在各个画面结构入口中对画面合成中的子画面视频的水平坐标和垂直坐标、缩放子画面视频时的缩放后的横宽·纵宽进行规定，因此生成画中画视频流时，能够把握构成画中画视频流中的图片的各个宏块是否相当于画中画中的子画面视频。由此，在生成画中画视频流中的图片时，该图片数据中的各个宏块对是否成为子画面视频的范围内进行判定，能够将其转换为宏块单位的信息从而制作上述置换信息。
在实施上述编码方法时，在广播装置中的硬件结构上，必须执行画中画视频流的制作。对为了实施编码方法的发明而广播装置的CPU应该执行的处理步骤进行说明。
图58是示出画中画视频流的生成步骤的流程图。对于构成基本视频流和增强视频流的各个图片，重复步骤S52至步骤S56的处理的循环（步骤S51）。在步骤S52中，对解码时刻和再生时刻成为相同时刻的基本视频流的图片和画中画视频流的图片赋予连续的图片ID。步骤S53规定对于构成所有图片的各个切片重复步骤S54、步骤S55的循环。步骤S54判定切片类型是否为B图片、I图片，步骤S55从在基本视频流中分配于显示顺序的图片中确定参照图片。在步骤S56中，使用这样确定的参照图片对宏块进行编码。
图59示出宏块编码方法的处理步骤。本流程图中的变量（j）是用于确定作为处理对象的宏块的控制变量。因此，在以下的流程图中，在循环的第j循环的处理中记载为作为处理对象的宏块（j）。
在步骤S60中，重复关于构成切片的各宏块。在步骤S61中，判定宏块是否归属于通过画中画的左上坐标、纵宽、横宽来规定的范围内。归属的情况下，在步骤S62中将宏块的标记设定为打开（步骤S62），跳过步骤S63至步骤S67，进入步骤S68从而执行宏块的DCT量化。并且在步骤S69中，进行宏块的熵编码。
不属于画中画合成范围的情况下，将宏块的标记设定为关闭（步骤S63），判定切片类型是否为P图片或B图片。如果不同，则移动到步骤S68。如果切片类型P图片、B图片，则使用由基本视频流确定的图片执行对构成切片的宏块的帧间运动补偿（步骤S65）。在步骤S66中，设定宏块的图片参照符使得仅将基本视频流中的图片分配至参照图片。该设定将在自身的图片ID上加算2m-1（m是1以上的整数）的图片指定为参照图片，或者将从自身的图片ID减去2m-1（m是1以上的整数）的图片指定参照图片。然后，在步骤S67中进行宏块的差分化，进入步骤S68。
根据置换信息能够区别子画面视频的像素块和母画面视频的像素块，因此能够在解码处理的初始阶段对是否需要帧间运动补偿进行判断。不需要运动补偿的情况下，对像素块进行归纳处理的同时，通过对需要运动不补偿的像素块进行处理从而能够很好地进行画中画视频流的解码，通过只能处理MVC-SD（MPEG4-MVC的SD图像对应版）的规模的解码模型也能实现画中画。
解码方法的发明能够在安装有广播内容接收装置的视频解码器上进行实施。图60示出广播内容接收装置的内部结构。如本图所示，接收装置构成为：选台寄存器201，存储自装置中的选台设定；视频流序号寄存器202，存储自装置中的当前视频流序号；接收部203，接收广播波而得到传输流；复用分离部204，按照与存储于选台寄存器的台设定对应的PMT表，从传输流提取TS包，得到视频流、画中画视频流、音频流、字幕流；第1读出缓冲器205a和第2读出缓冲器205b，对构成视频流、音频流、字幕流的TS包进行缓冲；系统目标解码器206，对视频流、音频流、字幕流进行解码的同时，对基本视频流和画中画视频流中与视频流序号对应的视频流进行解码；母画面平面存储器207，存储通过对基本视频流进行解码而得到的图片数据；画中画平面存储器208，存储通过对画中画视频流进行解码而得到的图片数据；开关209，其进行母画面平面存储器和画中画平面存储器中的显示内容的切换；合成部210，进行图片数据和字幕之间的合成；显示部211，对完成合成的图片数据进行显示；控制部212，按照从用户受理的操作和视听预约设定，对选台寄存器进行设定，进行装置整体的控制；操作受理部213，受理用户操作；程序执行部214，进行应用的启动，执行以广播服务的切换为边界的应用信令；图像存储器215，存储由应用描绘的图像。
在视频流序号存储寄存器中，基本视频流和画中画视频流分别分配有第1个视频流序号和第2个视频流序号。在接收装置的寄存器组中，具有存储当前视频流序号的视频流序号寄存器，用户通过分配视频切换或者操作遥控器的键，使得该视频流序号以1→2→1→2变化。
在广播内容接收装置中，由于成本上的问题具有2组全高清的视频解码器是不现实的。用MPEG4的MVC-SD视频解码器来处理画中画视频流时现实的。
图61示出第4实施方式的系统目标解码器104的内部结构的一个示例。本图的结构为：在第1实施方式所示的视频解码器部23、色彩深度扩展部24的外围配置用于对数字广播内容进行处理的独特的结构要素。
本图是以第2实施方式中的再现装置的内部结构为基础而制作的图，与成为该基础的结构相比，需要注意的是依据第2实施方式的实施产品的结构要素被置换为本实施方式特有的实施产品的结构要素（PG解码器126和IG解码器127→字幕解码器304和线存储器305、主声音解码器127和副声音解码器128→音频解码器306）。以下对置换的结构要素进行说明。
字幕解码器304具有编码数据缓冲器、像素缓冲器这两个缓冲存储器，进行数字广播内容中的字幕流的解码。编码数据缓冲器对已编码状态的图形对象和文本对象进行存储。像素缓冲器对通过对已编码的图形对象和文本对象进行解码从而得到的非压缩图形和非压缩文本进行存储。并且字幕解码器107根据页面组成段，进行从像素缓冲器向线存储器的转送。在该转送时，将地区（Region）的列表定义于像素缓冲器。地区（region）是在字幕的解码模型中，在对通过字幕的解码处理（Subtitle Processing）得到的图形进行存储的缓存器（Pixel Buffer）上定义的领域。
线存储器305对解码而得到的多个线量的非压缩的图形进行存储。
音频解码器306进行广播内容中的音频流的解码。
以上是完成置换的结构元素。接着对实施与上述置换相伴的改良的结构元素（第1PID滤波器122a、视频解码部123、第1传输缓冲器（Transport Buffer）131a、第2传输缓冲器131b、压缩影像解码器137）进行说明。
如果在画中画广播的接收时当前视频流序号为“1”，则第1PID滤波器122a从存在于传输流的TS包中、仅将构成基本视频流的TS包输出至视频解码器并存储于其内部的第1传输缓冲器131a。如果在画中画广播的接收时当前视频流序号为“2”，则第1PID滤波器122a从存在于传输流的TS包中、仅将构成基本视频流的TS包输出至视频解码器并存储于其内部的第1传输缓冲器131a，同时，从传输流中的TS包中将归属于增强视频流的TS包输出至视频解码器，并存储于其内部的第2传输缓冲器131b。
视频解码部123不仅输入基本视频流和画中画视频流这2个系统的视频流，还进行与该当前视频流序号相应的视频流的画面输出。例如，如果当前视频流序号为“1”，则将由解码而得到的图片中用奇数（2m-1）的图片标识符来确定的图片提供至画面显示。当前视频流序号为“2”的情况下，选择画中画视频流的图片并提供至画面显示。由于画中画视频流中的图片是用2m的图片标识符来确定的，因此通过将该标识符的图片提供至画面显示能够再现画中画视频流。
如果当前视频流序号为“1”，则第1传输缓冲器131a不仅对从PID滤波器输出来的TS包进行存储还将其提供至解码器。
如果当前视频流序号为“2”，则第2传输缓冲器131b不仅对从第2PID滤波器输出来的TS包进行存储还将其提供至解码器。由此在画中画图片广播的接收时视频流序号设定为“2”的情况下，在从TB131、MB132、EB133到压缩影像解码器137连续的一系列处理系中，输入压缩有母画面视频（置换前的影像）的基本视频流。在从TB134、MB135、EB136到压缩影像解码器137连续的一系列处理系中输入压缩有子画面视频（仅置换脸部的影像）的画中画视频流。
压缩影像解码器137将解码后的帧/场图像转送至DPB139，在显示时刻（PTS)的定时将对应的帧/场图像转送至图片开关124。对实现了位于基本视频流内的封闭GOP的开头的解码器恢复的图片类型（IDR类型）的图片数据进行解码。在该解码时，将编码数据缓存器和解码数据缓存器全部清除。这样在对IDR类型的图片数据进行解码后，视频解码器基于与该图片数据的相关性对压缩编码的基本视频流的后续的图片数据和画中画视频流的图片数据进行解码。通过解码得到与基本视频流中的图片数据相关的非压缩的图片数据，则存储至解码数据缓冲器，将该图片数据作为参照图片。
利用该参照图片，压缩影像解码器对构成基本视频流的后续的图片数据的宏块和构成画中画视频流的图片数据的宏块进行运动补偿。
对各个宏块的运动补偿处理是指：对于16×16、16×8、8×16、直接/跳过，分别决定运动预测模式和参照帧，在B帧中，对各个模式决定预测方向，从子分区模式、帧内4×4模式、帧内8×8模式中决定最合适的模式。
以整数像素精度的运动搜索、1/2像素精度的运动搜索、1/4像素精度的运动搜索的方式阶段性地进行上述中的运动搜索。在整数像素精度的运动搜索中，通过中位数预测求出运动矢量的预测值，将其作为搜索的中心进行搜索。通过重复这些运动补偿，分别继续进行对基本视频流、画中画视频流的解码。上述那样，宏块的图片参照符仅指定构成母画面视频的宏块作为参照图片，因此在该运动搜索中，必须搜索母画面视频的宏块。
通过运动补偿，如果得到非压缩的图片数据，则仅将对于基本视频流的后续的图片数据和画中画视频流的图片数据中的基本视频流的图片数据存储于解码器数据存储器并将其作为参照图片。
以上的解码是在各个访问单元的解码时间戳所示的解码开始时刻到来时进行。如此将已编码的帧/场图像经由图片开关209转送至各平面。将已解码基本视频流的图像转送至视频平面207，将已解码画中画视频流的影像转送至画中画影像平面208。按照平面切换信息经由平面切换开关209将母画面视频平面207和画中画影像平面208中的一个传输至平面加算部210。这里，平面切换信息是决定应该将母画面视频平面内的影像和画中画影像平面内的影像的哪一个传输至平面加算部210的信息。接下来，对平面切换信息进行说明。期望将平面切换信息记录于表示上述的（1）至（4）的地点。
（1）基本视频流或者画中画视频流的包头
能够将平面切换信息记录于基本视频流或者画中画视频流内的包头等。例如，记录有应该将每个构成基本视频流的各帧/场输出至哪一个平面的信息，压缩影像解码器137在与赋予有各视频帧/场的PTS的同时，将应该将母画面视频平面207的存储内容和画中画影像平面208的存储内容中的哪一个传输至平面加算部210作为平面切换信息输入至平面切换开关209。由此将母画面视频平面207的存储内容和画中画影像平面208的存储内容中的一个传输至平面加算部210。
或者，也可以归纳于GOP开头的帧并对多个帧/场量的平面切换信息进行保持，而不是分别按各帧/场对平面切换信息进行保持。
（2）PMT（Program Map Table）
也可以将平面切换信息记录于PMT（Program Map Table）。例如，也可以将平面切换信息作为基本视频流或者画中画视频流的流描述符的一个信息进行保持。
（3）导航或者JAVA的命令的指示
虽然仅以视频帧单位或者以PMT划分的区间、播放项目单位等预先决定的单位/区间对平面切换信息（1）、（2）以及（4）进行切换，但是也可以例如根据导航或者JAVA的命令切换为交互。即，也可以是视听者通过遥控器等对母画面视频和仅置换脸部的图像进行切换。
（4）来自播放项目信息、子播放项目信息的指示
将画中画视频流记录于记录介质并提供给再现装置的情况下，也能够通过播放项目单位或者子播放项目单位来保持平面切换信息。例如，也可以是最初的播放项目区间将主影像平面301传输至平面加算部210，接着在播放项目区间中传输至画中画影像平面302。
对平面切换信息进行记录的地点不仅限于上述的地点，也可以例如先将平面切换信息记录于网络上的服务器等，设备根据需要能够取得。
（画中画视频流中的图片中的间歇发送）
在上述的传输中，产生画中画视频流内的图片只是间歇性地存在于基本视频流的再现时间轴上的案例。这里，只是间歇性地存在的案例的意思是发送装置执行如下间歇性送出：对于基本视频流中不发生置换图像的图片，不发送画中画视频流的图片数据。这种情况下，如果在任何地点都没有表示画中画图片的有无的信息，则导致在视频解码器侧中的缓冲器（上述那样的第2TB、第2MB、第2EB）的下溢。
考虑已应用实际的画中画视频流的应用内容，则存在例如仅在某场景中替换基本视频流内的人物，在其它场景中不对基本视频流内进行替换并按原样送出的案例。在这样不对基本视频流内进行替换并按原样送出的案例中，期望不传输对应的画中画视频流。
然而，从设备的解码器的观点来看，当突然成为不传输画中画视频流的状态时，在用MPEG来规定的缓冲器中用于画中画视频流的缓冲器（第2TB、第2EB、第2MB）发生下溢，可能在画中画视频流的解码中途失去参照图片或者发生解码参数的复位。为了回避该情况，期望对于基本视频流内的各图片，加入表示对应的画中画视频流的图片的有无的存在与否标记。或者，期望在上述的（1）至（4）的任意区域内，对于构成基本视频流的各图片加入表示对应的画中画视频流的图片是否存在的存在与否信息。另一方面，在视频解码器中，从基本视频流或者上述的（1）至（4）的区域中取出表示画中画视频流的图片的有无的存在与否标记，如果将从成为再现对象的图片数据中取出的表示“有图片”的标记切换为表示“无图片”的标记，则能够在维持视频解码器中的缓冲器状态的情况下冻结对于画中画视频流的解码动作。由此，视频解码器维持用于画中画视频流的第2TB、第2MB、第2EB的存储内容，在躲避解码用参数的基础上省略对于画中画视频流的处理。
相反，如果将从成为再现对象的图片数据中取出的表示“无图片”的标记切换为表示“有图片”的标记，则解除与画中画视频流相对的解码动作的冻结，从冻结之前的缓冲器状态继续解码动作。由此，能够避免与画中画视频流相关的处理系统的下溢的发生。
接着，对解码方法的实施进行说明。在实施上述解码方法时，在内容发送接收装置中的硬件结构上，必须执行画中画视频流的执行和解码。对为了实施解码方法的发明，内容发送接收装置的CPU应该执行的处理步骤进行说明。图62是示出解码步骤的流程图。在本流程图中的变量（i）用于确定成为处理对象的图片的控制变量。因此，在以下的流程图中，在循环的第i循环的处理中记载为作为处理对象的切片（i）。在切片（i）中应该成为处理对象的宏块为宏块（j）。
步骤S71对于构成所有的图片的各个切片重复步骤S72至步骤S77。步骤S72对于构成切片的各个宏块重复步骤S73至步骤S77。步骤S73进行宏块的熵解码，在步骤S74中进行宏块（j）的DCT逆量化。步骤S75判定置换信息中的宏块（j）的标记是否打开，如果是“打开”则进入下一个宏块进行处理。标记如果是“关闭”，则在步骤S76中判定切片类型是否是P图片、B图片，如果步骤是“是”，则在步骤S77中将基本视频流的图片作为参照图片进行使用并执行帧间运动补偿。
{发明效果}
以上那样，根据本实施方式的发明，子画面视频的部分以外的像素块在像素单位中包括直到下位比特在内一致。因此，即使在使用母画面视频作为参照图片进行压缩时，包括直到下位比特在内同一个部位也不需要编码处理，作为子画面视频中的宏块的结构，只要罗列对基本视频流中的宏块进行指定的图片参照符就足够了。由于能够仅将编码处理的对象限定为置换对象的子画面视频的部分，因此即使在没有假设全高清视频的再现的规模的视频解码器（MVC-SD视频解码器）中，也能够实现画中画。
（第5实施方式）
在前一个实施方式中，在发送广播内容的发送装置上制作画中画视频流，但是本实施方式涉及在再现装置上对画中画视频流进行再现的改良。
将母画面视频的演员替换为别的演员那样的应用，也可以是编著者在磁盘制作时制成画中画视频流，并预先记录于蓝光只读磁盘，也可以保持于网络上的服务器，并在再现时播放器从网络上下载包含画中画视频流的AV剪辑（画中画视频流）。这种情况下的实施方式，用前一个实施方式的手法对画中画视频流进行制作并记录使其在再现装置上再现。
在本实施方式中，除了以上那样的画中画视频流的再现以外，再现装置能够实现取得成为置换对象的子画面视频并制作画中画视频流的处理。
图63示出第5实施方式中的再现装置的内部结构的一个示例。该再现装置中的改良是指这一点：存在生成画中画视频流的画中画视频流生成部401、取入AV流的AV流取入部402、以及输入切换开关403。在图63的内部追加有用于从网络上取得画中画视频流的AV流取入部，但是这是用于经由网络对保持于网络上的记录介质等的AV流进行取入的装置，经由输入切换开关403，连接于第1读出缓冲器102aa或者第2读出缓冲器102b。将画中画视频流记录于蓝光只读磁盘或者记录于服务器有区别，但是后面的处理与之前所说明的没有区别。
对此，对将母画面视频的演员置换为视听者的脸部的情况的装置结构进行探讨。
作为用于置换为视听者的影像的装置，在本图中，追加画中画视频流生成部。
对画中画视频流生成部进行说明。画中画视频流生成部根据元数据，通过将子画面视频流中的各个图片合成至母画面视频流中的各个图片从而实现画中画。该元数据通过与对于母画面视频而设定的任意一个再现区间对应的再现区间入口而构成，再现区间入口包含包头和多个画面结构入口，该包头包含面向对于母画面视频流而设定的再现区间的参考。根据该元数据，画中画视频流生成部进行以用户自己的脸部来对记录于蓝光只读磁盘的母画面视频的主人公的脸部进行置换的处理，并得到画中画视频流。
基于用户所拍摄的照片，在图64中示出用于生成画中画视频流的画中画视频流生成部的详细。图64包含：存储卡读出器61，其进行来自半导体存储卡的数据读出；网络接口62，其进行和网络之间的数据发送和接收；影像取入部63，其通过这些对应该成为母画面视频和子画面视频的图像数据进行取入；取入保持存储器64，其对取入的影像进行存储；图像生成部65，其利用置换信息、置换对象以及元数据而得到画中画图像；视频编码部66，其通过对转换而得到的画中画图像进行编码从而得到画中画视频流；以及复用部67，其通过对画中画视频流进行复用从而生成传输流。
首先将用户所拍摄的照片记录于存储卡等记录介质或者网络上的服务器上的记录介质。记录于存储卡的情况下，经由存储卡读出器，记录于服务器上的记录介质的情况下经由网络I/F，通过影像取入部进行取入并在再现装置内的存储器中进行保持。
通过画中画视频流生成部将保持于取入影像保持存储器中的影像作为置换信息图像进行转换。即使在用户所拍摄的照片是从正前方拍摄的照片的情况下，也存在置换对象的原图像内的主人公朝向正前方以外的方向的情况，根据场景主人公的大小也不同。在画中画视频流生成部中，利用“置换对象目标的朝向信息”对用户所拍摄的照片进行转换，使其朝向与置换影像匹配的方向，并且由于各场景的置换对象的目标（在本实施例中是母画面视频的脸部）的大小不同，因此给予置换信息的区域进行扩大、缩小灯处理，使得与置换对象的目标（脸部）的方向和大小相匹配。
由此，为了置换通过画中画视频流生成部对用户所拍摄的照片进行转换并输入至第2视频编码器44。在第2视频编码器44中，通过利用图53说明的方法生成画中画视频流，通过复用部对所述画中画视频流进行复用并生成AV剪辑。
<备注>
以上，在本申请的申请时，虽然对申请人所能够知晓的最优的实施方式进行了说明，对于以下所示的技术主题，能够进行进一步的改良或变更实施。需要注意的而是，是否如各实施方式所示进行实施或者实施这些改良·变更都是自由的，这是根据实施者的主观决定的。
<置换信息的形态>
宏块由宏块类型、参照图片的参照符、以及运动矢量等要素构成。在第4实施方式示出的画中画视频流中，由于在子画面视频的部分中没有使用运动补偿，因此也可以将宏块的运动矢量的场作为标记进行使用。这种情况下，由于可以不用另外对置换信息进行定义，因此能够削减数据大小。
<编码器的安装>
第1实施方式所示的正值化转换，用于不能压缩第2视频编码器具有负值的图像信息的情况，但是根据视频的压缩方式以负值也能够进行处理的情况下不是必须的要素。另外，关于色彩深度扩展，在之前对进一步扩展现行的8比特进行说明，但是也可以是例如基本视频流为6比特、原图像为8比特。
另外，作为第1视频编码器和第2视频编码器所使用的视频编解码器，考虑MPEG2、MPEG-4AVC、VC1等，但是不仅限于此，也可以是例如第1视频编码器作为MPEG-4MVC的基本视进行编码，第2视频编码器作为MPEG-4MVC的非基本视进行编码等，也可以应用第1视频编码器是MPEG2，第2视频编码器是MPEG-4AVC等不同的视频编解码器。
另外，用表示原图像的各像素的各色彩的色彩深度的N比特来表示的比特数量，也可以在构成原图像的所有图片中相同，也可以是根据每个图片而不同。这种情况下，期望将原图像的比特数量预先放入基本视频流或增强视频流，参照后述的解码处理。
<与扩展文件的对应>
期望为了色彩深度扩展而基于以下的转换规则对记录于色彩深度扩展目录的文件的文件名进行决定。即，期望对存在于BDMV目录的文件的文件体和扩展符进行结合并将其作为文件体文字序列，赋予扩展版（.EXT）。例如，如果是00001.mpls，文件体转换为mpls00001.ext，用该文件名将色彩深度扩展播放列表记录于扩展版目录。如果是00001.m2ts，文件体转换为m2ts00001.ext，用该文件名将色彩深度扩展播放列表记录于扩展版目录。
<宏块单位的处理的实现>
编码是以宏块单位来进行的，另外解码也是以宏块单位来进行的。因此，期望将能够存储宏块的像素的集合的内部缓冲器设置于第1实施方式和第2实施方式所示的色彩深度扩展部的结构要素、流生成部的结构要素（位移电路、减算器、加算器、编码器、解码器）的内部，通过该内部缓冲器来存储运算中途过程的数据。
<位移量>
在第1实施方式中，示出了作为用于对增强视频流的图片的灰度比特序列进行位移的位移量的目标比特位置，即将增强视频流灰度的最上位比特作为位移量，但是也可以是应该位移至上位方向几比特的位移计数。如果最上位比特为6比特，也可以将2（6-4）表示为位移量。
<画中画视频流生成部的配置地点>
在第5实施方式中，如图64所示的那样将画中画视频流生成部作为包含于播放器的一个功能块进行说明，但是也可以通过网络上的服务器上的应用来实现同样的功能。这种情况下，用户将拍摄的照片上传至所述服务器，服务器侧的应用从上传的照片生成画中画视频流，播放器从AV流取入部402取得画中画视频流，从而实现相同的应用。
<置换信息或置换对象目标的放置地点>
也可以将图65中的置换信息或置换对象目标的朝向信息等信息作为辅助信息之一记录至蓝光只读磁盘内，也可以保持至网络上的服务器上。
（集成电路的实施方式）
从各实施方式所示的显示装置、再现装置的硬件结构中，排除记录介质的驱动部和与外部的连接器等机构性部分，也可以对相当于逻辑电路或存储元素的部分，即逻辑电路的中枢部分进行系统LSI化。系统LSI是指在高密度基板上安装裸芯片并进行封装。通过将多个裸芯片安装于高密度基板上并进行封装，将恰好具有1个LSI那样的外形构造的多个裸芯片称为多芯片模块，但是，这种模块也包含在系统LSI中。
这里，着眼于封装的类别时，系统LSI具有QFP(四方扁平阵列）、PGA(针网格阵列)这样的类别。QFP是在封装的四个侧面安装有针的系统LSI。PGA是在底面全体安装有多个针的系统LSI。
这些针发挥电源供给、地线、作为与其他电路之间的接口的作用。由于系统LSI中的针具有这样的接口的作用，因此通过将其它电路连接在系统LSI中的这些针上，系统LSI发挥作为再现装置的核心的作用。
<程序的实施方式>
各实施方式所示的程序可以如下生成。首先，软件开发者使用编程语言对用于实现各流程图和功能性的结构要素的源程序进行描述。在该描述时，软件开发者按照编程语言的语法，使用等级构造体或变量、排列变量、外部函数的呼叫，对具体实现各流程图和功能性的结构要素的源程序进行描述。
所描述的源程序作为文件提供给编译器。编译器翻译这些源程序而生成目标程序。
基于编译器的翻译由语法解析、优化、资源分配、代码生成这样的过程构成。在语法解析中，进行源程序的字句解析、语法解析和意思解析，将源程序转换为中间程序。在优化中，针对中间程序进行基本块化、控制流程解析、数据流程解析这样的作业。在资源分配中，为了适合于成为目标的处理器的命令组，将中间程序中的变量分配给成为目标的处理器所具有的寄存器或存储器。在代码生成中，将中间程序内的各中间命令转换为程序代码，得到目标程序。
这里生成的目标程序由使计算机执行各实施方式所示的流程图的各步骤、功能性的结构要素的各个步骤的1个以上的程序代码构成。这里，程序代码如处理器的本地码、JAVA(注册商标)字节码那样具有多个种类。基于程序代码的各步骤的实现具有多个种类。在能够利用外部函数实现各步骤的情况下，呼叫该外部函数的呼叫文成为程序代码。并且，实现1个步骤的程序代码有时也归属于不同的目标程序。在命令种类受限的RISC处理器中，也可以通过对算术运算命令、逻辑运算命令、分支命令等进行组合，从而实现流程图的各步骤。
生成目标程序后，程序员针对这些目标程序起动链接器。链接器对存储器空间分配这些目标程序和关联的库存程序，将它们结合成一个程序，生成载入模块。这样生成的载入模块以计算机的读取为前提，使计算机执行各流程图所示的处理步骤和功能性的结构要素的处理步骤。将该计算机程序记录于非临时的计算机可读取的记录介质并提供给用户即可。
<BD-J应用的实现>
进行有关扩展功能的处理的程序文件也可以是通过由BD-J目标来规定有动作的BD-J应用。
BD-J平台是用于基于HAVi器件、Java媒体框架的播放列表再现的再现控制引擎、用于存入·存出管理的缓存管理器、用于事件处理的事件管理器这样的软件群、即与数字广播的多媒体家庭平台终端(DVB-MHP)中的软件群很相似的软件群成为动作主体。
作为在BD-J平台上动作的系统应用，在设置扩展功能适合应用的情况下，在能够利用的API中，有Java2Micro_Edition(J2ME)Personal Basis Profile(PBP1.0)和Globally Executable MHP specification(GEM1.0.2)for package media targets。如果利用这些API，通过使用用于网络处理的java.net、用于GUI处理的java.awt、用于语言处理的java.lang、用于针对记录介质的I/O处理的java.io、作为实用工具的java.util、用于媒体框架的javax.media的类的方法、构造函数、接口、利用事件的构造化编程，能够描述与色彩深度扩展显示相关的处理。
通过使用用于BD-J平台的拓展API(被称为BD-J拓展)，实现使用到此为止所述的用于色彩深度扩展再现的数据构造、色彩深度扩展再现中的再现单位的控制。该BD-J拓展包括从java.net、java.awt、java.lang、java.io、java.util、javax.media类的方法继承来的方法，将这些类的接口作为植入接口、超级接口，因此在使用java.net、java.awt、java.lang、java.io、java.util、javax.media类的编程技法的扩展线上，能够制作适于色彩深度扩展再现的应用。
“BD-J对象”规定BD-J模式中的再现装置的举动的详细情况。该举动的详细情况有：对应的标题成为当前标题时的应用的类加载(1)、对应的标题成为当前标题时的应用信令(2)、通过该应用信令启动的应用在执行GUI处理时的HAVi器件配置(3)、该当前标题中的播放列表访问(4)、对应的标题成为当前标题的情况的类档案文件的存入·存出(5)、将成为启动的应用的触发的事件分配给密钥这样的事件分配(6)。
“类加载”是指将类档案文件中存档的类文件的实例在平台的堆区域中生成的处理，“应用信令”是规定是否使作为类文件的实例的应用自动启动、或者将应用的生存区间作为标题边界还是作为盘边界的控制。标题边界是指与标题的结束同时地将作为应用的线程从堆区域清除的管理，盘边界是指与盘弹出同时地将作为应用的线程从堆区域清除的处理。相反，将即时盘弹出也不将线程从堆区域删除的控制称为“盘无边界”。“HAVi器件构造”规定应用执行GUI处理时的图形平面的分辨率和文字显示中使用的字体等。
“播放列表访问”是指，选择启动的应用能够命令再现的播放列表和标题时应该自动再现的播放列表的指定。
“类档案文件的存入”是指将成为类加载的对象的类档案文件先读入缓存的处理，“类档案文件的存出”是指将存在于缓存的类档案文件从缓存删除的处理。“用于应用驱动的事件分配”是对用户能够操作的键分配登记在应用的事件监听中的事件。
<色彩深度扩展交互流文件和m2ts流文件的记录区域>
在分区区域中，色彩深度扩展交互流文件和m2ts流文件的记录区域形成于物理性连续的多个扇区上。分区区域由“记录有文件组描述符的区域”、“记录有终端描述符的区域”、“ROOT目录区域”、“BDMV目录区域”、“JAR目录区域”、“BDJO目录区域”、“PLAYLIST目录区域”、“CLIPINF目录区域”、“STREAM目录区域”以及“CLREXT目录区域”构成，是通过文件系统进行访问的区域。下面，对这些区域进行说明。
“文件组描述符”包含对在目录区域中记录有ROOT目录的文件入口的扇区进行指示的逻辑块序号（LBN）。“终端描述符”表示文件组描述符的终端。
接着，对目录区域进行详细说明。上述那样的多个目录区域都具有共通的内部结构。即，“目录区域”由“文件入口”、“目录文件”以及“与下位文件有关的文件记录区域”构成。
“文件入口”包含“描述符标签”、“ICB标签”和“分配描述符”。
“描述符标签”是示出自身为文件入口的标签。
“ICB标签”示出与文件自身相关的属性信息。
“分配描述符”包含示出目录文件的记录位置的逻辑块序号（LBN）。以上是对文件入口的说明。接着，对目录文件进行详细说明。
“目录文件”包含“与下位目录有关的文件识别描述符”和“下位文件的文件识别描述符”。
“下位目录的文件识别描述符”用于访问其下级中的下位目录的参照信息，由示出其下位目录的识别信息、其下位目录的目录名的长度、表示下位目录的文件入口记录于哪个逻辑块序号的文件入口地址、以及其下位目录的目录名构成。
“下位文件的文件识别描述符”是用于访问其下级中的文件的参照信息，由表示其下位文件的识别信息、其下位文件名的长度、表示与下位文件有关的文件入口记录于哪个逻辑块序号的文件入口地址、以及下位文件的文件名构成。
在这些目录的目录文件中的文件识别描述符中，表示下位目录和下位文件的文件入口记录于哪个逻辑块，因此如果追溯该文件识别描述符，则能够从ROOT目录的文件入口到达BDMV目录的文件入口，另外，能够从BDMV目录的文件入口到达PLAYLIST目录的文件入口。同样，也能够到达CLREXT目录、JAR目录、BDJO目录、CLIPINF目录、STREAM目录的文件入口。“下位文件的文件记录区域”是记录某个目录的下级的下位文件的实体的区域，记录有与该下位文件相关的“文件入口”和一个以上的“区段”。
成为本申请的重点的色彩深度扩展立体视交互流文件记录于存在于该文件所述的目录的目录区域内，能够通过追溯目录文件中的文件识别描述符和文件入口中的分配描述符进行访问。
产业上的可利用性
本发明的信息记录介质存储有对色彩深度进行扩展的影像，但是由于对具有8比特的色彩深度的影像进行再现的装置和对具有超过8比特的色彩深度的影像进行再现的装置中任意一个都能进行再现，因此能够向市场提供一种不考虑兼容性而包含对色彩深度进行扩展的高图像质量的影像的电影标题等的动态图像内容，能够激活电影市场和民用设备市场。因此，本发明的记录介质、再现装置在电影产业和民用设备产业上具有较高的可利用性。
标号说明
1000：再现装置；
1001：磁盘介质；
1002：遥控器；
1003：显示装置。

Claims (16)

1.一种记录方法，其特征在于：
该记录方法对基本视频流和增强视频流进行记录，包含：
第1步骤，通过对原图像实施非可逆转换而得到基本视频流；以及
第2步骤，制作包含位移参数和图片数据在内的增强视频流，
表示所述增强视频流中的图片的像素灰度的比特序列，示出表示原图像中的像素灰度的比特序列与表示基本视频流中的图片数据的像素灰度的比特序列之间的差分，
所述位移参数规定在对表示基本视频流中的图片的像素灰度的比特序列与表示增强视频流中的图片的像素灰度的比特序列进行加算时，在再现装置侧应该进行的位移操作，并且，所述位移参数指定成为构成所述基本视频流的图片的灰度比特序列与原图像的灰度比特序列之间的差异的数值范围的最上位比特。
2.根据权利要求1所述的记录方法，其特征在于：
所述差分是通过将基本视频流中的图片的像素灰度的位宽扩展至原图像中的像素灰度的位宽，然后将原图像中的像素的灰度比特序列减去扩展后的灰度比特序列，对该相减结果进行正值化转换而得到的。
3.根据权利要求1所述的记录方法，其特征在于：
所述位移操作包含：
将基本视频流中的图片的像素灰度的位宽扩展至原图像中的像素的灰度比特序列的位宽的操作，其中，
所述位移参数是位移计数的指定，
所述位移计数的指定表示在将增强视频流中的图片的像素灰度的比特序列加算至表示基本视频流中的图片的像素灰度的比特序列时，应该使基本视频流中的图片的像素灰度比特序列向上位方向位移几次。
4.根据权利要求1所述的记录方法，其特征在于：
所述位移操作包含：
将基本视频流中的图片的像素灰度的位宽扩展至原图像中的像素的灰度比特序列的位宽的操作，其中，
位移参数是目标比特位置的指定，
所述目标比特位置的指定表示：
将增强视频流的灰度比特序列加算到完成了位宽扩展的基本视频流图片的灰度比特序列时，应该将增强视频流的灰度比特序列位移到几比特。
5.根据权利要求1所述的记录方法，其特征在于：
所述基本视频流中的多个图片数据和所述增强视频流中的多个图片数据构成图片组，该各图片组分别构成多个帧，具有与所述多个帧中的各帧对应的位移参数作为参数序列。
6.一种再现装置，从记录介质中读出基本视频流和增强视频流并进行再现，其特征在于：
基本视频流是通过对原图像实施非可逆转换而得到的，
增强视频流包含位移参数和图片数据，
表示所述增强视频流中的图片的像素灰度的比特序列，示出表示原图像中的像素灰度的比特序列与表示基本视频流中的图片数据的像素灰度的比特序列之间的差分，
所述位移参数规定在对表示基本视频流中的图片的像素灰度的比特序列与表示增强视频流中的图片的像素灰度的比特序列进行加算时，在再现装置侧应该进行的位移操作，并且，所述位移参数指定成为构成所述基本视频流的图片的灰度比特序列与原图像的灰度比特序列之间的差异的数值范围的最上位比特，
该再现装置具有：
视频解码器，通过对基本视频流进行解码从而得到关于构成基本视频流中的图片数据的各个像素的灰度比特序列；以及
色彩深度扩展部，利用增强视频流中的图片的各个像素的灰度比特序列和位移参数，通过对基本视频流中的像素的灰度比特序列进行比特操作从而执行色彩深度扩展。
7.根据权利要求6所述的再现装置，其特征在于：
所述色彩深度扩展部具有：
第1位移部，通过将灰度比特序列位移至上位方向，从而对基本视频流中的像素灰度的位宽进行扩展，该灰度比特序列是与视频解码器的基本视频流相关的解码结果；
减算部，通过从表示增强视频流中的图片的像素灰度的比特序列中减去修正值，从而将表示该像素灰度的比特序列转换成附带符号比特序列；以及
加算部，对与构成基本视频流的图片数据的各个像素相关的灰度比特序列，加算通过对增强视频流的灰度比特序列进行转换而得到的附带符号数据。
8.根据权利要求7所述的再现装置，其特征在于：
所述第1位移部根据位移参数对灰度比特序列进行位移，该灰度比特序列是与基本视频流相关的解码结果，
色彩深度扩展部具有第2位移部，该第2位移部对由加算部加算有附带符号比特的灰度比特序列进行位移，并扩展至原图像中的灰度比特序列的位宽。
9.根据权利要求7所述的再现装置，其特征在于：
所述色彩深度扩展部具有：
第2位移部，按照位移参数所示的位移量，对通过对增强视频流的灰度比特序列进行转换而得到的附带符号比特序列进行位移，
所述加算部将位移完成后的附带符号比特序列加算至与构成基本视频流的图片数据的各个像素相关的灰度比特序列。
10.根据权利要求6所述的再现装置，其特征在于：
所述视频解码器是对基本视频流进行解码的第1视频解码器，
所述再现装置具有对增强视频流进行解码的第2视频解码器。
11.根据权利要求6所述的再现装置，其特征在于：
所述视频解码器是多视视频解码器，对构成基本视频流的图片数据和构成增强视频流的图片数据进行解码。
12.根据权利要求6所述的再现装置，其特征在于：
所述基本视频流中的图片数据和所述增强视频流中的图片数据构成图片组，该图片组构成多个帧，具有与各帧对应的位移参数作为参数序列，
所述视频解码器在对基本视频流中的任意图片进行解码时，对作为增强视频流中的图片数据的、应该与基本视频流中的图片相同时刻再现的图片进行解码，并且从参数序列中取出与该图片数据对应的位移参数并设定在色彩深度扩展部。
13.根据权利要求6所述的再现装置，其特征在于：
所述记录介质中记录有与扩展了色彩深度的图像相适合的程序，程序参照通用目的寄存器，判定与色彩深度扩展相关的多个扩展功能中哪一个可执行，
再现装置在从装入记录介质后到读取索引为止的期间，读入表示扩展功能的能力设定的设定表，将记载于设定表的初始值设定到多个通用目的寄存器中设定表所指示的通用目的寄存器。
14.根据权利要求13所述的再现装置，其特征在于：
在所述设定表中，多个扩展功能与2个以上的通用目的寄存器序号相对应，
所述再现装置将预定的初始值设定到由设定表中的2个以上的连续的通用目的寄存器序号所指定的通用目的寄存器。
15.一种记录装置，将基本视频流和增强视频流写入记录介质，其特征在于：
该记录装置具有：
第1编码单元，通过对原图像实施非可逆转换，从而得到由预定的位宽的灰度比特的像素构成的基本视频流；
解码单元，对通过实施非可逆转换而得到的基本视频流进行解码，从而得到非压缩图片，该非压缩图片由位宽比原图像中的像素的灰度比特序列的短的灰度比特序列的像素构成；
计算部，对有关原图像中的各个像素的灰度比特序列与基本视频流中的图片的像素的灰度比特序列之间的差分进行计算；以及
第2编码单元，生成包含位移参数、并将计算出的差分作为图片数据的像素的灰度比特序列的增强视频流，
所述位移参数指定成为构成所述基本视频流的图片的灰度比特序列与原图像的灰度比特序列之间的差异的数值范围的最上位比特。
16.根据权利要求15所述的记录装置，其特征在于：
所述计算部包含：
位移部，将构成与基本视频流相关的非压缩图片的各个像素的灰度比特序列位移至上位方向；
减算部，从与原图像中的各个像素有关的灰度比特序列中减去进行了位移的灰度比特序列；以及
加算部，通过将预定的修正值加算至减算结果中从而得到差分，
第2编码单元生成包含加算结果和位移部用于位移的位移值在内的增强视频流。
CN201280020329.3A 2011-04-28 2012-04-26 与高画质有关的记录介质、再现装置、记录装置、编码方法、及解码方法 Expired - Fee Related CN103503070B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161479954P 2011-04-28 2011-04-28
US61/479,954 2011-04-28
PCT/JP2012/002853 WO2012147350A1 (ja) 2011-04-28 2012-04-26 高画質化に関わる記録媒体、再生装置、記録装置、符号化方法、復号化方法

Publications (2)

Publication Number Publication Date
CN103503070A CN103503070A (zh) 2014-01-08
CN103503070B true CN103503070B (zh) 2016-11-16

Family

ID=47071880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280020329.3A Expired - Fee Related CN103503070B (zh) 2011-04-28 2012-04-26 与高画质有关的记录介质、再现装置、记录装置、编码方法、及解码方法

Country Status (5)

Country Link
US (1) US9392246B2 (zh)
EP (1) EP2717565A4 (zh)
JP (1) JP5914888B2 (zh)
CN (1) CN103503070B (zh)
WO (1) WO2012147350A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8782434B1 (en) 2010-07-15 2014-07-15 The Research Foundation For The State University Of New York System and method for validating program execution at run-time
US20130169663A1 (en) * 2011-12-30 2013-07-04 Samsung Electronics Co., Ltd. Apparatus and method for displaying images and apparatus and method for processing images
US9122873B2 (en) 2012-09-14 2015-09-01 The Research Foundation For The State University Of New York Continuous run-time validation of program execution: a practical approach
JP2014075687A (ja) * 2012-10-04 2014-04-24 Seiko Epson Corp 画像データ圧縮装置、画像データ伸張装置、表示装置、画像処理システム、画像データ圧縮方法及び画像データ伸張方法
US9351011B2 (en) * 2012-11-28 2016-05-24 Intel Corporation Video pipeline with direct linkage between decoding and post processing
JP6268715B2 (ja) * 2013-02-27 2018-01-31 沖電気工業株式会社 動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム
WO2014156707A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 画像符号化装置および方法、並びに、画像復号装置および方法
WO2015126214A1 (ko) * 2014-02-21 2015-08-27 엘지전자 주식회사 3d 방송 신호를 처리하는 방법 및 장치
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
WO2015198880A1 (ja) * 2014-06-25 2015-12-30 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
JP2016039570A (ja) * 2014-08-08 2016-03-22 キヤノン株式会社 通信装置およびその制御方法、通信システム
US20160073168A1 (en) * 2014-09-09 2016-03-10 Cisco Technology, Inc. Channel of top socially-commented audio visual content
CA2944869C (en) * 2014-09-10 2023-01-03 Panasonic Intellectual Property Corporation Of America Recording medium, playback device, and playback method
WO2016038811A1 (ja) * 2014-09-12 2016-03-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 記録媒体、再生装置、および再生方法
JP6241692B2 (ja) * 2014-09-12 2017-12-06 ソニー株式会社 再生装置、再生方法、情報処理装置、情報処理方法、プログラム、および記録媒体
JP6477715B2 (ja) 2014-09-12 2019-03-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム、並びに記録媒体
US10362287B2 (en) 2014-09-12 2019-07-23 Sony Corporation Information processing apparatus, information processing method and program, and recording medium
WO2016039172A1 (ja) * 2014-09-12 2016-03-17 ソニー株式会社 再生装置、再生方法、情報処理装置、情報処理方法、プログラム、および記録媒体
JP2016062637A (ja) 2014-09-12 2016-04-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生装置、および再生方法
US9335979B1 (en) * 2014-09-15 2016-05-10 The Mathworks, Inc. Data type visualization
CN115665423A (zh) 2014-09-30 2023-01-31 微软技术许可有限责任公司 用于视频编码的基于散列的编码器判定
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
JP2016100039A (ja) * 2014-11-17 2016-05-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
WO2016079925A1 (ja) * 2014-11-17 2016-05-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 記録媒体、再生方法、および再生装置
US20160269134A1 (en) * 2015-03-12 2016-09-15 Nathan Malone Audio Processing Device
US9954551B2 (en) 2015-03-31 2018-04-24 Cavium, Inc. Barrel compactor system, method and device
US20160307603A1 (en) * 2015-04-15 2016-10-20 Sony Corporation Information processing device, information recording medium, information processing method, and program
WO2017002540A1 (ja) * 2015-06-30 2017-01-05 ソニー株式会社 情報処理装置、情報処理システム、情報記録媒体、および情報処理方法、並びにプログラム
GB2545503B (en) 2015-12-18 2020-04-08 Imagination Tech Ltd Lossy data compression
CN105979370B (zh) * 2016-07-01 2019-03-12 深圳创维－Rgb电子有限公司 一种配置图像模式的方法及装置
JP2018107588A (ja) * 2016-12-26 2018-07-05 ルネサスエレクトロニクス株式会社 画像処理装置および半導体装置
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
CN108268683B (zh) * 2016-12-31 2021-08-31 炬芯科技股份有限公司 传输信号的方法、装置及芯片
US10304155B2 (en) * 2017-02-24 2019-05-28 Advanced Micro Devices, Inc. Delta color compression application to video
WO2018168508A1 (ja) * 2017-03-14 2018-09-20 ソニー株式会社 記録装置、記録方法、再生装置、再生方法および記録再生装置
US11061868B1 (en) * 2017-04-28 2021-07-13 EMC IP Holding Company LLC Persistent cache layer to tier data to cloud storage
US11245901B2 (en) * 2017-10-04 2022-02-08 Panasonic Intellectual Property Management Co., Ltd. Video signal processing device, video display system, and video signal processing method
US20190147841A1 (en) * 2017-11-13 2019-05-16 Facebook, Inc. Methods and systems for displaying a karaoke interface
KR102551601B1 (ko) * 2018-02-05 2023-07-06 한국전자통신연구원 스토리지 서버 및 분산 파일 시스템에서 스토리지 서버에 의해 수행되는 적응형 프리페칭 방법
CN110276769B (zh) * 2018-03-13 2023-07-11 上海薇龙文化传播有限公司 一种视频画中画架构中直播内容定位方法
CN110620935B (zh) * 2018-06-19 2022-04-08 杭州海康慧影科技有限公司 图像处理方法及装置
GB2575434B (en) 2018-06-29 2020-07-22 Imagination Tech Ltd Guaranteed data compression
CN111263211B (zh) * 2018-12-03 2022-02-08 深圳市炜博科技有限公司 一种缓存视频数据的方法及终端设备
CN114787775A (zh) * 2020-02-03 2022-07-22 索尼互动娱乐股份有限公司 数据处理系统、数据转发装置以及上下文切换方法
CN114245029B (zh) * 2021-12-20 2023-08-01 北京镁伽科技有限公司 基于fpga的数据流处理方法、装置及pg设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1139359A (zh) * 1995-06-02 1997-01-01 松下电器产业株式会社 投影式彩色图像显示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4593060B2 (ja) * 2002-06-04 2010-12-08 三菱電機株式会社 画像符号化装置
US20050010396A1 (en) * 2003-07-08 2005-01-13 Industrial Technology Research Institute Scale factor based bit shifting in fine granularity scalability audio coding
JP4331992B2 (ja) * 2003-08-07 2009-09-16 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，それらのプログラムおよびそれらのプログラム記録媒体
KR20050076019A (ko) * 2004-01-19 2005-07-26 삼성전자주식회사 스케일러블 부호화에 기반한 비트스트림의 적응적 부호화및/또는 복호화 방법, 및 이를 구현하기 위한프로그램이 기록된 기록 매체
US20070133950A1 (en) 2005-12-08 2007-06-14 Susumu Yoshida Reproduction apparatus, reproduction method, recording method, image display apparatus and recording medium
JP4534975B2 (ja) 2005-12-08 2010-09-01 株式会社日立製作所 再生装置、再生方法、記録方法、映像表示装置及び記録媒体
JP2007266749A (ja) * 2006-03-27 2007-10-11 Sanyo Electric Co Ltd 符号化方法
US20080095228A1 (en) 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
JP2008129127A (ja) 2006-11-17 2008-06-05 Honeywell Internatl Inc 表示装置の色深度を拡張する方法および装置
KR100905723B1 (ko) 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
US8593511B2 (en) 2009-06-11 2013-11-26 Panasonic Corporation Playback device, integrated circuit, recording medium
JP4984181B2 (ja) 2009-06-22 2012-07-25 ソニー株式会社 再生装置および再生方法
KR20120089561A (ko) * 2009-09-22 2012-08-13 파나소닉 주식회사 이미지 부호화 장치, 이미지 복호화 장치, 이미지 부호화 방법, 및 이미지 복호화 방법
EP2658260B1 (en) * 2010-12-22 2020-12-09 Panasonic Corporation Image encoding apparatus, image decoding apparatus, image encoding method, and image decoding method for bit-depth scalability

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1139359A (zh) * 1995-06-02 1997-01-01 松下电器产业株式会社 投影式彩色图像显示装置

Also Published As

Publication number Publication date
CN103503070A (zh) 2014-01-08
US9392246B2 (en) 2016-07-12
WO2012147350A1 (ja) 2012-11-01
JPWO2012147350A1 (ja) 2014-07-28
US20140056577A1 (en) 2014-02-27
EP2717565A1 (en) 2014-04-09
JP5914888B2 (ja) 2016-05-11
EP2717565A4 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
CN103503070B (zh) 与高画质有关的记录介质、再现装置、记录装置、编码方法、及解码方法
CN103314409B (zh) 能够维持与旧格式的兼容且能对记录内容进行编辑的记录介质、再现装置、记录装置、再现方法、记录方法
CN102685435B (zh) 再现装置、记录方法
CN101702322B (zh) 记录介质，重放设备、方法及程序
CN102160389B (zh) 再现装置、集成电路、记录介质
CN102355590B (zh) 3d 影像的记录介质、再现装置、系统lsi、再现方法、眼镜、显示装置
CN103155547B (zh) 能够以高帧率记录逐行图片的记录介质、再现装置、记录装置、再现方法、记录方法
CN105359507B (zh) 再现装置、再现方法和记录介质
CN102027749B (zh) 考虑特殊再现的再现装置、集成电路、再现方法
CN1856078B (zh) 再现装置和再现方法
CN100556118C (zh) 记录方法、再现装置和再现方法
CN101740077B (zh) 记录介质、再现装置、记录方法、集成电路、程序和再现方法
CN102034513B (zh) 记录方法和再现装置
JP4715094B2 (ja) 再生装置、再生方法、再生プログラムおよび記録媒体
CN101853683B (zh) 流供给装置
CN110364189A (zh) 再现装置以及再现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160401

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161116

Termination date: 20200426