CN101069229A - 再现装置、图像合成方法、图像合成程序及集成电路 - Google Patents

再现装置、图像合成方法、图像合成程序及集成电路 Download PDF

Info

Publication number
CN101069229A
CN101069229A CNA2005800415013A CN200580041501A CN101069229A CN 101069229 A CN101069229 A CN 101069229A CN A2005800415013 A CNA2005800415013 A CN A2005800415013A CN 200580041501 A CN200580041501 A CN 200580041501A CN 101069229 A CN101069229 A CN 101069229A
Authority
CN
China
Prior art keywords
mentioned
image
plane
moving image
title
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800415013A
Other languages
English (en)
Other versions
CN100514441C (zh
Inventor
桥本敏史
大芦雅弘
冈田智之
池田航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101069229A publication Critical patent/CN101069229A/zh
Application granted granted Critical
Publication of CN100514441C publication Critical patent/CN100514441C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种再现装置,一边执行被记录在记录介质中的应用,一边再现记录在该记录介质中的运动图像,其目的是提高合成与应用有关的图像和运动图像时的存储器总线的利用效率。通过判断运动图像是否覆盖整个背景图像,来决定是否合成由应用使用的运动图像和菜单等GUI图形的背景中所使用的背景图像。在运动图像覆盖背景图像的情况下,没必要合成背景图像,所以能够将为了读取背景图像而使用的存储器总线,用于向存储器写入从记录介质读取的运动图像数据等,能够有效利用存储器总线带宽。

Description

再现装置、图像合成方法、图像合成程序及集成电路
技术领域
本发明涉及一边再现运动图像一边执行应用的再现装置,是涉及合成图像时的存储器总线的活用方法的发明。
背景技术
近年来开发了DVD播放器、BD播放器等影像再现装置。在这些播放器中,能够从DVD、BD等记录介质读取运动图像流数据来再现运动图像。此时,在再现运动图像的同时,有时也执行记录在记录介质中的应用,有时除了显示运动图像之外还显示与应用关联的图像。例如,在运动图像的横向位置显示涉及运动图像的菜单GUI(图形用户界面)等,或者显示字幕等。
此时,播放器合成运动图像和由应用进行显示控制的图像而生成要显示的图像数据,并显示在显示器上。成为该合成的基础的数据依次从记录介质被读取,暂时被写入到播放器的存储器中的各自对应的区域。并且,播放器从该存储器读取图像数据,执行合成并输出的工作。在此,播放器的存储器中的各自对应的区域指的是,在存储器中存储运动图像的图像数据的视频平面、存储与运动图像一起显示的GUI菜单的图像数据的IG(InteractiveGraphics,交互图形)平面等。播放器在合成图像时需要访问各平面。
在播放器中生成合成图像时需要高速地访问各平面,为了不延迟地再现运动图像,该访问中的存储器总线的有效活用成为重要课题。
在对比文献1记载了与对存储器的写入有关的技术,根据该技术,在某个GUI对象中发生了再描绘的情况下,利用确定有必要修复的区域的检查单元、以及确定有必要再描绘的对象的生成单元,抑制对存储器的不必要的写入,所以能够对应于被抑制了写入的量,而有效地活用存储器总线带宽。
但是,虽然播放器如上所述地进行对平面的写入和读取,但对存储器的写入和读取中使用的存储器总线,从成本和设置空间的问题考虑而被共用。例如,在要显示HD像质(1920×1080像素)的图像的情况下,若假设2B/像素、30fps,则在运动图像的写入中使用的存储器总线带宽成为约120MB/sec(1920×1080×2×30),在读取时也同样要求约120MB/sec的性能。此外,关于背景图像的写入和读取,分别要求约120MB/sec的存储器总线带宽,关于GUI等的菜单等图形的写入和读取,若假设4B/像素、30fps,则分别要求约240MB/sec(1920×1080×4×30)的存储器总线带宽。此外,在有字幕的情况下,该数据也需要写入存储器并读取,依然分别要求约120MB/sec的存储器总线宽度。在运动图像再现时,读取和写入平行地进行,所以为了合成这些平面的图像数据,需要接近2GB/sec的带宽。根据这些也可以预测出,随着像质的高品质化需要更宽的存储器总线带宽,但是,同时这又成为妨碍播放器的低价格化的一个主要原因。
专利文献1:日本特许公开2004-10234号公报
发明内容
因此,本发明的目的在于提供一种新的再现装置,有助于实现图像数据的读取中使用的存储器总线带宽的有效活用。
为了解决上述问题,本发明涉及的再现装置,包括:存储单元,具有用于存储运动图像的视频平面、用于存储作为GUI显示的图像即GUI图像的图形平面、用于存储背景图像的静止图像平面的存储器区域;运动图像存储单元,在上述视频平面存储运动图像;图形存储单元,在上述图形平面存储上述GUI图像;背景图像存储单元,在上述静止图像平面存储上述背景图像;以及合成输出单元,在上述运动图像是能够遮蔽上述背景图像的规定大小的情况下,不读取上述背景图像,而是读取上述运动图像和上述GUI图像,输出表示重叠合成的合成图像的图像信号,在上述运动图像不是上述规定大小的情况下,读取上述运动图像、上述GUI图像和上述背景图像,输出表示重叠合成的合成图像的图像信号。
具有上述结构的再现装置,在不需要背景图像时、即运动图像遮盖了背景图像时,由于不需要合成背景图像而不需要从存储器读取,所以,此时不需要读取背景图像的数据。在运动图像以覆盖背景图像的规定大小例如全屏大小显示时,通过不读取背景数据,减轻了再现数据的负担,而且空出了用于读取的存储器总线带宽。
这样,通过限制不必要的背景图像的读取,能够将背景图像的读取中使用的存储器总线用于其它目的、例如GUI图像向存储器的写入等,所以能够有效活用存储器总线带宽,还能够减轻向显示器的显示延迟的问题。
通常,合成的平面是将相同大小的平面重叠合成,但也有运动图像从原来的全屏大小变更大小进行显示的情况下,即不能完全遮盖背景图像的情况,此时需要背景图像,所以进行合成。
在如上所述的HD像质的情况下,如果再现装置将用于背景图像读取的120MB/秒的存储器总线带宽例如用于运动图像的写入,则运动图像的写入速度会加倍,能够防止因在读取时运动图像的数据未被写入而不能读取,运动图像的再现出现延迟的问题。
此外,也可以是,上述规定大小是指上述运动图像在显示画面中以全屏显示的大小;上述再现装置还具有执行与上述图像有关的应用的虚拟机部;上述合成输出单元接受上述应用对于上述视频平面的缩小指示,合成上述背景图像,在没有缩小指示的情况下,不合成上述背景图像。
在此,全屏是指,在以连接在显示装置上的外部设备的电视机等为代表的显示装置、或者内置的监视器等上,覆盖其显示画面整体的大小。
再现装置根据正在执行的应用的指示进行运动图像的大小变更,该变更指示通常只对视频平面发出,但接受了该指示的合成输出单元判断是否执行来自静止图像平面的数据的读取。通过具备该结构,能够容易地判断来自静止图像平面的数据输出的必要性。
此外,也可以是,上述静止图像平面还用于存储与上述运动图像不同的、根据时间切换的图像;上述再现装置还具备在上述静止图像平面存储根据上述时间切换的图像的图像存储单元;在上述运动图像是在显示画面中以全屏显示的大小的情况下,上述合成输出单元读取存储在上述视频平面中的运动图像、存储在上述图形平面中的GUI图像和存储在上述静止图像平面中的根据时间切换的图像,输出表示重叠合成的合成图像的图像信号,在上述运动图像不是以全屏显示的大小的情况下,上述合成输出单元读取存储在上述视频平面中的运动图像、存储在上述图形平面中的GUI图像和存储在上述静止图像平面中的背景图像,输出表示重叠合成的合成图像的图像信号。
在此,根据时间切换的图像是与由运动图像存储单元存储的运动图像不同、且根据时间显示内容不同的图像,例如用于显示字幕的图像等。
由此,在存储单元中,以前通常分别准备了静止图像平面和用于存储字幕的字幕平面的存储器区域能够被共用,从而空出了相当于一个平面的存储器区域,空出的存储器区域能够分配给其它数据的存储,所以,能够活用存储器。而且,同以前那样具有静止图像平面和字幕平面的情况相比,减少了一个平面,当然对应于减少的一个平面,存取的存储器总线带宽也能够以较小值实现。
此外,也可以是,上述合成输出单元及上述各存储单元共用与上述存储单元连接的存储器总线;上述图形存储单元在判断为上述合成输出单元不进行静止图像平面的读取的情况下,将对静止图像平面的读取分配的上述存储器总线的带宽或时间,用于对图形平面的写入。
由此,再现装置将分配给背景图像读取的存储器总线带宽用于图形平面的写入,可以说能够有效地利用存储器总线带宽。关于对图形平面的写入,GUI图像同运动图像和背景图像相比是高品质的,其写入所需的时间变长、或者存储器总线带宽变宽,但是,通过将预定用于来自静止图像平面的数据读取用的存储器总线,用于对图形平面的写入,能够实现高速化。
此外,本发明涉及的图像合成方法,在具备存储单元的再现装置中合成图像,该存储单元具有用于存储运动图像的视频平面、用于存储作为GUI显示的图像即GUI图像的图形平面、用于存储背景图像的静止图像平面的存储器区域;该图像合成方法包括:运动图像存储步骤,在上述视频平面存储运动图像;图形存储步骤,在上述图形平面存储上述GUI图像;背景图像存储步骤,在上述静止图像平面存储上述背景图像;以及合成输出步骤,在上述运动图像是能够完全遮蔽上述背景图像的规定大小的情况下,不读取上述背景图像,而是读取上述运动图像和上述GUI图像,输出表示重叠合成的合成图像的图像信号,在上述运动图像不是上述规定大小的情况下,读取上述运动图像、上述GUI图像和上述背景图像,输出表示重叠合成的合成图像的图像信号。
通过执行该方法,再现装置在不必要的情况下不进行从静止图像平面的数据读取,所以,能够将存储器总线带宽相应地空出来。
此外,本发明涉及的图像合成程序,示出了用于使具备存储单元的再现装置的计算机合成图像的处理步骤,该存储单元具有用于存储运动图像的视频平面、用于存储作为GUI显示的图像即GUI图像的图形平面、用于存储背景图像的静止图像平面的存储器区域;上述处理步骤包括:运动图像存储步骤,在上述视频平面存储运动图像;图形存储步骤,在上述图形平面存储上述GUI图像;背景图像存储步骤,在上述静止图像平面存储上述背景图像;以及合成输出步骤,在上述运动图像是能够完全遮蔽上述背景图像的规定大小的情况下,不读取上述背景图像,而是读取上述运动图像和上述GUI图像,输出表示重叠合成的合成图像的图像信号,在上述运动图像不是上述规定大小的情况下,读取上述运动图像、上述GUI图像和上述背景图像,输出表示重叠合成的合成图像的图像信号。
通过使再现装置的计算机执行该程序,再现装置在不必要的情况下不进行从静止图像平面的数据读取,所以,能够将存储器总线带宽相应地空出来。
此外,本发明涉及的集成电路,搭载于合成图像并输出的再现装置中,该集成电路包括:存储单元,具有用于存储运动图像的视频平面、用于存储作为GUI显示的图像即GUI图像的图形平面、用于存储背景图像的静止图像平面的存储器区域;运动图像存储单元,在上述视频平面存储运动图像;图形存储单元,在上述图形平面存储上述GUI图像;背景图像存储单元,在上述静止图像平面存储上述背景图像;以及合成输出单元,在上述运动图像是能够完全遮蔽上述背景图像的规定大小的情况下,不读取上述背景图像,而是读取上述运动图像和上述GUI图像,输出表示重叠合成的合成图像的图像信号,在上述运动图像不是上述规定大小的情况下,读取上述运动图像、上述GUI图像和上述背景图像,输出表示重叠合成的合成图像的图像信号。
通过搭载该集成电路,再现装置在不必要的情况下不进行从静止图像平面的数据读取,所以,能够将存储器总线带宽相应地空出来。
附图说明
图1是表示本发明涉及的再现装置的使用行为的图。
图2是表示第一实施方式涉及的再现装置100的功能结构的方框图。
图3是将由硬件和软件构成的部分置换为层结构进行描绘的图。
图4是表示Java(注册商标)虚拟机36的功能结构的图。
图5是表示存储在BD-ROM110中的数据的目录构造的图。
图6是示意性地表示赋予了后缀.m2ts的文件如何构成的图。
图7是表示Clip信息的构成的图。
图8是表示对于电影的视频流的EP_map设定的图。
图9是表示PlayList信息的数据构造的图。
图10是表示AVClip和PlayList信息的关系的图。
图11是表示包含在PlayList信息中的STN表的图。
图12(a)~(d)是表示entry-attribute的详细内容的图。
图13是表示PlayList信息的PlayListMark信息的内部结构的图。
图14是表示由PlayList信息的PlayListMark信息进行的章节位置指定的图。
图15是表示BD-J Object的内部结构的图。
图16是表示由档案文件收容的程序和数据的图。
图17(a)是表示应用管理表的内部结构的图,(b)是表示构成应用管理表的信息要素的含义内容的图。
图18是表示盘内容中的状态转移的图。
图19(a)是表示BD-ROM整体的时间轴的图,(b)是表示BD-ROM整体的时间轴上的构成的图。
图20(a)、(b)是表示在BD-ROM整体的时间轴中,由BD-JObject确定的标题再现区间的图。
图21是表示在图20(b)的时间轴上规定的、生存区间的典型例的图。
图22是表示包含正编标题、网络购物标题、游戏标题这三个标题的盘内容的图。
图23(a)、(b)是表示应用管理表、生存区间的一例的图。
图24是表示起动属性所能取的三种状态(Present,AutoRun,Suspend)和之前标题中的应用状态的三种状态(非起动、起动中、Suspend),能够取的组合的图。
图25(a)是表示播放列表管理表的内部结构的图,(b)是表示构成播放列表管理表的信息要素的含义内容的图。
图26是由播放列表管理表、应用管理表规定的标题的具体例的图。
图27是表示当前标题所能取的三种状态(没有播放列表管理表、有播放列表管理表且无指定、有播放列表管理表且自动播放(AutoPlay))和之前标题中的PL的状态(非再现状态、再现中状态)能够取的6种组合的图。
图28(a)是表示播放列表管理表及应用管理表的记述例的图,(b)是表示通过如图27(a)所示地记述的应用管理表、播放列表管理表,播放列表再现和应用执行如何进行的图。
图29(a)是表示播放列表管理表的其他记述例的图,(b)是表示基于图28(a)所示情况进行应用执行和播放列表再现的图。
图30是表示判断是否合成静止图像平面的再现装置100的动作的流程图。
图31是表示第二实施方式的再现装置100的功能结构的方框图。
图32是表示在第二实施方式中根据应用的指示和视频定标的指示进行来自Stii平面和PG平面的数据输出的控制的流程的流程图。
具体实施方式
<第一实施方式>
下面,使用附图说明本发明的一实施方式的再现装置。
<构成>
<使用方式的构成>
首先,图1中示出了关于再现装置的使用行为的方式。
如图1所示,再现装置100安装BD-ROM110后再现被记录在BD-ROM110中的运动图像,显示在有线或无线连接的电视机130上。而且,再现装置100执行记录在BD-ROM110中的Java(注册商标)应用,还显示基于该应用的图像。
为了接受用户操作,设有遥控器120,在该遥控器130上安装了用于控制再现装置100的各种键。该各种键中包括:接受再现开始(Play)、再现停止(Stop)、暂停(Pause ON)、暂停的解除(Pause OFF)、静止图像功能的解除(Still off)、带速度指定的快进(Forward Play(speed))、带速度指定的快退(BackwardPlay(speed))、声音切换(Audio Change)、副影像切换(SubtitleChange)、角度切换(Angle Change)的键,接受菜单操作时的焦点移动操作的MoveUp键、MoveDown键、MoveRight键、MoveLeft键,接受菜单显示操作的Pop-up键,接受数值输入的Numeric键。
以上是关于本发明涉及的再现装置100的使用行为方式的说明。
<再现装置100的硬件结构>
接着,使用图2说明再现装置100的功能构成。
本发明涉及的再现装置100是基于本图所示的内部结构而工业生产的。本发明涉及的再现装置100主要包括系统LSI和驱动装置这2个部件,通过将这些部件安装在装置的壳体及基板上,能够工业化生产。系统LSI是集成了实现再现装置的功能的各种处理部的集成电路。这样生产的再现装置100包括:BD-ROM驱动器1,读缓冲器2,信号分离器3,视频解码器4,视频平面5,声音处理器6,声音处理器7,混合器8,声音控制器9,D/A变换器10,交互图形(Interactive Graphics)解码器11,交互图形平面12,演示图形(Presentation Graphics)解码器13,演示图形平面14,JPEG解码器15,静止图像平面16,静止图像平面控制部17,合成部18a、18b、18c,STC-DELTA附加部19,ATC-DELTA附加部20,局部存储器21,指令ROM22,用户事件处理部23,PSR组24,CPU25,脚本存储器26,局部存储器27。
BD-ROM驱动器1进行BD-ROM的装载/卸载,具有执行对BD-ROM的访问的功能。
读缓冲器2是FIFO(先进先出)存储器,具有依次存储从BD-ROM读取的TS包、并从先存储的包开始一次输出的功能。
信号分离器(De-MUX)3具有从读缓冲器2中取出资源(Source)包,将构成该资源包的TS包变换为PES包的功能。并且具有如下功能:从通过变换得到的PES包中的被记载在STN_Table的包中,将具有PID(Packet IDentifier)的包输出给视频解码器4、音频解码器6、交互图形解码器11、演示图形解码器13中的某一个的功能。关于资源包和STN_Table的详细内容,在后面记述。
视频解码器4具有对从信号分离器3输出的多个PES包进行解码而得到非压缩格式的图片并写入到视频平面5上的功能。
视频平面5是用于事先存储非压缩格式的图片的平面。平面指的是在再现装置100中用于存储相当于一个画面的像素数据的存储器区域。视频平面具有存储并输出由视频解码器写入的数据的功能。视频平面5中的析像度是1920×1080,存储在该视频平面5中的图片数据,由用16比特的YUY值表现的图像数据构成。在视频平面5中,能够对视频流中的每个帧的再现图像进行定标。定标是指将每一个帧的再现图像变更为视频平面5整体的1/4(称为四分之一化)和1/1(称为全屏)中的哪一个。在BD-J模式中按照来自CPU25的指示来执行这样的定标,所以能够进行将视频流的再现图像缩在画面的一角、或者在整个画面显示的画面演出。
声音处理器6包括:音频缓冲器6a,具有在PID滤波器3输出了构成音频流的PES包时存储该PES包的功能;以及音频解码器6b,具有对存储在该缓冲器中的PES包进行解码,输出PCM(Pulse Code Modulation,脉冲编码调制)状态的音频数据的功能。
声音处理器7包括:预加载缓冲器7a,具有预加载从BD-ROM读出的文件sound.bdmv的功能;以及音频解码器7b,具有对预加载的文件sound.bdmv中的多个声音数据中的由CPU25指示的声音数据进行解码,输出PCM状态的音频数据的功能。向预加载缓冲器7a的预加载,希望在BD-ROM的装载时或标题切换时进行。其理由是,如果要在AVClip的再现中读出文件sound.bdmv,则会发生用于读取AVClip以外的其它文件的光拾取器的搜索。另一方面,在BD-ROM的装载时或标题切换时,很少会继续进行AVClip的再现,所以通过在这样的定时读取文件sound.bdmv,能够保证不中断AVClip再现。
声音混合器8具有混合从声音处理器6和声音处理器7输出的PCM状态的声音数据的功能。
声音控制器9具有如下功能:对输出从声音混合器8输出的已解压状态的音频数据和不经过声音处理器6的压缩状态的音频数据中的哪一个进行切换。在输出压缩状态的音频数据时,在其输出目的地的设备(电视机)中被解码。
D/A变换器10具有对从声音合成器8输出的数字的音频数据进行D/A变换并输出模拟声音的功能。
交互图形解码器(IG解码器)11具有对从BD-ROM或局部存储器21读出的IG流进行解码,将非压缩图形写入到交互图形平面12的功能。
交互图形(IG)平面12中写入在HDMV模式下通过交互图形解码器11的解码而得到的非压缩图形。此外,在BD-J模式中,写入由应用描绘的字符和图形。
演示图形(PG)解码器13具有对从BD-ROM或局部存储器21输出的PG流进行解码,将非压缩图形写入到演示图形(PG)平面11中的功能。通过合成由演示图形解码器13解码并被写入到演示图形平面11中的数据,字幕显示在画面上。
演示图形平面14是具有相当于一个画面的区域的存储器,能够存储一个画面的非压缩图形。
JPEG解码器15具有对被记录在BD-ROM或局部存储器21中的JPEG数据进行解码并写入到静止图像平面16的功能。
静止图像平面16是存储有将JPEG数据解压缩而得到的非压缩的图形数据的平面。该图形数据作为Java(注册商标)应用所描绘的、GUI框架的所谓“壁纸”而使用。
静止图像平面控制部17具有控制从静止图像平面16的数据输出的功能。具体地说,从CPU25接受对视频平面5的定标指示,在该定标指示是向电视机130整体的显示指示即全屏定标的情况下,抑制从静止图像平面16的数据读取。并且,在定标指示是全屏的1/4即四分之一定标的情况下,从静止图像平面16向合成部18c输出所存储的静止图像数据。
合成部18a、18b、18c具有分别合成存储在交互图形平面12中的数据、存储在演示图形平面11中的数据、存储在视频平面5中的数据和存储在静止图像平面16中的数据,并输出所得到的合成图像的图像信号的功能。并且,从平面未输出图像信号的情况下,直接输出没进行合成就输出的信号。
STC_delta附加部18具有生成STC(System Time Clock,系统时钟)的功能。并且,在STC_Sequence的切换时,通过在至今为止的STCS_equence中的STC值上加上称为STC_delta的偏移值,求出新的STC_Sequence的STC值(STC2),将至今为止的STC_Sequence中的STC值(STC1)和新的STC_Sequence的STC值(STC2)作为连续的值。
设定在先行STC_Sequence中最后再现的图片的显示开始时刻为PTS1(1stEND)、图片的显示期间为Tpp、在后续STC_Sequence中最初显示的图片的开始时刻为PTS2(2ndSTART)的情况下,STC_delta表现为:
STC_delta=PTS1(1stEND)+Tpp-PTS2(2ndSTART)如上所述地求出STC_delta,向各解码器输出该STC_delta被加起来的时钟的计数值。由此,各解码器能够不中断地再现相当于2个STC_Sequence的数据流。如此,即使在1个AVClip中存在2个以上的STC_Sequence,而且应该连续再现的2个以上的AVClip的每个具有不同的STC_Sequence,也能够无间隙地执行这些STC_Sequence间的解码处理。
并且,为了满足缓冲的连续性,希望满足以下的条件1)、2)。
1)满足STC2(2ndSTART)>STC2(1stEND);
2)由投影在相同时间轴上的STC1、STC2定义从TS1的TS包取出和从TS2的TS包取出,不会导致缓冲器的下溢(underflow)和溢出。
并且,在1)中,STC2(1stEND)是将STC1(1stEND)投影在STC2的时间轴上的值,由STC2(1stEND)=STC1(1stEND)-STC_delta这样的计算式给出。
ATC_delta附加部19具有生成ATC(Arrival Time Clock)的功能。并且,通过在STC_Sequence的切换时,在至今为止的STC_Sequence中的ATC值(ATC1)上加上称为ATC_delta的偏移值,使至今为止的STC_Sequence中的ATC值(ATC1)和新的STC_Sequence的ATC值(ATC2)成为连续的值。通过该加法运算,ATC2=ATC1+ATC_delta。ATC_delta指的是,从至今读出的传输流(TS1)的最后的TS包的输入时刻T1起,到新读出的传输流(TS2)的最初的TS包的输入时刻T2为止的偏移值,由“ATC_delta≥N1/TS_recording_rate”这样的计算式给出。在此,输入时刻T2意味着将TS2的最初的TS包的输入时刻投影到TS1的时间轴上的时刻。此外,N1是接在TS1的最后的视频PES包后面的TS包的包数。在BD-ROM中,这样的ATC_delta被记述在Clip信息中,所以通过使用它,能够计算ATC_delta。通过以上的计算,能够使至今为止的ATC_Sequence具有的ATC值(ATC1)和新的ATC_Sequence具有的ATC值(ATC2)成为连续的值。通过向信号分离器(De-MUX)3输出相加了ATC_delta的时钟的计数值,能够实现无中断的缓冲控制。
以上是涉及AVClip的再现的构成要素。接着说明与BD-J模式下的动作有关的构成要素(局部存储器21~局部存储器27)。
局部存储器21是具有将从网页下载的内容等、从BD-ROM以外的记录介质和通信介质供给的内容,同元数据一起存储的功能的硬盘。该元数据是用于将下载内容存到局部存储器21中进行管理的信息,通过访问该局部存储器21,BD-J模式下的应用能够进行利用了下载内容长度的各种处理。
接着,说明实现再现装置中的综合控制的构成要素(指令ROM22~局部存储器26)。
指令ROM22存储着对再现装置的控制进行规定的软件。
用户事件处理部23根据对遥控器或再现装置的前面板的键操作,向CPU25输出执行该操作的用户事件。
PSR(P1ayer Status Register,播放状态寄存器)装置24是内置于再现装置中的寄存器,包括6个PSR和4096个GPR(GeneralPurpose Register,通用寄存器)。播放状态寄存器的设定值(PSR)中,PSR4~PSR8用于表现当前的再现时刻。
PSR4通过被设定为1~100的值,表示当前的再现时刻所属的标题,通过被设定为0,表示当前的再现时刻是顶级菜单。
PSR5通过被设定为1~999的值,表示当前的再现时刻所属的章节号,通过被设定为OxFFFF,表示在再现装置中章节号是无效的。
PSR6通过被设定为1~999的值,表示当前的再现时刻所属的播放列表(当前PL)的号码。
PSR7通过被设定为1~255的值,表示当前的再现时刻所属的PlayItem(当前PlayItem)的号码。
PSR8通过被设定为0~0xFFFFFFFF的值,使用45KHz的时间精度来表示当前的再现时刻(当前PTM(演示时刻))。利用以上的PSR4~PSR8,能够在图18(a)中的BD-ROM全体的时间轴上确定当前的再现时刻位于何处。
CPU25具有执行存储在指令ROM22的软件,并执行再现装置整体的控制的功能。该控制内容根据从用户事件处理部23输出的用户事件、以及PSR组24中的各PSR的设定值,动态地变化。
脚本存储器26是具有存储当前的PL信息和当前的Clip信息的功能的存储器。当前PL信息是指,记录在BD-ROM中的多个播放列表信息中的、成为当前处理对象的信息。当前Clip信息是指,记录在BD-ROM中的多个Clip信息中的、成为当前处理对象的信息。
局部存储器27是因从BD-ROM的读取是低速的,所以用于暂时存储BD-ROM的记录内容的高速缓冲存储器。由于存在这样的局部存储器27,BD-J模式下的应用执行更有效。
以上是本实施方式涉及的再现装置的硬件结构。
<再现装置100的软件构成>
接着,说明本实施方式涉及的再现装置的软件构成。
图3是将由存储在ROM24的软件和硬件构成的部分替换为层结构来描绘的图。如该图所示,再现装置的层结构包括以下的a)、b)、c)。即,包括
a)BD Player Device的第一层,
b)BD Player Model的第二层,
c)Application Runtime Enviroment的第三层。
这些层中,图3所示再现装置的硬件结构属于第一层。本图的第一层“BD Player Device”中,包括图2所示硬件结构中的相当于视频解码器4、交互图形解码器11、音频解码器6等的“解码器”,相当于视频平面5、交互图形平面12等的“平面”,BD-ROM110及其文件系统,局部存储器21及其文件系统。
第二层“BD Player Model”由以下的b1)、b2)的层构成。即,包括
b1)虚拟文件系统(Virtual File System)30及演示引擎(Presentation Engine)31的层、
b2)再现控制引擎(Playback Control Engine)32的层,对于比自身上位的层,提供函数API。
第三层“Application Runtime Enviroment”由以下的c1)、c2)的层构成。即,包括
c1)模块管理器34存在的层,
c2)BD-J平台35存在的层。
首先,说明属于第二层的虚拟文件系统30~模块管理器34。
虚拟文件系统30用于将存储在局部存储器21中的下载内容同BD-ROM中的盘内容一体地处理的假想的文件系统。其中,存储在局部存储器21的下载内容包括SubClip、Clip信息、播放列表信息。该下载内容中的播放列表信息不论是存在于BD-ROM和局部存储器21的哪一个中的Clip信息都能指定这一点,与BD-ROM上的播放列表信息不同。进行该指定时,虚拟文件系统30上的播放列表信息不需要用全路径指定BD-ROM或局部存储器21中的文件。这是因为,BD-ROM上的文件系统或局部存储器21上的文件系统,能够被识别为假想的一个文件系统(虚拟文件系统30)。因此,播放列表信息中的Clip_Information_file_name通过指定与存储了Clip信息的文件的文件主体相当的5位数值,能够指定虚拟文件系统30、BD-ROM上的AVClip。通过虚拟文件系统30读取局部存储器21的记录内容,并且和BD-ROM的记录内容动态地组合,能够产生各种各样的再现的变化。组合局部存储器21和BD-ROM而形成的盘内容和BD-ROM中的盘内容对等地被处理,所以在本发明中,BD-ROM中还包含局部存储器21+BD-ROM的组合所形成的假想的记录介质。
演示引擎31执行AV再现函数。再现装置的AV再现函数指的是从DVD播放器、CD播放器继承的传统的功能群,是再现开始(Play)、再现停止(Stop)、暂停(Pause ON)、暂停的解除(PauseOFF)、静止图像功能的解除(Still off)、带速度指定的快进(Forward Play(speed))、带速度指定的快退(BackwardPlay(speed))、声音切换(Audio Change)、副影像切换(SubtitleChange)、角度切换(Angle Change)这样的功能。为了实现AV再现函数,演示引擎31控制视频解码器4、演示图形解码器13、交互图形解码器10、音频解码器6,以便进行被读取到读缓冲器2上的AVClip中的、相当于期望时刻的部分的解码。通过进行作为期望时刻由PSR8(当前PTM)所示的部分的解码,能够进行任意时刻的再现。
再现控制引擎(Playback Control Engine(PEC))32执行对于播放列表的再现控制函数(i)、PSR组23中的状态取得/设定函数(ii)这样的诸功能。对于播放列表的再现控制函数是指,按照当前PL信息和Clip信息,进行演示引擎31执行的AV再现函数中的再现开始和再现停止。这些功能(i)、(ii)按照来自HDMV模块33~BD-J平台35的函数调用而执行。
模块管理器34保持从BD-ROM读取的Index.bdmv,进行分支控制。该分支控制向构成当前标题的动态脚本发行Terminate事件,向构成分支目的地标题的动态脚本发行Activate事件。
以上说明了演示引擎31~模块管理器34。接着,说明BD-J平台35。
BD-J平台35是所谓Java(注册商标)平台,是将Java(注册商标)虚拟机36作为核心的结构。BD-J平台35除了安装上述的Java(注册商标)2Micro_Edition(J2ME)Personal BasisProfile(PBP 1.0)和Globally Executable MHP specification(GEM[1.0.2])for package media targets之外,还安装了BD-JExtention。BD-J Extention包含为了将超越了GEM[1.0.2]的功能提供给BD-J平台而特化的各种处理包。
首先,说明成为BD-J平台35的核心的Java(注册商标)虚拟机36。
<Java(注册商标)虚拟机36>
图4是表示Java(注册商标)虚拟机36的内部结构的图。如本图所示,Java(注册商标)虚拟机36包括图33所示的CPU24和用户类装载器52、方法区域53、工作存储器54、线程55a、b、…n、Java(注册商标)堆栈56a、b…n。
用户类装载器52从局部存储器26等读取BDJA目录的Java(注册商标)档案文件中的类文件,并存储到方法区域53。由该用户类装载器52进行的类文件读取,是通过应用管理器37向用户类装载器52指示指定了全路径的读取而进行的。如果全路径表示局部存储器26,则用户类装载器52将构成应用的Java(注册商标)档案文件中的类文件,从局部存储器26读取到工作存储器54。如果全路径表示Virtual File System30上的目录,则用户类装载器52将构成应用的Java(注册商标)档案文件中的类文件,从BD-ROM或局部存储器20读取到工作存储器54。应用的起动控制,通过该用户类装载器52的类文件读取实现。在被指示了读取的类文件不存在于局部存储器26时,用户类装载器52向应用管理器37通知读取失败。
方法区域53存储由用户类装载器52从局部存储器27读取的类文件。
工作存储器54是所谓的堆区域,存储各种各样的类文件的实例。图3所示的应用管理器37是常驻在该工作存储器54中的常驻应用。在工作存储器54中,除了这些常驻型的实例(instance)以外,还存储与被读取到方法区域53的类文件对应的实例。该实例是构成应用的xlet程序。通过将这样的xlet程序配置到工作存储器54中,应用成为可执行状态。
在图3的层模型中,将该工作存储器54上的应用管理器37描绘在Java(注册商标)虚拟机36上,但这只不过是考虑到易于理解而做出的。现实的记述是,应用管理器37及应用作为实例由线程55a、b…n执行。
线程55a、b…n是执行存储在工作存储器54中的方法的逻辑上的执行主体,将局部变量和存储在操作数堆栈中的变量作为操作数进行运算,将运算结果存储在局部变量或操作数堆栈中。图中的箭头ky1、ky2、kyn象征地表示从工作存储器54向线程55a、b…n的方法供给。物理的执行主体是CPU这唯一的,与此相比,相当于逻辑的执行主体的线程能够存在于最大64个Java(注册商标)虚拟机36内。在该64个这样的数值内,既可以新制作线程,也可以删除已存在的线程,线程的动作数也可以在Java(注册商标)虚拟机36的动作中增减。由于能够适当增加线程数量,利用多个线程进行一个实例的并列执行,能够实现实例的高速化。本图中,CPU24和线程的对应关系是1对多的关系,但在CPU为多个的情况下,CPU24和线程的对应关系可以是多对多的关系。线程55a、b…n的方法执行,是通过将构成方法的字节代码变换为CPU的默认代码之后发行给CPU24而进行的。
Java(注册商标)堆栈56a、b…n和线程55a、b…n按照1对1的比例存在着,在内部具有程序计数器(图中的PC)和1个以上的帧。“程序计数器”表示在实例中当前正在执行哪个部分。“帧”是向对于方法的一次调用分配的堆栈式的区域,包括存储其1次调用时的变量的“操作数堆栈”和被调用的方法所用的“局部变量堆栈(图中的局部变量)”。帧是在每进行一次调用时被堆积在Java(注册商标)堆栈56a、b…n上,因此在某一个方法递归地调用自己的情况下,该帧也能够被堆积一个。
以上说明了Java(注册商标)虚拟机。
<应用管理器37>
接着,说明应用管理器37。应用管理器37是在Java(注册商标)虚拟机36内的工作存储器上动作的系统软件,每当发生标题分支时,虽然在分支前标题中不执行,但在新的标题中指示Java(注册商标)虚拟机36起动具有AutoRun的起动属性的应用。与此同时,将在分支前标题中执行、但不把新的标题作为生存区间的应用。这些起动控制和结束控制是在参照局部BD-J Object中的应用管理表的基础上进行的。
<BD-ROM的构成>
下面,说明BD-ROM110中存储的数据。
首先,利用图5说明BD-ROM的数据的文件目录构造。
如图5所示,在BD-ROM110中,在Root目录下有BDM目录。
在BDM目录中,有赋予了后缀bdmv的文件(index.bdmv,MovieObject.bdmv)。并且,在该BDM目录之下,进一步存在称为PLAYLIST目录、CLIPINF目录、STREAM目录、BDBJ目录、BDJA目录、AUXDATA目录的6个子目录。
在PLAYLIST目录中,有赋予了后缀mpls的文件(00001.mpls,00002.mpls,00003.mpls)。
在CLIPINF目录中,有赋予了后缀clpi的文件(00001.clpi,00002.clpi,00003.clpi)。
在STREAM目录中,有赋予了后缀m2ts的文件(00001.m2ts,00002.m2ts,00003.m2ts)。
在BDBJ目录中,有赋予了后缀bobj的文件(00001.bobj,00002.bobj,00003.bobj)。
在BDJA目录中,有赋予了后缀jar的文件(00001.jar,00002.jar,00003.jar)。通过以上的目录构造,理解到在BD-ROM上配置有相互不同种类的多个文件。
在AUXDATA目录中,存储了文件sound.bdmv。
<BD-ROM的构成之一、AVClip>
首先,说明赋予了后缀.m2ts的文件。图6是示意性地表示赋予了后缀.m2ts的文件如何构成的图。赋予了后缀.m2ts的文件(00001.m2ts,00002.m2ts,00003.m2ts...)存储着AVClip。AVClip是MPEG2-Transport Stream格式的数字流。该数字流的构成是,把对胶片影像、NTSC影像、PAL影像进行数字化而得到的数字视频,和对LPCM(Linear Pulse Code Modulation,线性脉冲编码调制)音源、AC-3音源、DTS(Digital Surround,数字环绕)音源进行数字化而得到的数字音频(上第一层),变换为由PES包构成的基本流(上第二层),进一步变换为TS包(上第三层),并且,同样地将字幕类的演示图形流(PG流)和对话类的交互图形流(IG流)(下第一层),变换为PES包串(下第二层),进一步变换为TS包(下第三层),并将它们复用而构成。
PG流是实现伴随运动图像再现的字幕显示的基本流,IG流是实现伴随着运动图像再现的GUI的基本流。这些IG流和PG流不是本发明的主要特征,因此省略说明。
将视频流中的由1个PTS再现的再现单位(图片等)称为“Vedio Presentation Unit”。将音频流中的由1个PTS再现的再现单位称为“Audio Presentation Unit”。
在此,构成AVClip的PES包,构成1个以上的“STC_Sequence”。“STC_Sequence”是指,PES包的排列中,在其PTS、DTS参照的System Time Clock(STC)的值中不存在STC不连续点(system time-base discontinuity)的构成。不存在STC不连续点是STC_Sequence的主要条件,所以,在构成一个STC_Sequence的PES包串中,从位于STC不连续点的正后面且包含了PCR(Program Clock Reference,节目时钟基准)的PES包到下一个STC不连续点之前,成为一个STC_Sequence。
<Clip信息>
接着,说明赋予了后缀.clpi的文件。赋予了后缀.clpi的文件(00001.clpi,00002.clpi,00003.clpi...)存储着Clip信息。Clip信息是关于每个AVClip的管理信息。图7是表示Clip信息的内部结构的图。如本图的左侧所示,Clip信息包括:
1)存储了关于AVClip的信息的“ClipInfo()”,
2)存储了与ATC Sequence,STC Sequence有关的信息的“Sequence Info()”,
3)存储了与节目时序(Program Sequence)有关的信息的“Program Info()”,
4)“Characteristic Point Info(CPI())”。
Sequence Info是包含在AVClip中的、关于1个以上的STC-Sequence、ATC-Sequence的信息。预先设置这些信息的意义是,为了预先向再现装置通知STC、ATC的不连续点。即,若存在这样的不连续点,则会在AVClip内有可能出现相同值的PTS、PCR,再现时发生不良情况。为了表示在传输流中的从何处到何处STC、ATC是连续的,而设置了Sequence Info。
Program Info是表示节目内容为固定的区间的信息。节目(Program)是互相共有用于同步再现的时间轴的传输流彼此的集合。预先设置节目时序的意义是,为了预先向再现装置通知节目内容的变化点。这里的节目内容的变化点指的是,视频流的PID变化、或者视频流的种类从SDTV(Standard Definition Tele Vision,标准清晰度数字电视)变化到HDTV(High-Definition Tele Vision,高清晰度数字电视)的点等。
接着,说明Characteristic Point Info。图7中的引出线cu2示出了CPI的构成。如引出线cu2所示,CPI包括Ne个的EP_map_for_one_stream_PID(EP_map_for_one_stream_PID(0)~EP_map_for_one_stream_PID(Ne-1))。这些EP_map_for_one_stream_PID是关于属于AVClip的各个基本流的EP_map。EP_map是在一个基本流中,将Access Unit Delimiter所存在的入口位置的包序号(SPN_EP_start)和入口时刻(PTS_EP_start)对应起来表示的信息。图中的引出线cu3示出EP_map_for_one_stream_PID的内部结构。
从该图可知,EP_map_for_one_stream_PID包含有Nc个的EP_High(EP_High(0)~EP_High(Nc-1))和Nf个EP_Low(EP_Low(0)~EP_Low(Nf-1))。在此,EP_High具有表示Access Unit(Non-IDR I图片、IDR图片)的SPN_start及PTS_EP_start的高位比特的作用,EP_low具有表示AccessUnit(Non-IDR I图片、IDR图片)的SPN_start及PTS_EP_start的低位比特的作用。
图7中的引出线cu4示出EP_High的内部结构。如该引出线所示,EP_High(i)包括作为对EP_Low的参考值的“ref_to_EP_Low[i]”、表示Access Unit(Non-IDR I图片、IDR图片)的PTS的高位比特的“PTS_EP_High[i]”和表示AccessUnit(Non-IDR I图片、IDR图片)的SPN的高位比特的“SPN_EP_High[i]”。在此,i是用于识别任意的EP_High的识别符。
图7中的引出线cu5示出了EP_Low的构成。如引出线cu5所示,EP_Low包括表示对应的Access Unit是否是IDR图片的“is_angle_change_point(EP_Low_id)”、表示对应的Access Unit的大小的“I_end_position_offset(EP_Low_id)”、表示对应的AccessUnit(Non-IDR I图片、IDR图片)的PTS的低位比特的“PTS_EP_Low(EP_Low_id)”和表示对应的Access Unit(Non-IDRI图片、IDR图片)的SPN的低位比特的“SPN_EP_Low(EP_Low_id)”。在此,EP_Low_id是用于识别任意的EP_Low的识别符。
<Clip信息的说明之二.EP_map>
下面,通过具体例说明EP_map。图8是表示对于电影视频流的EP_map设定的图。第一层表示按显示顺序配置的多个图片(由MPEG4-AVC规定的B图片、IDR图片、P图片),第二层表示该图片中的时间轴。第四层表示BD-ROM上的TS包串,第三层表示EP_map的设定。
在第二层的时间轴上,设在时刻t1~t7存在成为Access Unit的IDR图片。并且,如果假设这些t1~t7的时间间隔为1秒左右,则用于电影的视频流中的EP_map设定成,将t1~t7作为入口时刻(PTS_EP_start)表示,与此建立对应地表示入口位置(SPN_EP_start)。
<PlayList信息>
接着,说明PlayList信息。赋予了后缀“mpls”的文件(00001.mpls)是存储了PlayList(PL)信息的文件。PlayList信息是将称为MainPath的再现路径和与此对应的再现信息作为播放列表(PL)定义的信息。
图9是表示PlayList信息的数据结构的图,如本图所示,PlayList信息包括定义MainPath的MainPath信息(MainPath())和定义章节信息的PlayListMark信息(PlayListMark())。
MainPath信息是主要在AVClip上定义的再现路径。另一方面,Subpath是在SubClip上定义的再现路径。在此,SubClip是不包含作为运动图像的视频流的AVClip。
<PlayList信息的说明之一.MainPath信息>
首先说明MainPath信息。MainPath信息对于作为主影像的视频流和音频流定义的再现路径。
MainPath是如箭头mp1所示地由多个PlayItem信息#1…#m定义。PlayItem信息定义构成MainPath的一个以上的逻辑的再现区间。PlayItem信息的结构由引出线hs1示出。如该引出线所示,PlayItem信息包括表示再现区间的IN点及Out点所属的AVClip的再现区间信息的文件名“Clip_Information_file_name”、表示AVClip的编码方式的“Clip_code_identifier”、表示再现区间的始点的时间信息“IN_time”、表示再现区间的终点的时间信息“OUT_time”和“STN_table”。
图10是表示AVClip和PlayList信息之间关系的图。第一层表示PlayList信息所具有的时间轴。从第二层到第五层表示通过EP_map参考的视频流(与图6所示的相同)。
PlayList信息包含PlayItem信息#1、#2这样的2个PlayItem信息,通过这些PlayItem信息#1、#2的In_time、Out_time,定义了2个再现区间。若排列这些再现区间,就定义了与AVClip时间轴不同的时间轴。这就是示于第一层的PlayItem时间轴。如此地,通过PlayItem信息的定义,能够定义不同于AVClip的时间轴。
<STN_table>
STN_table是表示被复用在由Play_Item的Clip_Informaition_file_name指定的AVClip中的多个基本流中,能够再现的基本流的表。具体来说,STN_table是将与多个基本流的每个有关的entry和attribute对应起来而构成。
图11是表示STN_table的内部结构的图。如该图所示,STN_table包含多个STN_table中的entry和attribute的组合(entry-attribute),成为表示这些entry-attribute组合的个数(number_of_video_stream_entries,number_of_audio_stream_entries,number_of_PG_textST_stream_entries,number_of_IG_stream_entries)的数据结构。
entry-attribute的组合如图中的括号“{”所示,分别与PlayItem中可再现的视频流、音频流、PG_textST_stream、IG流相对应。
说明entry-attribute的详细内容。图11是表示entry-attribute的详细内容的图。
图12(a)是表示与视频流对应的entry-attribute的组合的图。
视频流中的entry包含表示在对AVClip进行多路分离时用于该视频流的提取的PID的“ref_to_stream_PID_mainClip”。
视频流中的attribute包括被设定为0x02的“stream_coding_type”和表示视频流的显示速率的“Frame_rate”等。
图12(b)是表示与音频流对应的entry-attribute的组合的图。
音频流中的entry包含表示在对AVClip进行多路分离时用于该音频流的提取的PID的“ref_to_stream_PID_mainClip”。
音频流中的attribute包括:通过被设定为0x80(LinearPCM)、0x81(AC-3)、0x82(DTS)中的某一个,表示音频流的编码类型的“stream_coding_type”、表示对应的音频流的声道且表示能否多声道输出的“audio_presentation_type”、表示对应的音频流的语言属性的“audio_language_code”等。
多声道中除了包含5.1CH的环绕声音以外,还包含立体声,但在下面的说明中,以多声道的含义为只包含5.1CH的环绕声音进行说明。
图12(c)是表示与PG流对应的entry-attribute的组合的图。
PG流中的entry包含表示在对AVClip进行多路分离时用于该PG流的提取的PID的“ref_to_stream_PID_of_mainClip”。
PG流中的attribute包括通过被设定为0x90来表示PG流的编码译码器的“stream_coding_type”和表示对应的PG流的语言属性的“PG_language_code”。
图12(d)是表示与IG流对应的entry-attribute的组合的图。
IG流中的entry包含表示在对AVClip进行多路分离时用于该IG流提取的PID的“ref_stream_PID_of_mainClip”。
IG流中的attribute包括通过设定为0x91表示IG流的编码译码器的“stream_coding_type”和表示对应的IG流的语言属性的“language_code”。
<PlayList信息的说明之二.PlayListMark>
以上说明了本实施方式涉及的PlayItem信息。接着,说明PlayListMark信息。
图13是表示PlayList信息的PlayListMark信息的内部结构的图。如该图的图中的引出线pm0所示,PlayListMark信息包括多个PLMark信息(#1~#n)。PLMark信息(PLMark())是将PL时间轴中的任意区间指定为章节点的信息。如引出线pm1所示,PLMark信息包含表示作为章节指定的对象的PlayItem的“ref_to_PlayItem_Id”和利用时间标记表示该PlayItem中的章节位置的“mark_time_stamp”。
图14是表示PlayList信息的、利用PLMark信息进行的章节位置的指定的图。本图的第二层到第五层表示图10所示的EP_map和AVClip。
本图的第一层表示PLMark信息和PL时间轴。在第一层,存在2个PLMark信息#1~#2。箭头kt1、2表示通过PLMark信息的ref_to_PlayItem_Id进行的指定。从该箭头可知,PLMark信息的ref_to_PlayItem_Id指定着PlayItem信息的每个。此外,Mark_time_Stamp表示PlayItem时间轴中的应成为Chapter#1、#2的时刻。如此地,PLMark信息能够在PlayItem时间轴上定义章节点。
能够定义可使AVClip-SubClip同步的同步区间,是BD-RO中的播放列表信息的特征。以上的Clip信息和播放列表信息被分类为“静态脚本”。其理由是,由以上的Clip信息和播放列表信息来定义作为静态的再现单位的播放列表。至此,结束关于静态脚本的说明。
接着,说明“动态脚本”。动态脚本是动态地规定AVClip的再现控制的脚本数据。“动态地”是指再现装置中的状态变化和通过来自用户的键事件来改变再现控制的内容。BD-ROM中,作为该再现控制的动作环境,假想了2个模式。第一个是与DVD再现装置的动作环境很相似的动作环境,是基于指令的执行环境。第二个是Java(注册商标)虚拟机的动作环境。这2个动作环境中的第一个,称为HDMV模式,第二个称为BD-J模式。由于存在这2个动作环境,动态脚本是假想了其中一个动作环境而记述的。假想了HDMV模式的动态脚本称为Movie Object。另一方面,假想了BD-J模式的动态脚本称为BD-J Object。
首先说明Movie Object。
<Movie Object>
Movie Object被存储在如图5所示的MovieObject.bdmv这样的文件中,包含导航指令串。
导航指令串包括实现条件分支、再现装置中的状态寄存器的设定、状态寄存器的设定值取得等的指令串。在MovieObject中可记述的指令示于下面。
1)PlayPL指令
格式:Play(第一变量,第二变量)
第一变量是播放列表的号码,能够指定要再现的播放列表。第二变量可以使用该播放列表中包含的PlayItem或该播放列表中的任意时刻、chapter、Mark来指定再现开始位置。
将利用PlayItem指定了PL时间轴上的再现开始位置的PlayPL函数称为PlayPLatPlayItem(),
将利用Chapter指定了PL时间轴上的再现开始位置的PlayPL函数称为PlayPLatChapter(),
将利用时刻信息指定了PL时间轴上的再现开始位置的PlayPL函数称为PlayPLatSpecifiedTime()。
2)JMP指令
格式:JMP变量
JMP指令是废弃(discard)当前的动态脚本而执行变量所示的分支目的地动态脚本的分支。JMP指令的形式,有直接指定了分支目的地动态脚本的直接参照的形式和间接参照分支目的地动态脚本的间接参照的形式。
Movie Object中的导航指令的记述同DVD中的导航指令的记述方式很相似,所以,能够有效地进行将DVD上的盘内容移植到BD-ROM的作业。关于MovieObject,存在被记载于以下的国际公开公报中的现有技术。关于详细内容,请参考该国际公开公报。
国际公开公报WO 2004/074976
至此,结束关于Movie Object的说明。接着,说明BD-JObject。
<BD-J Object>
BD-J Object是在Java(注册商标)编程环境下记述的BD-J模式的动态脚本,被存储在00001~00003.bobj这样的文件中。
图15是表示BD-J Object的内部结构的图。包含应用管理表(AMT)、播放列表管理表(PLMT)而构成。与Movie Object的不同点在于,在BD-J Object中未直接记述指令。即,在Object中的控制步骤是利用导航指令直接记述的。与此相比,在BD-JObjiect中,通过在应用管理表中记载对于Java(注册商标)应用的指定,间接地规定了控制步骤。通过这样的间接的规定,能够有效地及进行在多个动态脚本中使控制步骤共同化的所谓控制步骤共同化。
此外,MovieObject中的播放列表再现是通过命令播放列表再现的导航指令(PlayPl指令)的记述而实现的,但是,BD-J Object中的播放列表再现,是通过将表示播放列表再现顺序的播放列表管理表组装到BD-J Object中而记述可能。
说明该BD-J模式中的Java(注册商标)应用。在此,假想了BD-J模式的Java(注册商标)平台,完全安装了Java(注册商标)2Micro_Edition(J2ME)Personal Basis Profile(PBP 1.0)和Globally Executable MHP specification(GEM 1.0.2)for packagemedia targets。
该BD-J模式下的Java(注册商标)应用是通过xlet接口由应用管理器控制。Xlet接口具有“loaded”、“paused”、“active”、“destroyed”的四个状态。
上述的Java(注册商标)平台包含用于显示JFIF(JPEG)和PNG、及其他图形数据的标准(注册商标)程序库。因此,Java(注册商标)应用能够实现与在HDMV模式下通过IG流实现的GUI不同的GUI框架。Java(注册商标)应用中的GUI框架,包含由GEM1.0.2规定的HAVi(Home Aduio/Video interoperability)框架,包含GEM1.0.2中的遥控机构。
由此,Java(注册商标)应用能够实现将基于HAVi框架的按钮显示、文本显示、联机显示(BBS的内容)这样的显示和运动图像的显示进行了组合的画面显示,利用遥控能够进行对该画面显示的操作。
相当于该Java(注册商标)应用的实体的是,图2中的BDMV目录下的BDJA目录中存储的Java(注册商标)档案文件(00001.jar,00002.jar)。下面,参照图16说明(注册商标)档案文件。
<Java(注册商标)档案文件>
Java(注册商标)档案文件(图2的00001.jar,00002.jar)是将1个以上的类文件、1个以上的数据文件等归纳为1个而得到的文件,构成在BD-J模式下应动作的Java(注册商标)应用。
图16是表示由档案文件收容的程序、数据的图。该图中的程序、数据是用Java(注册商标)档案库归纳了配置有框内表示的目录构造的多个文件。框内表示的目录构造包括Root目录、Java(注册商标)1、2、3目录、Image1、2、3目录,在Root目录中配置有common.pkg,在Java(注册商标)1、Java(注册商标)2、Java(注册商标)3目录中配置有类文件(00001.class~00007.class),在Image1、Image2、Image3目录中配置有00001.JPEG~00003.JPEG、00004.PNG~00006.PNG。Java(注册商标)档案文件是用Java(注册商标)档案库归纳了这些文件而得到。这样的类文件及数据在从BD-ROM读取到高速缓存时被解压缩,在高速缓存上作为被配置在目录中的多个文件来处理。Java(注册商标)档案文件的文件名中“zzzzz”这5位数值,应用的ID(applicationID)。本Java(注册商标)档案文件被读取到高速缓存时,通过参照该文件名中的数值,能够取出构成任意的Java(注册商标)应用的程序、数据。
而且,在本实施方式中构成应用的程序、数据被归纳在Java(注册商标)档案文件中,但也可以是LZH文件、zip文件。
以上,说明了BD-J模式中的动态脚本。
<Index.bdmv>
Index.bdmv是表示构成标题的Movie Object或BD-J Objext的表。
在标题中,定义称为某一标题的构成要素的MovieObject是哪个、或者成为某一标题的构成要素的BD-J Object是哪个。
关于Index.bdmv的详细内容记载在以下的国际公开公报中。关于详细内容请参考该公报。
国际公开公报WO 2004/025651 A1公报
下面,进一步详细地分别说明图15所示的应用管理表、播放列表管理表。
<应用管理表>
说明应用管理表(AMT)。应用管理表(AMT)是安装上述的GEM1.0.2for package media targets中的“应用信令”的表。“应用信令”是指,在GEM1.0.2规定的MHP(Multimedia HomePlatform)中,将“服务”作为生存期间进行应用的起动和执行的控制。本实施方式中的应用管理表,代替该“服务”,而是将BD-ROM中的“标题”作为生存区间,来实现应用的起动及执行的控制。
图17(a)是表示应用管理表的内部结构的图。如该图所示,应用管理表包括“life_cycle”、“apli_id_ref”、“run_attribute”和“run_priority”。
图17(b)表示构成应用管理表的信息要素的含义内容。
“life_cycle”表示应用的“生存区间”。
“apli_id_ref”表示通过记述对于“应用识别符”的参照值而具有左侧记载的生存区间的应用是哪一个。应用识别符在Java(注册商标)档案文件中用作为文件名赋予的5位数值zzzzz表现。“apli_id_ref”中记载了该5位数值。
“run_attribute”记述了该生存区间中的应用的“起动属性”。起动属性有AutoRun、Present、Susped这样的种类。
“run_priority”  记述了该生存区间中的应用的“起动优先级”。在BD_J Object中,使用这些信息控制应用的动作。
<生存区间>
在此,说明在应用管理表中规定的信息中的生存区间。
生存区间表示,在记录在BD-ROM中的内容全体的时间轴上,应用能够在虚拟机的工作存储器上能够生存的区间。工作寄存器中的“生存”是说,构成该应用的xlet程序被读取到Java(注册商标)虚拟机内的工作存储器中、且能够由Java(注册商标)虚拟机执行的状态。
在Java(注册商标)虚拟机中使应用动作的情况下,明确地规定从时间轴的何处开始应用的服务、并在时间轴的何处结束应用的服务这样的“服务的开始点及结束点”是很重要的。规定该服务的开始点及结束点的是应用管理表中的生存区间。
另一方面,用DVD-Video那样的读取专用盘供给的盘内容,成为将顶级菜单标题作为核心的构造。从该顶级菜单标题向各个著作物分支后进行再现,然后再返回到顶级菜单标题,具有这样独特的状态转移。图18是表示盘内容中的状态转移的图。该图中的四边框是标题(Title)。标题是指在盘内容特有的状态转移中相当于1个“状态”的再现单位,该标题作为Java(注册商标)应用的生存区间而处理。
标题中,有在BD-ROM的装载时首先再现的“FirstPlayTitle”、构成顶级菜单的“Top_menuTitle”、除此以外的一般的“Title”。此外,图中的箭头jh1、2、3、4、5、6、7、8象征地表示Title间的分支。该图所示的状态转移是,在BD-ROM装载时再现“FirstPlayTitle”,并发生向“Top_menuTitle”的分支,成为对顶级菜单选择的等待。
如果由用户进行了对顶级菜单的选择操作,则根据选择进行该Title的再现,并再次返回到TopMenu Title,在BD-ROM的卸载之前一直重复进行上述的处理,就是盘内容特有的状态转移。
那么,在形成图18所示的状态转移的盘内容中,Title是怎样作为生存区间被规定的。在进行BD-ROM的装载之后,按照在图18中用箭头jh1、2、3、4…表示的参考标记的数值顺序进行分支,BD-ROM被卸载。如果这样,可以将从BD-ROM被装载之后到卸载的连续时间带同视为一根时间轴。将该时间轴作为盘全体的时间轴。图19(a)是表示盘全体的时间轴的图,图19(b)表示该时间轴上的构成。如图19(b)所示,盘全体的时间轴包括再现FirstPlayTitle的区间、再现Top_menuTitle的区间、再现title#1的区间等。这些Title的再现区间是这样规定的,即Title是由唯一的BD-J Object构成的,因此可以将任一个MovieObject或BD-J Object为有效的期间作为Title的再现区间。
即,FirstPlay Title、TopMenu Title、其他的Title都由动态脚本构成,所以,可以将构成Title的BD-J Object中的某一个作为当前BD-J Object被激活、并在再现装置内供于解读及执行的期间定义为Title的再现区间。图20(a)时表示在BD-ROMM全体的时间轴上,从由识别符bobj_id确定的BD-J Object中确定的再现区间的图。在此,如果由识别符bobj_id确定的BD-JObject构成1个Title,则可以将由该识别符bobj_id确定的BD-JObject为有效的BD-ROM时间轴上的一区间考虑为Title的再现区间。
在此,BD-J Object被激活的期间的结束时间,一直到发生Title分支为止。即,在发生Title分支之前,成为执行对象的动态脚本作为当前BD-J Object被处理,所以将在该BD-J Object中发生JumpTitle之前的一个区间作为Title区间来处理。
接着,说明Title区间和PL时间轴的关系。如上所述,在MovieObject、BD-J Object中,可以将播放列表再现步骤作为一个处理步骤记述。如果有播放列表再现步骤的记述,则上述的PL时间轴的全部或一部分归属于Title区间。在图20(a)的一例中,假设在BD-J Object记述了播放列表管理表。该情况下,如图20(b)所示,PL时间轴归属在与BD-J Object对应的Title区间中。在该PL时间轴上还可以定义多个章节(Chapter#1、#2、#3),因此在BD-ROM上的时间轴上存在BD-ROM全体-Title-播放列表章节这样的函数。使用这些函数,能够记述应用的生存区间。而且,播放列表再现和应用执行同时进行,所以在播放列表再现的途中有时会发生Title分支。该情况下,在一个Title再现区间内只归属播放列表时间轴的一部分,而不是播放列表时间轴全体。即,在一个Title的再现区间中是归属播放列表时间轴的全体、还是归属其一部分,是根据Title分支何时发生而变更的。
图21是表示在图20(b)的时间轴上被规定的生存区间的典型例子的图。如该图所示,在应用中,存在将Title作为生存区间的“标题边界应用”、将Title内的章节作为生存区间的“章节边界应用”和将BD-ROM全体的时间轴作为生存区间的“标题无边界应用”这三个典型类型。
其中,标题边界应用的生存空间可以用该标题的识别符定义。此外,章节边界应用的生存空间可以用章节所属的标题的识别符和该章节识别符的组合进行定义。
即使平台在工作,若Title或章节这样的生存区间结束,则能够从应用回收资源。由于保证资源回收的机会,能够使平台的动作稳定化。
举具体例子说明在不远的将来会实施的将盘内容选作题材而进行的应用管理表中的生存区间记述。在此,作为题材的盘内容包含构成影像正编的正编标题(title#1)、构成网络购物的网络购物标题(title#2)、构成游戏应用的游戏标题(title#3)这样的性格不同的三个标题。图22是表示包含正编标题、网络购物标题、游戏标题这三个标题的盘内容的图。在该图的右侧记述着Index.bdmv,在左侧记述着3个标题。
右侧的虚线框表示各个应用属于哪个标题的归属关系。三个标题中的title#1包括application#1、application#2、application#3这三个应用。title#2包括application#3、application#4这2个应用,title#3包括application#5。图22的一例中,application#3在title#1和title#2的双方被起动。
如果根据图22的虚线所示的归属关系将各应用的生存区间图形化,则得到图23(a)。该图中,横轴是标题再现区间,在纵轴方向配置了各个应用的生存区间。在此,由于application#1、application#2仅归属于title#1,所以这些生存区间留在title#1内。由于application#4仅归属于title#2,所以这些生存区间留在title#2内。由于application#5仅归属于title#3,所以这些生存区间留在title#3内。由于application#3归属于title#1及title#2,所以这些生存区间横跨title#1-title#2。若根据该生存区间记述应用管理表,则title#1、#2、#3的应用管理表成为图23(b)。如果如此地记述了应用管理表,在title#1的再现开始时将application#1、application#2、application#3装载到工作存储器中。然后,进行在title#2的再现开始时将application#1、application#2从工作存储器中删除而仅留下application#3的控制。与此同样地,能够进行在title#2的再现开始时将application#4装载到工作存储器中,在title#3的开始时将application#3、application#4从工作存储器中删除的控制。
再者,能够进行在title#3的再现中将application#5装载到工作存储器中,在title#3的再现结束时将application#5从工作存储器中删除的控制。
即使是发生了标题间分支的情况下,在分支源-分支目的地中生存的应用预先存储在工作寄存器上,将不存在于分支源而仅存在于分支目的地的应用读入到工作寄存器中即可,所以将应用读入工作寄存器的次数成为所需要的最低次数。如此地,通过减少读入次数,能够实现不用意识标题的边界的应用、即无边界的应用。
接着,进一步详细说明应用的起动属性。起动属性中,有表示自动起动的“AutoRun”,表示不是自动起动的对像但可以放置在虚拟机的工作存储器中的“Present”,位于虚拟机的工作存储器中但不能分配CPU功率的“Suspend”。
“AutoRun”是表示与对应的标题的分支同时地将该应用读入到工作存储器且执行的属性。如果发生从某一标题向其他标题的分支,则进行应用管理的管理主体(应用管理器)在其分支目的地中生存着,并且将起动属性被设定为AutoRun的应用读入到工作存储器执行。由此,该应用同标题分支一起自动地被起动。
起动属性“Present”是继续属性,表示继续分支源title中的应用的状态。此外,是表示可以执行对应的应用的属性。在起动属性为“Present”的情况下,被赋予了该起动属性的应用被允许从其他应用的调用。如果从起动中的应用发生了调用,则进行应用管理的管理主体(应用管理器)判断该应用的applicationID是否被记述在应用管理表中,起动属性是否是“Present”。如果是“Present”,将该应用装载到工作存储器。另一方面,在该调用方应用的applicationID未记述在应用管理表的情况下,该应用不被装载到工作存储器。通过应用进行的调用,限于被赋予了该“Present”的应用。“Present”是在未明确地指定起动属性的情况下赋予的缺省的起动属性,所以,当某一应用的起动属性是无指定“——”的情况下,意味着该应用的起动属性是该“Present”。
“Suspend”是指,应用被放置在虽然分配了资源但未分配CPU功率的状态。这样的Suspend,例如实现在游戏标题的执行中经由侧路径的处理时是有意义的。
图24是表示起动属性可取的三种状态(Present、AutoRun、Suspend)和之前标题中的应用状态的三种状态(非起动、起动中、Suspend)能够取的组合方式的图。在之前状态是“非起动”的情况下,若起动属性是“AutoRun”,则在分支目的地标题中该应用被起动。
若之前状态是“非起动”、起动属性是“Present”、“Suspend”,在分支目的地标题中该应用什么也不做而继续其状态。
在之前状态是“起动中”的情况下,若起动属性是“Present”、“AutoRun”,在分支目的地标题中该应用什么也不做而继续其状态。
如果起动属性是“Suspend”,应用的状态被暂停。在之前状态是“Suspend”的情况下,若分支目的地标题的起动属性是“Suspend”,则维持暂停。若是“Present”或“AutoRun”,则在分支目的地标题中该应用重启。通过在应用管理表中定义生存区间及起动属性,可以沿着标题再现区间的行进,进行使Java(注册商标)应用动作的同步控制,可以向人们提供伴随影像再现和程序执行的各种各样的应用。
而且,在之前状态是“Suspend”、分支目的地标题的起动属性为“Present”的情况下,也可以维持之前状态即暂停状态。
最后,说明对于各应用的“起动优先级”。
该起动优先级取0~255的值,是应用管理器进行如下处理时使用的判断材料:在存储器资源枯竭时、或者CPU负载变高时,强制地结束哪个应用,或者从哪个应用夺取资源。该情况下,应用管理器进行结束起动优先级低的应用的动作,继续起动优先级高的应用的动作的处理。
此外,起动优先级还用于对再现中播放列表的请求发生了竞争时的应用间的调解。在此,假设某一个应用正在进行某一播放列表的块进。这时,如果别的应用对相同的播放列表发出了暂停请求,则比较向这些应用赋予的起动优先级。然后,如果命令块进的应用的起动优先级高,则继续进行这样的应用进行的块进。相反,如果命令了暂停的应用的起动优先级高,则进行块进中播放列表的暂停。
利用以上的生存区间、起动属性、起动优先级,在编制时能够预先进行规定,将能够在虚拟机上动作的应用的数量限制在规定数以下。因此,能够保证应用的稳定动作。
<播放列表管理表>
以上说明了应用管理表。接着,说明播放列表管理表(PLMT)。是表示在应用的生存区间应该和各应用执行同时进行的再现控制的表。应用的动作是不稳定的,会发生起动的失败和异常结束,在此,作为发生了起动失败、异常结束时的故障保护机构,本实施方式在应用的每个生存区间设置了播放列表管理表。播放列表管理表是规定在某一应用的生存区间开始时应该与此同时进行的再现控制的信息。该再现控制是基于播放列表信息的AVClip再现,通过与基于播放列表信息的再现控制同时进行,同时进行应用执行和播放列表再现。播放列表管理表虽然在应用的每个生存区间设置,但设有播放列表管理表的应用仅限于标题边界的应用。其原因是,标题无边界应用将整个标题作为生存区间,所以在应用执行的同时进行播放列表再现的控制,是不合适的。
章节边界应用是在从一个播放列表内的章节起开始执行应用的前提下规定了生存区间,所以不需要规定播放列表再现。从上述内容可知,播放列表管理表被定义为由1个以上的标题构成的生存区间。
图25(a)是表示播放列表管理表的内部结构的图。如该图所示,播放列表管理表包括“PL_id_ref”和“Playback_attribute”。
图25(b)表示构成播放列表管理表的信息要素的含义内容。
“PL_id_ref”通过记述对于播放列表识别符的“参考值”,表示在应用的生存区间可以再现的播放列表是哪一个。播放列表识别符用文件YYYYY.MPLS中的、作为文件名赋予的5位数值YYYYY表现。通过记述该YYYYY,“PL_id_ref”表示在对应的标题中可以再现的播放列表是哪一个。
“Playback_Attribute”是模仿了应用管理表中的起动属性的属性,是规定在标题开始时如何再现被记述在“PL_id_ref”的播放列表的再现属性。对于播放列表的再现属性,有“AutoPlay”和“Present”的2种。
“AutoPlay”是表示与对应的标题的分支同时地再现该播放列表的含义的属性。当发生从某一标题向其他标题的分支时,进行应用管理的管理主体(应用管理器),开始进行在其分支目的地标题中可以再现、且再现属性设定为AutoPlay的播放列表的再现。由此,起动属性被设定为AutoPlay的播放列表同标题分支一起自动地被起动。
“Present”和起动属性中的Present一样是继续属性,表示继续分支源标题中的播放列表的状态。而且,是表示可以再现对应的播放列表的属性。例如有被连续再现的2个标题,在前面的标题侧的播放列表管理表中,某一播放列表的再现属性被设定为AutoPlay,在当前标题侧的播放列表管理表中,该播放列表的再现属性被设定为Present。在此,播放列表的再现时间是2小时,假设在其中经过了1小时的时刻发生了分支。该情况下,在当前标题中再现属性被设定为Present,所以在当前标题中,该播放列表从1个小时的已再现区间之后开始进行再现。若如此地将再现属性设定为Present,在发生标题间的分支的情况下,也能从其剩余部分开始进行播放列表再现。由此,在相互分支的一连串的标题中,能够容易地实现再现共通的播放列表的所谓“标题间的播放列表再现的共通化”。此外,在分支目的地标题为多个的情况下,若将这些多个标题的再现属性都设为Present,则不论分支到多个标题中的哪个,都能够继续进行一个共通的播放列表再现。
而且,标题的边界也可以不保证无间隙再现,所以,如上所述地在多个标题间要再现1个播放列表的情况下,允许在分支前后中断播放列表再现。
此外,再现属性是“Present”的情况下,被赋予了该再现属性的播放列表通过来自其他应用的再现请求进行再现。当从起动中的应用发出了播放列表的再现请求,则进行应用管理的管理主体(应用管理器)判断接受了请求的播放列表的PL_id_ref是否记述在播放列表管理表中,判断再现属性是不是“AutoPlay”和“Present”中的一个。如果是“AutoPlay”和“Present”中的某一个,则再现该播放列表。另一方面,接受了请求的播放列表的PL_id_ref没有被记述在播放列表管理表中的情况下,不再现该播放列表。基于应用的请求进行的播放列表再现,限于被赋予了该“AutoPlay”和“Present”中的某一个的播放列表。由于“Present”是在没有明确地指定再现属性时被赋予的缺省的再现属性,因此,如果某一播放列表的再现属性是“——”,则意味着该播放列表的再现属性是该Present。
图26表示由播放列表管理表、应用管理表规定的标题的具体例子。图26的第一层表示标题的再现影像,第二层表示时间轴,第三层表示由PLMT规定了再现的播放列表,第四层表示应用执行。第四层中,application#1在标题的开始时同时被起动,然后,在时刻t1成为动作状态。另一方面,PlayList#1在标题的开始时同时开始再现。PlayList#1的再现在与标题的再现相同的时刻开始,所以如第一层的左侧所示,在标题的再现开始之后起到应用成为动作状态为止的起动延迟中,播放列表的再现图向gj1全屏显示。通过将播放列表管理表的再现属性设定为“AutoPlay”,即使在Java(注册商标)应用成为动作状态之前需要5~10秒的时间,该期间也处在“姑且显示某一画面的状态”。利用该“姑且显示某一画面的状态”,能够补偿标题执行开始时的起动延迟。
另一方面,application#1在时刻t1成为动作状态,所以在时刻t1显示将播放列表再现图像作为子画面、将应用的执行图像作为母画面的合成图像gj2。应用的执行图像是配置了开始按钮、继续按钮、电源指示器的游戏用GUI框架,Java(注册商标)应用执行这样的GUI框架的描绘处理。
如此地,能够构成组合了播放列表的再现影像和Java(注册商标)应用的GUI框架的、形成再现影像的标题,这是PLMT的特征。
图27是表示当前标题可取的三种状态(无播放列表管理表(i),有播放列表管理表且AutoPaly(ii),有播放列表管理表且无指定(iii))和之前标题中的播放列表的状态(非再现状态,再现状态)能够组合的6种组合的图。
在该图中的6种组合中,“之前状态=非再现状态”和“当前标题=有播放列表管理表,且当前标题的再现属性=AutoPlay”的组合中,自动地开始分支目的地标题中的播放列表的再现。
此外,在“之前状态=再现中状态”和“当前标题=无播放列表管理表”的组合中,自动地停止分支目的地标题中的播放列表的再现。
并且,在除了这2个组合之外的其他所有组合中,继续前面的标题的状态。基于播放列表管理表的播放列表再现的开始,在分支源标题中是非显示状态,限于在分支目的地标题中被赋予了AutoPlay属性的情况,所以,不需要在每次发生标题的分支时开始播方列表再现。即使发生了多次标题间的分支,也能够将开始播放列表再现的次数设为所需的最低次数。
参考图28(a)说明播放列表管理表和应用管理表的记述例。在此假想的具体例是,2个连续的Title(title#1,title#2),在其中的title#1中,作为AutoRun应用记述了application#1、application#2。在title#2中,作为AutoRun应用记述了application#2、application#3。另一方面,在title#1的播放列表管理表中,作为AutoPlay播放列表记述了PlayList#1,在title#2的播放列表管理表中,作为AutoPlay播放列表记述了PlayList#2。图28(b)是表示利用如图28(a)那样记述的应用管理表、播放列表管理表,如何进行播放列表再现及应用执行的图。
在title#1中如上所述地设定了应用管理表、播放列表管理表,所以在title#1的开始时application#1、application#2自动被起动,自动地开始PlayList#1的再现。
在title#2中如上所述地设定了应用管理表、播放列表管理表,所以,虽然在title#1侧有记载但在title#2侧无记载的application#1的执行停止。同样地,虽然在title#1侧有记载但在title#2侧无记载的PlayList#1的再现也停止。
虽然在title#1侧有记载但在title#2侧无记载的PlayList#2、application#3自动地开始再现及执行。如果有分支,以该分支为契机,能够将应再现的播放列表切换为其他的播放列表。通过如此地使用应用管理表、播放管理表,并以分支为契机,能够在编制阶段预先规定切换播放列表再现的处理。
此外,在图28中,对application#1、application#2、application#3分别赋予200、128、200的起动优先级。通过赋予这些起动优先级,能够进行对于PlayList#1、PlayList#2的控制请求产生了竞争时的调解。在此,假设application#1对PlayList#1命令了快进。另一方面,设application#2进行了暂停请求。该情况下,由于在应用管理表中规定了对于各应用的起动优先级,所以按照该起动优先级进行对两用户的起动优先级。其结果,能够在编制时预先规定拒绝application#2的请求而继续application#1的控制的处理。通过同时利用起动优先级和播放列表管理表,可以使再现装置还能够进行对于播放列表的控制发生了竞争时的调解。
说明播放列表管理表记述的其他具体例。图29(a)是表示播放列表管理表的其他记述例的图。在该图中假定的是,在2个连续的标题(title#1,title#2)中,在title#1侧的播放列表管理表中,作为AutoPlay播放列表记述了PlayList#1,作为可再现的播放列表记述了PlayList#2,在title#1的应用管理表中,记述了作为AutoPlay应用的application#1和作为可执行的应用的application#2。另一方面,在title#2侧的播放列表管理表中,作为可再现的播放列表记述了PlayList#2、PlayList#3,在应用管理表中,作为AutoRun应用记述了application#3。图29(b)是表示基于图29(a)的实例的应用执行和播放列表再现的进行过程的图。在title#1的应用管理表中,作为AutoRun应用记述了application#1,所以在title#1的开始时,application#1自动地起动。另一方面,在title#1的应用管理表中,作为可执行的应用记述了application#2,因此,通过来自application#1的调用yd1,application#2被起动。
在title#2侧的应用管理表中,application#1、application#2处于非生存,代替它,作为AutoRun应用记述了application#3。因此,在title#1-title#2的边界部,进行停止application#1、application#2,自动地起动application#3的处理。如果参照播放列表管理表,title#1侧的播放列表管理表被记述成PlayList#1、PlayList#2可以再现,其中PlayList#1成为AutoRun属性。因此,PlayList#1在title#1的开始时自动地进行再现。
在Title#1侧的播放列表管理表中,除了PlayList#1以外,PlayList#2被记述成可以再现,所以application#1通过停止PlayList#1的再现、代之请求PlayList#2的再现,能够执行播放列表的交替。
在title#2侧的播放列表管理表中,作为可再现的播放列表记述了PlayList#2、PlayList#3。并且,不存在被赋予AutoPlay属性的播放列表。因此,即使假设在title#1开始时自动再现的PlayList#1的再现继续到title#2,PlayList#1的再现也自动结束。
但是,如果在PlayList#2的再现继续的状态下到达title#2,PlayList#2的再现在title#2开始以后也继续。在title#2的播放列表管理表中,作为可再现的播放列表记述了PlayList$2、PlayList#3。因此,在title#2成为执行中的application#3,通过停止PlayList#2的再现、代之请求PlayList#3的再现,能够交替再现中的播放列表。
如上所述,如果将播放列表管理表的再现属性设定为“AutoPlay”,即使Java(注册商标)应用的起动需要5~10秒钟的时间,在执行该起动的期间,也成为“姑且显示某个图像的状态”。在标题执行开始时,即使应用起动需要时间,画面也成为“姑且显示某个图像的状态”。由此,能够补偿应用起动需要时间所造成的起动延迟的长时间化。
通过定义应用管理表和播放列表管理表,能够沿着标题再现区间的进行,实现使Java(注册商标)应用动作的同步控制,能够向人们提供伴随影像再现和程序执行的各种各样的应用。
<动作>
下面,利用图30所示的流程图,说明本实施方式的再现装置10的、装载BD-ROM110再现运动图像或者显示菜单之前的动作。该动作还是通过应用管理器37进行的处理。
如图30所示,首先,判断是否进行了Title Jump(步骤S1)。
在进行了Title Jump的情况下(步骤S1的“是”),执行标题切换(步骤S7),接着,查看在对应于当前标题的BD-J Objext是否存在PLMT(步骤S8)。
当存在PLMT的情况下(步骤S8的“是”),开始在前面的标题中未记载、但在当前标题中被记载在PLMT且赋予了AutoPlay属性的播放列表的再现。在不存在PLMT的情况下(步骤S8的“否”),停止在前面的标题中被记载在PLMT、但在当前标题中未记载于PLMT且被赋予了Autoplay属性的播放列表的再现。
接着,判断是否有对应于当前标题的应用管理表(步骤S11)。
在有应用管理表的情况下(步骤S11的“是”),起动未将前面的标题作为生存区间但将当前标题作为生存区间的Java(注册商标)应用中的、被赋予了AutoRun属性的应用。在没有应用管理表的情况下(步骤S11的“否”),结束将前面的标题作为生存区间但未将当前标题作为生存区间的应用。
接着,判断应用的起动是否成功(步骤S14)。当应用的起动成功的情况下(步骤S14的“是”),对视频平面5及视频平面控制部17执行被赋予了AutoRun属性的播放列表的再现图像的四分之一化的指示。此外,接受了该指示的静止图像平面控制部17,执行来自静止图像平面16的静止图像数据的输出(步骤S15)。然后,在电视机130上显示还合成了静止图像平面16的静止图像数据的图像。在应用的起动失败的情况下(步骤S14的“否”),转移到步骤S23,执行以后的处理。
在没发生TitleJump的情况下(步骤S1的“否”),检测主应用是否结束(步骤S2)。
在主应用已结束的情况下(步骤S2的“是”),判断该应用是否正常地结束(步骤S5)。在正常地结束的情况下(步骤S5的“是”),返回到步骤S1,执行以后的处理。
在主应用异常结束的情况下(步骤S5的“否”),查看是不是Auto Play PL的再现中(步骤S21)。是再现中的情况下(步骤S21的“是”),CPU25将视频平面5的数据以全屏大小输出,以便将Auto Play PL的再现图像全屏化。而且,对静止图像平面控制部17也发出同样的指示,接受了该指示的Stii平面控制部17制止存储在静止图像平面16中的静止图像数据的输出(步骤S22)。然后,在电视机130上显示未合成静止图像数据的合成图像。
然后,判断再起动计数器是否为0(步骤S23)。在此,再起动计数器是用于规定应用的再起动次数的控制变量。在再起动计数器是0的情况下(步骤S23的“是”),返回到步骤S1,执行以后的处理。在再起动计数器不是0的情况下(步骤S23的“否”),使再起动计数器递减,转移到步骤S12并执行以后的处理。通过执行步骤S23、S24的过程,保证应用的起动。并且,再起动计数器在该流程的起动时被复位。
在主应用没结束的情况下(步骤S2的“否”),接着判断被赋予了AutoPlay属性的播放列表的再现是否结束(步骤S3)。在被赋予了AutoPlay属性的播放列表的再现结束的情况下(步骤S3的“是”),返回到步骤S1执行以后的处理。在被赋予了AutoPlay属性的播放列表的再现没结束的情况下(步骤S3的“否”),检测BD驱动器1中是否有BD-ROM(步骤S4)。
在BD驱动器1中仍存在BD-ROM的情况下(步骤S4的“是”),返回到步骤S1执行以后的处理。在BD驱动器1中不存在BD-ROM的情况下(步骤S4的“否”),执行全部应用的结束指示(步骤S6),并结束。
以上是从BD-ROM110安装到再现装置100起到取出为止的动作。如上所述,当再现图像全屏显示时和四分之一屏显示时,决定来自静止图像平面16的数据输出的可否。在全屏的情况下,不需要合成静止图像平面16的数据,所以不输出,这样做,能够增大静止图像平面16的读取中使用的存储器总线带宽。
<第二实施方式>
下面,参照附图说明本发明涉及的第二实施方式。
在第二实施方式示出了如下内容:在BD应用中,为了实现更丰富的交互性,导入Java(注册商标)那样的程序环境的同时,通过控制自静止图像平面或PG平面的数据输出,来有效活用存储器总线带宽。基本上是基于第一实施方式的内容,下面说明追加或不同的部分。
<再现装置100的硬件结构>
关于再现装置100,是在第一实施方式的基础上,追加了PG平面控制部28。在此,说明PG平面控制部28的功能。其他各部分,与第一实施方式中示出的内容相同。
PG平面控制部28具有控制来自PG平面的数据输出的功能。具体地说,接受从CPU25发送给视频平面5的定标指示,在该定标指示是在电视机130的全体上显示的显示指示即全屏显示指示的情况下,输出来自PG平面14的数据。并且,在定标指示是全屏的1/4即四分之一化的情况下,抑制来自PG平面14的数据读取。
<动作>
图32是表示在第二实施方式中根据应用的请求,进行来自PG平面14和静止图像平面16的数据的输出控制的流程图。
如图32所示,首先从应用请求视频定标,CPU25向视频处理器(未图示)指示视频定标(步骤S101)。
接着,视频处理器向CPU25通知视频定标是否成功(步骤S102)。在视频定标成功的情况下(步骤S102的“是”),判断该定标指示是不是向电视机130的显示画面全体上显示的显示指示即全屏显示指示(步骤S103)。
在是全屏显示指示的情况下(步骤S103的“是”),CPU25向静止图像平面控制部17指示抑制来自静止图像平面16的数据输出(步骤S104)。此外,CPU25指示PG平面控制部28执行来自PG平面14的数据输出(步骤S106),并结束。
在不是定标指示的情况下(步骤S103的“否”),即视频定标的指示是全屏显示的1/4即四分之一化定标的情况下,CPU25指示静止图像控制部17执行来自静止图像平面16的数据输出(步骤S105)。此外,CPU25指示PG平面控制部28抑制来自PG平面14的数据输出,并结束。
并且,在步骤S102,即使在视频定标失败的情况下(步骤S102的“否”),结束该流程。
如上所述地,应用对全画面的视频定标成功的情况下,能够抑制来自静止图像平面16的数据的读取,并执行来自PG平面14的数据的读取。此外,在应用对全画面的1/4大小的视频定标成功的情况下,能够执行来自静止图像平面16的数据的读取,抑制来自PG平面14的数据的读取。
对于PG平面14,也如上所述地进行基于视频定标的读取控制,在视频定标是四分之一定标的情况下,通过抑制数据的输出,能够空出应该用于该输出的存储器总线带宽。
<第三实施方式>
在第一实施方式中,示出了进行静止图像平面16的输出控制,在不需要静止图像平面16的数据输出的情况下,能够相应地空出存储器总线带宽。
在第三实施方式中,示出能够有效活用存储器总线带宽和存储器区域的其他方法。在此,只说明不同于第一实施方式的部分。
如第一实施方式及第二实施方式所示,对于来自静止图像平面16的数据输出,在视频定标是全屏比例的情况下,抑制来自静止图像平面16的数据输出,在视频定标是四分之一大小的情况下,执行来自静止图像平面16的数据输出。
此外,在第二实施方式中记载了对于PG平面14也执行基于视频定标的输出控制。如上所述,关于PG平面,是同静止图像平面16的情况相反地,在视频定标是全屏的情况下,执行数据的输出,在视频定标是四分之一大小的情况下,抑制数据的输出。
即,关于来自PG平面14和静止图像平面16的数据输出是排他性的,具有若一方执行输出则另一方不执行输出的结构。
因此,在第三实施方式中,不同于第一实施方式,共用在PG平面14和静止图像平面16使用的存储器区域。该情况下,当来自应用的关于视频定标的指示是全屏定标的情况下,该存储器区域作为PG平面14用的存储器区域使用。并且,在关于视频定标的指示是四分之一大小的情况下,该存储器区域作为静止图像平面16使用。具体地说,PG平面14和静止图像平面16共用存储器的相同地址的区域。
这样做,能够实质上只开辟相当于一个平面的存储器区域,其他的存储器区域用于其它的用途。例如,可以具有如下结构:将应显示在静止图像平面16上的JPEG数据以压缩状态存储,在需要来自静止图像平面16的数据输出的情况下,对压缩的JPEG数据进行解压并写入静止图像平面。
此外,在数据读取时实质上访问的存储器区域相当于减少一个平面的量,可以说存储器总线带宽也相应地产生空余。
<补充>
根据上述实施方式说明了本发明涉及的再现装置,但本发明的实施方式不限于上述结构。下面,说明其变形例。
(1)在上述实施方式中,将再现装置作为BD-ROM再现装置进行了说明,但并不是特别限定于BD-ROM再现装置,也可以是DVD播放器等。
(2)在上述实施方式中,静止图像平面控制部17根据是否进行视频平面的定标变更,来判断是否进行来自静止图像平面的静止图像数据的读取,但是,也可以根据在用于存储字幕数据的PG平面中是否有要合成的数据来进行判断。
字幕数据基本上以进行全屏显示时的字体大小存储在BD-ROM中,变更比例而缩小的情况下,字会变形,所以在合成PG平面的情况下,必须进行全屏显示。这样,静止图像平面控制部17在有PG平面时判断为进行全屏显示,此时,不进行来自静止图像平面的静止图像数据的读取。
(3)在上述第一实施方式中记载了,在运动图像全屏显示的情况下,本来预定在静止图像平面的读取中使用的存储器总线带宽空出来了。这空出来的存储器总线带宽当然也可以用于其它的用途。
例如,代替静止图像平面的读取,可以在对视频平面的运动图像用图像数据的写入中使用,或者在对IG平面的GUI图像的写入中使用。通过具备上述结构,再现装置能够缩短写入和读取的周期,能够尽可能地抑制电视机上的图像显示的延迟。
(4)在上述实施方式中,视频流是BD-ROM标准的AVClip,也可以是DVD-Video标准、DVD-Video Recording标准的VOB(VideoObject)。VOB是通过将视频流、音频流多路复用而得到的、基于ISO/IEC13818-1标准的程序流。而且,AVClip中的视频流可以是MPEG4或WMV方式。再者,音频流也可以是Linear-PCM方式、Dolby-AC3方式、MP3方式、MPEG-AAC方式、dts方式。
(5)上述实施方式中,基于MPEG4-AVC(称为H.264或JVT)进行了说明,但也可以是MPEG2视频流,或者,即使在其它格式(VC-1等)的图像的情况下,只要是能够单独解码的图像,就能容易地应用。
(6)在上述实施方式中,仅在视频平面是全屏时不合成静止图像平面,但这是因为,静止图像平面和视频平面通常都是以全屏大小准备的。但是,视频平面和静止图像平面也可以不都是全屏大小,只要视频平面的数据遮盖静止图像平面的全部数据,也可以具备不执行静止图像平面的合成的结构。
(7)上述实施方式中,根据视频平面、即进行运动图像的定标时成为全屏还是成为四分之一屏,控制了来自静止图像平面16的数据的输出,但是,也可以不在视频定标时进行来自静止图像平面16的数据的输出控制。
此情况下,使应用具有抑制或执行对静止图像平面控制部17的数据输出的功能。通过这样做,不仅在视频定标时,也可以在其它时刻执行来自静止图像平面16的数据的输出控制。
此外,在第二实施方式中,关于来自PG平面14的数据的输出控制,不仅在视频定标时,也可以使应用具有执行对于PG平面控制部28的输出控制的功能。通过这样做,不仅在视频定标时,在其它时刻也能够执行来自PG平面14的数据的输出控制。
(8)在上述实施方式中,以基于应用的指示的方式进行了静止图像平面16的数据的输出控制,但是,也可以使BD-ROM持有与静止图像数据的输出控制有关的标志,根据该标志进行输出控制。
(9)在上述实施方式中,在PG平面14仅存储字幕,不仅是字幕的图像数据,也可以存储与存储在视频平面中的运动图像不同的运动图像。这样做,能够例如将显示画面分割为2个区域,并分别显示不同的运动图像。
(10)本发明也可以是上述实施方式中示出的静止图像平面的静止图像数据的合成控制中表示的方法,还可以是使再现装置的计算机执行该方法所示的处理步骤的计算机程序。此外,该计算机程序也可以记录在软磁盘、硬盘、CD、M0、DVD、BD、半导体存储器等。
(11)在上述实施方式中,再现装置100由系统LSI实现,但是再现装置100的各功能也可以由多个LSI实现。
本发明涉及的再现装置,可以作为从BD-ROM读取数据、一边执行应用一边将图像显示在再现装置上的、没有显示延迟的再现装置而活用。

Claims (10)

1、一种再现装置,其特征在于,包括:
存储单元,具有用于存储运动图像的视频平面、用于存储作为GUI显示的图像即GUI图像的图形平面、用于存储背景图像的静止图像平面的存储器区域;
运动图像存储单元,在上述视频平面存储运动图像;
图形存储单元,在上述图形平面存储上述GUI图像;
背景图像存储单元,在上述静止图像平面存储上述背景图像;以及
合成输出单元,在上述运动图像是能够遮蔽上述背景图像的规定大小的情况下,不读取上述背景图像,而是读取上述运动图像和上述GUI图像,输出表示重叠合成的合成图像的图像信号,在上述运动图像不是上述规定大小的情况下,读取上述运动图像、上述GUI图像和上述背景图像,输出表示重叠合成的合成图像的图像信号。
2、如权利要求1所述的再现装置,其特征在于,
上述规定大小是指上述运动图像在显示画面中以全屏显示的大小;
上述再现装置还具有执行与上述图像有关的应用的虚拟机部;
上述合成输出单元接受上述应用对于上述视频平面的缩小指示,合成上述背景图像,在没有缩小指示的情况下,不合成上述背景图像。
3、如权利要求1所述的再现装置,其特征在于,
上述静止图像平面还用于存储与上述运动图像不同的、根据时间切换的图像;
上述再现装置还具备在上述静止图像平面存储根据上述时间切换的图像的图像存储单元;
在上述运动图像是在显示画面中以全屏显示的大小的情况下,上述合成输出单元读取存储在上述视频平面中的运动图像、存储在上述图形平面中的GUI图像和存储在上述静止图像平面中的根据时间切换的图像,输出表示重叠合成的合成图像的图像信号,在上述运动图像不是以全屏显示的大小的情况下,上述合成输出单元读取存储在上述视频平面中的运动图像、存储在上述图形平面中的GUI图像和存储在上述静止图像平面中的背景图像,输出表示重叠合成的合成图像的图像信号。
4、如权利要求1所述的再现装置,其特征在于,
上述合成输出单元及上述各存储单元共用与上述存储单元连接的存储器总线;
上述图形存储单元在判断为上述合成输出单元不进行静止图像平面的读取的情况下,将对静止图像平面的读取分配的上述存储器总线的带宽或时间,用于对图形平面的写入。
5、一种图像合成方法,其特征在于,
在具备存储单元的再现装置中合成图像,该存储单元具有用于存储运动图像的视频平面、用于存储作为GUI显示的图像即GUI图像的图形平面、用于存储背景图像的静止图像平面的存储器区域;
该图像合成方法包括:
运动图像存储步骤,在上述视频平面存储运动图像;
图形存储步骤,在上述图形平面存储上述GUI图像;
背景图像存储步骤,在上述静止图像平面存储上述背景图像;以及
合成输出步骤,在上述运动图像是能够完全遮蔽上述背景图像的规定大小的情况下,不读取上述背景图像,而是读取上述运动图像和上述GUI图像,输出表示重叠合成的合成图像的图像信号,在上述运动图像不是上述规定大小的情况下,读取上述运动图像、上述GUI图像和上述背景图像,输出表示重叠合成的合成图像的图像信号。
6、如权利要求5所述的图像合成方法,其特征在于,
在上述合成输出步骤及上述各存储步骤中,共用在读取及存储中使用的、与上述存储单元连接的存储器总线;
在上述图形存储步骤中,在判断为上述合成输出步骤不进行静止图像平面的读取的情况下,将对静止图像平面的读取分配的上述存储器总线的带宽或时间,用于对图形平面的写入。
7、一种图像合成程序,示出了用于使具备存储单元的再现装置的计算机合成图像的处理步骤,该存储单元具有用于存储运动图像的视频平面、用于存储作为GUI显示的图像即GUI图像的图形平面、用于存储背景图像的静止图像平面的存储器区域;
上述处理步骤包括:
运动图像存储步骤,在上述视频平面存储运动图像;
图形存储步骤,在上述图形平面存储上述GUI图像;
背景图像存储步骤,在上述静止图像平面存储上述背景图像;以及
合成输出步骤,在上述运动图像是能够完全遮蔽上述背景图像的规定大小的情况下,不读取上述背景图像,而是读取上述运动图像和上述GUI图像,输出表示重叠合成的合成图像的图像信号,在上述运动图像不是上述规定大小的情况下,读取上述运动图像、上述GUI图像和上述背景图像,输出表示重叠合成的合成图像的图像信号。
8、如权利要求7所述的图像合成程序,其特征在于,
在上述合成输出步骤及上述各存储步骤中,共用在读取及存储中使用的、与上述存储单元连接的存储器总线;
在上述图形存储步骤中,在判断为上述合成输出步骤不进行静止图像平面的读取的情况下,将对静止图像平面的读取分配的上述存储器总线的带宽或时间,用于对图形平面的写入。
9、一种集成电路,搭载于合成图像并输出的再现装置中,其特征在于,该集成电路包括:
存储单元,具有用于存储运动图像的视频平面、用于存储作为GUI显示的图像即GUI图像的图形平面、用于存储背景图像的静止图像平面的存储器区域;
运动图像存储单元,在上述视频平面存储运动图像;
图形存储单元,在上述图形平面存储上述GUI图像;
背景图像存储单元,在上述静止图像平面存储上述背景图像;以及
合成输出单元,在上述运动图像是能够完全遮蔽上述背景图像的规定大小的情况下,不读取上述背景图像,而是读取上述运动图像和上述GUI图像,输出表示重叠合成的合成图像的图像信号,在上述运动图像不是上述规定大小的情况下,读取上述运动图像、上述GUI图像和上述背景图像,输出表示重叠合成的合成图像的图像信号。
10、如权利要求9所述的集成电路,其特征在于,
上述合成输出单元及上述各存储单元共用与上述存储单元连接的存储器总线;
上述图形存储单元在判断为上述合成输出单元不进行静止图像平面的读取的情况下,将对静止图像平面的读取分配的上述存储器总线的带宽或时间,用于对图形平面的写入。
CNB2005800415013A 2004-12-01 2005-11-30 再现装置、图像合成方法、图像合成程序及集成电路 Expired - Fee Related CN100514441C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP349143/2004 2004-12-01
JP2004349143 2004-12-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2009101466192A Division CN101600122B (zh) 2004-12-01 2005-11-30 集成电路

Publications (2)

Publication Number Publication Date
CN101069229A true CN101069229A (zh) 2007-11-07
CN100514441C CN100514441C (zh) 2009-07-15

Family

ID=36565094

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2009101466192A Expired - Fee Related CN101600122B (zh) 2004-12-01 2005-11-30 集成电路
CNB2005800415013A Expired - Fee Related CN100514441C (zh) 2004-12-01 2005-11-30 再现装置、图像合成方法、图像合成程序及集成电路

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2009101466192A Expired - Fee Related CN101600122B (zh) 2004-12-01 2005-11-30 集成电路

Country Status (6)

Country Link
US (1) US8306386B2 (zh)
EP (1) EP1818907A4 (zh)
JP (1) JP4949853B2 (zh)
KR (1) KR101193397B1 (zh)
CN (2) CN101600122B (zh)
WO (1) WO2006059661A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007119765A1 (ja) * 2006-04-13 2007-10-25 Panasonic Corporation 記録媒体、再生装置、記録装置、システムlsi、方法、プログラム
US7712047B2 (en) * 2007-01-03 2010-05-04 Microsoft Corporation Motion desktop
KR100897849B1 (ko) 2007-09-07 2009-05-15 한국전자통신연구원 비정상 프로세스 탐지 방법 및 장치
JP5322529B2 (ja) * 2008-07-29 2013-10-23 キヤノン株式会社 表示装置、表示制御方法
WO2011007416A1 (ja) * 2009-07-14 2011-01-20 パイオニア株式会社 再生装置及び方法、並びにコンピュータプログラム
JP5544863B2 (ja) * 2009-12-17 2014-07-09 富士通株式会社 受信装置、受信方法及び受信プログラム
WO2011155099A1 (ja) * 2010-06-11 2011-12-15 三菱電機株式会社 映像表示装置
US8995534B2 (en) 2010-09-20 2015-03-31 Bevara Technologies, Llc Systems and methods for encoding and decoding
US10025787B2 (en) 2011-08-17 2018-07-17 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
US10129556B2 (en) 2014-05-16 2018-11-13 Bevara Technologies, Llc Systems and methods for accessing digital data
JP5857636B2 (ja) * 2011-11-02 2016-02-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9202522B2 (en) * 2013-05-08 2015-12-01 Adobe Systems Incorporated Method and apparatus for subtitle display
TWI530169B (zh) * 2013-08-23 2016-04-11 晨星半導體股份有限公司 處理影音資料之方法以及相關模組
WO2015176009A1 (en) 2014-05-16 2015-11-19 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
WO2017061434A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2018022370A (ja) * 2016-08-04 2018-02-08 キヤノン株式会社 アプリケーション実行装置及びその制御方法、並びにプログラム
CN106980579B (zh) 2016-09-30 2020-08-14 阿里巴巴集团控股有限公司 一种图片加载方法及装置
US10895954B2 (en) * 2017-06-02 2021-01-19 Apple Inc. Providing a graphical canvas for handwritten input
WO2019143808A1 (en) 2018-01-18 2019-07-25 Bevara Technologies, Llc Browser navigation for facilitating data access
KR20210074880A (ko) 2019-12-12 2021-06-22 삼성전자주식회사 디스플레이 장치 및 그 동작 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0421077A (ja) * 1990-05-15 1992-01-24 Oki Electric Ind Co Ltd 画像重ね合わせ装置
JPH0773287A (ja) * 1993-06-15 1995-03-17 Nec Corp 画像合成回路
JP2000010542A (ja) * 1998-06-24 2000-01-14 Canon Inc 画像表示装置と画像データの表示方法
US6636222B1 (en) * 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
US6573905B1 (en) * 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
US6538656B1 (en) * 1999-11-09 2003-03-25 Broadcom Corporation Video and graphics system with a data transport processor
WO2002089105A2 (en) * 2001-05-02 2002-11-07 Bitstream, Inc. Methods, systems, and programming for producing and displaying subpixel-optimized images and digital content including such images
JP4829443B2 (ja) * 2001-09-20 2011-12-07 キヤノン株式会社 受信装置、受信方法および記録媒体
EP1328114A1 (en) 2002-01-10 2003-07-16 Canal+ Technologies Société Anonyme Image resolution management in a receiver/decoder
JP4136383B2 (ja) * 2002-01-28 2008-08-20 キヤノン株式会社 テレビ受信装置及びその制御方法
JP2004007518A (ja) 2002-03-27 2004-01-08 Matsushita Electric Ind Co Ltd パッケージメディア、再生装置、および再生方法
US20040047588A1 (en) 2002-03-27 2004-03-11 Tomoyuki Okada Package medium, reproduction apparatus, and reproduction method
JP4011949B2 (ja) * 2002-04-01 2007-11-21 キヤノン株式会社 マルチ画面合成装置及びデジタルテレビ受信装置
JP4066714B2 (ja) * 2002-05-23 2008-03-26 ソニー株式会社 画像信号の処理装置および処理方法
JP4158462B2 (ja) 2002-09-04 2008-10-01 ソニー株式会社 画面表示処理装置及び画面表示処理方法、並びにコンピュータ・プログラム
CA2497697C (en) 2002-09-12 2013-07-09 Matsushita Electric Industrial Co., Ltd. Recording medium, playback device, program, playback method, and recording method
CN101504853B (zh) 2002-09-25 2012-10-31 松下电器产业株式会社 再现装置和记录方法
CN100466713C (zh) 2002-11-28 2009-03-04 索尼株式会社 再现装置和再现方法
JP4715094B2 (ja) * 2003-01-30 2011-07-06 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
KR101027200B1 (ko) 2003-02-21 2011-04-06 파나소닉 주식회사 기록매체, 재생장치, 기록방법 및 재생방법
CN100438606C (zh) * 2003-03-13 2008-11-26 松下电器产业株式会社 数据处理装置
JP2004334058A (ja) 2003-05-12 2004-11-25 Hitachi Ltd 表示装置および表示制御方法

Also Published As

Publication number Publication date
JP4949853B2 (ja) 2012-06-13
CN101600122A (zh) 2009-12-09
KR101193397B1 (ko) 2012-10-24
WO2006059661A1 (ja) 2006-06-08
EP1818907A4 (en) 2008-06-25
CN100514441C (zh) 2009-07-15
JPWO2006059661A1 (ja) 2008-06-05
CN101600122B (zh) 2011-10-05
EP1818907A1 (en) 2007-08-15
US20080089660A1 (en) 2008-04-17
KR20070090906A (ko) 2007-09-06
US8306386B2 (en) 2012-11-06

Similar Documents

Publication Publication Date Title
CN101069229A (zh) 再现装置、图像合成方法、图像合成程序及集成电路
CN1063863C (zh) 信息记录媒体和信息重现装置
CN1122425C (zh) 再现数据的设备和方法
CN100348033C (zh) 信息处理方法和装置、程序和记录介质
CN1193607C (zh) 信息处理设备和方法
CN1926857A (zh) 记录媒体、再现装置、程序、再现方法
CN1856079A (zh) 再现装置、再现方法、再现程序以及记录介质
CN1993760A (zh) 读取装置、程序、读取方法
CN1839627A (zh) 再现装置、记录介质,程序以及再现方法
CN1757231A (zh) 记录介质、再现装置、记录方法、程序和再现方法
CN1969549A (zh) 记录介质,再现设备,程序
CN1754225A (zh) 记录介质、再现设备、记录方法、再现方法以及计算机程序
CN1817032A (zh) 记录介质、记录方法、再现装置和方法以及计算机可读程序
CN1304533A (zh) 光盘、重放装置、重放方法和记录媒体
CN1969548A (zh) 记录介质,再现设备,程序
CN101075467A (zh) 记录/再现设备和方法、编辑设备和方法及显示方法
CN1879170A (zh) 记录介质、再现装置和方法、记录方法以及计算机可读取程序
CN1726549A (zh) 光盘、再现装置、程序、再现方法、以及记录方法
CN1930877A (zh) 记录介质、再现设备、记录方法、程序和再现方法
CN101053031A (zh) 信息存储介质、ts分组判断设备以及数据再现设备
CN1849820A (zh) 记录介质、记录方法、再现装置和方法以及计算机可读程序
CN1930876A (zh) 记录介质、再现设备、程序、再现方法
CN1879405A (zh) 记录介质、再现装置和方法、记录方法以及计算机可读取程序
CN1533572A (zh) 记录媒体
CN1867987A (zh) 再现装置、程序、再现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090715

Termination date: 20181130