CN1251461A

CN1251461A - 用于具有叠加子信息的视频的数字记录/再现方法和装置

Info

Publication number: CN1251461A
Application number: CN99122144A
Authority: CN
Inventors: 铃木一弘; 加藤元树
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-28
Filing date: 1999-09-28
Publication date: 2000-04-26
Anticipated expiration: 2019-09-28
Also published as: US6763178B1; JP2000100073A; CN1146902C; KR20000023495A; KR100653566B1

Abstract

用来记录和再现视频数据,音频数据和代表与所述视频数据的主图像相叠加的子图像如子标题的图形数据的装置,由视频和音频数据组成的主数据被压缩编码,多路复用并记录在记录介质如磁盘或光盘上。图形数据被安排在至少一个与主数据分离的文件中,并被分离地记录在记录介质上。在再现期间,图形数据文件在不同于主数据的时间从记录介质读出,并被独立地缓冲。图形数据在分离的文件中的安排和记录简化了编辑和回放操作。

Description

用于具有叠加子信息的视频的数字记录/再现方法和装置

本发明一般涉及数字视频和音频记录与再现，并且尤其涉及带有叠加子信息如子标题的压缩音频/视频的数字记录/再现。

在把代表子图像(如子标题)的图形数据与包含数字编码的动态图像视频和音频的主信息相叠加的方法中，主信息和图形数据被时分多路复用然后被记录。典型地，MPEG(运动图像专家组)编码被用来压缩主信息和图形数据。用MPEG技术，编码的数据被组织为称为“访问单元”的数据块。在每个访问单元中存储着代表该访问单元的主信息和叠加图形数据要被再现输出的时间的再现定时信息。

上面提到的传统技术的缺点在于在某些情况下其固有的低效率。例如，如果恰好子图像数据(“子信息”)需要纠错，那么后面的并且包括用于纠错的子信息的所有数据不得不被隔离开来，然后在执行纠错之后再一次被多路复用。而且，每个访问单元中再现定时信息的存储是导致在需要从用户选择的节目行进点，即并非节目的起始处开始再现(回放)所存储的视频节目时的低效率的原因。即，它必须搜索相应于所选择的行进点的再现开始时间的访问单元的位置。

考虑到上述问题，本发明的一个目的是提供一种能够对主信息和/或子信息进行纠错而使主信息和子信息不相互影响的方式。

本发明的另一个目的是方便在包含子信息的数字压缩音频/视频节目中检索再现定时信息。

本发明的一个基本目的是提供一种改善的数字视频记录/再现装置和方法。

在本发明的一个实施例中，提供一种用来记录和再现音频/视频数据和代表要与该视频数据相叠加的子图像如子标题的图形数据的装置和方法。由视频和音频数据组成的主数据被压缩编码、多路复用并被记录在记录介质如光盘和磁盘上。图形数据被安排在与主数据分离开的至少一个文件中，并且独立地记录在记录介质上。在再现期间，图形数据文件在不同于主数据的时间从记录介质读出，并被独立地缓冲。图形数据的这种在其自己的文件中进行安排和记录简化了编辑和回放操作。

优选地，图形标题文件也与主数据分离地生成和存储，并且也与包含图形数据的文件相分离。图形标题文件包含关于图形数据的信息，如图形数据的各页面要被解码和显示的显示时间，和该页面在被显示前达到暂时存储用的代码缓冲器的达到时间。另一个文件也被存储在记录介质上，该文件包括要从记录介质读出的该页面的读出时间。

下面通过示例给出的详细说明，并非对本发明进行限制，该说明联系附图将得到更好的理解，其中，同样的参考标记代表同样的元件和部分，其中：

图1是表示本发明的一个实施例的记录/再现装置的结构的方块图；

图2是表示主数据文件和图形数据文件的目录结构的表；

图3A和3B是相应于子信息的GRAPHICS_HEADER_file(图形_标题_文件)和GRAPHICS_BODY_file(图形_正文_文件)的内容的表；

图4A和4B是表示代码缓冲器的显示定时和容量的图；

图5A和5B是表示增加一页面时的GRAPHICS_HEADER_file和GRAPHICS_BODY_file；

图6A和6B表示增加一页面时代码缓冲器的显示定时和容量图和表；

图7A和7B是表示删除一页面时的GRAPHICS_HEADER_file和GRAPHICS_BODY_file；

图8A和8B是表示删除一页面时的代码缓冲器的显示定时和容量图；

图9A、9B、9C和9D是表示一页面被划分时的GRAPHICS_HEADER_file和GRAPHICS_BODY_file；

图10是表示一页面被划分时的代码缓冲器的显示定时和容量的图；

图11和12是表示根据本发明的记录/再现装置的一个实施例的操作流程图；

图13是编码器的一个实施例；及

图14是代码缓冲器分离技术。

图1是表示本发明的记录/再现装置100的实施例的方块图。后面将具体解释，由主视频和相关音频数据组成的主数据被压缩编码、多路复用并被记录在记录介质1，如光盘或磁盘。(在下面的描述中，为了图示的方便，在全文记录介质1被描述为光盘)。另外，子图像数据作为一个或多个与主数据分离的文件被记录在记录介质上，这里子图像数据代表要与主视频叠加的子图像。这种记录技术与已有技术系统相比允许更有效的回放和编辑操作，这一点从下面可以看出。记录模式

在装置100的记录模式中，要被记录在光盘1上的主视频数据和相关音频数据从外部装置输入到编码器18。外部装置可以是，例如，个人计算机、摄录一体机、电视高频头等。编码器18以压缩格式如MPEG对该数据进行压缩，然后把它输出到写入通道缓冲器19来暂时存储。在这种记录模式中，开关5连接到写入通道缓冲器19，使缓冲器19中的数据通过开关5引导(routed)到ECC电路4。ECC电路4给输入到那里的编码的数据增加纠错码。

解调/调制电路3调制从ECC电路4的输入数据，并把调制后的数据输出到光学头2。光学头2在光盘1上以时分多路复用方式写入主输入数据，其中主视频数据与音频数据多路复用。

系统控制器17控制装置100的整个记录和再现操作，控制光学头2、装载通道缓冲器6、音频解码器10、视频解码器11、图形解码器15、OSD(屏幕显示)控制器16、编码器18和写入通道缓冲器19。系统控制器17的操作可依次通过在任选的响应用户输入的个人计算机(PC)31上运行一个程序来达到可控制。系统控制器17内部包括CPU(中央处理器)21、ROM(只读存储器)22和RAM(随机访问存储器)23。CPU 21通过存储在ROM 22中的程序和数据控制系统控制器17的操作。RAM 23在记录和再现操作期间起到存储所需的数据的作用。地址检测器20检测产生电路3输出的关于光盘1的地址并将该地址输出到系统控制器17。注意装置100的不同模块，其在图中独立地表示，可集成在普通集成电路中，也可以连接到使系统控制器17与各个元件通信的公共总线。

包含用户操作键(未示出)的输入部分24允许用户通过键操作指定装置100的功能如记录或再现(回放)。接口25被构造来执行PC 31与系统控制器17之间的数据接口处理。

PC31通过接口25给系统控制器17提供子图像数据。(注意术语“子图像数据”这里也可互换地被称作“子信息”和“图形数据”。)子图像数据的一个例子是视频节目的子标题；但是，本发明也可假设其他类型的子图像数据如广告、登录标志、标题等。使用时间代码等使子图像与输入到编码器18的音频/视频数据同步。PC 31上运行的程序允许用户指定子图像什么时候和在什么地方叠加(到主图像上)。系统控制器17的CPU 21把来自PC 31的子图像数据以与主音频/视频数据相一致的格式编码。系统控制器17把编码的子图像数据安排在与主数据分离的一个或多个文件中，并且通过光学头2的合适控制来控制在光盘1上主数据和子图像数据的记录。

PC 31上运行的程序可被指定来控制装置100的记录/再现，PC 31和系统控制器17之间的数据传送操作，和/或装置100的子图像编辑操作。这个程序典型地是记录在由PC 31可读的便携式记录介质(未示出)如CD-ROM或磁盘上。另一种情况是，程序可以远程存储并通过诸如互联网或通过数字卫星等的无线系统传输媒体下载到PC 31。而且，代替使用分离的个人计算机31来执行运行控制程序、接受用户指令、存储用于编辑的子信息等任务，可通过扩展系统控制器17的功能来执行这些任务而将PC 31和接口25排除。在这种情况下，系统控制器17优选地包括用来接收上述包含控制记录和再现任务的程序的便携式记录介质的装置。

优选地，光盘1是一种能容易地被擦除和再写入的类型。用这种能力，在决定编辑操作之后，可通过检索数据(主数据和/或子信息)并接着按需要重新写入，能够对盘执行编辑操作。例如，根据这里公开的方法，可增加、删除和修改子信息的页面，然后包含所有页面的全新的文件可被再写到光盘1。如原来提到的一样，光盘1可由磁盘如HDD来取代，在这种情况下，使用磁记录/再现头。在所谓的一次性写入盘中。其不能再次写入，可用一新的盘片1来存储编辑后的子信息。可选择的是，当前盘的未用区，如果有的话，可用来存储编辑后的子信息。

编码器18的实施例图示于图13中。音频和视频输入被音频和视频编码器103和104分别独立地编码，且被各自的代码缓冲105、106独立地缓冲，并被多路复用器108时分多路复用。

注意为了特定的应用，如果音频和视频输入总是以合适的编码格式提供给装置100且总被多路复用，那么将不需要编码器18。在这种情况下，装置100可由单个输入端子来实现以接收编码和多路复用的音频/视频数据。再现模式：

为了再现记录在光盘1上的数据，光学头2扫描盘片以产生传统方式的数据信号，并且数据信号被输入到执行解调的解调/调制电路3。解调的数据被输出到对其执行误差纠正的ECC(纠错码)电路4，并把纠错后的数据输出到开关5。在再现模式中，开关5由系统控制器17控制来连接到装载通道缓冲器6。

装载通道缓冲器6暂时存储输入到那里的数据，其在任何给定时间都包括由主视频和音频数据组成的主数据，和代表要叠加到主视频上的子图像的子图像数据。主数据和子图像数据被安排和记录在光盘上的方式后面将叙述。由装载通道缓冲器6缓冲的主数据然后被加载(输出)到多路分解器7，在那里数据被多路分解以便于从主视频数据中区分开音频数据。多路分解的音频数据被输入到代码缓冲器8，并且主视频数据被输入到代码缓冲器9。注意此时音频数据和主视频数据仍旧处于编码格式，例如被压缩记录在光盘1上的格式MPEG。从代码缓冲器8输出的音频数据由音频解码器10以传统方式解码。类似地，从代码缓冲器9输出的主视频数据由视频解码器11解码然后输出到加法器12。

输入到装载通道缓冲器6的子图像数据被输出到高速缓冲存储器13来暂时存储。这个子图像数据，依旧处于编码形式，被代码缓冲器14缓冲并被接着输出到图形解码器15来解码。解码的子图像数据作为第二输入提供给加法器12。加法器12对从视频解码器11提供的主视频数据、从图像解码器15输入的数据和从OSD控制器16输入的数据进行相加。相加得到的数据作为复合视频数据被输出显示。文件安排

现在将描述在记录/再现装置100中记录和回放的记录介质1上的示例文件安排。参考图2，下面11个文件类型被记录在介质上：

VOLUME.TOC

ALBUM.STR

PROGRAM

TITLE

CHUNKGROUP

CHUNK

MPEGAV

SCRIPT

PICTURES

PBS

GRAPHICS

VOLUME.TOC和ALBUM.STR文件被放置在根目录(这里TOC＝内容表；STR＝串)。“PROGRAM_$$$.PGI”文件名(“$$$”代表节目号)被直接放置在根目录的下面的“PROGRAM”目录中。以同样的方式，“TITLE_###.VDR”文件名(“###”代表标题号)被直接放置在根目录的下面的“TITLE”目录中；一列“CHUNKGROUP_@@@.CGIT”文件(“@@@”代表大块组号)被直接放置在根目录的下面的“CHUNKGROUP”目录中；“CHUNK_％％％％.ABST”(“％％％％”代表大块号)文件列被直接放置在根目录的下面的“CHUNK”目录中。

若干子目录“Streams_&&&”(“&&&”代表流号)被直接在根目录的下面的MPEGAV目录中建立，并且“CHUNK_％％％％.MPEG2”文件列(“％％％％”代表大块号)被直接放置在“Streams_&&&”下面。

典型地，一个VOLUME.TOC文件通常在记录介质上共享。但是，大量这种VOLUME.TOC文件也可存在于特定结构的介质如RAM和ROM混合结构介质中。VOLUME.TOC文件被用来指示介质的整个特性。

ALBUM.STR文件通常作为一个文件出现在记录介质上。但是，大量ALBUM.STR文件也同样存在于特定结构的介质如RAM和ROM混合结构介质中。ALBUM.STR文件被插到多个介质中并当一个介质使用。

PROGRAM目录包含音频/视频节目文件列，每个这种节目由一个PROGRAM_$$$.PGI文件名来标识。每个节目由一个或多个列在TITLE目录中的标题组成，或者另一种情况是，由一个或多个标题的不同的切段(部分)组成。这种切段的每一个以特定顺序回放。术语标题这里称作例如压缩盘的一个光道(歌)或电视广播的一个节目。每个标题出现一个“TITLE”目录的TITLE_###.VDR文件。

每个大块组出现一个“CHUNKGROUP”的CHUNKGROUP_@@@.CGIT文件。大块组有一个数据结构来安排位流。CHUNKGROUP_@@@.CGIT文件在用户操作设备如VDR(视频盘记录机)来向介质记录数据或从介质再现数据时对于用户是透明的。

每个大块出现一个“CHUNK”的CHUNK_％％％％.ABST文件，其中大块是相应于一个流文件的信息文件。“MPEGAV”的STREAMS_％％％％.MPEG2文件是流文件并且存储了这种MPEG位流。这样，专用存储MPEG位流的STREAMS_％％％％.MPEG2文件，不同于专用于记录其它信息的其它文件。

“SCRIPT”是用来存储与脚本相关的信息的目录。包含图像如小型(thumbnail)图像(例如，TITLE_0.01.THUMB，PROGRAM_0.02.THUMB)，夹套(jacket)图像(例如TITLE_0.01.JACKET)，与动态图像分离的静态图像，和来自数字相机的图像的文件被放置在PICTURE目录中。PICTURE目录以VDR格式来建立，作为静态图像档案软件的支持工具。

“PBC”(回放控制)是用来存储与回放控制相关的信息的目录。“GRAPHICS”是用来存储图形数据文件，例如子信息文件列的目录。用于GRAPHICS_HEADER_file和GRAPHICS_BODY_file的各个语法如下：

　　GRAPHICS_HEADER_File

　　sub_stream_id                          8

　　sub_stream_number                      8

　　number_of_pages                        16

　　for(i＝0；i＜num_of_pages；i++){

　　ATS                                    32

　　PTS                                    32

　　duration                               32

　　reserve                                8

　　address_of_page                        24

　　reserve                                8

　　page_date_length                       24

　　}

　　}

　　GRAPHICS_BODY_File

　　do{

　　page()

　　}while(nextbits()＝page_start_code)

　　}

来自ATS通过GRAPHICS_HEADER_file中所示的page_date_length(达到时间标记)的信息是关于GRAPHICS_BODY_file的页面()的信息。ATS是要达到代码缓冲器14来暂时存储的页面的起始字节的时间。通过示例，90KHz的时钟频率可用于ATS来建立到达时间。PTS(显示时间标记)表示那页面的解码开始时间，代表开始解码和几乎同时显示那一页面的时间。PTS也用于90KHz的时钟频率。Page_data_lenth表示那页面的以字节为单元计算的数据大小。

“duration”字段表示用于相应页面的显示时间区间，并且可同样利用90KHz的时钟频率。换言之，相应页面的显示开始在PTS时间并且显示“duration”字段代表的整个时间长度。“address_of_page”字段是相应页面的引导(开始)字节的地址信息。GRAPHICS_BODY_file的开始被设置为0(0)。

GRPHICS_BODY_file的“page()”是GRAPHICS数据(压缩比特映射数据)的实际状态。一页面可被设定为与标准MPEG访问单元相当。当大量相应于“page()”数据的页面要被显示时，它们以显示顺序来再现。

因此，子信息的页面可通过存储信息如在GRAPHICS_HEADER_file的一批中的所有页面的再现时间和存储GRAPHICS_BODY_file的一批中的页面图形数据来叠加。用该文件安排能够容易地在编辑过程期间对页面校正。

现在转到图3，表示了GRAPHICS_BODY_file和GRAPHICS_BODYfile的例子。图4(A)表示在图3的页面装载和卸载时代码缓冲器14的数据占位变化。各个页面被显示的定时如图4(B)所示。

在图3(A)的例子中，对于页面A的ATS为10秒，PTS为13秒。因此，对于页面A，数据在第10到第13秒的时间区间中从高速缓冲存储器13装载到代码缓冲器14，从第13秒那一点开始解码/显示。显示时间(区间)被设置为3秒时间段。页面地址作为页面的指针被列出。页面A的GRAPHICS_BODY_file内的数据容量(大小)这里被列为600K比特。关于页面B和C的数据以同样的方式被列举。

在图3(B)的例子中，页面A、页面B和页面C的压缩图形数据在表中依次被列举。

带有以上述方式来构造的GRAPHICS_HEADER_file和GRAPHICS_BODY_file，代码缓冲器14的数据占位(代表当前在其中存储的数据量)在再现模式期间如图4(A)所示变化。在该例中，代码缓冲器14的大小是2M比特，从高速缓冲存储器13到代码缓冲器14的数据传输速度是200Kbps。在时间t＝10秒时代表页面A的到达时间标记(ATS)，页面A数据开始从高速缓冲存储器13向代码缓冲器14传输。页面A的600K比特数据的传输在t＝13s时完成(s代表秒)。时间t＝13s也表示页面A的显示时间标记(PTS)。这样页面A在此时从代码缓冲器14输出，从而缓冲器表现为空置，页面用图形解码器15在图4(B)所示的时间区间被解码/显示。页面按在页面A的时间区间字段所指定的被显示3秒。

接着，在t＝15s，页面B的数据开始传输；这种传输在t＝20s完成，此时页面B按所指定的被解码和显示1秒。页面C的数据传输开始于t＝22s，结束于t＝26s；然后页面C被显示4秒的时间。

在图5-10的讨论中，对于子信息的各种编辑操作都作了描述。如早先提到的，如果记录介质1是可再写入类型，写到记录介质1的子信息可被读出，暂时存储在系统控制器17的RAM 23中，并且在编辑过程之后被再次写入记录介质1。

图5和图6表示子信息的页面被插入已经存在的页面之间的编辑方法。在该例中，页面D被加入到页面B和C之间，例如，页面D的显示时间位于页面B和C的显示时间之间。图5{(A)和(B)}表示当页面D插入时GRAPHICS_HEADER_file和GRAPHICS_BODY_file各自的变化。即，在GRAPHICS_HEADER_file中，页面D的特性数据(ATS＝16，PTS＝24)被插入于页面B和C的特性数据之间，并且在GRAPHICS_BODY_file中，页面D的图形压缩数据同样被插入。注意当页面D插入时页面A的达到时间标记(ATS)从10变化到8秒，页面B的ATS从15变化到11秒。一般地，ATS时间需要足够早以保证对于任何给出的页面的所有数据在早于该页面的显示时间之前达到代码缓冲器14。为了确保满足该状态，要考虑从高速缓冲存储器13向代码缓冲器14的数据传输速度(漏失率)。

通过示例，如果漏失率(leak rate)设定为200Kbps，那考虑各页面的大小，分别设定页面A和B的ATS为8和11，保证所有数据及时达到代码缓冲器14以在其指定的PTS时间开始显示页面。

当页面D以这种方式被加入时，形成如图6(A)所示的代码缓冲器14的数据容量变化。首先，页面A数据的从高速缓冲存储器13向代码缓冲器14的传输在t＝8s开始。页面B数据的传输在t＝11s在页面A的所有数据完成向代码缓冲器14的传输后立刻开始。换言之，页面A数据的传输在页面B数据开始传输之前已经完成。页面D数据的传输在t＝16s开始；页面C数据的传输在t＝22s开始。每页面的解码和显示在那页面的相应PTS时间开始。该例的显示定时示于图6(B)。页面D在页面B和C的显示之间从第24秒显示达2秒时间段。

在包括页面删除的编辑操作中，以与刚描述的方式相似的方式执行文件的改变：但是，ATS时间不需要被重设置。例如，图7表示页面B从图5的组中删除的情况，从而GRAPHICS_HEADER_file和GRAPHICS_BODY_file按所示被重写而不带有页面B。各页面的ATS和PTS时间保持不变。页面B的删除导致代码缓冲器14的数据占位如图8(A)所示改变。因而导致的显示时间如图8(B)所示。

为便于其中在指定编辑点对各页面作改变的编辑操作，记录/再现装置100可提供大量用于图14所示的图形数据的代码缓冲器。在该例中，两个代码缓冲器14-1和14-2用来代替代码缓冲器14。每个代码缓冲器用来缓冲不同页面的图形数据，一个缓冲器用于编辑点之前的页面的图形数据，而另一个用于编辑点之后的图形数据。

联系多路的代码缓冲器如14-1和14-2的应用，包含图形数据和标题信息的文件在编辑点被分离。图9表示当用21秒的时间作为边界分离文件时被再次写入的GRAPHICS_HEADER_file和GRAPHICS_BODY_file的例子。换言之，GRAPHICS_HEADER_file被分为包含页面A和页面B信息的GRAPHICS_HEADER_file1(图9(A)和包含页面C和页面D信息的GRAPHICS_HEADER_file2(图9(C))。伴随这两个GRAPHICS_HEADER_file的生成，GRAPHICS_BODY_file被分为含有页面A和页面B的图形数据的GRAPHICS_BODY_file1(图9(B))和含有页面C和页面D的图形信息的GRAPHICS_BODY_file2(图9(D))。

当以这种方式被分别分为两个文件时，在再现模式期间，代码缓冲器14-1根据GRAPHICS_HEADER_file1提供数据并且代码缓冲器14-2根据GRAPHICS_HEADER_file2提供数据。代码缓冲器14-1和代码缓冲器14-2中数据占位的变化表示于图10中。

作为利用两个或多个刚描述的代码缓冲器的另一种情况，带有两个或多个分离区域的一个代码缓冲器被用来存储分离的文件。

因此，用上述技术存储诸如再现时间和要作为与主视频和音频数据分离的文件中的子图像而被显示的页面的图形数据的信息，方便编辑任务如页面编辑、删除和分离。编辑操作可通过仅编辑包含编辑所需的项的文件部分来执行。尤其，简化的用于子图像的编辑操作通过仅编辑GRAPHICS_HEADER_file和GRAPHICS_BODY_file来进行。通过对比，应用上述的已有技术系统，跟随操作之后，除编辑点外的多路复用的主音频/视频数据和子信息需要被隔离并被再次多路复用，一个基本上更复杂的处理。

现参考图11的流程图，将解释图1的记录/再现装置100的操作，尤其是存储在GRAPHICS_HEADER_file和GRAPHICS_BODY_file中的子信息的再现。变量“lastPTS”在步骤S1被设置为零(0)。该lastPTS变量代表已经存储在高速缓冲存储器13中的GRAPHICS_BODY_file的最后一页面的显示时间标记。当然，在再现开始，还没有页面被装载到高速缓冲存储器13；这样lastPTS开始被设置为0。

在步骤S2，GRAPHICS_HEADER_file和GRAPHICS_BODY_file从光盘1被读出并被加到高速缓冲存储器13中。该过程通过系统控制器17控制光学头2扫描盘片的适当地址来执行，反射的光能然后被解调/调制电路3解调，误差纠正由ECC电路4执行，这样检索到的文件经开关5被传送到装载通道缓冲器6并接着到高速缓冲存储器13。GRAPHICS_HEADER_file首先被装载，接着是相应于高速缓冲存储器13中剩余的容量数量的GRAPHICS_BODY_file。即，根据文件和高速存储容量的大小确定GRAPHICS_BODY_file中仅有一些页面开始被装载。

在步骤S3，确定是否GRAPHICS_BODY_file(此后简称为图形数据)中所有页面已经被装载到高速缓冲存储器13。当仅有一些图形数据被装载且高速缓冲存储器13已经充满时，在步骤S4最后被装载的图形数据的PTS被存储在lastPTS变量。当确定所有图形数据被装载时，步骤24被跳过，过程进行到步骤S5。因此在步骤S3，当所有图形数据开始被装载时，lastPTS变量的值是0(在步骤S1设定值)并保持不变。

来自光盘1的音频数据和主视频数据的装载开始于步骤S5。光学头2由系统控制器17控制来检索以图2所示的MPEGAV目录记录的光盘1的音频和视频数据。在步骤S5装载的该音频和视频数据是多路复用的数据。如原来所述，该数据的再现过程包括解调/调制电路3的数据信号解调，ECC电路4的误差纠正等，最后的解码分别由音频和视频解码器10和11执行。解码的音频数据被直接输出到音频转换器，解码的主视频应用于加法器12。

与步骤S5的主音频/视频数据的装载和再现同时，高速缓冲存储器13中存储的图形数据随后根据各个页面的ATS时间被传送到代码缓冲器14。类似地，缓冲的图形数据随后在图形解码器15中被解码，然后立刻根据各页面的PTS时间输出来叠加和显示。

使用有上述过程，在把图形数据暂时存储在高速缓冲存储器13中之后，装载来自光盘1的主音频/视频数据的能力防止了来自光盘1的主音频/视频数据的再现(回放)由于装载来自光盘1的子信息而被切断。在带有不足的搜索时间和访问速度的记录/再现装置中也能防止切断的发生。

接着参考图11中，对于在步骤S3中高速缓冲存储器S13没有足够的能力来存储所有页面的图形数据的情况下，在步骤S4中，被装载的最后一页面的PTS被设置为lastPTS变量，如早先提到的一样。当主音频/视频数据和图形数据在步骤S5被解码和再现时，在步骤S6继续对当前时间是否等于lastPTS时间进行检查。当达到了lastPTS时间时，代表存储在高速缓冲存储器13中的所有图形数据已经被输出解码，过程进行到步骤S9，此时图形数据的随后的页面被装载。即，在具有lastPTS的页面之后页面的GRAPHICS_BODY_file从光盘1被装载，过程返回步骤S3，随后的处理被重复。

在来自光盘1的主音频和视频数据装载期间，在某些情况下装载暂停(如代码缓冲器8和9充满时)，并且在该暂停时间区间，音频和视频可被切断或中断。例如，如果系统不得不在附加音频和视频数据需要被读出的时候额外地等待要从盘片读出的图形数据，那么可能发生中断。为防止这发生，设置“Breath_Point”，其代表从盘片读出附加图形数据而不是读出主音频/视频数据的可能时间。该Breath_Point例如设置在不显著的位置或非音频位置(即在视频场景的静默时间)以避免在显示时即使实际显示的视频在暂停时被注意。音频/视频数据的装载在这一点暂时被停止，GRAPHICS_BODY_file从光盘1被装载到高速缓冲存储器13。Breath_Point信息可作为一个单一的文件来安排(通过在系统控制器17或PC 31上运行程序)并被记录在如光盘1上。当装置100的再现模式开始时，文件被读出并被存储在系统控制器的RAM 23中以在再现期间使用。Breath_Point文件的结构例子如下：

　　Breath_Point(){

　　Number-of-data                         16

　　For(I＝0；I＜Number_of_data，I++)  {

　　Breaft_Point                           32

　　}

　　}

相应地，在图11的过程中，当在步骤S6确定当前时间不是lastPTS时间时，那在步骤S7将当前时间与Breath_Point时间相比。(注意在步骤S6和S7的比较被认为与主数据和子信息在步骤S5的显示同时继续执行。)如果达到Breath_Point时间，那过程进行到步骤S8。在步骤S8，如果发现last_PTS＝0，这表示所有主数据和子信息已经被显示，并且过程结束。否则，执行步骤S9，其中last_PTS的页面之后GRAPHICS_BODY_file的页面被装载，并且过程进行到步骤S3并重复随后的处理。

但在步骤S7，当确定当前时间不是Breath_Point时，过程返回步骤S5，在监测存储在高速缓冲存储器13中的图形数据的PTS同时执行主音频/视频和图形数据的解码。

这样，通过把Breath_Point信息设定为在对主信息的再现产生很小影响的音频和视频数据内的位置处的子信息装载标记(指针)，由于子信息装载而导致的主信息的省略或偏差的可能性被减少。在所有子信息在一批中被装载到高速缓冲存储器13中时不需要建立Breath_Point(用于装载)；但是，如果提供了Breath_Point，不会对主信息的再现产生影响。因此，高速缓冲存储器13的有限的容量会对主信息的再现产生负面影响。

现在参考图12，将对在执行选择回放时记录/再现装置100的操作作出解释。尤其图12表示从音频/视频节目的用户选择的行进点，即并非节目的开始点，实现记录的音频/视频数据和子信息的回放的过程。行进点被用户指定的再现开始时间Ts来定义。

在步骤S21，lastPTS变量的值被设置为0。GRAPHICS_HEADER_file在步骤S22以与前面所描述的相同的方式从光盘1被装载到高速缓冲存储器13。在步骤S23，相应于用户选择的再现开始时间Ts处的主视频的GRAPHICS_BODY_file的第一(开始)页面被确定并从光盘装载。通过确定在GRAPHICS_HEADER_file中哪个PTS紧跟时间Ts检测到开始页面。跟随在相应于开始PTS的检测到的开始页面的页面的GRAPHICS_BODY_file然后被装载到高速缓冲存储器13直到高速缓冲存储器13充满。

在步骤S24，确定是否开始页面之后的GRAPHICS_BODY_file的所有的页面已经被装载到高速缓冲存储器13中。步骤S24之后的处理与从图1中的步骤S3的处理相同，即，步骤S24到S30与步骤S4到S9相同，从而这里省略了对前者的解释。

因此，通过以上述方式在GRAPHICS_HEADER_file中存储图形数据GRAPHICS_BODY_file的再现时间等，如果再现(回放)从音频/视频节目的行进点开始，可进行与再现在开始处开始时同样的一般处理。通过一次访问在GRAPHICS_HEADER_file中为各个常规访问单元装载的信息，可达到短的访问时间(直到解码的时间)。而且，处理任务如编辑可被简化执行。

尽管本发明参考其优选实施例在上面作了描述，可以理解这些实施例只是为了示例，本领域的技术人员可在不脱离本发明的精神和范围的情况下对所揭示的实施例作修改。如，尽管上述实施例包括用来执行记录和再现操作带有更少功能的装置，如应用这里描述或与此等价的技术只执行记录或再现的装置也可提供。因此，这些和其它的改变被包括在后附权利要求所限定的发明的范围内。

Claims

1.一种用来记录视频数据，音频数据和代表与所述视频数据的主图像相叠加的子图像的图形数据的装置，所述装置包括：

用来对所述图形数据进行编码并对包含所述视频和音频数据的主数据进行编码的编码装置；

用来多路复用所述编码的视频和音频数据以提供多路复用的主数据的多路复用装置；和

用来在记录介质上记录所述多路复用的主数据和所述图形数据的记录装置，而所述图形数据被记录在与所述多路复用的主数据分离的至少一个文件中。

2.如权利要求1的装置，其中所述记录装置在所述记录介质上记录用于显示的代表所述图形数据的各个部分要被显示的时间的显示时间信息，和用于显示的代表所述图形数据的各个部分被指定在输出之前到达代码缓冲器的时间的显示时间信息。

3.如权利要求2的装置，其中所述到达时间信息和显示时间信息被记录在至少一个与所述主数据分离的文件中。

4.如权利要求2的装置，进一步包括在所述图形数据被编辑时用来改变所述到达时间信息，和用于控制所述改变的到达时间信息的记录的控制装置。

5.如权利要求1的装置，其中所述记录装置在所述记录介质上记录代表从所述记录介质读出所述图形数据的时间的读出时间信息，用于读出的所述时间相应于在从所述记录介质读出所述主数据的暂停(Pause)。

6.如权利要求5的装置，其中所述读出时间信息作为与所述主数据分离的一个文件被记录在所述记录介质上。

7.如权利要求1的装置，其中所述记录介质是光盘或磁盘的一种，并且所述记录装置包括一个光学头或磁头。

8.如权利要求1的装置，其中所述编码装置对所述图形数据和主数据以MPEG(动态图像专家组)格式进行编码。

9.一种用来从记录介质再现包括多路复用的音频和视频数据的主数据，及代表与所述视频数据的主图像相叠加的子图像的图形数据的装置，所述装置包括：

用来从所述记录介质读出所述主数据并从所述记录介质读出作为一个与所述主数据分离的文件的所述图形数据的读出装置；

用来对所述主数据多路分解为所述视频数据和音频数据的多路分解器；

用来对所述多路分解的视频和音频数据及所述图形数据进行解码的解码装置；

用来把所述解码视频数据和作为叠加图像要被输出显示的所述图形数据相加的加法装置；和

用来控制所述主数据和图形数据的读出的控制装置。

10.如权利要求9的装置，其中所述控制装置控制所述读出装置，来从所述记录介质读出代表用于显示的所述图形数据的各个部分要被显示的时间的所述图形数据的显示时间信息，和代表所述图形数据的各个部分被指定在显示之前到达代码缓冲器的时间的到达时间信息，所述控制装置响应于显示时间信息和到达时间信息控制所述主数据与所述图形数据之间的同步。

11.如权利要求10的装置，其中所述显示时间信息和所述到达时间信息被从所述记录介质作为一个与所述主数据相分离的文件读出。

12.如权利要求9的装置，其中所述控制装置包括响应于代表用于从所述记录介质读出所述图形数据的时间的读出时间信息，来控制所述读出装置的装置，所述读出时间对应于从所述记录介质读出所述主数据的暂停，所述读出时间信息从所述记录介质被检索。

13.如权利要求12的装置，其中所述读出时间信息作为一个与所述主数据相分离的文件从所述记录介质读出。

14.一种用来记录视频数据，音频数据和代表与所述视频数据的主图像相叠加的子图像的图形数据的方法，所述方法包括：

对包含所述视频和音频数据的主数据进行编码；

对所述图形数据进行编码；

多路复用所述编码的视频和音频数据以提供多路复用的主数据；和

在记录介质上记录所述图形数据和所述多路复用的主数据，而所述图形数据被记录在与所述多路复用的主数据分离的至少一个文件中。

15.如权利要求14的方法，进一步包括在所述记录介质上记录用于显示的代表所述图形数据的各个部分要被显示的时间的显示时间信息，和用于显示的代表所述图形数据的各个部分被指定在输出之前到达代码缓冲器的时间的到达时间信息。

16.如权利要求15的方法，其中所述到达时间信息和显示时间信息被作为至少一个与所述主数据分离的文件记录。

17.如权利要求15的方法，进一步包括在所述图形数据被编辑时改变所述到达时间信息，和控制所述改变的到达时间信息的记录。

18.如权利要求14的方法，进一步包括在所述记录介质上记录代表从所述记录介质读出所述图形数据的时间的读出时间信息，用于读出的所述时间相应于在从所述记录介质读出所述主数据的暂停。

19.如权利要求18的方法，其中所述读出时间信息作为与所述主数据分离的一个文件被记录在所述记录介质上。

20.一种用来从记录介质再现包括多路复用的音频和视频数据的主数据，及代表与所述视频数据的主图像相叠加的子图像的图形数据的方法，所述方法包括：

从所述记录介质读出所述主数据；

从所述记录介质读出作为一个与所述主数据分离的文件的所述图形数据；

对所述主数据多路分解为所述视频数据和音频数据；

对所述多路分解的视频和音频数据及所述图形数据进行解码；

把所述解码的视频数据与所述图形数据相加来提供要被显示的复合视频。

21.如权利要求20的方法，进一步包括：

从所述记录介质读出用于显示的代表所述图形数据的各个部分要被显示的时间的所述图形数据的显示时间信息，和代表所述图形数据的各个部分被指定在其显示之前到达代码缓冲器的时间的到达时间信息；及

响应于显示时间信息和到达时间信息控制所述主数据与所述图形数据之间的同步。

22.如权利要求21的方法，其中所述显示时间信息和所述到达时间信息从所述记录介质作为一个与所述主数据相分离的文件读出。

23.如权利要求22的方法，其中：

所述主数据和所述图形数据的读出从响应于所述主数据的节目的行进点处开始执行，所述行进点由输入再现时间Ts所限定；和

所述图形数据从所述行进点的所述读出包括首先从所述存储的显示时间信息中确定，紧跟所述再现时间Ts的开始显示时间信息，然后读出对应于所述开始显示时间的所述图形数据。

24.如权利要求20的方法，进一步包括从所述记录介质检索代表用于从所述记录介质读出所述图形数据的时间的读出时间信息，所述读出的时间对应于在从所述记录介质读出所述主数据中的暂停。

25.如权利要求24的方法，其中所述读出时间信息从所述记录介质作为与所述主数据分离的一个文件读出。

26.一种用来记录视频数据，音频数据，及代表与所述视频数据的主图像相叠加的子图像的图形数据的方法，所述方法包括：

接收由编码和时分多路复用的视频和音频数据组成的主数据；

提供所述图形数据；和

在所述记录介质上记录所述图形数据和所述多路复用的主数据，而所述图形数据被记录在与所述多路复用主数据分离的至少一个文件中。

27.如权利要求26的方法，进一步包括在所述记录介质上记录用于显示的代表所述图形数据的各个部分要被显示的时间的显示时间信息，和用于显示的代表所述图形数据的各个部分被指定在输出之前到达代码缓冲器的时间的到达时间信息。

28.一种用于存储视频数据、音频数据，及代表与所述视频数据的主图像相叠加的子图像的图形数据的记录介质，包括用来存储作为被多路复用的主数据的所述音频数据和视频数据及所述图形数据的一个数据区，而所述图形数据被存储在与所述主数据分离的至少一个文件中。

29.如权利要求28的记录介质，进一步包括存储有用于显示的代表所述图形数据的各个部分要被显示的时间的显示时间信息，和存储有用于显示的代表所述图形数据的各个部分被指定在输出之前到达代码缓冲器的时间的到达时间信息的一个区。

30.如权利要求29的记录介质，其中所述到达时间信息和显示时间信息被存储在至少一个与所述主数据分离的文件中。

31.如权利要求28的记录介质，进一步包括存储有代表从所述记录介质读出所述图形数据的时间的读出时间信息的一个区，所述用于读出的时间各自对应于从所述记录介质读出所述主数据中的暂停。

32.一种机器可读出的记录介质，存储有包含机器可执行指令的程序来执行控制记录装置记录视频数据，音频数据，及代表与所述视频数据的主图像相叠加的子图像的图形数据的方法，所述方法包括步骤：

提供所述图形数据；和

在所述记录介质记录所述图形数据和所述主数据，所述主数据在所述记录之前被编码和多路复用，并且所述图形数据被记录在与所述多路复用主数据分离的至少一个文件中。

33.如权利要求32的记录介质，其中所述记录装置接收包含被编码和多路复用的所述音频和视频数据的信号。

34.如权利要求32的记录介质，其中所述记录装置接收所述音频和视频数据作为分离的输入，并且其被构造来编码和多路复用所述音频和视频数据。

35.如权利要求32的记录介质，其中通过所述指令执行的所述方法还包括在所述记录介质上记录用于显示的代表所述图形数据的各个部分要被显示的时间的显示时间信息，和用于显示的代表所述图形数据的各个部分被指定在输出之前到达代码缓冲器的时间的到达时间信息。

36.如权利要求35的记录介质，其中所述方法还包括作为与所述主数据分离的至少一个文件记录所述到达时间信息和显示时间信息。

37.如权利要求35的记录介质，其中所述方法还包括当所述图形数据被编辑时改变所述到达时间信息，并控制所述改变的到达时间信息的记录。

38.如权利要求32的记录介质，其中所述方法还包括在所述记录介质上记录代表从所述记录介质读出所述图形数据的时间的读出时间信息，所述读出时间相应于在从所述记录介质读出所述主数据中的暂停。

39.如权利要求38的记录介质，其中所述方法还包括在所述记录介质上将所述读出时间信息作为与所述主数据分离的至少一个文件记录。

40.一种机器可读出的记录介质，存储有包含机器可执行指令的程序来执行从存储介质再现包括多路复用的音频和视频数据的主数据，及代表与所述视频数据的主图像相叠加的子图像的图形数据的方法，所述方法包括：

从所述存储介质读出所述主数据；

从所述存储介质读出作为与所述主数据分离的一个文件的所述图形数据；

对所述主数据多路分解为所述视频数据和音频数据；

对所述多路分解的视频和音频数据及所述图形数据进行解码；和

41.如权利要求40的记录介质，其中所述方法还包括：

从所述记录介质读出用于显示的代表所述图形数据的各个部分要被显示的时间的显示时间信息，和用于显示的代表所述图形数据的各个部分被指定在显示之前到达代码缓冲器的时间的到达时间信息；和

42.如权利要求41的记录介质，其中所述方法还包括从所述存储介质读出作为与所述主数据分离的一个文件的所述达到时间信息和显示时间信息。

43.如权利要求40的记录介质，其中所述方法还包括从所述存储介质检索代表用于从所述存储介质读出所述图形数据的时间的读出时间信息，所述读出时间相应于在从所述记录介质读出所述主数据中的暂停。

44.如权利要求43的记录介质，其中所述方法还包括从所述存储介质读出作为与所述主数据分离的一个文件的所述读出时间信息。

45.一种用来记录视频数据，音频数据，及代表与所述视频数据的主图像相叠加的子图像的图形数据的装置，所述装置包括：

用来控制在记录介质上记录作为被编码和多路复用的数据的所述音频和视频数据，并控制所述图形数据以与所述音频和视频数据分离的至少一个文件来被记录在所述记录介质中的一个系统控制器；和

用来在所述系统控制器的控制下在所述记录介质上记录所述音频和视频数据及所述图形数据的至少一个记录头。

46.如权利要求45的装置，还包括用来接收包含所述被编码和多路复用的音频和视频数据的信号的一个输入端。

47.如权利要求45的装置，还包括用来接收所述音频和视频数据作为一个分离的输入的第一和第二输入端，至少一个对所述音频和视频数据进行编码的编码器，及一个用于对所述编码的音频和视频数据进行多路复用的多路复用器。

48.如权利要求45的装置，其中所述至少一个记录头在所述记录介质上记录用于显示的代表所述图形数据的各个部分要被显示的时间的显示时间信息，和用于显示的代表所述图形数据的各个部分被指定在输出之前到达代码缓冲器的时间的到达时间信息。

49.如权利要求48的装置，其中所述到达时间信息和显示时间信息被记录为至少一个与所述多路复用的音频和视频数据分离的文件。