CN1717054A - 元数据的数据结构及其复制方法 - Google Patents

元数据的数据结构及其复制方法 Download PDF

Info

Publication number
CN1717054A
CN1717054A CNA2005100809093A CN200510080909A CN1717054A CN 1717054 A CN1717054 A CN 1717054A CN A2005100809093 A CNA2005100809093 A CN A2005100809093A CN 200510080909 A CN200510080909 A CN 200510080909A CN 1717054 A CN1717054 A CN 1717054A
Authority
CN
China
Prior art keywords
data
time
moving image
vclick
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100809093A
Other languages
English (en)
Other versions
CN100399830C (zh
Inventor
金子敏充
井田孝
大盛善启
三田雄志
松本信幸
山本晃司
增仓孝一
竹岛秀则
田口安则
五十川贤造
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1717054A publication Critical patent/CN1717054A/zh
Application granted granted Critical
Publication of CN100399830C publication Critical patent/CN100399830C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB

Abstract

在运动图像被编辑的情况下，必须重新建立与该运动图像相关的元数据，因此编辑处理变得复杂。然后，提供了其中元数据编辑可以容易进行的数据结构。元数据包括一个或多个访问单元的流数据结构，所述每一个访问单元是能够被单独处理的数据单元，并且访问单元中每一个包括：第一数据，其确定访问单元时间中的基准时间，以使作为用于元数据描述的时间的访问单元时间对应于作为用于运动图像的时间的运动图像时间；对象区数据，描述运动图像中的时空区；以及第二数据，包括用于指定与时空区相关的显示方法的数据和用于指定在时空区被指定时将进行的处理的数据的两者之一或者两者。基于第一数据中的基准时间使运动图像时间对应于访问单元时间，并且作为至少第二数据可以被调用的期间的有效期间被指定。

Description

元数据的数据结构及其复制方法
相关申请的交叉参考
本申请基于并要求6月28日提交的在先日本专利申请号2004-190363的优先权；在这里通过引用并入其全部内容。
技术领域
本发明涉及用于通过组合存在于客户机装置中的运动图像数据和存在于客户机装置或网络上的服务器装置中的元数据来实现运动图像超媒体，以及用于在运动图像上显示字幕或气球形圆圈的元数据的数据结构，并且涉及其复制方法。
背景技术
超媒体是在例如运动图像、静止图像、音频与文本的媒体之间定义的称为超链接的连接，并且可以进行相互地或者从一个到另一个的引用。例如，在以HTML描述的可以使用互联网浏览的主页中，排列了文本和静止图片，并且在整个文本和静止图片中都定义了链接。当链接被指定时，有关链接目的地的相关信息可以被立即显示。当有趣的表达被直接指定时，可以对相关信息进行访问，因此，操作是容易且直观的。
另一方面，在其中运动图像而非文本和静止图片为主要内容的超媒体中，定义了从出现在运动图像上的对象例如人或事到用于说明它的相关内容例如文本或静止图片的链接，当观看者指定该对象时，相关内容被显示。这时，为了定义出现在运动图像上的对象的时空区与其相关内容的链接，需要表示运动图像中对象的时空区的数据(对象区数据)。
关于对象区数据，可能使用具有二进制值或更高值的屏蔽图像系列，MPEG-4的任意形状编码，在专利文献1(JP-A-2000-285253)中说明的描述图的特征点轨迹的方法，在专利文献2(JP-A-2001-111996)中说明的方法，等等。为了实现其中运动图像为主要内容的超媒体，除了这点之外，需要描述用于在对象被指定时显示其它相关内容的操作的数据(操作信息)以及类似数据。除了运动图像之外的这些数据被称为元数据。
关于向观看者提供运动图像和元数据的方法，首先，有产生运动图像和元数据都记录在其中的记录介质(视频CD、DVD等)的方法。此外，为了提供已经被拥有为视频CD或DVD的运动图像的元数据，只有元数据可以从网络下载或者通过流传送。而且，运动图像的数据和元数据两者都可以通过网络传送。这时，期望元数据具有能够有效使用缓冲器、适于随机访问且能防止网络中数据丢失的格式。
在其中运动图像的转换频繁发生的情况中(例如，在其中准备了以多个摄像角取得的运动图像，并且观看者可以自由选择摄像角的情况中，例如DVD视频的多角视频)，元数据必须与运动图像的转换相应地以高速度转换。
此外，元数据需要具有这样的结构，其中容易根据运动图像的编辑进行编辑。即，由运动图像的编辑导致的元数据的改变可以在短时间内被处理，并且不失去与运动图像的同步是必要的。
关于与在观看者控制中的运动图像相关的、且经由网络通过流分给观看者的元数据，或者由观看者所有且被复制的元数据，期望元数据可以根据运动图像的编辑而被容易编辑。
已经使本发明用于解决上述问题。
发明内容
将参照图4描述本发明实施例的元数据的数据结构。
元数据与运动图像相关，数据结构与暂时存储在缓冲器中直到元数据被复制的元数据相关。元数据具有包括一个或多个访问单元的流数据结构，每一个访问单元是可以被单独处理的数据单元。
访问单元(图4的Vclick AU)中每一个包括如下给出的数据。
为了使作为用于元数据描述的时间的访问单元时间对应于作为用于运动图像的时间的运动图像时间，这里包括有用于确定访问单元时间中的基准时间的第一数据(例如，图4的时间标记402)，描述运动图像中时空区的对象区数据(例如，图4的对象区数据400)，以及第二数据(图4的对象属性信息403)，第二数据包括用于指定与时空区相关的显示方法的数据和用于指定在时空区被指定时将进行的处理的数据的两者之一或者两者。
然后，基于第一数据中的基准时间，使得运动图像时间对应于访问单元时间，并且可能指定有效期间作为其中至少第二数据可以被调用的期间。
此外，在其中运动图像被压缩的情况中，使与在被压缩的运动图像中可以被单独解码的帧设置(例如MPEG的GOP或者DVD视频的VOB)对应的时间部分作为访问单元的有效期间，使得与帧设置的单元中运动图像的编辑相对应的运动图像元数据的编辑被简化。
当元数据具有上述实施例的结构时，访问单元根据运动图像的编辑被删除或者增加，并且与运动图像的编辑相对应的元数据的编辑可以容易地进行。
此外，即使在其中由于运动图像的编辑而在访问单元中间出现了非必要的元数据的情况下，只通过重写第一数据和第三数据来改变有效时间，与运动图像的编辑相对应的元数据的编辑就可以容易地进行。
根据上述内容，使得访问单元的有效期间能够被指定，从而运动图像元数据的编辑可以通过访问单元的单元中的编辑并通过访问单元中无效期间的设置来实现。这样，变得可能容易地进行编辑，而不需要重新建立运动图像数据。
此外，使得运动图像的结构例如MPEG的GOP或者DVD视频的VOB与访问单元的有效期间相一致，从而可以通过访问单元的单元中的编辑来实现与GOP或VOB单元中的运动图像编辑相对应的运动图像元数据的编辑。这样，简单的编辑变为可能。
附图说明
图1A和1B是用于说明根据本发明实施例的超媒体的显示实例的视图。
图2是示出了根据本发明实施例的系统的结构实例的框图。
图3是用于说明根据本发明实施例的对象区与对象区数据之间关系的视图。
图4是用于说明根据本发明实施例的对象元数据的访问单元的数据结构实例的视图。
图5是用于说明根据本发明实施例的Vclick流的构建方法的视图。
图6是用于说明根据本发明实施例的Vclick访问表的结构实例的视图。
图7是用于说明根据本发明实施例的传输分组的结构实例的视图。
图8是用于说明根据本发明实施例的传输分组的另一个结构实例的视图。
图9是用于说明根据本发明实施例的服务器与客户机之间通信的实例的视图。
图10是用于说明根据本发明实施例的服务器与客户机之间通信的另一个实例的视图。
图11是用于说明根据本发明实施例的Vclick流报头的数据元素的实例的视图。
图12是用于说明根据本发明实施例的Vclick访问单元(AU)报头的数据元素的实例的视图。
图13是用于说明根据本发明实施例的Vclick访问单元(AU)时间标记的数据元素的实例的视图。
图14是用于说明根据本发明实施例的Vclick访问单元(AU)时间标记跳省(skip)的数据元素的实例的视图。
图15是用于说明根据本发明实施例的对象属性信息的数据元素的实例的视图。
图16是用于说明根据本发明实施例的对象属性信息种类的实例的视图。
图17是用于说明根据本发明实施例的对象的名字属性的数据元素实例的视图。
图18是用于说明根据本发明实施例的对象的行动属性的数据元素实例的视图。
图19是用于说明根据本发明实施例的对象的概评属性的数据元素实例的视图。
图20是用于说明根据本发明实施例的对象的闪烁区属性的数据元素实例的视图。
图21是用于说明根据本发明实施例的对象的镶嵌区属性的数据元素实例的视图。
图22是用于说明根据本发明实施例的对象的填充区属性的数据元素实例的视图。
图23是用于说明根据本发明实施例的对象的文本信息属性的数据元素实例的视图。
图24是用于说明根据本发明实施例的对象的文本属性的数据元素实例的视图。
图25是用于说明根据本发明实施例的对象的文本亮显效果属性的数据元素实例的视图。
图26是用于说明根据本发明实施例的对象的文本亮显效果属性项的数据元素实例的视图。
图27是用于说明根据本发明实施例的对象的文本闪烁效果属性的数据元素实例的视图。
图28是用于说明根据本发明实施例的对象的文本闪烁效果属性项的数据元素实例的视图。
图29是用于说明根据本发明实施例的对象的文本滚动效果属性的数据元素实例的视图。
图30是用于说明根据本发明实施例的对象的卡拉OK效果属性的数据元素实例的视图。
图31是用于说明根据本发明实施例的对象的卡拉OK效果属性项的数据元素实例的视图。
图32是用于说明根据本发明实施例的对象的层属性扩展的数据元素实例的视图。
图33是用于说明根据本发明实施例的对象的层属性扩展项的数据元素实例的视图。
图34是用于说明根据本发明实施例的Vclick访问单元(AU)的对象区数据的数据元素实例的视图。
图35是用于说明根据本发明实施例的增强的DVD视频盘的结构实例的视图。
图36是用于说明根据本发明实施例的增强的DVD视频盘中的目录结构实例的视图。
图37是示出了根据本发明实施例的普通复制的开始处理程序的流程图(其中，Vclick数据在服务器装置中)。
图38是示出了根据本发明实施例的普通复制的另一个开始处理程序的流程图(其中，Vclick数据在服务器装置中)。
图39是示出了根据本发明实施例的普通复制的结束处理程序的流程图(其中，Vclick数据在服务器装置中)。
图40是示出了根据本发明实施例的随机访问复制的开始处理程序的流程图(其中，Vclick数据在服务器装置中)。
图41是示出了根据本发明实施例的随机访问复制的另一个开始处理程序的流程图(其中，Vclick数据在服务器装置中)。
图42是示出了根据本发明实施例的普通复制的开始处理程序的流程图(其中，Vclick数据在客户机装置中)。
图43是示出了根据本发明实施例的随机访问复制的开始处理程序的流程图(其中，Vclick数据在客户机装置中)。
图44是示出了根据本发明实施例的超媒体的显示实例的视图。
图45是用于说明根据本发明实施例的与图12不同的Vclick访问单元(AU)的报头的数据元素实例的视图。
图46A和46B是用于说明根据本发明实施例的Vclick访问单元(AU)的无效期间的设置实例的视图。
图47是用于说明根据本发明实施例的Vclick流的编辑实例的视图。
图48是用于说明根据本发明实施例的Vclick流的编辑处理实例的视图。
图49是用于说明根据本发明实施例的Vclick访问单元(AU)与运动图像之间的相应关系的视图。
图50是用于说明根据本发明实施例的Vclick流的编辑实例的视图。
图51是用于说明元数据解码器的处理流程的实例的视图。
具体实施方式
在下文中，将参照附图描述本发明的实施例。
(1)应用概述
图1示出了通过使用该实施例的对象元数据以及运动图像实现的应用(运动图像超媒体)在屏幕上的显示实例。
图1A的标号100指运动图像的复制屏幕；101是鼠标。在运动图像的复制屏幕100上复制的运动图像数据被记录在本地运动图像数据记录介质上。标号102指出现在运动图像上的对象区。当用户移动鼠标进入对象区中并通过点击等选择对象时，指定的功能被执行。例如在图1B中，在本地磁盘和/或网络上的文档(与所点击对象相关的信息)103被显示。此外，可能进行下面的功能，例如跳到运动图像的另一个场景，复制另一个运动图像文件，改变复制模式。
对象区102的数据、在其中该区通过点击等被指定的情况中的客户机装置的操作数据等，将被统称为对象元数据或Vclick数据。Vclick数据可以与运动图像数据一起被记录在本地运动图像数据记录介质(光盘、硬盘、半导体存储器等)上，或者可以存储在网络上的服务器中并通过网络传送给客户机。
图44示出了通过使用该实施例的Vclick数据以及运动图像实现的应用(运动图像超媒体)在与图1不同的屏幕上的显示实例。
在图1中，运动图像和相关信息被显示在其上的窗口是彼此分开的，但是，在图44中，运动图像A02和相关信息A03被显示在一个窗口A01上。关于相关信息，不仅文本，而且静止图片A04和与A02不同的运动图像也可以被显示。
在下文中，将给出如何实现应用的详细描述。
(2)系统结构
图2是根据本发明实施例的流装置(能联网的磁盘播放器)的大体结构的视图。将使用图2描述各结构单元的功能。
标号200指客户机装置；201，服务器装置；221，连接服务器装置与客户机装置的网络。客户机装置200包括运动图片复制引擎203、Vclick引擎202、磁盘设备230、用户接口240、网络管理器208和磁盘设备管理器213。标号204到206指包含在运动图片复制引擎中的设备；207、209到212以及214到218，是包含在Vclick引擎中的设备；219和220，是包含在服务器装置中的设备。客户机装置200可以复制存在于磁盘设备230中的运动图像数据，并显示以标记语言例如HTML描述的文档。还可能显示存在于网络上的HTML等形式的文档。关于与记录在运动图像数据记录介质231上的运动图像数据相关的Vclick数据，有数据与运动图像数据一起被记录在运动图像数据记录介质231上的情况，也有数据被记录在服务器装置201的元数据记录介质219上的情况。在Vclick数据存在于服务器装置201中的情况下，客户机装置200可以以下面描述的方式使用Vclick数据和磁盘设备230中的运动图像数据进行复制。首先，响应于来自客户机装置200的请求，服务器装置201将包括Vclick数据的媒体数据M1通过网络221传送给客户机装置200。客户机装置200与运动图像的复制同步处理被传送的Vclick数据，并实现例如超媒体的额外功能。
运动图片复制引擎203是用于复制存在于磁盘设备230中的运动图像数据的引擎，包括设备204、205和206。标号231指运动图像数据记录介质，具体指DVD、视频CD、视频带、硬盘、半导体或存储器等。数字和/或模拟运动图像数据被记录在运动图像数据记录介质231上。也有于运动图像数据相关的元数据于运动图像数据一起被记录在运动图像数据记录介质231上的情况。标号205指用于运动图像复制控制的控制器，被构造成能够根据从Vclick引擎202的接口处理器207输出的“控制”信号来控制对来自运动图像数据记录介质231的视频/音频/子视频数据D1的复制。
具体地，在运动图像复制时，根据当事件(例如，通过用户指令的菜单调用或标题跳换)发生时从接口处理器207传送来的“控制”信号，运动图像复制控制器205可以向接口处理器207输出表示视频/音频/子视频数据D1的复制状态的“触发”信号。这时(与触发信号的输出同时，或者在这之前或之后的合适定时)，运动图像复制控制器205可以向接口处理器207输出表示性能信息(例如，播放器中设置的录音语言、子视频副标题语言、复制操作、复制位置、各种时间信息、磁盘内容等)的“状态”信号。通过这些信号的传送/接收，变得可能开始和停止运动图像数据的读出，并且可能访问运动图像数据中的期望位置。
AV解码器206具有解码记录在运动图像数据记录介质231上的视频数据、音频数据和子视频数据，以及分别输出被解码的视频数据(通过合成前述视频数据和前述子视频数据得到的)和音频数据的功能。据此，运动图片复制引擎203具有与基于现有DVD视频标准制造的普通DVD视频播放器的复制引擎相同的功能。即，图2的客户机装置200可以类似于不同DVD视频播放器复制MPEG 2程序流结构的数据，例如视频和音频，据此，变得可能复制现有的DVD视频盘(符合传统DVD视频标准的盘)(确保了与现有DVD软件的复制兼容性)。
接口处理器207进行模块之间的接口控制，所述模块例如运动图片复制引擎203、磁盘设备管理器213、网络管理器208、元数据管理器210、缓冲器管理器211、脚本解释器212、媒体解码器216(包括元数据解码器217)、布置管理器215以及AV呈现器218。此外，通过用户操作(对输入设备例如鼠标、触摸板或键盘的操作)的输入事件从用户接口240被接收，并且事件被传送到合适的模块。
接口处理器207包括用于解释Vclick访问表(在后面描述)的访问表分析器，用于解释Vclick信息文件(在后面描述)的信息文件分析器，用于记录由Vclick引擎管理的性能的性能缓冲器，Vclick引擎的系统时钟，其中在运动图片复制引擎中的运动图像时钟204被拷贝的运动图像时钟，等等。
网络管理器208具有通过网络获得到缓冲器209中的HTML等形式的文档以及例如静止图片和音频的数据，以及控制互联网连接部分222的操作的功能。当连接到网络或与网络断开的指令通过用户操作发出或者由接收来自元数据管理器210的请求的接口处理器207发出时，网络管理器208在互联网连接部分222的连接与断开之间转换。此外，当网络在服务器装置201与互联网连接部分222之间建立时，元数据例如控制数据和Vclick数据的媒体数据的传送/接收被进行。媒体数据包括Vclick数据、HTML等形式的文档、静止图片和与其相伴的运动图像数据等。
从客户机装置200传送到服务器装置201的数据包括会话配置的请求、结束的请求、元数据例如Vclick数据的传送请求以及状态信息例如正确或错误。此外，可以进行客户机装置的状态信息的传送。另一方面，从服务器装置传送到客户机装置的数据包括元数据例如Vclick数据，以及状态信息例如正确或错误。
磁盘设备管理器213具有通过网络获得到缓冲器209中的HTML等形式的文档以及例如静止图片和音频的数据的功能，以及将视频/音频/子视频数据D1传送到运动图片复制引擎203的功能。磁盘设备管理器213根据来自元数据管理器210的指令进行数据传送处理。
缓冲器209暂时存储通过网络(经由网络管理器)从服务器装置201传送来的媒体数据M1例如Vclick数据。同样，在媒体数据M2被记录在运动图像数据记录介质231上的情况中，媒体数据M2被类似地通过磁盘设备管理器存储缓冲器209中。
在媒体数据M2被记录在运动图像数据记录介质231上的情况中，在视频/音频/子视频数据D1被复制之前，媒体数据M2被预先从运动图像数据记录介质231中读出，并且可以被存储在缓冲器209中。这成为避免下面缺点的措施。即，因为媒体数据M2在运动图像数据记录介质231上的数据存储位置与视频/音频/子视频数据D1的不同，在进行普通复制的情况下，会出现寻找磁盘等情况，不能确保无缝复制。
如上陈述的，从服务器装置201下载下来的媒体数据M1例如Vclick数据与记录在运动图像数据记录介质231上的例如Vclick数据的媒体数据M2类似地也被存储在缓冲器209中，从而变得可能同时读和复制视频/音频/子视频数据D1以及媒体数据。
顺便提一下，缓冲器209的存储能力是有限的。即，可以存储在缓冲器209中的媒体数据M1和M2的数据大小是有限的。这样，非必需的数据可能通过元数据管理器210和/或缓冲器管理器211的控制(缓冲器控制)而被擦除。
元数据管理器210管理存储在缓冲器209中的元数据，并与运动图像的复制同步从接口处理器207接收合适的定时(“运动图像时钟”信号)，并将具有相关时间标记的元数据从缓冲器209传递到媒体解码器216。
顺便提一下，在具有相关时间标记的Vclick数据没有存在于缓冲器209中的情况下，到媒体解码器216的传递可能不进行。元数据管理器210进行控制以读具有特定大小的数据，所述特定大小为传送自缓冲器209的Vclick数据的大小或者从服务器装置201或磁盘设备230到缓冲器209的任意大小。关于具体的处理，元数据管理器210经由接口处理器207向网络管理器208或磁盘设备管理器213发出对具有指定大小的Vclick数据的获得请求。网络管理器208或磁盘设备管理器213将具有指定大小的Vclick数据读到缓冲器209中，并经由接口处理器207通知元数据管理器210 Vclick数据已经获得。
缓冲器管理器211管理除存储在缓冲器209中的Vclick数据之外的数据(HTML等形式的文档、静止图片和与其相伴的运动图像数据等)，与运动图像的复制同步从接口处理器207接收合适的定时(“运动图像时钟”信号)，并将除存储在缓冲器209中的Vclick数据之外的数据传送到分析器214或媒体解码器216。缓冲器管理器211可以从缓冲器209中删除已经变为非必需的数据。
分析器214对以标记语言例如HTML写的文档进行分析，将脚本传送到脚本解释器212，并将与布置相关的信息传送到布置管理器215。
脚本解释器212解释从分析器214输入的脚本，并执行它。在脚本的执行中，从接口处理器207输入的事件和性能信息可以被使用。在其中运动图像中的对象由用户指定的情况下，脚本被从元数据解码器217输入到脚本解释器212。
AV呈现器218具有控制视频/音频/文本输出的功能。具体地，根据从布置管理器215输出的“布置控制”信号，AV呈现器218控制例如视频和文本的显示位置和显示大小(除了这些之外，可以包括显示定时和显示时间)，以及音频的响度(除此之外，可以包括输出定时和输出时间)，并且根据所指定马达的种类和/或将要显示的视频的种类进行视频的象素转换。作为控制对象的视频/音频/文本输出是从运动图片复制引擎203和媒体解码器216的输出。此外，AV呈现器218具有根据从接口处理器207输出的“AV输出控制”信号，控制从运动图片复制引擎203输入的视频/音频数据与从媒体解码器输入的视频/音频/文本数据的混合和转换的功能。
布置管理器215将“布置控制”信号输出到AV呈现器218。“布置控制”信号包括与将被输出的运动图片/静止图片/文本的大小和位置相关的信息(可以包括与显示时间相关的信息例如显示开始/结束/继续)，并且是指导AV呈现器218选择其中进行显示的布置的信息。此外，关于从接口处理器207输入的输入信息，例如用户进行的点击，判断哪个对象已经被指定，并且给元数据解码器217指令用于提取对指定对象限定的操作指令，例如相关信息的显示。被提取的操作指令被传送给脚本解释器212，并被执行。
媒体解码器216(包括元数据解码器)解码运动图片/静止图片/文本数据。被解码的视频数据和文本图像数据被从媒体解码器216传送到AV呈现器218。此外，解码数据通过来自接口处理器202的“媒体控制”信号的指令被解码，并且与来自接口处理器202的“定时”信号同步被解码。
标号219指服务器装置的元数据记录介质，并且是其上存储有将被传送到客户机装置200的Vclick数据的硬盘、半导体存储器、磁带等。Vclick数据是与记录在运动图像数据记录介质231上的运动图像数据相关的元数据。Vclick数据包括后面描述的对象元数据。标号220指服务器的网络管理器，通过网络221进行到/从客户机装置200的数据的传送/接收。
(3)EDVD数据结构和IFO文件
图35是示出了在增强的DVD视频磁盘被用作运动图像数据记录介质231时的数据结构实例的视图。增强的DVD视频磁盘的DVD视频区存储具有与DVD视频标准相同数据结构的DVD视频内容(具有MPEG2程序流结构)。此外，增强的DVD视频磁盘的另一个DVD视频区存储可以丰富视频内容复制的增强的导航(此后缩写为ENAV)内容。顺便提一下，上述记录区的存在在DVD视频标准中也被接受。
这里，将描述DVD视频磁盘的基本数据结构。即，DVD视频磁盘的记录区从内圆周开始顺序包括导入区、容量空间和导出区。容量空间包括容量/文件结构信息区和DVD视频区(DVD视频带)，并且可选地还可以包括其它记录区(DVD其它带)。
容量/文件结构信息区2是分配给UDF(通用磁盘格式)桥结构的区。UDF桥格式的容量根据ISO/IEC13346部分2被识别。其中容量被识别的空间由连续扇区组成，并且从图35的容量空间的第一逻辑扇区开始。第一16个逻辑扇区被预留用于由ISO9660规定的系统使用。为了确保与传统DVD视频标准的兼容，具有这种内容的容量/文件结构信息区变为必需。
此外，称为视频管理器VMG的管理信息和称为视频标题设置VTS(VTS#1到VTS#n)的至少一个视频内容被记录在DVD视频区中。VMG是存在于DVD视频区中的所有视频标题设置VTS的管理信息，包括控制数据VMG1、VMG菜单数据VMGM_VOBS(可选)和VMG的备份数据。此外，每一个视频标题设置VTS包括VTS的控制数据VTSI、VTS菜单数据VMGM_VOBS(可选)、VTS(标题)的内容(电影等)数据VTSTT_VOBS以及VTSI的备份数据。为了确保与传统DVD视频标准的兼容，具有这种内容的DVD视频区也变为必需。
每一个标题(VTS#1到VTS#n)的复制选择菜单等由供应商(DVD视频磁盘的生产商)使用VMG预先给定。具体标题(例如VTS#1)中的复制章节选择菜单、记录内容(小区)的复制程序等由供应商使用VTSI预先给定。因此，磁盘的观看者(DVD视频播放器的用户)可以根据供应商预先准备的VMG/VTSI的菜单和VTSI中的复制控制信息(程序链信息PGCI)来欣赏磁盘1的记录内容。但是，在DVD视频标准中，观看者(用户)不能用与供应商准备的VMG/VTSI不同的方法来复制VTS的内容(电影或音乐)。
图35的增强的DVD视频磁盘被准备成下面的发明，其能够用与供应商准备的VMG/VTSI不同的方法来进行VTS内容(电影或音乐)的复制，并且能够增加和复制与供应商准备的VMG/VTSI不同的内容。该磁盘中包含的ENAV内容不能被基于DVD视频标准制造的DVD视频播放器访问(即使它被访问，内容也不能被使用)，但是，它可以被根据本发明实施例的DVD视频播放器访问，并且被复制的内容可以被使用。
ENAV内容被构造成包括数据，例如音频、静止图片、字体和文本、运动图片、动画和Vclick数据以及作为用户控制这些复制的信息的ENAV文档(其以标记/脚本语言描述)。在用于控制复制的信息中，ENAV内容(包括音频、静止图片、字体/文本、运动图片、动画和Vclick数据等)和/或DVD视频内容的复制方法(显示方法、复制程序、复制转换程序、复制对象的选择等)以标记语言或脚本语言描述。例如，作为标记语言的HTML(超文本标记语言)/XHTML(可扩展超文本标记语言)或SMIL(同步多媒体集成语言)，以及作为脚本语言的ECMA(欧洲计算机制造协会)脚本或Java脚本可以在它们被组合的时候被使用。
这里，在图35的增强的DVD视频磁盘中，因为除其它记录区的内容之外的内容遵守DVD视频标准，所以即使使用已经很普遍的DVD视频播放器，记录在DVD视频区中的视频内容也可以被复制(即，它与传统DVD视频磁盘兼容)。虽然记录在其它记录区中的ENAV内容不能被传统DVD视频播放器复制(或者不能被使用)，它可以被根据本发明实施例的DVD视频播放器复制和使用。因此，当根据本发明实施例的DVD视频播放器被使用并且ENAV内容被复制时，种类丰富的视频复制变为可能，而不是仅限于先前由供应商准备的VMG/VTSI的内容。
特别地，如图35所示，ENAV内容包括Vclick数据，并且Vclick数据被构造成包括Vclick信息文件(Vclick info)、Vclick访问表、Vclick流、Vclick信息文件备份(Vclick info备份)和Vclick访问表备份。
Vclick信息文件是表示后面提到的Vclick流被添加到DVD视频内容(例如，DVD视频内容的整个标题、整个章节或者其一部分)的哪个部分的数据。Vclick访问表对后面提到的Vclick流中每一个都存在，是用于访问Vclick流的表。Vclick流是包括对象在运动图像中的位置信息以及例如在对象被点击时的操作描述的数据的流。Vclick信息文件备份是前述Vclick信息文件的备份，并且总是具有与Vclick信息文件相同的内容。Vclick访问表备份是前述Vclick访问表的备份，并且总是具有与Vclick访问表相同的内容。在图35的实例中，Vclick数据被记录在增强的DVD视频磁盘上。但是，如前面描述的，也有Vclick数据被放在网络上的服务器装置中的情况。
图36示出了构成Vclick信息文件、Vclick访问表、Vclick流、Vclick信息文件备份和Vclick访问表备份的文件的实例。构成Vclick信息文件的文件(VCKINDEX.IFO)以XML(可扩展标记语言)描述，并且Vclick流和Vclick流将被添加到其中的DVD视频内容的位置信息(VTS号、标题号、PGC号等)被描述。Vclick访问表由一个或多个文件(VCKSTR01.IFO到VCKSTR99.IFO，或者任意文件名)构成，并且一个访问表文件对应于一个Vclick流。
Vclick流的位置信息(从文件报头开始的相对字节大小)与时间信息(相应运动图像的时间标记或与文件报头的相对时间信息)之间的关系在Vclick流文件中描述，并且与给定时间对应的复制开始位置可以被检索。
Vclick流由一个或多个文件(VCKSTR01.VCK到VCKSTR99.VCK或者任意文件名)构成，并且可以通过参照Vclick信息文件的描述与增加的DVD视频内容一起被复制。在其中存在多个属性的情况(例如，用于日语的Vclick数据和用于英语的Vclick数据等)下，还可能为每一个属性构造不同的Vclick流，即不同的文件。此外，各个属性是多元的，并且一个Vclick流即一个文件可以被构造。顺便提一下，在前者的情况(不同的属性由多个Vclick流构成)下，当其一旦被存储在复制装置(播放器)中时的缓冲器占据容量可以被减少。在后者的情况(不同的属性由一个Vclick流构成)下，当属性被转换时，因为一个文件可以保持被复制而不用转换文件，所以转换率可以很高。
这里，Vclick流与Vclick访问表的关联可以通过例如文件名进行。在前述实例中，一个Vclick访问表(VCKSTRXX.IFO，XX是01到99)被分配给一个Vclick流(VCKSTRXX.VCK，XX是01到99)，并且当使除扩展名的文件名彼此一致时，Vclick流与Vclick访问表的关联变得可以被识别。
除此之外，当Vclick流与Vclick访问表的关联以Vclick信息文件(并行描述的)描述时，Vclick流与Vclick访问表的关联变得可以被识别。
Vclick信息文件备份由VCKINDEX.BUP文件构成，并且具有与Vclick信息文件(VCKINDEX.IFO)正好相同的内容。在VCKINDEX.IFO由于某种原因(由于磁盘的刮痕、灰尘等)不能被读的情况中，VCKINDEX.BUP被读，使得可以进行期望的复制。Vclick访问表备份由VCKSTR01.BUP到VCKSTR99.BUP文件构成，并且具有与Vclick访问表(VCKSTR01.IFO到VCKSTR99.IFO)正好相同的内容。一个Vclick访问表备份(VCKSTRXX.BUP，XX是01到99)被分配给一个Vclick访问表(VCKSTRXX.IFO，XX是01到99)，并且当除扩展名之外的文件名彼此一致时，Vclick访问表与Vclick访问表备份的关联变为可以被识别。在VCKSTRXX.IFO由于某种原因(由于磁盘的刮痕、灰尘等)不能被读的情况中，VCKSTRXX.BUP被读，使得可以期望的程序。
(4)数据结构和访问表概述
Vclick流包括与出现在记录在运动图像数据记录介质231上的运动图像上的对象例如人或事的区相关的数据，以及对象在客户机装置200中的显示方法以及在对象被指定时经由客户机装置进行的操作的数据。在下文中，将Vclick数据的结构及其结构元素的概要。
首先，将描述作为与出现在运动图像上的对象例如人或事的区相关的数据的对象区数据。
图3是用于解释对象区数据的结构的视图。标号300指由一个对象画出的以三维坐标X(视频在水平方向上的坐标值)、Y(视频在竖直方向上的坐标值)和T(视频的时间)表示的轨迹。对象区被转换成时间间隔在预先确定范围(例如，从0.5秒到1.0秒，或者从2秒到5秒)内的对象区数据。在图3中，1个对象区300被转换成5个对象区数据301到305，并且这些对象区数据被存储在单独的Vclick访问单元(AU)(在后面描述)中。关于此时的转换方法，例如，可以使用MPEG-4形状编码或MPEG-7时空区域描述符。因为MPEG-4形状编码或MPEG-7时空定位符是其中数量量通过使用对象区的时间相关性被减少的系统，所以存在数据不能从中间被解码的问题，并且在数据在某个时间丢失的情况下，该时间附近的数据也不能被解码。如图3所示，长时间连续出现在运动图像上的对象区在时间方向上被分开，并且被转换成数据，从而使得随机访问很容易，并且部分数据遗失的影响可以被减小。每一个Vclick_AU只在运动图像的特定时间部分中有效。其中Vclick_AU有效的时间部分被称为Vclick_AU的有效期间(寿命)。
图4示出了在本发明实施例中使用的Vclick流中可以被单独访问的一个单元(Vclick_AU)的结构。标号400指对象区数据。如图3所示，这里，在一个对象区的某个连续时间部分中的轨迹被转换成数据。其中该对象区被描述的时间部分被称为Vclick_AU的活动期间(活动时间)。一般而言，Vclick_AU的活动期间与Vclick_AU的有效期间相同。但是，也可能使Vclick_AU的活动期间是Vclick_AU的有效期间的一部分。
标号401指Vclick_AU的报头。报头401包括用于标识Vclick_AU的ID，以及用于指定AU的数据大小的数据。标号402指时间标记，并且指Vclick_AU的有效期间开始的时间标记。一般而言，因为Vclick_AU的活动期间及其有效期间彼此相等，所以它也指示在对象区数据400中描述的对象区对应于运动图像中的哪个时间。如图3所示，因为对象区在一个时间范围上延伸，所以一般而言，对象区报头的时间被写在时间标记402中。当然，在对象区数据中描述的对象区的时间间隔以及对象区结束的时间也可以被描述。标号403指对象属性信息，并且包括例如对象名、当对象被指定时的时间的操作描述、对象显示属性等。在Vclick_AU中的数据将在后面详细描述。以时间标记顺序来顺序地排列和记录Vclick_AU是更好的，从而使得其可以从报头被处理。
图5是用于说明其中多个AU以时间标记顺序被排列并且Vclick流被产生的方法的视图。在该图中，有两个摄像角，即，摄像角1和摄像角2，假设当摄像角在客户机装置中被转换时，将被显示的运动图像也被转换。此外，假设，可选语言模式包括两种，即日语和英语，并且准备了用于各个语言的单独的Vclick数据。
在图5中，Vclick_AU 500、501和502是用于摄像角1和日语的，Vclick_AU 503是用于摄像角2和日语的。Vclick_AU 504和505是用于英语的。Vclick_AU 500到505中每一个是对应于运动图像中一个对象的数据。即，如图3和4描述的，与一个对象相关的元数据由一个或多个Vclick_AU构成(在图5中，一个矩形指一个AU)。该图中的水平轴对应于运动图像中的时间，Vclick_AU 500到505被与对象的出现时间相应地表示。
虽然每一个Vclick_AU的时间间隔符可以是任意的，如图5所图示的，但是当Vclick_AU的间隔符对于所有对象都对齐时，数据的管理变得容易。标号506指由这些Vclick_AU(500到705)构成的Vclick流。Vclick流通过以时间标记的顺序在报头部分507后排列Vclick_AU来构成。
因为有很大的可能性所选摄像角在用户观看期间被改变，所以更好的是通过在Vclick流中将Vclick_AU与不同摄像角复合来形成Vclick流。这是因为可以在客户机装置中进行高速的显示转换。例如，当Vclick数据被放在服务器装置201中时，并且当包括多个摄像角的Vclick_AU的Vclick流被原样传送到客户机装置时，因为与观看期间摄像角对应的Vclick_AU总是被发送到客户机装置，所以摄像角的转换可以被瞬时进行。当然，客户机装置200的设置信息被发送到服务器装置201，并且只有必要的Vclick_AU被从Vclick流中选择并且可以被传送。但是，在该情况下，因为必需进行与服务器的通信，所以处理变得稍慢(但是，当例如光纤的高速措施被用于通信时，处理延迟的问题就可以被解决)。
另一方面，因为例如运动图像标题、DVD视频的PGC、运动图像的高宽比以及观看区的属性具有低频变化，并且当它们被准备作为单独的Vclick流时，客户机装置的处理变得很轻，并且网络的负荷也变得很轻。在其中存在多个Vclick流的情况中，如前面描述的，通过参照Vclick信息文件，可能确定应该选择哪个Vclick流。
在其中Vclick数据存在于服务器装置201中的情况下，以及在其中运动图像从报头被复制的情况下，服务器装置201只必须将Vclick流从报头顺序传递到客户机装置。但是，在其中发生随机访问的情况下，必需从Vclick流的中间传递数据。这时，为了以高速访问Vclick流中的期望位置，变得必需提供Vclick访问表。
图6示出了Vclick访问表的实例。该表被预先准备，并且与Vclick流一起被存储。该表还可以被做成与Vclick信息文件相同的文件。标号600指时间标记的排列，运动图像的时间标记被列出。标号601指接入点的排列，并且列出了对应于运动图像时间标记的Vclick流与报头的偏移值。在其中对应于运动图像随机访问目的地的时间标记的值没有存在于Vclick访问表中的情况下，参考相近值的时间标记的接入点，并且在参照接入点附近Vclick流中的时间标记的同时搜索传送开始位置。可替换地，从Vclick访问表中搜索在运动图像随机访问目的地的时间标记之前的时间的时间标记，并且Vclick流从对应于该时间标记的接入点被传送。
Vclick访问表被存储在服务器装置中，并且被提供用于根据来自客户机的随机访问来帮助服务器装置检索将被传送的Vclick数据。但是，存储在客户机装置中的Vclick访问表被下载到客户机装置，可以使客户机装置搜索Vclick流。特别地，在其中Vclick流被立刻从服务器装置下载到客户机装置的情况下，Vclick访问表也被立刻从服务器装置下载到客户机装置。
另一方面，也有Vclick流被记录在运动图像记录介质例如DVD上并且被提供的情况。同样在该情况下，为了根据复制内容的随机访问检索将被使用的数据，客户机装置使用Vclick访问表是有效的。在该情况下，与Vclick流类似地，Vclick访问表被记录在运动图像记录介质上，并且客户机装置从运动图像记录介质将Vclick访问表读到内部主要存储器或类似装置中，并使用它。
与运动图像的随机复制一起被产生的Vclick流的随机复制由元数据解码器217处理。在图6的Vclick访问表中，时间标记“时间”是具有记录在运动图像记录介质上的运动图像的时间标记格式的时间信息。例如，当允许图像由MPEG-2压缩并被记录时，时间标记“时间”具有MPEG-2的PTS的格式。此外，在运动图像具有导航结构例如在如DVD中的标题或程序链的情况下，表示它们的参数(TTN、VTS_TTN、TT_PGCN、PTTN等)以时间标记“时间”的格式被包含。时间标记的值以升序或降序排列。例如，在PTS被用于时间标记的情况下，它们可以以时间顺序排列。此外关于包括DVD参数的时间标记，因为顺序关系可以根据DVD的自然复制顺序来定义，所以可能顺序排列时间标记。
在图6的Vclick访问表中，接入点“偏移”指示在Vclick流上的位置。例如，Vclick流是文件，那么接入点“偏移”指示文件的文件指针的值。与时间标记“时间”成对的接入点“偏移”的关系如下：
i)由“偏移”指示的位置是某个Vclick AU的报头位置。
ii)某个AU的时间标记的值不大于时间标记“时间”的值。
iii)在某个AU前一个的AU的时间标记的值确实比时间标记“时间”小。
Vclick访问表中时间标记“时间”的排列间隔可以是任意的，并且不需要是一致的。但是，考虑到获得的方便性等，可以使它们一致。
接下来，将描述服务器装置与客户机装置之间的协议。关于在Vclick数据被从服务器装置201传送到客户机装置200时所用的协议，有例如RTP(实时传输协议)。RTP与UDP/IP兼容，并且重要性被附加到实时性能中，从而有分组被丢失的可能性。当使用RTP时，Vclick流被分成传送分组(RTP分组)，并且被传送。这里，将描述Vclick流到传送分组中的存储方法的实例。
图7和8是用于说明在Vclick流的数据大小很小的情况以及其数据大小很大的情况下的传送分组构造的视图。图7的标号700指Vclick流。传送分组包括分组报头701和净负荷。分组报头701包括分组的系列号、传送时间、传送源的具体信息等。净负荷是用于存储传送数据的数据区。从Vclick_AU 700顺序提取的Vclick_AU(702)被存储在净负荷中。在下一个Vclick_AU不能被接收到净负荷中的情况下，填充数据703被插入到其余部分中。填充数据是用于调节数据大小的伪数据，并且是例如0值的附加部分。在可以使净负荷的大小等于一个或多个Vclick_AU的大小的情况下，填充数据是不必要的。
另一方面，图8示出了在一个Vclick_AU不能在净负荷中被接收到的情况下传送分组的构造方法。首先，只有可以被装到第一传送分组的净负荷中的Vclick_AU(800)的一部分(802)被存储在净负荷中。其余数据(804)被存储在第二传送分组的净负荷中，并且当净负荷的存储大小出现过剩时，其以填充数据805嵌入类似的方法应用于其中一个Vclick_AU被分成三个或更多分组的情形。
可以使用HTTP(超文本传输协议)或HTTPS作为除了RTP之外的协议。HTTP是与TCP/IP兼容的，并且在该情况下，因为丢失的数据被重新传送，所以可以进行非常可靠的数据通信。但是，在网络吞吐量很低的情况下，恐怕会发生数据延迟。因为在HTTP中数据是不丢弃的，所以没有必要考虑Vclick流如何被分成分组并被存储。
(5)在Vclick数据存在于服务器装置中的情况下的复制程序
接下来，将描述Vclick流存在于服务器装置201中的情况下的复制处理程序。
图37是表示从用户的复制开始指令到复制开始的复制开始处理程序的流程图。首先，在步骤S3700，复制开始的指令由用户输入。接口处理器207接收该输入，并向运动图像复制控制器205发出运动图像复制准备的指令。接下来，在分支处理步骤S3701，判断与服务器装置201的会话是否已经被配置。当会话还没有被配置时，处理进行到步骤S3702，当会话已经被配置时，过程进行到S3703。在步骤S3702，进行配置服务器与客户机之间会话的处理。
图9示出了在RTP被用于服务器与客户机之间的通信协议的情况下，从会话配置到会话断开的通信程序的实例。虽然有必要在会话开始时在服务器与客户机之间进行协商，但是在RTP的情况下，通常使用RTSP(实时流协议)。但是，因为RTSP的通信需要高的可靠性，所以优选的是通信由RTSP中的TCP/IP以及RTP中的UDP/IP进行。首先，为了配置会话，客户机装置(图2实例中的200)请求服务器装置(图2实例中的201)来提供与将经受流方法(RTSP的描述方法)的Vclick数据相关的信息。
这里，假设用于传递与将被复制的运动图像相应的数据的服务器地址是被客户机通过例如将地址信息记录在运动图像数据记录介质上的方法预先知道的。响应于此，服务器装置将Vclick数据的信息发送到客户机装置。具体地，例如会话的协议版本、会话所有者、会话名、连接信息、会话的时间信息、元数据名和元数据属性的信息被发送到客户机装置。关于这些的信息描述方法，例如，使用SDP(会话描述协议)。接下来，客户机装置请求服务器装置配置会话(RTSP的SETUP方法)。服务器装置准备流方法，并将会话ID返回给客户机装置。到该点的处理是在使用RTP情况下步骤S3702的处理。
在使用HTTP而非RTP情况下的通信程序被如例如图10所示进行。首先，进行在作为低于HTTP的层的TCP处的会话配置(3向握手)。这里，与前面类似，假设用于传递与将被复制的运动图像相应的数据的服务器地址是被客户机是预先知道的。之后，可以进行通过使用SDP等将客户机装置的状态(例如，制造国家、语言、各种参数的选择状态等)传送给服务器装置的处理。到该点的处理是在HTTP情况下步骤S3702的处理。
在步骤S3703，在服务器装置与客户机装置之间的会话被配置的状态下，进行请求服务器传送Vclick数据的处理。这以下面的方式进行，使得接口处理器向网络管理器208发出指令，并且网络管理器208向服务器发出请求。在RTP的情况下，网络管理器208将RTSP的PLAY方法发送给服务器，并请求Vclick数据传送。服务器装置参考迄今接收自客户机的信息以及存在于服务器装置中的Vclick信息，并指定将被传送的Vclick流。此外，服务器装置使用包含在Vclick数据传送请求中的复制开始位置的时间标记信息和存在于服务器装置中的Vclick访问表来指定Vclick流中的传送开始位置，将Vclick流分成分组，并通过RTP将它们发送给客户机装置。
另一方面，在HTTP的情况下，网络管理器208传送HTTP的GET方法，并请求Vclick数据传送。该请求可以包括运动图像复制开始位置的时间标记信息。服务器装置通过RTP时的类似方法指定将被传送的Vclick流和流中的传送开始位置，并通过HTTP将Vclick流发送到客户机装置。
接下来，在步骤S3704，进行对被从服务器发送到缓冲器209中的Vclick流进行缓冲的处理。这被进行以避免从服务器的Vclick流传送在Vclick流复制期间变得不充分，并且缓冲器变空的状态。当从元数据管理器210向接口处理器通知足够的Vclick流被存储在缓冲器中时，处理进行到步骤S3705。在步骤S3705，接口处理器将运动图像的复制开始指令发给控制器205，并指示元数据管理器210开始向元数据解码器217的Vclick流传送。
图38是用于说明于图37不同的复制开始处理程序的流程图。在图37的流程图说明的处理中，根据网络的状态以及服务器和客户机装置的处理能力，有在步骤S3704要花大量时间来进行缓冲固定量Vclick流的处理的情况。即，有从用户的复制指令到真正复制开始要经过大量时间的情况。在图38的处理程序中，当在步骤S3800用户指示复制开始时，运动图像的复制在下一个步骤S3801立即开始。即，从用户接收复制开始指令的接口处理器207立刻向控制器205发出复制开始指令。据此，在复制指令后，直到运动图像可以被观看，才会使用户等待。从下一个步骤S3802到步骤S3805的处理与图37中从步骤S3701到步骤S3704的处理相同。
在步骤S3806，与复制期间运动图像同步进行解码Vclick流的处理。即，当从元数据管理器210接收固定量的Vclick流被存储在缓冲器中的通知时，接口处理器207指导元数据管理器210开始向元数据解码器的Vclick流传送。元数据管理器210从接口处理器接收复制期间运动图像的时间标记，从存储在缓冲器中的数据中指定与时间标记相应的Vclick_AU，并将其传送给元数据解码器。
在图38的处理程序中，虽然在复制指令后，直到运动图像可以被观看才会使用户等待，但是有下面的问题，即因为Vclick的解码不是在复制开始之后立刻进行的，所以有关对象的显示不被进行，或者即使对象被点击，也不会发生任何操作。
在运动图像的复制期间，客户机装置的网络管理器208接收从服务器装置顺序发出的Vclick流，并将其存储在缓冲器209中。所存储的对象元数据在合适的定时被发送到元数据解码器217。即，元数据管理器208参照复制期间从元数据管理器210发出的运动图像的时间标记，从存储在缓冲器209中的数据中指定与时间标记相应的Vclick_AU，并将所指定的对象元数据发送到AU单元中的元数据解码器217。元数据解码器217解码所接收的数据。但是，与客户机装置当前选择的摄像角不同的摄像角的数据可以不被解码。在已知与复制期间运动图像的时间标记对应的Vclick_AU存在于元数据解码器217中的情况下，可以使对象元数据不被发送到元数据解码器。
复制期间运动图像的时间标记被从接口处理器顺序发送到元数据解码器217。元数据解码器与时间标记同步对Vclick_AU进行解码，并将必需的数据发送到AV呈现器218。例如，在对象区的显示由在Vclick_AU中描述的属性信息指导的情况下，屏蔽图像和对象区轮廓被建立，并且与复制期间运动图像的时间标记同步被发送到AV呈现器218。此外，元数据解码器比较复制期间运动图像的时间标记与Vclick_AU的有效时间，以判断出非必需的老对象元数据，并删除这些数据。
图39是用于说明复制停止处理程序的流程图。在步骤S3900，用户指示在运动图像复制期间的复制停止。接下来，在步骤S3901，进行停止运动图像复制的处理。这以这样的方式进行使得接口处理器207向控制器205发出停止指令。同时，接口处理器指示元数据管理器210停止向元数据解码器的对象元数据的传送。
步骤S3902是用于断开与服务器的会话的处理。在使用RTP的情况下，如图9所示，RTSP的TEARDOWN方法被发送到服务器。当接收TEARDOWN的消息时，服务器装置停止数据传送，结束会话，并发送确认消息到客户机装置。通过该处理，用户会话的会话ID变为无效。另一方面，在使用HTTP的情况下，如图10所示，HTTP的CLOSE方法被发送给服务器，会话被结束。
(6)Vclick数据存在于服务器装置中的情况下的随机访问程序
接下来，将描述Vclick数据存在于服务器装置201中的情况下的随机访问复制程序。
图40是示出了从用户的随机访问复制开始指令到复制开始的处理程序的流程图。首先，在步骤S4000，随机访问复制的开始指令由用户输入。关于输入方法，有用户从例如章节的可访问位置列表中进行选择的方法，用户从与运动图像的时间标记相应的滚动条中指定一个点的方法，或者运动图像的时间标记被直接输入的方法。接口处理器207接收所输入的时间标记，向运动图像复制控制器205发出运动图像复制准备的指令。在运动图像已经正被复制的情况下，复制期间运动图像的复制停止被指示，并且运动图像复制准备指令被发出。接下来，作为分支处理步骤S4001，判断与服务器装置201的会话是否已经被配置。在会话已经如例如在运动图像正被复制的情况一样被配置的情况下，进行步骤S4002的会话断开处理。当会话还没有被配置时，不进行步骤S4002的处理，并且处理进行到步骤S4003。在步骤S4003，进行配置服务器与客户机之间会话的处理。该处理与图37中的步骤S3702相同。
接下来，在步骤S4004，在服务器装置与客户机装置之间的会话被配置的状态下，复制开始位置的时间标记被指定给服务器，并且进行请求Vclick数据传送的处理。这以这样的方式进行使得接口处理器向网络管理器208发出指令，并且网络管理器208向服务器发出请求。在RTP的情况下，网络管理器208向服务器发送RTSP的PLAY方法，并请求Vclick数据传送。这时，用于指定复制开始位置的时间标记也通过使用范围描述的方法被发送到服务器。服务器装置参考迄今接收自客户机的信息以及存在于服务器装置中的Vclick信息，并指定将被传送的对象元数据流。此外，服务器装置使用包含在Vclick数据传送请求中的复制开始位置的时间标记信息以及存在于服务器装置中的Vclick访问表来指定Vclick流中的传送开始位置，将Vclick流分成分组，并通过RTP将它们发送到客户机装置。
另一方面，在HTTP的情况下，网络管理器208传送HTTP的GET方法，并请求Vclick数据传送。该请求包括运动图像复制开始位置的时间标记信息。类似于RTP，服务器装置参照用于指定将被传送的Vclick流的Vclick信息文件，并进一步使用时间标记信息和存在于服务器装置中的Vclick访问表来指定Vclick流中的传送开始位置，并通过HTTP将Vclick流发送到客户机装置。
接下来，在步骤S4005，进行对被从服务器发送到缓冲器209中的Vclick流进行缓冲的处理。这被进行以避免从服务器的Vclick流传送在Vclick流复制期间变得不充分，并且缓冲器变空的状态。当从元数据管理器210向接口处理器通知足够的Vclick流被存储在缓冲器中时，处理进行到步骤S4006。在步骤S4006，接口处理器将运动图像的复制开始指令发给控制器205，并且还向元数据管理器210发出指令以开始向元数据解码器的Vclick流传送。
图41是用于说明于图40不同的随机访问复制开始处理程序的流程图。在图40的流程图说明的处理中，根据网络的状态以及服务器和客户机装置的处理能力，有在步骤S4005要花大量时间来进行缓冲固定量Vclick流的处理的情况。即，有从用户的复制指令到真正复制开始要经过大量时间的情况。
另一方面，在图41的处理程序中，在步骤S4100，当用户指示复制开始时，运动图像的复制在步骤S4101立即开始。即，从用户接收复制开始指令的接口处理器207立刻向控制器205发出随机访问复制开始指令。据此，在复制指令后，直到运动图像可以被观看，才会使用户等待。从下一个步骤S4102到步骤S4106的处理与图40中从步骤S4001到步骤S4005的处理相同。
在步骤S4107，与复制期间运动图像同步进行解码Vclick流的处理。即，当从元数据管理器210接收固定量的Vclick流被存储在缓冲器中的通知时，接口处理器207指导元数据管理器210开始向元数据解码器的Vclick流传送。元数据管理器210从接口处理器接收复制下运动图像的时间标记，从存储在缓冲器中的数据中指定与该时间标记相应的Vclick_AU，并将其传送给元数据解码器。
在图41的处理程序中，虽然在复制指令后，直到运动图像可以被观看才会使用户等待，但是因为Vclick的解码不是在复制开始之后立刻进行的，所以有下面的问题，即有关对象的显示不被进行，或者即使对象被点击，也不会发生任何操作。
顺便提一下，因为运动图像复制期间的处理和运动图像停止处理与普通复制处理的情况下相同，所以将省略对它们的说明。
(7)Vclick流存在于客户机装置中的情况的复制程序
接下来，将描述Vclick流存在于运动图像数据记录介质231中的情况下的复制处理程序。
图42是示出了从用户的复制开始指令到复制开始的复制开始处理程序的流程图。首先，在步骤S4200，复制开始的指令由用户输入。接口处理器207接收该输入，并向运动图像复制控制器205发出运动图像复制准备的指令。接下来，在步骤S4201，进行指定将被使用的Vclick流的处理。在该处理下，接口处理器参考运动图像记录介质231上的Vclick信息文件，并指定与其复制由用户指示的运动图像相对应的Vclick流。
在步骤S4202，进行将Vclick流存储到缓冲器中的处理。为了进行该处理，接口处理器207首先指示元数据管理器210分配缓冲器。虽然将被分配的缓冲器的大小被确定为对于存储所指定的Vclick流足够的大小，但是一般而言，描述该大小的缓冲器初始化文档被记录在运动图像数据记录介质231上。在没有初始化文档的情况下，应用预先确定的大小。当缓冲器的分配结束时，接口处理器207向控制器205发出指令，以读所指定的Vclick流并将其存储在缓冲器中。
当Vclick流被存储在缓冲器中时，接下来在步骤S4203进行复制开始处理。在该处理下，接口处理器207向运动图像复制控制器205发出运动图像的复制指令，同时向元数据管理器210发出指令用于开始向元数据解码器的Vclick流传送。
在运动图像复制期间，从运动图像数据记录介质231上读的Vclick_AU被存储在缓冲器209中。所存储的Vclick流在合适的定时被发送给元数据解码器217。即，元数据管理器208参考从元数据管理器210发送来的复制期间运动图像的时间标记，从存储在缓冲器209中的数据中指定与时间标记相应的Vclick_AU，并将该指定的Vclick_AU发送给元数据解码器217。元数据解码器217解码所接收的数据。但是，用于与客户机装置当前选择的摄像角不同的摄像角的数据可以不被解码。在已知与复制期间运动图像的时间标记对应的Vclick_AU存在于元数据解码器217中的情况下，Vclick流可以不被发送到元数据解码器。
复制期间运动图像的时间标记被从接口处理器顺序发送到元数据解码器217。元数据解码器与时间标记同步对Vclick_AU进行解码，并将必需的数据发送到AV呈现器218。例如，在对象区的显示由在对象元数据的AU中描述的属性信息指导的情况下，屏蔽图像和对象区轮廓被建立，并且与复制期间运动图像的时间标记同步被发送到AV呈现器218。此外，元数据解码器比较复制期间运动图像的时间标记与Vclick_AU的有效时间，判断出非必需的老Vclick_AU，并删除这些数据。
当在运动图像复制期间由用户指示复制停止时，接口处理器207向控制器205发出运动图像复制停止指令以及Vclick流读出停止指令。通过这些指令，运动图像的复制结束。
(8)Vclick数据存在于客户机装置中的情况下的随机访问程序
接下来，将描述Vclick流在运动图像数据记录介质231上的情况下的随机访问复制处理程序。
图43是示出了从用户的随机访问复制开始指令到复制开始的处理程序的流程图。首先，在步骤S4300，随机访问复制开始的指令由用户输入。关于输入方法，有用户从例如章节的可访问位置列表中进行选择的方法，用户从与运动图像的时间标记相应的滚动条中指定一个点的方法，或者运动图像的时间标记被直接输入的方法。接口处理器207接收所输入的时间标记，并向运动图像复制控制器205发出运动图像随机访问复制准备的指令。
接下来，在步骤S4301，进行指定将被使用的Vclick流的处理。在该处理下，接口处理器参考运动图像记录介质231上的Vclick信息文件，并指定与其复制由用户指示的运动图像相对应的Vclick流。此外，接口处理器参考运动图像数据记录介质231上的Vclick访问表或者读到存储器上的Vclick访问表，并指定Vclick流中与运动图像随机访问目的地相应的Vclick流的接入点。
步骤S4302是分支处理，判断所指定的Vclick流当前是否在缓冲器209中被读。在它在缓冲器中没有被读的情况下，在进行步骤S4303的处理之后，过程进行到步骤S4304。在它当前在缓冲器中被读的情况下，不进行步骤S4303的处理，过程进行到步骤S4304。在步骤S4304，开始运动图像的随机访问复制，并且开始Vclick流的解码。在该处理下，接口处理器207向运动图像复制控制器205发出运动图像的随机访问复制指令，同时向元数据管理器210发出指令用于开始向元数据解码器的Vclick流传送。之后，Vclick的解码处理与运动图像的复制同步进行。因为运动图像复制期间的处理和运动图像复制停止处理与普通复制处理的情况相同，所以将省略对它们的说明。
(9)从点击到相关信息显示的程序
接下来，将描述在用户使用例如鼠标的指示设备来点击对象区的情况下客户机装置的操作。当用户点击时，运动图像上被点击的坐标位置被输入到接口处理器207中。接口处理器将点击时的时间标记和运动图像坐标发送给元数据解码器217。根据时间标记和坐标，元数据解码器进行处理以标识由用户指示的对象。
元数据解码器与运动图像的复制同步解码Vclick流。因此，因为时间标记的对象区在点击时被产生，所以该处理可以容易进行。在多个对象区存在于所点击坐标处的情况下，参考包含在Vclick_AU中的层信息，并标识最前面的对象。
当由用户指定的对象被标识时，元数据解码器217将对象属性信息403中描述的行动描述(用于指示操作的脚本)发送给脚本解释器212。已经接收了行动描述的脚本解释器解释操作内容并执行它。例如，所指定的HTML文件被显示，或者所指定的运动图像的复制被开始。HTML文件和运动图像数据可以被记录在客户机装置200中，或者可以通过网络从服务器装置201被发送，或者可以存在于网络上的另一个服务器中。
(10)数据结构的细节
接下来，将描述数据结构的更具体的结构实例。如图5所示，Vclick流506包括Vclick的报头和多个Vclick AU。图11示出了Vclick流的报头的数据结构的实例。数据元素中每一个的含义如下：
“vclick_版本”指Vclick流的报头的开始，并指定格式的版本；以及
“vclick_长度”指Vclick流中“Vclick_长度”之后的一部分的数据长度，单位为字节。
接下来，将描述Vclick AU的详细数据结构。Vclick AU的大致数据结构如图4所描述。
图12示出了Vclick AU的报头401的数据结构的实例。数据元素中每一个的含义如下：
“vau_start_code”指Vclick_AU中每一个的开始；
“vau_长度”指Vclick_AU报头中“vau_长度”之后的一部分的数据长度，单位为字节；
“vau_id”指Vclick_AU的身份ID，并且由表示客户机装置状态的参数和该ID判断Vclick_AU是否应该被解码；
“对象_id”指Vclick数据中描述的对象的身份号，并且在两个Vclick_AU中使用相同值的“对象_id”的情况下，两者基于语义都指用于相同对象的数据；
“对象_subid”指对象的语义连续性，并且在其中两个Vclick_AU中的“对象_id”和“对象_subid”都相同的情况下，意味着两者是连续(出现在相同景象上且一致)的对象；
“continue_flag”指标记(在第一位是“1”的情况下，它表示在Vclick_AU中描述的对象区与在具有相同对象_id的前一个Vclick_AU中描述的对象区是连续的。在不是这样的情况下，该标记变为“0”。类似地，第二位指在Vclick_AU中描述的对象区与在下一个Vclick_AU中描述的且具有相同“对象_id”的对象区的连续性。)；以及
“层”指对象的层值。当层值较大(或较小)时，意味着对象被定位在屏幕前面。在多个对象存在于所点击位置的情况下，判定具有最大(或最小)层值的对象被点击。
图13示出了Vclick_AU的时间标记402的数据结构的实例。在该实例中，假设DVD被用作运动图像数据记录介质204。通过使用随后的时间标记，变得可能指定DVD上运动图像的任意时间，并且可以实现运动图像与Vclick数据的同步。数据元素中每一个的含义如下：
“时间_类型”指用于DVD的时间标记的开始；
“VTSN”指DVD视频的VTS(视频标题组)号；
“TTN”指DVD视频标题域中的标题号，并且对应于存储在DVD播放器的系统参数SPRM(4)中的值；
“VTS_TTN”指DVD视频的标题域中的VTS标题号，并且对应于存储在DVD播放器的系统参数SPRM(5)中的值；
“TT_PGCN”指DVD视频的标题域中的标题PGC(程序链)号，并且对应于存储在DVD播放器的系统参数SPRM(6)中的值；
“PTTN”指DVD视频的部分标题(Part_of_Title)号，并且对应于存储在DVD播放器的系统参数SPRM(7)中的值；
“CN”指DVD视频的小区号；
“AGLN”指DVD视频的角度号；以及
“PTS[s...e]”指在DVD视频的显示时间标记中从第s位到第e位的数据。
图14示出了Vclick_AU的时间标记跳省的数据结构的实例。在时间标记跳省而非时间标记在Vclick_AU中被描述的情况下，意味着Vclick_AU的时间标记与刚好前面的Vclick_AU的时间标记相同。每一个数据元素的含义如下：
“时间_类型”指时间标记跳省的开始。
图15示出了Vclick_AU的对象属性信息403的数据结构实例。数据元素中每一个的含义如下：
“属性_长度”指对象属性信息中“属性_长度”之后的一部分的数据长度，单位为字节；以及
“数据_字节”指对象属性信息的数据部分。在图16中示出的一个或多个属性数据在该部分中被描述。可以在相对于每个属性的一个Vclick_AU中描述的最多数量的数据实例在图16的“最大值”栏中说明。数据元素“属性_id”指包含在每一个属性数据中的ID，并且指用于区分属性种类的数据。“名字”属性表示用于指定对象名字的信息。在“行动”属性中，描述了当运动图像中的对象区被点击时应该进行什么行动。“轮廓”属性表示如何显示对象轮廓的属性。“闪烁区”属性指定当对象区被闪动和显示时的闪烁颜色。在“镶嵌区”属性中，描述了在对象区被镶嵌并显示时形成镶嵌的方式。“填充区”属性指定当对象区被着色并显示时的颜色。
属于“文本”目录的属性定义了当期望人物被显示在运动图像上时与将被显示的人物有关的属性。将被显示的文本在“文本信息”中描述。“文本属性”指定将被显示文本的颜色、字体等的属性。“亮显效果”属性指定当文本的一部分或全部被亮显显示时，什么人物将以什么方式被亮显显示。“闪烁效果”属性指定当文本的一部分或全部被闪烁显示时，什么人物将以什么方式被闪烁显示。在“滚动效果”属性中，描述了当将被显示的文本被滚动时所进行滚动的方向和速度。在“卡拉OK效果”属性中，指定了当文本颜色被顺序改变时，哪个人物的颜色应该在何时被改变。最后，“层扩展”属性被用于定义层值以及其在对象的层值在Vclick_AU中被改变的情况下的值的改变定时。下面将分别描述上述属性的数据结构。
图17示出了对象的名字数学的数据结构实例。数据元素中每一个的含义如下：
“属性_id”指属性数据类型，并且使该值相对于名字属性为00h；
“数据_长度”指名字属性数据的“数据_长度”之后的数据长度，单位为字节；
“语言”指用于后面元素描述(名字和注释)的语言，并且SIO-639“用于代表语言名字的码”被用于指定语言；
“名字_长度”指“名字”元素的数据长度，单位为字节；
“名字”指字符串，并且表示在该Vclick_AU中描述的对象的名字；
“注释_长度”指“注释”元素的数据长度；以及
“注释”指字符串，并且表示与在Vclick_AU中描述的对象相关的注释。
图18示出了对象行动数学的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性数据的类型，并且使该值相对于“行动”属性为01h；
“数据_长度”指行动属性数据中“数据_长度”之后的一部分的数据长度，单位为字节；
“脚本_语言”指在“脚本”元素中描述的脚本语言的种类；
“脚本_长度”指字节单元的“脚本”元素的数据长度；以及
“脚本”指字符串，以及在由用户指定的在Vclick_AU中描述的对象被以由“脚本_语言”指定的脚本语言描述的情况下将被执行的行动。
图19示出了对象轮廓属性的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性的类型，并且使该值相对于轮廓属性为02h；
“数据_长度”指轮廓属性数据中“数据_长度”之后的一部分的数据长度，单位为字节；
“颜色_r”、“颜色_g”、“颜色_b”和“颜色_a”指在对象元数据AU中描述的对象轮廓的显示颜色；
“颜色_r”、“颜色_g”和“颜色_b”分别指颜色的RGB表示中红色、绿色和蓝色的值，“颜色_a”指透明度；
“线_类型”指在Vclick_AU中描述的对象轮廓的种类(实线、虚线等)；以及
“厚度”指在Vclick_AU中描述的对象轮廓的厚度。
图20示出了对象的闪烁区属性的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性数据的类型，并且使该值相对于闪烁区属性数据为03h；
“数据_长度”指闪烁区属性数据中“数据_长度”之后的一部分的数据长度，单位为字节；
“颜色_r”、“颜色_g”、“颜色_b”和“颜色_a”指在Vclick_AU中描述的对象区的显示颜色(“颜色_r”、“颜色_g”和“颜色_b”分别指颜色的RGB表示中红色、绿色和蓝色的值。另一方面，“颜色_a”指透明度。对象区的闪烁是通过交替显示在填充区属性中指定的颜色和由该属性指定的颜色而实现的)；以及
“间隔”指闪烁的时间间隔。
图21示出了对象的镶嵌区属性的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性数据的类型，并且使该值相对于镶嵌区属性数据为04h；
“数据_长度”指闪烁区属性数据中“数据_长度”之后的一部分的数据长度，单位为字节；
“镶嵌_大小”指象素单位的镶嵌块的大小；以及
“随机性”指在镶嵌块的位置被交换的情况下的随机交换度。
图22示出了对象的镶嵌区属性的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性数据的类型，并且使该值相对于填充区属性数据为05h；
“数据_长度”指填充区属性数据中“数据_长度”之后的一部分的数据长度，单位为字节；以及
“颜色_r”、“颜色_g”、“颜色_b”和“颜色_a”指在Vclick_AU中描述的对象区的显示颜色，并且“颜色_r”、“颜色_g”和“颜色_b”分别指颜色的RGB表示中红色、绿色和蓝色的值，另一方面，“颜色_a”指透明度。
图23示出了对象的文本信息的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性数据的类型，并且使该值相对于对象的文本信息为06h；
“数据_长度”指对象的文本信息中“数据_长度”之后的一部分的数据长度，单位为字节；
“语言”指所描述文本的语言，并且关于语言的指示方法，例如可以使用ISO-639“用于语言名字表示的代码”；
“字符_代码”指文本的代码种类，并且例如UTF-8、UTF-16、ASCII或Shift JIS被指定；
“方向”指作为字符被排列的方向的向左方向、向右方向、向下方向或向上方向(例如，在英语或法语中，字符通常以向左方向排列。另一方面，在阿拉伯语中，字符以向右方向排列，在日语中，它们在向左方向或向下方向上排列。但是，可以指定除对每一种语言确定的排列方向之外的方向。此外，可以指定倾斜方向。)：
“文本_长度”指“时间_文本”的长度，单位为字节；以及
“文本”指字符串，并且指使用由“字符_代码”指定的字符代码描述的文本。
图24示出了对象的文本属性的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性数据的类型，并且使该值相对于对象的文本属性为07h；
“数据_长度”指对象的文本属性中“数据_长度”之后的一部分的数据长度，单位为字节；
“字体_长度”指字节单位的字体的描述长度；
“字体”指字符串，并且指定在文本被显示时使用的字体；以及
“颜色_r”、“颜色_g”、“颜色_b”和“颜色_a”指在文本被显示时使用的显示颜色。颜色由RGB表示，“颜色_r”、“颜色_g”和“颜色_b”分别指红色、绿色和蓝色的值，“颜色_a”指透明度。
图25示出了对象的文本亮显效果属性的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性数据的类型，并且使该值相对于对象的文本亮显效果属性数据为08h；
“数据_长度”指对象的文本亮显效果属性数据中“数据_长度”之后的一部分的数据长度，单位为字节；
“项”指文本亮显效果属性数据中“亮显_效果_项”的数目；以及
“亮显_项”包括“亮显_效果_项”的“项”号。
接下来将描述“亮显_效果_项”的详细内容。
图26示出了对象的文本亮显效果属性的项的数据结构的实例。数据元素中每一个的含义如下：
“开始_位置”指由从报头到字符的字符数表示的将被加重的字符的开始位置；
“结束_位置”指由从报头到字符的字符数表示的将被加重的字符的结束位置；以及
“颜色_r”、“颜色_g”、“颜色_b”和“颜色_a”指在加重之后字符的显示颜色。颜色由RGB表示。此外，“颜色_r”、“颜色_g”和“颜色_b”分别指红色、绿色和蓝色的值，“颜色_a”指透明度。
图27示出了对象的文本闪烁效果属性的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性数据的类型，并且使该值相对于对象的闪烁效果属性为09h；
“数据_长度”指文本闪烁效果属性数据中“数据_长度”之后的一部分的数据长度，单位为字节；
“项”指文本闪烁效果属性数据中“闪烁_效果_项”的数目；以及
“闪烁_项”包括“闪烁_效果_项”的“项”号。
下面将描述“闪烁_效果_项”的具体内容。
图28示出了对象的文本闪烁效果属性的数据结构的实例。数据元素中每一个的含义如下：
“开始_位置”指由从报头到字符的字符数表示的将被闪烁的字符的开始位置；
“结束_位置”指由从报头到字符的字符数表示的将被闪烁的字符的结束位置；
“颜色_r”、“颜色_g”、“颜色_b”和“颜色_a”指闪烁字符的显示颜色(以RGB表示的颜色。此外，“颜色_r”、“颜色_g”和“颜色_b”分别指红色、绿色和蓝色的值，“颜色_a”指透明度。这里指定的颜色和由文本属性指定的颜色被交替显示，从而使字符闪烁。)；以及
“间隔”指闪烁的时间间隔。
图29示出了对象的文本滚动效果属性项的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性数据的类型，并且使该值相对于对象的文本滚动效果属性数据为0ah；
“数据_长度”指文本滚动效果属性数据中“数据_长度”之后的一部分的数据长度，单位为字节；
“方向”指字符被滚动的方向，例如，0指从右到左的方向，1指从左到右的方向，2指从上到下的方向，3指从下到上的方向；以及
“延迟”指由将被显示的第一字符的显示与最后字符的显示之间的时间差表示的滚动速度。
图30示出了对象的文本卡拉OK效果属性项的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性数据的类型，并且使该值相对于对象的文本卡拉OK效果属性数据为0bh；
“数据_长度”指文本卡拉OK效果属性数据中“数据_长度”之后的一部分的数据长度，单位为字节；
“开始_时间”指由包含在属性数据的“数据_字节”中的第一“卡拉OK_效果_项”指定的字符串字符的颜色改变的开始时间；
“项”指示在文本卡拉OK效果属性数据中“卡拉OK_效果_项”的数目；以及
“卡拉OK_项”包括“卡拉OK_效果_项”的“项”号。
接下来将描述“卡拉OK_效果_项”的详细内容。
图31示出了对象的文本卡拉OK效果属性项(卡拉OK_效果_项”)的数据结构的实例。数据元素中每一个的含义如下：
“结束_时间”指由该项指定的字符串的字符颜色改变结束的时间，并且在该项之后存在项的情况下，它还指由下一个项指定的字符串的字符颜色变化的开始时间；
“开始_位置”指由从报头到字符的字符数表示的、其中字符颜色将被改变的字符串的第一字符的位置；
“结束_位置”指由从报头到字符的字符数表示的、其中字符颜色将被改变的字符串的最后字符的位置。
图32示出了对象的层属性扩展的数据结构的实例。数据元素中每一个的含义如下：
“属性_id”指属性数据的类型，并且使该值相对于对象的层属性扩展数据为0ch；
“数据_长度”指层属性扩展数据中“数据_长度”之后的一部分的数据长度，单位为字节；
“开始_时间”指当由包含在属性数据的“数据_字节”中的第一“层_扩展_项”指定的层值变为有效的开始时间；
“项”指包含在层属性扩展数据中的“层_扩展_项”的数目；以及
“层_项”包括“层_扩展_项”的“项”号。
接下来将描述“层_扩展_项”的详细内容。
图33示出了对象的层属性扩展项(层_扩展_项)的数据结构的实例。数据元素中每一个的含义如下：
“结束_时间”指由“层_扩展_项”指定的层值变为无效的时间，并且在该项之后存在项的情况下，它同时还指由下一个项指定的层值变为有效的时间；以及
“层”指对象的层值。
图34示出了对象元数据的AU的对象区数据400的数据结构的实例。数据元素中每一个的含义如下：
“vcr_start_code”指对象区数据的开始；
“数据_长度”指对象区数据中“数据_长度”之后的一部分的数据长度，单位为字节；
“数据_字节”指其中对象区被描述的数据部分。例如，可以使用MPEG-7的“SpatioTemporalLocator”二进制格式来描述对象区。
(11)Vclick AU单元中的编辑
在对其中Vclick数据例如Vclick流被建立的运动图像进行编辑的情况下，Vclick数据也必须被改变。在下文中，在其中运动图像中的部分景象被删除或连接的情况下，将描述Vclick数据的改变。
(11-1)数据结构
首先，将描述用于使得能够编辑Vclick流的简单数据结构。
图45示出了与图12不同的Vclick访问单元的报头的数据结构。与图12的不同在于新增加了无效_标记和时间_偏移。无效_标记和时间_偏移形成一对，并指定Vclick AU中的无效期间。无效_标记指用于指定Vclick AU中无效期间存在的标记，而时间_偏移指从Vclick_AU的开始时间的时间偏移值。将参照图46A和46B描述该状态。
图46A和46B是用于说明访问单元中的描述与运动图像的时间轴之间相应关系的视图。通过使用图46A和46B，首先，有效期间、无效期间和活动期间将被清楚限定。
首先，用于运动图像的时间将被称为运动图像时间。虽然最一般的是使用其中运动图像的开始时间为0的时间轴，但是也有使除0之外的时间为运动图像开始时间的情况，或者其中照相时间被用作运动图像时间的情况。
接下来，用于Vclick AU的描述的时间将被称为访问单元时间。图46A示出了其中使访问单元时间的原点(时间0)为由Vclick AU的时间标记402指定的运动图像时间的时间T的实例。对象区数据400在访问单元时间中描述。即，在图46A的情况下，在运动图像时间中的时间T+t时的对象区被描述为在Vclick AU中的时间t时的对象区。如上所述，与访问单元时间原点相应的运动图像时间上的时间由Vclick AU的时间标记402指定，从而定义两个时间轴的相关性。
Vclick AU的“有效期间”是其中Vclick AU的访问单元时间和运动图像时间被使得彼此对应、且对象属性信息403和对象区数据400可以被调用的期间。如前面描述的，Vclick AU的有效期间从由VclickAU的时间标记指定的时间T到由文本Vclick AU的时间标记指定的时间T’(但是，当下一个Vclick AU的时间标记为T时，后面的VclickAU被检索直到时间标记不是T的Vclick AU被找到且T’被得到)。
Vclick AU的“无效期间”是运动图像时间中除有效期间之外的所有期间。即，该无效期间是不可能调用对象属性信息403和对象区数据400的期间。
“活动期间”是在Vclick AU的有效期间中对象区在对象区数据400中被描述的期间。因此，即使在Vclick AU的有效期间中，对象区也不能存在于除活动期间之外的期间中。另一方面，即使对象区被描述，在它在无效期间被描述的情况下，该期间中的对象区也不是有效的。
在图46A的实例中，运动图像时间上与访问单元时间原点相应的时间由Vclick AU的时间标记402指定。这是在无效_标记被设置为OFF(0)情况下的Vclick AU的有效期间和活动期间的实例。
图46B示出了无效_标记为OFF、且时间_偏移指定Vclick AU的时间标记402对应于访问单元时间的哪个时间(除原点之外)的情况。在该情况下，虽然运动图像时间与访问单元时间之间的相关性漂移了时间_偏移，但是有效期间、无效期间和活动期间的定义是完全相同的。
(11-2)Vclick流的编辑方法
接下来，将描述使用图45的Vclick AU的报头来编辑Vclick流的方法。
图47是用于说明在运动图像的一部分被切掉时与运动图像相应的Vclick流如何被编辑的视图。在图47的上部，AU#1、AU#2...分别指Vclick流中的Vclick AU，并且Vclick AU的有效期间在它们上方说明。例如，起始Vclick AU(AU#1)的有效期间为从0分00秒(0’00”)到0分10秒(0’10”)。虽然AU#2和AU#3具有相同的有效期间，但是它们分别具有与不同对象相关的信息。
这里，假设从0分16秒(0’16”)到0分42秒(0’42”)的运动图像部分被切掉。
这时，因为只有与切掉的视频部分相关的数据被包含在AU#4和AU#5中，所以两个Vclick AU可以被删除。
另一方面，相应于切掉的视频部分的数据和相应于未切掉的视频部分的数据都包含在AU#3和AU#6中。
在AU#3中，虽然必须使4秒的后面数据无效，但是这(根据Vclick AU的有效期间的定义)只可通过仅仅使顺序排列的Vclick AU的时间标记为0’16”来实现。
在AU#6中，使无效_标记为1，时间_偏移的值被从0改变为2秒，并且如在图46B的方法中一样，使在校正之前与运动图像的0’40”到0’42”对应的期间为无效期间，并且进一步，Vclick AU的时间标记被改变为期望使其为AU#3的有效期间结束的时间(0’16”)。最后，在AU#6之后的Vclick AU的时间标记被改变为通过减去切掉时间(在该实例的情况下为26秒)得到的值。
通过这些处理，具有图47下部的Vclick AU结构的Vclick流被新建立，并且可以与被编辑的运动图像一起被使用，而不会冲突。
(11-3)当Vclick流被编辑时的处理流
图48是示出了在进行编辑以删除从时间TS到时间TE的运动图像并且编辑Vclick流时的处理流程的流程图。
首先，在步骤S4800，从Vclick流中指定在有效期间中包括TS的Vclick AU。但是，因为有多个Vclick AU在有效期间中包括时间TS的情况，所以Vclick流序列中的最后Vclick AU被选择。被选择的Vclick AU由US指代。
在步骤S4801，从Vclick流中指定在有效期间中包括TE的VclickAU。与前面类似，有多个Vclick AU在有效期间中包括时间TE的情况，所以Vclick流序列中最前面的Vclick AU被选择。被选择的VclickAU由UE指代
在步骤S4802，Vclick流中位于US之后、UE之前的所有Vclick AU都被从Vclick流中删除。
在步骤S4803，UE的时间标记被改变为TS。据此，与从US的有效期间中切掉的部分相应的数据变为无效的。而且，US的无效_标记被改变为1，并且时间_偏移的值被设置使得在UE的有效期间中与切掉运动图像部分相应的时间为无效期间。
最后，在步骤S4804，在UE之后的所有Vclick AU的时间标记的值被改变为通过减去切掉运动图像的时间后得到的值。
根据上述处理，在运动图像的一部分被删除的情况下，变得可能通过部分数据改变来进行编辑，而无需从头开始重新建立与该运动图像相应的Vclick流。
(11-4)运动图像数据具有适于进行编辑的结构的情况
接下来，将描述当运动图像数据具有适于进行编辑的结构时，能够通过使用该结构而容易进行Vclick流的编辑的方法。
因为运动图像一般在连续的帧之间包括类似的图像，所以其通常使用相邻帧的信息被压缩。虽然这导致高的压缩效率，但是例如删除部分视频部分的编辑难以进行。
然后，如同MPEG的GOP(图片组)或者DVD视频的VOB(视频对象)，通常使用使一些连续帧成组、并且可以在其中完成解码的结构。在该情况下，虽然在一个帧的单元中的编辑仍旧很困难，但是在GOP或VOB的单元中的编辑可以被进行而无需再次进行压缩。
如上所述，在运动图像在GOP或VOB的单元中被编辑的情况下，当使Vclick流中Vclick AU的有效期间与运动图像的GOP或VOB一致时，更便于编辑。
图49示出了其中使得运动图像数据的VOB结构与Vclick流中的Vclick AU结构一致的结构实例。在该实例中，每一个VOB对应于一个或多个Vclick AU，一个Vclick AU仅对应于一个VOB。在采用如上所述的结构的情况下，当运动图像在VOB的单元中被编辑时，Vclick流只需要在Vclick AU的单元中被编辑。例如，在其中VOB#5和VOB#6被如图50所示删除的情况下，相应的AU#9、AU#10和AU#11在Vclick流中被删除。虽然AU#12之后的Vclick AU的时间标记最终必须被重写，但是没有必要改变其它数据，因此，可以非常容易地进行处理。
(12)包括无效期间的Vclick AU的解码处理
将给出在包括用于指定无效期间的时间_偏移数据的Vclick流被解码时的处理程序的描述。
图51是用于说明在元数据解码器217中的处理流程的实例的视图。
首先，在步骤S5100，进行初始化处理。这包括例如将初始值替换为在处理中使用的变量的处理，用于保护将被使用的存储器的处理，以及用于初始化被保护存储器的处理。在该处理中还进行当前整备复制的运动图像的时间T的值的初始化。
在步骤S5101，进行将Vclick AU的数据存储到元数据解码器217的存储器中的处理。当该处理被首先进行时，Vclick流中的起始VclickAU被存储。但是，在随机访问时，Vclick流中的不完全Vclick AU被首先存储。在步骤S5101的处理不是第一个的情况下，在当前正被处理的Vclick AU下一个的Vclick AU被存储。但是，在存在具有相同时间标记的多个Vclick AU的情况下，所有Vclick AU都被存储。Vclick AU的数据在合适的定时被从缓冲器209输入。
在步骤S5202，Vclick AU的时间标记的值被替换为变量T0。
类似地，在步骤S5103，由Vclick AU的时间偏移指定的时间被替换为变量TA。
在步骤S5104，进行将当前被复制的运动图像的时间T转变为由对象区数据400使用的时间的处理。虽然在对象区数据中可以使用各种时间轴，但是典型的方法包括使用使Vclick AU报头的时间为0的时间轴的方法，以及原样使用运动图像时间的方法。在使用使VclickAU报头的时间为0的时间轴的情况下，运动图像时间T对应于对象区数据的时间T-T0+TA。另一方面，在原样使用运动图像时间的情况下，运动图像时间T对应于对象区数据的时间T+TA。在步骤S5104，进行如上所述的时间转变。
然后，在步骤S5105，与被转变的对象区数据时间相应的对象区被复制。
在步骤S5106，正被复制的运动图像的时间T被更新。该时间可以从接口处理器207收到。
在步骤S5107，判断当前正被处理的Vclick AU是否是Vclick流中的最后Vclick AU。如果是最后的，那么处理结束，如果不是最后的，那么处理进行到步骤S5108。
在步骤S5108，进行分支处理，并且判断当前正被处理的VclickAU下一个的Vclick AU的时间标记是否是T或更大。当是T或更大时，接下来进行步骤S5101，当小于T时，接下来进行步骤S5104。
通过上述处理，与正被复制的运动图像时间相应的对象区总是在元数据解码器中被复制。因此，当用户点击屏幕上的对象时，可以立刻进行用于指定被点击对象的处理。此外，变得可能进行用于清楚表示屏幕上可点击对象的处理。
(改变的实例)
顺便提一下，本发明不严格限于上述实施例，在实践阶段，结构元素可以被进行各种改变，并且可以包含在本发明的范围内而不脱离其要旨。
(1)改变的实例1
例如，本发明不仅可以应用于当前在全球范围内流行的DVD-ROM视频，而且可以应用于其需求在近年来快速增长的可记录/可复制DVD-VR(视频记录器)。此外，本发明还可以应用于在不久的将来似乎流行的下一代HD-DVD的复制系统或记录系统。
(2)改变的实例2
此外，通过适当组合实施例中公开的多个结构元素，可以构造各种发明。例如，一些结构元素可以从实施例中公开的所有结构元素中被删除。此外，不同实施例的结构元素可以被适当组合。

Claims (11)

1.一种元数据的数据结构，所述元数据与运动图像相关，且具有包括一个或多个访问单元的流数据结构，所述每一个访问单元是能够被单独处理的数据单元，
其中，访问单元中每一个包括：
第一数据，其确定访问单元时间中的基准时间，以使作为用于元数据描述的时间的访问单元时间对应于作为用于运动图像的时间的运动图像时间；
对象区数据，描述运动图像中的时空区；以及
第二数据，包括用于指定与时空区相关的显示方法的数据和用于指定在时空区被指定时将进行的处理的数据的两者之一或者两者，并且，
其中，基于第一数据中的基准时间使运动图像时间对应于访问单元时间，并且作为至少第二数据可以被调用的期间的有效期间被指定。
2.根据权利要求1的元数据的数据结构，其中，第一数据包括用于指定与有效期间的开始时间相应的访问单元时间的时间的数据。
3.根据权利要求1的元数据的数据结构，其中，运动图像被压缩，并且
使与其中被压缩的运动图像可以被单独解码的帧设置对应的时间部分为访问单元的有效期间。
4.根据权利要求3的元数据的数据结构，其中，运动图像以MPEG被压缩，并且
使与MPEG的GOP相应的时间部分为访问单元的有效期间。
5.根据权利要求3的元数据的数据结构，其中，运动图像是DVD视频，并且
使与DVD视频的VOB相应的时间部分为访问单元的有效期间。
6.一种与运动图像相关的元数据的编辑方法，
其中，元数据具有包括一个或多个访问单元的流数据结构，所述每一个访问单元是能够被单独处理的数据单元，
其中，访问单元中每一个包括：
第一数据，其确定访问单元时间中的基准时间，以使作为用于元数据描述的时间的访问单元时间对应于作为用于运动图像的时间的运动图像时间；
对象区数据，描述运动图像中的时空区；以及
第二数据，包括用于指定与时空区相关的显示方法的数据和用于指定在时空区被指定时将进行的处理的数据的两者之一或者两者，并且，
其中，基于第一数据中的基准时间使运动图像时间对应于访问单元时间，并且作为至少第二数据可以被调用的期间的有效期间被指定，并且
当元数据被编辑时，在访问单元的单元中进行删除或添加。
7.一种与运动图像相关的元数据的编辑方法，
其中，元数据具有包括一个或多个访问单元的流数据结构，所述每一个访问单元是能够被单独处理的数据单元，
其中，访问单元中每一个包括：
第一数据，其确定访问单元时间中的基准时间，以使作为用于元数据描述的时间的访问单元时间对应于作为用于运动图像的时间的运动图像时间；
对象区数据，描述运动图像中的时空区；以及
第二数据，包括用于指定与时空区相关的显示方法的数据和用于指定在时空区被指定时将进行的处理的数据的两者之一或者两者，并且，
其中，基于第一数据中的基准时间使运动图像时间对应于访问单元时间，并且作为至少第二数据可以被调用的期间的有效期间被指定，
在元数据被编辑时，只有访问单元中每一个的第一数据和第二数据被重写，并且
除第一数据和第二数据之外的数据不被重写。
8.一种与运动图像相关的元数据的编辑装置，
其中，元数据具有包括一个或多个访问单元的流数据结构，所述每一个访问单元是能够被单独处理的数据单元，
其中，访问单元中每一个包括：
第一数据，其确定访问单元时间中的基准时间，以使作为用于元数据描述的时间的访问单元时间对应于作为用于运动图像的时间的运动图像时间；
对象区数据，描述运动图像中的时空区；以及
第二数据，包括用于指定与时空区相关的显示方法的数据和用于指定在时空区被指定时将进行的处理的数据的两者之一或者两者，并且，
其中，基于第一数据中的基准时间使运动图像时间对应于访问单元时间，并且作为至少第二数据可以被调用的期间的有效期间被指定，并且
其中，元数据的编辑装置包括用于在元数据被编辑时在访问单元的单元中进行删除或增加编辑的处理部分。
9.一种与运动图像相关的元数据的编辑装置，
其中，元数据具有包括一个或多个访问单元的流数据结构，所述每一个访问单元是能够被单独处理的数据单元，
其中，访问单元中每一个包括：
第一数据，其确定访问单元时间中的基准时间，以使作为用于元数据描述的时间的访问单元时间对应于作为用于运动图像的时间的运动图像时间；
对象区数据，描述运动图像中的时空区；以及
第二数据，包括用于指定与时空区相关的显示方法的数据和用于指定在时空区被指定时将进行的处理的数据的两者之一或者两者，
其中，基于第一数据中的基准时间使运动图像时间对应于访问单元时间，并且作为至少第二数据可以被调用的期间的有效期间被指定，并且
其中，元数据的编辑装置包括用于在元数据被编辑时进行只重写访问单元每一个中的第一数据和第二数据的编辑、而不重写除第一数据和第二数据之外的数据的处理部分。
10.一种用于使计算机实现与运动图像相关的元数据的编辑方法的程序，
其中，元数据具有包括一个或多个访问单元的流数据结构，所述每一个访问单元是能够被单独处理的数据单元，
其中，访问单元中每一个包括：
第一数据，其确定访问单元时间中的基准时间，以使作为用于元数据描述的时间的访问单元时间对应于作为用于运动图像的时间的运动图像时间；
对象区数据，描述运动图像中的时空区；以及
第二数据，包括用于指定与时空区相关的显示方法的数据和用于指定在时空区被指定时将进行的处理的数据的两者之一或者两者，
其中，基于第一数据中的基准时间使运动图像时间对应于访问单元时间，并且作为至少第二数据可以被调用的期间的有效期间被指定，并且
其中，元数据的编辑方法的程序实现当元数据被编辑时在访问单元的单元中进行删除或增加的编辑功能。
11.一种用于使计算机实现与运动图像相关的元数据的编辑方法的程序，
其中，元数据具有包括一个或多个访问单元的流数据结构，所述每一个访问单元是能够被单独处理的数据单元，
其中，访问单元中每一个包括：
第一数据，其确定访问单元时间中的基准时间，以使作为用于元数据描述的时间的访问单元时间对应于作为用于运动图像的时间的运动图像时间；
对象区数据，描述运动图像中的时空区；以及
第二数据，包括用于指定与时空区相关的显示方法的数据和用于指定在时空区被指定时将进行的处理的数据的两者之一或者两者，
其中，基于第一数据中的基准时间使运动图像时间对应于访问单元时间，并且作为至少第二数据可以被调用的期间的有效期间被指定，并且
其中，元数据的编辑方法的程序实现在元数据被编辑时只重写访问单元每一个中的第一数据和第二数据、而不重写除第一数据和第二数据之外的数据的编辑功能。
CNB2005100809093A 2004-06-28 2005-06-28 元数据的数据结构及其复制方法 Expired - Fee Related CN100399830C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004190363A JP4088274B2 (ja) 2004-06-28 2004-06-28 メタデータの構造及びその編集方法
JP2004190363 2004-06-28

Publications (2)

Publication Number Publication Date
CN1717054A true CN1717054A (zh) 2006-01-04
CN100399830C CN100399830C (zh) 2008-07-02

Family

ID=35507352

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100809093A Expired - Fee Related CN100399830C (zh) 2004-06-28 2005-06-28 元数据的数据结构及其复制方法

Country Status (3)

Country Link
US (2) US20050289183A1 (zh)
JP (1) JP4088274B2 (zh)
CN (1) CN100399830C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019025A (zh) * 2017-07-20 2019-07-16 中国移动通信集团公司 一种流数据处理方法和装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5047103B2 (ja) * 2008-09-01 2012-10-10 エヌ・ティ・ティ・コムウェア株式会社 ３次元動画像再生装置及び３次元動画像再生方法ならびにそのプログラム
KR101712102B1 (ko) * 2010-07-29 2017-03-14 삼성전자 주식회사 Ｒｔｓｐ 세션에 기초해 스트리밍 데이터를 송수신하는 방법 및 장치
US9734220B2 (en) * 2012-12-04 2017-08-15 Planet Os Inc. Spatio-temporal data processing systems and methods
WO2014102569A1 (en) * 2012-12-27 2014-07-03 Arria Data2Text Limited Method and apparatus for motion description
US10115202B2 (en) 2012-12-27 2018-10-30 Arria Data2Text Limited Method and apparatus for motion detection
US9558220B2 (en) 2013-03-04 2017-01-31 Fisher-Rosemount Systems, Inc. Big data in process control systems
US10649424B2 (en) 2013-03-04 2020-05-12 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics
US10866952B2 (en) 2013-03-04 2020-12-15 Fisher-Rosemount Systems, Inc. Source-independent queries in distributed industrial system
US10909137B2 (en) * 2014-10-06 2021-02-02 Fisher-Rosemount Systems, Inc. Streaming data for analytics in process control systems
US10671028B2 (en) 2013-03-15 2020-06-02 Fisher-Rosemount Systems, Inc. Method and apparatus for managing a work flow in a process plant
CN103927095A (zh) * 2014-04-16 2014-07-16 广东欧珀移动通信有限公司 实现屏幕录像的方法和装置
US10298931B2 (en) * 2014-09-25 2019-05-21 Microsoft Technology Licensing, Llc Coupling sample metadata with media samples
CN105049381B (zh) * 2015-07-31 2018-03-02 南京南瑞集团公司 一种电力多媒体通信系统的实时性的测试方法
JP6988813B2 (ja) 2016-10-06 2022-01-05 ソニーグループ株式会社 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム
US10467347B1 (en) 2016-10-31 2019-11-05 Arria Data2Text Limited Method and apparatus for natural language document orchestrator

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69431048T2 (de) * 1993-12-10 2003-02-13 Sony Corp Datenaufzeichnungsträger und datenwiedergabegerät
JPH08115250A (ja) * 1994-10-17 1996-05-07 Matsushita Electric Ind Co Ltd ハイパーメディアシステム
JP3528989B2 (ja) * 1995-01-20 2004-05-24 ソニー株式会社 データ多重化装置、データ多重化方法、多重化データ処理装置および多重化データ処理方法
US5703997A (en) * 1995-04-14 1997-12-30 Kabushiki Kaisha Toshiba Data recording medium having reproduction timing information, and system for reproducing record data by using the reproduction timing information
JP3484832B2 (ja) * 1995-08-02 2004-01-06 ソニー株式会社 記録装置、記録方法、再生装置及び再生方法
CN1118049C (zh) * 1995-08-21 2003-08-13 松下电器产业株式会社 根据交互控制实现意外性场景展开的多媒体光盘再生装置
US5899575A (en) * 1996-09-04 1999-05-04 Hitachi, Ltd. Video capture device, video recording/playing apparatus having the video capture device attached thereto, and video input device
US6269215B1 (en) * 1999-03-02 2001-07-31 Hitachi, Ltd. Information processing system
US5715176A (en) * 1996-01-23 1998-02-03 International Business Machines Corporation Method and system for locating a frame position in an MPEG data stream
US6144972A (en) * 1996-01-31 2000-11-07 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus which estimates the movement of an anchor based on the movement of the object with which the anchor is associated utilizing a pattern matching technique
US6396874B1 (en) * 1997-11-12 2002-05-28 Sony Corporation Decoding method and apparatus and recording method and apparatus for moving picture data
WO1999053694A1 (en) * 1998-04-08 1999-10-21 Matsushita Electric Industrial Co., Ltd. Optical disc, optical disc recording method and apparatus, and optical disc reproducing method and apparatus
JP3383587B2 (ja) * 1998-07-07 2003-03-04 株式会社東芝 静止画像連続情報記録方法と光ディスクと光ディスクの情報再生装置と情報再生方法
TW452748B (en) * 1999-01-26 2001-09-01 Ibm Description of video contents based on objects by using spatio-temporal features and sequential of outlines
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
US6968004B1 (en) * 1999-08-04 2005-11-22 Kabushiki Kaisha Toshiba Method of describing object region data, apparatus for generating object region data, video processing method, and video processing apparatus
US6523046B2 (en) * 2000-02-25 2003-02-18 Microsoft Corporation Infrastructure and method for supporting generic multimedia metadata
KR20020032803A (ko) * 2000-10-27 2002-05-04 구자홍 스트리밍 서비스를 위한 파일 구조
KR20030007706A (ko) * 2001-04-02 2003-01-23 마츠시타 덴끼 산교 가부시키가이샤 디지털 영상 콘텐츠의 영상재생 장치, 영상재생 방법,영상재생 프로그램, 패키지 미디어
TWI256250B (en) * 2001-05-10 2006-06-01 Ibm System and method for enhancing recorded radio or television programs with information on the world wide web
JP4099973B2 (ja) * 2001-10-30 2008-06-11 松下電器産業株式会社 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
US20030133017A1 (en) * 2002-01-16 2003-07-17 Eastman Kodak Company Method for capturing metadata in a captured image
EP1520431B1 (en) * 2002-07-01 2018-12-26 E G Technology Inc. Efficient compression and transport of video over a network
JP2004120440A (ja) * 2002-09-26 2004-04-15 Toshiba Corp サーバー装置及びクライアント装置
EP1435740A1 (en) * 2002-12-30 2004-07-07 Visiowave S.A. Video coding method of exploiting the temporal redundancy between successive frames
US20040131117A1 (en) * 2003-01-07 2004-07-08 Sheraizin Vitaly S. Method and apparatus for improving MPEG picture compression
US7403664B2 (en) * 2004-02-26 2008-07-22 Mitsubishi Electric Research Laboratories, Inc. Traffic event detection in compressed videos

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019025A (zh) * 2017-07-20 2019-07-16 中国移动通信集团公司 一种流数据处理方法和装置

Also Published As

Publication number Publication date
JP4088274B2 (ja) 2008-05-21
JP2006014090A (ja) 2006-01-12
US20080104123A1 (en) 2008-05-01
CN100399830C (zh) 2008-07-02
US20050289183A1 (en) 2005-12-29

Similar Documents

Publication Publication Date Title
CN1717054A (zh) 元数据的数据结构及其复制方法
CN1735199A (zh) 元数据的数据结构及其再现方法
CN1222177C (zh) 用于记录或再现数据的信息记录装置及方法
CN1292409C (zh) 信息在光盘上的记录方法及再现装置及再现方法
CN1820269A (zh) 运动图像中对象的元数据流的数据结构,及其搜索方法和重放方法
CN1290323C (zh) 屏幕控制方法及其设备
CN1260970C (zh) 用于多媒体光盘的记录方法、再生装置及再生方法
CN1154978C (zh) 记录装置、播放装置及其方法和记录／播放装置及其方法
CN1237822C (zh) 光盘、光盘记录方法和装置,以及光盘再现方法和装置
CN1735206A (zh) 元数据和再现设备的结构以及制造这种设备的方法
CN1767609A (zh) 用于运动图像的元数据的搜索表
CN1694521A (zh) 用于运动图像的元数据
CN1694520A (zh) 用于运动图像的元数据
CN1700331A (zh) 信息记录媒介、向/从记录媒介记录/重放信息的方法
CN1738430A (zh) 活动图像的元数据的数据结构及其再现方法
CN1674134A (zh) 信息记录介质，把信息记录到记录介质上/从记录介质重放信息的方法
CN1213454A (zh) 用于生成要存储在信息记录盘上以便无缝地再现多版本视频图像位流的设备与方法以及用于存储在该设备中运行的程序的媒体
CN1617575A (zh) 再现设备和再现方法
CN1754225A (zh) 记录介质、再现设备、记录方法、再现方法以及计算机程序
CN1698369A (zh) 再现装置、再现方法、再现程序以及记录介质
CN1706187A (zh) 数据处理装置
CN101069229A (zh) 再现装置、图像合成方法、图像合成程序及集成电路
CN1726549A (zh) 光盘、再现装置、程序、再现方法、以及记录方法
CN101053031A (zh) 信息存储介质、ts分组判断设备以及数据再现设备
CN1912851A (zh) 记录设备及其方法,程序产品,和程序记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080702

Termination date: 20110628