CN1735199A - 元数据的数据结构及其再现方法 - Google Patents

Abstract

本发明提供了能够表示复杂外形对象的元数据结构。增加了指明构成对象区域的子平面区域数目的vcr_shape_num、指明写入了集成所述子平面区域并确定最终对象区域之集成系统的vcr_rule_code、指明所述集成系统数据长度的vcr_rule_length以及指明所述集成系统的数据vcr_rule，随后，通过由vcr_shape_num指明的所述数目连续地描述vcr_rule中出现的每个子平面区域的数据vcr_subregion_data。

Description

元数据的数据结构及其再现方法

相关申请的交叉引用

本申请基于2004年8月4日提交的2004-228667号在先日本专利申请，并要求以其作为优先权基础，其全部内容在此引用作为参考。

技术领域

本发明涉及元数据的数据结构，并涉及其再现方法，以便通过在网络上结合客户装置中存在的移动图像数据和所述客户装置或服务器装置中的元数据而实现移动图像超媒体，以及在移动图像上显示跑马灯或气球。

背景技术

超媒体即是在媒体(比如移动图像、静止画面、音频或文本)之间定义称为超链接的连接，而且能够相互或者从一方至另一方的引用。例如，在使用因特网能够浏览的、以HTML描述的主页中，布置着文本和静止图像，定义的链接遍及所述文本和所述静止图像。当指定所述链接时，作为链接目的地的相关信息能够立即显示。当直接指定了关注的表达时，就能够访问相关信息，所以所述操作容易且直观。

另一方面，在移动图像而不是文本和静止图像为主的超媒体中，定义了从所述移动图像上出现的对象比如人物或物体至相关内容比如文本或静止图像的链接，以便讲解它，当观看者指定这个对象时，就显示所述相关内容。这时，为了定义所述移动图像上出现的所述对象的时空范围与其相关内容之间的所述链接，就需要表示所述移动图像中所述对象时空范围的数据(对象区域数据)。

作为所述对象区域数据，有可能使用屏蔽画面序列，它具有二进制值或更高的数值、MPEG-4的任意外形编码、专利文献1(JP-A-2000-285253)中讲解的、描述图像特征点轨迹的方法、专利文献2(JP-A-2001-111996)中讲解的方法等。为了实现所述移动图像为主的所述超媒体，除此以外，还需要描述在指定对象等操作时显示其他相关内容之操作的数据(操作信息)。与所述移动图像不同的这些数据称为元数据。

作为向观看者提供移动图像和元数据的方法，首先是生产记录介质(视频CD、DVD等)的方法，所述移动图像和所述元数据都记录在所述记录介质上。另外，为了提供已经作为视频CD或DVD而拥有的所述移动图像的元数据，可以仅仅从网络下载或通过数据流递送所述元数据。此外，所述移动图像和所述元数据的数据都可以通过网络递送。这时就需要所述元数据的格式能够高效地使用缓冲区、适于随机存取以及抵御所述网络中的数据损失。

在频繁地发生所述移动图像切换的情况下(例如，在准备了以多个摄影机角度拍摄的移动图像而且所述观看者能够自由地选择所述摄影机角度的情况下，比如DVD视频的多角度视频)，所述元数据必须以所述移动图像切换速率对应的高速率切换。

另外，还需要具有复杂外形时空范围的对象能够易于描述。

在与观看者拥有的移动图像相关的并通过网络由数据流递送给所述观看者的所述元数据中，或者在由所述观看者拥有并再现的所述元数据中，需要复杂对象的时空范围信息能够易于描述。

所以为了解决上述问题而作出本发明。

发明内容

根据本发明实施例的元数据包括一个或多个访问单元，每个访问单元都是能够被独立处理的数据单元。此处的所述访问单元(图4的Vclick_AU)包括第一数据(402)，以指定作为对移动图像的时间轴定义的有效期相关信息的所述有效期、描述了所述移动图像中时空范围的对象区域数据(400)，以及第二数据(403)，包括指定与所述时空范围相关的显示方法的数据和指定当指定了所述时空范围时要进行的处理的数据至少其中之一。

多个时空范围的轮廓数据、指明所述轮廓的内部还是外部对应于对象区域的二进制数据以及指明从所述前两种数据获得最终对象外形之计算方法的叠加数据在每个所述访问单元的所述对象区域数据中描述，在需要对象的所述外形时从这些数据计算所述最终对象外形，因而避免了在数据输入之时输入复杂时空范围的不便。

复杂外形的所述对象区域划分为多个简单的子平面区域并由它们的叠加来描述，所述复杂时空范围的描述因而变得简单了。

此外，通过指定一个平面区域的所述内部还是所述外部，所述复杂时空范围的描述也变得简单了。

附图说明

图1A和图1B是示意图，用于讲解根据本发明实施例的超媒体显示实例；

图2是框图，显示了根据本发明实施例的系统结构实例；

图3是示意图，用于讲解根据本发明实施例，对象区域和对象区域数据之间的关系；

图4是示意图，用于讲解根据本发明实施例的对象元数据访问单元的数据结构实例；

图5是示意图，用于讲解根据本发明实施例的Vclick数据流构建方法；

图6是表格，用于讲解根据本发明实施例的Vclick存取表的结构实例；

图7是示意图，用于讲解根据本发明实施例的传输数据包的结构实例；

图8是示意图，用于讲解根据本发明实施例的传输数据包的另一个结构实例；

图9是示意图，用于讲解根据本发明实施例的服务器与客户之间的通信实例；

图10是示意图，用于讲解根据本发明实施例的服务器与客户之间的另一个通信实例；

图11是表格，用于讲解根据本发明实施例的Vclick数据流头部的数据元素实例；

图12是表格，用于讲解根据本发明实施例的Vclick访问单元(AU)头部的数据元素实例；

图13是表格，用于讲解根据本发明实施例的所述Vclick访问单元(AU)时间标记的数据元素实例；

图14是表格，用于讲解根据本发明实施例的所述Vclick访问单元(AU)时间标记跳跃的数据元素实例；

图15是表格，用于讲解根据本发明实施例的对象属性信息的数据元素实例；

图16是表格，用于讲解根据本发明实施例的所述对象属性信息的种类实例；

图17是表格，用于讲解根据本发明实施例的对象名称属性的数据元素实例；

图18是表格，用于讲解根据本发明实施例的所述对象动作属性的数据元素实例；

图19是表格，用于讲解根据本发明实施例的所述对象轮廓属性的数据元素实例；

图20是表格，用于讲解根据本发明实施例的所述对象闪烁区域属性的数据元素实例；

图21是表格，用于讲解根据本发明实施例的所述对象马赛克区域属性的数据元素实例；

图22是表格，用于讲解根据本发明实施例的所述对象填补区域属性的数据元素实例；

图23是表格，用于讲解根据本发明实施例的所述对象文本信息数据的数据元素实例；

图24是表格，用于讲解根据本发明实施例的所述对象文本属性的数据元素实例；

图25是表格，用于讲解根据本发明实施例的所述对象文本高亮效果属性的数据元素实例；

图26是表格，用于讲解根据本发明实施例的所述对象所述文本高亮效果属性入口的数据元素实例；

图27是表格，用于讲解根据本发明实施例的所述对象文本闪烁效果属性的数据元素实例；

图28是表格，用于讲解根据本发明实施例的所述对象所述文本闪烁效果属性入口的数据元素实例；

图29是表格，用于讲解根据本发明实施例的所述对象文本滚动效果属性的数据元素实例；

图30是表格，用于讲解根据本发明实施例的所述对象文本卡拉OK效果属性的数据元素实例；

图31是表格，用于讲解根据本发明实施例的所述对象所述文本卡拉OK效果属性入口的数据元素实例；

图32是表格，用于讲解根据本发明实施例的所述对象层属性扩展的数据元素实例；

图33是表格，用于讲解根据本发明实施例的所述对象所述层属性扩展入口的数据元素实例；

图34是表格，用于讲解根据本发明实施例的Vclick访问单元(AU)对象区域数据的数据元素实例；

图35是示意图，用于讲解根据本发明实施例的增强DVD视盘的结构实例；

图36是示意图，用于讲解根据本发明实施例的所述增强DVD视盘的目录结构实例；

图37是流程图(在Vclick数据处于服务器装置中的情况下)，显示了根据本发明实施例的正常再现的开始处理过程；

图38是流程图(在Vclick数据处于服务器装置中的情况下)，显示了根据本发明实施例的正常再现的另一个开始处理过程；

图39是流程图(在Vclick数据处于服务器装置中的情况下)，显示了根据本发明实施例的正常再现的结束处理过程；

图40是流程图(在Vclick数据处于服务器装置中的情况下)，显示了根据本发明实施例的随机存取再现的开始处理过程；

图41是流程图(在Vclick数据处于服务器装置中的情况下)，显示了根据本发明实施例的随机存取再现的另一个开始处理过程；

图42是流程图(在Vclick数据处于客户装置中的情况下)，显示了根据本发明实施例的正常再现的开始处理过程；

图43是流程图(在Vclick数据处于客户装置中的情况下)，显示了根据本发明实施例的随机存取再现的开始处理过程；

图44是示意图，用于讲解根据本发明实施例的超媒体显示实例；

图45是表格，用于讲解根据不同于图34的本发明实施例的Vclick访问单元(AU)对象区域数据的数据元素实例；

图46是表格，用于讲解根据本发明实施例的图45的所述对象区域数据中包括的元素vcr_subregion_data；

图47是示意图，用于讲解根据本发明实施例的对象区域表示方法；

图48是流程图，用于讲解根据本发明实施例的对象区域计算过程。

具体实施方式

后文将参考附图，介绍本发明的实施例。

(1)应用概况

图1显示了通过与移动图像一起使用这个实施例的对象元数据而实现的应用(移动图像超媒体)屏幕上的显示实例。

图1A的引用号100表示移动图像的再现屏幕；而101表示鼠标光标。在所述移动图像的所述再现屏幕100上再现之所述移动图像的数据记录在本机的移动图像数据记录介质上。引用号102表示所述移动图像上出现之对象的区域。如果所述用户把所述鼠标光标移动到所述对象的所述区域中并且通过点击等选择所述对象，就执行指定的功能。例如，在图1B中显示了所述本机盘片和/或网络上的文档(与所述点击之对象相关的信息)103。此外，有可能执行若干功能，比如跳跃至所述移动图像的另一个场景、再现另一个移动图像文件以及改变再现模式。

所述对象之所述区域102的所述数据、在这个区域由点击等方式指定的情况下客户装置的所述操作数据等将一并称为对象元数据或Vclick数据。所述Vclick数据可以与所述移动图像数据一起记录在本机的移动图像数据记录介质(光盘、硬盘、半导体存储器等)上，也可以存储在网络上的服务器中并通过所述网络向客户传送。

图44显示了通过与所述移动图像一起使用这个实施例的所述Vclick数据而实现的应用(移动图像超媒体)的、不同于图1的屏幕上的显示实例。

在图1中，显示所述移动图像和所述相关信息的窗口相互分离，然而在图44中，移动图像A02和相关信息A03显示在一个窗口A01中。作为所述相关信息，不仅能够显示文本，而且能够显示静止图像A04以及不同于A02的移动图像。

后文将详细介绍如何实现所述应用。

(2)系统结构

图2是框图，显示了根据本发明实施例的流式装置(可联网盘片播放机)的粗略结构。各个结构要素的功能将利用图2介绍。

引用号200表示客户装置；201为服务器装置；221为连接所述服务器装置和所述客户装置的网络。所述客户装置200包括移动图像再现引擎203、Vclick引擎202、盘片设备230、用户接口240、网络管理器208以及盘片设备管理器213。引用号204至206表示所述移动图像再现引擎中包括的设备；207、209至212和214至218为所述Vclick引擎中包括的设备；219和220为所述服务器装置中包括的设备。所述客户装置200能够再现所述盘片设备230中存在的移动图像数据，以及显示以标示语言比如HTML描述的文档。它也能够显示所述网络上存在的、以HTML等写成的文档。对于移动图像数据记录介质231上记录的所述移动图像数据相关的所述Vclick数据，有一种情况是所述数据与所述移动图像数据一起记录在所述移动图像数据记录介质231上，有一种情况是所述数据记录在所述服务器装置201的元数据记录介质219上。在所述Vclick数据存在于所述服务器装置201中的情况下，所述客户装置200能够以下面介绍的方式使用所述盘片设备230中的所述Vclick数据和所述移动图像数据进行再现。首先，所述服务器装置201响应所述客户装置200发出的请求，通过所述网络221向所述客户装置200传送包括所述Vclick数据的媒体数据M1。所述客户装置200与所述移动图像的所述再现同步地处理所述传送的Vclick数据，并且实现若干附加功能比如超媒体。

所述移动图像再现引擎203是再现所述盘片设备230中存在的所述移动图像数据所用的引擎，并且包括所述设备204、205和206。引用号231表示移动图像数据记录介质，具体地表示DVD、视频CD、录像带、硬盘、半导体存储器等。在所述移动图像数据记录介质231上记录着数码的和/或模拟的移动图像数据。也有以下情况：与所述移动图像数据相关的元数据与所述移动图像数据一起记录在所述移动图像数据记录介质231上。引用号205表示移动图像再现控制所用的控制器，其结构能够根据从所述Vclick引擎202的接口处理器207输出的“控制”信号，控制从所述移动图像数据记录介质231再现视频/音频/子视频数据D1。

确切地说，在所述移动图像的再现之时，根据事件(例如由用户指令引起的菜单调用或标题切换)发生时从所述接口处理器207发送的所述“控制”信号，所述移动图像再现控制器205能够向所述接口处理器207输出“触发”信号，表明所述视频/音频/子视频数据D1的所述再现状态。在此时(与所述触发信号的所述输出同时，或者在其前后的适当间隔)，所述移动图像再现控制器205能够向所述接口处理器207输出“状态”信号，表明性质信息(例如播放机中设定的音频语言、子视频标题语言、再现操作、再现位置、各种时间信息、盘片内容等)。通过这些信号的发送/接收，变得有可能开始和停止所述移动图像数据的读出以及存取所述移动图像数据中的所需位置。

AV解码器206具有以下功能：对所述移动图像数据记录介质231上记录的所述视频数据、音频数据和子视频数据进行解码，以及分别输出所述解码后的视频数据(通过对上述视频数据和上述子视频数据同步化而获得)和所述音频数据。通过这样做，所述移动图像再现引擎203具有与根据现有DVD视频标准制造的普通DVD视频播放机中再现引擎相同的功能。换言之，图2的所述客户装置200能够与普通DVD视频播放机类似地再现MPEG 2节目流结构的数据比如视频和音频，通过这样做，变得可能再现现有的DVD视盘(符合常规DVD视频标准的盘片)(确保了与现有DVD软件的再现兼容)。

所述接口处理器207进行模块之间的接口控制，比如所述移动图像再现引擎203、所述盘片设备管理器213、所述网络管理器208、所述元数据管理器210、所述缓冲区管理器211、所述脚本解释器212、所述媒体解码器216(包括所述元数据解码器217)、所述布局管理器215以及所述AV再现器218。此外，从所述用户接口240接收用户操作(对输入设备比如鼠标、触摸板或键盘的操作)引起的输入事件，所述事件传送到适当的模块。

所述接口处理器207包括存取表分析器以解释Vclick存取表(后面介绍)、信息文件分析器以解释Vclick信息文件(后面介绍)、性质缓冲区以记录由所述Vclick引擎管理的若干性质、所述Vclick引擎的系统时钟、移动图像时钟(其中复制了所述移动图像再现引擎中所述移动图像时钟204的时钟)等。

所述网络管理器208具有通过所述网络获取以HTML等写成的文档和数据比如静止图像和音频并放入所述缓冲区209的功能，并且控制着因特网连接部件222的运行。如果通过所述用户操作或通过所述接口处理器207从所述元数据管理器210收到请求而发布连接到或断开所述网络的指令，所述网络管理器208就在所述因特网连接部件222的连接和断开之间进行切换。此外，如果在所述服务器装置201和所述因特网连接部件222之间建立了所述网络，就进行所述媒体数据比如控制数据和Vclick数据的发送/接收。所述媒体数据包括所述Vclick数据、以HTML等写成的文档、与之相伴的静止图像和移动图像数据等。

从所述客户装置200向所述服务器装置201传送的数据包括会话配置的请求、会话结束的请求、元数据比如Vclick数据传输的请求以及状态信息比如OK或错误。此外，还可以进行所述客户装置所述状态信息的传输。另一方面，从所述服务器装置向所述客户装置传送的数据包括所述元数据比如所述Vclick数据，以及所述状态信息比如OK或错误。

所述盘片设备管理器213具有获取以HTML等写成的文档和数据比如静止图像和音频并放入所述缓冲区209的功能，以及向所述移动图像再现引擎203传送所述视频/音频/子视频数据D1的功能。所述盘片设备管理器213根据所述元数据管理器210发出的指令进行数据传输处理。

所述缓冲区209临时存储着所述媒体数据M1比如通过所述网络(经由所述网络管理器)从所述服务器装置201传送的所述Vclick数据。同时在媒体数据M2记录在所述移动图像数据记录介质231上的情况下，所述媒体数据M2同样通过所述盘片设备管理器存储在所述缓冲区209中。

在所述媒体数据M2记录在所述移动图像数据记录介质231上的情况下，在再现所述视频/音频/子视频数据D1之前，先从所述移动图像数据记录介质231读出所述媒体数据M2并可以存储在所述缓冲区209中。这变为避免以下缺点的措施。换言之，由于所述媒体数据M2在所述移动图像数据记录介质231上的数据存储位置不同于所述视频/音频/子视频数据D1的存储位置，在进行正常再现的情况下，要发生所述盘片的搜索等，所以无法确保无缝再现。

如上所述，所述媒体数据M1比如从所述服务器装置201下载的所述Vclick数据也存储在所述缓冲区209中，类似于所述媒体数据M2比如在所述移动图像数据记录介质231上记录的所述Vclick数据，从而同时读取和再现所述视频/音频/子视频数据D1和所述媒体数据变为可能。

顺便提一句，所述缓冲区209的存储容量有限度。换言之，能够在所述缓冲区209中存储的所述媒体数据M1和M2的数据规模是有限的。因此，通过所述元数据管理器210和/或所述缓冲区管理器211的控制(缓冲区控制)，可以擦除不需要的数据。

所述元数据管理器210管理着所述缓冲区209中存储的所述元数据，并且从所述接口处理器207接收与所述移动图像的所述再现同步的适当计时(“移动图像时钟”信号)，再从所述缓冲区209向所述媒体解码器216传递具有恰当时间标记的所述元数据。

顺便提一句，在所述缓冲区209中不存在具有所述恰当时间标记之所述Vclick数据的情况下，可以不进行向所述媒体解码器216的传递。所述元数据管理器210对以从所述缓冲区209传送之所述Vclick数据的规模或者从所述服务器装置201或所述盘片设备230至所述缓冲区209的任意规模读取数据进行控制。作为具体的处理，所述元数据管理器210通过所述接口处理器207向所述网络管理器208或所述盘片设备管理器213发布以指定的规模获取Vclick数据的请求。所述网络管理器208或所述盘片设备管理器213以指定的规模把所述Vclick数据读进所述缓冲区209中，并且通过所述接口处理器207通知所述元数据管理器210已经获取了所述Vclick数据。

所述缓冲区管理器211管理着所述缓冲区209中存储的、所述Vclick数据以外的数据(以HTML等写成的文档、与之相伴的静止图像和移动图像数据等)，从所述接口处理器207接收与所述移动图像的所述再现同步的适当计时(“移动图像时钟”信号)，并且向所述分析器214或所述媒体解码器216传送所述缓冲区209中存储的、所述Vclick数据以外的所述数据。所述缓冲区管理器211可以从所述缓冲区209中删除变得不需要的数据。

所述分析器214对以标示语言比如HTML写成的文档进行分析，向所述脚本解释器212传送脚本，并且向所述布局管理器215传送与布局有关的信息。

所述脚本解释器212解释从所述分析器214输入的所述脚本并执行。在执行所述脚本时，也能够使用从所述接口处理器207输入的事件和性质信息。在所述用户指定了所述移动图像中对象的情况下，从所述元数据解码器217向所述脚本解释器212输入所述脚本。

所述AV再现器218具有控制视频/音频/文本输出的功能。确切地说，根据从所述布局管理器215输出的“布局控制”信号，所述AV再现器218控制着例如视频和文本的显示位置和显示尺寸(除了这些以外，还可以包括显示时刻和显示时间)、音频的音量(除此以外，还可以包括输出时刻和输出时间)，以及根据所指定电机的种类和/或将要显示之所述视频的种类，进行所述视频的像素转换。所述视频/音频/文本输出作为所述控制的所述对象是所述移动图像再现引擎203和所述媒体解码器216的所述输出。另外，所述AV再现器218还具有以下功能：根据从所述接口处理器207输出的“AV输出控制”信号，控制着从所述移动图像再现引擎203输入的所述视频/音频数据和从所述媒体解码器输入的所述视频/音频/文本数据的混合与切换。

所述布局管理器215向所述AV再现器218输出所述“布局控制”信号。所述“布局控制”信号包括将要输出的所述移动图像/静止画面/文本的所述尺寸和位置的相关信息(可以包括显示时间比如显示开始/结束/持续的相关信息)，并且是指示所述AV再现器218选择进行显示之布局的信息。此外，对于从所述接口处理器207输入的所述输入信息，比如所述用户的点击，判断已经指定了哪个对象，并且向所述元数据解码器217发出指令，以便提取操作指令，比如显示对所述指定对象定义的相关信息。所述提取的操作指令被传送到所述脚本解释器212并执行。

所述媒体解码器216(包括所述元数据解码器)对所述移动图像/静止画面/文本数据进行解码。所述解码后的视频数据和文本画面数据从所述媒体解码器216传送到所述AV再现器218。此外，所述解码数据由所述接口处理器207发出的所述“媒体控制”信号的所述指令进行解码，并且与所述接口处理器207发出的所述“计时”信号同步地进行解码。

引用号219表示所述服务器装置的所述元数据记录介质，并且是硬盘、半导体存储器、磁带等，其中记录着要向所述客户装置200传送的所述Vclick数据。所述Vclick数据是与所述移动图像数据记录介质231上记录的所述移动图像数据有关的所述元数据。所述Vclick数据包括后面介绍的对象元数据。引用号220表示所述服务器的所述网络管理器，通过所述网络221进行往返所述客户装置200的数据发送/接收。

(3)EDVD数据结构和IFO文件

图35是示意图，显示了增强DVD视盘用作所述移动图像数据记录介质231之时的数据结构实例。所述增强DVD视盘的DVD视频区域存储着DVD视频内容(具有MPEG 2节目流结构)，其数据结构与DVD视频标准相同。另外，所述增强DVD视盘的另一个记录区域存储着增强导航(后文中缩写为ENAV)内容，它能够丰富所述视频内容的所述再现。顺便提一句，在所述DVD视频标准中也接受了上述记录区域的存在。

此处将介绍所述DVD视盘的基本数据结构。换言之，所述DVD视盘的所述记录区域包括导入区、卷空间和导出区，从内周起依次排列。所述卷空间包括卷/文件结构信息区域和所述DVD视频区域(DVD视频区)，并且能够进一步可选地包括其他记录区域(DVD其他区)。

所述卷/文件结构信息区域2是为UDF(通用盘片格式)桥式结构分配的区域。UDF桥式格式卷按照ISO/IEC13346的第二部分识别。识别了所述卷的空间由连续扇区组成，并且从图35中所述卷空间的第一个逻辑扇区开始。根据ISO9660规定，前16个逻辑扇区保留为系统使用。为了确保与所述常规DVD视频标准兼容，带有这些内容的所述卷/文件结构信息区域变得必要。

此外，在所述DVD视频区域记录着称为视频管理器VMG的管理信息以及称为视频标题集VTS(VTS#1至VTS#n)的至少一项视频内容。所述VMG是所述DVD视频区域中存在的全部视频标题集VTS所用的管理信息，并且包括控制数据VMG1、VMG菜单数据VMGM_VOBS(选项)和VMG的备份数据。此外，每个视频标题集VTS都包括所述VTS的控制数据VTSI、VTS菜单数据VTSM_VOMS(选项)、所述VTS(标题)中内容(电影等)的数据VTSTT_VOBS和所述VTSI的备份数据。为了确保与所述常规DVD视频标准兼容，带有这些内容的所述DVD视频区域变得必要。

每个标题(VTS#1至VTS#n)的再现选择菜单等由供应商(所述DVD视盘的制作人)使用所述VMG事先给定。在特定标题(例如VTS#1)中的再现章节选择菜单、记录内容(单元)的再现过程等由所述供应商使用所述VTSI事先给定。所以，所述盘片的观看者(所述DVD视频播放机的用户)能够按照所述供应商事先准备的所述VMG/VTSI的所述菜单以及所述VTSI中的所述再现控制信息(节目链信息PGCI)，欣赏所述盘片1的所述记录内容。不过，在所述DVD视频标准中，所述观看者(用户)无法以不同于所述供应商准备的所述VMG/VTSI的方法再现所述VTS的所述内容(电影或音乐)。

图35的所述增强DVD视盘是为以下发明而准备的：能够以不同于所述供应商准备的所述VMG/VTSI的方法再现所述VTS的所述内容(电影或音乐)以及能够增加和再现不同于所述供应商准备的所述VMG/VTSI的内容。根据所述DVD视频标准制造的所述DVD视频播放机无法存取这片盘中包括的所述ENAV内容(即使存取了也无法使用所述内容)，然而根据本发明所述实施例的所述DVD视频播放机却能够存取它，而且能够使用所述再现的内容。

所述ENAV内容构建为包括若干数据，比如音频、静止图像、字体和文本、移动图像、动画和Vclick数据，以及作为再现这些内容时控制信息的ENAV文档(以标示/脚本语言描述)。在所述再现控制信息中，所述ENAV内容(包括音频、静止图像、字体/文本、移动图像、动画、Vclick数据等)的再现方法(显示方法、再现过程、再现切换过程、再现对象的选择等)和/或所述DVD视频内容以标示语言或脚本语言描述。例如，在组合时能够使用HTML(超文本标示语言)/XHTML(可扩展的超文本标示语言)或SMIL(同步多媒体集成语言)作为所述标示语言，ECMA(欧洲计算机制造商协会)脚本或Java脚本作为所述脚本语言。

注意，在图35的所述增强DVD视盘中，由于所述其他记录区域内容以外的所述内容符合所述DVD视频标准，即使使用已经流行的DVD视频播放机，也能够再现所述DVD视频区域中记录的所述视频内容(换言之，它与常规DVD视盘兼容)。尽管所述常规DVD视频播放机无法再现所述其他记录区域中记录的所述ENAV内容(或者无法使用)，根据本发明所述实施例的所述DVD视频播放机却能够再现和使用它。所以，当使用根据本发明所述实施例的所述DVD视频播放机再现所述ENAV内容时，丰富多彩的所述视频再现变为可能，不再受限于仅仅是所述供应商事先准备的所述VMG/VTSI的所述内容。

尤其是如图35所示，所述ENAV内容包括所述Vclick数据，而且所述Vclick数据构建为包括Vclick信息文件(Vclick info)、Vclick存取表、Vclick数据流、Vclick信息文件备份(Vclick info备份)以及Vclick存取表备份。

所述Vclick信息文件是指明后面论述的Vclick数据流加入到所述DVD视频内容中哪个部分(例如所述DVD视频内容的全部标题、全部章节或其中一部分)的数据。对后面论述的Vclick数据流中的每一段，都存在着所述Vclick存取表，它是存取所述Vclick数据流所用的表格。所述Vclick数据流包括移动图像中对象的位置信息以及数据，比如在点击所述对象之时的操作描述。所述Vclick信息文件备份是上述Vclick信息文件的备份，并且永远与所述Vclick信息文件的内容相同。所述Vclick存取表备份是上述Vclick存取表的备份，并且永远与所述Vclick存取表的内容相同。在图35的实例中，所述Vclick数据记录在所述增强DVD视盘上。然而如上所述，也有所述Vclick数据置于所述网络上所述服务器装置中的情况。

图36显示了若干文件的实例，包括所述Vclick信息文件、所述Vclick存取表、所述Vclick数据流、所述Vclick信息文件备份以及所述Vclick存取表备份。构成所述Vclick信息文件的文件(VCKINDEX.IFO)以XML(可扩展的标示语言)描述，并且描述了所述Vclick数据流以及所述Vclick数据流加入其中的所述DVD视频内容的位置信息(VTS号、标题号、PGC号等)。所述Vclick存取表由一个或多个文件(VCKSTR01.IFO至VCKSTR99.IFO或任意文件名)构成，一个存取表文件对应一段Vclick数据流。

所述Vclick数据流文件中描述了所述Vclick数据流的位置信息(从文件头起的相对字节尺寸)和时间信息(所述对应移动图像的时间标记或从所述文件头起的相对时间信息)之间的关系，所以能够检索给定时间对应的再现开始位置。

所述Vclick数据流由一个或多个文件(VCKSTR01.VCK至VCKSTR99.VCK或任意文件名)构成，并且能够通过参考所述Vclick信息文件的说明，与所述加入的DVD视频内容一起再现。在存在着多个属性(例如日文的Vclick数据和英文的Vclick数据等)的情况下，也可能为每个所述属性构建不同的所述Vclick数据流，即不同的文件。另外，所述各个属性是多路传输的，所以能够构建一段Vclick数据流，即一个文件。顺便提一句，在前者的情况下(所述不同属性由所述多段Vclick数据流构成)，它一旦存储在再现装置(播放机)中之时能够减小缓冲区占用容量。在后者的情况下(所述不同属性由所述一段Vclick数据流构成)，当切换所述属性时，由于所述一个文件可以保持再现状态而不必切换所述文件，所述切换速率能够提高。

注意，所述Vclick数据流和所述Vclick存取表的关联能够由例如所述文件名进行。在上述实例中，一个Vclick存取表(VCKSTRXX.IFO，XX为01至99)分配给一段Vclick数据流(VCKSTRXX.VCK，XX为01至99)，当使所述文件名除扩展名外相互一致时，所述Vclick数据流和所述Vclick存取表的所述关联变得可识别。

除此以外，在所述Vclick信息文件中描述所述Vclick数据流和所述Vclick存取表的所述关联(并行描述)时，所述Vclick数据流和所述Vclick存取表的所述关联变得可识别。

所述Vclick信息文件备份由VCKINDEX.BUP文件构成，而且与所述Vclick信息文件(VCKINDEX.IFO)具有完全相同的内容。在因为某种原因(因为所述盘片的划痕、灰尘等)所述VCKINDEX.IFO无法读取的情况下，转而读取所述VCKINDEX.BUP，从而能够进行所需的过程。所述Vclick存取表备份由VCKSTR01.BUP至VCKSTR99.BUP文件构成，而且与所述Vclick存取表(VCKSTR01.IFO至VCKSTR99.IFO)具有完全相同的内容。一个Vclick存取表备份(VCKSTRXX.BUP，XX为01至99)分配给一个Vclick存取表(VCKSTRXX.IFO，XX为01至99)，当所述文件名除扩展名外相互一致时，所述Vclick存取表和所述Vclick存取表备份的所述关联变得可识别。在因为某种原因(因为所述盘片的划痕、灰尘等)所述VCKSTRXX.IFO无法读取的情况下，转而读取所述VCKSTRXX.BUP，从而能够进行所需的过程。

(4)数据结构和存取表概况

所述Vclick数据流包括与与对象(比如所述移动图像数据记录介质231上记录的移动图像上出现的人或物)的区域有关的数据，以及所述客户装置200中对象显示方法和指定所述对象时由所述客户装置执行之操作的数据。后文将介绍所述Vclick数据的结构及其结构要素的概况。

首先将介绍所述对象区域数据，作为与所述移动图像上出现的所述对象(比如所述人或所述物)的所述区域有关的所述数据。

图3是示意图，用于讲解所述对象区域数据的结构。引用号300表示由一个对象绘制的、以X(水平方向上所述视频的坐标值)、Y(垂直方向上所述视频的坐标值)和T(所述视频的时间)三维坐标表示的轨迹。所述对象区域以事先确定范围(例如从0.5秒至1.0秒，或者从2秒至5秒)之内的时间间隔转换为所述对象区域数据。在图3中，一个对象区域300转换为五个对象区域数据301至305，这些对象区域数据存储在分开的Vclick访问单元(AU)(后面介绍)中。作为此时的转换方法，可以使用例如MPEG-4外形编码或MPEG-7时空定位器。由于所述MPEG-4外形编码或所述MPEG-7时空定位器是通过使用所述对象区域的时间相关而减少所述数据量的系统，就存在着数据无法从中间解码的问题，在丢失了在某个时间的数据的情况下，也无法对所述时间前后的数据进行解码。如图3所示，在所述移动图像上长时间连续出现之所述对象的所述区域在所述时间方向上划分并转换为数据，从而能够易于随机存取，并且能够减小部分数据缺失造成的影响。每个Vclick_AU都仅仅在所述移动图像中特定时间区间内有效。所述Vclick_AU有效的所述时间区间称为所述Vclick_AU的有效期(持续时间)。

图4显示了一个单元(Vclick_AU)的结构，它能够在本发明所述实施例中所用的所述Vclick数据流中独立存取。引用号400表示对象区域数据。如图3中所述，此处把一个对象区域在某个连续时间区间中的所述轨迹转换为数据。描述了这个对象区域的所述时间区间称为所述Vclick_AU的活化期(活化时间)。一般说来，所述Vclick_AU的所述活化期与所述Vclick_AU的所述有效期相同。然而也可能使所述Vclick_AU的所述活化期是所述Vclick_AU的所述有效期的一部分。

引用号401表示所述Vclick_AU的头部。所述头部401包括标识所述Vclick_AU的ID以及指定所述AU之所述数据规模的数据。引用号402表示时间标记，并且表示所述Vclick_AU的有效期开始的时间标记。一般说来，由于所述Vclick_AU的所述活化期与其所述有效期彼此相等，也表明在所述对象区域数据400中描述的所述对象区域对应于所述移动图像中的该时间。如图3所示，由于所述对象区域在某个时间范围上延伸，一般说来把所述对象区域的头部的时间写入所述时间标记402中。当然，也可以描述所述对象区域数据中描述的所述对象区域的时间间隔和所述对象区域的结束时间。引用号403表示对象属性信息，并且包括例如所述对象的名称、指定所述对象之时的操作说明、所述对象的显示属性等。后面将详细介绍所述Vclick_AU中的数据。最好以所述时间标记的顺序依次排列和记录所述Vclick_AU，使得它能够从所述头部开始处理。

图5是示意图，用于讲解多个AU以所述时间标记顺序排列以及产生所述Vclick数据流的方法。在这幅图中，有两个摄影机角度，即摄影机角度1和摄影机角度2，并且假设在所述客户装置中切换所述摄影机角度时，也切换将要显示的所述移动图像。此外，还假设可选择的语言模式包括两种，即日文和英文，并且为各种语言准备分开的Vclick数据。

在图5中，Vclick_AU 500、501和502是为摄影机角度1和为日文所用，Vclick_AU 503是为摄影机角度2和为日文所用。Vclick_AU504和505是为英文所用。所述Vclick_AU 500至505中的每一个都是所述移动图像中一个对象对应的数据。换言之，如图3和图4中所述，与一个对象有关的元数据由一个或多个Vclick_AU构成(在图5中，一个矩形表示一个AU)。这幅图中的水平轴对应所述移动图像中的时间，所述Vclick_AU 500至505对应地表示所述对象的出现时间。

尽管每个Vclick_AU的时间分隔符可以是任意的，如图5中的实例，但是当对全体对象对齐所述Vclick_AU的所述分隔符时，数据管理变得容易。引用号506表示这些Vclick_AU(500至505)构成的Vclick数据流。所述Vclick数据流通过以所述头部507之后的所述时间标记的顺序排列所述Vclick_AU而构成。

由于所述用户在观看期间改变所选定摄影机角度的可能性很大，所以最好通过多路传输所述Vclick数据流中不同摄影机角度的所述Vclick_AU而形成所述Vclick数据流。这是因为在所述客户装置中能够进行高速切换显示。例如，当所述Vclick数据置于所述服务器装置201中时，并且当包括所述多个摄影机角度之所述Vclick_AU的所述Vclick数据流原封不动地传送到所述客户装置时，由于观看期间所述摄影机角度对应的所述Vclick_AU总是发送到所述客户装置，所以所述摄影机角度的切换能够在瞬间进行。当然，所述客户装置200的设置信息已发送到所述服务器装置201，所以从所述Vclick数据流中仅仅选择所需的Vclick_AU并传送。不过在这种情况下，由于需要与所述服务器进行通信，所述处理变得有些慢(不过，如果高速措施比如光纤用于所述通信，就能够解决所述处理延迟的问题)。

另一方面，由于所述属性比如所述移动图像标题、DVD视频的PGC、所述移动图像的纵横比和观看范围的变化频率低，当它们准备为分开的Vclick数据流时，所述客户装置的处理量变得不大，所述网络的负载也变得不重。在存在着多段Vclick数据流的情况下，如上所述，通过引用所述Vclick信息文件，有可能确定应当选择哪段Vclick数据流。

在所述服务器装置201中存在着所述Vclick数据的情况下，以及在从所述头部开始再现所述移动图像的情况下，所述服务器装置201仅仅需要向所述客户装置以从所述头部开始的顺序递送所述Vclick数据流。不过，在发生随机存取的情况下，需要从所述Vclick数据流的中间开始递送所述数据。这时，为了在所述Vclick数据流中高速存取所需的位置，必须提供Vclick存取表。

图6显示了Vclick存取表的实例。这个表是事先准备的并与所述Vclick数据流一起记录。也可以使所述表格与所述Vclick信息文件内容相同。引用号600表示时间标记的布置，并且列出了所述移动图像的所述时间标记。引用号601表示存取点的布置，并且列出了从所述头部开始所述移动图像的所述时间标记对应的所述Vclick数据流的偏移值。在所述Vclick存取表中不存在所述移动图像中所述随机存取目的地的所述时间标记对应值的情况下，引用接近值的时间标记的存取点，并且在引用所述存取对附近所述Vclick数据流中所述时间标记的同时，搜索所述传输起始处。作为替代，从所述Vclick存取表搜索所述移动图像中所述随机存取目的地的所述时间标记之前时间处的时间标记，并且从所述时间标记对应的所述存取点开始传送所述Vclick数据流。

所述Vclick存取表存储在所述服务器装置中，提供它以帮助所述服务器装置检索根据所述客户发出的所述随机存取而将要传送的所述Vclick数据。不过，把所述服务器装置中存储的所述Vclick存取表下载到所述客户装置，可以使所述客户装置搜索所述Vclick数据流。尤其是在立即从所述服务器装置向所述客户装置下载所述Vclick数据流的情况下，也立即从所述服务器装置向所述客户装置下载所述Vclick存取表。

另一方面，也存在着以下情况：所述Vclick数据流记录在移动图像记录介质比如DVD上并提供。同样在这种情况下，为了检索根据再现内容的所述随机存取要使用的数据，有效的方式是所述客户装置使用所述Vclick存取表。在这种情况下，类似于所述Vclick数据流，所述Vclick存取表记录在所述移动图像记录介质上，所述客户装置把所述Vclick存取表从所述移动图像记录介质读进内部主存等并使用。

与所述移动图像的所述随机再现相联系的所述Vclick数据流的所述随机再现由所述元数据解码器217处理。在图6的所述Vclick存取表中，所述时间标记“时间”是具有所述移动图像记录介质上记录之所述移动图像所述时间标记格式的时间信息。例如，当所述移动图像由MPEG-2压缩并记录时，所述时间标记“时间”具有MPEG-2的PTS格式。另外，在所述移动图像具有导航结构比如标题以及例如DVD中节目链的情况下，表示它们的参数(TTN、VTS_TTN、TT_PGCN、PTTN等)包括在所述时间标记“时间”的所述格式中。所述时间标记的数值以升序或降序排列。例如，在所述PTS用于所述时间标记的情况下，它们能够以时间的顺序排列。同样对于包括所述DVD参数的所述时间标记，由于能够按照所述DVD的自然再现顺序定义所述顺序关系，所以有可能按顺序排列所述时间标记。

在图6的所述Vclick存取表中，存取点“偏移”表明所述Vclick数据流上的位置。例如，所述Vclick数据流是文件，所述存取点“偏移”表明所述文件的文件指针数值。所述存取点“偏移”与所述时间标记“时间”的成对关系如下：

i)由“偏移”指明的位置是某个Vclick_AU的头部位置。

ii)所述某个AU之时间标记的数值不大于所述时间标记“时间”的数值。

iii)所述某个AU以前之AU的所述时间标记数值真正小于所述时间标记“时间”。

所述Vclick存取表中所述时间标记“时间”的布置间隔可以是任意的，无须一致。不过，考虑到检索等操作的方便，可以使它们一致。

下一步将介绍所述服务器装置和所述客户装置之间的协议。作为从所述服务器装置201向所述客户装置200传送所述Vclick数据时使用的所述协议，有例如RTP(实时传输协议)。所述RTP与UDP/IP兼容，重要性在于附带了实时性质，因而有丢失数据包的可能性。使用所述RTP时，所述Vclick数据流划分为传输数据包(RTP数据包)并传送。此处将介绍把所述Vclick数据流变为所述传输数据包的存储方法实例。

图7和图8是示意图，用于讲解在Vclick_AU的数据规模小的情况下和在其数据规模大的情况下传输数据包的构建方法。图7的引用号700表示Vclick数据流。所述传输数据包包括数据包头部701和有效负载。所述数据包头部701包括所述数据包的序列号、传输时间、传输起点的特定信息等。所述有效负载是存储传输数据所用的数据区域。从所述Vclick_AU 700顺序提取的Vclick_AU(702)存储在所述有效负载中。在所述有效负载中无法收到下一个Vclick_AU的情况下，把填充数据703插入剩余部分。所述填充数据是调整数据规模所用的空数据，并且是例如连续的0值。在能够使所述有效负载的规模等于一个或多个Vclick_AU的规模的情况下，就不需要所述填充数据。

另一方面，图8显示了有效负载中一个Vclick_AU无法收到的情况下传输数据包的构建方法。首先，能够适合在第一个传输数据包的有效负载中的Vclick_AU(800)仅有一部分(802)存储在所述有效负载中。剩余数据(804)存储在第二个传输数据包的有效负载中，当所述有效负载发生存储规模过剩时，以填充数据805嵌入。类似的方法应用于一个Vclick_AU划分为三个或更多数据包的情况。

作为所述RTP以外的协议，可以使用HTTP(超文本传输协议)或HTTPS。所述HTTP与TCP/IP兼容，而且在这种情况下，由于再次传送丢失的数据，所以能够进行高可靠性的数据通信。不过，在所述网络吞吐量不高的情况下，就会担心发生数据延迟。由于在所述HTTP中不丢失数据，就不必考虑如何把所述Vclick数据流划分为数据包并存储。

(5)所述服务器装置中存在着Vclick数据情况下的再现过程

下一步将介绍所述服务器装置201中存在着Vclick数据流情况下的再现处理过程。

图37是流程图，表示了从用户的再现开始指令至所述再现开始的再现开始处理过程。首先，在步骤S3700，所述再现开始的所述指令由所述用户输入。所述接口处理器207接收这项输入，并向所述移动图像再现控制器205发布移动图像再现准备的指令。下一步，作为分支处理步骤S3701，判断是否已经配置了与所述服务器装置201的会话。如果尚未配置所述会话，所述处理进至步骤S3702，如果已经配置了所述会话，它进至步骤S3703。在步骤S3702，进行配置所述服务器和所述客户之间所述会话的所述处理。

图9显示了RTP用作所述服务器和所述客户之间通信协议的情况下从所述会话配置至所述会话断开的通信过程实例。尽管往往在使用所述RTP、RTSP(实时流式协议)的情况下，在所述会话开始时需要进行所述服务器和所述客户之间的协商。不过，由于所述RTSP的所述通信需要高可靠性，优选情况下在所述RTSP中由TCP/IP和在所述RTP中由UDP/IP进行所述通信。首先，为了配置所述会话，所述客户装置(图2实例中的200)请求所述服务器装置(图2实例中的201)提供与要形成数据流之所述Vclick数据有关的信息(RTSP的描述方法)。

此处假设所述客户通过例如在所述移动图像数据记录介质上记录地址信息的方法，事先已知递送将要再现的所述移动图像对应数据之所述服务器的所述地址。所述服务器装置响应这一请求，向所述客户装置发送所述Vclick数据的所述信息。确切地说，向所述客户装置发送信息，比如所述会话的协议版本、会话拥有者、会话名称、连接信息、所述会话的时间信息、元数据名称和元数据属性。作为这些的信息描述方法，使用例如SDP(会话描述协议)。下一步，所述客户装置请求所述服务器装置配置所述会话(RTSP的设置方法)。所述服务器装置准备所述数据流，并向所述客户装置返回会话ID。所述处理至此是使用所述RTP情况下步骤S3702的所述处理。

在使用所述HTTP而不是所述RTP情况下的所述通信过程如例如图10所示。首先，在作为低于所述HTTP的层TCP进行会话配置(3度握手)。注意，类似于以上情况，假设所述客户事先已知传递将要再现的所述移动图像对应数据的所述服务器的地址。随后，可以使用SDP等进行向所述服务器装置传送所述客户装置状态(例如制造国、语言、多种参数的选择状态等)的处理。到此为止的处理是在所述HTTP的情况下步骤S3702的所述处理。

在步骤S3703，在配置了所述服务器装置和所述客户装置之间会话的状态下，进行请求所述服务器传送所述Vclick数据的所述处理。进行这一步的方式为所述接口处理器向所述网络管理器208发布指令，所述网络管理器208向所述服务器发布请求。在所述RTP的情况下，所述网络管理器208向所述服务器发送RTSP的播放方法，并且请求所述Vclick数据传输。所述服务器装置参考迄今为止从所述客户收到的所述信息以及所述服务器装置中现有的所述Vclick信息，指定将要传送的所述Vclick数据流。另外，所述服务器装置还使用所述Vclick数据传输请求中包括的所述再现开始位置的时间标记信息以及所述服务器装置中现有的所述Vclick存取表来指定所述Vclick数据流中的所述传输起始位置，把所述Vclick数据流划分为数据包，并且通过所述RTP向所述客户装置发送。

另一方面，在所述HTTP的情况下，所述网络管理器208传送所述HTTP的所述获取方法，并且请求Vclick数据传输。这项请求可以包括所述移动图像的所述再现起始位置的所述时间标记信息。所述服务器装置通过与所述RTP的所述时间类似的方法，指定将要传送的所述Vclick数据流和所述数据流中的所述传输起始位置，并且通过所述HTTP向所述客户装置发送所述Vclick数据流。

下一步，在步骤S3704，进行把所述Vclick数据流从所述服务器缓冲进所述缓冲区209中的处理。进行这一步是为了避免以下状态：在所述Vclick数据流的所述再现期间，从所述服务器传送的所述Vclick数据流变得不足而所述缓冲区变得空置。如果从所述元数据管理器210向所述接口处理器通知在所述缓冲区中存储了足够的所述Vclick数据流，所述处理就进至步骤S3705。在步骤S3705，所述接口处理器向所述控制器205发布所述移动图像的再现开始指令，并且指令所述元数据管理器210开始向所述元数据解码器217传送所述Vclick数据流。

图38是流程图，用于讲解与图37不同的再现开始处理过程。在图37的流程图中讲解的处理中，根据所述网络的状态以及所述服务器和所述客户装置的处理能力，存在着在步骤S3704中花费大量时间对固定量Vclick数据流进行所述缓冲处理的情况。换言之，存在着从用户的再现指令至所述再现真正开始之间花费大量时间的情况。在图38的处理过程中，当所述用户在步骤S3800指令所述再现开始时，在下一个步骤S3801立即开始所述移动图像的所述再现。换言之，所述接口处理器207从所述用户收到所述再现开始指令后立即向所述控制器205发布所述再现开始指令。通过这样做，在所述再现指令之后就不会令用户一直等待所述移动图像的开始。从下一个步骤S3802至步骤S3805的处理与图37中从步骤S3701至步骤S3704的所述处理相同。

在步骤S3806，与再现期间所述移动图像同步地进行对所述Vclick数据流解码的处理。换言之，所述接口处理器207从所述元数据管理器210收到固定量Vclick数据流存储在所述缓冲区中的通知时，就指令所述元数据管理器210开始向所述元数据解码器传送所述Vclick数据流。所述元数据管理器210在再现期间从所述接口处理器接收所述移动图像的所述时间标记，从所述缓冲区中存储的所述数据中指定所述时间标记对应的所述Vclick_AU，并且向所述元数据解码器传送。

在图38的处理过程中，尽管在所述再现指令之后不会令用户一直等待所述移动图像的开始，但是存在着以下问题：由于在所述再现开始之后没有立即进行所述Vclick数据流的解码，就没有进行涉及所述对象的显示，或者说即使点击了所述对象，也不发生任何操作。

在所述移动图像的所述再现期间，所述客户装置的所述网络管理器208接收从所述服务器装置顺序发送的所述Vclick数据流，并且存储在所述缓冲区209中。在适当的时刻向所述元数据解码器217发送存储的对象元数据。换言之，所述网络管理器208参考从所述元数据管理器210发送的、再现期间所述移动图像的所述时间标记，从所述缓冲区209中存储的所述数据中指定所述时间标记对应的所述Vclick_AU，并且以AU为单位向所述元数据解码器217发送所述指定的对象元数据。所述元数据解码器217对收到的数据进行解码。不过，可能会使与所述客户装置当前选定摄影机角度不同的摄影机角度的数据不被解码。在已知再现期间所述移动图像的所述时间标记对应的所述Vclick AU存在于所述元数据解码器217中的情况下，可以不向所述元数据解码器发送所述对象元数据。

从所述接口处理器向所述元数据解码器217顺序地发送再现期间所述移动图像的所述时间标记。所述元数据解码器与所述时间标记同步地对所述Vclick_AU进行解码，并且向所述AV再现器218发送必要的数据。例如，在由所述Vclick_AU中描述的所述属性信息指示所述对象区域的所述显示的情况下，产生所述对象区域的屏蔽画面和轮廓，并且与再现期间所述移动图像的所述时间标记同步地向所述AV再现器218发送。此外，所述元数据解码器还对再现期间所述移动图像的所述时间标记与所述Vclick_AU的所述有效期进行对比，以判断不需要的旧对象元数据，并且删除所述数据。

图39是流程图，用于讲解再现停止处理的过程。在步骤S3900，所述用户指示所述移动图像再现期间的再现停止。下一步，在步骤S3901，进行停止所述移动图像再现的处理。进行这一步的方式为所述接口处理器207向所述控制器205发布所述停止指令。与此同时，所述接口处理器指示所述元数据管理器210停止向所述元数据解码器发送所述对象元数据。

步骤S3902是使所述会话与所述服务器断开的处理。在使用所述RTP的情况下，如图9所示，向所述服务器发送RTSP的拆卸方法。所述服务器装置收到所述拆卸消息时，就停止所述数据传输，结束所述会话，并且向所述客户装置发送核实消息。通过这种处理，所述会话使用的会话ID变为无效。反之，在使用所述HTTP的情况下，如图10所示，向所述服务器发送所述HTTP的关闭方法，结束所述会话。

(6)所述服务器装置中存在Vclick数据情况下的随机存取过程

下一步将介绍所述服务器装置201中存在所述Vclick数据流情况下的随机存取再现的过程。

图40是流程图，显示了从用户的随机存取再现开始指令至所述再现开始的处理过程。首先，在步骤S4000，由所述用户输入所述随机存取再现的开始指令。作为所述输入的方法，有一种方法是所述用户从可存取位置比如章节的列表中选择，有一种方法是所述用户从所述移动图像的所述时间标记对应的滑动杆上指定一个点，还有一种方法是直接输入所述移动图像的所述时间标记。所述接口处理器207接收所述输入的时间标记，并且向所述移动图像再现控制器205发布移动图像再现准备的指令。如果所述移动图像已经在再现，就指令所述再现期间所述移动图像的所述再现停止，并且发布所述移动图像再现准备的所述指令。下一步，作为分支处理步骤S4001，判断是否已经配置了与所述服务器装置201的所述会话。在所述会话已经配置的情况下，正如在例如所述移动图像正在再现的情况下，就进行步骤S4002的会话断开处理。如果尚未配置所述会话，就不进行步骤S4002的所述处理，所述处理进至步骤S4003。在步骤S4003，进行配置所述服务器和所述客户之间所述会话的处理。这项处理与图37中步骤S3702的处理相同。

下一步，在步骤S4004，在配置了所述服务器装置和所述客户装置之间会话的状态下，为所述服务器指定所述再现起始位置的所述时间标记，并且进行请求Vclick数据传输的处理。进行这一步的方式为所述接口处理器向所述网络管理器208发布所述指令，所述网络管理器208向所述服务器发布所述请求。在所述RTP的情况下，所述网络管理器208向所述服务器发送RTSP的播放方法，并且请求所述Vclick数据传输。这时，指定所述再现起始位置的所述时间标记也通过使用范围描述的方法向所述服务器发送。所述服务器装置参考迄今为止从所述客户收到的所述信息以及所述服务器装置中现有的所述Vclick信息，指定将要传送的所述对象元数据流。另外，所述服务器装置还使用所述Vclick数据传输请求中包括的所述再现开始位置的时间标记信息以及所述服务器装置中现有的所述Vclick存取表来指定所述Vclick数据流中的所述传输起始位置，把所述Vclick数据流划分为数据包，并且通过所述RTP向所述客户装置发送。

另一方面，在所述HTTP的情况下，所述网络管理器208传送所述HTTP的所述获取方法，并且请求Vclick数据传输。这项请求可以包括所述移动图像的所述再现起始位置的所述时间标记信息。类似于所述RTP，所述服务器装置参考所述Vclick信息文件来指定将要传送的所述Vclick数据流，并且进一步使用所述时间标记信息和所述服务器装置中现有的所述Vclick存取表来指定所述Vclick数据流中的所述传输起始位置，并且通过所述HTTP向所述客户装置发送所述Vclick数据流。

下一步，在步骤S4005，进行把所述Vclick数据流从所述服务器缓冲进所述缓冲区209中的处理。进行这一步是为了避免以下状态：在所述Vclick数据流的所述再现期间，从所述服务器传送的所述Vclick数据流变得不足而所述缓冲区变得空置。在从所述元数据管理器210向所述接口处理器通知在所述缓冲区中存储了足够的所述Vclick数据流时，所述处理进至步骤S4006。在步骤S4006，所述接口处理器向所述控制器205发布所述移动图像的再现开始指令，并且向所述元数据管理器210发布所述指令，以便开始向所述元数据解码器传送所述Vclick数据流。

图41是流程图，用于讲解与图40不同的随机存取再现开始处理过程。在图40的流程图中讲解的处理中，根据所述网络的状态和所述服务器和所述客户装置的处理能力，存在着在步骤S4005中花费大量时间来进行固定量Vclick数据流的所述缓冲处理的情况。换言之，存在着从用户的再现指令至所述再现真正开始之间花费大量时间的情况。

反之，在图41的处理过程中，当所述用户在步骤S4100指令所述再现开始时，在步骤S4101立即开始所述移动图像的所述再现。换言之，从所述用户收到所述再现开始指令的所述接口处理器207立即向所述控制器205发布所述随机存取再现开始指令。通过这样做，在所述再现的所述指令之后就不会令用户一直等待所述移动图像的开始。从下一个步骤S4102至步骤S4106的处理与图40中从步骤S4001至步骤S4005的所述处理相同。

在步骤S4107，与再现期间所述移动图像同步地进行对所述Vclick数据流解码的处理。换言之，所述接口处理器207从所述元数据管理器210收到固定量Vclick数据流存储在所述缓冲区中的通知时，就指令所述元数据管理器210开始向所述元数据解码器传送所述Vclick数据流。所述元数据管理器210在再现期间从所述接口处理器接收所述移动图像的所述时间标记，从所述缓冲区中存储的所述数据中指定这个时间标记对应的所述Vclick_AU，并且向所述元数据解码器传送。

在图41的处理过程中，尽管在所述再现的所述指令之后不会令用户一直等待所述移动图像的开始，但是由于在所述再现开始之后没有立即进行所述Vclick数据流的解码，就存在着以下问题：没有进行涉及所述对象的显示，或者说即使点击了所述对象，也不发生任何操作。

顺便提一句，由于所述移动图像的所述再现期间的处理及所述移动图像停止处理与所述正常再现处理的情况相同，所以将省略其讲解。

(7)所述客户装置中存在Vclick数据情况下的再现过程

下一步将介绍所述移动图像数据记录介质231中存在所述Vclick数据流情况下的再现处理过程。

图42是流程图，显示了从用户的再现开始指令至所述再现开始的再现开始处理过程。首先，在步骤S4200，所述再现开始的所述指令由所述用户输入。所述接口处理器207接收这项输入，并向所述移动图像再现控制器205发布移动图像再现准备的指令。下一步，在步骤S4201，进行指定将要使用之Vclick数据流的处理。在这项处理时，所述接口处理器参考所述移动图像数据记录介质231上的所述Vclick信息文件，并且指定由所述用户指令要再现的所述移动图像对应的所述Vclick数据流。

在步骤S4202，进行把所述Vclick数据流存储在所述缓冲区中的处理。为了进行这项处理，所述接口处理器207首先指令所述元数据管理器210分配所述缓冲区。尽管将要分配的所述缓冲区规模确定为足以存储所述指定Vclick数据流的规模，但是一般说来，在所述移动图像数据记录介质231上记录着描述这个规模的缓冲区初始化文档。在没有初始化文档的情况下，应用先前确定的规模。所述缓冲区分配完成后，所述接口处理器207向所述控制器205发布指令，以便读取所述指定的Vclick数据流并存储在所述缓冲区中。

所述Vclick数据流存储在所述缓冲区中后，下一步进行步骤S4203的所述再现开始处理。在这项处理中，所述接口处理器207向所述移动图像再现控制器205发布移动图像的再现指令，同时向所述元数据管理器210发布指令，以便开始向所述元数据解码器传送所述Vclick数据流。

在所述移动图像的所述再现期间，从所述移动图像数据记录介质231读取的所述Vclick_AU存储在所述缓冲区209中。在适当的时刻向所述元数据解码器217发送所述存储的Vclick数据流。换言之，所述网络管理器208参考从所述元数据管理器210发送的、再现期间所述移动图像的所述时间标记，从所述缓冲区209中存储的所述数据中指定所述时间标记对应的所述Vclick_AU，并且向所述元数据解码器217发送这个指定的Vclick_AU。所述元数据解码器217对收到的数据进行解码。不过，与所述客户装置当前选定摄影机角度不同的摄影机角度的数据可能不被解码。在已知再现期间所述移动图像的所述时间标记对应的所述Vclick_AU已经存在于所述元数据解码器217中的情况下，所述Vclick数据流可以不向所述元数据解码器发送。

从所述接口处理器向所述元数据解码器217顺序地发送再现期间所述移动图像的所述时间标记。所述元数据解码器与所述时间标记同步地对所述Vclick_AU进行解码，并且向所述AV再现器218发送必要的数据。例如，在由所述对象元数据的所述AU中描述的属性信息指示对象区域的所述显示的情况下，产生所述对象区域的屏蔽画面和轮廓，并且与再现期间所述移动图像的所述时间标记同步地向所述AV再现器218发送。此外，所述元数据解码器还对再现期间所述移动图像的所述时间标记与所述Vclick_AU的所述有效期进行对比，判断不需要的旧Vclick_AU，并且删除所述数据。

如果所述移动图像的所述再现期间所述用户指令再现停止，所述接口处理器207就向所述控制器205发布所述移动图像再现的停止指令和所述Vclick数据流读出的停止指令。通过所述指令，结束所述移动图像的所述再现。

(8)所述客户装置中存在Vclick数据情况下的随机存取过程

下一步将介绍Vclick数据流处于所述移动图像数据记录介质231上的情况下的随机存取再现处理过程。

图43是流程图，显示了从用户的随机存取再现开始指令至所述再现开始的处理过程。首先，在步骤S4300，所述随机存取再现开始的所述指令由所述用户输入。作为所述输入的方法，有一种方法是所述用户从可存取位置比如章节的列表中选择，有一种方法是所述用户从所述移动图像的所述时间标记对应的滑动杆上指定一个点，还有一种方法是直接输入所述移动图像的所述时间标记。所述接口处理器207接收所述输入的时间标记，并且向所述移动图像再现控制器205发布所述移动图像随机存取再现准备的指令。

下一步，在步骤S4301，进行指定将要使用之Vclick数据流的处理。在这项处理时，所述接口处理器参考所述移动图像数据记录介质231上的所述Vclick信息文件，并且指定由所述用户指令要再现的所述移动图像对应的所述Vclick数据流。另外，所述接口处理器参考所述移动图像数据记录介质231上的所述Vclick存取表或读入所述存储器的所述Vclick存取表，并且指定所述移动图像的所述随机存取目的地对应的所述Vclick数据流中的存取点。

步骤S4302是分支处理，判断所述指定的Vclick数据流现在是否读入所述缓冲区209中。在没有读入所述缓冲区中的情况下，进行了步骤S4303的处理之后，所述处理进至步骤S4304。在现在已读入所述缓冲区中的情况下，不进行步骤S4303的处理，所述处理进至步骤S4304。在步骤S4304，开始所述移动图像的所述随机存取再现，并且开始对所述Vclick数据流进行解码。在这项处理中，所述接口处理器207向所述移动图像再现控制器205发布所述移动图像的所述随机存取再现指令，同时向所述元数据管理器210发布所述指令，以便开始向所述元数据解码器传送所述Vclick数据流。随后，与所述移动图像的所述再现同步地进行对所述Vclick数据流的所述解码处理。由于所述移动图像的所述再现期间的处理及所述移动图像再现停止处理与所述正常再现处理的情况相同，所以将省略其讲解。

(9)从点击至相关信息显示的过程

下一步将介绍所述用户使用定点设备比如鼠标点击对象区域的情况下所述客户装置的操作。所述用户点击时，向所述接口处理器207输入所述移动图像上的点击坐标位置。所述接口处理器向所述元数据解码器217发送所述点击之时所述移动图像的所述时间标记和所述坐标。所述元数据解码器根据所述时间标记和所述坐标进行识别所述用户指定对象的处理。

所述元数据解码器与所述移动图像的所述再现同步地对所述Vclick数据流解码。所以，由于在所述点击之时产生了所述时间标记的所述对象区域，这项处理不难进行。在所述点击坐标处存在着多个对象区域的情况下，参考所述Vclick_AU中包括的层信息，并识别最前方的对象。

识别了所述用户指定的对象后，所述元数据解码器217向所述脚本解释器212发送所述对象属性信息403中描述的动作说明(指明操作的脚本)。已经收到所述动作说明的所述脚本解释器解释所述操作内容并执行。例如，显示所述指定的HTML文件，或者开始所述指定移动图像的所述再现。所述HTML文件和所述移动图像数据可能记录在所述客户装置200中，可能通过所述网络从所述服务器装置201发送，也可能存在于所述网络上另一台服务器中。

(10)数据结构的细节

下一步将介绍数据结构的更具体的结构实例。如图5中所述，所述Vclick数据流506包括所述Vclick数据流的所述头部和所述多个Vclick_AU。图11显示了所述Vclick数据流头部的数据结构实例。每个数据元素的意义如下：

“vclick_version”表示所述Vclick数据流头部的起点，并且指定格式的版本；

“vclick_length”表示所述Vclick数据流中“vclick_length”之后部分以字节计的数据长度。

下一步将介绍所述Vclick_AU的详细数据结构。所述Vclick_AU的粗略数据结构如图4中的描述。

图12显示了所述Vclick_AU头部401的数据结构实例。每个数据元素的意义如下：

“vau_start_code”表示每个所述Vclick_AU的起点；

“vau_length”表示所述Vclick_AU头部中“vau_length”之后部分以字节计的数据长度；

“vau_id”表示所述Vclick_AU的标识ID，由表示所述客户装置状态的若干参数和这个ID判断所述Vclick_AU是否应当解码；

“object_id”表示所述Vclick数据中描述之对象的标识号，在两个Vclick_AU中使用“object_id”的相同数值的情况下，二者在语义上都表示同一对象的数据；

“object_subid”表示所述对象的语义连续，在两个Vclick_AU中“object_id”和“object_subid”都相同的情况下，表示二者都是连续的(同一场景中出现而且相同的)对象；

“continue_flag”表示旗标(在第一位是“1”的情况下，它指明所述Vclick_AU中描述的对象区域与具有相同object_id之前一个Vclick_AU中描述的对象区域是连续的。在不是的情况下，这个旗标变为“0”。同样，第二位也指明所述Vclick_AU中描述的对象区域与具有相同“object_id”之下一个Vclick_AU中描述的对象区域的连续性。)；

“layer”表示对象的层值。如果所述层值大(或小)，表明所述对象在所述屏幕上位置向前。在所述点击处存在着多个对象的情况下，判定具有最大(或最小)层值的对象受到点击。

图13显示了所述Vclick_AU之时间标记402的数据结构实例。在这个实例中，假设DVD用作所述移动图像数据记录介质231。通过使用以下时间标记，在所述DVD上指定移动图像的任意时间变为可能，并且能够实现所述移动图像和所述Vclick数据的同步。每个数据元素的意义如下：

“time_type”表示所述DVD的所述时间标记起点；

“VTSN”表示所述DVD视频的VTS(视频标题集)号；

“TTN”表示所述DVD视频的标题域中的标题号，并且对应于所述DVD播放机的系统参数SPRM(4)中存储的数值；

“VTS_TTN”表示所述DVD视频的所述标题域中的VTS标题号，并且对应于所述DVD播放机的系统参数SPRM(5)中存储的数值；

“TT_PGCN”表示所述DVD视频的所述标题域中的标题PGC(节目链)号，并且对应于所述DVD播放机的系统参数SPRM(6)中存储的数值；

“PTTN”表示所述DVD视频的部分标题(Part_of_Title)号，并且对应于所述DVD播放机的系统参数SPRM(7)中存储的数值；

“CN”表示所述DVD视频的单元号；

“AGLN”表示所述DVD视频的角度号；

“PTS[s…e］”表示所述DVD视频的所述显示时间标记中从第s位至第e位的数据。

图14显示了所述Vclick_AU之时间标记跳跃的数据结构实例。在所述Vclick_AU中描述所述时间标记跳跃而不是所述时间标记的情况下，表明所述Vclick_AU的所述时间标记与前一个Vclick_AU的时间标记相同。每个数据元素的意义如下：

“time_type”表示所述DVD的所述时间标记跳跃起点。

图15显示了所述Vclick_AU之对象属性信息403的数据结构实例。每个数据元素的意义如下：

“attribute_length”表示所述对象属性信息中“attribute_length”之后部分以字节计的数据长度；

“data_bytes”表示所述对象属性信息的数据部分。图16所示的一个或多个属性数据在这个部分中描述。在图16的“最大值”列中指明了一个Vclick_AU中对每个属性能够描述的数据的最大数字。数据元素“attribute_id”表示每个属性数据中包括的ID，并且表示区分属性种类所用的数据。“名称”属性指明了指定对象名称所用的信息。在“动作”属性中，描述了点击移动图像中对象区域时应当进行何种动作。“轮廓”属性指明了如何显示对象轮廓的属性。“闪烁区域”属性指定了闪烁和显示对象区域之时的闪烁颜色。在“马赛克区域”属性中，描述了对象区域进行马赛克和显示之时形成马赛克的方式。“填充区域”属性指定了对象区域着色和显示之时的颜色。

“文本”范畴所属的属性定义了当需要在移动图像上显示字符时显示的字符有关的属性。在“文本信息”中描述了将要显示的文本。“文本属性”指定了将要显示的文本的颜色、字体等属性。“高亮效果”属性指定了部分或全部文本高亮显示时何种字符以何种方式高亮显示。“闪烁效果”属性指定了部分或全部文本闪烁显示时何种字符以何种方式闪烁显示。在“滚动效果”属性中，描述了滚动将要显示的文本时在哪个方向及以何种速度进行滚动。在“卡拉OK”属性中，指定了文本的颜色顺序地改变时，哪种字符的颜色应当在哪个时刻改变。最后，“层扩展”属性用于定义在所述Vclick_AU中对象的层值改变的情况下，所述层值的改变时刻及其数值。下面将分别介绍上述属性的数据结构。

图17显示了所述对象之名称属性的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性数据的类型，对于所述名称属性使这个数值为00h；

“data_length”表示所述名称属性数据的“data_length”之后以字节计的数据长度；

“language”表示以下元素(名称和注释)的说明所用的语言，而且ISO-639“code for the representation of names of languages”用于指定所述语言；

“name_length”表示“name”元素以字节计的数据长度；

“name”表示字符串，而且表示这个Vclick_AU中描述的对象的名称；

“annotation_length”表示“annotation”元素的数据长度；

“annotation”表示字符串，而且表示所述Vclick_AU中描述的对象有关的注释。

图18显示了所述对象之动作属性的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性数据的类型，对于所述“action”属性使这个数值为01h；

“data_length”表示所述动作属性数据中“data_length”之后部分以字节计的数据长度；

“script_language”表示“script”元素中描述的脚本语言类型；

“script_length”表示“script”元素以字节单位计的数据长度；

“script”表示字符串，而且以“script_language”指定的脚本语言描述在所述用户指定所述Vclick_AU中描述的对象情况下将要执行的动作。

图19显示了所述对象之轮廓属性的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性的类型，对于所述轮廓属性使这个数值为02h；

“data_length”表示所述轮廓属性数据中“data_length”之后部分的数据长度；

“color_r”、“color_g”、“color_b”和“color_a”表示所述对象元数据AU中描述的对象轮廓的显示颜色；

“color_r”、“color_g”和“color_b”分别表示颜色的RGB表达中红色、绿色和蓝色的数值，“color_a”表示透明度；

“line_type”表示所述Vclick_AU中描述的对象轮廓的种类(实线、虚线等)；

“thickness”表示所述Vclick_AU中描述的对象轮廓的厚度。

图20显示了对象之闪烁区域属性的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性数据的类型，对于所述闪烁区域属性使这个数值为03h；

“data_length”表示所述闪烁区域属性数据中“data_length”之后部分以字节计的数据长度；

“color_r”、“color_g”、“color_b”和“color_a”表示所述Vclick_AU中描述的对象区域的显示颜色(“color_r”、“color_g”、“color_b”分别表示颜色的所述RGB表达中红色、绿色和蓝色的数值。另一方面，“color_a”表示透明度。通过交替地显示所述填充区域属性中指定的颜色和这种属性指定的颜色，实现了所述对象区域的闪烁。)；

“interval”表示闪烁的时间间隔。

图21显示了所述对象之马赛克区域属性的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性数据的类型，对于所述马赛克区域属性使这个数值为04h；

“data_length”表示马赛克区域属性数据中“data_ength”之后部分以字节计的数据长度；

“mosaic_size”表示马赛克区域以像素单位计的尺寸；

“randomness”表示在交换马赛克区块位置的情况下随机交换的程度。

图22显示了所述对象之马赛克区域属性的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性数据的类型，对于所述填充区域属性使这个数值为05h；

“data_length”表示所述填充区域属性数据中“data_length”之后部分以字节计的数据长度；

“color_r”、“color_g”、“color_b”和“color_a”表示所述对象元数据AU中描述的对象轮廓的显示颜色，“color_r”、“color_g”和“color_b”分别表示颜色的所述RGB表达中红色、绿色和蓝色的数值，另一方面，“color_a”表示透明度。

图23显示了所述对象之文本信息的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性数据的类型，对于所述对象的所述文本信息使这个数值为06h；

“data_length”表示所述对象的所述文本信息中“data_length”之后部分以字节计的数据长度；

“language”表示所描述文本的语言，而且作为所述语言的描述方法，能够使用例如ISO-639“code for the representation of names oflanguages”；

“char_code”表示文本的代码种类，例如指定UTF-8、UTF-16、ASCII或Shift_JIS；

“direction”表示向右、向左、向下或向上，作为排列字符的方向(例如在英文或法文中，字符通常向右排列。反之，在阿拉伯文中，字符向左排列，在日文中，向右或向下排列。不过，可以指定对每种语言确定的排列方向以外的方向。此外，也可以指定倾斜的方向。)；

“text_length”表示“timed_text”以字节计的长度；

“text”表示字符串，而且表示使用由“char_code”指定的所述字符代码描述的文本。

图24显示了所述对象之文本属性的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性数据的类型，对于所述对象的所述文本属性使这个数值为07h；

“data_length”表示所述对象的所述文本属性中“data_length”之后部分以字节计的数据长度；

“font_length”表示以字节计的字体描述长度；

“font”表示字符串，并且指定显示文本时使用的字体；

“color_r”、“color_g”、“color_b”和“color_a”表示显示文本时使用的显示颜色。颜色以RGB表示，“color_r”、“color_g”和“color_b”分别表示红色、绿色和蓝色的数值，“color_a”表示透明度。

图25显示了所述对象之文本高亮效果属性的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性数据的类型，对于所述对象的所述文本高亮效果属性数据使这个数值为08h；

“data_length”表示所述对象的所述文本高亮效果属性数据中“data_length”之后部分以字节计的数据长度；

“entry”表示所述文本高亮效果属性数据中“highlight_effect_entry”的数目；

“highlight_entries”包括“entry”个“highlight_effect_entry”。

下一步将介绍“highlight_effect_entry”的规定。

图26显示了所述对象之文本高亮效果属性入口的数据结构实例。每个数据元素的意义如下：

“start_position”表示将要强调的字符的起始位置，以从所述头部至所述字符的字符数目计；

“end_position”表示将要强调的所述字符的结束位置，以从所述头部至所述字符的字符数目计；

“color_r”、“color_g”、“color_b”和“color_a”表示强调后所述字符的显示颜色。颜色以RGB表示。此外，“color_r”、“color_g”和“color_b”分别表示红色、绿色和蓝色的数值，“color_a”表示透明度。

图27显示了所述对象之文本闪烁效果属性的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性数据的类型，对于所述对象的所述闪烁效果属性数据使这个数值为09h；

“data_length”表示所述文本闪烁效果属性数据中“data_length”之后部分以字节计的数据长度；

“entry”表示所述文本闪烁效果属性数据中“blink_effect_entry”的数目；

“blink_entries”包括“entry”个“blink_effect_entry”。

图28显示了所述对象之文本闪烁效果属性的数据结构实例。每个数据元素的意义如下：

“start_position”表示将要闪烁的字符的起始位置，以从所述头部至所述字符的字符数目计；

“end_position”表示将要闪烁的所述字符的结束位置，以从所述头部至所述字符的字符数目计；

“color_r”、“color_g”、“color_b”和“color_a”表示闪烁字符的显示颜色(颜色以RGB表示。此外，“color_r”、“color_g”和“color_b”分别表示红色、绿色和蓝色的数值，“color_a”表示透明度。此处指定的颜色和由所述文本属性指定的颜色交替显示使得所述字符闪烁。)；

“interval”表示闪烁的时间间隔。

图29显示了所述对象之文本滚动效果属性入口的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性数据的类型，对于所述对象的所述文本滚动效果属性数据使这个数值为0ah；

“data_length”表示以字节单位计所述文本滚动效果属性数据中“data_length”之后部分的数据长度；

“direction”表示字符滚动的方向，例如0表示方向从右向左，1表示方向从左向右，2表示方向从上向下，3表示方向从下向上；

“delay”表示由显示将要显示的第一个字符和显示最后一个字符之间的时差表示的滚动速度。

图30显示了所述对象之文本卡拉OK效果属性入口的数据结构实例。每个数据元素的意义如下：

“attribute_id”表示属性数据的类型，对于所述对象的所述文本卡拉OK效果属性数据使这个数值为0bh；

“data_length”表示以字节单位计所述文本卡拉OK效果属性数据中“data_length”之后部分的数据长度；

“entry”表示所述文本卡拉OK效果属性数据中“karaoke_effect_entry”的数目；

“karaoke_entries”包括“entry”个“karaoke_effect_entry”。下一步将介绍“karaoke_effect_entry”的规定。

图31显示了所述对象之文本卡拉OK效果属性入口(“karaoke_effect_entry”)的数据结构实例。每个数据元素的意义如下：

“end_time”表示由这个入口指定的字符串的字符颜色改变结束时间，在这个入口有后续入口的情况下，它也表示由下一个入口指定的字符串的字符颜色改变开始时间；

“start_position”表示将要改变字符颜色之字符串中第一个字符的位置，以从所述头部至所述字符的字符数目计；

“end_position”表示将要改变所述字符颜色之所述字符串中最后一个字符的位置，以从所述头部至所述字符的字符数目计。

图32显示了所述对象之层属性扩展的数据结构实例。每个数据元素的意义如下：

“attrihute_id”表示属性数据的类型，对于所述对象的所述层属性扩展数据使这个数值为0ch；

“data_length”表示以字节单位计所述层属性扩展数据中“data_length”之后部分的数据长度；

“start_time”表示由所述属性数据的“data_bytes”中包括的第一个“layer_extension_entry”指定的层值变为有效时的开始时间；

“entry”表示所述层属性扩展数据中包括的“layer_extension_entry”的数目；

“layer_entries”包括“entry”个“layer_extension_entry”。

下一步将介绍“layer_extension_entry”的规定。

图33显示了所述对象之层属性扩展入口(“layer_extension_entry”)的数据结构实例。每个数据元素的意义如下：

“end_time”表示由“layer_extension_entry”指定的层值变为失效时的时间，在这个入口还有下一个入口的情况下，它也同时表示由下一个入口指定的层值变为有效时的时间；

“layer”表示所述对象的层值。

图34显示了所述对象元数据的所述AU中所述对象区域数据400的数据结构实例。每个数据元素的意义如下：

“vcr_start_code”表示对象区域数据的起点；

“data_length”表示所述对象区域数据中“data_length”之后部分以字节计的数据长度；

“data_bytes”表示描述所述对象区域的数据部分。例如，MPEG-7的“SpatioTemporalLocator”二进制格式可以用于描述所述对象区域。

(11)复杂对象外形的表达

在所描述对象的外形具有时空范围内复杂外形的情况下，通过多个子平面区域的叠加来描述它能够简化所述工作。这也适用于例如一个对象遮掩另一个对象的情况。后文将介绍通过多个子平面区域的叠加高效地表示对象时空范围的情况。

(11-1)数据结构

首先将介绍数据结构。

图45显示了与图34不同的、AU中对象区域数据的数据结构。与图34的差异在于data_length之后增加了指明构成对象区域之子平面区域数目的vcr_shape_num、指明写入了集成所述子平面区域并确定最终对象区域之集成系统的vcr_rule_code、指明所述集成系统数据长度的vcr_rule_length以及指明所述集成系统的数据vcr_rule，随后，通过由vcr_shape_num指明的所述数目连续地描述vcr_rule中出现之每个子平面区域的数据vcr_subregion_data。

图46显示了vcr_subregion_data的数据结构实例。

所述vcr_subregion_data包括指明其为一个子平面区域信息的vcr_shape_code、变为每个子平面区域id的vcr_shape_id、指明所述对象区域对应于所述子平面区域内部还是外部的二进制代码vcr_inside_flag、指明所述子平面区域数据长度的vcr_shape_length以及所述子平面区域的数据vcr_shape_data。

所述vcr_shape_data能够仅仅由其内部数据来表示所述子平面区域在屏幕上每个时间的位置和形状。在这种vcr_shape_data中，能够使用例如二进制格式的MPEG-7时空定位器。

(11-2)获取所述对象外形的方法

图47中将展示从这些数据获取每个时间所述对象外形的方法。

图47中的每幅图形都表示从图44的vcr_shape_data恢复的所述子平面区域在特定时间在屏幕上的位置和形状。如果所述子平面区域轮廓的内部变为所述对象区域，与每幅图形相伴的vcr_inside_flag的数值为1，如果外部变为所述对象区域，该数值为0。这些区域的ID和一组逻辑运算所用的运算符比如AND和OR按照例如逆波兰表示法存储在vcr_rule中。例如，当假设表达式

“12∩3∩”存储在vcr_rule中时，图47中由斜线指明的区域变为真正的对象区域。如果vcr_rule是包括所述子平面区域ID和所述逻辑运算组中运算符的栏，而且它们遵从所述逆波兰表示法，通过图48的过程能够获得最终对象区域。

(11-3)获取所述最终对象外形的方法

下面将介绍从图45和图46中给出的数据获取所述最终对象外形的方法。

首先，在步骤S5300，获取帧时间T1。与此同时，产生一个空堆栈以便存储画面。

下一步，在步骤S5301，从vcr_rule中存储的符号栏的头部获取一个子平面区域ID。

下一步，在步骤S5302，从跟随vcr_shape_code描述的多个子平面区域的数据中获取与获取的所述ID一致的区域数据，并且获取在所述时间T1上所述区域的位置、外形和vcr_inside_flag。

下一步，在vcr_inside_flag为1的情况下，所述过程进至S5303，在为0的情况下，进行S5304的处理。

在S5303，产生一幅画面，其中在S5302获取的所述子平面区域内部所有像素都是1，其他像素都是0，并且推进所述堆栈X，所述过程进至S5305。

在S5304，产生一幅画面，其中在S5302获取的所述子平面区域内部所有像素都是0，其他像素都是1，并且推进所述堆栈X，所述过程进至S5305。

在S5305，判断vcr_rule是否为空，如果它为空，所述处理结束。否则从vcr_rule提取头部符号，所述过程进至S5306。

在S5306，如果它是子平面区域ID，所述过程进至S5302，如果它是运算符，所述过程进至S5307。

在S5307，从所述堆栈X弹出两幅画面，并把它们和从S5306获取的运算符产生的画面推进所述堆栈X。使所产生画面中每个像素的数值都是使用刚好在S5306之前获取的运算符对从所述堆栈获取的两幅画面中对应位置获取的两个像素数值进行逻辑运算获取的结果。所述堆栈中最后保持的画面反映了所述对象的最终外形，所述对象的区域为1，其他区域为0。

(11-4)子平面区域数据的修改实例1

并不要求图46的vcr_inside_flag包括在所述子平面区域的所述数据中，而是能够以vcr_rule中NOT运算符的形式描述。此外，对于vcr_rule中包括的数据，所述子平面区域之间的叠加仅仅必须在最后定义，而不必要求所述表示法为所述逆波兰表示法。另外，对于vcr_rule_code、vcr_rule_length和vcr_rule，实施方式可能是在产生了以下默认规则后省略它们，例如“在省略它们的情况下，仅仅使从所有子平面区域的vcr_flag和所述子平面区域的所述轮廓确定的时空范围内包括的范围是所述对象区域”。

(11-5)子平面区域数据的修改实例2

在上述实施例中，尽管通过叠加多个子平面区域来表示所述对象区域，但是除此以外，所述数据结构也可以是使用一个子平面区域的轮廓数据以及指定所述轮廓内部或外部的二进制数据，并且使所述子平面区域的内部或外部是所述对象区域。

(12)修改实例

顺便提一句，本发明并非严格局限于上述实施例，在实践阶段，所述结构元素能够进行多种修改而且能够嵌入本发明的范围而不脱离其实质。例如，本发明不仅能够应用于目前风靡全球范围的DVD-ROM视频，而且能够应用于近年来需求飞速增长的可记录/可再现DVD-VR(录像机)。另外，本发明也能够应用于看来在最近的将来变得流行的下一代HD-DVD再现系统或记录/再现系统。

此外，通过对上述实施例中公开的多个结构元素进行适当的组合，能够构建多项发明。例如，从所述实施例中公开的所有结构元素中可以删除某些结构元素。另外，不同实施例的结构元素可以适当地组合。

Claims (10)

1.一种与移动图像相关的元数据的数据结构，包括：

流数据结构，所述流数据结构包括一个或多个访问单元，每个访问单元都是能够被独立处理的数据单元，

其特征在于，所述访问单元的每一个都包括：

第一数据，用于指定关于所述移动图像的时间轴定义的有效期；

对象区域数据，用于描述所述移动图像中的时空范围；以及

第二数据，包括指定与所述时空范围相关的显示方法的数据和指定当指定了所述时空范围时要进行的处理的数据中的一种数据或二种数据，而且

其中所述对象区域数据包括表示多个子平面区域的子平面区域数据，以及叠加所述多个子平面区域的叠加数据，而且

所述时空范围通过叠加所述多个子平面区域来表示。

2.根据权利要求1的元数据的数据结构，其特征在于，所述子平面区域数据包括与子平面区域的轮廓相关的轮廓数据，以及由描述所述时空范围对应于所述子平面区域的内部还是外部的区域指定数据。

3.根据权利要求1的元数据的数据结构，其特征在于，所述叠加数据包括计算所述时空范围所用的运算方法。

4.一种与移动图像相关的元数据的数据结构，包括：

流数据结构，所述流数据结构包括一个或多个访问单元，每个访问单元都是能够被独立处理的数据单元，

其特征在于，所述访问单元的每一个都包括：

第一数据，用于指定关于所述移动图像的时间轴定义的有效期；

对象区域数据，用于描述所述移动图像中的时空范围；以及

第二数据，包括指定与所述时空范围相关的显示方法的数据和指定当指定了所述时空范围时要进行的处理的数据中的一种数据或二种数据，而且

其中所述对象区域数据包括与一个子平面区域在特定时间的轮廓相关的轮廓数据，以及描述所述时空范围对应于所述平面区域的内部还是外部的区域指定数据。

5.根据权利要求1的元数据的再现装置，包括：

表达部件，调用多个子平面区域数据和所述叠加数据，并且根据所述叠加数据通过叠加由所述多个子平面区域数据表示的所述子平面区域而表示所述时空范围。

6.根据权利要求1的元数据的再现方法，包括：

调用多个子平面区域数据和所述叠加数据，并且根据所述叠加数据通过叠加由所述多个子平面区域数据表示的所述子平面区域而表示所述时空范围。

7.一种使计算机实现根据权利要求1的元数据的再现方法的程序，包括：

调用多个子平面区域数据和所述叠加数据，并且根据所述叠加数据通过叠加由所述多个子平面区域数据表示的所述子平面区域而表示所述时空范围的功能。

8.一种根据权利要求4的元数据的再现装置，包括：

处理部件，调用特定时间的所述轮廓数据和所述区域指定数据，并且根据所述区域指定数据通过指定所述轮廓数据所表示的所述平面区域的内部还是外部来表示所述时空范围。

9.一种根据权利要求4的元数据的再现方法，包括：

调用特定时间的所述轮廓数据和所述区域指定数据，并且根据所述区域指定数据通过指定所述轮廓数据所表示的所述平面区域的内部还是外部来表示所述时空范围。

10.一种使计算机实现根据权利要求4的元数据的再现方法的程序，包括：

调用特定时间的所述轮廓数据和所述区域指定数据，并且根据所述区域指定数据通过指定所述轮廓数据所表示的所述平面区域的内部还是外部来表示所述时空范围的功能。

Images