CN1856833A - 显示与文本数据结合的多媒体数据的设备和方法及包括执行该方法的程序的记录介质 - Google Patents

Abstract

一种用于显示与文本数据结合的多媒体数据的设备和方法以及在一种其上记录有该方法的记录介质。在所述用于显示与文本数据结合并根据Music Photo Video(MPV)格式描述的多媒体数据的设备中，检查用户选择的资源是否包括单个音频数据以及一个或多个文本数据；提取显示所述音频数据和文本数据所需的信息；使用提取的信息来提取音频数据以进行回放，以及从提取的信息中提取所述一个或多个文本数据，并且在音频数据的回放期间使用预定的显示方法来顺序地显示所述一个或多个文本数据。

Description

显示与文本数据结合的多媒体数据的设备和方法及包括执行该方法的程序的 记录介质

                         技术领域

本发明涉及一种显示与文本数据结合的多媒体数据的设备和方法以及一种在其上记录该方法的记录介质，更具体地说，涉及一种为了向用户提供内容而管理MultiPhotoVideo或MusicPhotoVideo(MPV)格式的与一个或多个文本数据结合的诸如音频数据、图像数据或视频数据的内容的设备和方法。

                         背景技术

MPV是由在2002年由光存储制造商建立的国际贸易协会——光存储技术协会(下文称为“OSTA”)公布的专用于多媒体字幕的工业标准规范。也就是说，MPV是用于更方便地提供多种音乐、图像和视频数据或用于管理和处理多媒体数据的标准规范。通过OSTA的官方网站(www.osta.org)可获得MPV和其它标准规范的定义。

近来，通过个人计算机(PC)处理和播放包括数字图像、视频、数字音频、文本等的多媒体数据。播放媒体内容的装置，例如数码相机、数码摄像机、数字音频播放器(即诸如运动图像专家组层3音频(MP3)、视窗媒体音频(WMA)等的数字音频数据播放装置)，已经被经常使用，相应地，各种媒体数据已经被大量制作。

然而，个人计算机主要用于管理被大量制作的多媒体数据，在这方面，要求基于文件的用户经验。此外，当在特定产品上制作多媒体数据时，数据属性、数据播放顺序以及数据播放方法取决于多媒体数据而被制作。如果个人计算机访问这些数据，则属性丢失，而仅有源数据被传送。换句话说，这导致了在家用电子产品、个人计算机和数字内容播放器装置之间的与数据和数据属性相关的很弱的互操作性。

将描述弱互操作性的示例。通过使用数码相机拍摄图像，并且诸如通过使用用于识别在数码相机上拍摄的图像的幻灯显示功能确定的幻灯片的属性的顺序、图像之间的时间间隔、通过使用全景拍摄功能确定其属性的图像之间的关系、以及通过使用连续拍摄功能确定的属性的数据与作为源数据的实际图像数据一同被存储。此时，如果数码相机使用AV缆线将图像发送到电视机，则用户可观看其各个属性被表现出来的多媒体数据。然而，如果数码相机使用通用串行总线(USB)访问个人计算机，则仅有源数据被传送到计算机，而其各种属性丢失。

如上所述，这说明个人计算机对诸如存储在数码相机中的数据的属性的元数据的互操作性非常弱，或可以说个人计算机没有对数码相机的互操作性。

为了增强与在数字装置之间的数据相关的互操作性，已经发展了用于MPV的标准。

MPV规范定义了Manifest、Metadata和Practice以处理和播放一系列的多媒体数据，例如数字图像、视频，音频等，这些多媒体数据被存储在包括光盘、存储卡和计算机硬盘的存储介质(或装置)中，或通过互联网协议(IP)来进行交换。

OSTA(光存储技术协会)和I3A(国际图像工业协会)现在正在发展用于MPV的标准。MPV采用开放规范，主要主张要容易地处理、交换和播放一系列的数字图像、视频、数字音频和文本等。

MPV大致分为MPV核心规范(0.90WD)和子规范(Profile)。

所述核心包括诸如集合(collection)、元数据(Metadata)和标识(Identification)的三个基本因素。

集合具有作为根(Root)成员的Manifest，其包括Metadata、Album、MarkedAsset和AssetList等。资源(asset)指的是根据MPV格式描述的多媒体数据，其被分为两种：简单媒体资源(例如数字图像、数字音频、文本等)和组合媒体资源(例如与数字音频结合的数字图像(StillWithAudio)、连续拍摄的数字图像(StillMultishotSequence)和全景数字图像(StillPanoramaSequence))等。图1示出了StillWithAudio、StillMultishotSequence和StillPanoramaSequence的示例。

Metadata采用可扩展标记语言(XML)的格式，并具有5种用于标识的标识符。

1、LastURL，有关资源的文件名称和路径名称(到对象的路径)，

2、InstanceID，每一资源的唯一的ID(每个对象唯一的：例如EXif2.2)，

3、DocumentID，与源数据和修正的数据两者都相同，

4、ContentID，每当有关的资源被用于特定目的时就被创建，

5、id，在元数据中的局部变量。

存在七个子规范：Basic子规范、Presentation子规范、Capture/Edit子规范、Archive子规范、Internet子规范、Priming子规范和Container子规范。

MPV使用XML元数据支持各种文件关联的管理，从而允许记录在存储介质上的各种多媒体数据被播放。具体地说，MPV支持JPEG(联合图像专家组)、MP3、WMA(视窗媒体音频)、WMV(视窗媒体视频)、MPEG-1(运动图像专家组-1)、MPEG-2、MPEG-4和诸如AVI(音频视频交织)和QuickTime MJPEG(运动联合图像专家组)视频的数码相机格式。MPV规范采用的盘与ISO9660级1、Joliet兼容，还与多会话CD(压缩盘)、DVD(数字多功能盘)、存储卡、硬盘和互联网兼容，从而允许用户管理并处理各种多媒体数据。

发明内容

                         技术问题

然而，需要在MPV格式规范中没有定义的各种多媒体数据的新的格式，也就是说，需要新的资源格式，并且期望添加提供多媒体数据的功能。

                         技术方案

本发明提供一种除了在当前的MusicPhotoVideo(MPV)格式中提供的多媒体数据的现有多种集合之外的新的类型的多媒体数据，并提供一种用于向用户提供所述新的类型的多媒体数据从而能够更加多样性地使用多媒体数据的集合的方法。

根据本发明的一方面，提供一种用于显示根据MPV格式描述的多媒体数据的设备，其中，检查用户选择的资源是否包括单个音频数据以及一个或多个文本数据；提取显示音频数据和文本数据所需的信息；使用提取的信息来提取单个音频数据以进行回放；从提取的信息中提取所述一个或多个文本数据，并在单个音频数据的回放期间使用预定的显示方法顺序地显示所述一个或多个文本数据。

在示例性实施例中，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。此外，显示方法可包括：在回放音频数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。

根据本发明的另一方面，提供一种用于显示与文本数据结合并根据MusicPhotoVideo(MPV)格式描述的多媒体数据的设备，其中，检查用户选择的资源是否包括单个视频数据以及一个或多个文本数据；提取显示所述视频数据和文本数据所需的信息；使用提取的信息来提取视频数据以进行回放；从提取的信息中提取所述一个或多个文本数据，并在视频数据的回放期间使用预定的显示方法顺序地显示所述一个或多个文本数据。在此情形中，所述资源包括关于文本数据被优选地显示的位置和文本数据被显示的时间的信息。此外，所述显示方法可包括：在回放视频数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。

根据本发明的另一方面，提供一种用于显示与文本数据结合并根据MusicPhotoVedio(MPV)格式描述的多媒体数据的设备，其中，检查用户选择的资源是否包括单个图像数据以及一个或多个文本数据；提取显示所述图像数据和文本数据所需的信息；使用提取的信息来提取图像数据以进行显示；从提取的信息中提取所述一个或多个文本数据，并在图像数据的显示期间使用预定的显示方法顺序地显示所述一个或多个文本数据。

在示例性实施例中，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。此外，所述显示方法可包括：在回放图像数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。

根据本发明的另一方面，提供一种用于显示与文本数据结合并根据MusicPhotoVideo(MPV)格式描述的多媒体数据的方法，该方法包括以下步骤：检查用户选择的资源是否包括单个音频数据以及一个或多个文本数据；提取显示所述音频数据和文本数据所需的信息；使用提取的信息来提取音频数据以进行回放；从提取的信息中提取所述一个或多个文本数据，并在音频数据的回放期间使用预定的显示方法顺序地显示所述文本数据。

这里，所述资源优选地，但不是必须地包括关于文本数据被显示的位置和文本数据被显示的时间的信息，所述显示方法可包括：在回放音频数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。此外，所述显示时间信息优选地，但不是必须地包括显示文本数据开始的时间以及文本数据回放的显示持续时间。

根据本发明的另一方面，提供一种用于显示与文本数据结合并根据MusicPhotoVIdeo(MPV)格式描述的多媒体数据的方法，该方法包括：检查由用户选择的资源是否包括单个视频数据以及一个或多个文本数据；提取显示所述视频数据和文本数据所需的信息；使用提取的信息来提取视频数据以进行回放；从提取的信息中提取所述一个或多个文本数据，并在视频数据的回放期间使用预定的显示方法顺序地显示所述文本数据。

在示例性实施例中，所述显示方法包括：在回放视频数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。所述显示时间信息包括显示文本数据开始的时间以及文本数据被显示的显示持续时间。此外，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。

根据本发明的另一方面，提供一种用于显示与文本数据结合并根据MusicPhotoVedio(MPV)格式描述的多媒体数据的方法，该方法包括：检查用户选择的资源是否包括单个图像数据以及一个或多个文本数据；提取显示所述图像数据和文本数据所需的信息；使用提取的信息来提取和显示图像数据；从提取的信息中提取所述一个或多个文本数据并在图像数据的显示期间使用预定的显示方法顺序地显示所述文本数据。

在示例性实施例中，所述显示方法包括：在显示图像数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。在此情形中，所述显示时间信息包括显示文本数据开始的时间以及文本数据被显示的显示持续时间。此外，所述资源优选地，但不是必须地包括关于文本数据被显示的位置和文本数据被显示的时间的信息。

根据本发明的另一方面，提供一种在其上记录有用于显示根据MusicPhotoVideo(MPV)格式描述的多媒体数据的程序的记录介质，其中，该程序检查用户选择的资源是否包括单个音频数据以及一个或多个文本数据；提取显示所述音频数据和文本数据所需的信息；使用提取的信息来提取音频数据以进行回放；从提取的信息中提取所述一个或多个文本数据以在音频数据的回放期间使用预定的显示方法顺序地显示所述文本数据。

根据本发明的另一方面，提供一种在其上记录有用于显示根据MusicPhotoVIdeo(MPV)格式描述的多媒体数据的程序的记录介质，其中，该程序检查用户选择的资源是否包括单个视频数据以及一个或多个文本数据；提取显示所述视频数据和文本数据所需的信息；使用提取的信息来提取视频数据以进行回放；从提取的信息中提取所述一个或多个文本数据以在视频数据的回放期间使用预定的显示方法顺序地显示所述文本数据。

根据本发明的另一方面，提供一种在其上记录有用于显示根据MusicPhotoVedio(MPV)格式描述的多媒体数据的程序的记录介质，其中，该程序检查用户选择的资源是否包括单个图像数据以及一个或多个文本数据；提取显示所述图像数据和文本数据所需的信息；使用提取的信息来提取图像数据以进行显示；从提取的信息中提取所述一个或多个文本数据以在图像数据的显示期间使用预定的显示方法顺序地显示所述文本数据。

                         附图说明

通过下面参照附图对本发明示例性实施例进行的详细描述，本发明的上述和其他特点和优点将会变得更加清楚，其中：

图1是在MusicPhotoVideo(MPV)规范中指定的资源的类型的示例性示图；

图2是简要定义根据本发明实施例的<TextContent>元素的示例性示图；

图3是简要定义根据本发明实施例的<TextBody>元素的示例性示图；

图4是简要定义根据本发明实施例的<TextLocation>元素的示例性示图；

图5是示出根据本发明实施例的在形成<TextLocation>元素的子元素的位置坐标中的关系的示例性示图；

图6是简要定义根据本发明实施例的<AudioWithText>元素的示例性示图；

图7是示出根据本发明实施例的用于<AudioWithTextTYpe>元素的类型定义示例性示图；

图8是简要定义根据本发明实施例的<PhotoWithText>元素的示例性示图；

图9是示出根据本发明实施例的用于<PhotoWithTextTYpe>元素类型的类型定义示例性示图；

图10是简要定义根据本发明实施例的<VideoWithText>元素的示例性示图；

图11定义示出根据本发明实施例的用于<VideoWithText>元素类型的类型定义的<TextContentType>的结构；

图12是简要定义根据本发明实施例的<AudioWithTextRef>元素的示例性示图；

图13是简要定义根据本发明实施例的<PhotoWithTextRef>元素的示例性示图；

图14是简要定义根据本发明实施例的<VideoWithTextRef>元素的示例性示图；

图15和16是示出根据本发明实施例的用于显示“VideoWithText”资源的方法的流程图；

图17到19是示出根据本发明实施例的用于显示“PhotoWithText”资源的方法的流程图。

                         具体实施方式

本发明使用可扩展标记语言(XML)以提供符合MusicPhotoVideo(MPV)格式的多媒体数据。下文中，将根据XML架构来描述本发明。

通过将当前光存储技术协会(OSTA)没有提出的“AudioWithText”、“PhotoWithText”以及“VideoWithText”资源添加到现有数据，本发明提供更多样的多媒体数据的集合。现将提供使用三个新的资源的定义和示例。下文中，“smpv”和“mpv”分别是用于本发明和OSTA提出的元素的名称空间(namespace)。

1、“AudioWithText”资源

“AudioWithText”是将单个音频资源与一个或多个字幕数据相结合的资源。如果使用XML描述“AudioWithText”资源，则其可以被称为<AudioWithText>元素。音频资源和文本数据被看作使用XML描述的文件中的元素。为了定义<AudioWithText>元素的结构，必须首先检查与音频资源结合的文本数据的结构。本发明将<TextContent>元素定义为表示文本数据的结构的元素。

图2示例性地定义<TextContent>元素的结构。参照图2的<TextContent>元素的示图，<TextContent>元素包括使用“mpv”和“smpv”作为名称空间的多个子元素。

这里，由于使用“mpv”作为名称空间的元素已经在OSTA的网站www.osta.org上被描述，所以将不再给出其解释。因此，现将描述使用“smpv”作为名称空间的元素。

(1)<TextBody>元素

<TextBody>元素表示根据超文本标记语言(HTML)标准充分格式化的文本数据。<TextBody>元素可指定诸如定义文本的字体或颜色的层叠样式单(CSS)属性的HTML文本特性。虽然<TextBody>元素主要用于显示直接在MPV文件中定义的少量文本数据，但<TextRef>元素在MPV核心规范中被定义。与文本数据在MPV文件中直接被描述的<TextBody>元素不同，<TextRef>元素引用包含文本数据的分离的文件。在此情形中，分离的文件可以是MPV或其它格式。当<TextRef>元素没有被定义为与<TextContent>元素相关联的属性时，必须如图3所示简要地描述<TextBody>元素。

(2)<TextLocation>元素

<TextLocation>元素定义字幕或标题在屏幕上的的位置。在缺少<TextLocation>元素的情况下，可使用默认指令。HTML和同步多媒体集成语言(SMIL)格式提供定义文本属性的方法。然而，如果使用<TextLocation>元素，则由<TextLocation>元素定义的特性优先于其它特性。

<TextLocation>元素可具有表示文本被显示的位置坐标的子元素。所述子元素包括<TextLeft>、<TextTop>、<TextWidth>和<TextHeight>。图4简要定义了<TextLocation>元素，图5示出在形成<TextLocation>元素的子元素的位置坐标中的关系。

(3)<TextStartTime>元素

<TextStartTime>元素表示文本数据开始被显示的时间，并在<Text Body>或<TextRef>元素中被定义。对于<TextBody>元素，必须定义<TextStart Time>元素值。对于<TextRef>元素，<TextStartTime>元素可选择地被定义以更精细地调协开始时间。

(4)<TextDuration>元素

<TextDuration>元素表示文本数据被显示的持续时间。在定义在<TextBody>元素中的字幕的情形中，<TextDuration>元素可与<TextStart>元素一起被使用。

(5)<AudioWithText>元素

图6示意性地定义了<AudioWithText>元素的结构。参照图6中的<AudioWithText>元素的示图，<AudioWithText>元素包括使用“mpv”和“smpv”作为名称空间的多个子元素。

这里，由于使用“mpv”作为名称空间的元素已经在OSTA的网站www.osta.org上被描述，所以将不再给出其解释。使用“smpv”作为名称空间的<TextContent>元素定义正被显示的文本数据。被定义以指定音频数据的“AudioRefGroup”元素包括在MPV核心规范中提供的<AudioRef>元素和根据本发明实施例定义的引用指定部分音频数据的<AudioPart>元素的<AudioPartRef>元素。图7示出<AudioWithTextType>元素的类型定义。

2、“PhotoWithText”资源

图8示意性地定义了<PhotoWithText>元素的结构。“PhotoWithText”是将单个图像数据与一个或多个文本数据结合的资源。使用XML描述的所述资源可被称为<PhotoWithText>元素。为了在图像数据中显示文本数据，关于文本数据的位置信息在<PhotoWithText>元素中被定义。两个或多个文本数据可被显示在单个图像数据中。图9示出<PhotoWithTextTYpe>元素的类型定义。

3、“VideoWithText”资源

图10示意性地定义了<VideoWithText>元素的结构。“VideoWithText”是将单个视频数据与一个或多个文本数据结合的资源。使用XML描述的所述资源可被称为<VideoWithText>元素。“VideoWithText”资源可被用于在放映电影的同时将电影的字幕或其它附加信息显示在屏幕上。图11定义了示出<VideoWithTYpe>元素的类型定义的<TextContentTYpe>的结构。

4、用于参考的元素

<AudioWithTextRef>、<PhotoWithTextRef>和<VideoWithTextRef>元素被相似地构造以分别引用“AudioWithText”、“PhotoWithText”和“VideoWithText”资源。图12到14示出用于引用的元素的结构。

图15和16是示出根据本发明实施例的用于显示“VideoWithText”资源的方法的流程图。

在步骤S1400，当用户使用用于MVP文件回放的软件选择“VideoWithText”资源时，在步骤S1405，软件检查文本文件是否被引用以提取包含在“VideoWithText”资源中的文本数据。

如果文本文件被引用，即<TextRef>元素出现在所述资源中，则软件在步骤S1435检查<TextRef>元素所引用的文本文件的格式。如果文本文件的格式被充分格式化，则在步骤S1440，“VideoWithText”资源开始被显示。如果文本文件没有被充分格式化，则生成错误消息，然后将其发送到用户，随后返回一个返回值或终止适当的程序(未示出)。

在步骤S1405，如果文本数据在MPV文件中被直接地描述，也就是说，<TextBody>元素被包含在资源中，则在步骤S1410检查<TextBody>元素是否根据适当的格式被正确地描述。如果<TextBody>元素根据所述格式被正确地描述，则在步骤S1415和S1420分别定义显示文本数据开始和终止的时间，并在步骤S1425创建分离的文本文件。反之，如果<TextBody>元素没有根据所述格式被正确地描述，则在步骤S1430生成错误消息，并将其发送给用户，随后返回一个返回值或终止适当的程序。

同时，为了改善软件组件的复用性(reusability)，在步骤S1425创建分离的文本文件。也就是说，通过将文本数据记录在分离的文件中，文本数据可在具有相同文件的函数中作为输入参数被使用。

在步骤S1440，使用包含文本数据的文件作为输入，“VideoWithText”资源开始被显示。

在此情形中，在步骤S1445，线程或子处理器(child processor)被创建以显示视频帧，在步骤S1450到S1470，在显示文本数据的同时检查显示时间。

更具体地说，首先。当包括在“VideoWithText”资源中的视频数据开始被回放时，在步骤S1450，定时器开始运行。定时器具有关于显示文本数据开始和终止的时间的信息。通过将<TextStart>与<TextDuration>元素的值相加可获得关于终止时间的信息。在与用于在步骤S1455显示文本数据的<TextDuration>元素相应的时间周期结束之后，在步骤S1460生成时间事件，并在步骤S1465检查是否存在将被显示的下一文本数据。如果存在将被显示的文本数据，则在步骤S1470提取关于该文本数据的时间信息，并将其发送到定时器，并且进程返回步骤S1450。反之，如果在步骤S1465不存在将被显示的文本数据，则仅有视频帧被显示。

当完成形成“VideoWithText”资源的所有视频数据的回放时，在步骤S1475生成返回值，并且由用户选择另一资源以进行回放。

通过使用如图15和16所示的相同的方法可显示“AudioWithText”资源。

图17到19是示出根据本发明实施例的用于显示“PhotoWithText”资源的方法的流程图。

在步骤S1500，当用户使用用于MVP文件回放的软件选择“PhotoWithText”资源时，在步骤S1505，软件提取关于包括在“PhotoWithText”资源中的图像数据的信息。其后，在步骤S1510，为了提取包括在“PhotoWithText”资源中的文本数据，软件检查文本文件是否被引用。

如果文本文件被引用，即<TextRef>元素出现在所述资源中，则在步骤S1540软件检查<TextRef>元素所引用的文本文件的格式。如果文本文件被充分格式化，则在步骤S1550，“PhotoWithText”资源开始被显示。如果文件没有被充分格式化，则生成错误消息，然后将其发送到用户，随后返回一个返回值或终止适当的程序(未示出)。

在步骤S1510，如果文本数据在MPV文件中被直接描述，也就是说，<TextBody>元素被包括在资源中，则在步骤S1515，检查<TextBody>元素是否根据适当的格式被正确地描述。如果<TextBody>元素根据所述格式被正确地描述并且存在两个或更多<TextContent>元素，则在步骤S1520，将被显示的文本数据根据它们的时间顺序被排列。在步骤S1525，在提取<TextLocation>元素的值以获得关于将被显示的文本数据的位置信息之后，在步骤S1530，确定“PhotoWithText”资源的生存时间，并在步骤S1535创建分离的文本文件。在此情形中，可通过将一个或多个文本数据的生存时间相加或使用根据在步骤S1505提取的图像信息而计算的图像数据的生存时间来确定所述生存时间。

反之，除非在步骤S1515，<TextBody>元素根据所述格式被正确地描述，否则在步骤S1545生成错误消息，并将其发送到用户，随后返回一个返回值或终止适当的程序。

同时，在步骤S1535创建分离的文本文件以改善软件组件的复用性。也就是说，由于文本数据在<TextBody>元素中被直接描述，所以通过将文本数据记录在相同的文件中，文本数据可在具有分离的文件的函数中作为输入参数被使用。

在步骤S1550，使用包含文本数据的文件作为输入，“PhotoWithText”资源开始被显示。

在此情形中，在步骤S1555到S1570，创建线程或子处理器以显示图像数据，在步骤S1575到S1590，在显示文本数据的同时检查显示时间。

更具体地说，首先，在步骤S1555，当包含在“PhotoWithText”资源中的图像数据开始被显示时，定时器开始运行。这里，当终止在步骤S1530确定的“PhotoWithText”资源的生存时间时，在步骤S1560生成时间事件。其后，在步骤S1565，删除显示的图像数据，返回用于显示“PhotoWithText”资源的存储器。其后，在步骤S1570，生成返回值，并选择另一资源以进行回放。

同时，当包含在“PhotoWithText”资源中的图像数据开始被显示时，在步骤S1575，可通过另一线程或子处理器开始运行定时器。定时器具有关于显示文本数据开始和终止的时间的信息。通过将<TextStart>与<TextDuration>元素的值相加可获得关于终止时间的信息。在与用于在步骤S1580显示文本数据的<TextDuration>元素相应的时间周期结束之后，在步骤S1582生成时间事件，并在步骤S1584检查是否达到“PhotoWithText”资源的生存时间。如果达到“PhotoWithText”资源的生存时间，则在步骤S1590终止线程或子处理器。反之，如果在步骤S1584尚未达到生存时间，则其在步骤S1586检查是否存在将被显示的下一文本数据。如果存在将被显示的下一文本数据，则在步骤S1588提取关于该文本数据的时间信息并将其发送到定时器，进程返回步骤1575。反之，如果在步骤S1586不存在将被显示的文本数据，则，不显示文本数据，并且在步骤S1590终止线程或子处理器。

以MPV格式提供的多媒体数据可按XML文档的格式来描述。可基于XML文档的样式表的选择来将XML文档转换为用于各种应用程序的文档的格式。通过使用将XML文档转换为HTML的样式表，本发明允许用户通过浏览器管理音频和视频数据。此外，可使用将XML文档转换为无线标记语言(WML)和压缩HTML(Chtml)的样式表来允许用户通过诸如PDA、移动电话和智能电话的移动终端来访问与文本数据结合并以MPV格式描述的多媒体数据。

                         产业上的可用性

本发明向用户提供了一种将音频、图像和视频数据中的每一个与文本数据结合的新类型的多媒体资源，从而允许用户生成和使用以MPV格式表示的更多样的多媒体数据。

虽然已描述了本发明特定示例性实施例，但本领域普通技术人员应理解，在不脱离本发明的精神和范围的情况下，可进行各种改变、修改和改善。因此，前述描述和附图并非是限制的目的。

Claims (27)

1、一种用于显示与文本数据结合并根据MPV格式描述的多媒体数据的设备，该设备包括：

存储器，受处理器的控制，所述存储器包括使所述设备能够进行如下步骤的软件：

检查用户选择的资源是否包括单个音频数据以及一个或多个文本数据；

提取显示所述音频数据和文本数据所需的信息；

使用提取的信息来提取音频数据以进行回放；以及

从提取的信息中提取所述一个或多个文本数据，并且在音频数据的回放期间使用预定的显示方法来顺序地显示提取的一个或多个文本数据。

2、如权利要求1所述的设备，其中，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。

3、如权利要求1所述的设备，其中，所述显示方法包括：在回放音频数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。

4、一种用于显示与文本数据结合并根据MPV格式描述的多媒体数据的设备，该设备包括：

存储器，受处理器的控制，所述存储器包括使所述设备能够进行如下步骤的软件：

检查由用户选择的资源是否包括单个视频数据以及一个或多个文本数据；

提取显示所述视频数据和文本数据所需的信息；

使用提取的信息来提取视频数据以进行回放；以及

从提取的信息中提取所述一个或多个文本数据，并且在视频数据的回放期间使用预定的显示方法来顺序地显示提取的一个或多个文本数据。

5、如权利要求4所述的设备，其中，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。

6、如权利要求4所述的设备，其中，所述显示方法包括：在回放视频数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。

7、一种用于显示与文本数据结合并根据MPV格式描述的多媒体数据的设备，该设备包括：

存储器，受处理器的控制，所述存储器包括使所述设备能够进行如下步骤的软件：

检查用户选择的资源是否包括单个图像数据以及一个或多个文本数据；

提取显示所述图像数据和文本数据所需的信息；

使用提取的信息来提取图像数据以进行显示；以及

从提取的信息中提取所述一个或多个文本数据，并且在图像数据的显示期间使用预定的显示方法来顺序地显示提取的一个或多个文本数据。

8、如权利要求7所述的设备，其中，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。

9、如权利要求7所述的设备，其中，所述显示方法包括：在回放图像数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。

10、一种用于显示与文本数据结合并根据MPV格式描述的多媒体数据的方法，该方法包括：

检查用户选择的资源是否包括单个音频数据以及一个或多个文本数据；

提取显示所述音频数据和文本数据所需的信息；

使用提取的信息来提取音频数据以进行回放；以及

从提取的信息中提取所述一个或多个文本数据，并且在音频数据的回放期间使用预定的显示方法来顺序地显示提取的一个或多个文本数据。

11、如权利要求10所述的方法，其中，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。

12、如权利要求10所述的方法，其中，所述显示方法包括：在回放音频数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。

13、如权利要求12所述的方法，其中，所述显示时间信息包括关于显示文本数据开始的时间点以及文本数据被回放的显示持续时间的信息。

14、一种用于显示与文本数据结合并根据MPV格式描述的多媒体数据的方法，该方法包括：

检查用户选择的资源是否包括单个视频数据以及一个或多个文本数据；

提取显示所述视频数据和文本数据所需的信息；

使用提取的信息来提取视频数据以进行回放；以及

从提取的信息中提取所述一个或多个文本数据，并且在视频数据的回放期间使用预定的显示方法来顺序地显示所述文本数据。

15、如权利要求14所述的方法，其中，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。

16、如权利要求14所述的方法，其中，所述显示方法包括：在回放视频数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。

17、如权利要求16所述的方法，其中，所述显示时间信息包括关于显示文本数据开始的时间点以及文本数据被显示的显示持续时间的信息。

18、一种用于显示与文本数据结合并根据MPV格式描述的多媒体数据的方法，该方法包括：

检查由用户选择的资源是否包括单个图像数据以及一个或多个文本数据；

提取显示所述图像数据和文本数据所需的信息；

使用提取的信息来提取和显示图像数据；以及

从提取的信息中提取所述一个或多个文本数据，并且在图像数据的显示期间使用预定的显示方法来顺序地显示所述文本数据。

19、如权利要求18所述的方法，其中，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。

20、如权利要求18所述的方法，其中，所述显示方法包括：在显示图像数据的同时，基于指定文本数据被显示的时间所需的显示时间信息来显示每一文本数据。

21、如权利要求20所述的方法，其中，所述显示时间信息包括关于显示文本数据开始的时间点以及文本数据被显示的显示持续时间的信息。

22、一种在其上记录有用于显示根据MPV格式描述的多媒体数据的程序的计算机可读记录介质，该程序包括：

检查用户选择的资源是否包括单个音频数据以及一个或多个文本数据；

提取显示所述音频数据和文本数据所需的信息；

使用提取的信息来提取音频数据以进行回放；以及

从提取的信息中提取所述一个或多个文本数据以在音频数据的回放期间使用预定的显示方法来顺序地显示所述文本数据。

23、如权利要求22所述的计算机可读记录介质，其中，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。

24、一种在其上记录有用于显示根据MPV格式描述的多媒体数据的程序的计算机可读记录介质，该程序包括：

检查用户选择的资源是否包括单个视频数据以及一个或多个文本数据；

提取显示所述视频数据和文本数据所需的信息；

使用提取的信息来提取视频数据以进行回放；以及

从提取的信息中提取所述一个或多个文本数据以在视频数据的回放期间使用预定的显示方法来顺序地显所述文本数据。

25、如权利要求24所述的计算机可读记录介质，其中，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。

26、一种在其上记录有用于显示根据MPV格式描述的多媒体数据的程序的计算机可读记录介质，该程序包括：

检查用户选择的资源是否包括单个图像数据以及一个或多个文本数据；

提取显示所述图像数据和文本数据所需的信息；

使用提取的信息来提取图像数据以进行显示；以及

从提取的信息中提取所述一个或多个文本数据以在图像数据的显示期间使用预定的显示方法来顺序地显示所述文本数据。

27、如权利要求26所述的计算机可读记录介质，其中，所述资源包括关于文本数据被显示的位置和文本数据被显示的时间的信息。

Images