CN1860544A

CN1860544A - 显示音频和视频数据的设备和方法以及在其上记录有用于执行该显示方法的程序的存储介质

Info

Publication number: CN1860544A
Application number: CN 200480028011
Authority: CN
Inventors: 金斗镒; 金荣润; 维拉迪默·波蒂奈科
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2003-09-25
Filing date: 2004-09-10
Publication date: 2006-11-08

Abstract

公开了一种用于显示音频和视频数据的设备和方法以及一种在其上存储有该方法的存储介质。该用于显示构成以MPV格式描述的多媒体数据的音频和视频数据的设备确定用户选择的资源是否包括单个视频数据和至少一个或多个音频数据，提取引用信息以显示所述视频数据和音频数据，然后使用所述引用信息来显示所提取的视频数据，并且从所述引用信息提取所述至少一个或多个音频数据，然后在视频数据正被显示的同时，根据预定方法顺序地输出所述至少一个或多个音频数据。

Description

显示音频和视频数据的设备和方法以及在其上记录有用于执行该显示方法的程序的存储介质

技术领域

本发明涉及一种用于显示音频和视频数据(以下称为“AV数据”)的设备和方法以及一种在其上记录有用于执行该显示方法的程序的存储介质，更具体地讲，本发明涉及管理多图片视频(MultiPhotoVideo)或音乐图片视频(MusicPhotoVideo)(以下将二者称为“MPV”)的格式的多媒体数据中的音频和视频数据，并且将它们提供给用户。

背景技术

MPV是一种专用于多媒体标题的工业标准规范，由光学存储技术协会(以下称为“OSTA”)发布，OSTA是由光学存储器制造商在2002年建立的一个国际行业协会。即，MPV是一种用于更方便地提供各种音乐、图片和视频数据或者用于管理并处理多媒体数据的标准规范。可通过OSTA的官方网站(www.osta.org)来获得MPV的定义和其它标准规范。

近来，包括数字画面、视频、数字音频、文本等的媒体数据通过个人计算机(PC)被处理和播放。用于播放媒体内容的装置，例如数字相机、数字摄像机、数字音频播放器(即，诸如运动图像专家组层-3音频(MP3)、Window媒体音频(WMA)等的数字音频数据播放装置)已经被频繁使用，并且各种类型的媒体数据已经相应地被大量生成。

但是，个人计算机主要用于管理大量生成的媒体数据，在这点上，需要基于文件的用户经验。另外，当在指定产品上生成多媒体数据时，取决于该多媒体数据来生成数据的属性、数据播放顺序和数据播放方法。如果它们被计算机存取，则这些属性丢失，仅有源数据被传送。换句话说，在家庭电子商品、个人计算机和数字内容播放装置之间存在非常弱的关于数据以及数据的属性的互操作性。

现在将描述弱的互操作性的例子。使用数字相机来拍摄画面，并且数据与实际画面数据一起被存储作为源数据，所述数据诸如通过使用幻灯片显示功能而确定以识别数字相机上的拍摄的画面的属性幻灯片显示的顺序、画面之间的时间间隔、使用全景功能确定的属性被获取的画面之间的关系以及使用连续拍摄功能确定的属性。此时，如果数字相机使用AV线缆将画面传送到电视机，那么用户能够观看其各个属性被展示的多媒体数据。但是，如果使用通用串行总线(USB)通过个人计算机来访问数字相机，那么只有源数据被传送到计算机，画面的各个属性丢失。

如上所述，显示出个人计算机对诸如存储在数字相机中的数据的属性的元数据的互操作性非常弱。或者，个人计算机对数字相机没有互操作性。

为了加强关于数字装置之间的数据的互操作性，用于MPV的标准化正在发展。

MPV规范定义了Manifest、Metadata和Practice，以处理并播放存储在包括光盘、存储卡、计算机硬盘的存储介质(或装置)中或者根据网际协议(IP)交换的诸如数字画面、视频、音频等的多媒体数据集。

用于MPV的标准化当前由OSTA(光学存储技术协会)和I3A(国际影像产业协会)指导，MPV采用开放的规范，并且主要期望使得处理、交换和播放数字画面、视频、数字音频和文本等的集合容易。

MPV粗略分为MPV Core-Spec(核心规范)(0.90WD)和Profile(框架)。

该核心包括3个基本因素，即Collection、Metadata和Identification。

Collection具有Manifest作为根成员，并且包括Metadata、Album、MarkedAsset和AssetList等。Asset指的是根据MPV格式描述的多媒体数据，它被分为两类：简单媒体资源(例如，数字画面、数字音频、文本等)和复合媒体资源(例如，与数字音频组合的数字画面(StillWithAudio)、连续拍摄的数字画面(StillMultishotSequence)、全景数字画面(StillPanoramaSequence)等)。图1示出了StillWithAudio、StillMultishotSequence和StillPanoramaSequence的例子。

Metadata采用可扩展标记语言(XML)的格式，并且具有5类用于标识的标识符。

1.LastURL是所涉及的资源的路径名和文件名(到达对象的路径)，

2.InstanceID是对每个资源唯一的ID(对每个对象唯一，例如Exif2.2)，

3.DocumentID对于源数据和修改的数据二者相同，

4.ContentID每当所涉及的资源用于指定用途时被创建，

5.id是元数据中的局部变量。

存在7种框架：基本框架、展示框架、拍摄/编辑框架、存档框架、互联网框架、打印框架和容器框架。

MPV通过使用XML元数据来支持各种文件关联的管理，以允许记录在存储介质上的各种多媒体数据被播放。具体地讲，MPV支持JPEG(联合图像专家组)、MP3、WMA(Windows媒体音频)、WMV(Windows媒体视频)、MPEG-1(运动图像专家组-1)、MPEG-2、MPEG-4以及诸如AVI(音频视频交织)和Quick Time MJPEG(运动联合图像专家组)视频的数字相机格式。采用MPV规范的盘与ISO9660级别1、Joliet、多话路CD(致密盘)、DVD(数字多功能盘)、存储卡、硬盘和互联网兼容，由此允许用户管理和处理更多的各种多媒体数据。

发明内容

技术问题

但是，在MPV格式规范中没有定义新的格式的各种多媒体数据，即，需要新的格式的资源，并且需要添加用于提供这种多媒体数据的功能。

技术解决方案

因此，提出本发明的目的在于除了提供以当前MPV格式定义的各种格式的多媒体数据之外，还提供新的多媒体数据的格式，并且本发明通过提出一种以各种方式将根据MPV格式描述的多媒体数据提供给用户的方法，来增加各种多媒体数据的利用。

根据本发明的示例性实施例，提供一种用于显示构成以MPV格式描述的多媒体数据的音频和视频数据的设备，其中，所述设备确定用户选择的资源是否包括单个音频数据和至少一个或多个视频数据，提取引用信息以显示所述音频数据和视频数据，然后使用所述引用信息来显示所提取的音频数据，并且从所述引用信息提取所述至少一个或多个视频数据，然后在所述音频数据正被输出的同时，根据预定方法顺序地显示所述至少一个或多个视频数据。该显示操作可允许视频数据根据关于显示时间的信息以及关于音量控制的信息被显示，所述关于显示时间的信息用于确定当所述音频数据正被显示时各个视频数据的重放时间，所述关于音量控制的信息用于调整当音频数据和视频数据正被播放时产生的音量。

根据本发明的另一示例性实施例，提供一种用于显示构成以MPV格式描述的多媒体数据的音频和视频数据的设备，其中所述设备确定用户选择的资源是否包括单个视频数据和至少一个或多个音频数据，提取引用信息以显示所述视频数据和音频数据，然后使用所述引用信息来显示所提取的视频数据，并且从所述引用信息提取所述至少一个或多个音频数据，然后在视频数据正被显示的同时，根据预定方法顺序地显示所述至少一个或多个音频数据。该显示方法可允许音频数据根据关于显示时间的信息以及关于音量控制的信息被显示，所述关于显示时间的信息用于确定当视频数据正被显示时各个音频数据的重放时间，所述关于音量控制的信息用于调整当音频数据正被播放时产生的音量。

根据本发明的另一示例性实施例，提供一种用于显示构成以MPV格式描述的多媒体数据的音频和视频数据的方法，该方法包括：确定用户选择的资源是否包括单个音频数据和至少一个或多个视频数据；提取引用信息以显示音频数据和视频数据；使用所述引用信息来提取并显示音频数据；和在音频数据正被显示的同时，从所述引用信息提取所述至少一个或多个视频数据，并且根据预定方法顺序地显示所述至少一个或多个视频数据。

该显示方法可允许视频数据根据关于显示时间的信息以及关于音量控制的信息被显示，所述关于显示时间的信息用于确定当所述音频数据正被显示时各个视频数据的重放时间，所述关于音量控制的信息用于调整当所述音频数据和视频数据正被播放时产生的音量。此时，所述显示时间信息可包括关于视频数据开始播放的开始时间的信息以及指示视频数据的重放时间的重放时间信息。

提取和顺序显示步骤包括：将用于指定播放音频数据的时间的第一时间信息与用于指定播放所述至少一个或多个视频数据的时间的第二时间信息同步；提取用于调整当音频数据正被播放时产生的音量的第一音量控制信息以及用于调整所述至少一个或多个视频数据正被显示时的音量的第二音量控制信息；和使用所述时间信息和所述音量控制信息，通过显示介质来提供音频数据和视频数据。

根据本发明的另一示例性实施例，提供一种用于显示构成以MPV格式描述的多媒体数据的音频和视频数据的方法，该方法包括：确定用户选择的资源是否包括单个视频数据和至少一个或多个音频数据；提取引用信息以显示所述视频数据和音频数据；使用所述引用信息来提取并显示视频数据；和在视频数据正被显示的同时，从所述引用信息提取所述至少一个或多个音频数据，并且根据预定方法顺序地显示所述至少一个或多个音频数据。

该显示方法可允许音频数据根据关于显示时间的信息以及关于音量控制的信息被输出，所述关于显示时间的信息用于确定当视频数据正被显示时各个音频数据的重放时间，所述关于音量控制的信息用于调整当所述视频数据和音频数据正被播放时产生的音量。此时，所述显示时间信息可包括关于音频数据开始播放的开始时间的信息以及指示音频数据的重放时间的重放时间信息。

提取和顺序显示步骤包括：将用于指定播放视频数据的时间的第一时间信息与用于指定播放所述至少一个或多个音频数据的时间的第二时间信息同步；提取用于调整当视频数据正被播放时产生的音量的第一音量控制信息以及用于调整所述至少一个或多个音频数据正被显示时的音量的第二音量控制信息；和使用所述时间信息和所述音量控制信息，通过显示介质来提供视频数据和音频数据。

根据本发明的另一示例性实施例，提供一种存储介质，所述存储介质在其上记录有用于显示以MPV格式描述的多媒体数据的程序，其中，所述程序确定用户选择的资源是否包括单个音频数据和至少一个或多个视频数据，提取引用信息以显示所述音频数据和视频数据，然后使用所述引用信息来显示所提取的音频数据，并且从所述引用信息提取所述至少一个或多个视频数据，然后在所述音频数据正被输出的同时，根据预定方法顺序地显示所述至少一个或多个视频数据。

根据本发明的另一示例性实施例，提供一种存储介质，所述存储介质在其上记录有用于显示以MPV格式描述的多媒体数据的程序，其中，所述程序确定用户选择的资源是否包括单个视频数据和至少一个或多个音频数据，提取引用信息以显示所述视频数据和音频数据，然后使用所述引用信息来显示所提取的视频数据，并且从所述引用信息提取所述至少一个或多个音频数据，然后在所述视频数据正被显示的同时，根据预定方法顺序地显示所述至少一个或多个音频数据。

附图说明

图1是示出以MPV规范描述的不同种类的资源的示例性示图；

图2是示意性地示出根据本发明一方面的“AudioWithVideo”资源的结构的示例性示图；

图3是示出根据本发明一方面的<VideoWithAudioRef>元素的示例性示图；

图4是示出根据本发明一方面的<AudioWithVideoRef>元素的示例性示图；

图5是示出根据本发明一方面的<VideoDurSeq>元素的示例性示图；

图6是示出根据本发明一方面的<StartSeq>元素的示例性示图；

图7是示出根据本发明一方面的<VideoVolumeSeq>元素的示例性示图；

图8是示出根据本发明一方面的<AudioVolume>元素的示例性示图；

图9是示出根据本发明一方面的<AudioWithVideo>元素的类型的示例性示图；

图10是示出根据本发明一方面的“VideoWithAudio”资源的结构的示例性示图；

图11是示出根据本发明一方面的<AudioDurSeq>元素的示例性示图；

图12是示出根据本发明一方面的<AudioVolumeSeq>元素的示例性示图；

图13是示出根据本发明一方面的<VideoVolume>元素的示例性示图；

图14是示出根据本发明一方面的<VideoWithAudio>元素的类型的示例性示图；

图15是示出根据本发明一方面的AudioRefGroup的示例性示图；

图16是示出根据本发明一方面的VideoRefGroup的示例性示图；

图17是示出根据本发明一方面的播放“AudioWithVideo”资源的过程的流程图；和

图18是示出根据本发明示例性实施例的用于显示音频和视频数据的设备的方框图。

具体实施方式

以下将参照附图来更详细地描述根据本发明一方面的用于显示基于MPV格式的音频和视频数据的设备和方法。

在本发明中，使用XML以根据MPV格式来提供多媒体数据。因此，将根据XML schema来描述本发明。

通过提出新的资源“AudioWithVideo”和“VideoWithAudio”来在这里提供更多的各种多媒体数据，其中，新的资源“AudioWithVideo”和“VideoWithAudio”不是由OSTA提供。为了描述这些新的资源，使用了如下术语：“smpv”和“mpv”指的是XML中的“namespace”，其中，前者表示与本发明提出的新元素相关的名字空间，后者表示与OSTA提出的元素相关的名字空间。将描述这些新的资源的定义和示例。

1.AudioWithVideo资源

这种“AudioWithVideo”资源包括单个音频资源与至少一个或多个视频资源的组合。为了以XML来表示这种资源，这种资源可被称为<AudioWithVideo>元素。当用户在收听歌曲的同时欣赏至少一个或多个运动画面内容时，该情况将构成这种资源的例子。此时，可控制用于播放多个运动画面内容的时间间隔，并且还可以控制运动画面内容的音量以及歌曲的音量。

音频资源和视频资源被看作XML文档(即，XML文件)中的元素。音频资源可被表示为<smpv：AudioPart>和<mpv：Audio>，视频资源可被表示为<smpv：VideoPart>和<mpv：Video>。

<AudioPart>元素表示音频资源的一部分。<smpv：AudioPart>的子元素<SMPV：start>、<SMPV：stop>和<SMPV：dur>可被定义。在这3个子元素中，至少一个子元素的值必须被指定。

<SMPV：start>子元素可被定义为<xs：element name＝′SMPV：start′type＝′xs：long′minOccurs＝′0′/>，指示与音频资源的整个播放时间的一部分相关的开始时间，以秒为单位。如果其值没有被给定，则开始时间基于<SMPV：stop>和<SMPV：dur>按照[SMPV：start]＝[SMPV：stop]-[SMPV：dur]被计算。如果没有指定<SMPV：stop>或<SMPV：dur>的值，则<SMPV：start>的值为0。

<SMPV：stop>子元素可被定义为<xs：element name＝′SMPV：stop′type＝′xs：long′minOccurs＝′0′/>，指示与音频资源的整个播放时间的一部分相关的停止时间，以秒为单位。如果其值没有被给定，则停止时间基于<SMPV：start>和<SMPV：dur>按照[SMPV：stop]＝[SMPV：start]+[SMPV：dur]被计算。如果没有指定<SMPV：dur>的值但是指定了<SMPV：start>的值，则<SMPV：stop>的值等于所引用的资源的停止时间。如果没有指定<SMPV：start>的值但是指定了<SMPV：dur>的值，则<SMPV：stop>的值等于<SMPV：dur>的值。

<SMPV：dur>子元素可被定义为<xs：element name＝′SMPV：dur′type＝′xs：long′minOccurs＝′0′/>，指示所引用的音频资源的实际播放时间。如果没有给定<SMPV：dur>的值，则这个时间按照[SMPV：dur]＝[SMPV：stop]-[SMPV：start]被计算。

<VideoPart>元素表示视频资源的一部分。定义<AudioPart>元素的相同方法可用于定义<VideoPart>元素。

图2是示意性地示出根据本发明一方面的“AudioWithVideo”资源的结构的示例性示图。

参照该图，<AudioWithVideo>元素包括多个分别具有“mpv”或“smpv”作为名字空间的元素。

在提出MPV规范的OSTA的官方主页(www.osta.org)上描述了用“mpv”作为名字空间的元素，在此将省略对这种元素的描述。因此，下面将仅描述用“smpv”作为名字空间的元素。

(1)<AudioPartRef>

该元素引用<AudioPart>元素。

(2)<VideoPartRef>

该元素引用<VieoPart>元素。

(3)<VieoWithAudioRef>

该元素引用图3中示出的<VieoWithAudio>元素。

(4)<AudioWithVideoRef>

该元素引用图4中示出的<AudioWithVideo>元素。

(5)<VideoDurSeq>

该元素的值指示各个视频数据的播放时间，以秒为单位显示，并且指示相对时间值。播放时间可按照小数点的形式被显示。如果该元素的值没有被设置，则认为播放时间没有被设置，因此，任何所涉及的视频数据的总的播放时间被假设为与<VideoDurSeq>元素的值相等。

可根据在视频资源中引用的视频数据的引用类型来确定任何所涉及的视频数据的总的播放时间。

即，当引用类型是“VideoRef”时，所涉及的视频数据的总的播放时间等于引用的视频数据的总的播放时间。如果引用类型是“VideoPartRef”，则可以使用所引用的<VideoPart>元素的属性值来获得所涉及的视频数据的总的播放时间。如果引用类型是“AudioPartRef”，则关于音频数据的引用类型应该在引用的<AudioWithVideo>元素中被识别。具体地讲，如果关于音频数据的引用类型是“AudioRef”，则所涉及的视频数据的总的播放时间等于音频数据的总的播放时间，如果关于音频数据的引用类型是“AudioPartRef”，则可通过引用的<AudioPart>元素的属性值来获得所涉及的视频数据的总的播放时间。此外，如果引用类型是“VideoWithAudioRef”，则只有视频资源从<VideoWithAudio>元素中被提取，并且在提取的视频资源中被引用作为“VideoRef”的视频数据的总的播放时间被认为是所涉及的视频数据的总的播放时间。

将简要描述<VideoDurSeq>元素的值。

VideoDurSeq＝<clock-value>(″；″<clock-value>) (1)

clock-value＝(<seconds>|<unknown-dur>) (2)

unknown-dur＝the empty string (3)

seconds＝<decimal number>(.<decimal number>) (4)

规则(1)表示的是<VideoDurSeq>元素的值被表示为“clock-value”，如果有两个或更多的视频数据，则各个视频类型的播放时间通过“；”被识别。

规则(2)表示的是规则(1)中的“clock-value”被表示为“seconds”或“unknown-dur”。

规则(3)表示的是规则(2)中的“unknown-dur”指示没有设置“clock-value”。

规则(4)表示的是规则(2)中的“seconds”被表示为小数并且所涉及的视频数据的重放时间可通过小数点被表示。

例如，如果“clock-value”是“7.2”，那么意味着所涉及的视频数据的重放时间是7.2秒。作为另一个例子，如果“clock-value”是“2:10.9”，那么意味着存在两个所涉及的视频数据，一个播放2秒，另一个播放10.9秒。作为另一个例子，如果“clock-value”是“；5.6”，那么意味着存在两个所涉及的视频数据，一个因为其重放时间没有被设置，所以被播放所涉及的内容的总的重放时间，而另一个播放5.6秒。图5示出了<VideoDurSeq>元素。

(6)<StartSeq>

<StartSeq>元素的值指示每个视频数据开始重放的时间点。该时间点以秒为单位，基于各个视频数据的开始时间而指示相对时间值。重放开始时间可以以小数点被表示。例如，如果<StartSeq>元素的值没有被设置，则假设该值为0秒。即，所涉及的视频数据从其重放开始时间被播放。如果<StartSeq>元素的值大于所涉及的视频数据的总的重放时间，则导致所涉及的视频数据在其重放结束之后被播放。在这种情况下，假设<StartSeq>元素的值为0。

如果在<AudioWithVideo>元素中定义了<VideoDurSeq>元素和<StartSeq>元素二者，则<VideoDurSeq>元素与<StartSeq>元素求和的值应该等于或小于所涉及的视频数据的总的重放时间。如果不是这样，则<VideoDurSeq>元素的值变为从所涉及的视频数据的总的重放时间减去<StartSeq>元素的值而得到的值。图6示出了<StartSeq>元素。

(7)<VideoVolumeSeq>

<VideoVolumeSeq>元素的值以百分比表示所涉及的视频数据的音量大小。因此，如果<VideoVolumeSeq>元素的值为0，则所涉及的视频数据的音量变为0。如果<VideoVolumeSeq>元素的值没有被设置，则按照原始设置的音量来播放所涉及的视频数据。

当多个视频数据被播放时，与播放的视频数据同样多的<VideoVolumeSeq>元素的多个值被设置。但是，如果单一值被设置，则按照设置了该单一值的音量来播放所有播放的视频数据。图7示出了<VideoVolumeSeq>元素。

(8)<AudioVolume>

<AudioVolume>元素的值以百分比表示所涉及的音频数据的音量大小。当<AudioVolume>元素的值没有被设置时，假设其为100。图8示出了<AudioVolume>元素。

图9是示出根据本发明一方面的<AudioWithVideo>元素的类型的示例性示图。

将描述通过使用上述元素来提供<AudioWithVideo>资源的示例性方法。

[示例1]

<SMPV：AudioWithVideo>

<SMPV：StartSeq>；3</SMPV：StartSeq>

</SMPV：AudioWithVideo>

示例1示出了通过使用被引用作为“A0007”的一个音频资源以及分别被引用作为“V1205”和“V1206”的两个视频资源来播放<AudioWithVideo>资源的方法。在该示例中，由于没有针对其值被引用作为“V1205”的视频资源来设置<StartSeq>元素的值，所以假设该值为0秒。即，被引用作为“V1205”的视频资源从被引用作为“A0007”的音频资源开始播放的时间点被播放到被引用作为“V1206”的视频资源开始播放的时间。同时，由于针对其值被引用作为“V1206”的视频资源来将<StartSeq>元素的值设置为3，所以被引用作为“V1206”的视频资源在被引用作为“V1206”的视频资源开始播放之后3秒播放。

[示例2]

<SMPV：AudioWithVideo>

<SMPV：VideoDurSeq>2；；10</SMPV：VideoDurSeq>

<SMPV：StartSeq>；3；0</SMPV：StartSeq>

<SMPV：VideoVolumeSeq>50</SMPV：VideoVolumeSeq>

<SMPV：AudioVolume>50</SMPV：AudioVolume>

</SMPV：AudioWithVideo>

示例2示出了通过使用被引用作为“A0001”的一个音频资源以及分别被引用作为“V1001”、“V1002”和“V1003”的三个视频资源来播放AudioWithVideo资源的方法。在该示例中，被引用作为“V1001”的视频资源播放2秒。被引用作为“V1002”的视频资源在被引用作为“V1001”的视频资源的重放结束之后并且在从被引用作为“V1001”的视频资源开始播放3秒过去之后开始播放。被引用作为“V1003”的视频资源在被引用作为“V1002”的视频资源的重放结束之后播放10秒。

这三个视频资源以它们的原始音量的50％的音量大小被播放，并且音频资源也以其原始音量的50％的音量大小被播放。

[示例3]

<SMPV：AudioWithVideo>

</SMPV：AudioWithVideo>

2.“VideoWithAudio”资源

“VideoWithAudio”资源包括单个视频资源与至少一个或多个音频资源的组合。为了以XML来表示这种资源，这种资源可被称为<VideoWithAudio>元素。音频资源和视频资源被看作XML文档中的元素。音频资源可被表示为<smpv：AudioPart>或<mpv：Audio>，视频资源可被表示为<smpv：VideoPart>或<mpv：Video>。

图10是示出根据本发明一方面的“VideoWithAudio”资源的结构的示例性示图。参照其中所示的<VideoWithAudio>元素的图解，<VideoWithAudio>元素包括分别用“mpv”或“smpv”作为名字空间的元素。

在提出MPV规范的OSTA的官方主页(www.osta.org)上描述了用“mpv”作为名字空间的元素，因此这里将省略对这种元素的描述。因此，下面将仅描述用“smpv”作为名字空间的元素。在这点上，由于这里已经描述了AudioWithVideo资源，所以将省略重复的描述。

(1)<AudioDurSeq>

<AudioDurSeq>元素的值指示各个音频数据的重放时间。重放时间可以以秒为单位被表示，并且表示相对时间值。可以使用小数点来显示重放时间。如果<AudioDurSeq>元素的值没有被设置，则假设重放时间没有被设置，并且所涉及的音频数据的总的重放时间被看作是<AudioDurSeq>元素的值。将简要描述<AudioDurSeq>元素的值。

AudioDurSeq＝<clock-value>(″；″<clock-value>) (5)

clock-value＝(<seconds>|<unknown-dur>) (6)

unknown-dur＝the empty string (7)

seconds＝<decimal number>(.<decimal number>) (8)

规则(5)表示的是<AudioDurSeq>元素的值由“clock-value”表示，如果有两个音频数据，在各个音频数据的播放时间通过使用“；”被识别。

规则(6)表示的是规则(5)中的“clock-value”以“seconds”或“unknown-dur”被表示。

规则(7)表示的是规则(6)中的“unknown-dur”指示没有设置“clock-value”。

规则(8)表示的是规则(6)中的“seconds”被表示为小数并且所涉及的视频数据的重放时间可通过小数点被表示。

例如，当“clock-value”是“12.2”上时，这意味着所涉及的音频数据的重放时间是12.2秒。作为另一个例子，如果“clock-value”是“20；8.9”，那么意味着存在两个所涉及的音频数据，一个播放20秒，另一个播放8.9秒。作为另一个例子，如果“clock-value”是“；56.5”，那么意味着存在两个所涉及的音频数据，一个因为其重放时间没有被设置，所以被播放所涉及的内容的总的播放时间，而另一个播放56.5秒。图11简要地示出了<AudioDurSeq>元素。

(2)<AudioVolumeSeq>

<AudioVolumeSeq>元素的值以百分比表示所涉及的音频数据的音量大小。如果<AudioVolumeSeq>元素的值没有被设置，则按照原始设置的音量来播放所涉及的音频数据。

当多个音频数据被播放时，与播放的音频数据同样多的<AudioVolumeSeq>元素的多个值被设置。但是，如果单一值被设置，则按照设置了该单一值的音量来播放所有播放的音频数据。图12示出了<AudioVolumeSeq>元素。

(3)<VideoVolume>

<VideoVolume>元素的值以百分比表示所涉及的视频数据的音量大小。如果<VideoVolume>元素的值没有被设置，在假设其为100。即，按照所涉及的视频数据的原始设置的音量来播放所涉及的视频数据。图13简要描述了<VideoVolume>元素。

图14是示出根据本发明一方面的<VideoWithAudio>元素的类型的示例性示图。

根据本发明的示例性的一方面，可定义用于资源的引用的引用组。

可定义用于引用音频资源的“AudioRefGroup”和用于引用视频资源的“VideoRefGroup”。

此时，AudioRefGroup包括元素<mpv：AudioRef>和<SMPV：AudioPartRef>。

另外，VideoRefGroup包括元素<mpv：VideoRef>、<SMPV：VideoPartRef>、<SMPV：VideoWithAudioRef>和<SMPV：AudioWithVideoRef>。图15和图16描述了“AudioRefGroup”和“VideoRefGroup”。

图17是示出根据本发明一方面的播放“AudioWithVideo”资源的过程的流程图。

用户运行能够执行根据MPV格式编写的任何文件的软件，并且在特定影集中选择“AudioWithVideo”资源(S1700)。然后，产生线程或子处理器，该线程或子处理器收集关于音频资源和视频资源的信息。

关于构成由用户选择的“AudioWithVideo”资源的音频资源的引用信息被提取(S1705)。通过使用引用信息从资源列表提取关于音频资源的信息(S1710)。此时，关于音频资源的重放时间的信息和关于音频资源的音量的信息被获得(S1715和S1720)。

另一方面，另一线程或子处理器提取将与音频资源结合的视频资源列表(S1725)，并且从该资源列表提取关于所有视频资源的信息(S1730)。然后，所述另一线程或子处理器中的任何一个使用该信息来确定播放视频资源的情况，即，确定各个视频数据的顺序和播放各个视频数据的时间(S1735)。即使关于将与音频资源结合的所有视频资源的情况在步骤S1735中没有被确定，所有视频资源的总的重放时间也可以比音频资源的重放时间长。在这种情况下，视频资源的总的重放时间适合于音频资源的重放时间。此时，在步骤S1715中获得的重放时间信息在步骤S1740中被使用。因此，将被播放的视频资源的一部分在音频资源的重放时间已经结束后可能不被播放。在完成了步骤S1740之后，从各个视频数据产生的音量被调整(S1745)。

在获得构成“AudioWithVideo”资源的音频资源和视频资源以显示“AudioWithVideo”资源之后，使用所述信息来显示“AudioWithVideo”资源的内容被播放(S1750)。

图18是示出用于执行显示音频和视频数据的过程的设备的示例性实施例，所述过程可以是如图17所示的过程。图18所示的设备1800包括确定单元1810和提取器1820。确定单元1810接收用户的输入，并且确定用户选择的资源是否包括音频和视频数据。然后提取器1820提取引用信息以显示音频和视频数据，使用该引用信息来输出提取的音频数据，从引用信息提取视频数据，并且在输出音频数据的同时显示视频数据。可根据预定的方法来顺序地显示视频数据。

以MPV格式提供的多媒体数据能够以XML文档的形式被描述，可根据应用于XML文档的样式表来将XML文档改变为多个应用文档。在本发明中，将XML文档改变为HTML文档的样式表已经被应用，由此允许用户通过浏览器来管理音频和视频数据。另外，将XML文档改变为WML(无线标记语言)或CHTML(紧凑的HTML)文档的样式表可被应用，由此允许用户通过诸如个人数字助理(PDA)、蜂窝电话、智能电话等的移动终端来访问以MPV格式描述的音频和视频数据。

产业上的可利用性

如上所述，本发明向用户提供一种与音频数据和视频数据结合的新形式的多媒体数据资源，由此允许用户生成和使用以MPV格式描述的更多的各种多媒体数据。

尽管本发明是结合附图中所示的示例性实施例被描述的，但是附图仅仅是本发明的示例。本领域的技术人员还应该理解，可对本发明作出各种变化、修改和以及作出本发明的各种等同物。因此，本发明的真正技术范围应该由权利要求限定。

Claims

1、一种用于显示构成以多图片视频格式描述的多媒体数据的音频和视频数据的设备，所述设备包括：

确定单元，确定用户选择的资源是否包括单个音频数据和至少一个视频数据；

提取器，提取引用信息以显示所述音频数据和所述至少一个视频数据，然后使用所述引用信息来输出所提取的音频数据，并且从所述引用信息提取所述至少一个视频数据，然后在所述音频数据正被输出的同时，根据预定方法顺序地显示所述至少一个视频数据。

2、根据权利要求1所述的设备，其中，所述预定方法允许所述至少一个视频数据根据关于显示时间的信息以及关于音量控制的信息被显示，所述关于显示时间的信息用于确定当所述音频数据正被输出时各个视频数据的重放时间，所述关于音量控制的信息用于调整当所述音频数据和所述至少一个视频数据正被播放时产生的音量。

3、一种用于显示构成以多图片视频格式描述的多媒体数据的音频和视频数据的设备，所述设备包括：

确定单元，确定用户选择的资源是否包括单个视频数据和至少一个音频数据；

提取器，提取引用信息以显示所述视频数据和所述至少一个音频数据，然后使用所述引用信息来显示所提取的视频数据，并且从所述引用信息提取所述至少一个音频数据，然后在所述视频数据正被显示的同时，根据预定方法顺序地输出所述至少一个音频数据。

4、根据权利要求3所述的设备，其中，所述预定方法允许所述至少一个音频数据根据关于显示时间的信息以及关于音量控制的信息被显示，所述关于显示时间的信息用于确定当所述视频数据正被显示时各个音频数据的重放时间，所述关于音量控制的信息用于调整当所述至少一个音频数据正被播放时产生的音量。

5、一种用于显示构成以多图片视频格式描述的多媒体数据的音频和视频数据的方法，包括：

(a)确定用户选择的资源是否包括单个音频数据和至少一个视频数据；

(b)提取引用信息以显示所述音频数据和所述至少一个视频数据；

(c)使用所述引用信息来提取并显示所述音频数据；和

(d)在所述音频数据正被输出的同时，从所述引用信息提取所述至少一个视频数据，并且根据预定方法顺序地显示所述至少一个视频数据。

6、根据权利要求5所述的方法，其中，所述预定方法允许所述至少一个视频数据根据关于显示时间的信息以及关于音量控制的信息被显示，所述关于显示时间的信息用于确定当所述音频数据正被输出时各个视频数据的重放时间，所述关于音量控制的信息用于调整当所述音频数据和所述至少一个视频数据正被播放时产生的音量。

7、根据权利要求6所述的方法，其中，所述显示时间信息包括关于所述至少一个视频数据开始播放的开始时间的信息以及指示所述至少一个视频数据的重放时间的重放时间信息。

8、根据权利要求5所述的方法，其中，步骤(d)包括：

将用于指定播放所述音频数据的时间的第一时间信息与用于指定播放所述至少一个视频数据的时间的第二时间信息同步；

提取用于调整当所述音频数据正被播放时产生的第一音量的第一音量控制信息以及用于调整所述至少一个视频数据正被显示时的第二音量的第二音量控制信息；和

使用所述时间信息和所述音量控制信息，通过显示介质来提供所述音频数据和所述至少一个视频数据。

9、一种用于显示构成以多图片视频格式描述的多媒体数据的音频和视频数据的方法，包括：

(a)确定用户选择的资源是否包括单个视频数据和至少一个音频数据；

(b)提取引用信息以显示所述视频数据和所述至少一个音频数据；

(c)使用所述引用信息来提取并显示所述视频数据；和

(d)在所述视频数据正被显示的同时，从所述引用信息提取所述至少一个音频数据，并且根据预定方法顺序地显示所述至少一个音频数据。

10、根据权利要求9所述的方法，其中，所述预定方法允许所述至少一个音频数据根据关于显示时间的信息以及关于音量控制的信息被显示，所述关于显示时间的信息用于确定当所述视频数据正被显示时各个音频数据的重放时间，所述关于音量控制的信息用于调整当所述视频数据和所述至少一个音频数据正被播放时产生的音量。

11、根据权利要求10所述的方法，其中，所述显示时间信息包括关于所述至少一个音频数据开始播放的开始时间的信息以及指示所述至少一个音频数据的重放时间的重放时间信息。

12、根据权利要求9所述的方法，其中，步骤(b)包括：

将用于指定播放所述视频数据的时间的第一时间信息与用于指定播放所述至少一个音频数据的时间的第二时间信息同步；

提取用于调整当所述视频数据正被播放时产生的第一音量的第一音量控制信息以及用于调整所述至少一个音频数据正被显示时的第二音量的第二音量控制信息；和

使用所述时间信息和所述音量控制信息，通过显示介质来提供所述视频数据和所述音频数据。

13、一种包括可记录介质的存储介质，所述存储介质在其上记录有用于显示以多图片视频格式描述的多媒体数据的程序，其中，所述程序确定用户选择的资源是否包括单个音频数据和至少一个视频数据，提取引用信息以显示所述音频数据和所述至少一个视频数据，然后使用所述引用信息来显示所提取的音频数据，并且从所述引用信息提取所述至少一个视频数据，然后在所述音频数据正被输出的同时，根据预定方法顺序地显示所述至少一个视频数据。

14、一种包括可记录介质的存储介质，所述存储介质在其上记录有用于显示以多图片视频格式描述的多媒体数据的程序，其中，所述程序确定用户选择的资源是否包括单个视频数据和至少一个音频数据，提取引用信息以显示所述视频数据和所述至少一个音频数据，然后使用所述引用信息来显示所提取的视频数据，并且从所述引用信息提取所述至少一个音频数据，然后在所述视频数据正被显示的同时，根据预定方法顺序地显示所述至少一个音频数据。