CN1985321A - 存储多媒体数据的存储介质以及再现该多媒体数据的方法和设备 - Google Patents

Abstract

一种用于存储多媒体数据的存储介质，以及一种用于再现该多媒体数据的方法和设备。在终端中再现多媒体数据的方法包括：接收代表组成多媒体数据的多个媒体流中的至少一个的数据结构的内容附加信息；根据所述内容附加信息请求记录在本地存储介质上的存储数据，并且接收和存储该存储数据；根据所述内容附加信息通过网络请求流式传输数据，并且接收该流式传输数据；根据所述内容附加信息，使用存储数据和流式传输数据来重构并再现原始媒体流。

Description

存储多媒体数据的存储介质以及再现该多媒体数据的方法和设备

技术领域

本发明涉及多媒体内容的编码/解码，更具体地讲，本发明涉及一种存储被构造为用于流式传输(streaming)的多媒体数据的存储介质，以及再现该多媒体数据的方法和设备。

背景技术

例如视频数据、音频数据、计算机动画数据或者上述任意组合的多媒体数据是关于每种类型的数据中或者每种类型的数据之间的时间同步而被同步地再现。例如，时间同步信息被包括在音频数据和视频数据中的每个中，使得它们被一起同步地再现，并且指示何时将音频数据和视频数据输出的信息被包括在它们中的每个中。通过在有线/无线网络，例如互联网上流式传输这种多媒体数据，可提供教育、娱乐或者其它内容。

流式传输服务被特定网络条件和终端设置所限制，特定网络条件例如网络阻塞、信道带宽、发送延迟、包损失率、比特错误率等等，终端设置例如数据吞吐量、存储量等等。

为了克服这些限制，可通过将传统下载和流式传输技术结合来提供流式传输服务。但是，在这种情况下，包括下载数据和流式传输数据的所有的流式传输内容在流式传输服务器的控制下按照用户的要求被传送到终端，从而导致下载数据的再现延迟。另外，下载数据和流式传输数据都是通过网络从流式传输服务器发送的，因此增加了网络的负担。

发明内容

技术方案

本发明的一方面是提供一种用于存储多媒体数据的存储介质以及用于再现该多媒体数据的方法和设备，其中，通过利用关于内容的附加信息，将预先存储在存储介质中的数据和由终端从流式传输服务器接收的流式传输数据结合，来提供多媒体流式传输服务。

有益效果

根据本发明的实施例，可有效地提供将从终端的存储介质读取的存储数据与由服务器提供的流式传输数据结合的多媒体数据。

附图说明

图1表示根据本发明实施例的多媒体数据结构；

图2表示包括存储段和流式传输段的媒体流；

图3表示从图2的媒体流中收集的存储子流和流式传输子流；

图4是表示图3的附加信息的内容的例子；

图5是表示根据本发明的实施例的从服务器提供的到再现设备的流式传输服务的方框图；

图6是根据本发明实施例的再现设备的方框图；

图7是与MPEG-4标准可兼容的附加信息的例子。

最佳方式

根据本发明的一方面，提供了一种用于存储多媒体数据的存储介质，该多媒体数据包括：至少一个媒体流，包括关于流式传输数据和存储数据的信息，流式传输数据可通过网络提供，存储数据可被终端从本地存储介质中读取并且存储在终端中；附加信息，包括关于怎样将流式传输数据和存储数据结合的信息。

流式传输数据可由通过网络连接的服务器提供，并存储数据存储在可被终端访问的本地存储介质中。

附加信息可被最初记录在本地存储介质上，并且该附加信息包括关于文件的名称、位置、数据大小和/或元信息(meta-information)的信息。

媒体流可包括内容附加信息，该内容附加信息用于将包括流式传输数据的第一子流和包括存储数据的第二子流结合，从而重构媒体流。

内容附加信息可包括：关于组成多媒体数据的媒体流的数量的信息；关于媒体流的属性的流附加信息。

流附加信息可包括：关于第一子流和第二子流的标识符的信息；关于第一子流或者第二子流是否为存储数据或者流式传输数据的信息；关于存储数据和流式传输数据的结构的信息。

根据本发明的另一方面，提供了一种在终端中再现多媒体数据的方法，包括：接收关于组成多媒体数据的多个媒体流中的至少一个的数据结构的内容附加信息；根据所述内容附加信息请求记录在本地存储介质上的存储数据，并且接收和存储该存储数据；根据所述内容附加信息通过网络请求流式传输数据，并且接收该流式传输数据；根据所述内容附加信息，使用存储数据和流式传输数据来重构和再现原始媒体流。

根据本发明的另一方面，提供一种终端，包括：存储子流缓冲器，从本地存储介质接收存储子流；流式传输子流缓冲器，通过网络从流式传输服务器接收流式传输子流；解码器，将存储子流和流式传输子流结合以形成媒体流并将该媒体流解码；渲染器，根据解码的媒体流之间的时间同步将解码的媒体流再现。

该终端可包括用于存储存储子流以及关于该存储子流的附加信息的存储子流存储单元。

该终端可包括从自流式传输服务器接收的流式传输数据中产生多个流式传输子流的解复用器。

根据本发明的另一实施例，提供了一种再现设备，包括：第一解复用器，将流式传输子流分离成多个子流；流式传输子流缓冲器，存储分离的子流；第二解复用器，将存储子流分离成多个存储子流；存储子流缓冲器，存储分离的存储子流；用于每种类型的流的预解码缓冲器；媒体流解码器，将各个存储子流和流式传输子流结合以产生媒体流并且解码该媒体流。

根据本发明的另一实施例，提供了一种将来自服务器的流式传输服务提供到再现设备的方法，该方法包括：当用户输入内容再现命令时，将内容再现命令发送到DVD播放器；当接收到内容再现命令时，从DVD播放器中的DVD中读取附加信息；分析附加信息并且从流式传输服务器请求流式传输服务；从流式传输服务器接收流式传输数据；请求DVD播放器发送存储子流；接收所述存储子流并且存储接收的存储子流；从该服务器接收实时的流式传输子流；根据附加信息，将存储的存储子流和实时的流式传输子流结合以再现内容。

根据本发明的另一方面，提供了一种编码有处理指令的计算机可读存储介质，该处理指令用于使处理器执行上述方法。

具体实施方式

现在，将详细说明本发明的实施例，其示例表示在附图中，其中，相同的标号始终指代相同的部件。以下，将参照附图描述实施例以解释本发明。

图1表示根据本发明实施例的多媒体数据结构。

多媒体内容可包括例如视频、音频、文本等的多种数据，这多种数据中的每一种可被称为媒体流。图1表示包括分别为媒体流A110、媒体流B120、媒体流C130的3个媒体流的多媒体内容的例子，这3个媒体流中的每一个包括用于实现内部同步的媒体内的时间同步信息和用于与其它媒体流同步的媒体之间的时间同步信息。媒体内的时间同步信息和媒体之间的时间同步信息通过使用系统参考时钟产生。

现在将详细描述时间同步信息。在MPEG-4系统的情况下，每个媒体流的再现起始时间以二进制场景描述格式(BIFS)被记录在节点信息′startTime′中。每个媒体流的位置信息也以BIFS被记录。媒体流被分成访问单元，该访问单元是解码的基本单元并且被携带在同步层包(SL包)中。关于合成时间戳(CTS)、解码时间戳(DTS)和对象时钟参考(OCR)的信息被记录在SL包的头中。通过使用关于CTS、DTS和OCR的信息，可实现媒体流内的时间同步和媒体流之间的时间同步。

图2表示包括存储段和流式传输段的媒体流。

参照图2，媒体流110、120和130中的每个包括存储段(图2中的阴影部分)和流式传输段。在流式传输服务器开始流式传输之前，将与流式传输服务器不相关的存储段存储在终端的存储单元中。通过流式传输服务器的流式传输，流式传输段被实时地传送到终端。

作为获得存储段并将该存储段存储到终端的存储单元中的示例，所述终端可连接到DVD播放器，并且从包括由内容服务提供者提供的附加信息和存储流的DVD接收存储段。在该DVD中有3个独立的区域：记录存储数据的存储数据区、记录将从流式传输服务器接收的流式传输数据信息的流式传输数据区和用于表示怎样结合存储数据和流式传输数据的附加信息的附加信息区。

由内容提供者根据网络的数据传送率和终端的输入缓冲器容量来确定流式传输段和存储段怎样划分。例如，为了避免输入缓冲器上溢或者下溢，可将该输入缓冲器的一部分首先分配给流式传输段，然后将该输入缓冲器的剩下部分分配给存储段。以MPEG-4系统为例，存储段和流式传输段包括多个访问单元。另外，以可伸缩的媒体流为例，基本层的数据与存储数据对应，并且加强层的数据与流式传输数据对应。通常，仅将基本层的数据提供给用户，但是也可提供加强层的数据以改善质量。

图3表示从图2的媒体流中收集的存储子流和流式传输子流。

参照图3，图2中的流A被分成存储子流A-1310和流式传输子流A-2320。该存储子流A-1310包括存储段A2、A4和A6，并且该流式传输子流A-2320包括流式传输段A1、A3、A5和A7。

同样，图2中的流B被分成存储子流B-1330和流式传输子流B-2340。该存储子流B-1330包括B2、B4和B6，并且该流式传输子流B-2340包括B1、B3和B5。

另外，图2中的流C被分成存储子流C-1350和流式传输子流C-2360。该存储子流C-1350包括C2和C4，并且该流式传输子流C-2360包括C1、C3和C5。

使用存储子流和流式传输子流来恢复原始媒体流需要附加信息370。

图4表示图3的附加信息370的内容的例子。

这里，应该注意的是，用于表现版权信息、媒体数据信息、关键字信息等应用在传统内容编码方法中的技术也可被包括在图4所示的附加信息中。因此，现在将按照根据本发明实施例提供的流式传输服务来描述附加信息。

参照图4，′streaming_contents_additional information′440是关于由流式传输服务提供的多媒体内容的信息，并且其包括组成多媒体内容的流的数量′stream_number′442和关于每个流的附加信息′stream_additional information′444。

′stream_additional information′444包括关于用于标识相应流的标识符′stream_indentifier′432的信息和关于存储子流434和流式传输子流436的信息。总体上，流可包括存储子流或者流式传输子流，并且还包括流附加信息。所述流附加信息关于存储子流或者流式传输子流，根据关于存储子流的信息的布尔值434或者关于流式传输子流的信息的布尔值436，这两个布尔值中的每一个都是布尔数据格式。

关于存储子流或者流式传输子流的流附加信息被记录为′substream_additional information′420。′substream_additional information′420包括组成子流的段的数量′segment_count′422、子流的大小′substream_size′424和段的列表′segment_list′426。′segment_information′410包括段的起始字节位置′segment_start′412和段的大小′segment_size′414。

图5是表示根据本发明的实施例的从服务器提供的到再现设备的流式传输服务的方框图。

这里，在认证、会话管理等中使用的流式传输服务的传统协议也可被使用，但是，图5所示的流式传输服务将根据本实施例的附加协议来描述。例如DVD播放器的再现播放器与终端结合，用于再现包括存储子流和附加信息的数据。DVD播放器可从具有存储子流和附加信息的DVD中再现数据。

首先，如果用户输入内容再现命令，则在操作S510中，终端将该命令传达到DVD播放器。然后，在操作S520中，终端从该DVD中读取附加信息。在操作S530中，终端分析该附加信息并且从流式传输服务器请求流式传输服务。在操作S540中，终端从流式传输服务器接收流式传输数据。另外，在操作S550中，终端请求DVD播放器发送存储子流，并且在操作S560中，终端接收存储子流并且将它们存储在终端中的存储单元中。终端将存储在存储单元中的存储子流和由服务器的流式传输服务提供的实时流式传输子流结合，以根据附加信息再产生和再现原始的流式传输内容。

如果由可伸缩的编码方法来编码媒体流，则只有与基本层流对应的存储子流可按照用户的请求或者在网络的控制下被再现。但是，如果请求高质量的内容，则与加强层流对应的流式传输子流也可与存储子流结合，然后被再现。

图6是根据本发明的实施例的再现设备的方框图。

参照图6，通过网络604从服务器602传送的实时流式传输子流被解复用器606分离成几个流，并且在开始解码之前，这些流中的每一个根据关于解码时间戳，例如MPEG-4系统中的DTS的信息和流标识符被分别存储在子流缓冲器1-3中，子流缓冲器1-3为630a、630b和630c。

从DVD播放器690发送的存储子流被解复用器610分离成几个流，并且在开始解码之前，这些流中的每一个根据关于的解码时间符号，例如MPEG-4系统中DTS的信息和流标识符被分别存储在相应的子流缓冲器1-3中，子流缓冲器1-3为620a、620b和620c。

预解码缓冲器1-3，640a、640b和640c是单独为所有类型的流预留的。对于媒体流，预解码缓冲器1640a根据从存储子流缓冲器1620a和流式传输子流缓冲器1630a读取的关于DTS的信息来顺序地存储组成存储子流和流式传输子流的访问单元。

因此，媒体流解码器650a和650b以及渲染器(renderer)670可按照与在传统方法/设备中的相同的方式操作。在图6中，媒体流需要2个预解码缓冲器640a和640b，它们是根据可伸缩的编码压缩方法的用于基本层流和加强层流的例子。

图7是与MPEG-4标准兼容的附加信息的例子。

根据MPEG-4标准，关于内容的结构的信息由BIFS和对象描述符(OD)表示，BIFS和OD一起被称作初始对象描述符(IOD)。图7的例子使用在用于描述MEPG-4媒体流的示例性流描述符中包括的扩展描述符，这是为了使附加信息，例如在图4中表示的附加信息与传统的MEPG-4兼容。参照图7，′storedSubstream′和′streamingSubstream′是表示当前媒体流包括存储子流还是流式传输子流的信息，并且它们中的每一个包括从存储子流或者流式传输子流划分出的段的数量′numberOfSegment′、相应的子流的字节大小′subStreamSize′、组成相应的子流的段的字节起始位置′SegmentStartPosition′和段的大小′SegmentSize′。′URL_flag′、′URLlength′和′URLstring′用于将相应的子流的存储位置表示为URL，根据该URL，终端从与该终端结合的存储介质播放器接收存储子流并且接收由流式传输服务器提供的流式传输子流。

如果不要求与传统的MPEG-4流的兼容性，则关于媒体流的附加信息可包括表示图7所示的信息的新描述符以及用于MPEG-4系统的示例性流描述符。

本发明的实施例可被实现为计算机程序。该计算机程序可记录在计算机可读介质上以被计算机读取和执行。这种计算机可读介质包括所有类型的存储装置，例如磁存储装置、光数据存储装置等等。该计算机可读介质还包括任何以载波的形式，例如互联网传播，而实现的事物。

虽然显示并描述了本发明的一些实施例，但是本发明并不限于所描述的实施例。相反，本领域技术人员应该理解，在不脱离本发明的原则和精神的情况下可做出修改，本发明的范围由权利要求及其等同物限定。

Claims (25)

1、一种用于存储多媒体数据的存储介质，该多媒体数据包括：

至少一个媒体流，包括关于流式传输数据和存储数据的信息，流式传输数据可通过网络提供，存储数据可通过终端从本地存储介质中读取并且存储在该终端中；

附加信息，包括关于怎样将流式传输数据与存储数据结合的信息。

2、如权利要求1所述的存储介质，其中，流式传输数据由通过网络连接的服务器提供，存储数据存储在本地存储介质中。

3、如权利要求1所述的存储介质，其中，附加信息最初被记录在本地存储介质上，并且包括关于文件的名称、位置、数据大小或者元信息的信息。

4、如权利要求3所述的存储介质，其中，媒体流包括内容附加信息，该内容附加信息用于将包括流式传输数据的第一子流和包括存储数据的第二子流结合以重构媒体流。

5、如权利要求4所述的存储介质，其中，内容附加信息包括：

关于多媒体数据的媒体流的数量的信息；

关于媒体流的属性的流附加信息。

6、如权利要求5所述的存储介质，其中，流附加信息包括：

关于第一子流和第二子流的标识符的信息；

关于第一子流或者第二子流是否为存储数据或者流式传输数据的信息；

关于存储数据和流式传输数据的结构的信息。

7、一种在终端中再现多媒体数据的方法，包括：

接收关于多媒体数据的多个媒体流中的至少一个的数据结构的内容附加信息；

根据所述内容附加信息请求记录在本地存储介质上的存储数据，并且接收和存储该存储数据；

根据所述内容附加信息通过网络请求流式传输数据，并且接收该流式传输数据；

根据所述内容附加信息，使用存储数据和流式传输数据来重构并再现原始媒体流。

8、如权利要求7所述的方法，其中，流式传输数据存储在通过网络连接的服务器存储介质中，存储数据存储在本地存储介质中。

9、如权利要求7所述的方法，其中，内容附加信息包括：

关于组成多媒体数据的媒体流的数量的信息；

关于媒体流的属性的流附加信息。

10、如权利要求9所述的方法，其中，流附加信息包括：

关于组成媒体流的第一子流和第二子流的标识符的信息；

关于第一子流或者第二子流是否为存储数据或者流式传输数据的信息；

关于存储数据和流式传输数据的结构的信息。

11、一种用于再现多媒体数据的终端，包括：

存储子流缓冲器，从本地存储介质接收存储子流；

流式传输子流缓冲器，通过网络从流式传输服务器接收流式传输子流；

解码器，将所述存储子流和所述流式传输子流结合以制成媒体流并将该媒体流解码；

渲染器，根据解码的媒体流之间的时间同步来再现解码的媒体流。

12、如权利要求11所述的终端，还包括：存储子流存储器单元，用于存储存储子流和关于该存储子流的附加信息。

13、如权利要求11所述的终端，还包括：解复用器，从自流式传输服务器接收的流式传输数据中产生多个流式传输子流。

14、如权利要求11所述的终端，其中，流式传输数据被存储在通过网络连接的服务器存储介质中，并且存储数据被存储在由终端访问的本地存储介质中。

15、一种再现设备，包括：

第一解复用器，将流式传输子流分离成多个子流；

流式传输子流缓冲器，存储所述分离的子流；

第二解复用器，将存储子流分离成多个存储子流；

存储子流缓冲器，存储所述分离的存储流；

用于每种类型的流的预解码缓冲器；

媒体流解码器，将各个存储子流和流式传输子流结合以产生媒体流并且解码该媒体流。

16、如权利要求15所述的再现设备，其中，所述分离的流式传输子流基于解码时间戳信息和流标识符被存储。

17、如权利要求15所述的再现设备，其中，所述分离的流基于解码时间符号信息和流标识符被存储。

18、如权利要求15所述的再现设备，其中，所述预解码缓冲器根据从存储子流缓冲器和流式传输子流缓冲器中读取的信息顺序地存储存储子流和流式传输子流的访问单元。

19、如权利要求15所述的再现设备，其中，根据可伸缩的编码压缩方法，存在用于基本层流和加强层流的两种预解码缓冲器。

20、如权利要求15所述的再现设备，还包括渲染解码的媒体流的渲染器。

21、一种将来自服务器的流式传输服务提供到再现设备的方法，该方法包括：

当用户输入内容再现命令时，将内容再现命令发送到DVD播放器；

当接收到内容再现命令时，从DVD播放器中的DVD中读取附加信息；

分析附加信息并且从流式传输服务器请求流式传输服务；

从流式传输服务器接收流式传输数据；

请求DVD播放器发送存储子流；

接收所述存储子流并且存储接收的存储子流；

从该服务器接收实时的流式传输子流；

根据所述附加信息，将存储的存储子流和实时的流式传输子流结合以再现内容。

22、如权利要求21所述的方法，其中，附加信息与MPEG-4标准可兼容。

23、如权利要求21所述的方法，其中，附加信息包括代表信息的描述符和与MPEG-4标准可兼容的描述符。

24、一种编码有处理指令的计算机可读存储介质，所述处理指令用于使处理器执行在终端中再现多媒体数据的方法，所述方法包括：

接收关于多媒体数据的多个媒体流中的至少一个的数据结构的内容附加信息；

根据所述内容附加信息请求记录在本地存储介质上的存储数据，并接收和存储该存储数据；

根据所述内容附加信息通过网络请求流式传输数据，并接收该流式传输数据；

根据所述内容附加信息，使用所述存储数据和所述流式传输数据重构和再现原始媒体流。

25、一种编码有处理指令的计算机可读存储介质，所述处理指令用于使处理器执行将来自服务器的流式传输服务提供到再现设备的方法，所述方法包括：

当用户输入内容再现命令时，将内容再现命令发送到DVD播放器；

当接收到所述内容再现命令时，从DVD播放器中的DVD中读取附加信息；

分析所述附加信息，并且从流式传输服务器请求流式传输服务；

从所述流式传输服务器接收流式传输数据；

请求DVD播放器发送存储子流；

接收所述存储子流并且存储接收的存储子流；

从服务器接收实时的流式传输子流；

根据所述附加信息，将存储的存储子流和实时的流式传输子流结合以再现内容。

Images