CN102714624B

CN102714624B - 用于使用分割的自适应流传输的方法和装置

Info

Publication number: CN102714624B
Application number: CN201080061413.0A
Authority: CN
Inventors: 河昊振; 权五埙; 任成彬; 琴智恩; 张冠华; 崔馨铎; 金善勃
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2009-11-13
Filing date: 2010-11-12
Publication date: 2017-06-16
Anticipated expiration: 2030-11-12
Also published as: KR20110053177A; EP2499792A2; US10425666B2; JP2013511196A; JP6116906B2; JP6177843B2; WO2011059273A2; EP2499792A4; US20110119395A1; WO2011059273A3; JP2016007026A; CN102714624A; KR101777347B1; EP2499792B1

Abstract

一种用于通过将多个媒体数据分割为段来自适应地向流环境发送和接收媒体数据的方法和装置，通过将内容编码为具有不同的质量来产生该多个媒体数据。

Description

用于使用分割的自适应流传输的方法和装置

技术领域

一个或多个示范性实施例涉及流方法和装置，且更具体地，涉及根据流环境中的涨落自适应地流传输媒体数据的方法和装置。

背景技术

通过网络来发送媒体数据的方法的示例包括下载方法和流方法。在流方法中，服务器实时地发送媒体数据，而客户端实时地再现接收的媒体数据。

不同于下载方法在发送和接收媒体数据之后才开始再现媒体数据，由于流方法通过在服务器与客户端之间设置的逻辑信道来发送和接收媒体数据并实时地再现媒体数据，需要用于通过反映流环境中的涨落在再现媒体数据时维持服务质量（QoS）的方法和装置。

发明内容

解决方案

一个或多个示范性实施例提供用于自适应地调整和执行流传输（即，用于根据流环境自适应地发送和接收媒体数据）的方法和装置。

示范性实施例还提供其上记录有用于执行这里描述的方法的程序的计算机可读记录介质。

有益效果

根据本发明，可以通过基于系统规则分割媒体数据来执行自适应流传输。

附图说明

通过参照附图来详细描述示范性实施例，以上和/或其他方面将变得更加显而易见，其中：

图1是依据示范性实施例的流系统的图；

图2a和2b是用于描述依据示范性实施例的流方法的流程图；

图3是依据示范性实施例的包括关于内容的信息的文件的图式；

图4a示出依据示范性实施例的用于定义多个媒体数据的信息；

图4b示出依据示范性实施例的关于媒体数据的首标的信息；

图4c示出依据示范性实施例的关于多个媒体数据的每一个中包含的至少一个段的信息；

图5a和5b是用于描述依据其他示范性实施例的流方法的流程图；

图6是依据另一示范性实施例的包含关于内容的信息的文件的图式；

图7示出依据另一示范性实施例的关于内容的信息；

图8a和8b是依据示范性实施例的媒体呈现描述的图式；

图9a、9b、9c、9d、9e、9f、9g和9h示出依据示范性实施例的媒体呈现描述；

图10a、10b和10c每个示出依据示范性实施例的多个媒体数据；

图11a和11b是用于描述依据其他示范性实施例的流方法的流程图；

图12a、12b和12c的每个示出依据其他示范性实施例的多个媒体数据；

图13是依据示范性实施例的包含在服务器中的用于发送媒体数据的装置的框图；

图14是依据示范性实施例的包含在客户端中的用于接收媒体数据的装置的框图；

图15a和15b示出根据示范性实施例的分割MPEG-2TS（传输流）媒体数据的方法；

图16a和16b是示出依据示范性实施例的将开始时间信息插入到媒体数据的段中的方法的框图；

图17是依据示范性实施例的媒体数据的每个段的框图；以及

图18a、18b和18c是示出依据示范性实施例的分割MP4媒体数据的方法的框图。

具体实施方式

根据示范性实施例的一方面，提供一种接收媒体数据的方法，该方法包括：从服务器接收包含关于多个媒体数据的信息的文件，通过将内容编码为具有不同的质量而产生该多个媒体数据；以及基于该文件接收该多个媒体数据的至少一个。该多个媒体数据的每一个包含通过将内容编码为具有预定质量并基于时间划分内容而产生的至少一个数据段。该至少一个数据段以随机访问点开始。

该多个媒体数据可以是MPEG-2TS（MPEG-2传输流）格式的媒体数据，且可以对应于MPEG-2TS格式的基本流。

该至少一个数据段可以包含至少一个分组化的基本流（PES）。该至少一个PES可以完全包含在该至少一个数据段之内。

该至少一个PES可以包含至少一个视频帧或一个音频帧的数据。

随机访问点的传输流可以包含指示该传输流与随机访问点有关的信息。

该文件还可以包含指向关于该多个媒体数据的节目关联表（PAT）和节目映射表（PMT）的至少一个的信息。

PAT和PMT可以是初始化段且可以从该多个媒体数据分离。

PAT和PMT的至少一个可以包括该多个媒体数据的整个列表。

可以将不同的分组标识符（PID）分配给该多个媒体数据。

该至少一个数据段可以包括至少一个画面组（GOP）的传输流。

该多个媒体数据可以是MP4格式的媒体数据，并可以对应于MP4格式中的“trak”盒（box）。

根据示范性实施例的另一方面，提供一种发送媒体数据的方法，该方法包括：向客户端发送包含关于多个媒体数据的信息的文件，该多个媒体数据是通过将内容编码为具有不同的质量而产生；以及响应于来自客户端的请求，基于该文件向客户端发送该多个媒体数据的至少一个。该多个媒体数据的每一个包含通过将内容编码为具有预定质量并基于时间划分该内容而产生的至少一个数据段。该至少一个数据段以随机访问点开始。

根据示范性实施例的另一方面，提供一种用于接收媒体数据的装置，该装置包括：信息接收器，用于从服务器接收包含关于多个媒体数据的信息的文件，该多个媒体数据是通过将内容编码为具有不同的质量而产生；以及媒体数据接收器，用于基于该文件接收该多个媒体数据的至少一个。该多个媒体数据的每一个包含通过将该内容编码为具有预定质量并基于时间划分该内容而产生的至少一个数据段。该至少一个数据段以随机访问点开始。

根据示范性实施例的另一方面，提供一种用于发送媒体数据的装置，该装置包括：信息发送器，用于向客户端发送包含关于多个媒体数据的信息的文件，该多个媒体数据是通过将内容编码为具有不同的质量而产生；以及媒体数据发送器，用于响应于来自客户端的请求，基于该文件向客户端发送该多个媒体数据的至少一个。该多个媒体数据的每一个包含通过将内容编码为具有预定质量并基于时间划分该内容而产生的至少一个数据段。该至少一个数据段以随机访问点开始。

根据示范性实施例的另一方面，提供一种计算机可读记录介质，其上记录有用于执行上述方法的程序。

以下，将参考其中示出示范性实施例的附图更全面地描述示范性实施例。诸如“……的至少一个”的表达当跟在一列元素之后时，修饰整列元素，而不是修饰该列中的单个元素。

图1是依据示范性实施例的流系统100的图。参考图1，依据本示范性实施例的流系统100包括编码设备110、服务器120、和客户端130。

编码设备110通过将输入内容编码为具有多个不同质量来产生关于一个输入内容的多个媒体数据。当服务器120向客户端130流传输媒体数据时，流环境可以改变。例如，用于流传输的网络140的带宽可以改变，或者由服务器120用于发送媒体数据或由客户端130用于接收媒体数据的硬件资源可以改变。

因此，编码设备110将一个内容编码为具有不同质量，用于根据涨落的流环境的自适应流传输。可以通过调整诸如比特率、采样频率、分辨率、或帧率的因子将一个内容编码为具有不同的质量。例如，通过以不同的分辨率编码一个图像内容可以产生500Kbps、1000Kbps、和2000Kbps的多个媒体数据。

向服务器120发送不同质量的多个媒体数据，此时，还可以向服务器120发送关于内容的信息和关于每个媒体数据的信息。关于内容的信息可以包括但不限于作为内容的元数据的关于内容的标题、概要、内容标识符（ID）、和内容统一资源定位符（URL）的信息。关于每个媒体数据的信息可以包括每个媒体数据的质量、类型、ID等，且将参考图4a、4b和4c详细描述。

客户端130接收关于内容的信息和关于每个媒体数据的信息的至少一个，并基于接收的关于内容的信息和关于每个媒体数据的信息的至少一个，向服务器120请求该多个媒体数据的至少一个。客户端130估计流环境，并基于估计的流环境选择该多个媒体数据的至少一个。可以选择可以在估计的流环境中保持最佳的服务质量（QoS）的至少一个媒体数据。然后，客户端130可以发送用于请求服务器120发送所选择的至少一个媒体数据的超文本传输协议（HTTP）请求。

当流环境恶化且接收高质量媒体数据但无法连续地再现媒体数据时，可以从多个媒体数据当中请求低质量媒体数据。当流环境改善且接收高质量媒体数据且能够连续地再现媒体数据时，可以从多个媒体数据当中继续请求高质量媒体数据。

客户端130可以在接收预定媒体数据的同时请求服务器120发送另一媒体数据。例如，在恶化的流环境中请求并正在接收低质量的第一媒体数据的客户端130随着流环境改善可以请求服务器120发送比第一媒体数据的质量更高的第二媒体数据。根据常规流方法，当服务器120和客户端130在初始建立流信道的同时设置质量时，媒体数据以相同的质量连续被发送和接收。然而，根据本示范性实施例，因为客户端130即便在接收关于相同内容的第一媒体数据时也能够再次请求第二媒体数据，所以自适应于流环境的流传输是可能的。

客户端130可以通过使用基于网络140的带宽或服务器120或客户端130可以使用的硬件资源估计流环境的方法来估计流环境。例如，客户端130可以基于接收的媒体数据的时间戳和误比特率（BER）来估计流环境。通过检查接收的媒体数据的时间戳，当媒体数据接收得比再现速度慢时可以确定流环境恶化。替换地，当接收的媒体数据的BER增加时可以确定流环境恶化。

当客户端130根据流环境请求服务器120发送该多个媒体数据的至少一个时，服务器120向客户端130发送请求的媒体数据。服务器120可以向客户端130发送请求的媒体数据作为对HTTP请求的HTTP响应。

每个媒体数据可以包含通过将内容编码为不同的质量并划分已编码内容而产生的多个段的至少一个。换言之，通过由编码设备110编码内容而产生的每个媒体数据可以包含基于时间划分的至少一个段。服务器120通过将内容划分成多个段并分别发送该多个段来发送内容，而不是将内容编码成一个流并连续地发送该内容。可以通过将内容划分成诸如10或20秒的单位的预定的时间单位来产生该多个段。可以基于画面组（GOP）来设置作为用于划分内容的基础的时间。与一个或多个GOP的画面相对应的媒体数据可以被设置成一个段。

例如，当流传输的质量具有两种质量时，第一媒体数据可以包含通过将内容编码为具有第一质量并基于时间划分已编码内容而产生的至少一个段，而第二媒体数据可以包含通过将内容编码为具有第二质量并基于时间划分已编码内容而产生的至少一个段。

通过基于时间划分第一媒体数据，自适应流传输是可能的。例如，当流传输开始时，服务器120发送与低质量的第一媒体数据的0到20秒对应的段。然后，当20秒后确定流环境改善且客户端130请求更高质量的媒体数据时，服务器120可以发送与更高质量的第二媒体数据的20到40秒对应的段。由于基于时间将媒体数据划分成多个段，所以即便在流传输期间也可以根据流环境来发送不同的多个媒体数据的段。

图15a和15b示出根据示范性实施例将MPEG-2TS（传输流）媒体数据分割为段的方法。将描述图15a和15b的示范性实施例，其涉及例如媒体数据的容器格式是MP4格式或MPEG-TS格式的情况。然而，依据示范性实施例的容器格式不限于MP4格式或MPEG-TS格式，并且可以理解，示范性实施例也可以应用于用于发送媒体数据的其他各种容器格式。例如，容器格式可以是依据MPEG媒体传输标准的格式。

参考图15a，如果媒体数据是视频数据，则基本流可以包含关于多个画面的数据。可以基于画面组（GOP）组合关于多个画面的数据。每个GOP开头是内部画面（intrapicture），即，不参照任何画面用于预测编码的画面。可以使用内部画面作为随机访问点，因为其不参照任何画面用于预测编码，所以。GOP仅仅是将视频数据分割成多个段的单位的示例，可以理解，根据示范性实施例，在图15a的方法中可以使用其他单位之一来分割媒体数据。

将关于多个画面的数据分割成多个MPEG2-TS格式的传输流，且将该多个传输流组合到一个段中。由于通过组合该多个传输流来产生段，所以该段的开始和结束分别与第一传输流的分组和最后的传输流的分组的边界一致。换言之，段由多个传输流构成。

参考图15a，媒体数据的一个段1530包括关于两个GOP 1510和1512的多个传输流1520，且以GOP为单位产生段1530。于是，媒体数据的每个段的开头是内部画面，即，随机访问点。

在本示范性实施例中，为了自适应于流环境的流传输，将媒体数据分割成至少一个段，并发送具有适合于流环境的质量的媒体数据的至少一个段。由于这个原因，可以单独地再现该至少一个段，从而，该至少一个段的每一个可以以随机访问点开始。然而，由于通常GOP可以以内部画面开始且可以使用内部画面作为随机访问点，所以通过组合关于至少一个GOP的传输流产生媒体数据的一个段，如图15a中所示。

当通过分割关于一个画面的数据来产生多个MPEG2-TS格式的传输流时，该多个传输流的每一个可以包含关于该画面的数据。如果通过将关于多个画面的数据分割成相等的段来产生多个传输流，则该多个传输流之一可以包含关于两个画面的数据。换言之，如果通过将关于时间t–1点处的画面的数据和关于时间t点处的画面的数据分割成相等的部分来产生多个传输流，不考虑画面的结束，则时间t–1点处的画面的最后传输流可以包含关于时间t–1点处的画面的数据和关于时间t点处的画面的数据两者。

在依据本示范性实施例的自适应流传输中，可以单独地再现段1530和传输流1520。例如，如果图1的客户端130正在再现时间t–1点处的画面且从时间t点开始要再现高分辨率画面，则从时间t点开始可以接收具有与用于时间t–1点处的画面的媒体数据的质量不同的质量的媒体数据。然而，如果传输流包含关于时间t–1点处的画面的数据和关于时间t点处的画面的数据两者，则媒体数据的边界不清楚，从而降低图15a中所示的用于自适应流传输的媒体数据的分割的作用。因此，当通过分割基本流来产生多个传输流时，可以以这样的方式来产生该多个传输流：该多个传输流的每个的有效载荷仅包含关于一个视频帧的数据。而且，一个视频帧的第一传输流的首标可以包含指示视频帧的开始的信息。该信息可以是传输流分组的“payload_start_unit_indicator”。

根据另一示范性实施例，一个传输流可以包含关于多个画面的数据。该情况下，可以以画面为单位执行自适应流传输。即，可以在考虑流环境改变具有不同质量的画面的同时执行流传输。

如果传输流与随机访问点有关，则该传输流的首标可以包含指示该事实的信息。该传输流的首标还可以包含指示与随后的随机访问点有关的传输流的位置的信息，以便快速执行随机访问。

可以根据图15a的方法来分割多个媒体数据，如图15b所示。参考图15b，可以将该多个媒体数据的每一个分别分割成包含多个传输流的段。

该多个媒体数据可以分别对应于多个基本流，例如，依据MPEG-2标准的多个基本流。该情况下，可以将不同的分组ID（PID）1550、1560、和1570分别分配给该多个媒体数据。根据另一示范性实施例，可以通过将一个内容（例如，节目）编码为具有不同质量来产生多个媒体数据，从而分配相同的PID。图15a的基本流可以是分配了PID 1的媒体数据、分配了PID 2的媒体数据、或分配了PID 3的媒体数据。

根据MPEG-2标准，连同媒体数据一起流传输节目专用信息（PSI），且分配给包含PSI的传输流的PID具有固定值。然而，根据示范性实施例，诸如节目关联表（PAT）和节目映射表（PMT）的PSI可以作为多个媒体数据的首标与有效载荷数据分离，如图15b所示。例如，参考图15b，依据图15a的方法将分配了PID 1的媒体数据的有效载荷数据分割成段，而PSI（例如，PAT/PMT）可以以单独的文件的形式呈现为多个媒体数据的首标。分配给PAT/PMT的PID 1550、1560、和1570对于该多个媒体数据可以分别具有不同的值，以便将该多个媒体数据彼此区分，或者对于该多个媒体数据可以具有相同的值，因为该多个媒体数据是通过将一个内容编码为具有不同质量而产生。

图15b中全部多个媒体数据的首标，即“Reference Data（参考数据）”是初始化段，且可以早于包含有效载荷数据的其他段被发送至客户端130，以便开始再现媒体数据。换言之，将在下面详细描述的客户端130在图2b的操作222中、图5b的操作532中、以及图11b的操作1122中接收的首标可以是图15b的“Reference Data”。“Reference Data”可以对应于图10c的首标文件1050或图12c的首标文件1250，其也将在下面详细描述。

参考图15b，当该多个媒体数据分别对应于多个基本流时，该多个媒体数据的每个段可以包含至少一个连续的分组化的基本流（PES）。然而，一个PES只可以包含在所述段当中的一个段中。如上关于传输流的描述，对于自适应流传输，一个段可以与MPEG2-TS格式的传输流对齐。于是，以这样的方式将媒体数据分割为段，以使得一个PES仅包含在一个段内。换言之，同一个PES不能包含在不同的段中。即，一个段包含整数数量的PES。参考图15b，与相同的时间点处的媒体数据对应的PES分别包含在分配了PID 1的媒体数据、分配了PID 2的媒体数据、和分配了PID 3的媒体数据的段中。这里，PES可以是包含多个传输流的单元，因而可以包含关于一个视频或音频帧的数据或关于多个视频或音频帧的数据。当关于一个视频或音频帧的数据无法包含在一个PES中时，该数据可以包含在多个PES中。

而且，PES可以包含用于该多个媒体数据的每一个的时间同步的信息，即，时间戳。时间戳可以包含关于每个PES中包含的媒体数据的时间信息。特别地，当通过基于时间组合传输流来产生PES时，该PES中包括的所有传输流都涉及相同时间点处的媒体数据。该时间戳可以包含呈现时间戳（PTS）和解码时间戳（DTS）当中的至少一个。

可以基于再现时间对齐相同类型的多个媒体数据（例如，具有不同比特率的多个视频数据）或不同类型的多个媒体数据（例如，视频数据和音频数据）中包含的PES的时间戳。

例如，如果第一媒体数据的第一个PES和第二媒体数据的第一个PES是将要在相同时间点再现的内容，则可以向其分配相同的PTS和/或相同的DTS。参考图15b，可以向具有PID 1的媒体数据的PES 1552、具有PID 2的媒体数据的PES 1562、和具有PID 3的媒体数据的PES 1572分配相同的时间戳。同样，可以向具有PID 1的媒体数据的PES 1554、具有PID 2的媒体数据的PES 1564、和具有PID 3的媒体数据的PES 1574分配相同的时间戳。

当在再现第一媒体数据期间通过从第一媒体数据切换至第二媒体数据而将要再现第二媒体数据时，可以连续地排列其PTS和/或DTS用于无缝地再现。换言之，该情况下，可以将切换后的第一个PES的PTS和/或DTS连续地排列在切换前的最后一个PES的PTS和/或DTS之后。

由于以PES为单元产生媒体数据的段且基于时间连续地排列所述PES的PTS和/或DTS，所以可以基于PTS和/或DTS来识别所述段的开始时间。于是，可以再现第一媒体数据的段，且然后当在再现第一媒体数据期间执行切换时可以连续地再现第二媒体数据的段。

然而，根据另一示范性实施例，可以不向PES分配时间戳。即，可以向PES选择性地分配时间戳。如果PES不包含时间信息，例如，时间戳，则无法指定媒体数据的段的开始时间。这将参考图16a和16b来详细描述。

图16a和16b是示出依据示范性实施例的将开始时间信息插入到媒体数据的段中的方法的框图。特别地，图16a和16b示出当媒体数据如图15b中所示被分割成段时将时间信息插入到媒体数据的段中的方法。

参考图16a，如果媒体数据的每个PES不包含PTS和/或DTS，媒体数据的第k段1610中包含的第一个PES 1620…到最后一个PES 1630也不包含PTS和/或DTS，则无法指定第k段1610的开始时间。

该情况下，不能指定媒体数据的段的开始时间，从而阻碍自适应流传输的执行。如上所述，应当无缝地再现多个媒体数据的段用于自适应流传输，但是当其每个PES都不包含PTS和/或DTS时，无法指定所述段的开始时间且无法连续地再现该多个媒体数据的段。例如，如果要连续地再现第一媒体数据的第k段和第二媒体数据的第k+1段，则当不能指定第k+1段的开始时间时，无法连续地再现第k和第k+1段。

因此，根据示范性实施例，可以在传输流中包含媒体数据的每个段的时间信息。例如，媒体数据的每个段的第一个传输流中可以包含PTS和/或DTS。参考图16a，可以在第k段1610的第一个PES 1620的第一传输流1622中包含时间信息。时间信息可以使用下面的语法来产生，且可以作为字段包含在传输流中。

[表1]

语法	比特数目
		Segment_lndex(){
data_field_tag	8
		data_field_length	8
PTS	33
		DTS	33
PCR	33
		}

表1中，用于索引媒体数据的每个段的“Segment_Index()”包含在传输流的“private_data_bytes”字段中，“data_field_tag”表示传输流的“private_data_bytes”字段涉及每个段的索引，而“data_field_tag”定义传输流的字段长度。可以包含从PTS、DTS、和节目时钟参考（PCR）当中选择的至少一个作为时间信息。

可以理解，根据示范性实施例，“Segment_lndex()”可以包含在第一PES1620的第一传输流1622中，或者可以包含在第一PES 1620的另一传输流1624或1626中。

如上所述，一个PES可以包含在媒体数据的一个段中，而不可以包含在媒体数据的多个段中。然而，当如图16b中所示一个PES 1640包含在媒体数据的第k段1610和第k+1段1612两者中时，通过将时间信息插入到第k+1段1612的第一传输流中可以执行自适应流传输。

虽然图16b的PES 1640包含时间信息，例如，PTS和/或DTS，但是当PES 1640包含在第k段1610和第k+1段1612两者中时不能指定第k+1段1612中包含的传输流的开始时间，从而阻碍自适应流传输的执行。

因此，可以通过将“Segment_Index()”插入到第k+1段1612的第一传输流1642中来指定第k+1段1612中包含的传输流的开始时间。

可以理解，根据示范性实施例，可以将“Segment_Index()”插入到第k+1段1612的第一传输流1642中，或者可以插入到第k+1段1612的另一传输流1644、…、或1646中。

图16a和16b示出依据示范性实施例的当媒体数据被分割成MPEG-2TS格式的段时包含时间信息的方法。然而，当媒体数据被分割成MP4格式的段时可以如上参考图16a或16b所述来包含时间信息，如将在下面参考图18a、18b和18c详细描述的。例如，可以通过将“Segment_Index()”插入到媒体数据的每个段中包含的MP4盒中来指定媒体数据的每个段的开始时间。

当没有根据再现时间信息对齐多个媒体数据的PES的PTS和/或DTS时，无缝再现将是不可能的。例如，当第一服务器再现内容的第一媒体数据而第二服务器再现该内容的第二媒体数据时，第一和第二媒体数据的PES的PTS和/或DTS可以不根据再现时间信息对齐。

例如，分配给第一媒体数据的连续的三个段的PTS可以分别定义为“1000”、“2000”、和“3000”，而分配给可以在再现第一媒体数据的相同时间点再现的第二媒体数据的连续的三个段的PTS可以分别定义为“11000”、“12000”、和“13000”。由于第一媒体数据的第一段的PTS是“1000”而第二媒体数据的第一段的PTS是“11000”，接收第一和第二媒体数据的接收侧难以确定第一媒体数据的第一段和第二媒体数据的第一段在相同时间点再现。该情况下，由于分配给第一媒体数据的第一段和第二媒体数据的第一段的PTS彼此不同，无法通过改变第一和第二媒体数据来执行自适应流传输。

可以基于以下语法来产生用于纠正这样的问题的信息，且可以将其插入到以上媒体呈现描述或媒体数据中。

[表2]

语法	比特数目
		Segment_Start_Adjustment(){
data_field_tag	8
		wendidata_field_length	8
PTS	33
		DTS	33
PCR	33
		}

表2中，用于时间戳调整的“Segment_Start_Adjustment()”被包含在传输流的“private_data_bytes”字段中，“data_field_tag”表示传输流的“private_data_bytes”字段用于时间戳调整，而“data_field_length”定义该传输流的字段长度。可以包含PTS、DTS和PCR当中的至少一个作为用于调整媒体数据的段的时间戳的信息。“Segment_Start_Adjustment()”被包含在媒体数据的每个段中。根据在“Segment_Start_Adjustment()”中定义的PTS、DTS或PCR来设置媒体数据的每个段的时间戳。

可以理解，根据示范性实施例，“Segment_Start_Adjustment()”可以包含在第一PES 1620的第一传输流1622或另一传输流1624、…、或1626中，与“Segment_Index()”类似。

而且，可以在第一PES 1620的首部单独定义用于时间戳调整的额外的传输流，且“Segment_Start_Adjustment()”可以包含在该额外的传输流中。

当媒体数据被分割成依据MP4格式的段时，也可以如上述包含用于时间戳调整的信息，如将在下面参考图18a、18b和18c描述的。例如，可以通过将“Segment_Start_Adjustment()”包含在每个段中所包含的MP4盒中来指定媒体数据的每个段的开始时间。另外，用于时间戳调整的信息可以包含在媒体呈现描述中。

PTS和DTS是指例如视频数据的时间戳。如上所述，根据媒体数据的再现时间来对齐用于视频数据的多个媒体数据的时间戳。如果是音频数据，也可以根据该音频数据的再现时间来对齐时间戳。换言之，对于自适应流传输，如上参考图15b、16a、和16b所述，可以基于再现时间来对齐用于音频数据的多个媒体数据的时间戳。

图17是依据示范性实施例的媒体数据的每个段的框图。具体地，图17示出当媒体数据被分割成如图15b中所示的段时媒体数据的每个段的结构。图17中，示出第k段1710作为示例以描述该媒体数据的每个段的结构，且其他段可以具有此结构，不管段的顺序如何。如上所述，媒体数据的每个段可以以随机访问点（例如I帧）开始，使得可以单独地再现所述段。图17示出以I帧开始的媒体数据的每个段的结构。

参考图17，第k段1710包含至少一个PES，且第k段1710的第一PES1720以关于随机访问点（例如，I帧）的数据开始。可以将PES划分成访问单元（AU），用于以帧为单位访问比特流。参考图17，将第一PES 1720划分成I帧访问单元1722和P或B帧访问单元1724。

I帧访问单元1722包含用于单独地再现媒体数据的段的参数，例如，序列参数集（SPS）1732、画面参数集（PPS）1734、和补充加强信息（SEI）1736。SEI 1736是用于编码画面缓冲（CPB）所需的因子。I帧访问单元1722是第k段1710中包含的帧当中的开头帧，且包含即时解码刷新（IDR）帧1738。SPS 1732和PPS 1734包含在I帧访问单元1722的第一字节中，且在参考SPS 1732和PPS 1734之后提供视频流的其他访问单元。

P或B帧访问单元1724包含SEI 1742和P或B帧1744。出于与I帧访问单元1722中的SEI 1736相同的目的，SEI 1742可以包含在P或B帧访问单元1724中。

为了考虑流环境的无缝的再现，在相同时间点再现的多个媒体数据的段应当具有相同的开始时间和持续时间。例如，在相同时间点再现的多个媒体数据的段中，应当向第一个访问单元和最后的访问单元分配相同的PTS。

图18a、18b和18c是示出根据示范性实施例的根据MP4格式将媒体数据分割为段的方法的框图。参考图18a，可以如上参考图15a所述将媒体数据分割为段。如图18a中所示，如果该媒体数据是视频数据，则其基本流可以包含关于多个画面的数据，并可以被划分成GOP1810和1820。GOP 1810和1820的每一个都以内部画面开始。图18a中，“片（Slice）”对应于图15a的“段（Segment）”。

在图18a的示范性实施例中，两个GOP 1810和1820包含在一个段1830中。根据MP4格式，两个GOP 1810和1820中包含的多幅画面包含在段1830中。于是，根据MP4格式，段1830包括：包含该媒体数据的首标信息的“moov”盒、包含有效载荷数据的“moof”盒、以及包含该媒体数据的另一首标信息的“moof”盒。由于基于GOP来产生一个段，所以该媒体数据的每个段都以内部画面（即，随机访问点）来开始。

根据图18a的方法，可以将多个媒体数据分割成如图18b中所示的段。参考图18b，多个媒体数据可以被分割成段，每个段都包括多个样本。

该多个媒体数据可以分别对应于MP4格式的多个轨道（track）“trak 1”1850、“trak 2”1860、和“trak 3”1870。该情况下，可以向该多个媒体数据分别分配不同的“trak”ID。

根据示范性实施例，可以将多个媒体数据的首标与有效载荷数据分离作为“moov”盒，如图18b中所示。参考图18b，类似于图15b的包含PAT/PMT的“Reference Data”，可以将包含与该多个媒体数据有关的元数据的首标与包含有效载荷数据的“mdat”盒1880分离，并可以定义为“moov”盒1840。

图18b中，“moov”盒1840是初始化段，并可以早于包含有效载荷数据的“mdat”盒1880被发送至图1的客户端130。客户端130在图2b的操作222、图5b的操作532、和图11b的操作1122中接收的首标信息可以是“moov”盒1840。

除了首标信息之外，其他有效载荷数据包含在“mdat”盒1880中。例如，为了将音频数据分组并分割成至少一个段，关于与多个轨道“trak 1”1850到“trak 3”1879对应的多个音频样本的数据可以被分组成一个段。可以通过将与轨道“trak 1”1850对应的音频样本组合成预定的时间单元来产生多个段，可以通过将与轨道“trak 2”对应的音频样本组合成预定的时间单元来产生多个段，并可以通过将与轨道“trak 3”对应的音频样本组合成预定的时间单元来产生多个段。对于自适应流传输，关于该多个音频样本的每一个的数据只可以包含在一个段中。“mdat”盒1880中包含的样本的首标可以包含在“moov”盒1840中包含的多个轨道“trak 1”1850到“trak 3”1870中。类似地，当根据MP4格式来分组视频数据时，关于一个GOP的数据只包含在一个段中。

图18c是依据另一示范性实施例的根据MP4格式将多个媒体数据分割为段的方法的框图。图18b示出通过使用“mdat”盒1880将关于多个样本的有效载荷数据分组成预定的时间单元的情况，而图18c示出通过使用多个“moof”盒和多个“mdat”盒将关于多个样本的有效载荷分割为段的情况。例如，当该多个媒体数据当中与轨道“trak 1”1850对应的媒体数据被分割成如图18c中所示的段时，“moof”盒1851和“mdat”盒1852呈现用于第一段，而“moof”盒1853和“mdat”盒1854呈现用于所述段当中的第二段。

可以基于包含元数据的“moof”盒1851或1853和包含有效载荷数据的“mdat”盒1852或1854将与轨道“trak 1”1850对应的媒体数据分割为段。

这里，每个“moof”盒可以包括包含关于样本的元数据的“traf”盒，而关于一个样本的数据不能包含在如图18b所示的多个段中。例如，关于一个样本的数据可以包含在用于第一段的“mdat”盒1852或用于第二段的“mdat”盒1854中，即，它不可以包含在“mdat”盒1852和“mdat”盒1854两者中。

图2a是用于描述依据示范性实施例的流方法的流程图。参考图2a，在操作210中，客户端130向服务器120发送关于发送与预定内容有关的信息的请求。当客户端130的用户从客户端130的屏幕上显示的用户界面选择预定内容时，客户端130请求服务器120发送关于所选择内容的信息。客户端130可以发送请求服务器120发送关于预定内容的信息的HTTP请求。

一旦从客户端130接收到请求，服务器120就向客户端130发送关于预定内容的信息。服务器120可以向客户端130发送关于预定内容的信息作为对HTTP请求的HTTP响应。该关于预定内容的信息可以是依据开放IPTV论坛（OIPF）标准的内容访问描述符（CAD）。现在将参考图3详细描述关于预定内容的信息。

图3是依据示范性实施例的包括关于内容的信息的文件的图式。该文件可以是CAD，且可以是可扩展标记语言（XML）文件。单独地描述标签和属性，但是可以理解，根据示范性实施例，由标签定义的项目可以由属性定义，或者由属性定义的项目可以由标签定义。

参考图3，关于内容的信息可以包括“Title（标题）”、“Synopsis（概要）”、“OriginSite（原始站点）”和“ContentURL（内容URL）”标签。

由于媒体数据的常规的流传输通过将一个内容编码为具有预定质量来产生一个媒体数据，所以常规的关于内容的信息（具体地，依据OIPF的CAD）不包括关于通过将内容编码为具有不同的质量而产生的多个媒体数据的信息。

然而，根据本示范性实施例，关于内容的信息包含关于通过将一个内容编码为具有不同质量而产生的多个媒体数据的信息，并且对应于图3中的“Tracks（轨道）”、“RefData（参考数据）”和“Fragments（片断）”标签。

图4a示出依据示范性实施例的用于定义多个媒体数据的信息。参考图4a，“Tracks”标签是用于分类通过将内容编码为具有不同的质量而产生的多个媒体数据的信息。“Tracks”标签包含分配给每个媒体数据的“ID”属性、“Type”属性、和“BitRate”属性。

“ID”属性定义顺序地分给该多个媒体数据的标识符，而“Type”属性定义媒体数据是对应于音频数据、视频数据、视频/音频数据、还是字幕数据。当“Type”属性是“Packed”时，该媒体数据是视频/音频数据，而当“Type”属性是“Video”时，该媒体数据是视频数据。“BitRate”属性定义用于编码媒体数据的比特率。

图4b示出依据示范性实施例的用于媒体数据的首标的信息。参考图4b，“RefData”标签包含“Type”属性和“ID”属性。“Type”属性定义首标的媒体格式。例如，当“Type”属性是“HEAD-TS”时，该首标是传输流格式的首标。“ID”属性定义首标的媒体数据。当“ID”属性是“1”时，该首标是具有“1”的媒体数据ID的媒体数据的首标。同样，“RefData”标签包含指向首标的信息，而“URL”标签定义首标的位置，即，首标的URL。

“RefData”标签是可选的元素。“RefData”标签仅当首标从媒体数据分离且作为单独的文件存在时才包含在关于内容的信息中，而当首标与媒体数据组合时可以不包含在关于内容的信息中。

图4c示出依据示范性实施例的关于多个媒体数据的每一个中包含的至少一个段的信息。以下，假定“Fragments”对应于图15a中所示的“段（Segment）”或图15b中所示的“片（Slice）”。

参考图4c，“Fragments”标签的子标签“Fragment”标签包含关于多个媒体数据的每一个中包含的至少一个段的信息。

“Fragments”标签包含“NextFragmentsXMLURL”属性。当如在直播流传输的情况下在一个内容的流传输完成之后连续地流传输后续内容时，仅当客户端130知晓关于后续内容的信息时才可以无缝地流传输后续内容。因此，“Fragments”标签将关于后续内容的信息定义为“NextFragmentsXMLURL”属性。可以将关于后续内容的多个媒体数据的URL定义为“NextFragmentsXMLURL”属性。

“Fragment”标签包含关于当前内容的至少一个段的信息。参考图4c，构成通过将内容以第一质量编码为第一媒体数据而产生的第一段的“slice1-1.as”的URL信息由“URL”标签定义，而对应首标的ID由“RefPointer”标签定义。同样，第一段的开始时间由“StartTime”属性定义，而每个段的持续时间由“Duration”属性定义。第一媒体数据的质量由“BitRate”属性定义。

图4c中，“Fragments”标签示出每个媒体数据仅包含一个段。然而，如上参照图1所述，可以理解，根据示范性实施例，当每个媒体数据被划分成多个段时，一个“Fragments”标签可以包含关于至少两个段的信息。

回来参照图2a，在操作220中，客户端130请求服务器120发送该多个媒体数据的至少一个。该多个媒体数据通过将一个内容编码为具有不同质量而产生。客户端130从该多个媒体数据当中选择被编码为具有适合于流环境的质量的至少一个媒体数据，并向服务器120请求所选择的至少一个媒体数据。客户端130可以基于包含在关于内容的信息中的关于该多个媒体数据的信息向服务器120发送HTTP请求。

如上参照图4c所述，关于所述内容的信息可以包括“Fragments”标签。所以，客户端130基于该“Fragments”标签中包含的URL信息来请求服务器120发送所选择的媒体数据。

服务器120依据客户端130的请求发送媒体数据。服务器120可以向客户端发送所请求的媒体数据的至少一个段。服务器120可以向客户端130发送所请求的媒体数据作为对HTTP请求的HTTP响应。所发送的媒体数据可以是如图15a、15b、以及18a、18b和18c之一所示被分割成至少一个段的媒体数据。

图2b是用于描述依据另一示范性实施例的流方法的流程图。具体地，图2b示出当首标作为来自媒体数据的独立文件而存在时的流方法。

参照图2b，在操作212中客户端130请求服务器120发送关于预定内容的信息，且服务器120发送该关于内容的信息。操作212对应于图2a的操作210。包括上面参照图4b所述的“RefData”标签的所述关于内容的信息被接收。

在操作222中，客户端基于在操作212中接收的关于内容的信息，请求从多个媒体数据当中选择的媒体数据的首标。基于在操作212中接收的关于内容的信息，从该多个媒体数据中选择适合于流环境的至少一个媒体数据，并请求所选择的至少一个媒体数据的首标。通过参考在操作212中接收的关于内容的信息中包括的“RefData”标签，请求所选择的至少一个媒体数据的首标。

服务器120向客户端130发送所请求的首标。可以向客户端130发送首标文件，且其可以是XML文件。该首标可以是全部多个媒体数据的首标，例如图15b、18b、或18c中所示的“Reference Data”。

在操作232中，客户端130基于在操作212中接收的关于内容的信息和在操作222中接收的首标来请求服务器120发送所选择的媒体数据。客户端130请求服务器120发送通过基于时间划分媒体数据而产生的至少一个段，且服务器120向客户端130发送所请求的至少一个段。所发送的媒体数据可以是如图15a、15b以及18a、18b和18c之一中所示被分割成至少一个段的媒体数据。

图5a是用于描述依据另一示范性实施例的流方法的流程图。参照图5a，在操作510中客户端130请求服务器120发送关于预定内容的信息，且服务器120发送该关于内容的信息。客户端130发送用于请求服务器120发送该关于内容的信息的HTTP请求，并接收该关于内容的信息作为对HTTP请求的HTTP响应。该关于内容的信息可以是XML文件。在操作510中客户端130接收的关于内容的信息不同于在图2的操作210中客户端130接收的关于内容的信息，现在将参照图6和7描述该区别。

图6是依据另一示范性实施例的包含关于内容的信息的文件的图式。参照图6，依据本示范性实施例的关于内容的信息可以包括如图3的“Title”、“Synopsis”、“OriginSite”、和“ContentURL”标签。

然而，图3中，关于内容的信息通过包括“Tracks”、“RefData”和“Fragments”标签而包含与该多个媒体数据有关的信息，然而在图6中，并不包含与该多个媒体数据有关的信息，关于内容的信息只定义包含与该多个媒体数据有关的信息的文件（以下，称作“媒体呈现描述”）的URL。“ContenURL”标签可以定义媒体呈现描述的URL。

通过如图6中所示将媒体呈现描述的URL插入到关于内容的信息中而不用大幅度改变包含关于内容的信息的文件的传统图式，可以在执行自适应于流环境的流传输的同时保持与各种媒体数据格式的兼容性。

如图6中所示，关于内容的信息可以仅包含涉及流方法的信息，而不包含关于多个媒体数据的信息。换言之，“ContentURL”标签可以包括定义流传输期间使用的媒体数据格式的“MediaFormat（媒体格式）”属性和定义媒体数据类型的“MIMEType（MIME类型）”属性。

具体地，“ContentURL”标签可以包括定义内容的流传输所涉及的服务的“TransferType（传送类型）”属性。“TransferType”属性可以定义内容的流传输是涉及点播（CoD）服务、直播服务、自适应流传输直播服务、还是自适应流传输CoD服务。

图7示出依据示范性实施例的关于内容的信息。图7可以是依据OIPF标准的CAD。参照图7，根据图6的图式而产生的关于内容的信息可以在“ContentURL”标签中定义媒体呈现描述的URL。http://asexamplec.com/vod/movies/18888/Meta/MainMeta.xml是媒体呈现描述的URL。同样，如参照图6所述，可以在“ContentURL”标签中定义“MediaFormat”属性、“MIMEType”属性、和“TransferType”属性。

回来参照图5a，在操作520中，客户端130基于在操作510中接收的关于内容的信息向服务器120请求关于多个媒体数据的信息。客户端130可以通过HTTP请求向服务器120请求媒体呈现描述，并且可以接收媒体呈现描述作为HTTP响应。

客户端130在操作510中从服务器120接收的关于内容的信息可以包括媒体呈现描述的URL，如参照图6和7所述，因而客户端130通过参考关于内容的信息的“ContentURL”标签来从服务器120请求并接收媒体呈现描述。现在将参照图8a和8b、以及图9a、9b、9c、9d、9e、9f、9g和9h来详细描述媒体呈现描述。

图8a和8b是依据示范性实施例的媒体呈现描述的图式。该媒体呈现描述可以遵循OIPF标准。

参照图8a，依据本示范性实施例的媒体呈现描述包括关于多个媒体数据的URL的模板标签、用于定义首标的位置的标签、用于定义流传输所涉及的服务的标签、用于定义媒体数据的容器格式的标签、和用于定义该多个媒体数据的标签。

“urlTemplate”标签定义多个媒体数据的URL的共同部分。例如如果http://example.com/vod/movie/18888/Track/{TrackID}/Segments/{SegmentID}是URL模板，则可以通过用每个媒体数据的ID和每个媒体数据中包括的至少一个段的ID分别替换“TrackID”和“SegmentID”来定义媒体数据的URL。

“headerUrl”标签对应于参照图4b所述的“RefData”标签。换言之，“headerUrl”标签定义该多个媒体数据的首标的URL。

“isLive”标签定义涉及流传输的服务。例如，当“isLive”被定义为“Live”时，该流传输涉及直播服务，而当“isLive”标签被定义成“CoD”时，该流传输涉及CoD服务。

“contentType”标签定义流传输期间使用的媒体数据的容器格式。“contentType”标签可以指示容器格式是MP4格式还是MPEG2-TS格式。这里容器格式是MP4格式或MPEG2-TS格式，但是可以理解，根据示范性实施例，容器格式不限于此，且可以使用用于发送媒体数据的任何容器格式。例如，“contentType”标签可以定义容器格式遵循MPEG媒体传输（MMT）标准。

“Stream”标签为每个媒体数据产生且定义每个媒体数据。为了定义通过将一个内容编码为具有不同质量而产生的每个媒体数据，“Stream”标签包括“steamName”属性、“type”属性、“bitrate”属性、“startTime”属性、“firstIntervalNum”属性、“duration”属性、和“intervalCount”属性。

“streamName”属性定义媒体数据的名称，且可以是媒体数据的ID。“type”属性定义媒体数据的类型，其中定义该媒体数据是音频数据、视频数据、还是音频/视频数据。当媒体数据只包括关于I帧的数据用于特技播放（trick play）时，可以在“type”属性中定义这样的信息。

“bitrate”属性定义媒体数据的比特率，“startTime”属性定义用于指定媒体数据的开始时间的时间戳，而“firstIntervalNum”属性定义最初开始的段的编号。

“duration”属性定义媒体数据中包括的段的持续时间，而“intervalCount”属性定义媒体数据中包括的至少一个段的总数。

“Segment”标签是“Stream”标签的子标签，且如上所述，当媒体数据包括通过以预定质量编码内容并基于时间划分已编码内容而产生的至少一个段时，定义该至少一个段的每一个。

“IntNum”属性定义段的数目，而“StartTime”标签定义对应段的开始时间。“Duration”标签定义对应段的持续时间，而“url”定义对应段的URL。

“Segment”标签是可选的标签，并且如果可以从“Stream”标签的其他属性推断出关于媒体数据中包括的至少一个段的信息，则其可以不包含在媒体呈现描述中。换言之，当可以从“Stream”标签中定义的“startTime”、“firstIntervalNum”、“duration”、和“intervalCount”属性中推断出“Segment”标签的内容时，“Segment”标签可以不包含在媒体呈现描述中。而且，如果在“urlTemplate”中定义预定模板，则可以不需要“Segment”标签的“url”属性，而通过用该多个媒体数据的每一ID和每个媒体数据中包括的至少一个段的ID替换已定义的预定模板来推断段的URL。

然而，另一方面，如果不能从“Stream”标签的其他属性中推断“Segment”标签的属性，则为每个段分别定义“Segment”标签的属性。如果段的持续时间不同，则不可以推断“Segment”标签的属性。当持续时间不同时，不能从“Stream”标签的属性中推断媒体数据中包括的段的持续时间，因而可以通过使用“Segment”标签的“duration”属性来各自设置所述段的持续时间。当所述段的持续时间不同时，连续的段的开始时间也不同。例如，当第一媒体数据的第一段的持续时间不同于该第一媒体数据的第二段的持续时间时，不能从“Stream”标签推断第二段的开始时间和第三段的开始时间。所以，可以由“startTime”属性来定义每个段的开始时间。

可以通过使用“Segment”标签的子标签来定义持续时间和/或开始时间，而不是使用“Segment”标签的“duration”属性和“startTime”属性。例如，可以设置构成“Segment”标签的子标签的“Url”标签，且可以将持续时间定义为“Url”标签的属性，例如“<Url=www.example.com/～/segment.ts,duration=10/>”。

根据另一示范性实施例，可以基于连续的段的持续时间之间的差来定义持续时间。上级标签可以定义默认持续时间，而构成子标签的“Url”标签可以为每个段仅定义默认持续时间与实际持续时间之间的差。如上所述，可以将形成“Segment”标签的子标签的“Url”标签定义为“<Url=www.example.com/～/segment.ts,duration=difference/>”。“Difference”表示默认持续时间与实际持续时间之间的差。

当通过使用“Stream”标签或“Segment”标签将对应段的默认持续时间定义成10分钟，且将构成子标签的“Url”标签定义成“<Url=www.example.com/～/segment.ts,duration=2/>”时，可以将对应段的持续时间定义成10+2=12分钟。

参照图8b，依据另一示范性实施例的媒体呈现描述还可以包括“nextManifestURL”标签。如上所述，当诸如在直播流传输或广告插入的情况下在一个内容的流传输完成之后连续地流传输后续内容时，客户端130需要预先知道关于后续内容的信息以便不间断地流传输后续内容。因此，可以用“nextManifestURL”标签定义将要在当前内容之后流传输的后续内容的媒体呈现描述的URL。

图9a、9b、9c、9d、9e、9f、9g和9h示出依据示范性实施例的媒体呈现描述。参照图9a，依据示范性实施例的媒体呈现描述包括“URLTemplate”标签、“RefDataURL”标签、和分别定义多个媒体数据的多个标签。

图9a的“URLTemplate”标签和“RefDataURL”标签分别对应于图8a和8b的“urlTemplate”标签和“RefDataURL”标签。

图9a的“ID”属性、“Type”属性、“BitRate”属性、“StartTime”属性、“SegmentDuration”属性、“SegmentStartID”属性、和“SegmentCount”属性分别对应于图8a和8b的“Stream”标签的“streamName”属性、“type”属性、“bitrate”属性、“startTime”属性、“duration”属性，“Stream”标签的“firstIntervalNum”属性、和“intervalCount”属性。

图9a的媒体呈现描述包含关于通过将内容编码为具有不同的质量而产生的三个视频数据的信息、关于一个音频数据的信息、和关于用于特技播放的通过仅编码I帧而产生的媒体数据的信息。

参照图9b，依据示范性实施例的媒体呈现描述还包括“NextAdaptiveControlURL”标签。“NextAdaptiveControlURL”标签对应于图8b的“nextManifestURL”标签。因此，可以由该“NextAdaptiveControlURL”标签来定义将要在当前内容之后再现的后续内容的媒体呈现描述的URL。

图9c示出当由图9b的“NextAdaptiveControlURL”标签来定义将要在当前内容之后再现的后续内容的媒体呈现描述的URL时的后续内容的媒体呈现描述。对比图9b和9c的媒体呈现描述，“StartTime”属性不同于图9b的当前内容的媒体呈现描述，因为图9c的媒体呈现描述是用于后续内容。

图9d和9e示出用于选择性地控制用户想要执行的高质量视频再现的媒体呈现描述。图9d示出当通过将一个内容编码为具有5种不同质量来产生多个媒体数据时的媒体呈现描述。这里，图9d和9e的媒体呈现描述在包含被编码为具有高质量的视频的信息的标签（即具有“ID”属性为“5”的媒体数据的“StartTime”属性和“SegmentCount”属性）中是不同的。

服务器120根据客户端130的用户等级来选择性地发送图9d的媒体呈现描述或图9e的媒体呈现描述。当客户端130的用户等级高时（例如，当客户端130是付费用户时），发送图9d的媒体呈现描述以便自由地再现高质量视频，而当客户端130的用户等级低时（例如，当客户端130是免费用户时），发送图9e的媒体呈现描述以便在高质量视频中从“StartTime”属性定义的时间开始再现“SegmentCount”属性定义的段。

图9f示出当将广告插入到内容中时的媒体呈现描述。参照图9f，媒体呈现描述可以包含关于具有不同“StartTime”属性的广告内容和主内容的信息。媒体呈现描述可以包含关于从“00：00：00”到“00：02：00”以“500000”的比特率再现的广告内容的信息、以及关于从“00：02：00”以“1000000”、“2000000”、“3000000”、或“4000000”的比特率再现的主内容的信息。如果服务器120通过将广告内容编码为具有一种比特率来向客户端130提供广告内容提供给客户端130，并通过将主内容编码为四种不同的比特率来向客户端130提供具有与广告内容不同的“StartTime”属性的主内容，则可以从服务器120向客户端130发送图9f的媒体呈现描述。

图9g示出依据示范性实施例的包括关于广告内容的信息的媒体呈现描述。用于提供主内容的服务器和用于提供广告内容的服务器可以不同。换言之，当客户端130从图5a的服务器120接收主内容并且从服务器120以外的服务器接收广告内容时，图9g的媒体呈现描述可以包括该广告内容的URL。如图9g中所示，媒体呈现描述可以包括被编码为具有一种质量的广告内容的URL。

图9h示出依据示范性实施例的包括语言和字幕信息的媒体呈现描述。参照图9h，音频数据可以包括关于多种语言的信息。媒体呈现描述可以包括：关于多种语言的音频数据的信息，其中“ID”属性为“4”或“5”；或者关于多种语言的字幕的信息，其中“ID”属性为“6”或“7”。

因为不仅音频数据而且字幕也可以基于时间被划分成多个段，所以在流传输期间音频数据和字幕可以被改变为另一种语言的音频数据和字幕。

回来参照图5a，在操作530中客户端130请求服务器120发送该多个媒体数据中的至少一个。客户端130通过参考关于多个媒体数据的信息，选择被编码为具有适合流环境的质量的至少一个媒体数据，并向服务器120请求所选择的至少一个媒体数据。客户端130可以发送请求服务器120发送预定的媒体数据的HTTP请求。服务器120依据客户端130的请求发送媒体数据。替换地，服务器可以向客户端130发送通过将内容编码为具有预定质量并基于时间划分已编码内容而产生的至少一个段。服务器120可以向客户端130发送所请求的媒体数据作为对所述HTTP请求的HTTP响应。所发送的媒体数据可以是如图15a、15b、以及18a、18b和18c之一中所示被分割成至少一个段的媒体数据。

图5b是用于描述依据另一示范性实施例的流方法的流程图。参照图5b，在操作512中客户端130请求服务器120发送关于预定内容的信息，并从服务器120接收该关于预定内容的信息。客户端130可以发送用于请求服务器120发送关于预定内容的信息的HTTP请求，并且接收该关于预定内容的信息作为对所述HTTP请求的HTTP响应。该关于预定内容的信息可以包含在XML文件中。

在操作522中，客户端130基于在操作512中接收的关于预定内容的信息，请求服务器120发送关于多个媒体数据的信息。客户端130可以通过HTTP请求向服务器120请求媒体呈现描述，并接收该媒体呈现描述作为HTTP响应。

在操作532中，客户端130请求基于在操作522中接收的关于多个媒体数据的信息而选择的媒体数据的首标。基于在操作522中接收的关于多个媒体数据的信息，从该多个媒体数据当中选择至少一个适合于流环境的媒体数据，并且请求所选的至少一个媒体数据的首标。通过参考在操作522中接收的关于多个媒体数据的信息来请求所选的至少一个媒体数据的首标。服务器120响应于客户端130的请求，向客户端130发送所选的至少一个媒体数据的首标的文件。该首标可以是全部多个媒体数据的首标，例如图15b、18b、或18c中所示的“Reference Data”。

在操作542中，客户端130基于在操作522中接收的关于多个媒体数据的信息、以及在操作532中接收的首标，请求服务器120发送所选择的媒体数据。客户端130请求服务器120发送通过将内容编码为具有预定的质量并基于时间划分已编码的内容而产生的至少一个段，并且服务器120向客户端130发送所选择的至少一个段。所发送的媒体数据可以是如图15a、15b、以及18a、18b和18c之一中所示被分割成至少一个段的媒体数据。

图10a、10b和10c各自示出依据示范性实施例的多个媒体数据。图10a、10b和10c各自示出包含在用于执行依据图5a和5b的流方法的服务器120中的多个媒体数据。

参照图10a，服务器120可以包括通过将一个内容编码为具有多个不同质量而产生的多个媒体数据1010到1030，用于自适应于流环境的流传输。“Track1”到“TrackN”表示该多个媒体数据1010到1030。而且，该多个媒体数据1010到1030的每一个可以包括通过基于时间划分该多个媒体数据1010到1030的每一个而产生的至少一个段。“Slice1-1.as”、“Slice1-2.as”、“Slice1-3.as”、“Slice2-1.as”、“Slice2-2.as”、“Slice2-3.as”、“SliceN-1.as”、“SliceN-2.as”、和“SliceN-3.as”表示至少一个段。

服务器120可以包括客户端130访问该多个媒体数据1010到1030所需要信息1040。服务器120可以包含“CadMeta.xml”文件作为关于内容的信息，“MainMeta.xml”文件作为关于该多个媒体数据1010到1030的信息，以及“Head1.ref”文件、“Head2.ref”文件等作为该多个媒体数据1010到1030的首标文件。这里，“Head1.ref”文件可以是“Track1”的首标文件，并且“Head2.ref”文件可以是“Track2”的首标文件。

“CadMeta.xml”文件可以是依据OIPF标准的CAD文件，并且“MainMeta.xml”文件可以是如上所述的媒体呈现描述。另外，“Head1.ref”和“Head2.ref”文件是可选元素，并且当首标包含在该多个媒体数据1010到1030中时可以不存在。

参照图10b，客户端130访问该多个媒体数据1010到1030所需的信息1042还可以包括“NextMeta.xml”文件。如上所述，“NextMeta.xml”文件可以是在当前内容之后将要再现的后续内容的媒体呈现描述。如上所述，当前内容的媒体呈现描述（即，“MainMeta.xml”文件）包含后续内容的媒体呈现描述的URL，因而客户端130可以基于“MainMeta.xml”文件来访问“NextMeta.xml”文件。

参照图10c，多个媒体数据1010到1030的首标文件可以存在于一个首标文件1050中。换言之，可以不为多个媒体数据1010到1030分别存在多个首标文件，而是为全部多个媒体数据1010到1030存在一个首标文件1050，且其可以包含在访问多个媒体数据1010到1030所需的信息1044中。

例如，当该多个媒体数据1010到1030对应于基本流（例如，依据MPEG-2标准的基本流）时，该多个媒体数据1010到1030的首标文件的每一个可以包括PAT和PMT的至少一个。可以将PAT和PMT的至少一个与该多个媒体数据1010到1030分离以准备首标文件1050，并且媒体呈现描述可以包含指向首标文件1050的信息。该指向首标文件1050的信息可以是首标文件1050的URL信息，或用于指定MPEG-2基本流中包括首标文件1050的传输流分组的信息。首标文件1050可以是全部多个媒体数据1010到1030的首标，例如图15b、18b、或18c中所示的“Reference Data”。

PAT和PMT可以分离出来作为首标文件1050，或可以包含在该多个媒体数据1010到1030中，但是不管PAT和PMT的位置在哪，都可以包括该多个媒体数据1010到1030中包含的基本流的整个列表。

上面已经参照图15b描述将PSI（例如PAT和PMT）与额外的有效载荷数据分离作为额外的首标的情况。然而，当PSI包含在多个媒体数据1010到1030中时，PSI可以包含在多个媒体数据1010到1030的每一个的每个段中，使得可以基于PSI来单独地再现每个段。

回来参照图5b，在操作532中，客户端130可以基于媒体呈现描述获得指向首标文件1050的信息，并且可以基于该信息请求首标文件1050。在客户端基于该信息请求并接收首标文件1050之后，客户端130基于首标文件1050中包含的PAT和PMT的至少一个来从多个媒体数据1010到1030中选择至少一个，并且请求服务器120发送所选择的媒体数据。PAT和PMT可以包括多个媒体数据1010到1030的整个列表。

图11a是用于描述依据另一示范性实施例的流方法的流程图。参照图11a，在操作1110中，客户端130向服务器120请求关于多个媒体数据的信息。客户端130可以通过HTTP请求从服务器120请求媒体呈现描述，并可以接收该媒体呈现描述作为HTTP响应。客户端130向服务器120请求并接收关于通过将一个内容编码为具有不同的质量而产生的多个媒体数据的信息，以便执行自适应于流环境的流传输。图11a的流方法与图5a的流方法的不同之处在于请求并接收关于多个媒体数据的信息，而不请求并接收关于内容的信息。

在操作1120中，客户端130请求服务器120发送该多个媒体数据中的至少一个。客户端130通过参考关于多个媒体数据的信息，选择编码为具有适合流环境的质量的至少一个媒体数据，请求服务器120发送所选择的媒体数据，然后从服务器120接收所请求的媒体数据。所发送的媒体数据可以是如图15a、15b、以及18a、18b和18c之一中所示被分割成至少一个段的媒体数据。

图11b是描述依据另一示范性实施例的流方法的流程图。参照图11b，在操作1112中，客户端130请求服务器120发送关于多个媒体数据的信息，并从响应于该请求的服务器120接收所述关于多个媒体数据的信息。客户端130可以通过HTTP请求向服务器120请求媒体呈现描述，并接收该媒体呈现描述作为HTTP响应。

在操作1122中，客户端130请求基于操作1112中接收的关于多个媒体数据的信息而选择的媒体数据的首标。客户端130通过参考在操作1112中接收的关于多个媒体数据的信息来请求根据流环境选择的媒体数据的首标。响应于该请求，服务器120向客户端130发送包含所选媒体数据首标的文件。该首标可以是全部多个媒体数据的首标，即图15b、18b、或18c中所示的“Reference Data”。

在操作1132中，客户端130请求服务器120发送基于操作1112中接收的关于多个媒体数据的信息和在操作1122中接收的首标而选择的媒体数据。客户端130请求服务器120发送通过以预定质量编码内容并基于时间划分已编码内容而产生的至少一个段，并且服务器120向客户端130发送所请求的至少一个段。所发送的媒体数据可以是如图15a、15b、以及18a、18b和18c之一中所示被分割成至少一个段的媒体数据。

图12a、12b和12c各自示出依据其他示范性实施例的多个媒体数据。图12a和12b各自示出包含在用于执行图11a和11b的流方法的服务器120中的多个媒体数据。

参照图12a，服务器120可以包含通过将一个内容编码为具有多个不同质量用于自适应于流环境的流传输而产生的多个媒体数据1010到1030，如图10a中所示。

这里，图12a的多个媒体数据1010到1030与图10a的多个媒体数据1010到1030的不同在于客户端130访问多个媒体数据1010到1030所需的信息1240，其中服务器120只包括关于多个媒体数据1010到1030的信息，而没有关于内容的信息，不同于图10a的示范性实施例。这里，客户端130可以从代替服务器120的另一实体接收关于内容的信息，并基于所接收的关于内容的信息来访问服务器120中包含的多个媒体数据1010到1030。

参照图12b，可以通过进一步将“NextMeta.xml”文件包含在图12a的信息1240中来准备客户端130访问多个媒体数据1010到1030所需的信息1242。

参照图12c，多个媒体数据1010到1030的首标文件可以存在于一个首标文件1250中。首标文件不为多个媒体数据1010到1030的每一个而存在，但是可以作为一个首标文件1250包含在访问多个媒体数据1010到1030所需的信息1244中。首标文件1250对应于图10c的首标文件1050，且首标文件1050可以对应于参考图15b、17B、和17C所描述的“ReferenceData”，如上参考图10c所述。

图13是依据示范性实施例的包含在服务器120中的用于发送媒体数据的装置1300的框图。参照图13，服务器120的装置1300包括信息发送器1310和媒体数据发送器1320。

信息发送器1310从客户端130接收发送预定信息的请求，并响应于该请求向客户端130发送预定信息。信息发送器1310从客户端130接收发送关于内容的信息和关于多个媒体数据的信息的至少一个的请求，并向客户端130发送所请求的信息。信息发送器1310从客户端130接收用于请求关于内容的信息和关于多个媒体数据的信息的至少一个的HTTP请求，并发送所请求的信息作为HTTP响应。

媒体数据发送器1320从客户端130接收发送至少一个媒体数据的请求，根据流环境从该多个媒体数据中选择至少一个媒体数据，并向客户端130发送所选择的媒体数据。信息发送器1310接收用于发送基于向客户端130发送的与该多个媒体数据有关的信息而选择的媒体数据的请求。服务器120可以通过接收并存储由编码设备110编码为具有不同质量的多个媒体数据而向客户端130发送所请求的媒体数据。同样，服务器120可以从编码设备110接收所请求的媒体数据，并根据客户端130的请求来向客户端130实时地发送所请求的媒体数据。

图14是依据示范性实施例的包含在客户端130中的用于接收媒体数据的装置1400的框图。参照图14，客户端130的装置1400包括信息接收器1410和媒体数据接收器1420。

信息接收器1410向服务器120发送关于发送预定信息的请求，并从响应于该请求的服务器120接收预定信息。信息接收器1410向服务器120发送关于发送关于内容的信息和关于多个媒体数据的信息的至少一个的请求，并从服务器120接收所请求的信息。根据图2a、2b、5a、5b、11a和11b的示范性实施例，信息接收器1410发送请求服务器120发送关于内容的信息和与该多个媒体数据有关的信息的至少一个的HTTP请求，并从服务器120接收所请求的信息作为HTTP响应。

媒体数据接收器1420向服务器120发送关于发送根据流环境从该多个媒体数据中选择的至少一个媒体数据的请求，并从服务器120接收所请求的媒体数据。信息接收器1410基于从服务器120接收的与该多个媒体数据有关的信息，发送与发送根据流环境选择的媒体数据的请求。

根据示范性实施例，可以通过使用常规的协议而不必改变服务器和/或客户端的结构来执行自适应于流环境的流传输，并且因此可以以低成本制造与各种媒体数据格式兼容的自适应流传输系统。

示范性实施例也可以体现为计算机可读记录介质上的计算机可读代码。

例如，依据示范性实施例的服务器的流装置和客户端的流装置可以包括耦接到图13的装置1300和图14的装置的每个单元的总线、以及连接到该总线的至少一个处理器。而且，所述流装置还可以包括耦接到该至少一个处理器的存储器，用于存储命令、所接收的消息或所产生的消息，其中将该至少一个处理器与总线组合以执行命令。

计算机可读记录介质是能够存储之后可以由计算机系统读取的数据的任何数据存储设备。计算机可读记录介质的示例包括但不限于只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘、光数据存储设备等。计算机可读记录介质也可以分布在网络耦接的计算机系统上，以便以分布的方式存储并执行计算机可读码。

虽然已经参考其示范性实施例具体展示和描述本发明，但是本领域普通技术人员不难理解，可以在其中进行形式和细节上的各种变化而不脱离由缩放权利要求限定的本发明的精神和范围。

Claims

1.一种接收媒体数据的方法，该方法包括：

接收包含规定所访问的多个媒体数据中的每一个中包括的至少一个段的开始时间属性的文件，所述多个媒体数据是通过将内容编码为具有不同的质量产生的；

基于该文件接收所述多个媒体数据当中的第一媒体数据中包括的第一段；以及

基于该文件接收所述多个媒体数据当中具有与第一媒体数据不同的质量的第二媒体数据中包括的第二段，

其中第二媒体数据中包括的第二段对应于第一媒体数据中包括的第一段的下一段，

其中基于时间将所述多个媒体数据中的每一个划分为多个段，

其中基于该文件中包括的段开始调整属性，将第一段和第二段的呈现时间对齐，以使得能够在第一媒体数据和第二媒体数据之间无缝切换，而且

其中该段开始调整属性指示用于所述多个媒体数据中的每一个的时间戳调整信息。

2.如权利要求1所述的方法，其中该多个段是MPEG-4格式的段。

3.如权利要求1所述的方法，其中该多个段是MPEG-2TS(MPEG-2传输流)格式的段，其中该至少一个数据段包括至少一个分组化的基本流(PES)，其中每个数据段包括多个传输流。

4.如权利要求3所述的方法，其中该至少一个PES包括关于视频帧或音频帧的至少一个的数据。

5.如权利要求3所述的方法，其中与随机访问点相关的传输流的首标包括指示该传输流与随机访问点有关的信息，而且

其中该至少一个数据段以随机访问点开始。

6.如权利要求3所述的方法，其中该文件进一步包括涉及与该多个段有关的节目关联表(PAT)和节目映射表(PMT)的至少一个的信息。

7.如权利要求6所述的方法，其中PAT和PMT是初始化段，且从该多个段分离。

8.如权利要求6所述的方法，其中PAT和PMT的至少一个包括全部该多个段的列表。

9.如权利要求6所述的方法，其中向该多个段的每一个分配多个分组标识符(PID)中各自不同的一个。

10.如权利要求6所述的方法，其中该多个段的每一个包括各自的分组化的基本流(PES)，其包括各自的呈现时间戳(PTS)和各自的解码时间戳(DTS)，

其中该方法进一步包括根据再现时间来排列各自的呈现时间戳和各自的解码时间戳。

11.如权利要求2所述的方法，其中该至少一个数据段包括至少一个画面组(GOP)的至少一个传输流。

12.一种发送媒体数据的方法，该方法包括：

发送包含规定所访问的多个媒体数据中的每一个中包括的至少一个段的开始时间属性的文件，所述多个媒体数据是通过将内容编码为具有不同的质量产生的；

基于该文件发送所述多个媒体数据当中的第一媒体数据中包括的第一段；以及

基于该文件发送所述多个媒体数据当中具有与第一媒体数据不同的质量的第二媒体数据中包括的第二段，

13.一种用于接收媒体数据的装置，该装置包括：

信息接收器，被配置为从服务器接收包含规定所访问的多个媒体数据中的每一个中包括的至少一个段的开始时间属性的文件，所述多个媒体数据是通过将内容编码为具有不同的质量产生的；及

段接收器，被配置为基于该文件来接收所述多个媒体数据当中的第一媒体数据中包括的第一段、和所述多个媒体数据当中具有与第一媒体数据不同的质量的第二媒体数据中包括的第二段，

14.一种用于发送媒体数据的装置，该装置包括：

信息发送器，被配置为向客户设备发送包含规定所访问的多个媒体数据中的每一个中包括的至少一个段的开始时间属性的文件，所述多个媒体数据是通过将内容编码为具有不同的质量产生的；及

段发送器，被配置为基于该文件发送所述多个媒体数据当中的第一媒体数据中包括的第一段、和所述多个媒体数据当中具有与第一媒体数据不同的质量的第二媒体数据中包括的第二段，