JP2013511196A - 部分化を利用した適応的なストリーミング方法及びその装置 - Google Patents

Abstract

１つのコンデンツを複数の異なる品質にエンコーディングして生成された複数のメディアデータを部分化し、さらに安定しており、かつ効率的にストリーミング環境に適応的なメディアデータの伝送及び受信を行う方法及びその装置である。

Description

本発明は、ストリーミング方法及びその装置に係り、さらに詳細には、ストリーミング環境の変動（fluctuation）によって、適応的にメディアデータをストリーミングする方法及びその装置に関する。

ネットワークを介してメディアデータを伝送する方式には、ダウンロード方式とストリーミング方式とがある。ストリーミング方式は、サーバがリアルタイムでメディアデータを伝送し、クライアントは、受信されたメディアデータをリアルタイムで再生する方式である。

ストリーミング方式は、メディアデータをいずれも送受信した後、メディアデータの再生が始まるダウンロード方式と異なり、サーバとクライアントとの間に設定された論理的なチャネルを介して、リアルタイムでメディアデータが送受信され、再生されるために、ストリーミング環境の変動を反映し、メディアデータ再生のＱｏＳ（Quality of Sevice）を維持することができる方法及びその装置が必要である。

本発明が解決しようとする技術的課題は、ストリーミング、すなわち、メディアデータの伝送及び受信を、ストリーミング環境によって適応的に調節して行う方法及びその装置を提供するところにあり、前記方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

前記技術的課題を解決するための本発明の一実施形態によるメディアデータを受信する方法は、所定のコンデンツを異なる品質にエンコーディングして生成された複数のメディアデータについての情報を含むファイルをサーバから受信する段階と、前記受信されたファイルに基づいて、前記複数のメディアデータのうち、少なくとも１つのメディアデータを受信する段階と、を含み、前記複数のメディアデータは、前記コンデンツを所定品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つのデータ部分をそれぞれ含み、前記少なくとも１つのデータ部分は、ランダム・アクセスポイント（random access point）として始まることを特徴とする。

本発明の他の実施形態によれば、前記メディアデータは、ＭＰＥＧ−２ ＴＳ（ＭＰＥＧ−２ transport stream）フォーマットによるメディアデータであり、前記ＭＰＥＧ−２ ＴＳのエレメンタリーストリーム（elementary stream）に対応することを特徴とする。

本発明のさらに他の実施形態によれば、前記データ部分は、少なくとも１つのＰＥＳ（packetized elementary stream）を含み、１つのＰＥＳは、１つのデータ部分にいずれも含まれることを特徴とする。

本発明のさらに他の実施形態によれば、前記ＰＥＳは、１つの映像フレームまたは音声フレームに係わるデータを含むことを特徴とする。

本発明のさらに他の実施形態によれば、前記ランダム・アクセスポイントに係わる伝送ストリームは、ランダム・アクセスポイントに係わる伝送ストリームであることを示す情報を含むことを特徴とする。

本発明のさらに他の実施形態によれば、前記受信されたファイルは、前記複数のメディアデータに係わるＰＡＴ（program association table）及びＰＭＴ（program map table）のうち、少なくとも一つを指示する情報をさらに含むことを特徴とする。

本発明のさらに他の実施形態によれば、前記ＰＡＴ及びＰＭＴは、伝送ストリームで初期化部分（initialization segment）であり、前記複数のメディアデータと分離されていることを特徴とする。

本発明のさらに他の実施形態によれば、前記ＰＡＴ及びＰＭＴのうち、少なくとも一つは、前記複数のメディアデータの全体リストを含むことを特徴とする。

本発明のさらに他の実施形態によれば、前記複数のメディアデータは、ＰＩＤ（packet ＩＤ）が異なることを特徴とする。

本発明のさらに他の実施形態によれば、前記少なくとも１つのデータ部分は、少なくとも１つのＧＯＰ（group of pictures）に係わる伝送ストリームを含むことを特徴とする。
本発明のさらに他の実施形態によれば、前記メディアデータは、ＭＰ４フォーマットによるメディアデータであり、ＭＰ４の「trak」ボックスに対応することを特徴とする。

前記技術的課題を解決するための本発明の一実施形態によるメディアデータを伝送する方法は、所定のコンデンツを異なる品質にエンコーディングして生成された複数のメディアデータについての情報を含むファイルをクライアントに伝送する段階と、前記伝送されたファイルに基づいた前記クライアントの要請によって、前記複数のメディアデータのうち、少なくとも１つのメディアデータを前記クライアントに伝送する段階と、を含み、前記複数のメディアデータは、前記コンデンツを所定品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つのデータ部分をそれぞれ含み、前記少なくとも１つのデータ部分は、ランダム・アクセスポイント（random access point）として始まることを特徴とする。

前記技術的課題を解決するための本発明の一実施形態によるメディアデータを受信する装置は、所定のコンデンツを異なる品質にエンコーディングして生成された複数のメディアデータについての情報を含むファイルをサーバから受信する情報受信部と、前記受信されたファイルに基づいて、前記複数のメディアデータのうち、少なくとも１つのメディアデータを受信するメディアデータ受信部と、を含み、前記複数のメディアデータは、前記コンデンツを所定品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つのデータ部分をそれぞれ含み、前記少なくとも１つのデータ部分は、ランダム・アクセスポイント（random access point）として始まることを特徴とする。

前記技術的課題を解決するための本発明の一実施形態によるメディアデータを受信する装置は、所定のコンデンツを異なる品質にエンコーディングして生成された複数のメディアデータについての情報を含むファイルをクライアントに伝送する情報伝送部と、前記伝送されたファイルに基づいた前記クライアントの要請によって、前記複数のメディアデータのうち、少なくとも１つのメディアデータを前記クライアントに伝送するメディアデータ伝送部と、を含み、前記複数のメディアデータは、前記コンデンツを所定品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つの部分をそれぞれ含み、前記少なくとも１つの部分は、ランダム・アクセスポイント（random access point）として始まることを特徴とする。

前記技術的課題を解決するために本発明による一実施形態は、前記メディアデータを受信する方法及び伝送する方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明によれば、メディアデータを体系的な規則によって部分化することによって、さらにストリーミング環境に適応的なメディアデータの伝送及び受信を、さらに安定して、早く行うことができる。

本発明の一実施形態によるストリーミングシステムを図示する図面である。 本発明の一実施形態によるストリーミング方法を説明するためのフローチャートである。 本発明の一実施形態によるストリーミング方法を説明するためのフローチャートである。 本発明の一実施形態によるコンデンツについての情報を含むファイルのスキーマ（schema）を図示する図面である。 本発明の一実施形態による複数のメディアデータを定義するための情報を図示する図面である。 本発明の一実施形態によるメディアデータのヘッダについての情報を図示する図面である。 本発明の一実施形態による複数のメディアデータそれぞれに含まれた少なくとも１つのデータ部分についての情報を示す図面である。 本発明の他の実施形態によるストリーミング方法を説明するためのフローチャートである。 本発明の他の実施形態によるストリーミング方法を説明するためのフローチャートである。 本発明の他の実施形態によるコンデンツについての情報を含むファイルのスキーマを図示する図面である。 本発明の他の実施形態によるコンデンツについての情報を図示する図面である。 本発明の一実施形態によるメディア表現記述のスキーマを図示する図面である。 本発明の一実施形態によるメディア表現記述のスキーマを図示する図面である。 本発明の一実施形態によるメディア表現記述を図示する図面である。 本発明の一実施形態によるメディア表現記述を図示する図面である。 本発明の一実施形態によるメディア表現記述を図示する図面である。 本発明の一実施形態によるメディア表現記述を図示する図面である。 本発明の一実施形態によるメディア表現記述を図示する図面である。 本発明の一実施形態によるメディア表現記述を図示する図面である。 本発明の一実施形態によるメディア表現記述を図示する図面である。 本発明の一実施形態によるメディア表現記述を図示する図面である。 本発明の一実施形態による複数のメディアデータを図示する図面である。 本発明の一実施形態による複数のメディアデータを図示する図面である。 本発明の一実施形態による複数のメディアデータを図示する図面である。 本発明のさらに他の実施形態によるストリーミング方法を説明するためのフローチャートである。 本発明のさらに他の実施形態によるストリーミング方法を説明するためのフローチャートである。 本発明の他の実施形態による複数のメディアデータを図示する図面である。 本発明の他の実施形態による複数のメディアデータを図示する図面である。 本発明の他の実施形態による複数のメディアデータを図示する図面である。 本発明の一実施形態によるサーバのメディアデータ伝送装置を図示する図面である。 本発明の一実施形態によるクライアントのメディアデータ受信装置を図示する図面である。 本発明の一実施形態によるＭＰＥＧ−２ ＴＳ（transport stream）フォーマットのメディアデータを部分化する方法を図示する図面である。 本発明の一実施形態によるＭＰＥＧ−２ ＴＳ（transport stream）フォーマットのメディアデータを部分化する方法を図示する図面である。 本発明の一実施形態による開始時間についての情報をメディアデータの部分に挿入する方法を図示する図面である。 本発明の一実施形態による開始時間についての情報をメディアデータの部分に挿入する方法を図示する図面である。 本発明の一実施形態による部分の構造を図示する図面である。 本発明の一実施形態によるＭＰ４フォーマットによるメディアデータを部分化する方法を図示する図面である。 本発明の一実施形態によるＭＰ４フォーマットによるメディアデータを部分化する方法を図示する図面である。 本発明の一実施形態によるＭＰ４フォーマットによるメディアデータを部分化する方法を図示する図面である。

以下、図面を参照しつつ、本発明の実施形態について詳細に説明する。

図１は、本発明の一実施形態によるストリーミングシステムを図示している。

図１を参照すれば、本発明の一実施形態によるストリーミング・システム１００は、エンコーディング装置１１０、サーバ１２０及びクライアント１３０を含む。

エンコーディング装置１１０は、入力されたコンデンツを複数の異なる品質にエンコーディングし、１つのコンデンツに係わる複数のメディアデータを生成する。サーバ１２０がクライアント１３０にメディアデータをストリーミングするとき、ストリーミング環境は、変更されてもよい。例えば、ストリーミングのためのネットワーク１４０帯域幅が変更されもし、メディアデータを伝送するために、サーバ１２０が使用可能なハードウェア資源またはメディアデータを受信するために、クライアント１３０が使用可能なハードウェア資源が変更されもする。

従って、エンコーディング装置１１０は、流動的なストリーミング環境による適応的なストリーミングのために、１つのコンデンツを複数の異なる品質にエンコーディングする。ビット率（bit rate）、サンプリング周波数（sampling frequency）、解像度またはフレーム率（frame rate）のような因子を調節することによって、１つのコンデンツを複数の異なる品質にエンコーディングすることができる。例えば、１つの動映像コンデンツを互いに異なる解像度でエンコーディングし、５００Ｋｂｐｓ、１０００Ｋｂｐｓ及び２０００Ｋｂｐｓの複数のメディアデータを生成することができる。

異なる品質にエンコーディングされた複数のメディアデータは、サーバ１２０に伝送され、このとき、コンデンツについての情報及び複数のメディアデータそれぞれについての情報も、共にサーバ１２０に伝送される。コンデンツについての情報は、コンデンツのメタデータであり、コンデンツの題目（title）、シノプシス（synopsis）、コンデンツ識別子（content ＩＤ）、コンデンツＵＲＬ（uniform resource locator）のような情報を含むことができる。複数のメディアデータについての情報は、それぞれのメディアデータの品質、類型及び識別子などを含むことができるが、これらについては、図４Ａ、図４Ｂ及び図４Ｃを参照して詳細に説明する。

クライアント１３０は、コンデンツについての情報及び複数のメディアデータについての情報のうち、少なくとも一つを受信し、これに基づいて、サーバ１２０に複数のメディアデータのうち、少なくとも１つのメディアデータを要請する。クライアント１３０は、ストリーミング環境を推定（estimation）し、推定されたストリーミング環境に基づいて、複数のメディアデータのうち、少なくとも１つのメディアデータを選択する。推定されたストリーミング環境で、最適のＱｏＳ（quality of service）を維持することができる少なくとも１つのメディアデータを選択することができる。その後、クライアント１３０は、選択された少なくとも１つのメディアデータの伝送を要請するＨＴＴＰ要請（hypertext transfer protocol request）をサーバ１２０に伝送することができる。

ストリーミング環境が劣化されて高品質のメディアデータを受信すれば、途切れなくメディアデータを再生することができない場合には、複数のメディアデータのうち、低品質のメディアデータを要請し、ストリーミング環境が改善されて高品質のメディアデータを受信しても、途切れなくメディアデータを再生することができる場合には、複数のメディアデータのうち、高品質のメディアデータを要請することができる。

所定のメディアデータを受信していて、他のメディアデータを伝送することをサーバ１２０に要請することもできる。例えば、ストリーミング環境が劣化した状態で、低品質の第１メディアデータを要請して受信していたクライアント１３０は、ストリーミング環境が改善されることによって、さらに高品質の第２メディアデータを伝送することをサーバ１２０に要請することができる。従来技術によるストリーミング方法によれば、サーバ１２０とクライアント１３０とがストリーミングチャネルを最初に設定するとき、品質を一度設定すれば、続けて同じ品質でメディアデータを送受信せねばならなかった。しかし、本発明によれば、クライアント１３０が低品質の第１メディアデータを受信していても、同じコンデンツに係わるさらに高品質の第２メディアデータをさらに要請することができ、ストリーミング環境による適応的なストリーミングが可能になる。

ネットワーク１４０の帯域幅、及びサーバ１２０またはクライアント１３０の使用可能なハードウェア資源に基づいて、ストリーミング環境を推定する多様な方法が、クライアント１３０がストリーミング環境を推定するのに利用される。例えば、クライアント１３０は、受信されるメディアデータのタイムスタンプ及びＢＥＲ（bit error rate）に基づいて、ストリーミング環境を推定することができる。受信されるメディアデータのタイムスタンプを確認し、メディアデータが再生速度より遅い速度で受信されていれば、ストリーミング環境が劣化したと判断することができる。また、受信されるメディアデータのＢＥＲが高くなっても、ストリーミング環境が劣化していると判断することができる。

クライアント１３０が、ストリーミング環境によって、複数のメディアデータのうち、少なくとも１つのメディアデータを伝送することを要請すれば、サーバ１２０は、要請されたメディアデータをクライアント１３０に伝送する。ＨＴＴＰ要請に対するＨＴＴＰ応答として、要請されたメディアデータをクライアント１３０に伝送することができる。

複数のメディアデータそれぞれは、コンデンツを異なる品質にエンコーディングし、分割して生成された複数の部分のうち、少なくとも一つを含んでもよい。言い換えれば、エンコーディング装置１１０のエンコーディング結果として生成された複数のメディアデータそれぞれは、時間に基づいて分割された少なくとも１つの部分をそれぞれ含んでもよい。サーバ１２０は、コンデンツを１つのストリームにエンコーディングし、続けて伝送するのではなく、複数の部分に分割してそれぞれ伝送する。コンデンツを、１０秒または２０秒のように所定の時間単位で分割し、複数の部分を生成することができる。分割の基礎になる時間は、ＧＯＰ（group of picture）に基づいて設定される。一つまたは二つ以上のＧＯＰのピクチャに対応するメディアデータを１つの部分に設定することができる。

例えば、２種の品質にコンデンツがストリーミングされる場合、第１メディアデータは、コンデンツを第１品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つの部分を含むことができ、第２メディアデータは、コンデンツを第２品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つの部分を含んでもよい。

複数のメディアデータを時間に基づいてそれぞれ分割することによって、前述の適応的なストリーミングが可能になる。例えば、ストリーミングが始まれば、サーバ１２０は、低品質の第１メディアデータの、０秒から２０秒に該当する部分を伝送する。その後、２０秒後に、ストリーミング環境が改善されたと判断され、クライアント１３０がさらに高品質のメディアデータを要請すれば、サーバ１２０は、さらに高品質の第２メディアデータの、２０秒から４０秒に該当する部分を伝送することができる。メディアデータが、時間に基づいて複数の部分に分割されているために、ストリーミング最中にも、ストリーミング環境によって、異なるメディアデータの部分を伝送することができる。

図１５Ａ及び図１５Ｂは、本発明の一実施形態によるＭＰＥＧ−２ ＴＳ（transport stream）フォーマットのメディアデータを部分化する方法を図示している。本発明の詳細な説明では、メディアデータのコンテナ・フォーマットが、ＭＰ４フォーマットまたはＭＰＥＧ−ＴＳフォーマットであるとき、メディアデータを部分化する方法を例に挙げて説明する。しかし、コンテナ・フォーマットは、それに限定されるものではなく、メディアデータの伝送のためのあらゆるコンテナ・フォーマットに本発明が適用されることは、本発明が属する技術分野で当業者であるならば、容易に分かるであろう。例えば、コンテナ・フォーマットは、ＭＰ４、ＭＰＥＧ−ＴＳではないＭＭＴ（ＭＰＥＧ media transport）標準によるフォーマットであってもよい。

図１５Ａを参照すれば、メディアデータがビデオデータである場合、エレメンタリー・ストリームは、複数のピクチャに係わるデータを含み、複数のピクチャに係わるデータは、ＧＯＰに基づいてグループ化される。それぞれのＧＯＰは、イントラピクチャ（intra picture）、すなわち、予測符号化のために他のピクチャを参照しないピクチャでもって始まる。イントラピクチャは、予測符号化のために他のピクチャを参照しないために、ランダム・アクセスポイント（random access point）として利用することができる。ＧＯＰは、ビデオデータを複数の部分に区分する単位の例示であるのみ、ＧＯＰではない他の単位が図１５Ａのメディアデータを部分化する方法に利用することができることは、本発明が属する技術分野で当業者であるならば、容易に分かるであろう。

複数のピクチャに係わるデータは、ＭＰＥＧ２−ＴＳフォーマットによって複数の伝送ストリーム（transport stream）に分割され、複数の伝送ストリームをグループ化し、１つの部分が生成される。伝送ストリームをグループ化して１つの部分を生成するために、部分の開始及び終了の境界は、最初の伝送ストリームに係わるパケット及び最後の伝送ストリームに係わるパケットの境界と一致する。言い換えれば、１つの部分は、伝送ストリーム単位から構成される。

図１５Ａでは、１つの部分（segment）１５３０が、２つのＧＯＰ１５１０及び１５１２に係わる複数の伝送ストリーム（ＴＳ）１５２０を含み、ＧＯＰ単位で１つの部分１５３０が生成されるために、それぞれの部分は、イントラピクチャ、すなわち、ランダム・アクセスポイントで始まる。

本発明は、ストリーミング環境に適応的なストリーミングのために、メディアデータを少なくとも１つの部分に分割し、ストリーミング環境によって互いに異なる品質の部分を伝送する。従って、それぞれの部分は、独立して再生されねばならず、従って、それぞれの部分は、ランダム・アクセスポイントで始まることが望ましい。ところで、一般的にＧＯＰは、イントラピクチャで始まり、イントラピクチャは、ランダム・アクセスポイントとして利用されるので、図１５Ａに図示されているように、少なくとも１つのＧＯＰ単位に係わる伝送ストリーム１５２０をグループ化し、１つの部分を生成する。

また、１つのピクチャに係わるデータを分割し、ＭＰＥＧ２−ＴＳフォーマットによる複数の伝送ストリームを生成するときに、１つの伝送ストリームは、１つのピクチャに係わるデータだけ含むようにする。複数のピクチャに係わるデータを、所定サイズに一定に分割し、伝送ストリームを生成すれば、１つの伝送ストリームに、２つのピクチャに係わるデータが含まれもする。言い換えれば、１つのピクチャに係わるデータの終了を考慮せずに、ｔ−１時刻ピクチャに係わるデータ及びｔ時刻ピクチャに係わるデータを一定の大きさに分割し、伝送ストリームを生成すれば、ｔ−１時刻ピクチャに係わるデータの最後の伝送ストリームは、ｔ−１時刻ピクチャに係わるデータ及びｔ時刻ピクチャに係わるデータを含んでもよい。

ところで、本発明による適応的なストリーミングは、部分１５３０はもとより、伝送ストリーム１５２０もそれぞれ独立して再生されることが望ましい。例えば、クライアント１３０が、現在ビデオデータのｔ−１時刻ピクチャを再生しているが、ｔ時刻ピクチャからは、解像度が高いピクチャを再生する場合、ｔ時刻ピクチャからは、他の品質のメディアデータを受信せねばならない。ところで、所定の伝送ストリームが、ｔ−１時刻ピクチャに係わるデータ及びｔ時刻ピクチャに係わるデータをいずれも含むならば、メディアデータの境界が曖昧になり、図１５Ａのような適応的ストリーミングのための部分化の効果が半減する。従って、エレメンタリー・ストリームを分割して伝送ストリームを生成するときにも、１つの伝送ストリームのペイロードには、１つのビデオフレームに係わるデータだけ含まれるように、伝送ストリームを生成することができる。また、１つのビデオフレームに係わる最初の伝送ストリームのヘッダは、１つのビデオフレームが始まることを示す情報を含んでもよい。１つのビデオフレームが始まることを示す情報は、伝送ストリームパケットの「payload＿start＿unit＿indicator」であってもよい。

ただし、本発明の他の実施形態によれば、１つの伝送ストリームに、複数のピクチャに係わるデータが含まれていることもあり、このとき、適応的なストリーミングは、ピクチャ単位で行うことができる。言い換えれば、ストリーミング環境を考慮し、品質が異なるピクチャに変更してストリーミングを行うことができる。

また、伝送ストリームが、前述のランダム・アクセスポイントに係わる伝送ストリームであるならば、ランダム・アクセスポイントに係わる伝送ストリームであることを示す情報が、伝送ストリームのヘッダに含まれてもよい。伝送ストリームのヘッダは、次のランダム・アクセスポイントに係わる伝送ストリームの位置についての情報も含むことによって、ランダムアクセスを速い速度で行うこともできる。

図１５Ａに図示された部分化方法によって、複数のメディアデータは、図１５Ｂに図示されているように部分化される。図１５Ｂを参照すれば、複数のメディアデータは、複数の伝送ストリームを含む部分にそれぞれ分割される。

複数のメディアデータは、それぞれ複数のエレメンタリー・ストリーム（例えば、ＭＰＥＧ−２によるエレメンタリー・ストリーム）にそれぞれ対応し、その場合、複数のメディアデータそれぞれについて、異なるＰＩＤ（packet ＩＤ）１５５０，１５６０及び１５７０が割り当てられる。ただし、本発明のさらに他の実施形態によれば、１つのコンデンツ（例えば、プログラム）を、品質だけ異なって設定し、エンコーディングして生成された複数のメディアデータは、いずれも同じコンデンツに係わるメディアデータであるから、ＰＩＤが同一に設定されもする。図１５Ａのエレメンタリー・ストリームは、図１５ＢのＰＩＤが「１」であるメディアデータ、ＰＩＤが「２」であるメディアデータ、またはＰＩＤが「３」であるメディアデータであってもよい。

ＭＰＥＧ−２によれば、ＰＳＩ（program specific information）も共にストリーミングされ、ＰＳＩを含む伝送ストリームのＰＩＤは、特定値に固定される。しかし、本発明によれば、図１５Ｂに図示されているように、ＰＡＴ（program association table）及びＰＭＴ（program map table）のようなＰＳＩは、複数のメディアデータに係わるヘッダであり、ペイロードデータと分離される。例えば、図１５Ｂに図示されているように、ＰＩＤが「１」であるメディアデータのペイロードデータは、図１５Ａと関連して述べた方法によって部分化される。しかし、ＰＡＴ及びＰＭＴのようなＰＳＩは、複数のメディアデータ全体に係わるヘッダであり、別途のファイルとして存在しうる。ＰＡＴ及びＰＭＴで、それぞれのメディアデータを区分するために割り当てられるＰＩＤ１５５０，１５６０及び１５７０は、前述のように、複数のメディアデータそれぞれについて、異なって割り当てられ、品質だけ異なる複数のメディアデータについて同一に割り当てられもする。

複数のメディアデータ全体に係わるヘッダ、すなわち、図１５Ｂの「reference data」は、初期化部分（initialization segment）であり、メディアデータの再生を開始するために、ペイロードデータを含んでいる部分よりまずクライアント１３０に伝送される。言い換えれば、後述する図２Ｂの段階２２２、図５Ｂの段階５３２及び図１１Ｂの段階１１２２で、クライアント１３０が受信するヘッダ情報が、図１５Ｂの複数のメディアデータ全体に係わる、すなわち、「reference data」であってもよい。「reference data」は、図１０Ｃ及び図１２Ｃと関連して後述するヘッダファイル１０５０または１２５０に対応しうる。

図１５Ｂを参照すれば、複数のメディアデータが複数のエレメンタリー・ストリームにそれぞれ対応する場合、複数のメディアデータに含まれた部分それぞれは、少なくとも１つの連続したＰＥＳ（packetized elementary stream）を含んでもよい。しかし、１つのＰＥＳは、１つの部分にのみ含まれることが望ましい。伝送ストリームと関連して説明したように、適応的ストリーミングのためには、１つの部分と、ＭＰＥＧ２−ＴＳフォーマットによる伝送ストリーム単位とが整列されることが望ましい。従って、１つのＰＥＳも、１つの部分にのみ含まれるように、メディアデータを分割する。言い換えれば、１つのＰＥＳが異なる部分に含まれない。要するに、１つの部分は、整数個数のＰＥＳを含む。図１５Ｂで、同じ時間のメディアデータに係わるＰＥＳは、ＰＩＤが「１」であるメディアデータに係わる部分、ＰＩＤが「２」であるメディアデータに係わる部分、及びＰＩＤが「３」であるメディアデータに係わる部分にそれぞれ含まれる。ＰＥＳは、複数の伝送ストリームを含む単位であり、１つの映像フレームまたは音声フレームに係わるデータを含むこともでき、複数の映像フレームまたは複数の音声フレームに係わるデータを含むこともできる。また、１つの映像フレームまたは音声フレームに係わるデータが、１つのＰＥＳに含まれない場合には、１つの映像フレームまたは音声フレームに係わるデータは、複数のＰＥＳに含まれてもよい。

ＰＥＳは、それぞれメディアデータの時間同期化のための情報、すなわち、タイムスタンプを含んでもよい。それぞれのＰＥＳが、どの時間のメディアデータについての情報を含んでいるか示す情報を含んでもよい。特に、時刻に基づいて伝送ストリームをグループ化して１つのＰＥＳを生成する場合、１つのＰＥＳに含まれるあらゆる伝送ストリームは、同じ時刻のメディアデータの伝送ストリームである。タイムスタンプは、ＰＴＳ（presentation time stamp）及びＤＴＳ（decoding time stamp）のうち、少なくとも一つを含んでもよい。

同じ種類の複数のメディアデータ（例えば、ビットレートが異なる複数のビデオデータ）または異なる種類の複数のメディアデータ（例えば、ビデオデータ並びにオーディオデータ）に含まれたＰＥＳに係わるタイムスタンプは、メディアデータの再生時間によって整列（aligned）されてもよい。

例えば、第１メディアデータの最初のＰＥＳと、第２メディアデータの最初のＰＥＳとが同じ時間に再生されるコンデンツであるならば、ＰＴＳ及び／またはＤＴＳが同一に設定される。図１５Ｂに図示されたＰＥＳを例に挙げて説明すれば、図１５Ｂで、ＰＩＤが「１」であるメディアデータのＰＥＳ １５５２に係わるタイムスタンプ、ＰＩＤが「２」であるメディアデータのＰＥＳ １５６２に係わるタイムスタンプ、及びＰＩＤが「３」であるメディアデータのＰＥＳ １５７２に係わるタイムスタンプは、同一に設定される。また、ＰＩＤが「１」であるメディアデータのＰＥＳ １５５４に係わるタイムスタンプ、ＰＩＤが「２」であるメディアデータのＰＥＳ １５６４に係わるタイムスタンプ、及びＰＩＤが「３」であるメディアデータのＰＥＳ １５７４に係わるタイムスタンプも、同一に設定される。

また、第１メディアデータを再生していて、メディアデータを変更し、第２メディアデータを再生する場合にも、連続的に再生することができるように、ＰＴＳ及び／またはＤＴＳが連続的に整列される。言い換えれば、第１メディアデータを再生していて、メディアデータを変更して第２メディアデータを再生すれば、第１メディアデータで、最後に再生されるＰＥＳのＰＴＳ及び／またはＤＴＳと、第２メディアデータで、最初のに再生されるＰＥＳのＰＴＳ及び／またはＤＴＳとが連続的に設定される。

メディアデータの部分は、ＰＥＳ単位に基づいて生成され、それぞれのＰＥＳのＰＴＳ及び／またはＤＴＳが、時間に基づいて連続的に整列されるために、それぞれの部分の開始時間は、ＰＴＳ及び／またはＤＴＳに基づいて知ることができる。従って、第１メディアデータを部分を再生し、続いて、第２メディアデータの次の部分を再生することができる。

しかし、本発明の他の実施形態によれば、ＰＥＳに対して、タイムスタンプが割り当てられない。ＰＥＳに係わるタイムスタンプは、選択的要素であり、ＰＥＳがタイムスタンプのような時間情報を含んでいない場合、メディアデータの部分の開始時間を特定することができない。図１６Ａ及び図１６Ｂを参照して詳細に説明する。

図１６Ａ及び図１６Ｂは、本発明の一実施形態による開始時間についての情報を、メディアデータの部分に挿入する方法を図示している。図１６Ａ及び図１６Ｂは、図１５Ｂに図示されているように、メディアデータを複数の部分に分割するとき、メディアデータの部分に時間情報を挿入する方法を図示している。

図１６Ａを参照すれば、ＰＥＳが、ＰＴＳ及び／またはＤＴＳを含まなければ、ｋ番目の部分１６１０に含まれているＰＥＳ１６２０及び１６３０は、ＰＴＳ及び／またはＤＴＳを含まず、ｋ番目の部分１６１０の開始時間を特定することができない。

その場合、それぞれの部分の開始時間を特定することができないので、適応的なストリーミングが不可能になる。これは、前述のように、適応的なストリーミングのためには、異なるメディアデータの部分が連続的に再生されねばならないが、ＰＥＳが、ＰＴＳ及び／またはＤＴＳを含まずに、それぞれの部分の開始時間を特定することができないので、異なるメディアデータの部分が連続的に再生されないためである。例えば、第１メディアデータのｋ番目の部分を再生し、連続して第２メディアデータのｋ＋１番目の部分を再生しなければならない場合に、ｋ＋１番目の部分の開始時間を特定することができなければ、連続して再生することができない。

従って、本発明の一実施形態は、伝送ストリームに部分に係わる時間情報を含めることができる。それぞれの部分の最初の伝送ストリームに、ＰＴＳ及び／またはＤＴＳを含めることができる。例えば、図１６Ａに図示されたｋ番目の部分１６１０の最初のＰＥＳ １６２０の最初の伝送ストリーム１６２２に時間情報を含めることができるが、次のような構文を介して時間情報を生成し、生成された時間情報を、伝送ストリームの１つのフィールドとして含めることができる。

伝送ストリームの「private＿data＿bytes」フィールドに、それぞれの部分をインデクシング（indexing）することができる「Segment＿Index（）」を挿入するが、「data＿field＿tag」は、伝送ストリームのフィールドが、部分のインデクシングと関連した部分であることを定義する構文であり、「data＿field＿length」は、フィールド長を定義する。ＰＴＳ、ＤＴＳ及びＰＣＲ（program clock reference）のうち、少なくとも一つが時間情報として挿入される。

「Segment＿Index（）は、前述のように、最初のＰＥＳ １６２０の最初の伝送ストリーム１６２２に含まれもし、最初のＰＥＳの他の伝送ストリーム１６２４ないし１６２６に含まれもすることは、本発明が属する技術分野で当業者であるならば、容易に分かるであろう。

前述のように、１つのＰＥＳは、１つの部分に含まれ、互いに異なる部分に同時に含まれないことが望ましい。しかし、図１６Ｂに図示されているように、１つのＰＥＳ １６４０が、互いに異なる部分１６１０及び１６１２に含まれている場合にも、ｋ＋１番目の部分の最初の伝送ストリームにも、時間情報を挿入することによって、適応的なストリーミングを行うことができる。

図１６ＢのＰＥＳ １６４０が、前述の時間情報、例えば、ＰＴＳ及び／またはＤＴＳを含んでいない場合はもとより、含んでいる場合にも、異なる部分１６１０及び１６１２に同時に含まれていれば、ｋ＋１番目の部分に含まれた伝送ストリームについては、開始時間を特定することができないので、適応的なストリーミングを行うことができない。

従って、ｋ＋１番目の部分の最初の伝送ストリーム１６４２に、前述の「Segment＿Index（）」を挿入することによって、ｋ＋１番目の部分に含まれた伝送ストリームの開始時間を特定する。

「Segment＿Index（）」が、ｋ＋１番目の部分の最初の伝送ストリーム１６４２に含まれもし、他の伝送ストリーム１６４４ないし１６４６に含まれもすることは、本発明が属する技術分野で当業者であるならば、容易に分かるであろう。

また、図１６Ａ及び１６Ｂは、ＭＰＥＧ−２ ＴＳフォーマットによって、メディアデータを部分化するとき、時間情報を挿入する方法を図示した。しかし、図１８Ａないし図１８Ｃと関連して後述するように、ＭＰ４フォーマットによって、メディアデータを部分化する場合にも、同じ方式で時間情報を挿入することができる。例えば、それぞれの部分に含まれたＭＰ４ボックスに、前述の「Segment＿Index（）」を挿入することによって、それぞれの部分の開始時間を特定することができる。

複数のメディアデータのＰＥＳのＰＴＳ及び／またはＤＴＳが、再生時間に基づいて整列されず、連続的な再生が不可能な場合が発生しもする。例えば、所定コンデンツに係わる第１メディアデータを第１サーバが生成し、所定コンデンツに係わる第２メディアデータを第２サーバが生成する場合、ＰＴＳ及び／またはＤＴＳが再生時間に基づいて整列されない。

例えば、第１メディアデータの連続した３つの部分のＰＴＳが、それぞれ「１０００」、「２０００」、「３０００」と定義されており、同じ再生時間に係わる第２メディアデータの連続した３つの部分のＰＴＳが、それぞれ「１１０００」、「１２０００」、「１３０００」と定義されていることもある。その場合、第１メディアデータの最初の部分のＰＴＳは、「１０００」であり、第２メディアデータの２番目の部分のＰＴＳは、「１１０００」であるから、メディアデータを受信する側では、同じ再生時間に係わる部分であると判断することができない。その場合、ＰＴＳの不一致によって、メディアデータの変更再生を介した適応的なストリーミングが不可能である。

このような問題を解決するために、次のような構文を介して、タイムスタンプの不一致を校正するための情報を生成し、生成された情報を、前述のメディア表現記述またはメディアデータに挿入することができる。

伝送ストリームの「private＿data＿bytes」フィールドに、タイムスタンプの調整のための「Segment＿Start＿Adjustment（）」を挿入するが、「data＿field＿tag」は、伝送ストリームのフィールドが、タイムスタンプの調整のための部分であることを定義する構文であり、「data＿field＿length」は、フィールド長を定義する。ＰＴＳ、ＤＴＳ及びＰＣＲ（program clock reference）のうち少なくとも一つが、部分のタイムスタンプを調整するための情報として挿入される。「Segment＿Start＿Adjustment（）」は、メディアデータの部分それぞれに挿入され、「Segment＿Start＿Adjustment（）」に定義されたＰＴＳ、ＤＴＳ及びＰＣＴによって、それぞれの部分のタイムスタンプが設定される。

「Segment＿Start＿Adjustment（）」は、「Segment＿Index（）」と同様に、前述のように、最初のＰＥＳ １６２０の最初の伝送ストリーム１６２２に含まれもし、最初のＰＥＳの他の伝送ストリーム１６２４ないし１６２６に含まれもすることは、本発明が属する技術分野で当業者であるならば、容易に分かるであろう。

また、タイムスタンプの調整のための別途の伝送ストリームを、最初のＰＥＳ １６２０の前に別途に定義し、定義された伝送ストリームに、前述の「Segment＿Start＿Adjustment（）」を含めることもできる。

しかし、図１８Ａないし図１８Ｃと関連して後述するように、ＭＰ４フォーマットによって、メディアデータを部分化する場合にも、同じ方式でタイムスタンプの調整のための情報を挿入することができる。例えば、それぞれの部分に含まれたＭＰ４ボックスに、前述の「Segment＿Start＿Adjustment（）」を挿入することによって、それぞれの部分の開始時間を特定することができる。また、それぞれの部分に、「Segment＿Start＿Adjustment（）」を挿入せずに、メディア表現記述にタイムスタンプの調整のための情報を挿入することができる。

前述のＰＴＳ及び／またはＤＴＳは、ビデオデータのタイムスタンプを定義する。従って、ビデオデータに係わる複数のメディアデータのタイムスタンプは、前述のように、メディアデータの再生時間によって、整列（aligned）される。しかし、このような再生時間に基づいたタイムスタンプの整列は、オーディオデータについても同一に適用される。言い換えれば、オーディオデータに係わる複数のメディアデータのタイムスタンプも、図１５Ｂ、図１６Ａ及び図１６Ｂと関連して説明したように、再生時間に基づいて、適応的なストリーミングが可能なように再生時間によって整列される。

図１７は、本発明の一実施形態による部分の構造を図示している。図１７は、図１５Ｂに図示されているように、メディアデータを複数の部分に分割するとき、それぞれの部分の構造を図示している。ｋ番目の部分を例に挙げて説明するが、図１７に図示された部分の構造は、順序と関係なしに、メディアデータに含まれたあらゆる部分に適用可能である。前述のように、メディアデータの部分を独立して再生するために、それぞれの部分は、ランダム・アクセスポイント、例えば、Ｉフレームとして始まることが望ましい。図１７は、Ｉフレームで部分が始まるとき、部分の構造を図示している。

図１７を参照すれば、メディアデータのｋ番目の部分１７１０は、少なくとも１つのＰＥＳを含み、最初のＰＥＳ １７１０は、ランダム・アクセスポイント、すなわち、Ｉフレームに係わるデータで始まる。ＰＥＳは、ビットストリームをフレーム単位でアクセスするための単位であるアクセス単位（ＡＵ：access unit）によって区分される。図１７に図示された例では、これにより、Ｉフレームのアクセス単位１７２２と、ＰフレームまたはＢフレームのアクセス単位１７２４とに区分される。

Ｉフレームアクセス単位（ＡＵ）１７２２は、メディアデータの部分を独立して再生するためのパラメータを含むが、ＳＰＳ（sequence parameter set）１７３２、ＰＰＳ（picture parameter set）１７３４、ＳＥＩ（supplemental enhancement information）１７３６を含む。ＳＥＩ １７３６は、ＣＰＢ（coded picture buffer）のために必要な要素である。また、Ｉフレームアクセス単位１７２２は、１つの部分に含まれたフレームの先頭フレームであり、ＩＤＲ（instantaneous decoding refresh）フレームを含む。ＳＰＳ及びＰＰＳは、アクセス単位の最初のバイトに含まれて参照され、ビデオストリームの残りのアクセス単位は、ＳＰＳ及びＰＰＳが参照された後に提供される。

ＰフレームまたはＢフレームのアクセス単位１７２４は、ＳＥＩ １７４２及びＰフレームまたはＢフレーム１７４４を含む。ＳＥＩ １７２４は、Ｉフレームアクセス単位１７２２のＳＥＩ １７３６と同じ目的でアクセス単位に挿入される。

ストリーミング環境を考慮した連続的な再生のためには、同じ時間に係わる異なるメディアデータの部分は、開始時間（start time）と持続時間（duration）とで同一でなければならない。例えば、同じ時間に係わる異なるメディアデータの部分は、最初のアクセス単位と最後のアクセス単位とのＰＴＳが同一でなければならない。

図１８Ａないし図１８Ｃは、本発明の一実施形態によるＭＰ４フォーマットによるメディアデータを部分化する方法を図示している。

図１８Ａを参照すれば、図１５Ａと同じ方法で、メディアデータを複数の部分に分割することができる。図１５Ａに図示されたように、メディアデータがビデオデータである場合、エレメンタリー・ストリームは、複数のピクチャに係わるデータを含み、ＧＯＰに基づいてグループ化される。それぞれのＧＯＰは、インフラピクチャで始まる。図１８Ａの「Slice」は、図１５Ａの「Segment」に対応する。

図１８Ａに図示された実施形態では、２つのＧＯＰ １８１０及び図１８２０が１つの部分に含まれる。２つのＧＯＰ １８１０及び図１８２０に含まれた複数のピクチャは、ＭＰ４フォーマットによって１つの部分に含まれる。従って、部分１８３０は、ＭＰ４フォーマットによって、メディアデータのヘッダ情報を含む「ｍｏｏｖ」ボックス、ペイロードデータを含む「ｍｏｏｆ」ボックス、及び他のヘッダ情報を含む「ｍｏｏｆ」ボックスを含む。ＧＯＰ １８１０及び図１８２０に基づいて１つの部分を生成するので、それぞれの部分は、イントラピクチャ、すなわち、ランダム・アクセスポイントで始まる。

図１８Ａに図示された部分化方法によって、複数のメディアデータは、図１８Ｂに図示されているように部分化される。図１８Ｂを参照すれば、複数のメディアデータは、複数のサンプル（sample）を含む部分にそれぞれ分割される。

複数のメディアデータは、それぞれＭＰ４フォーマットによる複数の「trak」にそれぞれ対応し、その場合、複数のメディアデータそれぞれについて、異なる「trak」ＩＤ １８５０，１８６０及び図１８７０が割り当てられる。

本発明によれば、図１８Ｂに図示されているように、複数のメディアデータに係わるヘッダが「ｍｏｏｖ」ボックスとしてペイロードデータと分離される。図１５Ｂと関連して述べたＰＡＴ及びＰＭＴを含む「reference data」と同様に、複数のメディアデータに係わるメタデータを含むヘッダがペイロードを含む「ｍｄａｔ」ボックス１８８０と分離され、「ｍｏｏｖ」ボックス１８４０として定義される。

図１８Ｂの「ｍｏｏｖ」ボックス１８４０は、初期化部分（initialization segment）であり、ペイロードデータを含んでいる「ｍｄａｔ」ボックス１８８０より、まずクライアント１３０に伝送される。後述する図２Ｂの段階２２２、図５Ｂの段階５３２及び図１１Ｂの段階１１２２で、クライアント１３０が受信するヘッダ情報が、図１８Ｂの「ｍｏｏｖ」ボックス１８４０であってもよい。

ヘッダを除外した残りのペイロード・データは、「ｍｄａｔ」ボックス（１８８０）に含まれる。例えば、オーディオデータをグループ化し、少なくとも１つの部分に分割する場合には、「trak１」、「trak２」及び「trak３」に対応する複数のオーディオ・サンプルに係わるデータを１つの部分にグループ化する。「trak１」に対応するオーディオ・サンプルを所定の時間単位でグループ化して複数の部分を生成し、「trak２」に対応するオーディオ・サンプルを所定の時間単位でグループ化し、複数の部分を生成することができる。同様に、「trak３」に対応するオーディオ・サンプルを所定の時間単位でグループ化し、複数の部分を生成することができる。適応的なストリーミングのために、それぞれのサンプルに係わるデータは、ただ１つの部分にのみ含まれてもよい。「ｍｄａｔ」ボックス１８８０に含まれるサンプルに係わるヘッダは、「ｍｏｏｖ」ボックス（１８４０）に含まれた「trak」ボックス１８５０，１８６０及び図１８７０に含まれる。また、ビデオデータをＭＰ４フォーマットによってグループ化する場合には、１つのＧＯＰに係わるデータは、１つの部分にのみ含まれる。

図１８Ｃは、本発明の他の実施形態によるＭＰ４フォーマットに基づいた複数のメディアデータの部分化を図示している。図１８Ｂと比較すれば、図１８Ｂは、複数のサンプルに係わるペイロード・データが、１つの「ｍｄａｔ」ボックス（１８８０）で、所定の時間単位に基づいてグループ化される実施形態を図示しているのに対し、図１８Ｃは、複数のサンプルに係わるペイロード・データが、複数の「ｍｏｏｆ」ボックス及び「ｍｄａｔ」ボックスによって部分化されるところが異なる。例えば、複数のメディアデータのうち、「trak１」に対応するメディアデータが、図１８Ａに図示されたところによって部分化されるとき、最初の部分に係わる「ｍｏｏｆ」ボックス１８５１及び「ｍｄａｔ」ボックス１８５２が存在し、２番目の部分に係わる「ｍｏｏｆ」ボックス１８５３及び「ｍｄａｔ」ボックス１８５４が存在する。

メタデータを含んでいる「ｍｏｏｆ」ボックス１８５１または１８５３、及びペイロード・データを含んでいる「ｍｄａｔ」ボックス１８５２または１８５４に基づいて、「trak１」に対応するメディアデータを分割することができる。

「ｍｏｏｆ」ボックスは、サンプルに係わるメタデータを含んでいる「ｔｒａｆ」ボックスを含み、図１８Ｂと関連して説明したように、１つのサンプルに係わるデータは、異なる部分に含まれない。例えば、１つのサンプルに係わるデータは、最初の部分に係わる「ｍｄａｔ」ボックス（１８５２）、または２番目の部分に係わる「ｍｄａｔ」ボックス１８５４に含まれ、最初の部分に係わる「ｍｄａｔ」ボックス１８５２及び２番目の部分に係わる「ｍｄａｔ」ボックス１８５４のいずれにも含まれない。

図２Ａは、本発明の一実施形態によるストリーミング方法を説明するためのフローチャートである。

図２Ａを参照すれば、段階２１０でクライアント１３０は、所定のコンデンツについての情報を伝送することをサーバ１２０に要請する。クライアント１３０のユーザが、クライアント１３０の画面に表示されたユーザ・インターフェースで所定のコンデンツを選択すれば、選択されたコンデンツについての情報を伝送することをサーバ１２０に要請する。クライアント１３０は、コンデンツについての情報を伝送することを要請するＨＴＴＰ要請をサーバ１２０に伝送することができる。

クライアント１３０から要請を受信したサーバ１２０は、クライアント１３０にコンデンツについての情報を伝送する。ＨＴＴＰ要請に対するＨＴＴＰ応答として、コンデンツについての情報をクライアント１３０に伝送することができる。コンデンツについての情報は、ＯＩＰＦ（open ＩＰＴＶ forum）標準によるＣＡＤ（content access descriptor）であってもよい。図３を参照しつつ詳細に説明する。

図３は、本発明の一実施形態によるコンデンツ（contents）についての情報を含むファイルのスキーマ（schema）を図示している。コンデンツについての情報を含むファイルは、ＣＡＤであって、ＸＭＬ（eXtensible Markup Language）ファイルであってもよい。以下、本発明の詳細な説明では、タグ（tag）及び属性（attribute）を区分して説明するが、本発明の詳細な説明で、タグによって定義される項目を、タグではない属性によって定義したり、本発明の詳細な説明で、属性によって定義される項目を、属性ではないタグによって定義することができることは、本発明が属する技術分野で当業者であるならば、容易に分かるであろう。

図３を参照すれば、コンデンツについての情報は、「Title」、「Synopsis」、「OriginSite」、「ContentＵＲＬ」タグなどを含んでもよい。

従来技術によるメディアデータのストリーミングは、１つのコンデンツを所定の品質にエンコーディングして１つのメディアデータを生成するので、従来技術によるコンデンツについての情報（特に、ＯＩＰＦによるＣＡＤ）は、コンデンツを異なる品質にエンコーディングして生成された複数のメディアデータについての情報を含まない。

しかし、本発明の一実施形態によるコンデンツについての情報は、１つのコンデンツを異なる品質にエンコーディングして生成された複数のメディアデータについての情報を含むが、図３に図示された実施形態の「Tracks」タグ、「ＲｅｆData」タグ及び「Fragments」タグがこれに該当する。

図４Ａは、本発明の一実施形態による複数のメディアデータを定義するための情報を図示している。

図４Ａを参照すれば、「Tracks」タグは、コンデンツを異なる品質にエンコーディングして生成された複数のメディアデータを区分するための情報である。「Tracks」タグは、複数のメディアデータそれぞれに割り当てられた「ＩＤ」属性（attribute）、「Type」属性及び「BitRate」属性を含む。

「ＩＤ」属性は、メディアデータに対して順に付与される識別子を定義し、「Type」属性は、メディアデータのオーディオデータ、ビデオデータ、ビデオ／オーディオデータ、字幕データのうち、いずれのデータに該当するかを定義する。「Type」属性が「Packed」であるならば、メディアデータが、ビデオ／オーディオデータであることを示し、「Type」属性が「Video」であるならば、メディアデータが、ビデオデータであることを示す。「BitRate」属性は、ビデオデータのエンコーディングに利用されたビット率を定義する。

図４Ｂは、本発明の一実施形態によるメディアデータのヘッダについての情報を図示している。

図４Ｂを参照すれば、「ＲｅｆData」タグは、「Type」属性及び「ＩＤ」属性を含む。「Type」属性は、ヘッダがいかなるメディアフォーマットのヘッダであるかを定義する。例えば、「Type」属性が「HEAD−ＴＳ」であるならば、ヘッダが、伝送ストリーム（transport stream）フォーマットのヘッダであることを示す。「ＩＤ」属性は、ヘッダが、複数のメディアデータのうち、いずれのメディアデータのヘッダであるかを定義する。「ＩＤ」属性が「１」であるならば、メディアデータ識別子が「１」であるメディアデータに係わるヘッダであることを示す。また、「ＲｅｆData」タグは、ヘッダを指示（pointing）する情報を含むが、「ＵＲＬ」タグは、ヘッダの位置、すなわち、ＵＲＬを定義する。

「ＲｅｆData」タグは、選択的な要素である。ヘッダが、メディアデータと分離されて別途のファイルで存在する場合にのみ、コンデンツについての情報に「ＲｅｆData」タグが含まれ、メディアデータと結合されて存在する場合には、コンデンツについての情報に「ＲｅｆData」タグが含まれない。

図４Ｃは、本発明の一実施形態による複数のメディアデータそれぞれに含まれた少なくとも１つの部分についての情報を含む。以下、複数の「Fragment」は、図１５Ａの「Segment」または図１５Ｂの「Slice」に対応する。

図４Ｃを参照すれば、「Fragments」タグの下位タグである「Fragment」タグに、複数のメディアデータそれぞれに含まれた少なくとも１つの部分についての情報が含まれる。

「Fragments」タグは、「NextFragmentsＸＭＬＵＲＬ」属性を含む。ライブ・ストリーミングのように、１つのコンデンツ・ストリーミングが完了すれば、次のコンデンツが続いてストリーミングされる場合には、次にストリーミングされるコンデンツについての情報をクライアント１３０があらかじめ知っていてこそ、途切れなくコンデンツをストリーミングすることができる。従って、「Fragments」タグは、次にストリーミングされるコンデンツについての情報を「NextFragmentsＸＭＬＵＲＬ」属性と定義する。次に、ストリーミングされるコンデンツに係わる複数のメディアデータのＵＲＬが、「NextFragmentsＸＭＬＵＲＬ」属性と定義することができる。

「Fragment」タグは、現在ストリーミングされるコンデンツの少なくとも１つの部分についての情報を含む。図４Ｃに図示された実施形態を例に挙げて説明すれば、第１メディアデータとして、コンデンツを第１品質にエンコーディングして生成された最初の部分である「slice１−１．as」のＵＲＬ情報が、「ＵＲＬ」タグによって定義され、対応するヘッダの識別子が、「ＲｅｆPointer」タグによって定義される。また、最初の部分の開始時間が「StartTime」属性によって定義され、それぞれの部分の持続時間が「Duration」属性によって定義される。第１メディアデータの品質は、「BitRate」属性によって定義される。

図４Ｃに図示された実施形態では、「Fragments」タグは、それぞれのメディアデータが１つの部分だけを含む場合を図示した。しかし、本発明が属する技術分野で当業者であるならば、図１と関連して説明したように、それぞれのメディアデータが複数の部分に分割される場合、１つの「Fragments」タグが２以上の部分についての情報を含むことができることが容易に分かるであろう。

再び図２Ａを参照すれば、段階２２０でクライアント１３０は、複数のメディアデータのうち、少なくとも１つのメディアデータを伝送することをサーバ１２０に要請する。複数のメディアデータは、１つのコンデンツを異なる品質にエンコーディングして生成された複数のメディアデータである。クライアント１３０は、複数のメディアデータのうちから、ストリーミング環境に適した品質に符号化した少なくとも１つのメディアデータを選択し、サーバ１２０に要請する。クライアント１３０は、コンデンツについての情報に含まれた複数のメディアデータについての情報に基づいて、ＨＴＴＰ要請をサーバ１２０に伝送することができる。

コンデンツについての情報は、図４Ｃと関連して説明したように、「Fragments」タグを含んでいる。従って、クライアント１３０は、「Fragments」タグに含まれたＵＲＬ情報に基づいて選択されたメディアデータの伝送をサーバ１２０に要請する。

クライアント１３０の要請によってサーバ１２０は、メディアデータを伝送する。要請されたメディアデータの少なくとも１つの部分をクライアント１３０に伝送することができる。ＨＴＴＰ要請に対するＨＴＴＰ応答として、要請されたメディアデータを、クライアント１２０に伝送することができる。伝送されるメディアデータは、図１５Ａ、図１５Ｂ及び図１８Ａないし図１８Ｃに図示されているように部分化され、少なくとも１つの部分を含むメディアデータであってもよい。

図２Ｂは、本発明の他の実施形態によるストリーミング方法を説明するためのフローチャートである。図２Ｂは、ヘッダがメディアデータと分離され、別途のファイルとして存在する場合のストリーミング方法を図示している。

図２Ｂを参照すれば、段階２１２でクライアント１３０は、所定のコンデンツについての情報を伝送することをサーバ１２０に要請し、サーバ１２０からコンデンツについての情報を伝送する。図２Ａの段階２１０に図示される。図４Ｂと関連して述べた「ＲｅｆData」タグを含むコンデンツについての情報を受信する。

段階２２２でクライアント１３０は、段階２１０で受信されたコンデンツについての情報に基づいて、複数のメディアデータのうち、選択されたメディアデータのヘッダを要請する。段階２１２で受信されたコンデンツについての情報に基づいて、複数のメディアデータのうち、ストリーミング環境に適した少なくとも１つのメディアデータを選択して選択されたメディアデータのヘッダを要請する。段階２１２で受信されたコンデンツについての情報に含まれた「ＲｅｆData」タグを参照して選択されたメディアデータのヘッダを要請する。

サーバ１２０は、要請されたメディアデータのヘッダをクライアント１３０に伝送する。ヘッダファイルをクライアント１３０に伝送することができ、ヘッダファイルは、ＸＭＬファイルであってもよい。また、ヘッダは、複数のメディアデータ全体に係わるヘッダとして、図１５Ｂ、図１８Ｂ及び図１８Ｃに図示された「reference data」であってもよい。

段階２３２でクライアント１３０は、段階２１２で受信されたコンデンツについての情報及び段階２２２で受信されたヘッダに基づいて選択されたメディアデータの伝送を、サーバ１２０に要請する。メディアデータを時間に基づいて分割して生成された少なくとも１つの部分を伝送することをサーバ１３０に要請し、サーバ１２０は、要請された少なくとも１つの部分をクライアント１３０に伝送する。伝送されるメディアデータは、図１５Ａ、図１５Ｂ及び図１８Ａないし図１８Ｃに図示されているように部分化され、少なくとも１つの部分を含むメディアデータであってもよい。

図５Ａは、本発明の他の実施形態によるストリーミング方法を説明するためのフローチャートである。

図５Ａを参照すれば、段階５１０でクライアント１３０は、所定のコンデンツについての情報を伝送することをサーバ１２０に要請し、サーバ１２０からコンデンツについての情報を伝送する。所定のコンデンツについての情報を伝送することを要請するＨＴＴＰ要請をサーバ１２０に伝送し、これに対するＨＴＴＰ応答として、コンデンツについての情報を受信する。コンデンツについての情報を含むＸＭＬファイルを受信することができる。段階５１０でクライアント１３０が受信するコンデンツについての情報は、図２の段階２１０でクライアント１３０が受信するコンデンツについての情報と異なるが、図６及び図７を参照して詳細に説明する。

図６は、本発明の他の実施形態によるコンデンツについての情報を含むファイルのスキーマを図示している。

図６を参照すれば、本発明の一実施形態によるコンデンツについての情報は、図３と同一に、「Title」、「Synopsis」、「OriginSite」、「ContentＵＲＬ」タグなどを含んでもよい。

しかし、図３に図示された実施形態では、コンデンツについての情報が、「Tracks」、「ＲｅｆData」及び「Fragments」タグを含むことによって、複数のメディアデータについての情報も共に含むのに対し、図６に図示された実施形態では、コンデンツについての情報が複数のメディアデータについての情報を含むのではなく、複数のメディアデータについての情報を含むファイル（以下、media presentation description：「メディア表現記述」とする）のＵＲＬだけ定義するのが異なる。「ContentＵＲＬ」タグによって、メディア表現記述のＵＲＬこの定義される。

図６に図示されているように、従来技術による多様なコンデンツについての情報ファイルのスキーマを大きく変更せず、メディア表現記述のＵＲＬのみコンデンツについての情報ファイルに挿入することによって、多様なメディアデータ・フォーマットとの互換性を維持しつつ、ストリーミング環境に適応的なストリーミングが可能になる。

図６に図示されたところによれば、コンデンツについての情報は、複数のメディアデータについての情報は含まずに、ストリーミング方法と関連した情報だけ含んでもよい。言い換えれば、「ContentＵＲＬ」タグは、ストリーミングに利用されるメディアデータのフォーマットを定義する「MediaFormat」属性、メディアデータの種類を定義する「ＭＩＭＥType」属性などを含んでもよい。

特に、「ContentＵＲＬ」タグは、コンデンツのストリーミングがいかなるサービスと関連しているかを定義する「TransferType」属性を含んでもよい。「TransferType」属性は、コンデンツのストリーミングがＣｏＤ（Content on Delivery）サービス、生中継（live）、適応ストリーミング生中継（adaptive streaming live）及び適応ストリーミングＣｏＤ（adaptive streaming ＣｏＤ）のうち、いかなるサービスと関連しているかを定義することができる。

図７は、本発明の他の実施形態によるコンデンツについての情報を図示している。図７は、ＯＩＰＦ標準によるＣＡＤであってもよい。

図７を参照すれば、図６に図示されたスキーマによって生成されたコンデンツについての情報は、「ContentＵＲＬ」タグに、メディア表現記述のＵＲＬが定義される。「ｈｔｔｐ：／／asexample．com／ｖｏｄ／movies／１８８８８／Meta／MainMeta．ｘｍｌ」がメディア表現記述のＵＲＬである。また、図６と関連して説明したように、「MediaFormat」属性、「ＭＩＭＥType」属性及び「TransferType」属性などが「ContentＵＲＬ」タグに定義される。

再び図５Ａを参照すれば、段階５２０でクライアント１３０は、段階５１０で受信されたコンデンツについての情報に基づいて、複数のメディアデータについての情報をサーバ１２０に要請する。メディア表現記述を、ＨＴＴＰ要請を介してサーバ１２０に要請し、ＨＴＴＰ応答として、メディア表現記述を受信することができる。

段階５１０で、クライアント１３０がサーバ１２０から受信したコンデンツについての情報は、図６及び図７と関連して説明したように、メディア表現記述のＵＲＬ情報を含むことができるが、クライアント１３０は、コンデンツについての情報の「ContentＵＲＬ」タグを参照し、メディア表現記述をサーバ１２０に要請して受信する。メディア表現記述については、図８Ａ、図８Ｂ、図９Ａないし図９Ｈを参照して詳細に説明する。

図８Ａ及び図８Ｂは、本発明の一実施形態によるメディア表現記述のスキーマを図示している。メディア表現記述は、ＯＩＰＦ標準によるメディア表現記述であってもよい。

図８Ａを参照すれば、本発明の一実施形態によるメディア表現記述は、複数のメディアデータのＵＲＬに係わるテンプレート（template）タグ、ヘッダの位置を定義するためのタグ、ストリーミングがいかなるサービスと関連しているかを定義するためのタグ、メディアデータコンテナ（container）・フォーマットを定義するためのタグ、及び複数のメディアデータを定義するためのタグを含む。

「ｕｒｌTemplate」タグは、複数のメディアデータに係わるＵＲＬ情報の共通部分を定義する。例えば、「ｈｔｔｐ：／／example．com／ｖｏｄ／movie／１８８８８／Track／｛TrackＩＤ｝／Segments／｛SegmentＩＤ｝」がＵＲＬテンプレートであるならば、「TrackＩＤ」及び「SegmentＩＤ」に、複数のメディアデータそれぞれの識別子及びそれぞれのメディアデータに含まれた少なくとも１つの部分の識別子を代入することにより、メディアデータに係わるＵＲＬを定義することができる。

「headerＵｒｌ」タグは、図４Ｂと関連して述べた「ＲｅｆData」タグに対応する。言い換えれば、複数のメディアデータのヘッダＵＲＬを定義する。

「isLive」タグは、ストリーミングがいかなるサービスと関連しているかを定義するタグである。例えば、「isLive」タグが「Live」と定義されれば、ストリーミングが生放送サービスと関連していることを示し、「isLive」タグが「ＣｏＤ」と定義されれば、ストリーミングがＣｏＤサービスと関連していることを示す。

「contentType」タグは、ストリーミングに利用されるメディアデータのコンテナ・フォーマットを定義する。例えば、メディアデータのコンテナ・フォーマットが、ＭＰ４フォーマットであるか、あるいはＭＰＥＧ２−ＴＳフォーマットであるか示すための情報であってもよい。

「Stream」タグは、複数のメディアデータそれぞれについて生成され、複数のメディアデータそれぞれを定義する。１つのコンデンツを異なる品質にエンコーディングして生成された複数のメディアデータそれぞれを定義するために、「streamName」属性、「Type」属性、「bitrate」属性、「startTime」属性、「firstIntervalＮｕｍ」属性、「duration」属性、及び「intervalCount」属性を含む。

「streamName」属性は、メディアデータの名称を定義する。メディアデータの識別子であってもよい。「type」属性は、メディアデータの類型を定義する。メディアデータがオーディオデータ、ビデオデータ、オーディオ／ビデオデータ及び字幕データのうち、いかなるメディアのデータであるかを定義する。メディアデータが、変速再生（trick play）のために、Ｉフレームに係わるデータだけ含む場合には、これについての情報が「type」属性と定義される。

「bitrate」属性は、メディアデータのビット率を定義し、「startTime」属性は、メディアデータの開始時間を特定するタイムスタンプを定義し、「firstIntervalＮｕｍ」属性は、最初の始まる部分の番号を定義する。

「duration」属性は、メディアデータに含まれた部分の持続時間を定義し、「intervalCount」属性は、メディアデータに含まれた少なくとも１つの部分の全体個数を定義する。

「Segment」タグは、「Stream」タグの下位タグであり、メディアデータが、前述のように、コンデンツを所定の品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つの部分であるならば、かような少なくとも１つの部分それぞれを定義する。

「ＩｎｔＮｕｍ」属性は、部分の番号を定義し、「StartTime」は、該当部分の開始時間を定義する。「Duration」は、該当部分の持続時間を定義し、「ｕｒｌ」は、該当部分のＵＲＬ情報を定義する。

「Segment」タグは、選択的なタグであり、メディアデータに含まれた少なくとも１つの部分についての情報が、「Stream」タグの他の属性から類推される場合には、メディア表現記述に含まれない。言い換えれば、「Stream」タグに定義された「startTime」属性、「firstIntervalＮｕｍ」属性、「duration」属性及び「intervalCount」属性によって、「Segment」タグの内容が類推される場合には、メディア表現記述に含まれない。また、「ｕｒｌTemplate」タグに所定のテンプレートが定義されており、このように定義されたテンプレートに、複数のメディアデータそれぞれの識別子及びそれぞれのメディアデータに含まれた少なくとも１つの部分の識別子を代入することにより、部分のＵＲＬ情報を類推することができれば、「Segment」タグの「ｕｒｌ」属性は、不要でもある。

図８Ｂを参照すれば、本発明の他の実施形態によるメディア表現記述は、「nextManifestＵＲＬ」タグをさらに含んでもよい。前述のように、ライブ・ストリーミングまたは広告の挿入のように、１つのコンデンツ・ストリーミングが完了すれば、次のコンデンツが続いてストリーミングされる場合には、次にストリーミングされるコンデンツについての情報を、クライアント１３０があらかじめ知っていてこそ、途切れなくコンデンツをストリーミングすることができるので、現在ストリーミング中であるコンデンツ後に、ストリーミングされるコンデンツのメディア表現記述のＵＲＬ情報が「nextManifestＵＲＬ」タグによって定義される。

図９Ａないし図９Ｈは、本発明の一実施形態によるメディア表現記述を図示している。

図９Ａを参照すれば、本発明の一実施形態によるメディア表現記述は、「ＵＲＬTemplate」タグ、「ＲｅｆDataＵＲＬ」タグ及び複数のメディアデータそれぞれを定義する複数のタグを含む。

「ＵＲＬTemplate」タグ及び「ＲｅｆDataＵＲＬ」タグは、それぞれ図８Ａ及び図８Ｂの「ｕｒｌTemplate」タグ及び「ＲｅｆDataＵＲＬ」タグに対応する。

「ＩＤ」属性、「Type」属性、「bitrate」属性、「StartTime」属性、「SegmentDuration」属性、「SegmentStartＩＤ」属性及び「SegmentCount」属性は、それぞれ図８Ａ及び図８Ｂの「streamName」属性、「type」属性、「bitrate」属性、「startTime」属性、「Stream」タグの「duration」属性、「Stream」タグの「firstIntervalＮｕｍ」属性及び「intervalCount」属性に対応する。

図９Ａに図示されたメディア表現記述は、コンデンツを異なる品質に生成された３種のビデオデータ、１つのオーディオデータ及び変速再生のためにＩフレームだけエンコーディングして生成されたメディアデータについての情報を含む。

図９Ｂを参照すれば、本発明の一実施形態によるメディア表現記述は、「NextAdaptiveControlＵＲＬ」タグをさらに含む。「NextAdaptiveControlＵＲＬ」タグは、図８Ｂの「nextManifestＵＲＬ」タグに対応する。従って、現在再生中であるコンデンツの次に、続いて再生するコンデンツのメディア表現記述のＵＲＬが「NextAdaptiveControlＵＲＬ」タグによって定義される。

図９Ｃは、現在再生中であるコンデンツに続いて再生するコンデンツのメディア表現記述のＵＲＬが、図９Ｂの「NextAdaptiveControlＵＲＬ」タグによって定義されたとき、次に続いて再生するコンデンツのメディア表現記述を図示する。図９Ｂのメディア表現記述と比較すれば、図９Ｃは、次に続いて再生されるコンデンツのメディア表現記述であるから、「StartTime」属性の現在再生中であるコンデンツのメディア表現記述と異なる。

図９Ｄ及び図９Ｅは、ユーザの高画質ビデオ再生を選択的に制御するためのメディア表現記述を図示する。１つのコンデンツを５種の異なる品質にエンコーディングして複数のメディアデータが生成され、図９Ｄは、その場合、メディア表現記述を図示する。しかし、図９Ｅに図示されたメディア表現記述で、高品質にエンコーディングされたビデオについての情報を含んでいるタグ、すなわち、「ＩＤ」属性が「５」であるメディアデータの「StartTime」属性及び「SegmentCount」属性が、図９Ｄのメディア表現記述と異なる。

サーバ１２０は、クライアント１３０のユーザ等級によって、図９Ｄのメディア表現記述または図９Ｅのメディア表現記述を選択的に伝送することができる。クライアント１３０のユーザ等級が高い場合（例えば、クライアント１３０が有料ユーザである場合）には、図９Ｄのメディア表現記述を伝送することによって、高品質のビデオも自由に再生させ、クライアント１３０のユーザ等級が低い場合（例えば、クライアント１３０が無料ユーザである場合）には、図９Ｅのメディア表現記述を伝送することによって、高品質のビデオは、「StartTime」属性によって定義された時間から、「SegmentCount」属性によって定義された部分のみ再生させる。

図９Ｆは、コンデンツに広告が挿入される場合のメディア表現記述を図示している。図９Ｆを参照すれば、メディア表現記述は、「StartTime」属性が異なる広告コンデンツ及びメインコンデンツについての情報を含んでもよい。メディア表現記述は、「００：００：００」から「００：０２：００」まで再生されるビット率が「５０００００」である広告コンデンツについての情報、及び「００：０２：００」から再生されるビット率が「１００００００」、「２００００００」、「３００００００」及び「４００００００」であるメインコンデンツについての情報を含んでもよい。サーバ１２０が、広告コンデンツを１つのビット率によってエンコーディングしてクライアント１３０に提供し、広告コンデンツと「StartTime」属性を異にするメインコンデンツは、４種の異なるビット率によってエンコーディングしてクライアント１３０に提供する場合、図９Ｆのメディア表現記述が、サーバ１２０からクライアント１３０に伝送される。

図９Ｇは、本発明の一実施形態による広告コンデンツについての情報を含むメディア表現記述を図示している。メインコンデンツを提供するサーバと、広告コンデンツを提供するサーバとが異なってもよい。言い換えれば、クライアント１３０が、メインコンデンツは、図５Ａのサーバ１２０から提供され、広告コンデンツは、図５Ａのサーバ１２０ではない他のサーバから受信する場合、広告コンデンツについての情報を含むメディア表現記述は、広告コンデンツのＵＲＬ情報を含んでもよい。図９Ｇに図示されているように、１つの品質に符号化した広告コンデンツのＵＲＬ情報が、メディア表現記述に含まれてもよい。

図９Ｈは、本発明の一実施形態による言語情報及び字幕情報を含むメディア表現記述を図示している。図９Ｈを参照すれば、オーディオデータは、多重言語についての情報を含んでもよい。「ＩＤ」属性が「４」及び「５」である多重言語のオーディオデータについての情報がメディア表現記述に含まれ、「ＩＤ」属性が「６」及び「７」である多重言語の字幕についての情報が、メディア表現記述に含まれてもよい。

オーディオデータは、もちろん字幕も時間によって、複数の部分に分割されるので、ストリーミング最中に、オーディオデータ及び字幕を異なる言語のオーディオデータ及び字幕に変更することができる。

再び図５Ａを参照すれば、段階５３０でクライアント１３０は、複数のメディアデータのうち、少なくとも１つのメディアデータを伝送することをサーバ１２０に要請する。クライアント１３０は、複数のメディアデータについての情報を参照し、ストリーミング環境に適した品質に符号化した少なくとも１つのメディアデータを選択してサーバ１２０に要請する。クライアント１３０は、所定のメディアデータを伝送することを要請するＨＴＴＰ要請をサーバ１２０に伝送することができる。クライアント１２０の要請によってサーバ１２０は、メディアデータを伝送する。コンデンツを所定の品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つの部分を、クライアント１２０に伝送することができる。ＨＴＴＰ要請に対するＨＴＴＰ応答として、要請されたメディアデータをクライアント１２０に伝送することができる。伝送されるメディアデータは、図１５Ａ、図１５Ｂ及び図１８Ａないし図１８Ｃに図示されているように、部分化されて少なくとも１つの部分を含むメディアデータであってもよい。

図５Ｂは、本発明の他の実施形態によるストリーミング方法を説明するためのフローチャートである。

図５Ｂを参照すれば、段階５１２でクライアント１３０は、所定のコンデンツについての情報を伝送することをサーバ１２０に要請し、サーバ１２０からコンデンツについての情報を受信する。所定のコンデンツについての情報を伝送することを要請するＨＴＴＰ要請をサーバ１２０に伝送し、これに対するＨＴＴＰ応答として、コンデンツについての情報を受信する。コンデンツについての情報を含むＸＭＬファイルを受信することができる。

段階５２２でクライアント１３０は、段階５１２で受信されたコンデンツについての情報に基づいて、複数のメディアデータについての情報をサーバ１２０に要請する。メディア表現記述を、ＨＴＴＰ要請を介してサーバ１２０に要請し、ＨＴＴＰ応答として、メディア表現記述を受信することができる。

段階５３２でクライアント１３０は、段階５２２で受信された複数のメディアデータについての情報に基づいて、選択されたメディアデータのヘッダを要請する。段階５２２で受信された情報に基づいて、複数のメディアデータのうち、ストリーミング環境に適した少なくとも１つのメディアデータを選択し、選択されたメディアデータのヘッダを要請する。段階５２２で受信された複数のメディアデータについての情報を参照し、選択されたメディアデータのヘッダを要請する。サーバ１２０は、要請に対する応答として、選択されたメディアデータのヘッダファイルをクライアント１３０に伝送する。ヘッダは、複数のメディアデータ全体に係わるヘッダとして、図１５Ｂ、図１８Ｂ及び図１８Ｃに図示された「reference data」であってもよい。

段階５４２でクライアント１３０は、段階５２２で受信された複数のメディアデータについての情報、及び段階２２２で受信されたヘッダに基づいて選択されたメディアデータの伝送を、サーバ１２０に要請する。コンデンツを所定の割合でエンコーディングし、時間に基づいて分割して生成された少なくとも１つの部分を伝送することをサーバ１３０に要請し、サーバ１２０は、要請された少なくとも１つの部分をクライアント１３０に伝送する。伝送されるメディアデータは、図１５Ａ、図１５Ｂ及び図１８Ａないし図１８Ｃに図示されているように、部分化されて少なくとも１つの部分を含むメディアデータであってもよい。

図１０Ａないし図１０Ｃは、本発明の一実施形態による複数のメディアデータを図示している。図１０Ａないし図１０Ｃは、図５Ａ及び図５Ｂによるストリーミング方法を遂行するために、サーバ１２０が保有する複数のメディアデータを図示している。

図１０Ａを参照すれば、ストリーミング環境に適応的なストリーミングのためにサーバ１２０は、１つのコンデンツを複数の異なる品質にエンコーディングして生成された複数のメディアデータ１０１０ないし１０３０を保有することができる。「Track１」、「Track２」、…、「TrackＮ」が複数のメディアデータである。また、それぞれのメディアデータは、それぞれのメディアデータを時間に基づいて分割して生成された少なくとも１つの部分を含んでもよい。「Slice１−１．as」、「Slice１−２．as」、「Slice１−３．as」、「Slice２−１．as」、「Slice２−２．as」、「Slice２−３．as」、「SliceＮ−１．as」、「SliceＮ−２．as」、「SliceＮ−３．as」などが少なくとも１つの部分である。

また、サーバ１２０は、クライアント１３０が複数のメディアデータにアクセスするために必要な情報１０４０を保有することができる。コンデンツについての情報として、「ＣａｄMeta．ｘｍｌ」ファイル、複数のメディアデータについての情報として、「MainMeta．ｘｍｌ」ファイルを保有することができ、複数のメディアデータのヘッダとして、「Head１．ｒｅｆ」、「Head２．ｒｅｆ」ファイルなどを保有することができる。「Head１．ｒｅｆ」は、「Track１」のヘッダファイルであって、「Head２．ｒｅｆ」は、「Track２」のヘッダファイルである。

「CadMeta．ｘｍｌ」は、ＯＩＰＦ標準によるＣＡＤファイルであって、「MainMeta．ｘｍｌ」は、前述のメディア表現記述であってもよい。また、「Head１．ｒｅｆ」、「Head２．ｒｅｆ」ファイルは、選択的な要素であり、ヘッダが複数のメディアデータ１０１０ないし１０３０に含まれている場合には、存在しないこともある。

図１０Ｂを参照すれば、クライアント１３０が複数のメディアデータにアクセスするために必要な情報１０４２は、「NextMeta．ｘｍｌ」をさらに含んでもよい。前述のように、「NextMeta．ｘｍｌ」は、現在再生中であるコンデンツに続いて再生される次のコンデンツのメディア表現記述であってもよい。前述のように、現在再生中であるメディア表現記述、すなわち、「MainMeta．ｘｍｌ」ファイルは、続いて再生するコンデンツのメディア表現記述のＵＲＬ情報を含んでいるが、これに基づいてクライアント１３０は、「NextMeta．ｘｍｌ」ファイルにアクセスすることができる。

図１０Ｃを参照すれば、複数のメディアデータのヘッダは、１つのファイル１０５０に存在しうる。ヘッダファイルが複数のメディアデータそれぞれについて、複数で存在するのではなく、１つのヘッダファイル１０５０として、複数のメディアデータにアクセスするために必要な情報１０４４に含まれてもよい。

例えば、複数のメディアデータそれぞれが、エレメンタリー・ストリーム（例えば、ＭＰＥＧ−２によるエレメンタリー・ストリーム）に対応するとき、ヘッダファイルは、ＰＡＴ（program association table）及びＰＭＴ（program map table）のうち、少なくとも一つを含んでもよい。ＰＡＴ及びＰＭＴのうち少なくとも一つを、複数のメディアデータ１０１０ないし１０３０と分離して、１つのヘッダファイル１０５０を作り、メディア表現記述は、このヘッダファイル１０５０を指示（pointing）する情報を含んでもよい。指示情報は、ヘッダファイル１０５０のＵＲＬ情報場でもあり、ＭＰＥＧ−２エレメンタリー・ストリームでヘッダファイル１０５０を含んでいる伝送ストリームパケットを特定するための情報でもある。ヘッダファイル１０５０は、複数のメディアデータ全体に係わるヘッダであり図１５Ｂ、図１８Ｂ及び図１８Ｃに図示された「reference data」であってもよい。

ＰＡＴ及びＰＭＴは、ヘッダファイル１０５０であり、メディアデータと分離されており、複数のメディアデータ１０１０ないし１０３０に含まれているが、含まれた位置と関係なしに、複数のメディアデータ１０１０ないし１０３０に含まれたエレメンタリー・ストリームの全体リストを含む。

ＰＳＩ、すなわち、ＰＡＴ及びＰＭＴが別途のペイロード・データと分離され、別途のヘッダに存在する場合は、図１５Ａと関連して述べた。しかし、ＰＳＩが複数のメディアデータ１０１０ないし１０３０に含まれているときには、１つのメディアデータを構成する部分それぞれにＰＳＩを含めることによって、それぞれの部分がＰＳＩに基づいて、独立して再生されることが可能になる。

前述の段階５３２でクライアント１３０は、メディア表現記述を参照し、ヘッダファイル１０５０の指示情報を獲得し、指示情報に基づいて、ヘッダファイル１０５０を要請することができる。指示情報によって、ヘッダファイル１０５０を要請して受信した後、ヘッダファイル１０５０に含まれているＰＡＴ及びＰＭＴのうち少なくとも一つに基づいて、複数のメディアデータのうち少なくとも一つを選択し、選択されたメディアデータをサーバ１２０に要請する。ＰＡＴ及びＰＭＴは、複数のメディアデータ１０１０ないし１０３０の全体リストを含む。

図１１Ａは、本発明のさらに他の実施形態によるストリーミング方法を説明するためのフローチャートである。

図１１Ａを参照すれば、段階１１１０でクライアント１３０は、複数のメディアデータについての情報をサーバ１２０に要請する。メディア表現記述を、ＨＴＴＰ要請を介してサーバ１２０に要請し、ＨＴＴＰ応答として、メディア表現記述を受信することができる。クライアント１３０は、ストリーミング環境に適応的なストリーミングを行うために、１つのコンデンツを複数の異なる品質にエンコーディングして生成された複数のメディアデータについての情報を、サーバ１２０に要請して受信する。コンデンツについての情報の要請及び受信なしに、複数のメディアデータについての情報の要請及び受信が行われるという点が、図５Ａに図示された実施形態と異なる。

段階１１２０でクライアント１３０は、複数のメディアデータのうち、少なくとも１つのメディアデータを伝送することをサーバ１２０に要請する。クライアント１３０は、複数のメディアデータについての情報を参照し、ストリーミング環境に適した品質に符号化した少なくとも１つのメディアデータを選択してサーバ１２０に要請し、要請されたメディアデータをサーバ１２０から受信する。伝送されるメディアデータは、図１５Ａ、図１５Ｂ及び図１８Ａないし図１８Ｃに図示されているように、部分化されて少なくとも１つの部分を含むメディアデータであってもよい。

図１１Ｂは、本発明のさらに他の実施形態によるストリーミング方法を説明するためのフローチャートである。

図１１Ｂを参照すれば、段階１１１２でクライアント１３０は、複数のメディアデータについての情報をサーバ１２０に要請し、要請に対する応答として、複数のメディアデータについての情報をサーバ１２０から受信する。メディア表現記述を、ＨＴＴＰ要請を介してサーバ１２０に要請し、ＨＴＴＰ応答として、メディア表現記述を受信することができる。

段階１１２２でクライアント１３０は、段階１１１２で受信された複数のメディアデータについての情報に基づいて、選択されたメディアデータのヘッダを要請する。段階５２２で受信された複数のメディアデータについての情報を参照し、ストリーミング環境によって選択されたメディアデータのヘッダを要請する。サーバ１２０は、要請に対する応答として、選択されたメディアデータのヘッダを含むファイルを、クライアント１３０に伝送する。ヘッダは、複数のメディアデータ全体に係わるヘッダとして、図１５Ｂ、図１８Ｂ及び図１８Ｃに図示された「reference data」であってもよい。

段階１１３２でクライアント１３０は、段階１１１２で受信された複数のメディアデータについての情報、及び段階１１２２で受信されたヘッダに基づいて選択されたメディアデータの伝送を、サーバ１２０に要請する。コンデンツを所定の割合でエンコーディングし、時間に基づいて分割して生成された少なくとも１つの部分を伝送することをサーバ１３０に要請し、サーバ１２０は、要請された少なくとも１つの部分をクライアント１３０に伝送する。伝送されるメディアデータは、図１５Ａ、図１５Ｂ及び図１８Ａないし図１８Ｃに図示されているように、部分化されて少なくとも１つの部分を含むメディアデータであってもよい。

図１２Ａないし図１２Ｃは、本発明の他の実施形態による複数のメディアデータを図示している。図１２Ａないし図１２Ｃは、図１１Ａ及び１１Ｂによるストリーミング方法を遂行するために、サーバ１２０が保有する複数のメディアデータを図示している。

図１２Ａを参照すれば、図１０Ａに図示された実施形態と同様に、ストリーミング環境に適応的なストリーミングのためにサーバ１２０は、１つのコンデンツを複数の異なる品質にエンコーディングして生成された複数のメディアデータ１０１０ないし１０３０を保有することができる。

クライアント１３０が複数のメディアデータにアクセスするために必要な情報１２４０のみ異なるが、図１０Ａに図示された実施形態とは異なり、サーバ１２０は、コンデンツについての情報を除外した複数のメディアデータについての情報だけ含んでもよい。この場合、クライアント１３０は、コンデンツについての情報を、サーバ１２０ではない他のエンティティから受信し、コンデンツについての情報に基づいて、サーバ１２０が保有している複数のメディアデータにアクセスすることもできる。

図１２Ｂを参照すれば、クライアント１３０が複数のメディアデータにアクセスするために必要な情報１２４２は、図１２Ａの情報１２４０に「NextMeta．ｘｍｌ」をさらに含んでもよい。

図１２Ｃを参照すれば、複数のメディアデータのヘッダは、１つのファイル１２５０として存在しうる。ヘッダファイルが、複数のメディアデータそれぞれについて、複数で存在するのではなく、１つのヘッダファイル１２５０として、複数のメディアデータにアクセスするために必要な情報１２４４に含まれてもよい。ヘッダファイルは、図１０Ｃのヘッダファイル１０５０に対応し、図１０Ｃのヘッダファイル１０５０は、図１５Ｂ、図１８Ｂ及び図１８Ｃと関連して述べた「reference data」に対応するということは、図１０Ｃと関連して説明した。

図１３は、本発明の一実施形態によるサーバのメディアデータ伝送装置を図示している。

図１３を参照すれば、本発明の一実施形態によるサーバ１２０のメディアデータ伝送装置１３００は、情報伝送部１３１０及びメディアデータ伝送部１３２０を含む。

情報伝送部１３１０は、クライアント１３０から所定情報の伝送要請を受信し、これに対する応答として、要請された情報を伝送する。コンデンツについての情報及び複数のメディアデータについての情報のうち、少なくとも１つの伝送要請をクライアント１３０から受信し、要請された情報をクライアント１３０に伝送する。図２Ａ、図２Ｂ、図５Ａ、図５Ｂ、図１１Ａ及び図１１Ｂに図示された実施形態によって、コンデンツについての情報及び複数のメディアデータについての情報のうち、少なくとも１つの伝送を要請するＨＴＴＰ要請をクライアント１３０から受信し、ＨＴＴＰ応答として、要請された情報を伝送する。

メディアデータ伝送部１３２０は、複数のメディアデータのうち、ストリーミング環境によって選択された少なくとも１つのメディアデータの伝送要請をクライアント１３０から受信し、要請されたメディアデータを、クライアント１３２０に伝送する。情報伝送部１３１０がクライアント１３０に伝送した複数のメディアデータについての情報に基づいて、選択されたメディアデータの伝送要請を受信する。サーバ１２０は、エンコーディング装置１１０から異なる品質にエンコーディングされた複数のメディアデータを受信して保有していて、要請されたメディアデータをクライアント１３０に伝送することもできる。また、クライアント１３０の伝送要請によって、リアルタイムでエンコーディング装置１１０からメディアデータを受信して、クライアント１３０に伝達することもできる。

図１４は、本発明の一実施形態によるクライアントのメディアデータ受信装置を図示している。

図１４を参照すれば、本発明の一実施形態によるクライアント１３０のメディアデータ受信装置１４００は、情報受信部１４１０及びメディアデータ受信部１４２０を含む。

情報受信部１４１０は、所定情報の伝送要請をサーバ１２０に伝送し、これに対する応答として、要請された情報をサーバ１２０から受信する。コンデンツについての情報及び複数のメディアデータについての情報のうち、少なくとも１つの伝送要請をサーバ１２０に伝送し、要請された情報を受信する。図２Ａ、図２Ｂ、図５Ａ、図５Ｂ、図１１Ａ及び図１１Ｂに図示された実施形態によって、コンデンツについての情報及び複数のメディアデータについての情報のうち、少なくとも１つの伝送を要請するＨＴＴＰ要請をサーバ１２０に伝送し、ＨＴＴＰ応答として、要請された情報を受信する。

メディアデータ受信部１４２０は、複数のメディアデータのうち、ストリーミング環境によって選択された少なくとも１つのメディアデータの伝送要請をサーバ１２０に伝送し、要請されたメディアデータをクライアント１３２０から受信する。情報受信部１４１０がサーバ１２０から受信した複数のメディアデータについての情報に基づいて、ストリーミング環境によって選択されたメディアデータの伝送要請を伝送する。

以上のように、本発明について、たとえ限定された実施形態と図面によって説明したとしても、本発明が前記の実施形態に限定されるものではなく、それらは、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能である。従って、本発明の思想は、特許請求の範囲によってのみ把握されるものであり、それと均等であるか、あるいは等価的な変形は、いずれも本発明の範囲に属すると言える。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。

例えば、本発明の例示的な実施形態によるサーバのストリーミング装置及びクライアントのストリーミング装置は、図１３及び図１４に図示されたような装置のそれぞれのユニットにカップリングされたバス、前記バスに結合された少なくとも１つのプロセッサを含んでもよい。また、命令、受信されたメッセージまたは生成されたメッセージを保存するために、前記バスに結合され、前述のような命令を遂行するための少なくとも１つのプロセッサにカップリングされたメモリを含んでもよい。

また、コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。

１１０ エンコーディング装置
１２０ サーバ
１３０ クライアント
１４０ ネットワーク

Claims (15)

1. メディアデータを受信する方法において、
   複数のメディアデータについての情報を含むファイルを受信し、
   前記ファイルは、サーバから受信され、前記複数のメディアデータは、前記複数のメディアデータそれぞれがそれぞれ異なる品質を有するように、コンデンツをエンコーディングして生成される段階と、
   前記受信されたファイルを利用し、前記複数のメディアデータのうち、少なくとも１つのメディアデータを受信する段階と、を含み、
   前記複数のメディアデータは、前記コンデンツを所定品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つのデータ部分をそれぞれ含み、前記少なくとも１つのデータ部分は、ランダム・アクセスポイントとして始まることを特徴とするメディアデータ受信方法。
2. 前記複数のメディアデータは、
   ＭＰＥＧ−２ ＴＳ（ＭＰＥＧ−２ transport stream）フォーマットによるメディアデータであり、
   前記複数のメディアデータは、前記ＭＰＥＧ−２ ＴＳのエレメンタリー・ストリームに対応することを特徴とする請求項１に記載のメディアデータ受信方法。
3. 前記データ部分は、少なくとも１つのＰＥＳ（packetized elementary stream）を含み、１つのＰＥＳは、１つの部分にいずれも含まれることを特徴とする請求項２に記載のメディアデータ受信方法。
4. 前記ＰＥＳは、少なくとも１つの映像フレームまたは音声フレームに係わるデータを含むことを特徴とする請求項３に記載のメディアデータ受信方法。
5. 前記ランダム・アクセスポイントに係わる伝送ストリームは、ランダム・アクセスポイントに係わる伝送ストリームであることを示す情報を含むことを特徴とする請求項３に記載のメディアデータ受信方法。
6. 前記複数のメディアデータと関連したＰＡＴ（program association table）及びＰＭＴ（program map table）のうち、少なくとも一つを参考にする情報をさらに含むことを特徴とする請求項２に記載のメディアデータ受信方法。
7. 前記ＰＡＴ及びＰＭＴは、
   初期化部分であり、前記複数のメディアデータと分離されていることを特徴とする請求項６に記載のメディアデータ受信方法。
8. 前記ＰＡＴ及びＰＭＴのうち、少なくとも一つは、
   前記複数のメディアデータ全体のリストを含むことを特徴とする請求項６に記載のメディアデータ受信方法。
9. 前記複数のメディアデータは、複数のＰＩＤ（packet ＩＤ）のそれぞれ異なる一つに割り当てられることを特徴とする請求項６に記載のメディアデータ受信方法。
10. 前記複数のメディアデータは、それぞれのＰＴＳ（presentation time stamp）及びそれぞれのＤＴＳ（decoding time stamp）を含むＰＥＳから構成され、
    前記それぞれのＰＴＳと前記それぞれのＤＴＳは、メディアデータの再生時間によって整列されることをさらに含むことを特徴とする請求項６に記載のメディアデータ受信方法。
11. 前記少なくとも１つの部分は、
    少なくとも１つのＧＯＰ（group of pictures）に係わる少なくとも１つの伝送ストリームを含むことを特徴とする請求項２に記載のメディアデータ受信方法。
12. メディアデータを伝送する方法において、
    複数のメディアデータについての情報を含むファイルを伝送し、
    前記ファイルは、クライアントディバイスに伝送され、前記複数のメディアデータは、前記複数のメディアデータそれぞれがそれぞれ異なる品質を有するように、コンデンツをエンコーディングして生成される段階と、
    前記伝送されたファイルを利用した前記クライアントディバイスの要請によって、前記複数のメディアデータのうち、少なくとも１つのメディアデータを前記クライアントディバイスに伝送する段階と、を含み、
    前記複数のメディアデータは、前記コンデンツを所定品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つのデータ部分をそれぞれ含み、前記少なくとも１つのデータ部分は、ランダム・アクセスポイントとして始まることを特徴とするメディアデータ伝送方法。
13. メディアデータを受信する装置において、
    複数のメディアデータについての情報を含むファイルをサーバから受信するように構成され、前記複数のメディアデータは、前記複数のメディアデータそれぞれがそれぞれ異なる品質を有するように、コンデンツをエンコーディングして生成される情報受信部と、
    前記受信されたファイルを利用し、前記複数のメディアデータのうち、少なくとも１つのメディアデータを受信するように構成されたメディアデータ受信部と、を含み、
    前記複数のメディアデータは、前記コンデンツを所定品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つのデータ部分をそれぞれ含み、前記少なくとも１つのデータ部分は、ランダム・アクセスポイントとして始まることを特徴とするメディアデータ受信装置。
14. メディアデータを伝送する装置において、
    所定のコンデンツを異なる品質にエンコーディングして生成された複数のメディアデータについての情報を含むファイルを伝送するように構成され、前記ファイルは、クライアントに伝送され、前記複数のメディアデータは、前記複数のメディアデータそれぞれがそれぞれ異なる品質を有するように、コンデンツをエンコーディングして生成される情報伝送部と、
    前記クライアントの要請によって、前記複数のメディアデータのうち、少なくとも１つのメディアデータを前記クライアントに伝送するように構成されたメディアデータ伝送部と、を含み、
    前記複数のメディアデータは、前記コンデンツを所定品質にエンコーディングし、時間に基づいて分割して生成された少なくとも１つのデータ部分をそれぞれ含み、前記少なくとも１つのデータ部分は、ランダム・アクセスポイントとして始まることを特徴とするメディアデータ伝送装置。
15. 請求項１ないし請求項１１のうち、いずれか１項に記載の方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。