JP2015503281A - スケーラビリティ及びビュー情報を提供するストリーミングサービスのための方法及び装置 - Google Patents

Abstract

スケーラビリティ及びビュー情報を提供するストリーミングサービスのための方法及び装置が提供される。スケーラブルビデオまたはマルチビュービデオがＭＰＥＧ−２システムによって送信されるとき、ペイロードに存在するスケーラブルビデオまたはマルチビュービデオに対するスケーラビリティ情報またはビュー情報を用いてもよい。スケーラビリティ情報またはビュー情報を用いることによって、パケット化されたスケーラブルビデオまたはマルチビュービデオが様々な性能の端末、様々なネットワーク特性、及び特定のユーザ選好度などに効率的に適応できる。

Description

下記の実施形態はストリーミングサービスのための方法及び装置に関する。

スケーラビリティ及びビュー情報を含むストリームを提供する装置及び方法が開示される。

ＭＰＥＧ−２システムは、ビデオパート及びオーディオパートで生成した基礎ストリーム（Ｅｌｅｍｅｎｔ Ｓｔｒｅａｍ；ＥＳ）を格納または送信するためにパケット化して多重化する過程を行う。

その過程は大きく２種類に区別される。

第１に、格納媒体に格納されるプログラムストリーム（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ；ＰＳ）を作る過程である。

第２に、ネットワークで送信したり放送するための送信ストリーム（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ；ＴＳ）を作る過程である。

スケーラブルビデオがＭＰＥＧ−２システムのＴＳを介して送信されるとき、ＴＳレベルでの効率的なスケーラビリティ（ｓｃａｌａｂｉｌｉｔｙ）がサポートされる必要がある。

従来の方法によると、プログラム付加情報（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ；ＰＳＩ）によってＴＳのペイロードにあるスケーラブルビデオのスケーラビリティ情報が把握される。

このような方法を利用する場合、ＭＰＥＧ−２システムはスケーラビリティ情報を用いるため周期的にＰＳＩ情報と同期化を行わなければならず、ＰＳＩ情報を毎回分析しなければならない。

また、スケーラブルビデオで提供する様々なスケーラブル階層が効率よく用いられるためには、パケット化された基礎ストリーム（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ；ＰＥＳ）のオーバーヘッド及びＰＳＩ情報の増加は避けられない。

また、ＴＳからプログラム付加情報（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ；ＰＳＩ）を介して、ＴＳのペイロードにあるスケーラブルビデオのスケーラビリティ情報はパケット識別子（Ｐａｃｋｅｔ Ｉｄｅｎｔｉｆｉｅｒ；ＰＩＤ）によって提供される。

したがって、ＴＳレベルで識別しようとするスケーラブル階層ごとに別途のＥＳが構成されなければならず、ＰＩＤが割り当てられなければならない。

様々なスケーラブル階層をＴＳレベルで識別しようとする場合、複数のＥＳが構成されなければならない。複数のＥＳが構成されることでＴＳジェネレータ（すなわち、マルチプレクサ）及びＴＳデマルチプレクサの構造を複雑にする。

したがって、ＴＳレベルで効率よくスケーラビリティ情報を用いる方法が導入される必要がある。

また、デジタル放送は、現在のステレオ３Ｄビデオ放送で超高鮮明（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ；ＵＨＤ）放送、マルチビュー３Ｄビデオ放送などで発展するものと予想される。このような予想により、デジタル放送において多い送信量が求められる。

従来のＭＰＥＧ−２送信ストリーム（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ；ＴＳ）のパケットは、１８８バイトの制限されたサイズを有する。したがって、ＭＰＥＧ−２ＴＳのパケットとして、新しい送信パケットが定義される必要がある。既存のＭＰＥＧ−２ＴＳより効果的な送信フォーマットに対する研究が求められる。前記研究として、従来のＭＰＥＧ−２ＴＳを代替するＭＰＥＧメディア送信（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ；ＭＭＴ）に対する標準化が行われている。

したがって、今後ＭＭＴでも効率的なスケーラビリティ及びマルチビュービデオ情報の提供を可能にする方法が導入される必要がある。

一実施形態には、ＭＰＥＧ−２ＴＳを介してスケーラブルビデオ及びマルチビュービデオの情報を提供する装置及び方法を提供する。

実施形態は、ＭＭＴを介してスケーラブルビデオ及びマルチビュービデオの情報を提供するストリーミング装置及び方法を提供する。

一実施形態によると、ＭＰＥＧ−２送信ストリームパケットを生成するパケット生成部と、前記ＭＰＥＧ−２送信ストリームパケットを用いてＭＰＥＧ−２送信ストリームを送信する送信部とを含み、前記ＭＰＥＧ−２送信ストリームは、スケーラブルビデオストリームを含み、前記ＭＰＥＧ−２送信ストリームパケットのヘッダは、前記スケーラブルビデオストリームのスケーラビリティ情報を含むストリーミングサーバが提供される。

前記スケーラブルビデオストリームは、前記ＭＰＥＧ−２送信ストリームパケットのペイロード（ｐａｙｌｏａｄ）内に分割して存在してもよい。

前記スケーラビリティ情報は、前記ヘッダのプライベート送信データ（Ｔｒａｎｓｐｏｒｔ Ｐｒｉｖａｔｅ Ｄａｔａ）内に存在してもよい。

前記プライベート送信データは、前記ヘッダの適応フィールド（Ａｄａｐｔａｔｉｏｎ Ｆｉｅｌｄ）内の付加的フィールド（Ｏｐｔｉｏｎａｌ Ｆｉｅｌｄ）内に存在してもよい。

前記ヘッダは、前記スケーラビリティ情報の有無を示すスケーラビリティ情報フラグ及び前記スケーラブルビデオストリームのビュー（ｖｉｅｗ）情報の有無を示すビュー情報フラグを含んでもよい。

前記ヘッダは、前記スケーラビリティ情報フラグ及び前記ビュー情報フラグの有無を示すプライベートデータフラグを含んでもよい。

前記スケーラビリティ情報は、前記スケーラブルビデオの空間的スケーラビリティ情報、前記スケーラブルビデオの時間的スケーラビリティ情報及び前記スケーラブルビデオ画質的スケーラビリティ情報を含んでもよい。

前記ビュー情報は、前記ヘッダのプライベート送信データ内に存在してもよい。

前記パケット生成部は、マルチ−ビュービデオコーディング（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＭＶＣ）のネットワーク抽象化階層ユニット（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ Ｕｎｉｔ；ＮＡＬＵ）ヘッダ内の第２ビュー情報を用いて前記ビュー情報を生成してもよい。

前記パケット生成部は、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＳＶＣ）のネットワーク抽象化階層ユニットヘッダ内の第２スケーラビリティ情報を用いて前記スケーラビリティ情報を生成してもよい。

前記パケット生成部は、前記ＭＰＥＧ−２送信ストリームパケット内に前記ネットワーク抽象化階層ユニットヘッダのデータが存在する場合のみ、前記スケーラビリティ情報を生成してもよい。

前記パケット生成部は、同一のパケット識別子（ Ｐａｃｋｅｔ Ｉｄｅｎｔｉｆｉｅｒ；ＰＩＤ）を有する１つ以上のＭＰＥＧ−２送信ストリームパケットのうち、前記ネットワーク抽象化ユニットヘッダのデータが存在する前記ＭＰＥＧ−２送信ストリームパケット内にのみ前記スケーラビリティ情報を生成してもよい。

前記パケット生成部は、前記ＭＰＥＧ−２送信ストリームパケット内に前記スケーラビリティ情報を挿入するスケーラビリティ情報挿入部を含んでもよい。

他の一実施形態によると、ＭＰＥＧ−２送信ストリームを受信する受信部と、前記ＭＰＥＧ−２送信ストリーム内のＭＰＥＧ−２送信ストリームパケットを処理するパケット処理部とを含み、前記ＭＰＥＧ−２送信ストリームはスケーラブルビデオストリームを含み、前記ＭＰＥＧ−２送信ストリームパケットのヘッダは、前記スケーラブルビデオストリームのスケーラビリティ情報を含むストリーミングクライアントが提供される。

前記パケット処理部は、前記ヘッダ内のビュー情報フラグに基づいて前記パケット内の前記スケーラビリティ情報の有無及びビュー情報の有無を判断してもよい。

前記パケット処理部は、前記スケーラビリティ情報に基づいてスケーラブルビデオコーディングのネットワーク抽象化階層ユニットヘッダ内のスケーラビリティ情報を生成してもよい。

前記パケット処理部は、前記ＭＰＥＧ−２送信ストリームパケット内に前記ネットワーク抽象化階層ユニットヘッダのデータが存在する場合のみ、前記スケーラビリティ情報を抽出してもよい。

前記パケット処理部は、同一のパケット識別子を有する１つ以上のＭＰＥＧ−２送信ストリームパケットのうちネットワーク抽象化ユニットヘッダのデータが存在する前記ＭＰＥＧ−２送信ストリームパケットでのみ前記スケーラビリティ情報を抽出してもよい。

前記パケット処理部は、前記同一のパケット識別子を有する前記１つ以上のＭＰＥＧ−２送信ストリームのパケットのうち前記スケーラビリティ情報を含む前記送信ストリームパケットと最も近い以前時間の第２ＭＰＥＧ−２送信ストリームパケットから前記ＭＰＥＧ−２送信ストリームパケットのスケーラビリティ情報を抽出してもよい。

更なる一実施形態によると、ＭＰＥＧ−２送信ストリームパケットを生成するパケット生成動作と、前記ＭＰＥＧ−２送信ストリームパケットを使用することによって生成されたＭＰＥＧ−２送信ストリームを送信する送信動作を含み、前記ＭＰＥＧ−２送信ストリームは、スケーラブルビデオストリームを含み、前記ＭＰＥＧ−２送信ストリームパケットのヘッダは、前記スケーラブルビデオストリームのスケーラビリティ情報を含むストリーミングサービス方法が提供される。

前記スケーラブルビデオ情報、マルチビュービデオ情報、またはスケーラブルマルチビュービデオ情報は、前記ＭＦＵヘッダで選択的に存在してもよい。

前記ヘッダは、前記階層タイプの情報に基づいてスケーラブルビデオ情報、マルチビュービデオ情報、そしてスケーラブルマルチビュービデオのコンバインドスケーラビリティ（ｃｏｍｂｉｎｅｄ ｓｃａｌａｂｉｌｉｔｙ）情報を含んでもよい。

更なる一実施形態によると、ＭＰＥＧメディア送信（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ；ＭＭＴ）パケットを生成する処理部と、前記ＭＭＴパケットを用いてＭＭＴストリームを送信するネットワーキング部を含み、前記ＭＭＴパケットは、マルチビュービデオ、スケーラブルビデオ、及びスケーラブルマルチビュービデオのうち１つ以上を含むストリーミングサーバが提供される。

前記ＭＭＴパケット内のメディアフラグメントユニット（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ；ＭＦＵ）は、前記スケーラブルビデオ、前記マルチビュービデオ、及び前記スケーラブルマルチビュービデオの１つ以上を含んでもよい。

前記ＭＦＵのヘッダは、優先順位識別子（ｉｄｅｎｔｉｆｉｅｒ；ＩＤ）を含んでもよい。

前記優先順位ＩＤは、前記ＭＦＵ内に含まれた前記マルチビュービデオの前記複数のビュー階層の優先順位を示してもよい。

前記ＭＦＵのヘッダは、ビューＩＤ、ビュー間予測フラグ及びアンカーピクチャーフラグを含んでもよい。

前記ビューＩＤは、前記マルチビュービデオの固有のＩＤを示してもよい。

前記ビュー間予測フラグは、現在のビューコンポーネントが現在のアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ；ＡＵ）内の他のビューコンポーネントによって予測できるか否かを示してもよい。

前記アンカーピクチャーフラグは、前記マルチビュービデオへのランダムアクセス（ｒａｎｄｏｍ ａｃｃｅｓｓ）のために用いてもよい。

前記ＭＦＵのヘッダは、優先順位ＩＤを含んでもよい。

前記優先順位ＩＤは、前記ＭＦＵ内に含まれる前記スケーラブルビデオの前記スケーラブル階層の優先順位を示してもよい。

前記ＭＦＵのヘッダは、空間的ＩＤ、時間的ＩＤ、画質的ＩＤを含んでもよい。

前記空間的ＩＤは、前記スケーラブルビデオの空間的レベルを示してもよい。

前記時間的ＩＤは、前記スケーラブルビデオの時間的レベルを示してもよい。

前記画質的ＩＤは、前記スケーラブルビデオの画質的レベルを示してもよい。

前記ＭＦＵのヘッダは、優先順位ＩＤを含んでもよい。

前記優先順位ＩＤは、前記ＭＦＵ内に含まれた前記マルチビュースケーラブルビデオの優先順位を示してもよい。

前記ＭＦＵのヘッダは、ビューＩＤ、空間的ＩＤ、時間的ＩＤ、画質的ＩＤを含んでもよい。

前記ビューＩＤは、前記スケーラブルマルチビュービデオの固有のＩＤを示してもよい。

前記空間的ＩＤは、前記スケーラブルマルチビュービデオの空間的レベルを示してもよい。

前記時間的ＩＤは、前記スケーラブルマルチビュービデオの時間的レベルを示してもよい。

前記画質的ＩＤは、前記スケーラブルマルチビュービデオの画質的レベルを示してもよい。

前記ＭＦＵのヘッダは、階層情報フラグを含んでもよい。

前記階層情報フラグは、前記スケーラブルビデオ、前記マルチビュービデオ、及び前記スケーラブルマルチビュービデオの１つ以上の情報の有無を示してもよい。

前記ヘッダは、前記階層情報フラグを介して前記ヘッダスケーラブルビデオ、前記マルチビュービデオ、及び前記スケーラブルマルチビュービデオの１つ以上の階層のタイプの情報を含んでもよい。

前記ヘッダは、前記階層のタイプの情報に応じて前記マルチビュービデオの情報、前記スケーラブルビデオの情報、及び前記マルチビュースケーラブルビデオの情報の１つ以上を含んでもよい。

前記スケーラブルビデオ、前記マルチビュービデオ、及び前記スケーラブルマルチビュービデオのうちの１つ以上は、前記ＭＭＴパケット内のＭＦＵペイロード（ｐａｙｌｏａｄ）に分割して存在してもよい。

更なる実施形態によると、ＭＰＥＧメディア送信（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ；ＭＭＴ）パケットを生成するステップと、前記ＭＭＴパケットを用いてＭＭＴストリームを送信するステップとを含み、前記ＭＭＴパケットは、マルチビュービデオ、スケーラブルビデオ、及びスケーラブルマルチビュービデオの１つ以上を含むストリーミングサービス方法が提供される。

更なる実施形態によると、ＭＰＥＧメディア送信（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ；ＭＭＴ）ストリームを受信するネットワーキング部と、前記ＭＭＴストリーム内のＭＭＴパケットを処理する処理部とを含み、前記ＭＭＴパケットは、マルチビュービデオ、スケーラブルビデオ、及びスケーラブルマルチビュービデオの１つ以上を含むストリーミングクライアントが提供される。

前記ＭＭＴパケット内のメディアフラグメントユニット（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ；ＭＦＵ）は、前記スケーラブルビデオ、前記マルチビュービデオ、及び前記スケーラブルマルチビュービデオの１つ以上を含んでもよい。

前記ＭＦＵのヘッダは、優先順位識別子（ｉｄｅｎｔｉｆｉｅｒ； ＩＤ）を含んでもよい。

前記優先順位ＩＤは、前記ＭＦＵ内に含まれた前記マルチビュービデオの前記マルチビュー階層の優先順位を示してもよい。

前記ＭＦＵのヘッダは、ビューＩＤ、ビュー間予測フラグ、及びアンカーピクチャーフラグを含んでもよい。

前記ビューＩＤは、前記マルチビュービデオの固有のＩＤを示してもよい。

前記ビュー間予測フラグは、現在のビューコンポーネントが現在のアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ；ＡＵ）内の他のビューコンポーネントによって予測できるか否かを示してもよい。

前記アンカーピクチャーフラグは、前記マルチビュービデオへのランダムアクセス（ｒａｎｄｏｍ ａｃｃｅｓｓ）のために使用してもよい。

前記ＭＦＵのヘッダは、優先順位ＩＤを含んでもよい。

前記優先順位ＩＤは、前記ＭＦＵに含まれる前記スケーラブルビデオの前記スケーラブル階層の優先順位を示してもよい。

前記ＭＦＵのヘッダは、空間的ＩＤ、時間的ＩＤ、及び画質的ＩＤを含んでもよい。

前記空間的ＩＤは、前記スケーラブルビデオの空間的レベルを示してもよい。

前記時間的ＩＤは、前記スケーラブルビデオの時間的レベルを示してもよい。

前記画質的ＩＤは、前記スケーラブルビデオの画質的レベルを示してもよい。

前記ＭＦＵのヘッダは、優先順位のＩＤを含んでもよい。

前記優先順位ＩＤは、前記ＭＦＵ内に含まれた前記マルチビュースケーラブルビデオの優先順位を示してもよい。

更なる実施形態によると、ＭＰＥＧメディア送信（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ；ＭＭＴ）ストリームを受信するステップと、前記ＭＭＴストリーム内のＭＭＴパケットを処理するステップとを含み、前記ＭＭＴパケットは、マルチビュービデオ、スケーラブルビデオ、及びスケーラブルマルチビュービデオの１つ以上を含むストリーミングサービス方法が提供される。

ＴＳヘッダを拡張し、スケーラビリティ情報を拡張されたＴＳヘッダに挿入することによって、ＴＳレベルでのスケーラビリティ情報を提供することができる。

従来の構文及び意味を変化しないまま、ＴＳヘッダを用いてスケーラビリティ情報及びビュー情報を送信することができる。

ＮＡＬＵヘッダが存在するＴＳパケットヘッダにのみスケーラビリティ情報を挿入することによって、ＴＳヘッダのオーバーヘッドが減少し得る。

ＭＭＴパケットのＭＦＵヘッダにスケーラブルビデオ情報及びマルチビュービデオ情報を挿入することによって、ＭＭＴでスケーラビリティ情報、ビュー情報、ビュー間予測フラグ情報、及び任意アクセスのためのアンカーピクチャーフラグ情報を提供することができる。

一例に係るＴＳヘッダの拡張構成図である。 一例に係る付加的フィールドの構成図である。 一例に係るスケーラビリティ情報を送信するためのＴＳヘッダのプライベート送信データを拡張した構文を示す。 一実施形態に係るプライベート送信データが存在する適応フィールドの構造図である。 一例に係るスケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＳＶＣ）のネットワーク抽象化階層ユニット（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ Ｕｎｉｔ；ＮＡＬＵ）ヘッダ内に存在するスケーラビリティ情報を用いることによって、スケーラビリティ情報をＴＳヘッダ内に挿入する方法を示す。 一実施形態に係るストリーミングサーバの構造図である。 一実施形態に係るストリーミングクライアントの構造図である。 一実施形態に係るストリーミングサービス方法のフローチャートである。 一例に係るメディアフラグメントユニット（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）を説明する。 一例に係るＭ−ユニットの単一Ｍ−ユニットケースを示す。 一例に係るＭ−ユニットのフラグメントされたＭ−ユニットケースを示す。 一例に係るＭＭＴアセット（ａｓｓｅｔ）を示す。 一例に係るＭＭＴパッケージを示す。 一例に係る制御タイプのパケットのためのＭＭＴ−ＰＬフォーマットを示す。 一例に係るメディアタイプのパケットのためのＭＭＴ−ＰＬフォーマットを示す。 一例に係る制御タイプのパケットのためのＭＭＴ−ＰＬフォーマットを示す。 一例に係る第１ＭＭＴパケットを示す。 一例に係る第２ＭＭＴパケットを示す。 一実施形態に係るスケーラブルビデオまたはマルチビュービデオ情報を提供するための構文（ｓｙｎｔａｘ）を説明する。 一実施形態に係るストリーミングサーバの構造図である。 一実施形態に係るストリーミングクライアントの構造図である。 一実施形態に係るストリーミングサービス方法のフローチャートである。 一例に係る組合わせたスケーラビリティを示す。

以下、実施形態を添付する図面を参照しながら詳細に説明する。しかし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一例に係るＴＳヘッダ１１２の拡張構成図である。

ＴＳパケットストリーム１００はＴＳパケット１１０で構成される。

ＴＳパケットは、ヘッダ（Ｈｅａｄｅｒ）（すなわち、ＴＳヘッダ）１１２及びペイロード（Ｐａｙｌｏａｄ）１１４を構成する。

ＴＳパケット１１０の長さは固定長として１８８バイトである。

ヘッダ１１２は、シンクバイト（Ｓｙｎｃ Ｂｙｔｅ）１２２、送信エラーインジケータ（Ｔｒａｎｓｐｏｒｔ Ｅｒｒｏｒ Ｉｎｄｉｃａｔｏｒ）１２４、ペイロードユニットスタートインジケータ（Ｐａｙｌｏａｄ Ｕｎｉｔ Ｓｔａｒｔ Ｉｎｄｉｃａｔｏｒ）１２６、送信優先順位（Ｔｒａｎｓｐｏｒｔ Ｐｒｉｏｒｉｔｙ）１２８、パケット識別子（Ｐａｃｋｅｔ Ｉｄｅｎｔｉｆｉｅｒ；ＰＩＤ）１３０、送信スクランブリングコントロール（Ｔｒａｎｓｐｏｒｔ Ｓｃｒａｍｂｌｉｎｇ Ｃｏｎｔｒｏｌ）１３２、適応フィールドコントロール（Ａｄａｐｔａｔｉｏｎ Ｆｉｅｌｄ Ｃｏｎｔｒｏｌ）１３４、連続性カウンタ（Ｃｏｎｔｉｎｕｉｔｙ Ｃｏｕｎｔｅｒ）１３６及び適応フィールド（Ａｄａｐｔａｔｉｏｎ Ｆｉｅｌｄ）１３８を含む。

各フィールドの長さ（すなわち、各フィールドを構成するビット）がフィールドの下段に数字として表示されている。例えば、シンクバイト１２２は８ビットである。

シンクバイト１２２はバイト整列されている。したがって、バイト整列によってＴＳストリーム１００でシンクバイト１２２が検索されれば、ＴＳパケット１１０が抽出される。

各ＴＳパケット１１０は、相異なるペイロード１１４を含んでいる。相異なるペイロード１１４を区別するために、ＰＩＤ１３０がヘッダ１１２内に存在する。

また、ペイロードの存在有無を示すための適応フィールドコントロール１３４がヘッダ１１２内に存在する。適応フィールドコントロール１３４は適応フィールド１３８の存在有無を示す。適応フィールドコントロール１３４はＴＳパケット１１０のペイロード１１４内にある。

適応フィールド１３８は、適応フィールド長（Ａｄａｐｔａｔｉｏｎ Ｆｉｅｌｄ Ｌｅｎｇｔｈ）１４２、不連続インジケータ（Ｄｉｓｃｏｎｔｉｎｕｉｔｙ Ｉｎｄｉｃａｔｏｒ）１４４、ランダムアクセスインジケータ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｉｎｄｉｃａｔｏｒ）１４６、基礎ストリーム優先順位インジケータ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ Ｐｒｉｏｒｉｔｙ Ｉｎｄｉｃａｔｏｒ）１４８、５個のフラグ（５Ｆｌａｇｓ）１５０、付加的フィールド（Ｏｐｔｉｏｎａｌ Ｆｉｅｌｄ）１５２、及びスタッフィングバイト（Ｓｔｕｆｆｉｎｇ Ｂｙｔｅｓ）１５４を含む。

適応フィールド１３８内にある５個のフラグ１５０を用いて、付加的フィールド１５２内にある様々な情報の存在有無を示す。

図２は、一例に係る付加的フィールド１５２の構成図である。

付加的フィールド１５２は、プログラム時刻基準参照値（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ；ＰＣＲ）２１２、オリジナルプログラム時刻基準参照値（Ｏｒｉｇｉｎａｌ Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ；ＯＰＣＲ）２１４、スプライスカウントダウン（Ｓｐｌｉｃｅ Ｃｏｕｎｔｄｏｗｎ）２１６、プライベート送信データ長（Ｔｒａｎｓｐｏｒｔ Ｐｒｉｖａｔｅ Ｄａｔａ Ｌｅｎｇｔｈ）２１８、プライベート送信データ（Ｔｒａｎｓｐｏｒｔ Ｐｒｉｖａｔｅ Ｄａｔａ）２２０、適応フィールド拡張長（Ａｄａｐｔａｔｉｏｎ Ｆｉｅｌｄ Ｅｘｔｅｎｓｉｏｎ Ｌｅｎｇｔｈ）２２２、３個のフラグ（３Ｆｌａｇｓ）２２４、及び付加的フィールド（Ｏｐｔｉｏｎａｌ Ｆｉｅｌｄ）２２６を含む。

５個のフラグ１５０に対する付加的フィールド１５２内に、標準にて定義されていないデータを送信するためのプライベート送信データ２２０がある。

スケーラブルビデオが送信されるとき、スケーラビリティ情報がプライベート送信データ２２０に挿入される。

前述した５個のフラグ１５０を用いてプライベート送信データ２２０の存在有無を示すことで、スケーラブルビデオがペイロード１１４内にあるかを表す。

付加的フィールド２２６は、リーガルタイムウィンドウ（Ｌｅｇａｌ Ｔｉｍｅ Ｗｉｎｄｏｗ；ＬＴＷ）有効フラグ（ｌｔｗ＿ｖａｌｉｄ ｆｌａｇ）２３２、リーガルタイムウィンドウオフセット（ＬＴＷ Ｏｆｆｓｅｔ）２３４、予約された部分（Ｒｅｓｅｒｖｅｄ）２３６、ピースワイズ比率（Ｐｉｅｃｅｗｉｓｅ Ｒａｔｅ）２３８、スプライスタイプ（Ｓｐｌｉｃｅ Ｔｙｐｅ）２４０及び復号化タイムスタンプ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ；ＤＴＳ）＿ｎｅｘｔ＿ａｕ（ＤＴＳ＿ｎｅｘｔ＿ａｕ）２４２を含む。

図３は、一例に係るスケーラビリティ情報を送信するためのＴＳヘッダ１１２のプライベート送信データ２２０を拡張した構文を示す。

図３において、プライベート送信データ２２０に対する拡張された構文（ｓｙｎｔａｘ）、フィールドそれぞれのビット個数、及びニーモニック（ｍｎｅｍｏｎｉｃ）を開示する。

スケーラブルビデオまたはマルチビュー（ｍｕｌｔｉ−ｖｉｅｗ）ビデオで、プライベートデータフィールドにスケーラビリティ及びビュー情報が含まれる場合に従来のプライベートデータフィールド構文とセマンティックスがそのまま用いられ、プライベートデータフィールドのみが、図３に示すように拡張して定義される。

したがって、送信側及び受信側において、プライベートデータを用いることによってスケーラビリティ情報及びビュー情報を挿入する規定が要求される。

送信プライベートデータフラグ（ｔｒａｎｓｐｏｒｔ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｆｌａｇ）３００は、送信プライベートデータ長（ｔｒａｎｓｐｏｒｔ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｌｅｎｇｔｈ）３１０、ビュー情報フラグ（ｖｉｅｗ＿ｉｎｆｏ＿ｆｌａｇ）３２０、及びスケーラブル情報フラグ（ｓｃａｌａｂｌｅ＿ｉｎｆｏ＿ｆｌａｇ）３３０が存在することを示す。

ビュー情報フラグ３２０は、ビュー情報が存在することを示すために用いられる。

スケーラブル情報フラグ３３０は、スケーラビリティ情報が存在することを示す。

ビュー情報フラグ３２０及びスケーラブル情報フラグ３３０の値によってどのような情報を送信するかが決定され、どのような情報が含まれているかを判別する。

ビュー情報フラグ３２０及びスケーラブル情報フラグ３３０の値が全て「１」である場合、ビュー情報（ｖｉｅｗ＿ｉｄ）３４０、空間的スケーラビリティ情報（ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ）（または、ｓｐａｔｉａｌ＿ｉｄ）３５０、時間的スケーラビリティ情報（ｔｅｍｐｏｒａｌ＿ｓｃａｌａｂｉｌｉｔｙ）（または、ｔｅｍｐｏｒａｌ＿ｉｄ）３６０、画質的スケーラビリティ情報（ｑｕａｌｉｔｙ＿ｓｃａｌａｂｉｌｉｔｙ）（または、ｑｕａｌｉｔｙ＿ｉｄ）３７０が送信され、２ビットが確保される。

ビュー情報フラグ３２０の値のみが「１」である場合、ビュー情報３４０及び時間的スケーラビリティ情報が送信されてもよい。

スケーラブル情報フラグ３３０の値のみが「１」である場合、空間的スケーラビリティ情報（ｓｐａｔｉａｌ＿ｉｄ）３５０、時間的スケーラビリティ情報（ｔｅｍｐｏｒａｌ＿ｉｄ）３６０、画質的スケーラビリティ情報３７０が送信されてもよく、４ビットが確保される。

ビュー情報フラグ３２０及びスケーラブル情報フラグ３３０の値が全て「１」ではない場合、６ビットが確保される。

図４は、一実施形態に係るプライベート送信データ２２０が存在する適応フィールド１３８の構造図である。

ＴＳヘッダ１１２は一般的に４バイトの大きさを有し、必要に応じて適応フィールド１３８を用いることで必要な情報を送信する。

適応フィールド１３８内では、適応フィールド長１４２が適応フィールド１３８全体の長さを示す。

適応フィールド１３８内に存在するプライベート送信データ２２０フィールドを用いるため５個のフラグ４１２を用いることで、５個のフラグ４１２の後に存在するオプションフィールド４１４の使用有無を決定する。

５個のフラグ４１２のうちプライベート送信データフラグの値が「１」である場合、オプションフィールド４１４内の２個のフラグ４２２がプライベート送信データ２２０フィールドを介してビュー情報、スケーラビリティ情報、及びプライベートデータ４２４を送信するか否かを決定する。

ビュー情報フラグ３２０の値が「１」である場合、ビュー情報３４０が送信される。

スケーラブル情報フラグ３３０の値が「１」である場合、空間的スケーラビリティ３５０の情報、時間的スケーラビリティ３６０の情報、及び画質的スケーラビリティ情報３７０が送信される。

このような構造を有するＴＳヘッダ１１２が用いられることによって従来の構文及び意味が変化しないままスケーラビリティ情報及びビュー情報が送信される。

図５は、一例に係るスケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＳＶＣ）のネットワーク抽象化階層ユニット（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ Ｕｎｉｔ；ＮＡＬＵ）ヘッダ内に存在するスケーラビリティ情報を用いることによってスケーラビリティ情報をＴＳヘッダ１１２内に挿入する方法を示す。

ＳＶＣはスケーラブルビデオ標準の１つである。

スケーラビリティ情報５４０は、依存度識別子（ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ）、時間的識別子（ｔｅｍｐｏｒａｌ＿ｉｄ）及び画質的識別子（ｑｕａｌｉｔｙ＿ｉｄ）を含む。依存度識別子は、順序に応じてＤ１及びＤ２などに表示される。時間的識別子は、順序に応じてＴ１及びＴ２などに表示される。画質的識別子は順序に応じてＱ１及びＱ２などに表示される。

１つのＮＡＬＵはＰＥＳ５１０にパケット化される。

ＰＥＳ５１０は、同一のＰＩＤを有する数個のＴＳパケット５２０にパケット化されてもよい。

１つのＮＡＬＵが数個のＴＳパケット１１０に分割されてパケット化されるとき、各ＴＳパケット１１０のヘッダ１１２ごとに当該ＮＡＬＵのスケーラビリティ情報が挿入されてもよい。

しかし、全てのＴＳパケット１１０にスケーラビリティ情報が挿入されれば、ＴＳヘッダ１１２のオーバーヘッドが増加し、１つのＮＡＬＵに対する重複的な情報が挿入される。

したがって、全てのＴＳパケット１１０のヘッダ１１２にスケーラビリティ情報を挿入する代わり、同一のＰＩＤを有するＴＳパケットのうちＮＡＬＵヘッダ５３０が存在するＴＳパケットヘッダにのみスケーラビリティ情報が挿入されてもよく、ＴＳヘッダ１１２のオーバーヘッドが減少し得る。

したがって、ＮＡＬＵヘッダ５３０がＴＳパケットのペイロード１１４に挿入されたＴＳパケット１１０のヘッダ１１２にのみ当該ＮＡＬＵのスケーラビリティ情報５４０が挿入され得る。

前述したＮＡＬＵのスケーラビリティ情報５４０に対する説明はＮＡＬＵのビュー情報についても適用されてもよい。ここで、ＮＡＬＵは、マルチビュービデオコーディング（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＭＶＣ）のＮＡＬＵであってもよい。

例えば、１つのＮＡＬＵが数個のＴＳパケット１１０に分割されてパケット化されるとき、各ＴＳパケット１１０のヘッダ１１２ごとに当該ＮＡＬＵのビュー情報が挿入されてもよい。また、ＮＡＬＵヘッダ５３０がＴＳパケットのペイロード１１４に挿入されたＴＳパケット１１０のヘッダ１１２にのみ当該ＮＡＬＵのビュー情報が挿入されてもよい。

図６は、一実施形態に係るストリーミングサーバ６００の構造図である。

ストリーミングサーバ６００は、ＭＰＥＧ−２ＴＳを生成するＭＰＥＧ−２ＴＳ生成装置を示す。

ストリーミングサーバ６００は、パケット生成部６１０及び送信部６２０を含む。

パケット生成部６１０は、前述したＴＳパケット１１０を生成する。

送信部６２０は、ＴＳパケット１１０を用いてＴＳストリーム１００を送信する。ＴＳストリーム１００は、スケーラブルビデオストリームを含む。スケーラブルビデオストリームは、ＴＳパケット１１０のペイロード１１４内に分割されて存在してもよい。すなわち、ＴＳストリーム１００を構成する１つ以上のＴＳパケット１１０は、ペイロード１１４内にスケーラブルビデオストリームを含む。

送信部６２０は、ネットワークインターフェース部６３０を介してＴＳストリーム１００をビデオプレーヤーのような他のストリーミングクライアント７００に送信してもよい。

送信部６２０は、ＴＳストリーム１００をストリーミングサーバ６００の内部の格納部６４０に格納してもよい。

ＴＳパケット１１０のヘッダ１１２は、スケーラブルビデオストリームのスケーラビリティ情報を含む。

パケット生成部６１０は、スケーラビリティ情報挿入部６５０を含む。

スケーラビリティ情報挿入部６５０は、すでに生成されたＴＳパケット１１０内にスケーラビリティ情報を挿入（または、追加）する。

したがって、前述されたスケーラビリティ情報はパケット生成部６１０によって生成されてもよく、スケーラビリティ情報挿入部６５０によってＴＳパケット１１０内に挿入されてもよい。

スケーラビリティ情報は、プライベート送信データ２２０内に存在してもよい。すなわち、パケット生成部６１０は、プライベート送信データ２２０内にスケーラビリティ情報を生成してもよい。また、スケーラビリティ情報挿入部６５０は、ＴＳパケット１１０内にスケーラビリティ情報を挿入するためにプライベート送信データ２２０及びこれに関するＴＳパケット１１０内の他の部分を変更してもよい。

パケット生成部６１０は、スケーラビリティ情報の有無を示すスケーラビリティ情報フラグ３３０及びスケーラブルビデオストリームのビュー情報の有無を示すビュー情報フラグ３２０を含む。パケット生成部６１０は、ヘッダ１１２内にスケーラビリティ情報フラグ３３０及びビュー情報フラグ３２０を生成してもよい。スケーラビリティ情報挿入部６５０は、スケーラビリティ情報の有無に応じてスケーラビリティ情報フラグ３３０の値をセットしてもよく、ビュー情報の有無に応じてビュー情報フラグ３２０の値をセットしてもよい。

スケーラビリティ情報は、ＴＳヘッダ１１２のプライベート送信データ２２０内の適応フィールド１３８内に存在してもよい。また、スケーラビリティ情報は、適応フィールド１３８内の付加的フィールド１５２内に存在してもよい。

ビュー情報は、ＴＳヘッダ１１２のプライベート送信データ２２０内の適応フィールド１３８内に存在してもよい。また、スケーラビリティ情報は、適応フィールド１３８内の付加的フィールド１５２内に存在してもよい。

ＴＳヘッダ１１２の送信プライベートデータフラグ３１０は、スケーラビリティ情報フラグ３３０及びビュー情報フラグ３２０の有無を示す。パケット生成部６１０は、ヘッダ１１２内にプライベートデータフラグ３１０を生成してもよい。スケーラビリティ情報挿入部６５０は、スケーラビリティ情報フラグ３３０及びビュー情報フラグ３２０の有無に応じてプライベートデータフラグ３１０の値をセットしてもよい。

スケーラビリティ情報は、スケーラブルビデオの空間的スケーラビリティ情報３５０、時間的スケーラビリティ情報３６０、及び画質的スケーラビリティ情報３７０のうちの１つ以上を含む。

パケット生成部６１０は、ＭＶＣのＮＡＬＵヘッダ５３０内のビュー情報を用いてビュー情報を生成してもよい。または、スケーラビリティ情報挿入部６５０は、マルチビュービデオコーディングのＮＡＬＵヘッダ５３０内のビュー情報を用いてビュー情報をＴＳヘッダ１１２内に挿入してもよい。

また、パケット生成部６１０は、ＳＶＣのＮＡＬＵヘッダ５３０内のスケーラビリティ情報を用いてスケーラビリティ情報を生成してもよい。または、スケーラビリティ情報挿入部６５０は、ＳＶＣのＮＡＬＵヘッダ５３０内のスケーラビリティ情報を用いてスケーラビリティ情報をＴＳヘッダ１１２内に挿入してもよい。

パケット生成部６１０は、ＴＳパケット１１０内にＮＡＬＵヘッダ５３０のデータが存在する場合のみスケーラビリティ情報を生成してもよい。スケーラビリティ情報挿入部６５０は、ＮＡＬＵヘッダ５３０のデータを有するＴＳパケット１１０にのみスケーラビリティ情報を挿入してもよい。

同一のＰＩＤを有する１つ以上のＭＰＥＧ−２送信ストリームパケットが存在してもよい。

パケット生成部６１０は、同一のＰＩＤを有する１つ以上のＭＰＥＧ−２送信ストリームパケットのうち、ＮＡＬＵヘッダ５３０のデータが存在するＴＳパケット１１０内にのみスケーラビリティ情報を生成してもよい。スケーラビリティ情報挿入部６５０は、同一のＰＩＤを有する１つ以上のＭＰＥＧ−２送信ストリームパケットのうち、ＮＡＬＵヘッダ５３０のデータが存在するＴＳパケット１１０内にのみスケーラビリティ情報を挿入してもよい。

前述の図１ないし図５を参照して説明した実施形態に係る技術的な内容が本実施形態にもそのまま適用されてもよい。したがって、より詳細な説明は以下で省略することにする。

図７は、一実施形態に係るストリーミングクライアント７００の構造図である。

ストリーミングクライアント７００は、ストリーミングサーバ６００によって生成されたＭＰＥＧ−２ＴＳを処理するＭＰＥＧ−２ＴＳ処理装置であってもよい。

ストリーミングクライアント７００は、前述されたストリーミングサーバ６００によって生成されたＴＳストリーム１００を受信して処理する装置である。ＴＳストリーム１００はスケーラブルビデオストリームを含み、ＴＳパケット１１０のヘッダはスケーラブルビデオストリームのスケーラビリティ情報を含む。

ストリーミングクライアント７００は、受信部７１０及びパケット処理部７２０を含む。

受信部７１０は、ＴＳストリーム１００を受信する。

パケット処理部７２０は、ＴＳストリーム１００内のＴＳパケット１１０を処理する。

パケット処理部７２０の動作は、パケット生成部６１０の動作に対応する。

例えば、パケット処理部７２０は、ＴＳヘッダ１１２内のビュー情報フラグ３２０に基づいてＴＳパケット１１０内のスケーラビリティ情報及びビュー情報の有無を判断してもよい。

また、パケット処理部７２０は、スケーラビリティ情報に基づいてＳＶＣのＮＡＬＵヘッダ５３０内のスケーラビリティ情報を生成してもよい。

パケット処理部７２０は、ＴＳパケット１１０内にＮＡＬＵヘッダ５３０のデータが存在する場合にのみスケーラビリティ情報を抽出してもよい。

パケット処理部７２０は、同一のＰＩＤ１３０を有する１つ以上のＴＳパケット１１０のうち、ＮＡＬＵヘッダ５３０のデータが存在するＴＳパケット１１０でのみスケーラビリティ情報を抽出してもよい。

また、特定のＴＳパケットはスケーラビリティ情報を含まないことがある。このような場合、パケット処理部７２０は、前記の特定のＴＳパケットと同一のＰＩＤ１３０を有する１つ以上のＴＳパケット１１０のうち、（１）スケーラビリティ情報を含む、（２）前記の特定のＴＳパケットと最も近い以前時間のＴＳパケットからスケーラビリティ情報を抽出してもよく、抽出されたスケーラビリティ情報を前記の特定のＴＳパケットのスケーラビリティ情報として用いてもよい。

前述の図１ないし図６を参照して説明した一実施形態に係る技術的な内容が本実施形態にもそのまま適用されてもよい。したがって、より詳細な説明は以下で省略することにする。

図８は、一実施形態に係るストリーミングサービス方法８００のフローチャートである。

ストリーミングサービス方法８００は、図６を参照して前述したＭＰＥＧ−２ＴＳを処理するための方法であってもよい。

動作８１０において、例えば、ストリーミングサーバ６００のパケット生成部６１０によってＴＳパケット１１０が生成される。

動作８２０において、例えば、ストリーミングサーバ６００の送信部６２０によってＴＳパケット１１０を用いることで、生成されたＴＳストリーム１００が送信される。

ＴＳストリーム１００はスケーラブルビデオストリームを含み、ＴＳパケット１１０のヘッダは、スケーラブルビデオストリームのスケーラビリティ情報を含む。

動作８３０において、例えば、ストリーミングクライアント７００の受信部７１０によってＴＳストリーム１００が受信される。

動作８４０において、例えば、ストリーミングクライアント７００の処理部７２０によってＴＳストリーム１００内のＴＳパケット１１０が処理される。

前述の図１ないし図７を参照して説明した一実施形態に係る技術的な内容が本実施形態にもそのまま適用されてもよい。したがって、より詳細な説明は以下で省略することにする。

前述したストリーミングサーバ６００、ストリーミングクライアント７００及びストリーミングサービス方法８００に基づいて従来のＭＰＥＧ−２システムが拡張されてもよい。また、ＴＳパケット１１０によって多重化されたスケーラブルビデオは、様々な端末性能、ネットワーク状態、及びユーザ選好度などに適する形態に適応してもよい。このようなＴＳパケット１１０はＴＳストリーム１００から効率的に抽出され得る。

下記は、ＭＭＴでスケーラブルビデオ及びマルチビュービデオを提供するための装置及び方法を説明する。図１〜図８を参照して説明した実施形態または例はＭＭＴで適用されてもよい。例えば、図１ないし図８を参照して説明したＭＰＥＧ２ＴＳは、ＭＭＴまたはＭＭＴストリームに代替されてもよい。

スケーラブルビデオ情報及びマルチビュービデオ情報は、ＭＭＴパケットを構成する最も小さい単位のメディアフラグメントユニット（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ；ＭＦＵ）ヘッダに挿入されてもよい。

ＭＦＵヘッダを介してスケーラブルビデオ及びマルチビュービデオに関する情報の有無を示す階層情報フラグ（ｌａｙｅｒ ｉｎｆｏ ｆｌａｇ）を置くことによって、選択的に階層情報を提供することができる。

スケーラブルビデオ及びマルチビュービデオは、ＭＦＵペイロード内に分割されて存在してもよい。したがって、各ビデオに対する階層タイプ（ｌａｙｅｒ ｔｙｐｅ）情報を区分することによって、スケーラブルビデオ情報、マルチビュービデオ情報、及びスケーラブルマルチビュービデオ情報を提供してもよい。

スケーラブルビデオに対して提供される情報は、空間的、時間的、及び画質的側面でのスケーラビリティ情報を含む。また、スケーラブルビデオに対する階層の優先順位情報が提供されてもよい。

マルチビュービデオに対して提供される情報は、ビュー情報及び時間的な側面でのスケーラビリティ情報を含む。また、マルチビュービデオに対する階層の優先順位情報が提供されてもよい。また、マルチビュービデオの特徴の、ビュー間予測を許容するフラグ情報及び任意アクセスのためのアンカーピクチャーフラグ情報が提供されてもよい。

スケーラブルマルチビュービデオに対して提供される情報は、ビュー情報のみではなく、空間−ビュースケーラビリティ（ｓｐａｔｉａｌ−ｖｉｅｗ ｓｃａｌａｂｉｌｉｔｙ）などのような統合されたスケーラビリティ（ｃｏｍｂｉｎｅｄ ｓｃａｌａｂｉｌｉｔｙ）情報を含む。

上述した情報を用いることによって、ＭＭＴパケット化されたスケーラブルビデオ及びマルチビュービデオが様々な性能の端末、様々なネットワーク特性、及び特定のユーザ選好度などに効率的に適応できる。

下記は、図９ないし図を参照して、ＭＭＴパケットを生成する過程が説明される。

図９は、一例に係るメディアフラグメントユニット（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）を説明する。

ＭＦＵ９００は、メディアフラグメント（ｍｅｄｉａ ｆｒａｇｍｅｎｔ）のように略述されてもよい。

ＭＦＵ９００は、特定のコーデックに独立的かつ包括的なコンテナフォーマットであってもよい。ＭＦＵ９００はコード化された（ｍｅｄｉａ）メディアデータを含む。コード化されたメディアデータは、メディアデコーダによって独立的に消費されてもよい。コード化されたメディアデータはコード化されたデータのように略述されてもよい。ＭＦＵ９００は、完全あるいは部分的なアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ；ＡＵ）を含んでもよく、伝達階層によって活用される情報を含む。

ＡＵは、タイミング情報を属性に有し得る最も小さいデータ個体（ｅｎｔｉｔｙ）であってもよい。

ＭＦＵ９００は、ＭＦＵの境界で適応的な伝達を行うためにアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ；ＡＵ）のフラグメントをカプセル化（ｅｎｃａｐｓｕｌａｔｅ）するためのフォーマットを定義してもよい。ＭＦＵ９００は、フラグメントが独立的にデコード化されたり廃棄させ得るためにコード化されたメディアの数個のタイプを運び得る（ｃａｒｒｙ）。

ＭＦＵ９００は、メディアフラグメントユニットヘッダ（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ Ｈｅａｄｅｒ；ＭＦＵＨ）９１０及びコード化されたデータ９２０を含む。

ＭＦＵＨ９１０は、フラグメント９１１及び共通９１２を含む。ＭＦＵ９００は、１つのＭＦＵを異なるＭＦＵから区分される識別子を含んでもよく、単一なＡＵ内のＭＦＵの間の一般化された関係情報を含む。フラグメント９１１は前記の識別子であってもよい。共通９１２は前記の一般化された関係情報であってもよい。

フラグメント−生成エンコーダはＭＦＵ９００を生成してもよい。

図１０は、一例に係るＭ−ユニットの単一Ｍ−ユニットケースを示す。

Ｍ−ユニットは、特定のコーデックに独立的かつ包括的なコンテナフォーマットであってもよい。Ｍ−ユニットは１つ以上のＡＵを運んでもよい。Ｍ−ユニットは１つ以上のＭＦＵを含む。Ｍ−ユニットは時間に合わされたデータ（ｔｉｍｅｄ ｄａｔａ）または時間に合わされないデータ（ｎｏｎ−ｔｉｍｅｄ ｄａｔａ）を含む。Ｍ−ユニットは、ＭＦＵ９００のデータ及び追加的な情報を含む。追加的な情報は、同期化のためのタイムスタンプ（ｔｉｍｅｓｔａｍｐ）であってもよい。Ｍ−ユニットは、ＭＭＴカプセル化機能を処理するためのデータ個体であってもよい。

時間に合わされたデータは、復号化及びプレゼンテーション（ｐｒｅｓｅｎｔａｔｉｏｎ）において特定の時刻と関連するデータ要素であってもよい。時間に合わせられていないデータは非特定時刻に消費されるデータ要素である。時間に合わせられていないデータは実行またはランチされることにおいてデータが利用した時の時間範囲を有する。

単一Ｍ−ユニットケースのＭ−ユニット１０００は、Ｍ−ユニットヘッダ（Ｍ−Ｕｎｉｔ Ｈｅａｄｅｒ；ＭＵＨ）１０１０及びＭＦＵ９００を含む。

図１１は、一例に係るＭ−ユニットのフラグメントされたＭ−ユニットケースを示す。

フラグメントされたＭ−ユニットケースのＭ−ユニット１１００は１つ以上のＭＦＵを含む。図１１において、フラグメントされたＭ−ユニットケースのＭ−ユニット１１００は、３個のＭＦＵ及び３個のＭＦＵにそれぞれ対応する３個のＭＵＨを含む。

Ｍ−ユニット生成エンコーダはＭ−ユニットを生成してもよい。

図１２は、一例に係るＭＭＴアセット（ａｓｓｅｔ）を示す。

ＭＭＴアセット１２００は、同一のＭＭＴアセットＩＤを有する１つ以上のメディアプロセシングユニット（Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＭＰＵ）を含む論理的なデータ個体であってもよい。ＭＭＴアセット１２００は、同一の構成情報及び送信特性が加えられる最も大きいデータ単位であってもよい。

ＭＰＵは、特定のメディアコーデックに独立的な、時間に合わされたデータまたは時間に合わせられないデータに対する包括的なコンテナであってもよい。ＭＰＵは時間に合わせられたデータのための１つ以上のＡＵを含む。ＭＰＵは、時間に合わせられていないデータのためのＡＵ境界がないデータの部分を含む。ＭＰＵは、追加的な伝達及び消費関連情報を含む。ＭＰＵは、完全で独立的に処理されるコード化されたメディアデータユニットであってもよい。このような文脈において、処理はＭＭＴパッケージへのカプセル化または伝達のためのパケット化を意味する。

ＭＭＴアセット１２００は、１つ以上のＭ−ユニットを含むデータ個体であってもよい。ＭＭＴアセット１２００は、構成情報及び送信特性が定義されるデータユニットであってもよい。

ＭＭＴアセット１２００は、アセット情報１２１０及び１つ以上のＭ−ユニットを含む。１つ以上のＭ−ユニットとして、第１Ｍ−ユニット１２２０、第２Ｍ−ユニット１２３０、及び第３Ｍ−ユニット１２３０が示されている。１つ以上のＭ−ユニットは、それぞれ単一Ｍ−ユニットケースのＭ−ユニット１０００またはフラグメントされたＭ−ユニットケースのＭ−ユニット１１００であってもよい。または、ＭＭＴアセット１２００は、アセット情報１２１０及び１つ以上のＭＦＵを含む。１つ以上のＭＦＵは、それぞれＭＦＵ９００であってもよい。

アセット情報１２１０は、アセット−特定情報であってもよい。アセット情報１２１０は、ストリーミングでは伝えられないことがある。

アセット情報１２１０は、能力交換及び／または下位階層内での資源の（再）割当のために用いられてもよい。

図１３は、一例に係るＭＭＴパッケージを示す。

ＭＭＴパッケージ１３００は、データの論理的に構造化されたコレクションであってもよい。ＭＭＴパッケージ１３００は、１つ以上のＭＭＴアセット、ＭＭＴ構成情報、及びＭＭＴアセット伝達特性及び説明的な情報を含む。

ＭＭＴ資産伝達特性は、ＭＭＴアセットの伝達に対する要求されるサービス品質（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ；ＱｏＳ）に対する説明を含む。ＭＭＴ資産伝達特性は、特定伝達環境に対しては不可知であるパラメータによって表現されてもよい。

ＭＭＴパッケージ１３００は、パッケージ情報１３１０を含む。

ＭＭＴパッケージ１３００は、構成情報１３２０を含む。構成情報は、ＭＭＴ構成情報に対応する。ＭＭＴ構成情報は、ＭＭＴ資産の間の空間的及び時間的な関係の説明であってもよい。

ＭＭＴパッケージ１３００は、送信特性（Ｔｒａｎｓｐｏｒｔ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ；Ｔｘ．Ｃｈａｒ．）１３３０を含む。

ＭＭＴパッケージ１３００は１つ以上のアセットを含む。１つ以上のアセットはそれぞれ図１２を参照して前述したＭＭＴアセット１２００であってもよい。１つ以上のアセットとして、第１アセット１３４０、第２アセット１３５０及び第３アセット１３６０が示されている。

ＭＭＴパッケージ１３００内の１つ以上のアセットはマルチプレックス（ｍｕｌｔｉｐｌｅｘ）されたり、連鎖されてもよい。

ＭＭＴパッケージ１３００は、アーカイビング（ａｃｈｉｖｉｎｇ）のために用いられてもよい。例えば、ＭＭＴパッケージ１３００は格納のための単位であってもよい。

下記では、図１４〜図１６を参照してＭＭＴペイロードフォーマット（ＭＭＴ ＰａｙＬｏａｄ Ｆｏｒｍａｔ；ＭＭＴ ＰＬ−Ｆｏｒｍａｔ）を説明することにする。

ＭＭＴペイロードは、ＭＭＴプロトコルまたはインターネットアプリケーション階層プロトコルを用いて、ＭＭＴパッケージまたはＭＭＴシグナリングメッセージを運ぶデータのフォーマットされた単位であってもよい。インターネットアプリケーション階層プロトコルはＲＴＰであってもよい。

ＭＭＴプロトコルは、インターネットプロトコル（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ；ＩＰ）ネットワークを介してＭＭＴペイロードを伝達するためのアプリケーション階層プロトコルであってもよい。

ＭＭＴペイロードフォーマットは、ＭＭＴアプリケーションプロトコルまたは他の存在するアプリケーション送信プロトコルによる消費のために、ＭＭＴアセット及び他の情報を運ぶための包括的なペイロードフォーマットであってもよい。例えば、他の存在するアプリケーション送信プロトコルは、リアルタイム送信プロトコル（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ；ＲＴＰ）であってもよい。

ＭＭＴペイロードフォーマットは、ＭＦＵ９００のフラグメントを含む。ＭＭＴペイロードフォーマットは、ＭＦＵ９００のフラグメントと共にアプリケーション階層転向誤り訂正（Ａｐｐｌｉｃａｔｉｏｎ Ｌａｙｅｒ Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ；ＡＬ−ＦＥＣ）のような他の情報を含んでもよい。

図１４は、一例に係る制御タイプのパケットのためのＭＭＴ−ＰＬフォーマットを示す。

制御タイプのパケットのための第１ＭＭＴ−ＰＬフォーマット１４００は、ペイロードヘッダ（ｐａｙｌｏａｄ ｈｅａｄｅｒ；ＰＬＨ）１４１０及び構成情報１４２０を含む。構成情報１４２０は、図１３を参照して前述したＭＭＴパッケージ１３００の構成情報１３２０に対応する。

図１５は、一例に係るメディアタイプのパケットのためのＭＭＴ−ＰＬフォーマットを示す。

メディアタイプのパケットのための第２ＭＭＴ−ＰＬフォーマット１５２０及びメディアタイプのパケットのため第３ＭＭＴ−ＰＬフォーマット１５３０には、ＭＴＵ１５１０パケット−レベルの集成（ａｇｇｒｅｇａｔｉｏｎ）及び／またはプレグメンテイション（ｆｒａｇｍｅｎｔａｔｉｏｎ）が適用されてもよい。

Ｍ−ユニット１５１０のデータは、第２ＭＭＴ−ＰＬフォーマット１５２０及び第３ＭＭＴ−ＰＬフォーマット１５３０に分割されてもよい。Ｍ−ユニット１５１０は、ＭＦＵ９００、単一Ｍ−ユニットケースのＭ−ユニット１０００、フラグメントされたＭ−ユニットケースのＭ−ユニット１１００またはＭＭＴアセット１２００のＭ−ユニットに対応する。

第２ＭＭＴ−ＰＬフォーマット１５２０は、ＰＬＨ１５２２及びＭ−ユニットの一部１５２４を含む。Ｍ−ユニットの一部１５２４は、ＭＵＨ、ＭＦＵＭ、及びコード化されたデータの一部を含む。

第３ＭＭＴ−ＰＬフォーマット１５３０は、ＰＬＨ１５３２及びＭ−ユニットの一部１５３４を含む。Ｍ−ユニットの一部１５３４は、コード化されたデータの一部を含む。

図１６は、一例に係る制御タイプのパケットのためのＭＭＴ−ＰＬフォーマットを示す。

制御タイプのパケットのため第４ＭＭＴ−ＰＬフォーマット１６００は、ＰＬＨ１６１０及び制御情報１６２０を含む。

下記、図１７及び図１８を参照してＭＭＴパケットを説明することにする。

ＭＭＴパケットは、ＭＭＴプロトコルによって生成または消費されるデータのフォーマットされたユニットであってもよい。

ＭＭＴパケットは、ＭＭＴ送信パケットであってもよい。ＭＭＴ送信パケットは、ＭＭＴのためのアプリケーション送信プロトコルによって用いられるデータフォーマットであってもよい。

図１７は、一例に係る第１ＭＭＴパケットを示す。

第１ＭＭＴパケット１７００は、リアルタイム送信パケットヘッダ（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ Ｈｅａｄｅｒ）１７２０、ＰＬＨ１７２０及びＭ−ユニットの一部１７３０を含む。Ｍ−ユニットの一部１７３０は、図１５を参照して前述したＭ−ユニットの一部１５２４に対応する。Ｍ−ユニットの一部１７３０は、ＭＵＨ１７３２、ＭＦＵＨ１７３４及びコード化されたデータ１７３６を含む。

ＰＬＭ１７２０及びＭ−ユニットの一部１７３０は、図１５を参照して前述した第２ＭＭＴ−ＰＬフォーマット１５２０に対応する。ＰＬＭ１７２０及びＭ−ユニットの一部１７３０は、第２ＭＭＴ−ＰＬフォーマット１５２０のデータであってもよい。

図１８は、一例に係る第２ＭＭＴパケットを示す。

第２ＭＭＴパケット１８００は、ＭＭＰパケットヘッダ（ＭＭＰ Ｐａｃｋｅｔ Ｈｅａｄｅｒ；ＭＭＴＰＨ）１８１０、ＰＬＨ１８２０及びＭ−ユニットの一部１８３０を含む。Ｍ−ユニットの一部１８３０は、図１５を参照して前述したＭ−ユニットの一部１５２４に対応する。Ｍ−ユニットの一部１８３０は、ＭＵＨ１８３２、ＭＦＵＨ１８３４及びコード化されたデータ１８３６を含む。

ＰＬＭ１８２０及びＭ−ユニットの一部１８３０は、図１５を参照して前述した第２ＭＭＴ−ＰＬフォーマット１５２０に対応する。ＰＬＭ１８２０及びＭ−ユニットの一部１８３０は、第２ＭＭＴ−ＰＬフォーマット１５２０のデータであってもよい。

図９〜図１８を参照して前述したデータまたはユニットのためにＭＭＴパケットが生成されてもよい。図９〜図１８は、ＭＦＵ９００を含むＭＭＴパケット９２０を生成するパケット化過程を示す。ＭＦＵ９００は、ＭＭＴパケットを構成する最も小さい単位であってもよい。

ＭＭＴパケットはアーカイビングまたはストリーミング用で生成されてもよい。ＭＦＵ９００は、スケーラブルビデオ及びマルチビュービデオのような複数の階層を含むビデオ情報が存在する場合、各階層の単位をペイロードできるユニットであってもよい。ＭＦＵ９００のヘッダにはスケーラブルビデオまたはマルチビュービデオのＮＡＬＵヘッダに存在するヘッダ情報が存在してもよい。

ＭＦＵ９００のペイロードには、スケーラブルビデオ及びマルチビュービデオのデータが分割して存在してもよい。また、ＭＦＵ９００のペイロードには、スケーラブルマルチビュービデオのデータが分割して存在してもよい。

図１９は、一実施形態に係るスケーラブルビデオまたはマルチビュービデオ情報を提供するための構文（ｓｙｎｔａｘ）を説明する。

ＭＭＴのＭＦＵ９００のヘッダは、ＭＶＣ及びＳＶＣ符号化されたデータのための階層情報を提供する。また、マルチビュービデオの視点と時間的、空間的及び品質的にスケーラブルなビデオを用いる組合わせられたスケーラビリティが提供されてもよい。

ＭＭＴはケース文書を用いてもよい。ケース文書は、適応可能なコンテンツ消費に対するケースシナリオを含む。適応可能なコンテンツ消費は、端末能力に基づいたネットワーク状態及び／またはユーザ選好に基づく。

下記は、効率的なビューポイント適応及びスケーラブルな階層化されたビデオ適応のためのＭＦＵ９００のヘッダフィールドを説明する。ＭＶＣの視点適応情報及びＳＶＣのスケーラブル階層情報は独立的に用いられてもよく、スケーラブルマルチビュービデオのために組合わせられたモードで用いられてもよい。

ＭＭＴにおいて、ＭＦＵ９００は最も小さい復号化できるデータユニットであってもよい。ＭＦＵ９００はＥ．３階層であってもよい。図１０に示す構文は、Ｅ．３階層ヘッダフィールドに適用されてもよい。Ｅ．３階層ヘッダは視点情報を含む。また、Ｅ．３階層ヘッダは、階層化されたコード化されたデータの時間的、空間的、及び品質的階層情報を提供してもよい。

図１９に示す構文のデータは、スケーラブルビデオの情報及びマルチビュービデオの情報のうちの１つ以上を提供してもよい。構文のデータは、ＭＦＵ９００のヘッダに選択的に存在してもよい。

スケーラブルビデオの情報及びマルチビュービデオの情報のうちの１つ以上は、ＭＦＵ９００ヘッダに選択的に存在してもよい。言い換えれば、ＭＦＵ９００のヘッダは、下記で説明される構文のフラグのうちの１つ以上を含む。ＭＦＵ９００は、ＭＭＴパケットを構成する最も小さい単位であってもよい。

階層情報フラグ１９１０は、ＭＦＵ９００のペイロード内にスケーラブルビデオまたはマルチビュービデオの存在するか否かを示すフラグであってもよい。階層情報フラグ１９１０の値が「１」であることは前記のペイロードがＭＶＣ、ＳＶＣまたは組合わせられたＭＶＣ／ＳＶＣに符号化された階層化されたビデオデータを含むことを示す。

階層情報フラグ１９１０が存在する場合、階層タイプ１９２０によってスケーラブルビデオ及びマルチビュービデオまたはスケーラブルマルチビュービデオが区分される。

階層情報フラグ１９１０が「１」であるとき、階層タイプは下記の表１で明細したようにＭＦＵ９００のペイロード内の階層化されたデータのタイプを示す。

階層タイプ１９２０の値が０であれば、マルチビュービデオに関する情報が提供される。階層タイプ１９２０の値が１であれば、スケーラブルビデオに関する情報が提供される。階層タイプ１９２０の値が２であれば、スケーラブルマルチビュービデオに関する情報が提供される。

階層タイプ１９２０の値が０であるマルチビュービデオに対するレイヤｍｂｉｎｅｄ ｓｃａｌａｂｉｌｉｔｙ ｖｉｄｅｏ）８１０ａｌｃ）１７２０文法的要素は下記と通りである。例えば、階層タイプ１９２０が０の値を有する場合、下記のようなマルチビュービデオに関する情報が提供される。

マルチビュービデオに関する情報として、現在ＭＦＵ９００内に存在するマルチビュービデオ階層の優先順位を示す優先順位ＩＤ（ｐｒｉｏｒｉｔｙ ｉｄ）１９３１、マルチビュービデオのビューの固有ＩＤを示すビューＩＤ（ｖｉｅｗ ｉｄ）１９３２、時間ＩＤ（ｔｅｍｐｏｒａｌ ｉｄ）１９３３、ビュー間予測フラグ（ｉｎｔｅｒｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ ｆｌａｇ）１９３４及び任意アクセスのためのアンカーピクチャーフラグ（ａｎｃｈｏｒ ｐｉｃｔｕｒｅ ｆｌａｇ）１９３５が存在してもよい。

下記においてマルチビュー階層または階層は、マルチビュービデオのマルチビュー階層を示してもよい。マルチビュービデオはＭＶＣビデオであってもよい。

優先順位ＩＤ１９３１は、マルチビュービデオのＭＦＵペイロード内に存在する各階層の優先順位情報であってもよい。

優先順位ＩＤ１９３１は、現在ＭＦＵ９００内に含まれたマルチビュー階層の優先順位を示してもよい。優先順位ＩＤ１９３１の低い値は高い優先順位を示す。

ビューＩＤ１９３２は、ＭＶＣビデオの固有のビューＩＤを示す。

時間的ＩＤ１９３３は、ＭＶＣビデオの時間的レベルを示す。

ビュー間予測フラグ１９３４の値「１」は、現在ビューコンポーネントが現在ＡＵ内の異なるビューコンポーネントによって予測されることを示す。ビューコンポーネントは、単一アクセスユニット内のビューのコード化された表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）であってもよい。

アンカーピクチャーフラグ１９３５の値「１」は、現在のＡＵがアンカーＡＵであることを示す。

ビュー間予測フラグ１９３４は、現在ビューコンポーネントが現在ＡＵ内の異なるビューコンポーネントによって予測可能であるか否かを示す。ビュー間予測フラグ１９３４はビュー間予測を許容してもよい。

アンカーピクチャーフラグ１９３５は、前記ＭＶＣビデオでの任意アクセスのために用いられてもよい。

階層タイプ１９２０の値が１であるマルチビュービデオに対するレイヤｍｂｉｎｅｄ ｓｃａｌａｂｉｌｉｔｙ ｖｉｄｅｏ）８１０ａｌｃ）１７２０文法的要素は下記の通りである。例えば、階層タイプ１９２０が１の値を有する場合、下記のようなスケーラブルビデオに関する情報が提供される。下記において、スケーラブル階層または階層はスケーラブルビデオのスケーラブル階層を示してもよい。スケーラブルビデオはＳＶＣビデオであってもよい。

スケーラブルビデオに関する情報として、現在ＭＦＵ９００内に存在するスケーラブルビデオ階層の優先順位を示す優先順位ＩＤ（ｐｒｉｏｒｉｔｙ ｉｄ）１９４１、空間的ＩＤ（ｓｐａｔｉａｌ ｉｄ）１９４２、時間的ＩＤ（ｔｅｍｐｏｒａｌ ｉｄ）１９４３、画質的ＩＤ（ｑｕａｌｉｔｙ ｉｄ）１９４４が存在してもよい。

優先順位ＩＤ１９４１は、スケーラブルビデオのＭＦＵペイロード内に存在する各階層の優先順位情報であってもよい。

優先順位ＩＤ１９４１は、現在ＭＦＵ９００内に含まれたスケーラブル階層の優先順位を示す。優先順位ＩＤの低い値は高い優先順位を示す。

空間的ＩＤ１９４２はＳＶＣビデオの空間的レベルを示す。

時間的ＩＤ１９４３はＳＶＣビデオの時間的レベルを示す。

画質的ＩＤ１９４４はＳＶＣビデオの画質的レベルを示す。

階層タイプ１９２０の値が２であるスケーラブルマルチビュービデオに対するレイヤｍｂｉｎｅｄ ｓｃａｌａｂｉｌｉｔｙ ｖｉｄｅｏ）８１０ａｌｃ）１７２０文法的要素は下記の通りである。例えば、階層タイプ１９２０が２の値を有する場合、下記のようなスケーラブルマルチビュービデオに関する情報が提供されてもよい。スケーラブルマルチビュービデオは、情報は統合された（ｃｏｍｂｉｎｅｄ）スケーラビリティ情報として提供されてもよい。

スケーラブルマルチビュービデオに関する情報として、現在ＭＦＵ９００内に存在するスケーラブルマルチビュービデオ階層の優先順位を示す優先順位ＩＤ（ｐｒｉｏｒｉｔｙ ｉｄ、１９５１）、ビューＩＤ（ｖｉｅｗ ｉｄ）１９５２、空間的ＩＤ（ｓｐａｔｉａｌ ｉｄ、１９５３）、時間的ＩＤ（ｔｅｍｐｏｒａｌ ｉｄ）１９５４、画質的ＩＤ（ｑｕａｌｉｔｙ ｉｄ）１９５５が存在してもよい。

優先順位ＩＤ１９５１は、現在ＭＦＵ９００内に含まれたスケーラブルマルチビュービデオの優先順位を示す。優先順位ＩＤの低い値は高い優先順位を示す。

ビューＩＤ１９５２は、スケーラブルマルチビュービデオの固有のビューＩＤを示す。

空間的ＩＤ１９５３は、スケーラブルマルチビュービデオの空間的レベルを示す。

時間的ＩＤ１９５４は、スケーラブルマルチビュービデオの時間的レベルを示す。

画質的ＩＤ１９５５は、スケーラブルマルチビュービデオの画質的レベルを示す。

優先順位識別子１９３１、優先順位識別子１９４１及び優先順位識別子１９５１の用途は各アプリケーションによって定義される。

図２０は、一実施形態に係るストリーミングサーバの構造図である。

ストリーミングサーバ２０００は、処理部２０１０、ネットワーキング部２０２０及び格納部２０３０を含む。

処理部２０１０は、図６を参照して前述したパケット生成部６１０に対応する。ネットワーキング部２０２０は、図６を参照して前述した送信部６２０及びネットワークインターフェース部６３０に対応する。格納部２０３０は、図６を参照して前述した格納部６４０に対応する。

処理部２０１０はパケットを生成する。パケットは、ＭＰＥＧ−２ＴＳパケットまたはＭＭＴパケットであってもよい。ネットワーキング部２０２０は、生成されたパケットを用いてストリームを送信する。ストリームは、ＭＰＥＧ−２ＴＳストリームまたはＭＭＴストリームであってもよい。ＭＭＴストリームは、ＭＭＴパケットを用いるストリームであってもよい。

ストリームは、マルチビュービデオストリーム、スケーラブルビデオストリーム、及びマルチビュースケーラブルビデオストリームのうちの１つ以上を含む。

パケットのヘッダは、スケーラブルビデオストリームのスケーラビリティ情報を含む。スケーラブルビデオストリームは、パケットのペイロード内に分割されて存在してもよい。

スケーラビリティ情報は、ヘッダのプライベート送信データ（Ｔｒａｎｓｐｏｒｔ Ｐｒｉｖａｔｅ Ｄａｔａ）内に存在してもよい。プライベート送信データは、ヘッダの適応フィールド（Ａｄａｐｔａｔｉｏｎ Ｆｉｅｌｄ）内の付加的フィールド（Ｏｐｔｉｏｎａｌ Ｆｉｅｌｄ）内に存在してもよい。ヘッダは、スケーラビリティ情報の有無を示すスケーラビリティ情報フラグ及びスケーラブルビデオストリームのビュー情報の有無を示すビュー情報フラグを含む。

ヘッダは、スケーラビリティ情報フラグ及びビュー情報フラグの有無を示すプライベートデータフラグを含む。

スケーラビリティ情報は、スケーラブルビデオの空間的スケーラビリティ情報、スケーラブルビデオの時間的スケーラビリティ情報、及びスケーラブルビデオの画質的スケーラビリティ情報を含む。

ビュー情報は、ヘッダのプライベート送信データ内に存在してもよい。

処理部２０１０は、マルチビュービデオコーディング（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＭＶＣ）のネットワーク抽象化階層ユニット（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ Ｕｎｉｔ；ＮＡＬＵ）ヘッダ内の第２ビュー情報を用いてビュー情報を生成してもよい。

処理部２０１０は、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＳＶＣ）のネットワーク抽象化階層ユニットヘッダ内の第２スケーラビリティ情報を用いてスケーラビリティ情報を生成してもよい。

処理部２０１０は、ストリームパケット内にネットワーク抽象化階層ユニットヘッダのデータが存在する場合にのみスケーラビリティ情報を生成してもよい。

処理部２０１０は、同一のパケット識別子（Ｐａｃｋｅｔ Ｉｄｅｎｔｉｆｉｅｒ；ＰＩＤ）を有する１つ以上のストリームパケットのうち、ネットワーク抽象化ユニットヘッダのデータが存在するストリームパケット内にのみスケーラビリティ情報を生成してもよい。

処理部２０１０は、ストリームパケット内にスケーラビリティ情報を挿入するスケーラビリティ情報挿入部を含む。

処理部２０１０は、ＭＰＥＧメディア送信（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ；ＭＭＴ）パケットを生成してもよい。

処理部２０１０は、図９〜図１８を参照して前述したＭＦＵ、Ｍ−ユニット、ＭＭＴアセット、ＭＭＴパッケージ及びＭＭＴパケットを生成してもよい。

処理部２０１０は、ＭＦＵ、Ｍ−ユニット、ＭＭＴアセット、ＭＭＴパッケージ及びＭＭＴパケットを格納部２０３０内に格納してもよい。

ネットワーキング部２０２０は、ＭＭＴパケットを用いてＭＭＴストリームを送信してもよい。ＭＭＴストリームは１つ以上のＭＭＴパケットを含む。ＭＭＴパケットは、マルチビュービデオ、スケーラブルビデオ、及びスケーラブルマルチビュービデオのうちの１つ以上を含む。

ネットワーキング部２０２０は、ストリームをビデオプレーヤーのような他のストリーミングクライアント２１００に送信してもよい。

ＭＭＴパケット内のメディアフラグメントユニット（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ；ＭＦＵ）は、スケーラブルビデオ、マルチビュービデオ、及びスケーラブルマルチビュービデオのうちの１つ以上を含む。

ＭＭＴパケット内のメディアフラグメントユニット（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ；ＭＦＵ）は、スケーラブルビデオ、マルチビュービデオ、及びスケーラブルマルチビュービデオのうちの１つ以上を含む。

ＭＦＵのヘッダは、優先順位識別子（ｉｄｅｎｔｉｆｉｅｒ；ＩＤ）を含む。優先順位ＩＤは、ＭＦＵ内に含まれたマルチビュービデオのマルチビュー階層の優先順位を示してもよい。

ＭＦＵのヘッダは、ビューＩＤ、ビュー間予測フラグ、及びアンカーピクチャーフラグを含む。ビューＩＤは、マルチビュービデオの固有のＩＤを示してもよい。ビュー間予測フラグは、現在ビューコンポーネントが現在のアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ；ＡＵ）内の異なるビューコンポーネントによって予測可能であるか否かを示す。アンカーピクチャーフラグはマルチビュービデオへの任意アクセスのために用いられてもよい。

優先順位ＩＤは、ＭＦＵ内に含まれたスケーラブルビデオのスケーラブル階層の優先順位を示す。ＭＦＵのヘッダは、空間的ＩＤ、時間的ＩＤ及び画質的ＩＤを含む。空間的ＩＤはスケーラブルビデオの空間的レベルを示す。時間的ＩＤはスケーラブルビデオの時間的レベルを示す。

画質的ＩＤは、前記スケーラブルビデオの画質的レベルを示す。

優先順位ＩＤは、ＭＦＵ内に含まれたマルチビュースケーラブルビデオの優先順位を示す。ＭＦＵのヘッダは、ビューＩＤ、空間的ＩＤ、時間的ＩＤ及び画質的ＩＤを含む。ビューＩＤは、スケーラブルマルチビュービデオの固有のＩＤを示す。空間的ＩＤは、スケーラブルマルチビュービデオの空間的レベルを示す。時間的ＩＤは、スケーラブルマルチビュービデオの時間的レベルを示す。画質的ＩＤは、スケーラブルマルチビュービデオの画質的レベルを示す。

ＭＦＵのヘッダは階層情報フラグを含む。階層情報フラグは、ヘッダスケーラブルビデオ、マルチビュービデオ、及びスケーラブルマルチビュービデオのうちの１つ以上に関する情報の有無を示す。ヘッダは、階層情報フラグを介してスケーラブルビデオ、マルチビュービデオ、及びスケーラブルマルチビュービデオのうちの１つ以上の階層のタイプの情報を含んでもよい。

ヘッダは、階層のタイプの情報によりマルチビュービデオの情報、スケーラブルビデオの情報、及びマルチビュースケーラブルビデオの情報のうちの１つ以上を含む。スケーラブルビデオ、マルチビュービデオ、及びスケーラブルマルチビュービデオのうちの１つ以上は、ＭＭＴパケット内のＭＦＵペイロード内に分割して存在してもよい。

前述の図１ないし図１９を参照して説明した実施形態に係る技術的な内容が本実施形態にもそのまま適用されてもよい。したがって、より詳細な説明は以下で省略することにする。

図２１は、一実施形態に係るストリーミングクライアントの構造図である。

ストリーミングクライアント２１００は、処理部２１１０及びネットワーキング部２１２０を含む。ネットワーキング部２１２０は図７を参照して前述した受信部７１０に対応する。処理部２１１０は図７を参照して前述したパケット処理部７２０に対応する。

ネットワーキング部２１２０は、ストリームを受信してもよい。ストリームはＭＰＥＧ−２ＴＳストリームまたはＭＭＴストリームであってもよい。ＭＭＴストリームは、ＭＭＴパケットを用いるストリームであってもよい。

処理部２１１０は、ストリームのパケットを処理する。パケットは、ＭＰＥＧ−２ＴＳパケットまたはＭＭＴパケットであってもよい。

ストリームは、スケーラブルビデオストリームを含む。ストリームパケットのヘッダはスケーラブルビデオストリームのスケーラビリティ情報を含む。

処理部２１１０は、ヘッダ内のスケーラビリティ情報フラグ及びビュー情報フラグに基づいてパケット内の前記スケーラビリティ情報の有無及びスケーラブルビデオストリームのビュー情報の有無を判断してもよい。

処理部２１１０は、スケーラビリティ情報に基づいてスケーラブルビデオコーディングのネットワーク抽象化階層ユニットヘッダ内のスケーラビリティ情報を生成してもよい。

処理部２１１０は、ストリームパケット内に前記ネットワーク抽象化階層ユニットヘッダのデータが存在する場合にのみスケーラビリティ情報を抽出してもよい。

処理部２１１０は、同一のパケット識別子を有する１つ以上のストリームパケットのうち、ネットワーク抽象化ユニットヘッダのデータが存在するストリームパケットのみで前記スケーラビリティ情報を抽出してもよい。

処理部２１１０は、同一のパケット識別子を有する１つ以上のストリームパケットのうち、スケーラビリティ情報を含むパケットと最も近い以前時間のパケットからパケットのスケーラビリティ情報を抽出してもよい。

ネットワーキング部２１２０は、ＭＭＴストリームを受信してもよい。

処理部２２１０は、図９〜図１８を参照して前述したＭＦＵ、Ｍ−ユニット、ＭＭＴアセット、ＭＭＴパッケージ、及びＭＭＴパケットを処理してもよい。処理部２２１０は、ＭＦＵ、Ｍ−ユニット、ＭＭＴアセット、ＭＭＴパッケージ、及びＭＭＴパケットを処理することによってＭＭＴストリームのコンテンツを再生してもよい。

前述の図１ないし図２０を参照して説明した実施形態に係る技術的な内容が本実施形態にもそのまま適用されてもよい。したがって、より詳細な説明は以下で省略することにする。

図２２は、一実施形態に係るストリーミングサービス方法のフローチャートである。

ステップ２２１０において、ストリーミングサーバ２０００の処理部２０１０はパッケージを生成する。パッケージはＭＭＴパッケージであってもよい。

ステップ２２２０において、処理部２０１０はパケットを生成する。パケットはＭＭＴパケットであってもよい。

ステップ２２３０において、ストリーミングサーバ２０００のネットワーキング部２０２０はストリームを送信する。ストリームはビットストリームであってもよい。ストリームはＭＭＴストリームであってもよい。

ステップ２２４０において、ストリーミングクライアント２１００のネットワーキング部２１２０はストリームを受信する。

ステップ２２５０において、ストリーミングクライアント２１００の処理部２１１０はストリーム内のパケットを処理する。

前述の図１ないし図２１を参照して説明した実施形態に係る技術的な内容が本実施形態にもそのまま適用されてもよい。したがって、より詳細な説明は以下で省略することにする。

図２３は、一例に係る組合わせられたスケーラビリティを示す。

図２３において、ｘ軸は空間的ＩＤを示し、軸はビューＩＤを示す。Ｖ０はベースビューを示してもよい。

図２３において、ＭＶＣは３個のビューを提供し、ＳＶＣは３レベル空間的拡張性を提供する。図２３は、ビュー及び空間的スケーラビリティを通した組合わせられたスケーラビリティを図示する。図２３において、優先順位ＩＤはＰ０ないしＰ３の値を有する。前記の優先順位ＩＤの値は、予め定義された優先順位割当政策を有するオペレーターによって独断的に割り当てられてもよい。組合わせられたスケーラビリティオプションは、スクリーン大きさ及び視点においてユーザにさらに流動的な適応シナリオを提供し得る。

一実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

６００：ストリーミングサーバ
７００：ストリーミングクライアント
２０００：ストリーミングサーバ
２１００：ストリーミングクライアント

Claims (20)

1. ＭＰＥＧメディア送信（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ；ＭＭＴ）パケットを生成する処理部と、
   前記ＭＭＴパケットを用いてＭＭＴストリームを送信するネットワーキング部と、
   を含み、
   前記ＭＭＴパケットは、マルチビュービデオ、スケーラブルビデオ、及びスケーラブルマルチビュービデオのうちの１つ以上を含むことを特徴とするストリーミングサーバ。
2. 前記ＭＭＴパケット内のメディアフラグメントユニット（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ；ＭＦＵ）は、前記スケーラブルビデオ、前記マルチビュービデオ、及び前記スケーラブルマルチビュービデオのうちの１つ以上を含むことを特徴とする請求項１に記載のストリーミングサーバ。
3. 前記ＭＦＵのヘッダは、優先順位識別子（ｉｄｅｎｔｉｆｉｅｒ；ＩＤ）を含み、
   前記優先順位ＩＤは、前記ＭＦＵ内に含まれた前記マルチビュービデオの前記マルチビュー階層の優先順位を示すことを特徴とする請求項２に記載のストリーミングサーバ。
4. 前記ＭＦＵのヘッダは、ビューＩＤ、ビュー間予測フラグ、及びアンカーピクチャーフラグを含み、
   前記ビューＩＤは、前記マルチビュービデオの固有のＩＤを示し、
   前記ビュー間予測フラグは、現在ビューコンポーネントが現在のアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ；ＡＵ）内の異なるビューコンポーネントによって予測可能であるか否かを示し、
   前記アンカーピクチャーフラグは、前記マルチビュービデオへの任意アクセス（ｒａｎｄｏｍ ａｃｃｅｓｓ）のために用いられることを特徴とする請求項３に記載のストリーミングサーバ。
5. 前記ＭＦＵのヘッダは優先順位ＩＤを含み、
   前記優先順位ＩＤは、前記ＭＦＵ内に含まれた前記スケーラブルビデオの前記スケーラブル階層の優先順位を示すことを特徴とする請求項２に記載のストリーミングサーバ。
6. 前記ＭＦＵのヘッダは、空間的ＩＤ、時間的ＩＤ及び画質的ＩＤを含み、
   前記空間的ＩＤは、前記スケーラブルビデオの空間的レベルを示し、
   前記時間的ＩＤは、前記スケーラブルビデオの時間的レベルを示し、
   前記画質的ＩＤは、前記スケーラブルビデオの画質的レベルを示すことを特徴とする請求項５に記載のストリーミングサーバ。
7. 前記ＭＦＵのヘッダは優先順位ＩＤを含み、
   前記優先順位ＩＤは、前記ＭＦＵ内に含まれた前記マルチビュースケーラブルビデオの優先順位を示すことを特徴とする請求項２に記載のストリーミングサーバ。
8. 前記ＭＦＵのヘッダは、ビューＩＤ、空間的ＩＤ、時間的ＩＤ及び画質的ＩＤを含み、
   前記ビューＩＤは、前記スケーラブルマルチビュービデオの固有のＩＤを示し、
   前記空間的ＩＤは、前記スケーラブルマルチビュービデオの空間的レベルを示し、
   前記時間的ＩＤは、前記スケーラブルマルチビュービデオの時間的レベルを示し、
   前記画質的ＩＤは、前記スケーラブルマルチビュービデオの画質的レベルを示すことを特徴とする請求項７に記載のストリーミングサーバ。
9. 前記ＭＦＵのヘッダは階層情報フラグを含み、
   前記階層情報フラグは、前記スケーラブルビデオ、前記マルチビュービデオ、及び前記スケーラブルマルチビュービデオのうちの１つ以上に関する情報の有無を示し、
   前記ヘッダは、前記階層情報フラグを介して前記ヘッダスケーラブルビデオ、前記マルチビュービデオ、及び前記スケーラブルマルチビュービデオのうちの１つ以上の階層のタイプの情報を含むことを特徴とする請求項２に記載のストリーミングサーバ。
10. 前記ヘッダは、前記階層のタイプの情報により前記マルチビュービデオの情報、前記スケーラブルビデオの情報、及び前記マルチビュースケーラブルビデオの情報のうちの１つ以上を含むことを特徴とする請求項９に記載のストリーミングサーバ。
11. 前記スケーラブルビデオ、前記マルチビュービデオ、及び前記スケーラブルマルチビュービデオのうちの１つ以上は、前記ＭＭＴパケット内のＭＦＵペイロード内に分割して存在することを特徴とする請求項１に記載のストリーミングサーバ。
12. ＭＰＥＧメディア送信（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ；ＭＭＴ）パケットを生成するステップと、
    前記ＭＭＴパケットを用いてＭＭＴストリームを送信するステップと、
    を含み、
    前記ＭＭＴパケットは、マルチビュービデオ、スケーラブルビデオ、及びスケーラブルマルチビュービデオのうちの１つ以上を含むことを特徴とするストリーミングサービス方法。
13. ＭＰＥＧメディア送信（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ；ＭＭＴ）ストリームを受信するネットワーキング部と、
    前記ＭＭＴストリーム内のＭＭＴパケットを処理する処理部と、
    を含み、
    前記ＭＭＴパケットは、マルチビュービデオ、スケーラブルビデオ、及びスケーラブルマルチビュービデオのうちの１つ以上を含むことを特徴とするストリーミングクライアント。
14. 前記ＭＭＴパケット内のメディアフラグメントユニット（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ；ＭＦＵ）は、前記スケーラブルビデオ、前記マルチビュービデオ、及び前記スケーラブルマルチビュービデオのうちの１つ以上を含むことを特徴とする請求項１３に記載のストリーミングクライアント。
15. 前記ＭＦＵのヘッダは、優先順位識別子（ｉｄｅｎｔｉｆｉｅｒ；ＩＤ）を含み、
    前記優先順位ＩＤは、前記ＭＦＵ内に含まれた前記マルチビュービデオの前記マルチビュー階層の優先順位を示すことを特徴とする請求項１４に記載のストリーミングクライアント。
16. 前記ＭＦＵのヘッダは、ビューＩＤ、ビュー間予測フラグ、及びアンカーピクチャーフラグを含み、
    前記ビューＩＤは、前記マルチビュービデオの固有のＩＤを示し、
    前記ビュー間予測フラグは、現在ビューコンポーネントが現在のアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ；ＡＵ）内の異なるビューコンポーネントによって予測可能であるか否かを示し、
    前記アンカーピクチャーフラグは、前記マルチビュービデオへの任意アクセスのために用いられることを特徴とする請求項１５に記載のストリーミングクライアント。
17. 前記ＭＦＵのヘッダは優先順位ＩＤを含み、
    前記優先順位ＩＤは、前記ＭＦＵ内に含まれた前記スケーラブルビデオの前記スケーラブル階層の優先順位を示すことを特徴とする請求項１４に記載のストリーミングクライアント。
18. 前記ＭＦＵのヘッダは、空間的ＩＤ、時間的ＩＤ、及び画質的ＩＤを含み、
    前記空間的ＩＤは、前記スケーラブルビデオの空間的レベルを示し、
    前記時間的ＩＤは、前記スケーラブルビデオの時間的レベルを示し、
    前記画質的ＩＤは、前記スケーラブルビデオの画質的レベルを示すことを特徴とする請求項１７に記載のストリーミングクライアント。
19. 前記ＭＦＵのヘッダは優先順位ＩＤを含み、
    前記優先順位ＩＤは、前記ＭＦＵ内に含まれた前記マルチビュースケーラブルビデオの優先順位を示すことを特徴とする請求項１４に記載のストリーミングクライアント。
20. ＭＰＥＧメディア送信（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ；ＭＭＴ）ストリームを受信するステップと、
    前記ＭＭＴストリーム内のＭＭＴパケットを処理するステップと、
    を含み、
    前記ＭＭＴパケットは、マルチビュービデオ、スケーラブルビデオ、及びスケーラブルマルチビュービデオのうちの１つ以上を含むことを特徴とするストリーミングサービス方法。

Images