JP2005530386A - 動的なネットワーク損失状態に対する簡単な適応を備えたマルチメディアサーバ - Google Patents

Abstract

前進型誤り符号化動作によりエンコードされた優先順位付きデータを伝送する方法が開示される。メディアオブジェクトは、情報の下位レイヤと少なくとも１つの上位レイヤを形成する異なるクラスのデータに分離され（２１０）、各レイヤが関連するパリティデータを有する。分類データで構成される分離されたメディアオブジェクトのデータは、後にエンコード及び格納され（２２０）、それによって下位レイヤの情報が上位レイヤのデータより伝送用の高い優先度を割り当てられる。サーバが優先順位付きデータとしてネットワーク構造上で分類データを伝送すると（２３０）、そのような優先度の分類が使用される。任意選択で、ネットワーク状態の変化を考慮して、伝送される分類データの合成が調整される（２４０）。

Description

本発明は、ネットワーク状態に基づいて優先順位付きデータを伝送する分野に関するものである。

インターネットのような通信ネットワーク（ネットワーク構造）の発達と、ブロードバンド接続の広い支持により、通信ネットワークを通じてオンデマンドで選択及び配信され得る映像及び音声サービス（例えば、テレビ番組、映画、テレビ会議、ラジオ番組）の消費者による需要が存在する。メディアオブジェクト又はストリーミングオーディオ／ビデオと呼ばれる映像サービスは、帯域の制約と、ストリーミング媒体の配信に一般的に使用される通信ネットワークのバーストの特性のため、しばしば品質の問題を受ける。従って、ストリーミング媒体配信システムの設計は、メディアオブジェクトを配信するために使用されるコーデック（エンコーダ／デコーダのプログラム）と、配信されたメディアオブジェクトを提示するサービス品質（ＱｏＳ）の問題と、信号で配信される音声及び映像データのようなメディアデータの配信に使用される通信ネットワーク上の情報転送を検討しなければならない。

コーデックは、一般的にソフトウェアとハードウェアの組合せを通じて実装される。このシステムは、通信ネットワークの送信端点でメディアオブジェクトを表すデータをエンコードし、通信ネットワークの受信端点でデータをデコードするために使用される。コーデックの設計検討事項は、ネットワーク上の帯域のスケーラビリティや、データのエンコード／デコードの計算上の複雑性や、ネットワーク損失（データの損失）に対する復元力や、媒体ストリームを表すデータを伝送するエンコーダ／デコーダ遅延のような問題を含む。離散コサイン変換（ＤＣＴ）（例えばＨ．２６３＋）と非ＤＣＴ技術（例えばウェーブレット（ｗａｖｅｌｅｔ）やフラクタル）の双方を利用する一般的なコーデックは、前述の問題を考慮したコーデックの例である。コーデックはまた、通信ネットワークを通じて利用可能な限られた帯域のため、データの圧縮と解凍をするために使用される。

サービス品質の問題は、音声及び映像情報の配信と、媒体ストリームを視聴している人に対する全体の経験に関係する。メディアオブジェクトはインターネットのような通信ネットワークを通じて、パケットとして知られる個々の単位で配信される。一般的に連続的な順番で伝送されるこれらの情報単位は、サーバ及びルータとして一般的に知られるノードを通じて、インターネットを介して送信される。従って、パケットはインターネットを通じて異なるパスを取り得るため、２つの連続して伝送されたパケットが宛先装置に異なる時間に到達することが可能になる。その結果として、後の時間に送信されたパケットが先に送信されたパケットの前に宛先装置により処理及び表示されることがあり、表示されるイベントの不連続性を導く、分散として知られるＱｏＳの問題が生じ得る。同様に、伝送されるときにパケットが損失する可能性がある。宛先装置は、一般的にデータの損失を隠すために誤り補正技術を実行する。伝送パケットの数を過度に割り当てること、又は負荷状態の場合にネットワークの品質を改善することのようなネットワーク上でＱｏＳを確保する方法が使用されることがあるが、これらの方法は通信ネットワークの性能に影響を及ぼす追加のオーバーヘッドの要件を持ち込む。

通信ネットワークは、転送プロトコルとして知られる機構の使用により、データパケットの転送を制御する。Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ（ＩＥＴＦ）の規約（ＲＦＣ：Ｒｅｑｕｅｓｔ Ｆｏｒ Ｃｏｍｍｅｎｔｓ）７９３に記載されている伝送制御プロトコル（ＴＣＰ）は、通信ネットワークを通じて情報の流れを制御する周知の転送プロトコルである。転送プロトコルは、フロー制御や、誤り制御や、データパケットの時間系統的な配信のようなパラメータを維持することにより、通信ネットワークを安定化しようとする。これらの種類の制御は、パケットのヘッダに存在するコマンドの使用を通じて、又は通信ネットワークを通じて装置間でパケットとは別に伝送されるコマンドの使用を通じて管理される。この制御情報は、データパケットの伝送が順序正しい傾向にある“同期”方法で動作する通信ネットワークでうまくいく。

ストリームデータの形式のその他の種類のメディアオブジェクトは、パケットの流れが一貫しないことがある非同期で配信又は生成される傾向にある。これらのパケットは異なる時間で（従って非同期に）送受信され、受信パケットはそのパケットのヘッダのデータを考慮して再構成される。ネットワーク状態がパケットの送信（又は受信）を大幅に悪化するときに、非同期パケットの伝送は、サービス損失、劣化、又はタイムアウトのため送信を必要とするその他の状態を生じる。

データの伝送における誤りの量を減少させる１つの方法は、いくつかのデータがデータストリームで繰り返される前進型誤り符号化（ＦＥＣ：ｆｏｒｗａｒｄ ｅｒｒｏｒ ｃｏｄｉｎｇ）と呼ばれる技術を使用する。ＦＥＣを使用することにより、誤り補正やフロー制御等のような誤り訂正のその他の方法は、データストリームで伝送されるメディアオブジェクトをユーザがうまく獲得する必要がなくなる。しかし、ＦＥＣは、進行中にデータをエンコードするエンコーダに影響を与えるデータパケットの変造又は損失を導くネットワーク状態をデータストリームの送信者が考慮することを必要とする。

前進型誤り符号化（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｄｉｎｇ）動作によりエンコードされた優先順位付きデータを伝送する方法が開示される。メディアオブジェクトは、異なるクラスのデータに分離され、情報の下位レイヤと少なくとも１つの上位レイヤを構成し、各レイヤが関連するパリティデータを有する。分類データの形式の分離されたメディアオブジェクトのデータは、後でエンコード及び格納され、それによって下位レイヤの情報が上位レイヤのデータより高い伝送優先度を割り当てられる。サーバがネットワーク構造上で分類データの合成を優先順位付きデータとして伝送するときに、そのような優先度の分類が使用される。

ここで使用される通り、エンコードされて後で伝送されるマルチメディアに関するデータは、メディアオブジェクトに相当する。情報及びデータという用語もまた、エンコードされる前又は後の音声／映像データを記述することに関しては、本発明の本文を通じて同義語として使用される。メディアオブジェクトという用語は、音声、映像、テキスト、マルチメディアデータファイル、及びストリーミングデータファイルを含む。マルチメディアファイルは、テキストと画像と映像と音声データの如何なる結合も有する。ストリーミングデータは、インターネット又は他の通信ネットワーク環境を介してユーザの装置に配信され、全ファイルの配信が完了する前にユーザのコンピュータ／装置で再生を開始する音声、映像、マルチメディア、テキスト、及びインタラクティブデータファイルを有する。ストリーミング媒体の１つの利点は、全ファイルがダウンロードされる前にストリーミング媒体ファイルが再生し始め、一般的に全ファイルをダウンロードすることに関する長い待ち時間を省くという点である。デジタル記録された音楽、映画、予告編、報道、ラジオ放送及び生放送イベントは、ウェブのストリーミングコンテンツの増加に全て貢献している。更に、ケーブルやＤＳＬやＴ１回線や無線ネットワーク（例えば２．５Ｇ又は３Ｇに基づくセルラネットワーク）のような高帯域接続の使用を通じた通信ネットワークのコストの減少は、報道機関や、Ｈｏｌｌｙｗｏｏｄスタジオや、独立プロデューサや、レコードラベルや、更にはホームユーザ自体からのストリーミング媒体コンテンツへの高速なアクセスをインターネットユーザに提供する。

本発明の好ましい実施例は、メディアオブジェクトのコンテンツが別の区分に事前にエンコードされる前進型消失訂正（ＦＸＣ：ｆｏｒｗａｒｄ ｅｒａｓｕｒｅ ｃｏｒｒｅｃｔｉｏｎ）として知られるＦＥＣ技術のサブセットを利用する。当業者に既知の技術を使用して、メディアオブジェクトは分類データと称される異なるクラスのデータにエンコードされる。各クラスのデータは異なるレイヤの情報（すなわち下位レイヤと上位レイヤ）を表し、下位レイヤはメディアオブジェクトを処理するために決定的なデータを表し、上位レイヤは決定的ではないが、処理されるメディアオブジェクトに詳細を追加するために重要なデータである。

分類データは、エンコードされたメディアオブジェクトの下位レイヤと上位レイヤを表すデータと共に伝送されるパリティデータを作るように、リードソロモン（ＲＳ：Ｒｅｅｄ Ｓｏｌｏｍｏｎ）コードのような体系的なＦＸＣコードを使用することにより、更に洗練される。具体的には、ＲＳは多様な強度の消失コードを作るために使用され、それにより異なる（ｎ，ｋ）のパラメータでＲＳコードを使用して、通信データのオーバーヘッド率が生成され得る。ｎは伝送されるデータ（パリティデータを備えたエンコードレイヤのデータ）の総計に等しく、ｋはエンコードされるデータ量に等しい。

消失訂正に使用される場合、ＲＳコードは、ｈ＝ｎ−ｋの消失（伝送されるデータストリームから損失したデータ量）までを訂正することができる。例示的なシステムが伝送データの基準として８ビットのシンボルでガロア域（Ｇａｌｏｉｓ Ｆｉｌｅｄ）を使用する場合には、ｎの最大値はｑ＝ｐ＾ｒと計算される（ｑ＝ｎの最大値、ｐ＝データ状態の量、ｒ＝データ状態を備えたアイテム数）。従って、８ビットのシンボルでは、ｐ＝２（２つの状態を有するビット）であり、ｒ＝８（ビット数）であり、ｎの最大値は２５５である。

所要の大きさのパリティビットを計算及び伝送することのみによって、短い長さのＦＸＣも使用され得る。最大値ｎが計算されると、ＲＳ（ｎ，ｋ）から短いＲＳ（ｎ’，ｋ）が導かれ（ｎ’＜ｎ）、ＲＳ（ｎ，ｋ）は所要の消失保護強度に応じて変更される（Ｌ．Ｒｉｚｚｏによる“Ｅｆｆｅｃｔｉｖｅ Ｅｒａｓｕｒｅ Ｃｏｄｅｓ ｆｏｒ Ｒｅｌｉａｂｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｐｒｏｔｏｃｏｌｓ”、Ｃｏｍｐｕｔｅｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｒｅｖｉｅｗ、２７（２）、２４−３６ページ、１９９７年４月を参照）。エンコードされたデータに対して計算されたパリティビットは、ネットワーク状態又はエンコーダの性能に従って変化してもよい。

２＾８のガロア域に基づいてバイトベースのコードをエンコードする一例として、ｎ＝２５５の最大値が計算される。ＲＳ（ｎ’，ｋ）のコードが選択され、この場合にはリードソロモンコードはＲＳ（２５５，ｋ）に基づき、ｎ’−ｋのパリティバイトがエンコードされる。ｎ’の値が増加しても、エンコードされた（ｎ’−ｋ）の元のパリティバイトは不変である。すなわち、ＲＳ（２５５，１０）に基づくＲＳ（１１，１０）のリードソロモンコードについて、１１番目のパリティバイトはＲＳ（１２，１０）のコードの１１番目のパリティバイトと同じ値を有する。留意すべき点は、エンコード／伝送システムの必要性に応じて本発明の原理が異なる値のｎ、ｎ’、ｐ、ｒ、ｋに適応するように変更されることがある点である。

好ましくはデータのＲＳコード化は、パケット又はフレームを通じて交互配置される。すなわち、全体のパケット又はフレームは、情報とパリティデータのいずれか一方で構成される。損失パケットを特定する処理を簡略化するために、これらのパケットは、パケットヘッダの情報により識別されてもよい。従って、パケットヘッダが連続して生成されておらず、数字の順に格差が存在する場合には、メディアオブジェクト要求者は損失パケットを特定することが可能になる。リアルタイム転送プロトコル（ＲＴＰ：Ｒｅａｌ Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）は、連続のパケットヘッダを生成するために使用される１つの転送機構であるが、本発明の原理に従ってその他の転送プロトコルが選択されてもよい。

従って、パリティパケットをいくつかのマルチキャストグループにグループ化することにより、異なるレベルのチャネル損失保護が達成される。そのようなデータを受信するクライアントは、必要な数のマルチキャストグループに入る（又は出る）ことにより、チャネル損失保護のレベルを調整することができ、それによりクライアントは必要に応じて更に多くのマルチキャストグループに入ることにより、チャネル帯域を増加させデータ損失に適応してもよい。本発明の例示的な実施例の場合、コンテンツが事前にエンコードされてストレージ装置に格納されている場合には、ＦＸＣエンコーダのソース側のエンコード率が一般的に調整されないため、このマルチキャストの技術が説明される。

異なるクラスのデータレイヤに分離されたメディアオブジェクトをエンコードする際に、下位レイヤのデータに高いＦＸＣの強度を提供することが望ましく、上位レイヤのデータの低いＦＸＣの強度は、不等の誤り保護を備えたスケーラブル映像圧縮を使用することにより達成される。本発明の例示的な実施例では、メディアオブジェクトは２つのレイヤの分類データ（下位レイヤ情報（Ｂｉ）及び上位レイヤ情報（Ｅｉ））に分離される。従って、下位レイヤはパリティデータ（Ｂｐ）を有し、上位レイヤはパリティデータ（Ｅｐ）を有する。レイヤとパリティデータのそれぞれは、その固有のデータ種別を与えられる。Ｂｉ及びＢｐのデータはＥｉ及びＥｐのデータよりメディアオブジェクトを処理するのに決定的であるため、Ｂｉ及びＢｐはＥｉ及びＥｐのデータより重要なデータである。留意すべき点は、本発明の原理は、メディアオブジェクトが所要の数のレイヤ（例えば１つの下位レイヤと複数の上位レイヤ）に優先順位付けされる場合にも適用されるという点である。

図１のエンコードシステム１００として図示される本発明の例示的な実施例は、エンコードされるメディアオブジェクトから圧縮ビットストリームを作るスケーラブルビデオエンコーダ１１０を示す。スケーラブルビデオエンコーダ１１０は、ソフトウェア、ハードウェア、又は双方の組み合わせに実装されてもよい。メディアオブジェクトは、前述のように別のレイヤの分類データに分割され、データが分類されると、各レイヤに割り当てられる優先度に対応するビットストリームに配置され、通信ネットワーク又はインターネットのようなネットワーク構造１６０を介したネットワーク伝送用のパケットにパケット化される。好ましくは、ネットワークのパケットに対する保護のため、各レイヤはパケットを通じて系統的なＦＥＣエンコーダ１１５、１２５を使用してＦＸＣエンコードされる。各レイヤの分類データの優先度は、最終的にメディアオブジェクトを処理するために必要な伝送データの重要度に関連付けられる。

具体的にはこの実施例で、スケーラブルビデオエンコーダ１１０は、メディアオブジェクトを下位レイヤと上位レイヤを表す２つのレイヤに分離する。下位レイヤを表すデータは、ＦＥＣエンコーダ１１５に入力され、そこでＦＸＣエンコード処理を介してＢｉ情報が生成される。この生成されたデータは、Ｂｉストレージ１２５に事前にエンコードされたデータとして格納される。ＦＥＣエンコーダ１１５はまた、Ｂｉ情報を生成する際にＢｐストレージ１３０に格納されるＢｐデータを作る。

同様に、上位レイヤを表すデータは、ＦＥＣエンコーダ１２０に入力され、そこでＦＸＣエンコード処理を介してＥｉ情報が生成される。この生成されたデータは、Ｅｉストレージ１３５に事前にエンコードされたデータとして格納される。ＦＥＣエンコーダ１１５はまた、Ｅｉ情報を生成する際にＥｐストレージ１４０に格納されるＥｐデータを作る。ネットワーク及びシステム要件に応じて、下位レイヤと上位レイヤで異なる強度のＦＸＣコードが使用され得る。好ましくは、伝送されるＲＳコードのＦＸＣ強度を調整する際に、データパケットのヘッダで又は別方面の情報としてデータパケットのコンテンツの識別が伝送される。

ネットワーク構造１６０を介してメディアオブジェクトの要求が行われると、メディアサーバ１５０は、好ましくはメディアオブジェクトの要求者に影響を与える利用可能な帯域と予想の（又はリアルタイムの）ネットワーク損失状態を決定する。この種類の決定は、ユーザプロフィールや、メディアオブジェクトの要求で通信される情報や、ネットワーク状態の履歴や、ネットワークサービスのレポート情報（データ伝送中に取得されるリアルタイム転送制御プロトコル（ＲＴＣＰ：Ｒｅａｌ ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）のレポート等）等に基づいて行われてもよい。任意選択で、マルチメディアサーバ１５０は、事前にエンコードされたメディアオブジェクトを配信するために使用されるネットワークパスの種類を決定し、潜在的なネットワーク損失を推定する。例えば、データを通信するために陸上通信線又はブロードバンド接続ではなく、無線通信が使用されている場合には、マルチメディアサーバ１５０はデータの高い損失率を予想する。

マルチメディアサーバ１５０は、ネットワーク状態の決定に応じて、選択されたデータに割り当てられた優先度に基づいて関連のストレージ領域からＢｉ、Ｂｐ、Ｅｉ、Ｅｐデータを選択する。この優先度は、メディアオブジェクトを処理する際に使用されるデータの重要度に関連する。従って、下位レイヤのデータがより重要であり、ネットワーク輻輳の期間中に上位レイヤのデータより伝送される確率が高いと考えられる。伝送されるデータのクラスを選択した後に、マルチメディアサーバ１５０はそのように選択されたデータを優先順位付けて形式化することにより、分類データの合成を作る。分類データのこの合成は優先順位付きデータとして知られ、マルチメディアエンコーダ１５０がネットワーク状態の観点から伝送されるデータのクラスを調整するように反映する。この場合に、メディアオブジェクトを処理するために最低限の下位レイヤの情報が必要になる。ネットワーク状態が改善すると、分類データの合成は、より多く上位レイヤの情報及び関連するパリティ情報を有する。

マルチメディアサーバ１５０は、ネットワーク構造１６０上で優先順位付きデータのデータパケットを伝送する。具体的には、マルチメディアサーバ１５０は、各優先度の分類に従って伝送されるＢｉ、Ｂｐ、Ｅｉ、Ｅｐの合成を調整することにより、メディアオブジェクトの要求者により受信されるマルチメディアデータの再生品質を最適化しようとする。例えば、ネットワークからデータの損失が予想されない場合には、マルチメディアサーバはデータパケットで全てのＢｉ及びＥｉの情報を伝送する。空間／帯域が許容する場合にはＢｐ及びＥｐのデータが伝送され、好ましくはＥｐデータより多くのＢｐデータが伝送される。

予想される程度のネットワーク損失が存在する場合、マルチメディアサーバ１５０は優先順位付きデータを形成する合成時にＥｐデータをＢｐデータと交換する。非常に高度の予想されるネットワーク損失の場合には、Ｂｐデータを使用して受信又は回復されるＢｉ情報の基準がなければ、要求されたメディアオブジェクトが処理不可能である可能性があるため、マルチメディアサーバは伝送されるＥｉ情報の量をＢｐデータと交換する。留意すべき点は、ネットワークの物理的制限又は事前に設定された制限のため、メディアオブジェクトの要求者に利用可能な帯域に制約が存在してもよい点である。

本発明のオプションの実施例では、マルチメディアサーバ１５０は、前述のように予想されるネットワーク損失の量を決定することにより、要求者にメディアオブジェクトの配信を最適化しようとする。要求者への帯域が固定であることを仮定すると、マルチメディアサーバ１５０は、予想されるネットワーク損失に応じて、Ｂｉ情報と訂正された誤り率を達成するために必要なＢｐデータの量との合成を伝送する。Ｂｉ及びＢｐのデータの伝送後に何らかの利用可能な帯域が存在する場合には、マルチメディアサーバ１５０はまずＥｉデータで空間を埋め、次にＥｐデータで埋める。Ｅｉ又はＥｐに対してＢｐを伝送することのトレードオフは、予想される範囲のネットワーク損失状態や、スケーラブルエンコードの効率性、視聴者の嗜好、ネットワークのノード等のような多数の要素に依存する。

好ましくは、エンコードされたマルチメディアオブジェクトを表すＢｉ、Ｂｐ、Ｅｉ、Ｅｐデータを伝送する際に、マルチメディアサーバ１５０は高い強度のＦＸＣコードを使用する。システム１００を使用することにより、新たなメディアオブジェクトの要求者について予想されるネットワーク状態が変化する毎に、格納されるＦＸＣコードは再計算される必要がない。

エンコードシステム１００の動作中において、空間的エンコード技術、信号対雑音比（ＳＮＲ）のエンコード技術又は単純なデータ分割エンコード技術に対して、時間エンコード技術が好ましい。その理由は、時間に基づく処理は“ドリフト”の問題を受けないからである。具体的には、優先順位付けされてレイヤに分離されたメディアオブジェクトをデコードする際に、もっぱら下位レイヤのデータをデコードした後に下位レイヤと上位レイヤのデータをデコードすると、ドリフト期間が生じる。下位レイヤと上位レイヤのデータから処理された再構成後のメディアオブジェクト（特に映像）は、まるで下位レイヤのデータの時間中に処理されているかのように現れ続ける。メディアオブジェクトをデコードするために下位レイヤと上位レイヤがもっぱら使用されると、このドリフト効果が最小化される。

時間エンコードされた映像ベースのメディアオブジェクトが上位レイヤに双方向“Ｂ”コード化ピクチャを配置し、“Ｉ”及び“Ｐ”フレームが下位レイヤに配置されると、ドリフトの問題は除去される。好ましくは、上位レイヤのＢコード化ピクチャは、他のピクチャを予想するために使用されない。従って、メディアサーバ１５０がＥｉ情報の代わりにＢｐデータを伝送すると、メディアオブジェクトの要求者のビデオフレームレートが減少するが、ＦＸＣコードの強度が全てのネットワーク損失を訂正するのに十分である場合にはフレーム毎の映像品質は減少しない。

ネットワークの混乱中には、メディアオブジェクトの要求者は映像のフレームレートを増加させるために、正確に受信されたＥｉ情報を使用する。そのフレームレートは、下位レイヤのデータのみを使用する映像のフレームレートより大きい。ネットワーク状態が改善すると、より多くのＥｉ情報が伝送され、処理される映像の品質と共に映像のフレームレートも同様に改善する。任意選択で、メディアオブジェクトの要求者（又はメディアオブジェクトの要求者のデコーダ）は、優先データとして伝送されるＢｉ、Ｂｐ、Ｅｉ、Ｅｐデータの合成がネットワーク状態に従って変化を受けることを要求してもよい。マルチメディアサーバ１５０はこの要求を実装する。

理想的には、Ｂｉ、Ｂｐ、Ｅｉ、Ｅｐデータはデータパケットにパックされ、固定の大きさのデータパケットが使用される。マルチメディアサーバ１５０は一定データ伝送率を維持するために、伝送中に全データパケットを交換することができる。しかし、この技術の欠点は、ＩＥＴＦ ＲＦＣ２２５０及びＲＦＣ２１９０に示唆されているように、映像フレーム又はスライスとデータパケットとの対応を妨げる。本発明の代替の実施例は、データパケットが映像フレーム又はスライスに対応する場合にサポートされ、データパケットをパック及び処理するために選択された技術に基づく。

図２は、本発明の例示的な実施例に従って、マルチメディアサーバ１５０によるマルチメディアオブジェクトを表す優先順位付きデータの伝送用の方法２００のブロック図を表す。ステップ２１０において、スケーラブルビデオエンコーダ１１０とＦＥＣエンコーダ１１５、１２０は、メディアオブジェクトを分類データのレベルにエンコードする。具体的には、スケーラブルエンコーダ１１０は、メディアオブジェクトを別のレイヤとして示されるいくつかのクラスのデータに分離し、各レイヤがメディアオブジェクトを処理するために使用されるデータの重要度に対応する。データのレイヤは、情報の下位レイヤと少なくとも１つの上位レイヤを形成する。分類データの分離されたレイヤは、ＦＸＣエンコードのため、ＦＥＣエンコーダ１１５、１２０に中継される。エンコード処理の間に、各レイヤに関連するパリティデータが生成され、後にステップ２２０で格納される。重要な点として、各レイヤに対応する生成された情報とパリティデータは、Ｂｉストレージ１２５に格納される下位レイヤ情報と、Ｂｐストレージ１３０に格納される関連する優先度情報のような各ストレージ領域に格納される。任意選択で、分類データのレイヤと同じストレージ領域が存在する。

マルチメディアサーバ１５０は、メディアオブジェクトの要求に応じて、分類データの合成を優先順位付きデータに優先順位付けを行い、ステップ２３０でネットワーク状態に応じてそのデータを伝送する。分類データの優先順位付けは、分類データの各レイヤに割り当てられた優先度により決定される。マルチメディアサーバ１５０は、ネットワーク状態を考慮して、優先順位付きデータとして分類データの合成を形成する。ネットワーク状態がデータの損失を生じる場合には、高い優先度を備えたデータが低い優先度を備えたデータより伝送される確率が高くなる。逆に、ネットワーク状態がほとんどデータパケットの損失を生じない場合には、低い優先度を備えたデータが伝送される確率が高くなる。

前述のように、ネットワーク状態の決定は予想されてもよく、リアルタイムのネットワーク状態でもよい。従って、マルチメディアサーバ１５０は、ネットワーク状態に従ってストレージ１２５、１３０、１３５、１４０からデータを取り出す。より多くのＥｉ及びＥｐデータが伝送される場合のネットワークの問題がない期間に対して、ネットワークが多数の問題に直面すると、より多くのＢｉとＢｐデータが取り出され、ネットワーク構造１６０上で伝送される。

マルチメディアサーバ１５０は、ステップ２４０でネットワーク状態の変化に応じて、優先順位付きデータを形成する分類データの合成を調整する。ネットワーク状態が改善すると、マルチメディアサーバ１５０は更に多くの上位レイヤに関する情報（Ｅｉ、Ｅｐ）を伝送する。伝送中にネットワーク状態が悪化すると、マルチメディアサーバ１５０は、上位レイヤに関するデータをより多くの下位レイヤに関するデータ（Ｂｉ、Ｂｐ）に交換する。ネットワーク状態が頻繁に変化すると、前記の処理がステップ２３０とステップ２４０の間で繰り返されてもよい。

図３は、本発明の原理に従って動作する優先順位付きデータをデコードするデコーダの例示的な実施例の方法３００のブロック図を表す。特に、ステップ３１０において、メディアオブジェクトの要求者がネットワーク構造１６０を介してメディアオブジェクトを要求する。マルチメディアサーバ１５０は、好ましくはこの要求を受信し、要求者の現在のネットワーク状態が要求と共に伝達される。

ステップ３２０において、メディアオブジェクトの要求者により使用されたデコーダが、受信した優先順位付きデータを処理し始め、そのようなデータは好ましくはＢｉ情報を少なくとも有する。デコーダは、音声、映像又はその双方の組み合わせとしてメディアオブジェクトを処理するために、分類データの合成で形成された優先順位付きデータを使用する。デコーダがより多くのＥｉデータを受信すると、デコーダはＢｉ情報のみで可能となる品質より高度の品質でメディアオブジェクトを処理する。下位レイヤ又は上位レイヤに関連するパリティデータの受信は、ネットワーク状態が伝送データの損失を生じた場合に、損失したＢｉ又はＥｉ情報を生成する支援を行う。

本発明のオプションの実施例では、メディアオブジェクトを表すデータパケットの受信中にデータが損失した場合に、デコーダはＦＸＣデコードを使用する。具体的には、デコーダはＢｉ又はＥｉ情報を表す全ての伝送データを受信しないことがある。ＦＸＣデコードを使用することにより、デコーダは受信Ｂｐデータから損失したＢｉ情報を生成し、受信Ｅｐデータから損失したＥｉ情報を生成する。

ステップ３３０において、デコーダは、ネットワーク状態が異なるため、優先順位付きデータとして伝送される分類データの合成が変化することを要求する。具体的には、劣化するネットワーク状態の場合には、デコーダは下位レイヤのパリティデータで上位レイヤの情報が交換されることを要求し、改善するネットワーク状態の場合には、より多くの上位レイヤ又はパリティデータを要求する。メディアオブジェクトの要求者のデコーダの機構は、スケーラブルビデオエンコーダ１１０の動作の逆に類似する。

本発明は、コンピュータに実装された処理と、その処理を実施する装置の形式で具体化されてもよい。本発明はまた、フロッピー（登録商標）ディスクや、読み取り専用メモリ（ＲＯＭ）や、ＣＤ−ＲＯＭや、ハードドライブや、高密度ディスクや、その他のコンピュータ読取可能媒体のような具体的なデータに具現されたコンピュータプログラムコードの形式に具体化されてもよく、コンピュータプログラムコードがコンピュータによりロード及び実行されると、コンピュータが本発明を実施する装置になる。本発明はまた、例えばストレージ媒体に格納されるにしろ、コンピュータによりロード及び／又は実行されるにしろ、又は電気配線又はケーブルや光ファイバや電磁気放射のようなある伝送媒体で伝送されるにしろ、コンピュータプログラムコードの形式で具体化されてもよく、コンピュータプログラムコードがコンピュータによりロード及び実行されると、コンピュータが本発明を実施する装置になる。汎用プロセッサに実装されると、コンピュータプログラムコードセグメントは、特定の論理回路を作るようにプロセッサを構成する。

本発明の例示的な実施例による、メディアオブジェクトの優先順位付けとエンコードと伝送を示したシステムの図である。 本発明の例示的な実施例による、メディアオブジェクトを表す分類データを優先順位付きデータとして生成及び伝送する方法のブロック図である。 本発明の例示的な実施例による、メディアオブジェクトを表す優先順位付きデータをデコードする方法のブロック図である。

Claims (21)

1. ネットワーク構造を通じて、下位レイヤの情報と上位レイヤの情報を表す分類データにエンコードされたメディアオブジェクトを表すデータを通信する方法であって、
   ネットワーク状態に応じて優先順位付きデータとして前記分類データの合成を伝送し、前記分類データが関連するパリティ情報を備えた下位レイヤの情報のうちの少なくとも１つを有するステップと、
   ネットワーク状態の変化に応じて伝送用の優先順位付きデータの合成を調整し、前記分類データの合成が上位レイヤの情報で変更されるステップと
   を有する方法。
2. 請求項１に記載の方法であって、
   前記分類データが事前にエンコードされる方法。
3. 請求項１に記載の方法であって、
   前記伝送するステップが、マルチメディアサーバにより可能になる方法。
4. 請求項１に記載の方法であって、
   前記優先順位付きデータが、時間スケーラビリティとデータ分割のうちの少なくとも１つから選択されたエンコード動作によりエンコードされる方法。
5. 請求項１に記載の方法であって、
   前記優先順位付きデータが、連続した番号のデータパケットとして伝送される方法。
6. 請求項１に記載の方法であって、
   ネットワーク状態が前記メディアオブジェクトを処理する品質を低下させる場合に、前記調整するステップが、前記上位レイヤの情報を減少させ、優先データの合成を形成する前記下位レイヤのパリティデータの量を増加させる方法。
7. 請求項１に記載の方法であって、
   ネットワーク状態が前記メディアオブジェクトの処理に対して順調である場合に、前記調整するステップが、前記下位レイヤ及び関連するパリティ情報の量を減少させ、優先データの合成を形成する前記上位レイヤ及び関連するパリティデータの量を増加させる方法。
8. 請求項１に記載の方法であって、
   前記分類データが、リードソロモンコードを使用して前進型誤り訂正コード動作により事前にエンコードされ、前記分類データがデータのクラスに従って格納される方法。
9. 請求項８に記載の方法であって、
   マルチメディアサーバが、データのクラスに対応するデータストアにアクセスすることにより、ネットワーク状態に基づいて伝送される優先順位付きデータの合成を選択する方法。
10. 請求項１に記載の方法であって、
    １つ以上の上位レイヤの情報及び関連する優先データが前記分類データを形成する方法。
11. 請求項１に記載の方法であって、
    前記伝送するステップの間に考慮されるネットワーク状態が、利用可能な帯域と、予想される伝送データの損失と、ユーザプロフィールに基づく伝送データの実際の損失と、ネットワーク状態の履歴と、前記優先順位付きデータとして伝送される分類データの合成の特別の要求のうちの少なくとも１つを有する方法。
12. 請求項１に記載の方法であって、
    前記調整するステップの間に考慮されるネットワーク状態が、利用可能な帯域の変化と、予想される伝送データの損失の変化と、伝送データの実際の損失の変化と、前記優先順位付きデータとして伝送される分類データの合成の変化の要求のうちの少なくとも１つを有する方法。
13. メディアオブジェクトを表すデータを通信する方法であって、
    ネットワーク状態を決定するステップと、
    ネットワーク状態に従って優先順位付きデータを伝送するステップと
    を有し、前記優先順位付きデータが、情報の少なくとも１つの下位レイヤと情報の少なくとも１つの上位レイヤを表す分類データの合成として生成され、パリティデータが情報の各レイヤに関連付けられ、
    関連するパリティデータを有する伝送される下位レイヤの情報と、関連するパリティデータを有する上位レイヤの情報の合成が、ネットワーク状態に応じて決定される方法。
14. 請求項１３に記載の方法であって、
    ネットワーク状態がデータの損失を生じる場合に、分類データの合成において、より多くの下位レイヤのパリティデータが伝送される方法。
15. 請求項１３に記載の方法であって、
    ネットワーク状態が成功して受信するより多くのデータを生じる場合に、分類データの合成において、より多くの上位レイヤの情報が伝送される方法。
16. 請求項１３に記載の方法であって、
    優先順位付きデータがデータパケットの形式で送信される方法。
17. 請求項１６に記載の方法であって、
    空間が利用可能である場合に、データパケットが、関連するパリティデータを有するより多くの上位レイヤの情報でパックする方法。
18. 請求項１３に記載の方法であって、
    優先順位付きデータとして伝送される分類データの合成が、デコーダからの要求に応じて変化する方法。
19. 請求項１３に記載の方法であって、
    前記決定するステップの間に考慮されるネットワーク状態が、利用可能な帯域と、予想される伝送データの損失と、ユーザプロフィールに基づく伝送データの実際の損失と、ネットワーク状態の履歴と、前記優先順位付きデータとして伝送される分類データの合成の特別の要求のうちの少なくとも１つを有する方法。
20. メディアオブジェクトを表す通信されるデータをデコードする方法であって、
    優先順位付きデータを処理し、前記優先順位付きデータが、情報の少なくとも１つの下位レイヤと情報の少なくとも１つの上位レイヤに事前にエンコードされる分類データの合成を表し、パリティデータが情報の各レイヤに関連付けられるステップと、
    優先順位付きデータとして伝送される分類データの合成が、異なるネットワーク状態を反映させるために変化することを要求するステップと
    を有する方法。
21. 請求項２０に記載の方法であって、
    前記処理するステップが、情報を損失したレイヤに関連するパリティデータから損失したレイヤの情報を生成するために、前進型消失訂正（ＦＸＣ：Ｆｏｒｗａｒｄ Ｅｒａｓｕｒｅ Ｃｏｒｒｅｃｔｉｏｎ）を使用する方法。

Images