JP2005520362A - 多重記述ビットストリームを用いて固定クライアントまたは移動クライアントへストリーミングメディアを配信する方法およびシステム - Google Patents

Abstract

【課題】 固定クライアント（３５２）および／または移動クライアント（３０８ａ）へメディアデータをストリーミングする。
【解決手段】 一方法実施形態で、本発明は、クライアントへストリーミングすべきメディアデータを第１多重記述ビットストリーム（ストリーム１）および第２多重記述ビットストリーム（ストリーム２）に符号化することを含む。次いで本実施形態は、ネットワークの全域にある中間ノードに配置された複数のサーバ（３０４ａ〜３０４ｅ）に第１および第２多重記述ビットストリームを配布することにより、クライアントに複数の伝送パス（３５４、３５８）経由でメディアデータへのアクセスを提供することを含む。

Description

本発明は、ストリーミングメディアの分野に関する。特に、本発明は、多重記述ビットストリームおよび種々の形式のダイバーシティを用いて固定クライアントおよび／または移動クライアントへストリーミングデータを配信することに関する。

インターネットのような今日のネットワークは主として、デスクトップコンピュータおよびラップトップのような固定クライアントへ静的な非リアルタイムデータを配信するために設計されている。
移動クライアントへリアルタイムのストリーミングメディアを配信するシステムを開発することは、データのストリーミング性およびユーザのモビリティのゆえに、いっそう困難な一連の課題を提示している。
これらの課題は、多数のユーザにサービスを拡大するシステムスケーラビリティや、連続的で中断のないストリーミングメディアセッションを移動ユーザに提供するサービス品質およびフォールトトレランスのような問題を考える場合に、いっそう深まる。
さらに、この頑強で中断のないメディア配信セッションは、ベストエフォート型ではあるが非保証型のサービスレベルを提供するベストエフォート型ネットワークを通じて配信されなければならない。
これらの多くの課題を克服する解決法は、エンドツーエンドシステム全体での革新を必要とする。

現在、インターネットまたは無線リンクを通じてのビデオおよびオーディオ通信のようなマルチメディアアプリケーションは、制限された帯域幅と、これらのエラーを生じやすい環境を害する損失（例えばパケット損失またはビットエラー）とによって妨げられている。
これらのマルチメディアアプリケーションは、高圧縮性および高いエラー回復性を必要とするが、これらは概ね衝突する要求であるので、これらの品質を同時に達成することは困難である。

メディア通信システムの２つの重要な特性は、信頼性および効率である。
有線インフラストラクチャから無線移動クライアントへメディアをストリーミングする問題のために、それぞれが可能な障害点であるような一続きのオペレーションが実行される。
このようなシステムで信頼性を達成する従来の手法は、リソースを複製すること（例えば「ミラーサーバ」）または同じ情報を２度伝送することによるものである。
この手法は、バックアップを提供することによってある一定の障害の確率を減らすことができるが、２倍のリソースを必要とするので非効率的であり、依然として他の単一障害点の影響を受けやすい。

以下は、有線インフラストラクチャから無線移動クライアントへメディアをストリーミングする従来の手法およびそれに関連する問題のさらに具体的な例である。
有線インフラストラクチャから移動クライアントへメディアをストリーミングすることは、一続きのモジュールのオペレーションを伴う。
これらのモジュールのすべてが正しく作動すれば、通信は成功する。
しかし、これらのモジュールのいずれかが故障していれば、通信全体が不成功となる。
例えば、通常の通信は、サーバがストレージからメディアストリームを読み出し、有線ネットワークを通じて無線基地局へそれを送信し、次いで無線基地局が無線チャネルを通じて無線クライアントへストリームを伝送することを伴い得る。
このシステムは、少なくとも以下のモジュールの相互作用を含む：（１）ストレージ、（２）サーバ、（３）有線ネットワーク、（４）無線基地局、（５）無線セルにおける無線伝送。
すべてのモジュールが正しく作動すれば通信は成功するが、いずれかのモジュールが故障していれば通信は不成功となる。
信頼性を改善することを目指して、システム設計者は通常、単一障害点を除去するために冗長性を追加する。
例えば、１セットのハードウェアの代わりに、２セットのハードウェア、例えば同じ情報を含むように「ミラーリング」された２個のストレージモジュールあるいは２個のサーバ、を使用してもよい。
同様に、同じ情報が有線ネットワークで２度伝送されてもよい。
さらに、無線伝送は、ＣＤＭＡおよびソフトハンドオフを仮定すると、通常、同じ情報の２つ以上の伝送を伴う。
これらの従来の手法のそれぞれにおいて、信頼性の改善は、情報および／またはリソースの複製によって達成されている。

これらの従来の複製方法は信頼性を改善するが、２倍のリソースを使用するので非効率的でもある。
さらに、これらの従来の手法は、単一故障が両方の複製を害し得る場合には無効であるかもしれない。
例えば、両方のストレージモジュール（および／または両方のサーバ）が同じ位置にある場合、停電や洪水があればその両方とも無益になるであろう。
同じ情報が有線ネットワークで２度伝送される場合、情報は通常、ネットワーク内の同じパスに沿って進む。
したがって、その同じパスが輻輳するか、または機能停止している場合、情報の複製は両方とも失われることになる。
要約すれば、信頼性を改善しようとして、従来の手法は情報およびリソースを複製する。
この従来の手法は、複製のゆえに非効率的であり、多くの場合には単一障害点が依然として存在し得るため無効でもある。

上記の議論の諸部分は、説明を簡単にするために、ビデオデータのストリーミングに関して従来技術の手法の欠点に具体的に言及しているが、このような欠点はビデオデータのストリーミングのみに限定されない。
むしろ、従来技術の問題点は、以下のものには限定されないが、オーディオ系データ、音声系データ、画像系データ、グラフィックデータ、ウェブページ系データ等を含む種々のタイプのメディアに及ぶ。
さらに、ストリーミングメディアは通常、メディアストリームが相対時間制約を伴って配信されなければならないという性質を共有し、したがってストリームの概念を共有する。

したがって、固定クライアントおよび／または移動クライアントへメディアをストリーミングする方法およびシステムが必要とされている。
さらに、固定クライアントおよび／または移動クライアントへメディアをストリーミングする方法およびシステムであって、従来のシステムよりも高い信頼性および効率を提供する方法およびシステムが必要とされている。

本発明は、固定クライアントおよび／または移動クライアントへメディアをストリーミングする方法およびシステムを提供する。
さらに、本発明は、固定クライアントおよび／または移動クライアントへメディアをストリーミングする方法およびシステムであって、従来のシステムよりも高い信頼性および効率を提供する方法およびシステムを提供する。

具体的には、一方法実施形態で、本発明は、クライアントへストリーミングすべきメディアデータを第１多重記述ビットストリームおよび第２多重記述ビットストリームに符号化することを含む。
次いで本実施形態は、ネットワークの全域にある中間ノードに配置された複数のサーバに第１および第２多重記述ビットストリームを配布することにより、クライアントに複数の伝送パス経由でメディアデータへのアクセスを提供することを含む。

本発明のこれらおよびその他の技術的利点は、種々の図面に示される好ましい実施形態の以下の詳細な説明を読んだ後には、当業者にとっておそらく明らかになるであろう。

添付図面は、本明細書に組み込まれその一部をなし、本発明の実施形態を図示しており、その説明とともに、本発明の原理を説明する役割を果たす。

本明細書中で参照される図面は、特に断らない限り、一定の縮尺で描かれているわけではないと解されるべきである。

以下、本発明の好ましい実施形態に詳細に言及する。
その例が添付図面に示されている。
本発明は好ましい実施形態に関連して説明されるが、それらは本発明をこれらの実施形態に限定することを意図しないことは理解されよう。
逆に、本発明は、添付の特許請求の範囲によって規定される本発明の精神および範囲内に含まれ得る代替物、変更および均等物を包含することを意図している。
さらに、本発明の以下の詳細な説明では、本発明の十分な理解を提供するために数多くの具体的詳細が記載される。
しかし、当業者には明らかなように、本発明はこれらの具体的詳細なしに実施されてもよい。
他の場合、既知の方法、手続き、コンポーネント、および回路は、本発明の態様を不必要に分かりにくくすることがないように、詳細には記載されていない。

しかし、留意すべきであるが、これらおよび類似のすべての用語は適当な物理量に関連づけられるべきものであり、これらの量に付けられた単に便宜的なラベルである。
以下の議論から明らかなように、特に別段の断りがない限り、本発明全体を通じて、「符号化する」、「伝送する」、「格納する」、「配布する」等のような用語を利用する議論は、コンピュータシステム等の電子的コンピューティングデバイスの作用およびプロセスを指すと理解される。
コンピュータシステム等の電子的コンピューティングデバイスは、コンピュータシステムのレジスタおよびメモリ内の物理（電子的）量として表現されるデータを操作して、コンピュータシステムメモリもしくはレジスタまたは他のそのような情報ストレージ、伝送、もしくはディスプレイデバイス内の物理量として同様に表現される他のデータに変換する。
また、本発明は、例えば光および機械的コンピュータのような他のコンピュータシステムの使用にも適している。

本発明のコンピュータシステム環境
次に図１を参照する。
本方法およびシステムの各部分は、例えばコンピュータシステムのコンピュータ使用可能媒体に存在するコンピュータ可読かつコンピュータ実行可能な命令からなる。
図１は、本発明の一実施形態により使用される例示的コンピュータシステム１００を示している。
理解されるように、図１のシステム１００は単に例示であり、本発明は、汎用ネットワークコンピュータシステム、組込みコンピュータシステム、ルータ、スイッチ、サーバデバイス、クライアントデバイス、種々の中間デバイス／ノード、スタンドアロン型コンピュータシステム等を含むいくつもの多様なコンピュータシステム上で、またはその内部で動作することができる。
さらに、図１のコンピュータシステム１００は、例えばフロッピー（登録商標）ディスク、コンパクトディスク等のようなコンピュータ可読媒体が結合することに適応している。
このようなコンピュータ可読媒体は、明確にするために図１ではコンピュータシステム１００に結合して図示されてはいない。
さらに、本実施形態の各部分は、例えば携帯電話機、個人情報端末（ＰＤＡ）、ラップトップコンピュータ、ページャ等のような種々の移動クライアントとともに動作するのにも適している。

図１のシステム１００は、情報を通信するためのアドレス／データバス１０２と、バス１０２に結合し情報および命令を処理する中央処理装置１０４とを含む。
中央処理装置１０４は、８０ｘ８６ファミリのマイクロプロセッサであってよい。
また、システム１００は、バス１０２に結合し中央処理装置１０４のための情報および命令を格納するコンピュータ使用可能な揮発性メモリ１０６、例えばランダムアクセスメモリ（ＲＡＭ）と、バス１０２に結合し中央処理装置１０４のための静的な情報および命令を格納するコンピュータ使用可能な不揮発性メモリ１０８、例えば読み出し専用メモリ（ＲＯＭ）と、バス１０２に結合し情報および命令を格納するデータストレージユニット１１０（例えば、磁気または光ディスクおよびディスクドライブ）のような、データストレージ機能も含む。
また、本発明のシステム１００は、バス１０２に結合し中央処理装置１０４へ情報およびコマンド選択を通信する英数字およびファンクションキーを含む任意の英数字入力デバイス１１２も含む。
また、システム１００は、バス１０２に結合し中央処理装置１０４へユーザ入力情報およびコマンド選択を通信する任意のカーソル制御デバイス１１４も任意に含む。
また、本実施形態のシステム１００は、バス１０２に結合し情報を表示する任意のディスプレイデバイス１１６も含む。

さらに図１を参照すると、図１の任意のディスプレイデバイス１１６は、ユーザにとって認識可能なグラフィック画像および英数字を生成するのに適した液晶デバイス、ブラウン管等のディスプレイデバイスであってよい。
任意のカーソル制御デバイス１１４は、コンピュータユーザが、ディスプレイデバイス１１６のディスプレイ画面上の可視シンボル（カーソル）の２次元移動を動的に通知することを可能にする。
トラックボール、マウス、タッチパッド、ジョイスティックまたは所与の方向もしくは変位方式の移動を通知することが可能な英数字入力デバイス１１２上の特殊キーを含めて、カーソル制御デバイス１１４の多くの実施態様が当技術分野で既知である。
別法として、理解されるように、カーソルは、特殊キーおよびキーシーケンスコマンドを用いて英数字入力デバイス１１２からの入力を通じて指示および／または駆動されてもよい。
また、本発明は、例えば音声コマンドのような他の手段によりカーソルを動かすことにも適している。
本発明のさらに詳細な議論を以下で行う。

固定および／または移動クライアントへメディアを高い信頼性で効率的にストリーミングする一般的方法およびシステム
概要として、本発明は、固定および／または移動クライアントへメディアをストリーミングする方法およびシステムであって、（従来の手法で使用される複製情報とは異なり）補足情報を使用することによって効率の改善を達成する方法およびシステムを提供する。
さらに、本発明は、固定および／または移動クライアントへメディアをストリーミングする方法およびシステムであって、種々の形式のダイバーシティを用いて単一障害点を避けることによって信頼性を改善する方法およびシステムを提供する。

明確かつ簡潔にするため、以下の議論および例はビデオデータを具体的に扱う。
しかし、本発明は、ビデオデータとともに使用することのみには限定されない。
むしろ、本発明は、オーディオ系データ、音声系データ、画像系データ、ウェブページ系データ、グラフィックデータ等とともに使用するのにも適している。
もちろん、バッファリングおよびダウンロードが許容され、種々の程度のバッファリングを本システムに対応させることができる。
したがって、本システムは、ライブ型およびバッファリング型の両方のメディアストリームをサポートする。
さらに、すべてのこれらのメディアタイプは、本明細書で説明される多重記述ビットストリームの特性を有するように符号化されることが可能であることに留意されたい。

ストリーミングメディアを高い信頼性で配信する１つの手法が、１９９９年９月２１日にJ. G. Apostolopoulosにより出願された「Video Communication Using Multiple Streams」と題する権利者同一の同時係属中の米国特許出願第０９／４００，４１６号に開示されている。
ストリーミングメディアを高い信頼性で配信するもう１つの手法が、２００１年１月１９日にJ. G. Apostolopoulos他により出願された「Method and System for Packet Communication Employing Path Diversity」と題する権利者同一の同時係属中の米国特許出願第０９／７８４，２２６号に開示されている。
ストリーミングメディアを高い信頼性で配信するさらにもう１つの手法が、２００１年１月１９日にJ. G. Apostolopoulosにより出願された「Video Communication System Employing Multiple State Encoding and Path Diversity」と題する権利者同一の同時係属中の米国特許出願第０９／７８４，２２３号に開示されている。
米国特許出願第０９／４００，４１６号、米国特許出願第０９／７８４，２２６号、および米国特許出願第０９／７８４，２２３号はそれぞれ参照により背景資料として本明細書に援用される。
これらの特許出願は、高い圧縮効率を保持しながら、損失のあるパケットネットワークを通じて高い信頼性でビデオ通信を行うシステムに関する。
従来技術の各部分は、２つのシステム、すなわち、（１）多重記述ビデオ符号化システム、および（２）パスダイバーシティ伝送システム、からなっていた。

次に図２を参照すると、本発明の種々の実施形態とともに使用されるメディアデータの多重記述符号化を示す概略図が示されている。
多重記述符号化（ＭＤＣ）とは、圧縮の一形式であって、その目標は、入来信号をいくつかの別個のビットストリームに符号化することである。
多重ビットストリームはしばしば多重記述と呼ばれる。
これらの別個のビットストリームは、すべて互いに独立に復号化可能であるという特性を有する。
具体的には、復号器がいずれかの単一のビットストリームを受信すれば、復号器は（他のいずれのビットストリームへのアクセスも必要とせずに）そのビットストリームを復号化して有益な信号を生成することができる。
ＭＤＣは、正確に受信されるビットストリームが多くなるほど復号化信号の品質が向上するというさらなる特性を有する。
例えば、ビデオがＭＤＣにより全部でＮ個のストリームに符号化されると仮定する。
復号器がこれらのＮ個のストリームのいずれかを受信する限り、復号器はそのビデオの有益なバージョンを復号化することができる。
復号器が２個のストリームを受信すれば、復号器は、ストリームのうちの１つのみを受信する場合に比べてそのビデオの向上したバージョンを復号化することができる。
この品質向上は、受信機がＮ個のすべてのストリームを受信するまで続き、その場合、復号器は最高の品質を再構成することができる。
図２に示すように、多重記述符号器２０２が、原信号を、ストリーム１およびストリーム２という２個のストリームに符号化する。
図２の例では、３個の復号器２０４、２０６、および２０８がある。
復号器２０４、２０６、および２０８のそれぞれは、異なるビットストリームを受信する。
復号器１（２０４）はストリーム１のみを受信し、そのストリームを復号化して、使用可能なビデオを生成する。
復号器２（２０６）はストリーム２のみを受信し、そのストリームを復号化して、使用可能なビデオを生成する。
復号器３（２０８）はストリーム１および２の両方を受信し、両方のストリームを復号化して、復号器１（２０４）または復号器２（２０６）のいずれかよりも高品質のビデオを生成する。

ストリーミングメディア配信のための本発明の多重記述に基づく手法と、ストリーミングメディア配信のためのスケーラブルまたは階層符号化手法のような従来の手法との間には重大な相違がある。
すなわち、スケーラブルまたは階層符号化でもビデオが多重ビットストリームに符号化されるが、ベースレイヤビットストリームと呼ばれる１つのビットストリームが決定的に重要であり、使用可能な復号化メディアストリームを生成するために正しく受信されなければならない。
具体的には、ストリーミングメディア配信のための従来のスケーラブルまたは階層手法では、たとえベースレイヤビットストリーム以外のすべてのビットストリームが正しく受信されても、ベースレイヤビットストリームが正しく受信されなければそれらは本質的に無益であり、単一障害点を生成する。
本発明の多重記述に基づくストリーミングメディア配信はこの問題点を有していない。
というのは、いずれかの多重記述ビットストリームが受信される限り、それを復号化して使用可能な品質のビデオを生成することが可能であり、受信される多重記述ビットストリームが多くなるほど、復号化ビデオの品質が向上するからである。

ビデオのＭＤＣ符号化を達成するためのいくつかの異なる手法がある。
１つの手法は、異なるフレームを異なるストリームに独立に符号化するものである。
例えば、ビデオシーケンスの各フレームが、フレーム内符号化（例えばＪＰＥＧ、ＪＰＥＧ−２０００）、またはＩフレーム符号化のみを用いたビデオ符号化標準（例えばＭＰＥＧ−１／２／４、Ｈ．２６１／３）のいずれかのみを用いて、単一フレームとして（他のフレームとは独立に）符号化されてもよい。
そして、異なるフレームを異なるストリームで送信することができる。
例えば、すべての偶フレームをストリーム１で送信し、すべての奇フレームをストリーム２で送信してもよい。
各フレームが他のフレームとは独立に復号化可能であるので、各ビットストリームもまた他のビットストリームとは独立に復号化可能である。
この単純な形式のＭＤＣビデオ符号化は上記の特性を有するが、フレーム間符号化がないので圧縮に関してあまり効率的でない。

上記の特性を提供するとともに高圧縮を達成するＭＤＣビデオ符号化の好ましい実施形態が従来の特許で与えられている。
このＭＤＣビデオ符号化システムはバックチャネルを必要としないため、広範囲のアプリケーション（例えばブロードキャストまたはマルチキャスト）に適用することができる。
さらに、それはＭＰＥＧ−４バージョン２（ＮＥＷＰＲＥＤ有り）およびＨ．２６３バージョン２（ＲＰＳ有り）内で標準互換の拡張として適用することができるという魅力的な特性を有する。
したがって、いかなるＭＰＥＧ−４バージョン２復号器も生成されるビットストリームを復号化することができるが、従来の特許に提示されているような状態回復を実行するように設計された拡張型復号器では、エラー回復を改善することができる。
ＭＤＣビデオ符号化のこの好ましい実施形態が以下の議論を通じて仮定される。
しかし、上記と同じＭＤＣ特性を有する異なるビデオ圧縮アルゴリズムを代わりに使用してもよい。

以下は、本発明の種々の実施形態とともに使用されるパスダイバーシティの議論である。
インターネットのようなパケットネットワークを通じてのマルチメディア通信の場合を考える。
インターネットを通じての通信はしばしば輻輳およびパケット損失によって妨げられる。
重要な観察として、ネットワーク内のあるノードまたはパスが輻輳している一方、他のノードまたはパスが豊富な帯域を有している場合がある。
各パスの瞬間的品質を知り、その情報を用いて「最良」パスに沿ってパケットを送信すれば有利であろう（ちょうど交通情報を聴いてから仕事に出かけるように）。
しかしこれは、輻輳エリアが極めて急速に変動し得ることを含むいくつかの理由のために非常に困難である。

任意の時点でどのパスが使用するのに最良かを知ることはできないかもしれないが、それにもかかわらず適当なシステム設計を通じて、相当のパフォーマンス改善を達成することができる。
本発明の種々の実施形態はパスダイバーシティシステムを使用する。
これは、パケットのストリームが単一パスに沿って進むという既定の状況とは異なり、相異なるパスを通じてアプリケーションのパケットの相異なるサブセットを明示的に送信する。
同時に複数のパスを使用することによって、ある程度の平均化が起こり、エンドツーエンドアプリケーションは実質的に「平均の」パス挙動を見る。
一般的に、この平均パス挙動を見ることは、いずれかのランダムに選択された個別のパスの挙動を見ることよりも良好なパフォーマンスを提供する。
例えば、相異なるパス上で伝送される多重ストリームのすべてが同時に輻輳して損失を有する確率は、単一パスが輻輳する確率よりもはるかに小さい。
パスダイバーシティの利益は（１）アプリケーションが、個別パス上に存在するものよりも変動性の小さい通信品質を示す仮想的な平均パスを見ること、（２）バーストパケット損失が孤立パケット損失に変換されること、および（３）（パケットストリーム中のすべてのパケットが機能停止の持続時間中に失われるという）機能停止の確率が大幅に減少することである。
これらの利点は、パケット損失のあるマルチメディア通信パフォーマンスにいくつかの重要な利益を提供する。
以下で詳細に議論するように、本発明の種々の実施形態は、インターネット内の戦略的位置にある半インテリジェントノードを通るようにＭＤＣトラフィックをルーティングすることにより、インターネットのインフラストラクチャを活用しながら信頼性の改善されたサービスを提供する。

パスダイバーシティが無線ネットワークにも存在してよい。
本発明の種々の実施形態は、移動クライアントが複数の基地局と同時に通信することができるソフトハンドオフシステムを使用する。
このような場合、上記のパスダイバーシティの利益は無線環境でも実現される。

さらに、本発明の種々の実施形態とともに使用されるＭＤビデオ符号化およびパスダイバーシティは、たとえ別個に使用されても有益である。
例えば、ＭＤビデオ符号化は、たとえ単一パスを通じて送信される場合であっても改善された信頼性を提供することができる。
同様に、パスダイバーシティは、改善された特性を有する仮想チャネルを提供し、より簡易なシステム設計を可能にする。
しかし、一緒に使用される場合、ＭＤビデオ符号化およびパスダイバーシティは互いの能力を補完し、しかもある程度向上させる。
ＭＤビデオ符号化は、伝送システムが相異なるパスを通じて明示的に送信する独立に復号化可能な多重ビットストリームを提供し、伝送システムは、いかなる時点においても少なくとも１つのストリームが正しく受信される高い確率をビデオ復号器に提供する。
ＭＤビデオ符号化の好ましい一実施形態では、これによりビデオ復号器は、状態回復を実行して、破損したストリームを回復することができる。

次に、図３Ａと、図４のフローチャート４００とを参照すると、本発明の種々の実施形態によって使用される例示的ステップが示されている。
フローチャート４００は、本発明の諸プロセスを含む。
これらは、一実施形態では、コンピュータ可読かつコンピュータ実行可能な命令の制御下にあるプロセッサによって実行される。
コンピュータ可読かつコンピュータ実行可能な命令は、例えば図１のコンピュータ使用可能な揮発性メモリ１０６、コンピュータ使用可能な不揮発性メモリ１０８、および／またはデータストレージデバイス１１０のようなデータストレージ機能に存在する。
コンピュータ可読かつコンピュータ実行可能な命令は、例えば図１の中央処理装置１０４とともに、制御または動作のために使用される。

再び図３Ａを参照すると、本発明の一実施形態による、有線／無線ハイブリッド型ネットワークを通じて移動クライアントへストリーミングメディアを配信するシステム３００が示されている。
一実施形態では、図３Ａに示すように、システム３００は、１つまたは複数のサーバ（３０４ａ〜３０４ｅ）、１つまたは複数の無線基地局（３０６ａおよび３０６ｂ）、および１つまたは複数の移動クライアント（例えば携帯電話機３０２および／または個人情報端末（ＰＤＡ）３０８ａおよび３０８ｂ）からなる。
本発明のシステムは、図３Ａの実施形態に具体的に示すよりも多数の、または少数のコンポーネントを含んでもよい。
例として、常に必要とされるわけではないが、コンテンツサーバ３１０もまた図３Ａの実施形態のシステムの一部をなす。
重要なことであるが、以下の議論では、種々の実施形態において「サーバ」という用語は、コンピュータに機能的に類似するデバイス（例えば、計算能力、メモリ、および／または接続能力を有する）を包含することを意図している。
本出願で使用される定義による典型的サーバは、いかなるコンピュータ（例えば、メインフレーム、企業サーバ、パーソナルコンピュータ（ＰＣ）、ラップトップ、個人情報端末（ＰＤＡ）等）を含んでもよいが、それには限定はされない。
本発明の他の種々の実施形態では、「サーバ」という用語は、通常はコンピュータとみなされないが同様の能力を有するデバイスを包含することを意図している。
このような実施形態では、サーバは、例えば高性能携帯電話機からなる。

重要なことであるが、本発明の種々の実施形態の方法は、固定有線クライアントおよび／または移動無線クライアントに適用可能であることに留意すべきである。
具体的には、移動クライアントの場合は、固定クライアントの場合のさらに一般的な上位バージョンである。
例えば、移動クライアントの場合、ＭＤビットストリームはサーバまたはサーバ群によって１つまたは複数の基地局を通じて移動クライアントに提供される。
対照的に、対応する固定（有線）クライアントの場合は、代わりにサーバまたはサーバ群が基地局を必要とせずにＭＤビットストリームを固定クライアントに直接提供する。
したがって、以下の議論では、より一般的な上位の移動クライアントの場合を具体的に論ずる。
簡潔かつ明確にするため、固定クライアントの場合の重複する例は本明細書には提示しない。
しかし、ＭＤビットストリームがサーバまたはサーバ群から１つまたは複数の基地局により移動クライアントに提供される例において、固定クライアントの場合には、代わりにそのサーバまたはサーバ群が基地局を必要とせずにＭＤビットストリームを固定クライアントに提供することが当業者には理解されるであろう。
次に図３Ｂを参照すると、本発明の一実施形態による、ネットワーク（例えばインターネット）を通じて固定クライアントへストリーミングメディアを配信するシステム３５０が示されている。
一実施形態では、システム３５０は、１つまたは複数の固定クライアント（例えばパーソナルコンピュータ３５２および３５６）、１つまたは複数のサーバ（３０４ａ〜３０４ｅ）、コンテンツサーバ３１０からなる。
本実施形態では、固定クライアント３５２は有線リンク３５４経由でネットワーク３５１に結合する。
同様に、固定クライアント３５６は有線リンク３５８経由でネットワーク３５１に結合する。
本発明のシステムは、図３Ｂの実施形態に具体的に示すよりも多数の、または少数のコンポーネントを含んでもよい。
例として、常に必要とされるわけではないが、コンテンツサーバ３１０もまた図３Ｂの実施形態のシステムの一部をなす。
上記のように、以下の議論では、種々の実施形態において「サーバ」という用語は、コンピュータに機能的に類似するデバイス（例えば、計算能力、メモリ、および／または接続能力を有する）を包含することを意図している。
本出願で使用される定義による典型的サーバは、いかなるコンピュータ（例えば、メインフレーム、企業サーバ、パーソナルコンピュータ（ＰＣ）、ラップトップ、個人情報端末（ＰＤＡ）等）を含んでもよいが、それには限定はされない。
本発明の他の種々の実施形態では、「サーバ」という用語は、通常はコンピュータとみなされないが同様の能力を有するデバイスを包含することを意図している。
このような実施形態では、サーバは、例えば高性能携帯電話機からなる。

さらに、留意すべきであるが、本発明は、さまざまな有線および／または無線ネットワークのいずれで使用されることにも、その種々の組合せで使用されることにも適している。
例えば、本発明の実施形態は、以下のもので使用されることに適している：有線・有線ネットワーク（例えばクライアントへも有線接続を有する有線ネットワークインフラストラクチャ）；有線・無線ネットワーク（例えばクライアントへの無線接続を有する有線ネットワークインフラストラクチャ）；無線・有線ネットワーク（例えばクライアントへの有線接続を有する無線ネットワークインフラストラクチャ）；および無線・無線ネットワーク（例えばクライアントへも無線接続を有する無線ネットワークインフラストラクチャ）。
より具体的には、本発明の方法は、ノードのうちのいくつかがサーバとして作用し他がクライアントとして作用しているアドホック無線ネットワークの場合のように、すべてのリンクが無線である場合にも適用可能である。
なお、ノードは、同時にサーバ（情報のソース）およびクライアント（情報のシンク）の両方として作用してもよいことに留意されたい。
この後者の場合の興味深い例は、各ノードが、無線接続を有するラップトップまたはＰＤＡである場合である。
また、各携帯電話機が、無線／有線／無線の状況でＭＤストリームの送信機および受信機の両方として作用してもよいことに留意されたい。

次に、図３Ａおよび３Ｂを参照して、例えばＭＤビットストリームがサーバまたはサーバ群によって１つまたは複数の基地局（図３Ａに示すように）を通じて移動クライアントに提供されるという以下の議論において、対応する固定クライアントの場合は、代わりにサーバまたはサーバ群は基地局を必要とせずにＭＤビットストリームを固定クライアントに提供するであろう。
したがって、理解されるように、以下で記載される移動クライアントに基づく例および議論は、固定クライアントシステムにも同様に適用可能である。
すなわち、以下の移動クライアントに基づく例および議論は、移動クライアントシステムのみにおける適用可能性に本発明を限定することを意図していない。

次に、図４のフローチャート４００を参照すると、本発明の一実施形態により実行されるステップが示されている。
特定のステップが図４のフローチャート４００に開示されているが、このようなステップは例示である。
すなわち、本発明は、種々の他のステップまたは図４に記載されるステップの変形を実行することにも適している。
ステップ４０２で、本実施形態は、移動クライアントへストリーミングすべきデータを２個以上のＭＤストリームに符号化する。
一実施形態では、ストリーミングすべきデータはビデオシーケンスからなる。
上記のように、ＭＤストリームは、そのいかなるサブセットも、復号化されるストリームの数に応じた品質を有するメディアストリームに復号化可能であるという特性を有する。
本実施形態では、この符号化はリアルタイムで行われてもよく、または事前に行われてもよい。
後者の場合、事前に計算されたＭＤストリームがコンテンツサーバ（例えば図３のコンテンツサーバ３１０）に格納される。

さらにステップ４０２を参照すると、本実施形態では、本発明は（情報を複製するのではなく）補足情報を含む、特別に設計された多重記述メディアストリームを使用する。
具体的には、原メディアストリームは、多重記述アルゴリズムを用いていくつかの別個の記述すなわちビットストリームに符号化される。
これらの記述は、（１）各ビットストリームがクライアントにとって独立に有益である、および（２）各ビットストリームが補足情報を含む、という特性を有する。
例えば、２個の記述による多重記述符号化の場合を考える。
受信機がいずれかのビットストリームを受信する限り、受信機は使用可能なメディアストリームを復号化することができる。
受信機が両方のビットストリームを受信する場合、受信機は、いずれかのビットストリームのみを受信した場合よりも高品質のメディアストリームを復号化することができる。
さらに、ＭＤストリームは、これらの特性を提供しない従来の符号化アルゴリズムによって必要とされるよりもわずかに高い全ビットレートを必要とするだけで、これらの特性を提供する。
さらに、重要な点であるが、それぞれの記述すなわちＭＤビットストリームは同等に重要である。
すなわち、ベースレイヤビットストリームが決定的に重要であるという従来のスケーラブル方式とは対照的である。
すなわち、従来のスケーラブル方式では、ベースレイヤビットストリームが失われれば他のビットストリーム（複数可）は無益となる。
具体的には、本実施形態では各ＭＤビットストリームが同等に重要であるので、受信されなければならない単一のビットストリームというものがないという意味で単一障害点がない。

次に、ステップ４０４で、本実施形態は、ネットワークの全域にある中間ノードに配置されたいくつかの相異なるサーバ（例えば図３のサーバ３０４ａ〜３０４ｅ）にＭＤストリームを配布する。
ＭＤストリームを適切に配布することによって、本発明は、単一故障が全ストリームを無益にする可能性を排除する。
一実施形態では、本発明は、例えばルータまたは有線／無線ゲートウェイのそばにある、ネットワーク内の中間ノードに配置されたサーバを使用する。
本実施形態では、移動クライアント３０２、３０８ａ、および３０８ｂが無線基地局３０６ａおよび３０６ｂのカバレジエリアをローミングする時、サーバ３０４ａ〜３０４ｅが付近の無線基地局３０６ａおよび３０６ｂへＭＤストリームを送信する。
無線基地局３０６ａおよび３０６ｂは、有線ネットワークからデータを受信し、このデータを移動クライアント３０２、３０８ａおよび３０８ｂへ無線伝送する。
同様に、無線基地局３０６ａおよび３０６ｂは移動クライアント３０２、３０８ａおよび３０８ｂからデータを無線受信し、このデータを有線ネットワークへ伝送する。
このように、無線基地局３０６ａおよび３０６ｂは有線／無線ゲートウェイおよび無線送受信機を有するとみなすことができる。
さらに、以下で詳細に説明するように、本発明の種々の実施形態は、ユーザモビリティ、ネットワーク輻輳、およびサーバ負荷に基づいて最もアクセス可能なサーバから移動ユーザへＭＤストリームを動的に配信することによって、既存のネットワークの非保証・ベストエフォート性を克服する。

さらにステップ４０４を参照すると、本発明は、単一の故障が全ストリームの損失を引き起こさないことを保証する。
上記の例との関連では、ビデオシーケンスメディアストリームが２個のＭＤストリームに符号化され、それが、ネットワーク内の２つの異なる位置にある２つの異なるサーバに接続された２つの異なるストレージモジュールに配置されてもよい。
その際、有線ネットワーク内の２個の異なるパスを通じて２個のＭＤストリームを送信することができ、２つの異なる基地局が２つの異なる無線チャネルを通じてその２つのＭＤストリームを受信クライアントへ伝送してもよい。
このようにして、本実施形態は、多くの潜在的な単一障害点を排除するダイバーシティのレベルを達成する。

次にステップ４０６を参照すると、本実施形態は、移動クライアントのためのＭＤ符号化ストリームへのアクセスを提供する。
すなわち、ＭＤストリームは、例えば、要求側の携帯電話機、ＰＤＡ、ラップトップコンピュータ、またはこのような移動クライアントにとってアクセス可能である。

再びステップ４０２、４０４および４０６を参照して、本実施形態の動作の詳細な（例示のため図３を用いた）例を以下に提供する。
本例では、ビデオシーケンスメディアストリームが事前に２つのＭＤストリームに符号化されてから、両方ともコンテンツサーバ３１０に格納されている。
２つのＭＤストリームのうちの第１のものが、サーバ３０４ａに結合した第１ストレージモジュールに配置される。
２つのＭＤストリームのうちの第２のものが、サーバ３０４ｅに結合した第２ストレージモジュールに配置される。
ビデオシーケンスメディアストリームが、例えば携帯電話機３０２によって要求されると、２つのＭＤストリームのうちの第１のものが第１パスを通じて携帯電話機３０２へ送信され、２つのＭＤストリームのうちの第２のものが第２パスを通じて携帯電話機３０２へ送信される。
本例では、第１パスは、サーバ３０４ａから最終的に無線基地局３０６ａまでの有線ネットワーク接続を通じての伝送と、続いて無線基地局３０６ａから携帯電話機３０２へ要求されたビデオシーケンスの第１ＭＤストリームを無線伝送することを含む。
さらに、本例では、第２パスは、サーバ３０４ｅから最終的に無線基地局３０６ｂまでの有線ネットワーク接続を通じての伝送と、続いて無線基地局３０６ｂから携帯電話機３０２へ要求されたビデオシーケンスの第２ＭＤストリームを無線伝送することを含む。
本実施形態のＭＤストリームは、いかなる個数のストリームもシーケンスに復号化することが可能であり、復号化されたシーケンスの品質が復号化されたＭＤストリームの個数によって決まるという特性を有する。
具体的には、どの１つのＭＤストリームも、ベースライン品質データに復号化することができる。
どの２つのＭＤストリームも、改善された品質のデータに復号化することができる。
以下同様にして、最終的に、すべてのＭＤストリームを、最高品質のデータに復号化することができる。
したがって、前の例でたとえパスのうちの一方（例えば第２パス）に障害が起きても、携帯電話機３０２は依然として、ＭＤストリームの一方のみを受信することだけに基づいて、要求したビデオシーケンスを受信し利用することができる。

本例ではこのような第１および第２パスが記載されているが、本発明は、例えばシステム３００のネットワーク内に構築可能な数多くのパスとともに使用するのに適している。
さらに、本説明には２つのＭＤストリームが記載されているが、本発明は、２個より多くのＭＤストリームデータとともに使用するのにも適している。
このように、多重記述符号化およびシステムダイバーシティからなる本実施形態は、従来のリソース複製の手法よりも効率的な方法でシステム信頼性を改善する。
さらに、提案されるシステムは、従来のシステムを害するいくつかの単一障害点を排除することが可能である。
また、上記のように、明確かつ簡潔にするため、上記および以下の議論および例はビデオデータを具体的に扱う。
しかし、本発明は、ビデオデータとともに使用することのみに限定されない。
むしろ、本発明は、オーディオ系データ、音声系データ、画像系データ、グラフィックデータ、ウェブページ系データ等とともに使用するのにも適している。

このように、本発明は、固定クライアントおよび／または移動クライアントへメディアをストリーミングする方法およびシステムを提供する。
さらに、本発明は、固定クライアントおよび／または移動クライアントへメディアをストリーミングする方法およびシステムであって、従来のシステムよりも高い信頼性および効率を提供する方法およびシステムを提供する。

さらに、多重記述ビットストリームは、特定の状況に応じてさまざまな方法でサーバ上に配置されてもよい。
例えば、いくつかのサーバがすべての記述を格納する一方で、他のサーバが記述のサブセットのみを格納してもよい。
前者の例は、多数のクライアントへの高い接続性を有する中央サーバである。
中央サーバはすべての記述を格納し、それぞれの特定のクライアントへ、そのクライアントの特定の状況（例えば、クライアントが接続されている他のサーバ、およびこれらの他のサーバが提供することができる記述）に基づいて、記述の特定のサブセットを伝送することを適応的に選択してもよい。
他方、記述のサブセットのみが格納される他のサーバがあってもよい。
例えば、いくつかのサーバには第１記述のみが格納され、他のサーバには第２記述が格納されてもよい。
さまざまなサーバに記述を配布する戦略は、各サーバの計算およびストレージ能力、その接続性、通常のネットワーク条件、パスの分離性(disjointness)、ならびに配信すべき特定のメディアの人気のようないくつかの要因に依存してもよい。

特定のメディアシーケンスを符号化する場合、メディアは、各記述が同じビットレートを必要としほぼ同じ品質を提供するような多重記述に符号化されてもよい。
これは平衡多重記述符号化と呼ぶことができる。
別法として、メディアは、各記述が異なるビットレートを必要としてもよく、異なる品質を提供してもよいような多重記述に符号化されてもよい。
これは不平衡多重記述符号化と呼ぶことができる。
メディアを不平衡多重記述に符号化することは、不平衡動作が必要とされる状況、例えば、相異なるサーバで利用可能な不平衡ストレージや相異なるパス上に不平衡の利用可能帯域幅がある場合、において重要である。
平衡および不平衡の両方の多重記述符号化について、重要な特性は、クライアントが多重記述の何らかのサブセットを受信する限り、クライアントは使用可能な復号化メディアストリームを生成することができること、および受信する記述が多くなるほど、復号化メディアストリームの品質が向上することである。

メディアシーケンスは、最初に、各ビットストリームがほぼ同じビットレートを必要とするような平衡多重記述ビットストリームに符号化され、これらの多重記述ストリームがネットワーク内の相異なるサーバに適宜配置されてもよい。
その後、これらのＭＤビットストリームは、特定の時刻にクライアントにとって利用可能な帯域幅に適宜合わせるために、より低い異なるビットレートに符号変換されてもよい。
例えば、特定のクライアントが不平衡動作を要求する場合（例えばクライアントにとって利用可能な２つのパスがあり、各パスの利用可能帯域幅が異なる場合）、サーバは、多重記述ビットストリームを各パスで利用可能な適当なビットレートに符号変換することができる。
さらに、特定のパスに沿って利用可能なビットレートは時間の関数として変動するかもしれない。
その場合、そのパスに沿って多重記述ビットストリームを配信することを担当するサーバは、時間の関数としてそのパス上で利用可能なビットレートに合うようにビットストリームを適宜符号変換することができる。
このようにして、システムは、利用可能な帯域幅を効率的に使用して、クライアントにおける再構成品質を最大にすることができる。

相異なるサーバへの多重記述ビットストリームの配布は、相異なるＭＤビットストリームを特定のクライアントへ伝送するための相異なるサーバの割当てとともに、以下のようないくつかの要因に依存する：各サーバに対する要求、各サーバからクライアントへのパスに沿った利用可能帯域幅および損失、ならびに多重パスの分離性。

分離性の問題は従来技術では生じない。
というのは、従来の手法は、単一パスに沿って単一ビットストリームを伝送するからである。
提案される手法では、多重ビットストリームが複数のパスに沿って明示的に伝送される。
そこで、単一故障がすべての多重記述の損失につながる確率を最小にするために、これらの多重パスができるだけ分離していることが望ましい。
例えば、２つのＭＤビットストリームの場合、各ストリームがサーバからクライアントへの別個のパスを通じて送信される。
これらのパスのそれぞれはリンクのシーケンスからなり、これらの２つのパスは、いくつかの共有されていないリンクだけでなく、いくつかの共有されたリンクを含むかもしれない。
共有されたリンクを結合的(joint)リンクと呼び、共有されていないリンクを分離的(disjoint)リンクと呼ぶ。
２つのパス上のすべてのリンクが分離的であるのが理想的である。
しかし、実際にはこれは時には不可能なことがある。
主たる目標は、損失のある結合的リンクの数を最小にすることである。
例えば、ほぼ無損失のバックボーンリンクが結合的である、すなわち両方のパスによって共有されている場合、そのリンクが無損失であるので通信品質には影響しないであろう。
しかし、損失のある結合的リンクはシステムのパフォーマンスに悪影響を及ぼす可能性がある。
というのは、いかなる損失（例えば輻輳によって生じる）も、両方の記述の損失につながるかもしれないからである。
したがって、特定のクライアントが与えられた場合、システムは、そのクライアントへ２つの多重記述を送信するための２つのサーバを慎重に選択して、これらのサーバがクライアントとの間に最大限に分離的なパスを有するようにする。
さらに、ＭＤストリームをサーバのセットに配布するには、サーバと予想されるクライアントとの間の最大限に分離的なパスを可能にする分布を決定するために、各サーバと予想されるクライアントとの間の接続性だけでなく、クライアントの予想位置を考慮に入れる。
もちろん、この最適化においては、各リンク上の利用可能帯域幅および損失のような他の従来の尺度も考慮される。
これらの従来の尺度は、従来のシステムでも使用されるので、議論しない。

本発明の特定の実施形態の以上の説明は、例示および説明のために提示されている。
それらは網羅的であることや、開示された通りの形態に本発明を限定することを意図しておらず、明らかに、上記の教示に照らして多くの変更および変形が可能である。
実施形態は、本発明の原理およびその実際的応用を最も良く説明するために選択され記載されているので、当業者は、本発明および種々の実施形態を、考えられる特定の利用に適するように種々の変更を加えて最適に利用することができる。
本発明の範囲は添付の特許請求項およびその均等物によって画定されることが意図されている。

本発明の種々の実施形態による本方法のステップを実行するために使用される例示的コンピュータシステムの概略図である。 本発明の種々の実施形態により使用されるメディアデータの多重記述符号化を示す概略図である。 本発明の種々の実施形態により使用される移動クライアントシステムを示す概略図である。 本発明の種々の実施形態により使用される固定クライアントシステムを示す概略図である。 本発明の一実施形態により実行されるステップのフローチャートである。

符号の説明

１００・・・コンピュータシステム、
１０２・・・アドレス／データバス、
１０４・・・プロセッサ、
１０６・・・揮発性メモリ、
１０８・・・不揮発性メモリ、
１１０・・・データストレージデバイス、
１１２・・・任意の英数字入力デバイス、
１１４・・・任意のカーソル制御デバイス、
１１６・・・任意のディスプレイデバイス、
２０２・・・多重記述符号器、
２０４，２０６，２０８・・・復号器
３００・・・システム、
３０２・・・携帯電話機
３０４・・・サーバ
３０６・・・無線基地局
３１０・・・コンテンツサーバ
３５２，３５６・・・固定クライアント、
３５４，３５８・・・有線リンク、

Claims (10)

1. クライアント（３０２、３０８ａ、３０８ｂ）へメディアデータをストリーミングする方法（４００）であって、
   ａ）前記クライアントへストリーミングすべき前記メディアデータを第１多重記述ビットストリーム（ストリーム１）および第２多重記述ビットストリーム（ストリーム２）に符号化するステップ（４０２）と、
   ｂ）ネットワークの全域にある中間ノードに配置された複数のサーバ（３０４ａ〜３０４ｅ）に前記第１および第２多重記述ビットストリームを配布するステップ（４０４）であって、それによって、前記クライアントに複数の伝送パス経由で前記メディアデータへのアクセスを提供する（４０６）、配布するステップと
   を含むメディアデータをストリーミングする方法。
2. 前記ステップａ）は、
   前記クライアント（３０２、３０８ａ、３０８ｂ）へストリーミングすべき前記メディアデータを第１および第２の相補的な多重記述ビットストリームに符号化すること
   を含み、
   前記第１および第２の相補的な多重記述ビットストリーム（ストリーム１、ストリーム２）のそれぞれが、前記クライアントにとって独立に有用であり、
   前記第１および第２の相補的な多重記述ビットストリームのそれぞれが、相補的な情報を含む
   請求項１に記載のクライアントへメディアデータをストリーミングする方法。
3. 前記ステップａ）において、
   前記クライアント（３０２、３０８ａ、３０８ｂ）へストリーミングすべき前記メディアデータは、前記第１および第２の相補的な多重記述ビットストリームに符号化され、
   前記第１および第２の相補的な多重記述ビットストリーム（ストリーム１、ストリーム２）のそれぞれが、実質的に等しい重要性を有する
   請求項１に記載のクライアントへメディアデータをストリーミングする方法。
4. 前記ステップａ）は、
   前記クライアント（３０２、３０８ａ、３０８ｂ）へストリーミングすべき前記メディアデータを第１および第２の相補的な多重記述ビットストリーム（ストリーム１、ストリーム２）に符号化すること
   を含み、
   前記第１および第２の相補的な多重記述ビットストリームの両方が、従来の符号化アルゴリズムによって必要とされる全ビットレートの２倍の大きさの組合せビットレートを必要としない
   請求項１に記載のクライアントへメディアデータをストリーミングする方法。
5. 前記ステップａ）において、
   前記クライアント（３０２、３０８ａ、３０８ｂ）へストリーミングすべき前記メディアデータは、オーディオ系データ、音声系データ、画像系データ、グラフィックデータ、およびウェブページ系データを含む群から選択される
   請求項１に記載のクライアントへメディアデータをストリーミングする方法。
6. 前記ステップｂ）は、
   第１サーバ（３０４ａ〜３０４ｅ）に前記第１多重記述ビットストリーム（ストリーム１）を配布し、第２サーバ（３０４ａ〜３０４ｅ）に前記第２多重記述ビットストリーム（ストリーム２）を配布すること
   を含む請求項１に記載のクライアントへメディアデータをストリーミングする方法。
7. 前記クライアント（３０２、３０８ａ、３０８ｂ）は、移動クライアントである
   請求項１に記載のクライアントへメディアデータをストリーミングする方法。
8. 前記ステップｂ）は、
   有線／無線ゲートウェイに沿って配置されたサーバ（３０４ａ〜３０４ｅ）に前記第１および第２多重記述ビットストリーム（ストリーム１、ストリーム２）を配布すること
   を含む請求項７に記載のクライアントへメディアデータをストリーミングする方法。
9. 前記方法は、パスダイバーシティを達成するために前記メディアデータの完全な複製を必要としない
   請求項１に記載のクライアントへメディアデータをストリーミングする方法。
10. 前記方法は、有線（３５０）・有線（３５０）ネットワーク、有線（３５０）・無線（３００）ネットワーク、無線（３００）・有線（３５０）ネットワーク、および無線（３００）・無線（３００）ネットワークを含む群から選択されるネットワークシステムで実行される
    請求項１に記載のクライアントへメディアデータをストリーミングする方法。

Images