JP2008048398A - 多重記述ビットストリームを用いて固定クライアントまたは移動クライアントへストリーミングメディアを配信する方法およびシステム - Google Patents

多重記述ビットストリームを用いて固定クライアントまたは移動クライアントへストリーミングメディアを配信する方法およびシステム Download PDF

Info

Publication number
JP2008048398A
JP2008048398A JP2007197277A JP2007197277A JP2008048398A JP 2008048398 A JP2008048398 A JP 2008048398A JP 2007197277 A JP2007197277 A JP 2007197277A JP 2007197277 A JP2007197277 A JP 2007197277A JP 2008048398 A JP2008048398 A JP 2008048398A
Authority
JP
Japan
Prior art keywords
client
stream
media data
multiple description
streaming media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007197277A
Other languages
English (en)
Other versions
JP5118405B2 (ja
Inventor
John G Apostolopoulos
ジョン・ジー・アポストロポウロス
Sujoy Basu
スジョイ・バス
Jeane Chen
ジーン・チェン
Rajendra Kumar
ラジェンドラ・クマー
Sumit Roy
サミット・ロイ
Wai-Tan Tan
ワイタン・タン
Susie J Wee
スージー・ジェイ・ウィー
Tina Wong
ティナ・ウォン
Bo Shen
ボー・シェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2008048398A publication Critical patent/JP2008048398A/ja
Application granted granted Critical
Publication of JP5118405B2 publication Critical patent/JP5118405B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2181Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738Monitoring network characteristics, e.g. bandwidth, congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】固定クライアントおよび/または移動クライアントへメディアデータをストリーミングする。
【解決手段】クライアントへストリーミングすべきメディアデータを、互いに独立して復号されうる第1多重記述ビットストリームおよび第2多重記述ビットストリームに符号化する。次いで、ネットワークの全域にある中間ノードに配置された複数のサーバ(304a〜304e)に第1および第2多重記述ビットストリームを配布することにより、クライアントに複数の伝送パス(354、358)経由でメディアデータへのアクセスを提供する。
【選択図】図3B

Description

本発明は、ストリーミングメディアの分野に関する。特に、本発明は、多重記述ビットストリームおよび種々の形式のダイバーシティを用いて固定クライアントおよび/または移動クライアントへストリーミングデータを配信することに関する。
インターネットのような今日のネットワークは主として、デスクトップコンピュータおよびラップトップのような固定クライアントへ静的な非リアルタイムデータを配信するために設計されている。
移動クライアントへリアルタイムのストリーミングメディアを配信するシステムを開発することは、データのストリーミング性およびユーザのモビリティのゆえに、いっそう困難な一連の課題を提示している。
これらの課題は、多数のユーザにサービスを拡大するシステムスケーラビリティや、連続的で中断のないストリーミングメディアセッションを移動ユーザに提供するサービス品質およびフォールトトレランスのような問題を考える場合に、いっそう深まる。
さらに、この頑強で中断のないメディア配信セッションは、ベストエフォート型ではあるが非保証型のサービスレベルを提供するベストエフォート型ネットワークを通じて配信されなければならない。
これらの多くの課題を克服する解決法は、エンドツーエンドシステム全体での革新を必要とする。
現在、インターネットまたは無線リンクを通じてのビデオおよびオーディオ通信のようなマルチメディアアプリケーションは、制限された帯域幅と、これらのエラーを生じやすい環境を害する損失(例えばパケット損失またはビットエラー)とによって妨げられている。
これらのマルチメディアアプリケーションは、高圧縮性および高いエラー回復性を必要とするが、これらは概ね衝突する要求であるので、これらの品質を同時に達成することは困難である。
メディア通信システムの2つの重要な特性は、信頼性および効率である。
有線インフラストラクチャから無線移動クライアントへメディアをストリーミングする問題のために、それぞれが可能な障害点であるような一続きのオペレーションが実行される。
このようなシステムで信頼性を達成する従来の手法は、リソースを複製すること(例えば「ミラーサーバ」)または同じ情報を2度伝送することによるものである。
この手法は、バックアップを提供することによってある一定の障害の確率を減らすことができるが、2倍のリソースを必要とするので非効率的であり、依然として他の単一障害点の影響を受けやすい。
以下は、有線インフラストラクチャから無線移動クライアントへメディアをストリーミングする従来の手法およびそれに関連する問題のさらに具体的な例である。
有線インフラストラクチャから移動クライアントへメディアをストリーミングすることは、一続きのモジュールのオペレーションを伴う。
これらのモジュールのすべてが正しく作動すれば、通信は成功する。
しかし、これらのモジュールのいずれかが故障していれば、通信全体が不成功となる。
例えば、通常の通信は、サーバがストレージからメディアストリームを読み出し、有線ネットワークを通じて無線基地局へそれを送信し、次いで無線基地局が無線チャネルを通じて無線クライアントへストリームを伝送することを伴い得る。
このシステムは、少なくとも以下のモジュールの相互作用を含む:(1)ストレージ、(2)サーバ、(3)有線ネットワーク、(4)無線基地局、(5)無線セルにおける無線伝送。
すべてのモジュールが正しく作動すれば通信は成功するが、いずれかのモジュールが故障していれば通信は不成功となる。
信頼性を改善することを目指して、システム設計者は通常、単一障害点を除去するために冗長性を追加する。
例えば、1セットのハードウェアの代わりに、2セットのハードウェア、例えば同じ情報を含むように「ミラーリング」された2個のストレージモジュールあるいは2個のサーバ、を使用してもよい。
同様に、同じ情報が有線ネットワークで2度伝送されてもよい。
さらに、無線伝送は、CDMAおよびソフトハンドオフを仮定すると、通常、同じ情報の2つ以上の伝送を伴う。
これらの従来の手法のそれぞれにおいて、信頼性の改善は、情報および/またはリソースの複製によって達成されている。
これらの従来の複製方法は信頼性を改善するが、2倍のリソースを使用するので非効率的でもある。
さらに、これらの従来の手法は、単一故障が両方の複製を害し得る場合には無効であるかもしれない。
例えば、両方のストレージモジュール(および/または両方のサーバ)が同じ位置にある場合、停電や洪水があればその両方とも無益になるであろう。
同じ情報が有線ネットワークで2度伝送される場合、情報は通常、ネットワーク内の同じパスに沿って進む。
したがって、その同じパスが輻輳するか、または機能停止している場合、情報の複製は両方とも失われることになる。
要約すれば、信頼性を改善しようとして、従来の手法は情報およびリソースを複製する。
この従来の手法は、複製のゆえに非効率的であり、多くの場合には単一障害点が依然として存在し得るため無効でもある。
上記の議論の諸部分は、説明を簡単にするために、ビデオデータのストリーミングに関して従来技術の手法の欠点に具体的に言及しているが、このような欠点はビデオデータのストリーミングのみに限定されない。
むしろ、従来技術の問題点は、以下のものには限定されないが、オーディオ系データ、音声系データ、画像系データ、グラフィックデータ、ウェブページ系データ等を含む種々のタイプのメディアに及ぶ。
さらに、ストリーミングメディアは通常、メディアストリームが相対時間制約を伴って配信されなければならないという性質を共有し、したがってストリームの概念を共有する。
したがって、固定クライアントおよび/または移動クライアントへメディアをストリーミングする方法およびシステムが必要とされている。
さらに、固定クライアントおよび/または移動クライアントへメディアをストリーミングする方法およびシステムであって、従来のシステムよりも高い信頼性および効率を提供する方法およびシステムが必要とされている。
米国特許出願第09/784226号 米国特許出願第09/784223号 米国特許出願第09/400416号 米国特許出願第09/784223号
本発明は、固定クライアントおよび/または移動クライアントへメディアをストリーミングする方法およびシステムを提供する。
さらに、本発明は、固定クライアントおよび/または移動クライアントへメディアをストリーミングする方法およびシステムであって、従来のシステムよりも高い信頼性および効率を提供する方法およびシステムを提供する。
具体的には、一方法実施形態で、本発明は、クライアントへストリーミングすべきメディアデータを第1多重記述ビットストリームおよび第2多重記述ビットストリームに符号化することを含む。
次いで本実施形態は、ネットワークの全域にある中間ノードに配置された複数のサーバに第1および第2多重記述ビットストリームを配布することにより、クライアントに複数の伝送パス経由でメディアデータへのアクセスを提供することを含む。
本発明のこれらおよびその他の技術的利点は、種々の図面に示される好ましい実施形態の以下の詳細な説明を読んだ後には、当業者にとっておそらく明らかになるであろう。
添付図面は、本明細書に組み込まれその一部をなし、本発明の実施形態を図示しており、その説明とともに、本発明の原理を説明する役割を果たす。
本明細書中で参照される図面は、特に断らない限り、一定の縮尺で描かれているわけではないと解されるべきである。
以下、本発明の好ましい実施形態に詳細に言及する。
その例が添付図面に示されている。
本発明は好ましい実施形態に関連して説明されるが、それらは本発明をこれらの実施形態に限定することを意図しないことは理解されよう。
逆に、本発明は、添付の特許請求の範囲によって規定される本発明の精神および範囲内に含まれ得る代替物、変更および均等物を包含することを意図している。
さらに、本発明の以下の詳細な説明では、本発明の十分な理解を提供するために数多くの具体的詳細が記載される。
しかし、当業者には明らかなように、本発明はこれらの具体的詳細なしに実施されてもよい。
他の場合、既知の方法、手続き、コンポーネント、および回路は、本発明の態様を不必要に分かりにくくすることがないように、詳細には記載されていない。
しかし、留意すべきであるが、これらおよび類似のすべての用語は適当な物理量に関連づけられるべきものであり、これらの量に付けられた単に便宜的なラベルである。
以下の議論から明らかなように、特に別段の断りがない限り、本発明全体を通じて、「符号化する」、「伝送する」、「格納する」、「配布する」等のような用語を利用する議論は、コンピュータシステム等の電子的コンピューティングデバイスの作用およびプロセスを指すと理解される。
コンピュータシステム等の電子的コンピューティングデバイスは、コンピュータシステムのレジスタおよびメモリ内の物理(電子的)量として表現されるデータを操作して、コンピュータシステムメモリもしくはレジスタまたは他のそのような情報ストレージ、伝送、もしくはディスプレイデバイス内の物理量として同様に表現される他のデータに変換する。
また、本発明は、例えば光および機械的コンピュータのような他のコンピュータシステムの使用にも適している。
本発明のコンピュータシステム環境
次に図1を参照する。
本方法およびシステムの各部分は、例えばコンピュータシステムのコンピュータ使用可能媒体に存在するコンピュータ可読かつコンピュータ実行可能な命令からなる。
図1は、本発明の一実施形態により使用される例示的コンピュータシステム100を示している。
理解されるように、図1のシステム100は単に例示であり、本発明は、汎用ネットワークコンピュータシステム、組込みコンピュータシステム、ルータ、スイッチ、サーバデバイス、クライアントデバイス、種々の中間デバイス/ノード、スタンドアロン型コンピュータシステム等を含むいくつもの多様なコンピュータシステム上で、またはその内部で動作することができる。
さらに、図1のコンピュータシステム100は、例えばフロッピー(登録商標)ディスク、コンパクトディスク等のようなコンピュータ可読媒体が結合することに適応している。
このようなコンピュータ可読媒体は、明確にするために図1ではコンピュータシステム100に結合して図示されてはいない。
さらに、本実施形態の各部分は、例えば携帯電話機、個人情報端末(PDA)、ラップトップコンピュータ、ページャ等のような種々の移動クライアントとともに動作するのにも適している。
図1のシステム100は、情報を通信するためのアドレス/データバス102と、バス102に結合し情報および命令を処理する中央処理装置104とを含む。
中央処理装置104は、80x86ファミリのマイクロプロセッサであってよい。
また、システム100は、バス102に結合し中央処理装置104のための情報および命令を格納するコンピュータ使用可能な揮発性メモリ106、例えばランダムアクセスメモリ(RAM)と、バス102に結合し中央処理装置104のための静的な情報および命令を格納するコンピュータ使用可能な不揮発性メモリ108、例えば読み出し専用メモリ(ROM)と、バス102に結合し情報および命令を格納するデータストレージユニット110(例えば、磁気または光ディスクおよびディスクドライブ)のような、データストレージ機能も含む。
また、本発明のシステム100は、バス102に結合し中央処理装置104へ情報およびコマンド選択を通信する英数字およびファンクションキーを含む任意の英数字入力デバイス112も含む。
また、システム100は、バス102に結合し中央処理装置104へユーザ入力情報およびコマンド選択を通信する任意のカーソル制御デバイス114も任意に含む。
また、本実施形態のシステム100は、バス102に結合し情報を表示する任意のディスプレイデバイス116も含む。
さらに図1を参照すると、図1の任意のディスプレイデバイス116は、ユーザにとって認識可能なグラフィック画像および英数字を生成するのに適した液晶デバイス、ブラウン管等のディスプレイデバイスであってよい。
任意のカーソル制御デバイス114は、コンピュータユーザが、ディスプレイデバイス116のディスプレイ画面上の可視シンボル(カーソル)の2次元移動を動的に通知することを可能にする。
トラックボール、マウス、タッチパッド、ジョイスティックまたは所与の方向もしくは変位方式の移動を通知することが可能な英数字入力デバイス112上の特殊キーを含めて、カーソル制御デバイス114の多くの実施態様が当技術分野で既知である。
別法として、理解されるように、カーソルは、特殊キーおよびキーシーケンスコマンドを用いて英数字入力デバイス112からの入力を通じて指示および/または駆動されてもよい。
また、本発明は、例えば音声コマンドのような他の手段によりカーソルを動かすことにも適している。
本発明のさらに詳細な議論を以下で行う。
固定および/または移動クライアントへメディアを高い信頼性で効率的にストリーミングする一般的方法およびシステム
概要として、本発明は、固定および/または移動クライアントへメディアをストリーミングする方法およびシステムであって、(従来の手法で使用される複製情報とは異なり)補足情報を使用することによって効率の改善を達成する方法およびシステムを提供する。
さらに、本発明は、固定および/または移動クライアントへメディアをストリーミングする方法およびシステムであって、種々の形式のダイバーシティを用いて単一障害点を避けることによって信頼性を改善する方法およびシステムを提供する。
明確かつ簡潔にするため、以下の議論および例はビデオデータを具体的に扱う。
しかし、本発明は、ビデオデータとともに使用することのみには限定されない。
むしろ、本発明は、オーディオ系データ、音声系データ、画像系データ、ウェブページ系データ、グラフィックデータ等とともに使用するのにも適している。
もちろん、バッファリングおよびダウンロードが許容され、種々の程度のバッファリングを本システムに対応させることができる。
したがって、本システムは、ライブ型およびバッファリング型の両方のメディアストリームをサポートする。
さらに、すべてのこれらのメディアタイプは、本明細書で説明される多重記述ビットストリームの特性を有するように符号化されることが可能であることに留意されたい。
ストリーミングメディアを高い信頼性で配信する1つの手法が、1999年9月21日にJ. G. Apostolopoulosにより出願された「Video Communication Using Multiple Streams」と題する権利者同一の同時係属中の米国特許出願第09/400,416号に開示されている。
ストリーミングメディアを高い信頼性で配信するもう1つの手法が、2001年1月19日にJ. G. Apostolopoulos他により出願された「Method and System for Packet Communication Employing Path Diversity」と題する権利者同一の同時係属中の米国特許出願第09/784,226号に開示されている。
ストリーミングメディアを高い信頼性で配信するさらにもう1つの手法が、2001年1月19日にJ. G. Apostolopoulosにより出願された「Video Communication System Employing Multiple State Encoding and Path Diversity」と題する権利者同一の同時係属中の米国特許出願第09/784,223号に開示されている。
米国特許出願第09/400,416号、米国特許出願第09/784,226号、および米国特許出願第09/784,223号はそれぞれ参照により背景資料として本明細書に援用される。
これらの特許出願は、高い圧縮効率を保持しながら、損失のあるパケットネットワークを通じて高い信頼性でビデオ通信を行うシステムに関する。
従来技術の各部分は、2つのシステム、すなわち、(1)多重記述ビデオ符号化システム、および(2)パスダイバーシティ伝送システム、からなっていた。
次に図2を参照すると、本発明の種々の実施形態とともに使用されるメディアデータの多重記述符号化を示す概略図が示されている。
多重記述符号化(MDC)とは、圧縮の一形式であって、その目標は、入来信号をいくつかの別個のビットストリームに符号化することである。
多重ビットストリームはしばしば多重記述と呼ばれる。
これらの別個のビットストリームは、すべて互いに独立に復号化可能であるという特性を有する。
具体的には、復号器がいずれかの単一のビットストリームを受信すれば、復号器は(他のいずれのビットストリームへのアクセスも必要とせずに)そのビットストリームを復号化して有益な信号を生成することができる。
MDCは、正確に受信されるビットストリームが多くなるほど復号化信号の品質が向上するというさらなる特性を有する。
例えば、ビデオがMDCにより全部でN個のストリームに符号化されると仮定する。
復号器がこれらのN個のストリームのいずれかを受信する限り、復号器はそのビデオの有益なバージョンを復号化することができる。
復号器が2個のストリームを受信すれば、復号器は、ストリームのうちの1つのみを受信する場合に比べてそのビデオの向上したバージョンを復号化することができる。
この品質向上は、受信機がN個のすべてのストリームを受信するまで続き、その場合、復号器は最高の品質を再構成することができる。
図2に示すように、多重記述符号器202が、原信号を、ストリーム1およびストリーム2という2個のストリームに符号化する。
図2の例では、3個の復号器204、206、および208がある。
復号器204、206、および208のそれぞれは、異なるビットストリームを受信する。
復号器1(204)はストリーム1のみを受信し、そのストリームを復号化して、使用可能なビデオを生成する。
復号器2(206)はストリーム2のみを受信し、そのストリームを復号化して、使用可能なビデオを生成する。
復号器3(208)はストリーム1および2の両方を受信し、両方のストリームを復号化して、復号器1(204)または復号器2(206)のいずれかよりも高品質のビデオを生成する。
ストリーミングメディア配信のための本発明の多重記述に基づく手法と、ストリーミングメディア配信のためのスケーラブルまたは階層符号化手法のような従来の手法との間には重大な相違がある。
すなわち、スケーラブルまたは階層符号化でもビデオが多重ビットストリームに符号化されるが、ベースレイヤビットストリームと呼ばれる1つのビットストリームが決定的に重要であり、使用可能な復号化メディアストリームを生成するために正しく受信されなければならない。
具体的には、ストリーミングメディア配信のための従来のスケーラブルまたは階層手法では、たとえベースレイヤビットストリーム以外のすべてのビットストリームが正しく受信されても、ベースレイヤビットストリームが正しく受信されなければそれらは本質的に無益であり、単一障害点を生成する。
本発明の多重記述に基づくストリーミングメディア配信はこの問題点を有していない。
というのは、いずれかの多重記述ビットストリームが受信される限り、それを復号化して使用可能な品質のビデオを生成することが可能であり、受信される多重記述ビットストリームが多くなるほど、復号化ビデオの品質が向上するからである。
ビデオのMDC符号化を達成するためのいくつかの異なる手法がある。
1つの手法は、異なるフレームを異なるストリームに独立に符号化するものである。
例えば、ビデオシーケンスの各フレームが、フレーム内符号化(例えばJPEG、JPEG−2000)、またはIフレーム符号化のみを用いたビデオ符号化標準(例えばMPEG−1/2/4、H.261/3)のいずれかのみを用いて、単一フレームとして(他のフレームとは独立に)符号化されてもよい。
そして、異なるフレームを異なるストリームで送信することができる。
例えば、すべての偶フレームをストリーム1で送信し、すべての奇フレームをストリーム2で送信してもよい。
各フレームが他のフレームとは独立に復号化可能であるので、各ビットストリームもまた他のビットストリームとは独立に復号化可能である。
この単純な形式のMDCビデオ符号化は上記の特性を有するが、フレーム間符号化がないので圧縮に関してあまり効率的でない。
上記の特性を提供するとともに高圧縮を達成するMDCビデオ符号化の好ましい実施形態が従来の特許で与えられている。
このMDCビデオ符号化システムはバックチャネルを必要としないため、広範囲のアプリケーション(例えばブロードキャストまたはマルチキャスト)に適用することができる。
さらに、それはMPEG−4バージョン2(NEWPRED有り)およびH.263バージョン2(RPS有り)内で標準互換の拡張として適用することができるという魅力的な特性を有する。
したがって、いかなるMPEG−4バージョン2復号器も生成されるビットストリームを復号化することができるが、従来の特許に提示されているような状態回復を実行するように設計された拡張型復号器では、エラー回復を改善することができる。
MDCビデオ符号化のこの好ましい実施形態が以下の議論を通じて仮定される。
しかし、上記と同じMDC特性を有する異なるビデオ圧縮アルゴリズムを代わりに使用してもよい。
以下は、本発明の種々の実施形態とともに使用されるパスダイバーシティの議論である。
インターネットのようなパケットネットワークを通じてのマルチメディア通信の場合を考える。
インターネットを通じての通信はしばしば輻輳およびパケット損失によって妨げられる。
重要な観察として、ネットワーク内のあるノードまたはパスが輻輳している一方、他のノードまたはパスが豊富な帯域を有している場合がある。
各パスの瞬間的品質を知り、その情報を用いて「最良」パスに沿ってパケットを送信すれば有利であろう(ちょうど交通情報を聴いてから仕事に出かけるように)。
しかしこれは、輻輳エリアが極めて急速に変動し得ることを含むいくつかの理由のために非常に困難である。
任意の時点でどのパスが使用するのに最良かを知ることはできないかもしれないが、それにもかかわらず適当なシステム設計を通じて、相当のパフォーマンス改善を達成することができる。
本発明の種々の実施形態はパスダイバーシティシステムを使用する。
これは、パケットのストリームが単一パスに沿って進むという既定の状況とは異なり、相異なるパスを通じてアプリケーションのパケットの相異なるサブセットを明示的に送信する。
同時に複数のパスを使用することによって、ある程度の平均化が起こり、エンドツーエンドアプリケーションは実質的に「平均の」パス挙動を見る。
一般的に、この平均パス挙動を見ることは、いずれかのランダムに選択された個別のパスの挙動を見ることよりも良好なパフォーマンスを提供する。
例えば、相異なるパス上で伝送される多重ストリームのすべてが同時に輻輳して損失を有する確率は、単一パスが輻輳する確率よりもはるかに小さい。
パスダイバーシティの利益は(1)アプリケーションが、個別パス上に存在するものよりも変動性の小さい通信品質を示す仮想的な平均パスを見ること、(2)バーストパケット損失が孤立パケット損失に変換されること、および(3)(パケットストリーム中のすべてのパケットが機能停止の持続時間中に失われるという)機能停止の確率が大幅に減少することである。
これらの利点は、パケット損失のあるマルチメディア通信パフォーマンスにいくつかの重要な利益を提供する。
以下で詳細に議論するように、本発明の種々の実施形態は、インターネット内の戦略的位置にある半インテリジェントノードを通るようにMDCトラフィックをルーティングすることにより、インターネットのインフラストラクチャを活用しながら信頼性の改善されたサービスを提供する。
パスダイバーシティが無線ネットワークにも存在してよい。
本発明の種々の実施形態は、移動クライアントが複数の基地局と同時に通信することができるソフトハンドオフシステムを使用する。
このような場合、上記のパスダイバーシティの利益は無線環境でも実現される。
さらに、本発明の種々の実施形態とともに使用されるMDビデオ符号化およびパスダイバーシティは、たとえ別個に使用されても有益である。
例えば、MDビデオ符号化は、たとえ単一パスを通じて送信される場合であっても改善された信頼性を提供することができる。
同様に、パスダイバーシティは、改善された特性を有する仮想チャネルを提供し、より簡易なシステム設計を可能にする。
しかし、一緒に使用される場合、MDビデオ符号化およびパスダイバーシティは互いの能力を補完し、しかもある程度向上させる。
MDビデオ符号化は、伝送システムが相異なるパスを通じて明示的に送信する独立に復号化可能な多重ビットストリームを提供し、伝送システムは、いかなる時点においても少なくとも1つのストリームが正しく受信される高い確率をビデオ復号器に提供する。
MDビデオ符号化の好ましい一実施形態では、これによりビデオ復号器は、状態回復を実行して、破損したストリームを回復することができる。
次に、図3Aと、図4のフローチャート400とを参照すると、本発明の種々の実施形態によって使用される例示的ステップが示されている。
フローチャート400は、本発明の諸プロセスを含む。
これらは、一実施形態では、コンピュータ可読かつコンピュータ実行可能な命令の制御下にあるプロセッサによって実行される。
コンピュータ可読かつコンピュータ実行可能な命令は、例えば図1のコンピュータ使用可能な揮発性メモリ106、コンピュータ使用可能な不揮発性メモリ108、および/またはデータストレージデバイス110のようなデータストレージ機能に存在する。
コンピュータ可読かつコンピュータ実行可能な命令は、例えば図1の中央処理装置104とともに、制御または動作のために使用される。
再び図3Aを参照すると、本発明の一実施形態による、有線/無線ハイブリッド型ネットワークを通じて移動クライアントへストリーミングメディアを配信するシステム300が示されている。
一実施形態では、図3Aに示すように、システム300は、1つまたは複数のサーバ(304a〜304e)、1つまたは複数の無線基地局(306aおよび306b)、および1つまたは複数の移動クライアント(例えば携帯電話機302および/または個人情報端末(PDA)308aおよび308b)からなる。
本発明のシステムは、図3Aの実施形態に具体的に示すよりも多数の、または少数のコンポーネントを含んでもよい。
例として、常に必要とされるわけではないが、コンテンツサーバ310もまた図3Aの実施形態のシステムの一部をなす。
重要なことであるが、以下の議論では、種々の実施形態において「サーバ」という用語は、コンピュータに機能的に類似するデバイス(例えば、計算能力、メモリ、および/または接続能力を有する)を包含することを意図している。
本出願で使用される定義による典型的サーバは、いかなるコンピュータ(例えば、メインフレーム、企業サーバ、パーソナルコンピュータ(PC)、ラップトップ、個人情報端末(PDA)等)を含んでもよいが、それには限定はされない。
本発明の他の種々の実施形態では、「サーバ」という用語は、通常はコンピュータとみなされないが同様の能力を有するデバイスを包含することを意図している。
このような実施形態では、サーバは、例えば高性能携帯電話機からなる。
重要なことであるが、本発明の種々の実施形態の方法は、固定有線クライアントおよび/または移動無線クライアントに適用可能であることに留意すべきである。
具体的には、移動クライアントの場合は、固定クライアントの場合のさらに一般的な上位バージョンである。
例えば、移動クライアントの場合、MDビットストリームはサーバまたはサーバ群によって1つまたは複数の基地局を通じて移動クライアントに提供される。
対照的に、対応する固定(有線)クライアントの場合は、代わりにサーバまたはサーバ群が基地局を必要とせずにMDビットストリームを固定クライアントに直接提供する。
したがって、以下の議論では、より一般的な上位の移動クライアントの場合を具体的に論ずる。
簡潔かつ明確にするため、固定クライアントの場合の重複する例は本明細書には提示しない。
しかし、MDビットストリームがサーバまたはサーバ群から1つまたは複数の基地局により移動クライアントに提供される例において、固定クライアントの場合には、代わりにそのサーバまたはサーバ群が基地局を必要とせずにMDビットストリームを固定クライアントに提供することが当業者には理解されるであろう。
次に図3Bを参照すると、本発明の一実施形態による、ネットワーク(例えばインターネット)を通じて固定クライアントへストリーミングメディアを配信するシステム350が示されている。
一実施形態では、システム350は、1つまたは複数の固定クライアント(例えばパーソナルコンピュータ352および356)、1つまたは複数のサーバ(304a〜304e)、コンテンツサーバ310からなる。
本実施形態では、固定クライアント352は有線リンク354経由でネットワーク351に結合する。
同様に、固定クライアント356は有線リンク358経由でネットワーク351に結合
する。
本発明のシステムは、図3Bの実施形態に具体的に示すよりも多数の、または少数のコンポーネントを含んでもよい。
例として、常に必要とされるわけではないが、コンテンツサーバ310もまた図3Bの実施形態のシステムの一部をなす。
上記のように、以下の議論では、種々の実施形態において「サーバ」という用語は、コンピュータに機能的に類似するデバイス(例えば、計算能力、メモリ、および/または接
続能力を有する)を包含することを意図している。
本出願で使用される定義による典型的サーバは、いかなるコンピュータ(例えば、メイ
ンフレーム、企業サーバ、パーソナルコンピュータ(PC)、ラップトップ、個人情報端末(PDA)等)を含んでもよいが、それには限定はされない。
本発明の他の種々の実施形態では、「サーバ」という用語は、通常はコンピュータとみなされないが同様の能力を有するデバイスを包含することを意図している。
このような実施形態では、サーバは、例えば高性能携帯電話機からなる。
さらに、留意すべきであるが、本発明は、さまざまな有線および/または無線ネットワークのいずれで使用されることにも、その種々の組合せで使用されることにも適している。
例えば、本発明の実施形態は、以下のもので使用されることに適している:有線・有線ネットワーク(例えばクライアントへも有線接続を有する有線ネットワークインフラストラクチャ);有線・無線ネットワーク(例えばクライアントへの無線接続を有する有線ネットワークインフラストラクチャ);無線・有線ネットワーク(例えばクライアントへの有線接続を有する無線ネットワークインフラストラクチャ);および無線・無線ネットワーク(例えばクライアントへも無線接続を有する無線ネットワークインフラストラクチャ
)。
より具体的には、本発明の方法は、ノードのうちのいくつかがサーバとして作用し他がクライアントとして作用しているアドホック無線ネットワークの場合のように、すべてのリンクが無線である場合にも適用可能である。
なお、ノードは、同時にサーバ(情報のソース)およびクライアント(情報のシンク)の両方として作用してもよいことに留意されたい。
この後者の場合の興味深い例は、各ノードが、無線接続を有するラップトップまたはPDAである場合である。
また、各携帯電話機が、無線/有線/無線の状況でMDストリームの送信機および受信機の両方として作用してもよいことに留意されたい。
次に、図3Aおよび3Bを参照して、例えばMDビットストリームがサーバまたはサーバ群によって1つまたは複数の基地局(図3Aに示すように)を通じて移動クライアントに提供されるという以下の議論において、対応する固定クライアントの場合は、代わりに
サーバまたはサーバ群は基地局を必要とせずにMDビットストリームを固定クライアントに提供するであろう。
したがって、理解されるように、以下で記載される移動クライアントに基づく例および議論は、固定クライアントシステムにも同様に適用可能である。
すなわち、以下の移動クライアントに基づく例および議論は、移動クライアントシステムのみにおける適用可能性に本発明を限定することを意図していない。
次に、図4のフローチャート400を参照すると、本発明の一実施形態により実行されるステップが示されている。
特定のステップが図4のフローチャート400に開示されているが、このようなステップは例示である。
すなわち、本発明は、種々の他のステップまたは図4に記載されるステップの変形を実行することにも適している。
ステップ402で、本実施形態は、移動クライアントへストリーミングすべきデータを2個以上のMDストリームに符号化する。
一実施形態では、ストリーミングすべきデータはビデオシーケンスからなる。
上記のように、MDストリームは、そのいかなるサブセットも、復号化されるストリームの数に応じた品質を有するメディアストリームに復号化可能であるという特性を有する。
本実施形態では、この符号化はリアルタイムで行われてもよく、または事前に行われてもよい。
後者の場合、事前に計算されたMDストリームがコンテンツサーバ(例えば図3のコンテンツサーバ310)に格納される。
さらにステップ402を参照すると、本実施形態では、本発明は(情報を複製するのではなく)補足情報を含む、特別に設計された多重記述メディアストリームを使用する。
具体的には、原メディアストリームは、多重記述アルゴリズムを用いていくつかの別個の記述すなわちビットストリームに符号化される。
これらの記述は、(1)各ビットストリームがクライアントにとって独立に有益である、および(2)各ビットストリームが補足情報を含む、という特性を有する。
例えば、2個の記述による多重記述符号化の場合を考える。
受信機がいずれかのビットストリームを受信する限り、受信機は使用可能なメディアストリームを復号化することができる。
受信機が両方のビットストリームを受信する場合、受信機は、いずれかのビットストリームのみを受信した場合よりも高品質のメディアストリームを復号化することができる。
さらに、MDストリームは、これらの特性を提供しない従来の符号化アルゴリズムによって必要とされるよりもわずかに高い全ビットレートを必要とするだけで、これらの特性を提供する。
さらに、重要な点であるが、それぞれの記述すなわちMDビットストリームは同等に重要である。
すなわち、ベースレイヤビットストリームが決定的に重要であるという従来のスケーラブル方式とは対照的である。
すなわち、従来のスケーラブル方式では、ベースレイヤビットストリームが失われれば他のビットストリーム(複数可)は無益となる。
具体的には、本実施形態では各MDビットストリームが同等に重要であるので、受信されなければならない単一のビットストリームというものがないという意味で単一障害点がない。
次に、ステップ404で、本実施形態は、ネットワークの全域にある中間ノードに配置されたいくつかの相異なるサーバ(例えば図3のサーバ304a〜304e)にMDストリームを配布する。
MDストリームを適切に配布することによって、本発明は、単一故障が全ストリームを無益にする可能性を排除する。
一実施形態では、本発明は、例えばルータまたは有線/無線ゲートウェイのそばにある、ネットワーク内の中間ノードに配置されたサーバを使用する。
本実施形態では、移動クライアント302、308a、および308bが無線基地局306aおよび306bのカバレジエリアをローミングする時、サーバ304a〜304eが付近の無線基地局306aおよび306bへMDストリームを送信する。
無線基地局306aおよび306bは、有線ネットワークからデータを受信し、このデータを移動クライアント302、308aおよび308bへ無線伝送する。
同様に、無線基地局306aおよび306bは移動クライアント302、308aおよび308bからデータを無線受信し、このデータを有線ネットワークへ伝送する。
このように、無線基地局306aおよび306bは有線/無線ゲートウェイおよび無線送受信機を有するとみなすことができる。
さらに、以下で詳細に説明するように、本発明の種々の実施形態は、ユーザモビリティ、ネットワーク輻輳、およびサーバ負荷に基づいて最もアクセス可能なサーバから移動ユーザへMDストリームを動的に配信することによって、既存のネットワークの非保証・ベストエフォート性を克服する。
さらにステップ404を参照すると、本発明は、単一の故障が全ストリームの損失を引き起こさないことを保証する。
上記の例との関連では、ビデオシーケンスメディアストリームが2個のMDストリームに符号化され、それが、ネットワーク内の2つの異なる位置にある2つの異なるサーバに
接続された2つの異なるストレージモジュールに配置されてもよい。
その際、有線ネットワーク内の2個の異なるパスを通じて2個のMDストリームを送信することができ、2つの異なる基地局が2つの異なる無線チャネルを通じてその2つのMDストリームを受信クライアントへ伝送してもよい。
このようにして、本実施形態は、多くの潜在的な単一障害点を排除するダイバーシティのレベルを達成する。
次にステップ406を参照すると、本実施形態は、移動クライアントのためのMD符号化ストリームへのアクセスを提供する。
すなわち、MDストリームは、例えば、要求側の携帯電話機、PDA、ラップトップコンピュータ、またはこのような移動クライアントにとってアクセス可能である。
再びステップ402、404および406を参照して、本実施形態の動作の詳細な(例示のため図3を用いた)例を以下に提供する。
本例では、ビデオシーケンスメディアストリームが事前に2つのMDストリームに符号化されてから、両方ともコンテンツサーバ310に格納されている。
2つのMDストリームのうちの第1のものが、サーバ304aに結合した第1ストレージモジュールに配置される。
2つのMDストリームのうちの第2のものが、サーバ304eに結合した第2ストレージモジュールに配置される。
ビデオシーケンスメディアストリームが、例えば携帯電話機302によって要求されると、2つのMDストリームのうちの第1のものが第1パスを通じて携帯電話機302へ送信され、2つのMDストリームのうちの第2のものが第2パスを通じて携帯電話機302へ送信される。
本例では、第1パスは、サーバ304aから最終的に無線基地局306aまでの有線ネットワーク接続を通じての伝送と、続いて無線基地局306aから携帯電話機302へ要求されたビデオシーケンスの第1MDストリームを無線伝送することを含む。
さらに、本例では、第2パスは、サーバ304eから最終的に無線基地局306bまでの有線ネットワーク接続を通じての伝送と、続いて無線基地局306bから携帯電話機302へ要求されたビデオシーケンスの第2MDストリームを無線伝送することを含む。
本実施形態のMDストリームは、いかなる個数のストリームもシーケンスに復号化することが可能であり、復号化されたシーケンスの品質が復号化されたMDストリームの個数によって決まるという特性を有する。
具体的には、どの1つのMDストリームも、ベースライン品質データに復号化することができる。
どの2つのMDストリームも、改善された品質のデータに復号化することができる。
以下同様にして、最終的に、すべてのMDストリームを、最高品質のデータに復号化することができる。
したがって、前の例でたとえパスのうちの一方(例えば第2パス)に障害が起きても、携帯電話機302は依然として、MDストリームの一方のみを受信することだけに基づいて、要求したビデオシーケンスを受信し利用することができる。
本例ではこのような第1および第2パスが記載されているが、本発明は、例えばシステム300のネットワーク内に構築可能な数多くのパスとともに使用するのに適している。
さらに、本説明には2つのMDストリームが記載されているが、本発明は、2個より多くのMDストリームデータとともに使用するのにも適している。
このように、多重記述符号化およびシステムダイバーシティからなる本実施形態は、従来のリソース複製の手法よりも効率的な方法でシステム信頼性を改善する。
さらに、提案されるシステムは、従来のシステムを害するいくつかの単一障害点を排除することが可能である。
また、上記のように、明確かつ簡潔にするため、上記および以下の議論および例はビデオデータを具体的に扱う。
しかし、本発明は、ビデオデータとともに使用することのみに限定されない。
むしろ、本発明は、オーディオ系データ、音声系データ、画像系データ、グラフィックデータ、ウェブページ系データ等とともに使用するのにも適している。
このように、本発明は、固定クライアントおよび/または移動クライアントへメディアをストリーミングする方法およびシステムを提供する。
さらに、本発明は、固定クライアントおよび/または移動クライアントへメディアをストリーミングする方法およびシステムであって、従来のシステムよりも高い信頼性および効率を提供する方法およびシステムを提供する。
さらに、多重記述ビットストリームは、特定の状況に応じてさまざまな方法でサーバ上に配置されてもよい。
例えば、いくつかのサーバがすべての記述を格納する一方で、他のサーバが記述のサブセットのみを格納してもよい。
前者の例は、多数のクライアントへの高い接続性を有する中央サーバである。
中央サーバはすべての記述を格納し、それぞれの特定のクライアントへ、そのクライアントの特定の状況(例えば、クライアントが接続されている他のサーバ、およびこれらの他のサーバが提供することができる記述)に基づいて、記述の特定のサブセットを伝送することを適応的に選択してもよい。
他方、記述のサブセットのみが格納される他のサーバがあってもよい。
例えば、いくつかのサーバには第1記述のみが格納され、他のサーバには第2記述が格納されてもよい。
さまざまなサーバに記述を配布する戦略は、各サーバの計算およびストレージ能力、その接続性、通常のネットワーク条件、パスの分離性(disjointness)、ならびに配信すべき特定のメディアの人気のようないくつかの要因に依存してもよい。
特定のメディアシーケンスを符号化する場合、メディアは、各記述が同じビットレートを必要としほぼ同じ品質を提供するような多重記述に符号化されてもよい。
これは平衡多重記述符号化と呼ぶことができる。
別法として、メディアは、各記述が異なるビットレートを必要としてもよく、異なる品質を提供してもよいような多重記述に符号化されてもよい。
これは不平衡多重記述符号化と呼ぶことができる。
メディアを不平衡多重記述に符号化することは、不平衡動作が必要とされる状況、例えば、相異なるサーバで利用可能な不平衡ストレージや相異なるパス上に不平衡の利用可能帯域幅がある場合、において重要である。
平衡および不平衡の両方の多重記述符号化について、重要な特性は、クライアントが多重記述の何らかのサブセットを受信する限り、クライアントは使用可能な復号化メディアストリームを生成することができること、および受信する記述が多くなるほど、復号化メディアストリームの品質が向上することである。
メディアシーケンスは、最初に、各ビットストリームがほぼ同じビットレートを必要とするような平衡多重記述ビットストリームに符号化され、これらの多重記述ストリームがネットワーク内の相異なるサーバに適宜配置されてもよい。
その後、これらのMDビットストリームは、特定の時刻にクライアントにとって利用可能な帯域幅に適宜合わせるために、より低い異なるビットレートに符号変換されてもよい。
例えば、特定のクライアントが不平衡動作を要求する場合(例えばクライアントにとって利用可能な2つのパスがあり、各パスの利用可能帯域幅が異なる場合)、サーバは、多重記述ビットストリームを各パスで利用可能な適当なビットレートに符号変換することができる。
さらに、特定のパスに沿って利用可能なビットレートは時間の関数として変動するかもしれない。
その場合、そのパスに沿って多重記述ビットストリームを配信することを担当するサーバは、時間の関数としてそのパス上で利用可能なビットレートに合うようにビットストリームを適宜符号変換することができる。
このようにして、システムは、利用可能な帯域幅を効率的に使用して、クライアントにおける再構成品質を最大にすることができる。
相異なるサーバへの多重記述ビットストリームの配布は、相異なるMDビットストリームを特定のクライアントへ伝送するための相異なるサーバの割当てとともに、以下のようないくつかの要因に依存する:各サーバに対する要求、各サーバからクライアントへのパスに沿った利用可能帯域幅および損失、ならびに多重パスの分離性。
分離性の問題は従来技術では生じない。
というのは、従来の手法は、単一パスに沿って単一ビットストリームを伝送するからである。
提案される手法では、多重ビットストリームが複数のパスに沿って明示的に伝送される。
そこで、単一故障がすべての多重記述の損失につながる確率を最小にするために、これらの多重パスができるだけ分離していることが望ましい。
例えば、2つのMDビットストリームの場合、各ストリームがサーバからクライアントへの別個のパスを通じて送信される。
これらのパスのそれぞれはリンクのシーケンスからなり、これらの2つのパスは、いくつかの共有されていないリンクだけでなく、いくつかの共有されたリンクを含むかもしれない。
共有されたリンクを結合的(joint)リンクと呼び、共有されていないリンクを分離的(disjoint)リンクと呼ぶ。
2つのパス上のすべてのリンクが分離的であるのが理想的である。
しかし、実際にはこれは時には不可能なことがある。
主たる目標は、損失のある結合的リンクの数を最小にすることである。
例えば、ほぼ無損失のバックボーンリンクが結合的である、すなわち両方のパスによっ
て共有されている場合、そのリンクが無損失であるので通信品質には影響しないであろう。
しかし、損失のある結合的リンクはシステムのパフォーマンスに悪影響を及ぼす可能性がある。
というのは、いかなる損失(例えば輻輳によって生じる)も、両方の記述の損失につながるかもしれないからである。
したがって、特定のクライアントが与えられた場合、システムは、そのクライアントへ2つの多重記述を送信するための2つのサーバを慎重に選択して、これらのサーバがクライアントとの間に最大限に分離的なパスを有するようにする。
さらに、MDストリームをサーバのセットに配布するには、サーバと予想されるクライアントとの間の最大限に分離的なパスを可能にする分布を決定するために、各サーバと予想されるクライアントとの間の接続性だけでなく、クライアントの予想位置を考慮に入れる。
もちろん、この最適化においては、各リンク上の利用可能帯域幅および損失のような他の従来の尺度も考慮される。
これらの従来の尺度は、従来のシステムでも使用されるので、議論しない。
本発明の特定の実施形態の以上の説明は、例示および説明のために提示されている。
それらは網羅的であることや、開示された通りの形態に本発明を限定することを意図しておらず、明らかに、上記の教示に照らして多くの変更および変形が可能である。
実施形態は、本発明の原理およびその実際的応用を最も良く説明するために選択され記載されているので、当業者は、本発明および種々の実施形態を、考えられる特定の利用に適するように種々の変更を加えて最適に利用することができる。
本発明の範囲は添付の特許請求項およびその均等物によって画定されることが意図されている。
本発明の種々の実施形態による本方法のステップを実行するために使用される例示的コンピュータシステムの概略図である。 本発明の種々の実施形態により使用されるメディアデータの多重記述符号化を示す概略図である。 本発明の種々の実施形態により使用される移動クライアントシステムを示す概略図である。 本発明の種々の実施形態により使用される固定クライアントシステムを示す概略図である。 本発明の一実施形態により実行されるステップのフローチャートである。
符号の説明
100・・・コンピュータシステム、
102・・・アドレス/データバス、
104・・・プロセッサ、
106・・・揮発性メモリ、
108・・・不揮発性メモリ、
110・・・データストレージデバイス、
112・・・任意の英数字入力デバイス、
114・・・任意のカーソル制御デバイス、
116・・・任意のディスプレイデバイス、
202・・・多重記述符号器、
204,206,208・・・復号器
300・・・システム、
302・・・携帯電話機
304・・・サーバ
306・・・無線基地局
310・・・コンテンツサーバ
352,356・・・固定クライアント、
354,358・・・有線リンク、

Claims (9)

  1. クライアント(302、308a、308b)へメディアデータをストリーミングする方法(400)であって、
    a)前記クライアントへストリーミングすべき前記メディアデータを、互いに独立して復号されうる第1多重記述ビットストリーム(ストリーム1)および第2多重記述ビットストリーム(ストリーム2)に符号化するステップ(402)と、
    b)前記クライアントが前記メディアデータを要求するとき、前記第1および第2の多重記述ビットストリーム(ストリーム1、ストリーム2)が、それぞれ異なるサーバから前記クライアントに伝送され、前記クライアントに複数の伝送パス経由で前記メディアデータへのアクセスを提供する(406)ように、ネットワークの全域にある中間ノードに配置された第1のサーバ(304a)に、前記第1多重記述ビットストリーム(ストリーム1)を配布および格納し、前記中間ノードに配置された第2のサーバ(304b)に、前記第2多重記述ビットストリーム(ストリーム2)を配布および格納する(404)ステップと
    を含むメディアデータをストリーミングする方法。
  2. 前記ステップa)は、
    前記クライアント(302、308a、308b)へストリーミングすべき前記メディアデータを第1および第2の相補的な多重記述ビットストリームに符号化すること
    を含み、
    前記第1および第2の相補的な多重記述ビットストリーム(ストリーム1、ストリーム2)のそれぞれが、前記クライアントにとって独立に有用であり、
    前記第1および第2の相補的な多重記述ビットストリームのそれぞれが、相補的な情報を含む
    請求項1に記載のクライアントへメディアデータをストリーミングする方法。
  3. 前記ステップa)において、
    前記クライアント(302、308a、308b)へストリーミングすべき前記メディアデータは、前記第1および第2の相補的な多重記述ビットストリームに符号化され、
    前記第1および第2の相補的な多重記述ビットストリーム(ストリーム1、ストリーム2)のそれぞれが等しい重要性を有する
    請求項1に記載のクライアントへメディアデータをストリーミングする方法。
  4. 前記ステップa)は、
    前記クライアント(302、308a、308b)へストリーミングすべき前記メディアデータを第1および第2の相補的な多重記述ビットストリーム(ストリーム1、ストリーム2)に符号化すること
    を含み、
    前記第1および第2の相補的な多重記述ビットストリームの両方が、従来の符号化アルゴリズムによって必要とされる全ビットレートの2倍の大きさのビットレートを必要としない
    請求項1に記載のクライアントへメディアデータをストリーミングする方法。
  5. 前記ステップa)において、
    前記クライアント(302、308a、308b)へストリーミングすべき前記メディアデータは、オーディオ系データ、音声系データ、画像系データ、グラフィックデータおよびウェブページ系データを含む群から選択される
    請求項1に記載のクライアントへメディアデータをストリーミングする方法。
  6. 前記クライアント(302、308a、308b)は、移動クライアントである
    請求項1に記載のクライアントへメディアデータをストリーミングする方法。
  7. 前記ステップb)は、
    有線/無線ゲートウェイに沿って配置されたサーバ(304a〜304e)に前記第1および第2多重記述ビットストリーム(ストリーム1、ストリーム2)を配布すること
    を含む請求項6に記載のクライアントへメディアデータをストリーミングする方法。
  8. 前記方法は、パスダイバーシティを達成するために前記メディアデータの完全な複製を必要としない
    請求項1に記載のクライアントへメディアデータをストリーミングする方法。
  9. 前記方法は、有線(350)・有線(350)ネットワーク、有線(350)・無線(300)ネットワーク、無線(300)・有線(350)ネットワーク、および無線(300)・無線(300)ネットワークを含む群から選択されるネットワークシステムで実行される
    請求項1に記載のクライアントへメディアデータをストリーミングする方法。
JP2007197277A 2001-07-03 2007-07-30 多重記述ビットストリームを用いて固定クライアントまたは移動クライアントへストリーミングメディアを配信する方法およびシステム Expired - Fee Related JP5118405B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/899,622 US20030009578A1 (en) 2001-07-03 2001-07-03 Method and system for delivering streaming media to fixed clients or mobile clients with multiple description bitstreams
US09/899,622 2001-07-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003511549A Division JP2005520362A (ja) 2001-07-03 2002-06-26 多重記述ビットストリームを用いて固定クライアントまたは移動クライアントへストリーミングメディアを配信する方法およびシステム

Publications (2)

Publication Number Publication Date
JP2008048398A true JP2008048398A (ja) 2008-02-28
JP5118405B2 JP5118405B2 (ja) 2013-01-16

Family

ID=25411306

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2003511549A Withdrawn JP2005520362A (ja) 2001-07-03 2002-06-26 多重記述ビットストリームを用いて固定クライアントまたは移動クライアントへストリーミングメディアを配信する方法およびシステム
JP2007197277A Expired - Fee Related JP5118405B2 (ja) 2001-07-03 2007-07-30 多重記述ビットストリームを用いて固定クライアントまたは移動クライアントへストリーミングメディアを配信する方法およびシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2003511549A Withdrawn JP2005520362A (ja) 2001-07-03 2002-06-26 多重記述ビットストリームを用いて固定クライアントまたは移動クライアントへストリーミングメディアを配信する方法およびシステム

Country Status (5)

Country Link
US (1) US20030009578A1 (ja)
EP (1) EP1410643B1 (ja)
JP (2) JP2005520362A (ja)
DE (1) DE60223147T2 (ja)
WO (1) WO2003005725A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011525315A (ja) * 2008-05-31 2011-09-15 コーヒレント・ロジックス・インコーポレーテッド クロス・ストリーム・アソシエーションによる移動体装置へのマルチメディア・ストリームの送信

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138576A1 (en) * 2001-03-21 2002-09-26 Schleicher Jorg Gregor Method and system for generating revenue in a peer-to-peer file delivery network
US7653552B2 (en) * 2001-03-21 2010-01-26 Qurio Holdings, Inc. Digital file marketplace
US20020155587A1 (en) 2001-04-20 2002-10-24 Sequenom, Inc. System and method for testing a biological sample
US8041803B2 (en) * 2001-09-26 2011-10-18 Qurio Holdings, Inc. Method and system for delivering files in digital file marketplace
US6973128B2 (en) * 2003-02-21 2005-12-06 Mitsubishi Electric Research Labs, Inc. Multi-path transmission of fine-granular scalability video streams
US8626944B2 (en) * 2003-05-05 2014-01-07 Hewlett-Packard Development Company, L.P. System and method for efficient replication of files
US7523217B2 (en) * 2003-07-15 2009-04-21 Hewlett-Packard Development Company, L.P. System and method having improved efficiency and reliability for distributing a file among a plurality of recipients
US7349906B2 (en) * 2003-07-15 2008-03-25 Hewlett-Packard Development Company, L.P. System and method having improved efficiency for distributing a file among a plurality of recipients
JP4314242B2 (ja) * 2003-09-10 2009-08-12 富士通株式会社 データ通信システム,データ通信方法,移動体通信端末及びアプリケーションサーバ
US8553611B2 (en) * 2004-01-30 2013-10-08 Hewlett-Packard Development Company, L.P. Systems and methods for multi-access point transmission of data using a plurality of access points
DE102004011706B4 (de) * 2004-03-10 2006-03-30 Infineon Technologies Ag Automatische Auswahl des Übertragungsstandards bei mobilen Funkempfängern
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
WO2006054249A1 (en) * 2004-11-17 2006-05-26 Koninklijke Philips Electronics, N.V. Robust wireless multimedia transmission in multiple in multiple out (mimo) system assisted by channel state information
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
US8625676B2 (en) * 2007-06-29 2014-01-07 Pai Kung Limited Liability Company Video bitstream decoding using least square estimates
US8352992B1 (en) * 2008-10-09 2013-01-08 Hewlett-Packard Development Company, L.P. Wireless media streaming
US8983397B2 (en) 2008-10-10 2015-03-17 Qualcomm Incorporated Method and apparatus for channel feedback by multiple description coding in a wireless communication system
CN102484729B (zh) * 2009-04-07 2016-08-24 Lg电子株式会社 广播发送器、广播接收器及其3d视频数据处理方法
US9137802B2 (en) * 2009-08-18 2015-09-15 Qualcomm Incorporated DL MU-MIMO operation in LTE-A
JP5742342B2 (ja) * 2011-03-18 2015-07-01 富士通株式会社 携帯端末装置および画像補正プログラム
US9001804B2 (en) * 2011-06-16 2015-04-07 Qualcomm Incorporated Sharing multi description coded content utilizing proximate helpers
US9131254B2 (en) * 2012-07-19 2015-09-08 Alcatel Lucent Cross layer coding for satellite mobile TV broadcast method and apparatus
FR3021833B1 (fr) * 2014-05-27 2018-06-01 Rizze Procede de verification des sources et des donnees video afferentes pour la diffusion en continu
KR102024515B1 (ko) * 2017-01-04 2019-09-24 미쓰비시덴키 가부시키가이샤 전송 장치 및 경로 추가 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11239134A (ja) * 1997-10-30 1999-08-31 Matsushita Electric Ind Co Ltd 分散型メディア伝送システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154247A (ja) * 1994-09-29 1996-06-11 Sanyo Electric Co Ltd 圧縮画像データ処理装置及び方法
US5778187A (en) * 1996-05-09 1998-07-07 Netcast Communications Corp. Multicasting method and apparatus
US5996022A (en) * 1996-06-03 1999-11-30 Webtv Networks, Inc. Transcoding data in a proxy computer prior to transmitting the audio data to a client
US20020007494A1 (en) * 1998-09-28 2002-01-17 Hodge Winston W. Interactive digital program material encoder and system
US6401085B1 (en) * 1999-03-05 2002-06-04 Accenture Llp Mobile communication and computing system and method
US6366888B1 (en) * 1999-03-29 2002-04-02 Lucent Technologies Inc. Technique for multi-rate coding of a signal containing information
US6611530B1 (en) * 1999-09-21 2003-08-26 Hewlett-Packard Development Company, L.P. Video communication using multiple streams
US7340764B2 (en) * 2000-01-26 2008-03-04 Sony Corporation Data transmission system
SE0001727L (sv) * 2000-05-10 2001-11-11 Global Ip Sound Ab Överföring över paketförmedlade nät
US20020040479A1 (en) * 2000-10-04 2002-04-04 Eric Ehrman Method and apparatus for streaming content via a network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11239134A (ja) * 1997-10-30 1999-08-31 Matsushita Electric Ind Co Ltd 分散型メディア伝送システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011525315A (ja) * 2008-05-31 2011-09-15 コーヒレント・ロジックス・インコーポレーテッド クロス・ストリーム・アソシエーションによる移動体装置へのマルチメディア・ストリームの送信

Also Published As

Publication number Publication date
EP1410643A2 (en) 2004-04-21
JP2005520362A (ja) 2005-07-07
DE60223147D1 (de) 2007-12-06
WO2003005725A3 (en) 2003-09-18
US20030009578A1 (en) 2003-01-09
JP5118405B2 (ja) 2013-01-16
EP1410643B1 (en) 2007-10-24
DE60223147T2 (de) 2008-05-15
WO2003005725A2 (en) 2003-01-16

Similar Documents

Publication Publication Date Title
JP5118405B2 (ja) 多重記述ビットストリームを用いて固定クライアントまたは移動クライアントへストリーミングメディアを配信する方法およびシステム
JP4808925B2 (ja) 固定および移動システムにおいてサーバに多重記述符号化メディアストリームを配布する方法
US6941378B2 (en) Method for assigning a streaming media session to a server in fixed and mobile streaming media systems
JP4713831B2 (ja) 移動ストリーミングメディアシステムにおいて無線基地局間でストリーミングメディアセッションをハンドオフする方法
JP4177757B2 (ja) 固定および移動ストリーミングメディアシステムにおいて多重記述メディアストリームを受信するシステムおよび方法
US6996618B2 (en) Method for handling off multiple description streaming media sessions between servers in fixed and mobile streaming media systems
WO2014063457A1 (en) Systems and methods for data representation and transportation
KR20050071568A (ko) Ip망 위에서 fgs 인코딩된 비디오를 스트리밍하기위해 에러 복구를 제공하기 위한 시스템 및 방법
US20060285149A1 (en) Image data distribution control method, device, system and program
WO2010108416A1 (zh) 转发可伸缩视频编码数据报文的方法、设备和通信系统
JP2007074413A (ja) コンテンツ配信装置およびコンテンツ受信装置、ならびにコンテンツ配信システム、コンピュータプログラム
Badhusha et al. Improved video streaming using MSVC and nonoverlapping zone routing multipath propagation over MANET s
Xu Efficient and scalable on-demand data streaming using uep codes
Klaghstan et al. Contact-based adaptive granularity for scalable video transmission in opportunistic networks
US20130042278A1 (en) Method and apparatus for providing video service
Vass et al. Efficient mobile video access in wireless environments
US20240056649A1 (en) Multisource media delivery systems and methods
Wagner et al. Adaptive and robust media streaming over multiple channels with bursty losses
Baldaniya et al. A Review on Multipath Protocol for Video Transmission
Yu Effective data and video file transfer in opportunistic networks
John Encoding Techniques for stable Video Streaming over heterogeneous wireless networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100722

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100813

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101209

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101217

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110121

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20120820

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121019

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees