JP2004529553A - 固定帯域幅ネットワークにおける複数の圧縮ビデオストリームのための適応帯域幅フットプリントマッチング - Google Patents

Abstract

固定帯域幅ネットワークの複数のメディアストリームの同時送信のための装置及び方法が開示される。このシステムは、中央ゲートウェイメディアサーバと多数のクライアントレシーバユニットを備える。入力メディアストリームは外部ソースから来て、圧縮フォーマットでクライアントレシーバユニットに送信される。ゲートウェイメディアサーバの状態機械は、ネットの帯域幅が飽和に近づいているかを検知する。一実施形態では、各ストリームのためのメディアユニットのスタートする時間を、そのユニットに対する予測送信時間に一致させることで、帯域幅の飽和の可能性が測定される。任意の一つの実際の送信時間がその予測送信時間を所定の閾値分超える場合、ネットワークは飽和に近いか、あるいはすでに飽和したと考えられ、状態機械が、帯域全体の利用を低下させるために、ターゲットとして少なくとも一つのストリームを選択する。クライアントレシーバユニットに関連するターゲットストリームが選択されると、ターゲットストリームによる送信されるデータ量は削減され、その結果より低いデータ送信レートが実現する。一実施形態では、データの精度を段階的に落として、データ量を削減し、結果としてより大きなデータ圧縮を可能とする。また、ターゲットストリームのデータの解像度を段階的に落とすようにしてもデータ量を削減できる。さらに精度と解像度の両方を段階的に落としてもよい。

Description

【技術分野】
【０００１】
本発明は、一般的にはメディアデータ伝送に関し、具体的には帯域幅の過負荷の低減に関する。
背景
複数のメディア再生システムは、例えばビデオ画像ストリームのような連続したメディアストリームを使用して、メディアコンテンツを出力する。しかしながら、生の連続したメディアストリームは、効率的的な送信、タイムリーな送信又は効率的でタイムリーな送信のために、しばしば高い伝送レートあるいは広い帯域幅を必要とする。多くの場合、必要な伝送レートを提供するための経費、労力又はその両方は、非常に高価なものとなる。この伝送レートの問題は多くの場合、コンテンツの連続性を利用して、高度に圧縮されたデータを生成する圧縮スキームによって解決されている。ビデオ用のＭＰＥＧ（Motion Picture Experts Group）及びその改良等の圧縮方法は、当該技術分野で周知である。ＭＰＥＧ及び同種の改良は、フレーム間の画像ブロック動き予測を用いてこのような圧縮を行っている。高品位テレビ（ＨＤＴＶ）に用いられる１９２０ｘ１０８０ｉの解像度のようなきわめて高い解像度を持っていると、このビデオ画像ストリームのデータ伝送レートは、圧縮後にも非常に高いものとなる。
【０００２】
このような高データ伝送レートによる一つの問題は、データの記憶である。十分長い時間の高解像度ビデオ画像ストリームを記録あるいは保存するには、かなり大量の記憶装置を必要とし、これらはきわめて高価なものとなる。高データ伝送レートによる他の問題は、多数の出力装置で、この送信を扱うことができないということである。例えば、低解像度のビデオ画像ストリームを見るためのディスプレイシステムは、そのような高解像度を表示できないかもしれない。さらに他の問題は、固定帯域幅あるいは固定容量をもつシステムにおける連続メディアストリーミングに限界があることである。例えば、複数の受信装置、出力装置又は受信・出力装置をもつローカルエリアネットワークは、たいてい固定帯域幅又は固定容量をもち、したがって複数の受信及び／又は出力装置を同時にサポートすることが、物理的に又はロジスティックに又は物理的かつロジスティックに不可能である。
【０００３】
上記のような限界を考慮すると、これらの限界の少なくともいくつかを克服する方法及び／又はシステムは、有効なものであることは明らかである。
実施形態の詳細な説明
本発明の少なくとも一実施形態によると、ディスプレイデータが受信される。所定基準が、ディスプレイデータの第１の表現によって満たされるか否かが判断される。ここでは、ディスプレイデータの第１の表現は、第２の複数表示装置に伝送される第１の複数ディスプレイストリームを含む。ディスプレイの第１の表現が、所定基準を満たさないとき、第１の複数ディスプレイストリームのうちの第１ディスプレイストリームが、第１の方法で圧縮される。本発明の利点は、メディアストリームの放送ネットワークがより効率的に実現されることである。本発明の他の利点は、伝送品質のデグラデーションを運用することによって、複数のメディアストリームが固定帯域幅ネットワークの複数のユーザに伝送可能となることである。
【０００４】
図１〜図４は、固定帯域幅がサポートされるネットワークにおける複数のデータストリームの送信システム及び方法を示す。このシステムには、中央ゲートウェイメディアサーバと、多数のクライアントレシーバユニットとが備わっている。入力されたデータストリームが、衛星放送送信機のような外部のソース、又は物理的ヘッドエンドから到来し、ある圧縮フォーマットでクライアントレシーバユニットに送信される。データストリームは、表示データ、グラフィックデータ、ディジタルデータ、アナログデータ、マルチメディアデータ等を含む。ゲートウェイメディアサーバ上にある適応帯域幅フットプリントマッチング状態機械は、そのネットワーク帯域幅が飽和状態に近いか否かを検知する。各ストリームに対するメディアユニットのスタート時間は、そのユニットに対する予測送信時間に合わせられる。実際の送信の一つでもその時間が、予測送信時間の所定の閾値を超えると、ネットワークは、飽和に近いか、又はすでに飽和していると考えられ、状態機械は、帯域幅全体の利用を減少させるために、ターゲットとして少なくとも１つのストリームを選択するプロセスを実行する。クライアントレシーバユニットと関連するターゲットストリームがいったん選択されると、ターゲットストリームは修正され、より少ないデータを送信し、その結果データ伝送レートはより低くなる。例えば、送信データの削減は、ターゲットストリームについて行われるデータ圧縮度の漸増により達成される。ただし、これによりターゲットストリームの解像度は低下する。データ圧縮度の増加だけでは、送信データを十分に削減することができず、帯域幅の飽和を避けることができない場合には、ターゲットストリームの解像度をさらに減少させることができる。例えば、ターゲットストリームがビデオストリームであれば、フレームサイズを縮小でき、フレーム毎のデータ量を減少させ、これによりデータ送信レートを減少させることができる。
【０００５】
図１を参照すると、適応帯域幅フットプリントマッチング（ＡＢＦＭ）方法が、３種類のデグラデーションを伴って、本発明の少なくとも一実施形態に従って記載されており、そこでは、デグラデーションは、所定のデータストリームに関連したデータ量及び／又はデータレートを減少させるために行われる。以下の記載では、説明を簡単にするために、ビデオストリームを用いるが、オーディオ、ディスプレイ、アナログ、デジタル、マルチメディア等の他のデータフォーマットが、様々の実施形態により使用可能である。定常状態１００において、多数のビデオストリームのうちの各ビデオストリームは、許容できるパラメータの範囲内で送信される。少なくとも一実施形態では、１フレームのビデオデータの送信が最大許容遅延時間を超えないで送信される場合、ビデオストリームは満足すべき状態で動作していると判断される。例えば、ＭＰＥＧのようなデジタルビデオストリームは、ストリーム内に埋め込まれたタイムスタンプ情報をもつことが多い。一定のフレーム間時間をもつフレーム列における第１フレームのスタート時間Ｔ０（そのフレームの送信が成功したとき）に加えて、このタイムスタンプ情報は、公知のフレーム間時間（フレーム列に対して一定である）を含み、到着する各フレームの予測時間を計算するために用いられる。例えば、一実施形態では、フレームＮに対するフレーム送信完了予測時間Ｔ’ｊは、Ｔ’ｊ（Ｎ）＝Ｔ０＋Ｎ×Ｄとして計算される。ここで、Ｄは、フレーム間時間である。この場合、ストリームＪの各フレームのスタートの送信予測時間が、許容範囲の期限内であり、最大許容遅延Ｄｊを超えていなければ、ストリームＪは、許容できるパラメータ内で動作しているとみなすことができる。許容できるパラメータは、管理者が、経験等に基づいて決定し、設定することができる。
【０００６】
望ましいＤｊ（すなわち最大許容遅延時間）は、様々な方法を用いて計算できる。一実施形態で使用される方法は、各クライアントレシーバユニットのバッファサイズを考慮し、クライアントレシーバユニットが、メディアコンテンツを失わずにデコードできることを保証する。許容範囲Ｄｊを計算する一般的な公式では、バッファサイズを計り、バッファを消費するすなわち満たすための、下限（時間の単位で）を予測する。できる限り十分にクライアントレシーバユニットのバッファを維持することが多くの場合望ましいので、一般的なＤｊは、Ｄｊ＝Ｔｊ（予測）／２として計算される。ここで、Ｔｊ（予測）は、ストリームｊに関連するレシーバユニットの入力バッファを完全に使用するのに必要な、より短い予測時間である。これに代えて、積極的なアプローチは、Ｔｊ（予測）／２を使用しないで、Ｔｊ（予測）の３／４を用い、堅実なアプローチは、Ｔｊ（予測）の１／３を採用する。Ｔｊ（予測）がレシーバ装置にとって小さく、このレシーバ装置がかなりの量のバッファスペースを提供することができないという場合は、堅実なアプローチがより適切である。一実施形態では、Ｔｊ（予測）は、ストリームＪの検知されたピーク（最高）データレート（バイト／秒で）と、ストリームＪを受信するすべての装置のうちの最小のバッファサイズ（バイトで）とを用いて得られる。この場合、Ｔｊ（予測）は、Ｂｐ／Ｒｐで評価される。ここで、Ｂｐは、装置ｐの受信バッファサイズであり、Ｒｐは、装置Ｐに関連するストリームＪのピークデータレートである。ここで装置ｐは、ストリームＪを受信し、かつ最小の受信バッファをもつ。これに代えて、Ｒｐを、中間（平均）値とピーク値との間の任意の値に関連付けることが可能である。一実施形態では、ピークデータレート（Ｒｐ）は、最大圧縮フレームに基づくことができる。受信クライアントユニットが、少なくとも一つの圧縮フレームに対して十分なバッファリング能力を持たない場合には、フレームを落とさずになめらかにビデオを表示させることはまず不可能である。
【０００７】
ビデオの１フレームのような、メディアの各ユニットの開始時点で、ＡＢＦＭ状態機械は、状態１１０に遷移している。状態１１０では、ストリームｊの各フレームのスタート時に、実際の送信時間Ｔｊ（実際のフレーム送信完了時間）が、予測送信時間Ｔ’ｊ（予測されたフレーム送信完了時間）比較される。一実施形態では、実際のフレーム送信完了時間が、予測時間の所望の許容範囲Ｄｊ未満である（すなわちＴｊ−Ｔ’ｊ＜Ｄｊ）場合、ＡＢＦＭ状態機械は、定常状態１００に戻る。そうではなく、実際の送信時間が予測時間より少なくとも所望の許容範囲Ｄｊを超える（すなわちＴｊ−Ｔ’ｊ≧Ｄｊ）場合には、ＡＢＦＭ状態機械は、状態１２０に進む。
【０００８】
状態１２０では、犠牲ストリームｖが、多数のビデオストリームから選択される。一実施形態では、犠牲ストリームｖは、予め決められた選択方法を用いて選択され、この選択方法は、例えば各ビデオストリームが順番に選択されるラウンドロビン選択方法のようなものである。他の選択方法では、犠牲ストリームｖは、固定された優先順位をもつスキームに基づいて選択される。このスキームでは、より下位の優先順位のストリームは常に、より上位の優先順位のストリームより以前に選択される。さらに他の実施形態では、犠牲ストリームｖは、重み付けされた優先度をもつスキームに基づいて選択される。ここでは、最大のデータ量を有するストリーム及び／又は各ストリームの優先度が、選択の可能性について考慮される。
【０００９】
犠牲ストリームｖの選択方法に拘らず、一実施形態では、各ストリームｊは、以下、Ａ（ｊ）と表すカウント値をもち、カウント値により、ストリームｊを修正した修正ストリームの現在のデグラデーションを表す。この場合、犠牲ストリームｖの現在のデグラデーション値Ａ（ｖ）は、状態１２０で評価される。Ａ（ｖ）が零であれば、一実施形態では、犠牲ストリームｖに対する再符号化プロセスの１以上の量子化係数が、状態１３０で変化し、犠牲ストリームｖの送信データ量が減少する結果となる。一実施形態では、状態１３０で変化し、犠牲ストリームｖの送信データ量が減少する結果、量子化係数が増加する。例えば、ＭＰＥＧアルゴリズムは、送信ビデオストリームの精度を低下させることによってデータ量を減少させるために、量子化係数を用いている。ＭＰＥＧは、画素（ピクセル）の行列、又はピクセル値の差分の行列を量子化することにより、できるだけ多くの零要素を得るようにする。量子化係数が高くなるにともない、より多くの零要素が生成される。ランレングス符号化のようなアルゴリズムを用いて、多くの零を含むビデオストリーム（又は関連する行列）は、少数の零を含むビデオストリームより大きく圧縮される。
【００１０】
例えば、ビデオストリームを圧縮するＭＰＥＧアルゴリズムは、フーリエ変換の特殊なタイプである離散コサイン変換（ＤＣＴ）を、そのアルゴリズム中の一段階としてもつ。ＤＣＴは、時間領域のピクセルブロックを周波数領域に変換するために用いられる。この変換の結果、ＤＣＴ後の周波数領域の要素は、変換後の行列の左上の座標（０，０）をもつ要素に最も近いものが、行列の右下の要素と比較してより大きく重み付けされている。周波数領域の行列が、精度を落として行列の右下半部の要素を表現しようとする場合、右下半部の小さな値は、もしそれらが量子化係数に基づく閾値より小さければ、零に変換されることになる。量子化係数によって各要素を割ることは、より多くの零を生成するために用いられる方法である。ＭＰＥＧ及び関連アルゴリズムは、多くの場合大きな量子化値を用いて周波数領域における行列の精度を減少させ、より多くの零をもたらし、その結果データ伝送レートを減少させる。
【００１１】
量子化係数を修正して犠牲ストリームｖのデータ伝送レートを減少させた（状態１３０）後、一実施形態では、ＡＢＦＭ状態機械は、状態１６０に遷移する。そこでは、デグラデーション値Ａ（ｖ）は、１だけ増加し、３を法とする演算が適用される。すなわち、Ａ（ｖ）current＝（Ａ（ｖ）previous＋１）ｍｏｄ３である。その結果、Ａ（ｖ）の値は、０から２まで巡回する。Ａ（ｖ）は以前に状態１２０で１と定められているので、新たなＡ（ｖ）の値は、１（０＋１ｍｏｄ３）となる。状態１６０で犠牲ストリームｖに対するデグラデーション値Ａ（ｖ）を修正した後、ＡＢＦＭ状態機械は、状態１００に遷移して戻る。
【００１２】
状態１２０で、犠牲ストリームｖに対してＡ（ｖ）が１と判断されるなら、ＡＢＦＭ状態機械は状態１４０に入る。一実施形態では、状態１４０で、再符号化データストリームの高さは、予め定められた例えば１／２だけ減少し、その結果送信データ量が減少する。ピクセルブロックを半分にスケーリングするために用いる方法は、ピクセルを混合し平均化することである。また他には、一つおきにピクセルを落とす方法が用いられる。ビデオストリームがインターレースされている場合は、交替するフィールドの省略、例えばすべての奇数水平表示列あるいはすべての偶数水平表示列の省略によって、その高さを半分にすることができる。理解されるように、いくつかのフォーマット、特にＮＴＳＣ（National Television System Committiee）及び ＡＴＳＣ（Advanced Television System Committee）フォーマットでは、ビデオストリームは、インターレースされており、そこでは、全フレーム中の偶数水平表示列がまず表示され、次に奇数水平表示列が表示される。他の実施形態では、再符号化されるデータストリームの高さは、同様の適切な方法を用いて、１／２以外の係数例えば１／３に減少させられる。
【００１３】
犠牲ストリームｖの解像度を減少させて、犠牲ストリームｖのデータ伝送を削減した（状態１４０）後、一実施形態では、デグラデーション値Ａ（ｖ）が、先に説明したように、状態１６０で修正される。その結果Ａ（ｖ）の値は、２（１＋１ｍｏｄ３）となる。状態１６０で犠牲ストリームｖに対するデグラデーション値Ａ（ｖ）を修正した後、ＡＢＦＭ状態機械は、状態１００に遷移して戻る。
【００１４】
状態１２０で、犠牲ストリームｖに対して、Ａ（ｖ）が２と判断される場合、ＡＢＦＭ状態機械は、状態１５０に入る。一実施形態では、一つおきにピクセルを省略するという、状態１４０について以前に説明したのと同様の方法を用いることによって、状態１５０で、再符号化されたデータストリームの幅を所定量だけ減少させる。同じ減少係数であるから、状態１４０あるいは状態１５０の減少方法は交換可能であることが分る。犠牲ストリームｖがインターレースされている場合は、例えばすべての奇数水平表示列あるいはすべての偶数水平表示列を省略するような、交替するフィールドの省略によって、その大きさを半分にすることができる。交替するフィールドを完全にスキップすることは、相当の処理に要するものを省略でき能率的であるので、幅より前に高さを１／２にすることは一般的に適切である。
【００１５】
犠牲ストリームｖの解像度を減少させて、犠牲ストリームｖのデータ送信を減少させた（状態１５０）後、一実施形態では、デグラデーション値Ａ（ｖ）が、先に説明したように、状態１６０で修正される。その結果Ａ（ｖ）の値は、０（２＋１ｍｏｄ３）となる。状態１６０で犠牲ストリームｖに対するデグラデーション値Ａ（ｖ）を修正した後、ＡＢＦＭ状態機械は、状態１００に遷移して戻る。
【００１６】
一実施形態では、犠牲ストリームｖに対するデグラデーション値Ａ（ｖ）が０から２の間で巡回する結果、状態１２０でデグラデーションに対してその値が選択される毎に、ＡＢＦＭ状態機械は、犠牲ストリームｖの解像度及び／又は精度について３種の異なるデグラデーションを巡回する。３種の異なるデータデグラデーションを用いるＡＢＦＭ状態機械について説明したが、他の実施形態では、より少ないか又はより多いステップをもつデータデグラデーションが、本発明に従って用いられる。一実施形態では、例えば、ＡＢＦＭ状態機械は、量子化係数の１状態の変化より多数の変化を有する複数のステップ状デグラデーションを利用する。１／２以外の例えば３／４のような幅と高さのスケーリング係数が使用できることもまた明らかであろう。一実施形態では、例えば、犠牲ストリームｖの解像度及び／又は精度のベースとなる程度の量であり、その程度は、犠牲ストリームｖのビデオの１フレームに関する実際のフレーム送信完了時間が、予測フレーム送信完了時間を超える割合である。例えば、実際のフレーム送信完了時間が予測フレーム送信完了時間より１０％大きくなれば、犠牲ストリームｖの解像度は、１０％だけスケールダウンし、実際のフレーム送信完了時間を予測フレーム送信完了時間に近づけるようにする。
【００１７】
次に図２には、適応帯域幅フットプリントマッチング（ＡＢＦＭ）サーバシステム２０５が、少なくとも本発明の一実施形態に従って記載されている。ビデオデータ、ディスプレイデータ、グラフィックデータ、ＭＰＥＧデータ等のデータストリームが、ゲートウェイメディアサーバ２１０に入力される。一実施形態では、２つの主要な入力ソースが、ゲートウェイメディアサーバ２１０によって使用される。一つの入力ソースは、広域ネットワーク（ＷＡＮ）接続２００で、高速インターネットアクセスを提供する。他の入力ソースは、衛星テレビジョン（衛星放送受信アンテナ２０１を用いる）あるいはケーブルテレビジョンのようなメディアストリームソースである。他の実施形態では、他の入力ソース例えばローカルエリアネットワーク（ＬＡＮ）が使用される。ＷＡＮ接続２００及び／又は使用される他の入力ソースは、ケーブル、より対線、光ファイバケーブル、無線高周波ネットワーク等を備えるネットワークを含んで構成されることができる。
【００１８】
一実施形態では、ゲートウェイメディアサーバ２１０は、衛星放送受信アンテナ２０１及び／又はＷＡＮ２００から、ディジタルビデオデータあるいはディジタルディスプレイデータ等の１以上の入力データストリームを受入れる。各入力データストリームは、ＭＰＥＧデータチャネルのような多数の多重化チャネルをもつ。ゲートウェイメディアサーバ２１０は、データストリームを放送するか、共通する媒体を介して１以上の受信クライアントユニット、例えばラップトップ２３０、コンピュータ２４０、表示ユニット２５０に送るか、又はこの両方を行う。一実施形態では、ゲートウェイメディアサーバ２１０に入力するデータチャネルの数と、出力データチャネル又はストリームを受信するクライアントレシーバユニットの数との間は１対１に対応している。他の実施形態では、データチャネル又はストリームは、レシーバクライアントユニットより少ない。この場合、２以上のクライアントレシーバユニットは、データチャネル又はストリームを共有する必要がある。ローカルデータネットワーク２２０は、ローカルエリアネットワーク、ワイドエリアネットワーク、バス、シリアル接続等を含む。ローカルデータネットワーク２２０は、ケーブル、より対線、光ファイバケーブル等を用いて構築される。一実施形態では、受信クライアントユニットへのデータストリームの放送中、ゲートウェイメディアサーバ２１０は、図１を参照して説明したように、ＡＢＦＭアルゴリズムを適用し、ネットワークトラフィックを管理して、許容されるパラメータの範囲内で一貫して維持される配信を保証する。このことによって、ユーザは、データストリームを途切れなく視ることができる。
【００１９】
少なくとも一実施形態では、ＡＢＦＭアルゴリズムは、ゲートウェイメディアサーバ２１０によって用いられ、ディスプレイデータの表現が所定の基準を満足することを保証しようとする。例えば、ゲートウェイメディアサーバ２１０はディスプレイデータをレシーバクライアントユニットに送信可能で、この場合レシーバクライアントユニット上に表示されるビデオシーケンスは、ディスプレイデータの表現である。ビデオシーケンスが、複数のレシーバクライアントユニット上にリアルタイム（所定の基準）で同時に適正に表示される場合、ゲートウェイメディアサーバ２１０はこれ以上の行動を起こさない。もしビデオシーケンスが、とぎれとぎれであるか、同期がとれていないか、遅延しているか、又はすべての指定のレシーバクライアントユニットによって受信されるというものではない場合には、ディスプレイデータの表現が基準に合っておらず、一実施形態では、ゲートウェイメディアサーバ２１０は、先に説明したＡＢＦＭ法を使用し、ディスプレイデータの１以上のデータストリームを修正し、ビデオシーケンスのディスプレイを改善する。
【００２０】
先に説明したように、少なくとも一実施形態では、ＡＢＦＭアルゴリズムが実行され、ＡＢＦＭサーバシステム２０５のデータ送信レートを固定帯域幅内に保持する。一実施形態では、ＡＢＦＭサーバシステム２０５の帯域幅は、ゲートウェイメディアサーバ２１０と、クライアントレシーバユニット（ラップトップ２３０、コンピュータ２４０、又は表示ユニット２５０）との間の送信媒体（ローカルデータネットワーク２２０）の最大帯域幅に固定されている。例えば、ローカルデータネットワークが、毎秒１メガビットの最大送信レートをもつローカルエリアネットワークであれば、ＡＢＦＭサーバシステム２０５の帯域幅は最大値毎秒１メガビットに固定される。またこれとは異なり、他の実施形態では、ＡＢＦＭサーバシステム２０５の帯域幅を、送信媒体（ローカルデータネットワーク２２０）の利用可能な帯域幅の所定部分とすることができる。例えば、４つのＡＢＦＭサーバシステム２０５があり、毎秒１メガビットの最大送信レートをもつローカルデータネットワーク２２０に接続されている場合、各ＡＢＦＭサーバシステム２０５は、毎秒０．２５メガビット（利用可能な最大送信レートの１／４）の固定帯域幅をもつように決めることができる。
【００２１】
ゲートウェイメディアサーバ２１０とクライアントレシーバユニットとの間の送信媒体は、ＡＢＦＭサーバシステム２０５の帯域幅を限定しあるいは固定する要因であることが多いが、一実施形態では、ＡＢＦＭサーバシステム２０５の帯域幅は、以下のようなレートに固定される。すなわち、このレートで、ゲートウェイメディアサーバ２１０が、１以上のデータストリームを入力し、１以上のデータストリームを圧縮し、かつ圧縮（及び非圧縮）データのストリーム又はチャネルをクライアントレシーバユニットへ出力することができるようなレートである。例えば、ゲートウェイメディアサーバ２１０が、毎秒１メガビットのデータしか処理できず、ローカルデータネットワーク２２０は、毎秒１０メガビットの送信レートをもっている場合、たとえ、ローカルデータネットワーク２２０がより高い送信レートで送信できるとしても、ＡＢＦＭサーバシステム２０５の帯域幅は、毎秒１メガビットに限定される。ＡＢＦＭサーバシステム２０５の帯域幅は、他の要因によっても限定されることがあるが、これも本発明の範囲又は精神に含まれるものであることは理解されるであろう。
【００２２】
図３には、ゲートウェイメディアサーバ２１０が、本発明の少なくとも一実施形態に従ってより詳細に記載されている。入力メディアストリームは、ディジタル・チューナ・デマルチプレクサ（ＤＥＭＵＸ）３３０を介してシステムに入る。ＤＥＭＵＸ３３０から、適切なストリームがＡＢＦＭトランスコーダ・コントローラ回路３５０に送られる。ＡＢＦＭトランスコーダ・コントローラ回路３５０は、一実施形態では、１以上のストリーム構文解析プロセッサ３６０を備え、ストリーム構文解析プロセッサ３６０は、ビデオ復号のようなデジタルメディア復号の高レベルのタスクを実行する、ストリーム構文解析プロセッサ３６０は、低レベルのメディア・トランスコーディングのタスクを実行する一連のメディア・トランスコーディング・ベクトルプロセッサ３９０を駆動する。復号及びトランスコーディングの中間及び最終結果は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）３８０のような記憶装置に記憶される。最終の圧縮コード変換データは、一実施形態では、ダイレクトアクセスメモリ（ＤＭＡ）手法にしたがって、外部システム入力／出力（ＩＯ）バス３２０を介して、ノースブリッジを通って、ホストメモリ（ホストＤＲＡＭ３１０）へ送信される。プロセッサ３００は、タイマ駆動ディスパッチャを用いて、適切な時間に、ホストＤＲＡＭ３１０に記憶された最終圧縮コード変換データをネットワーク・インタフェース・コントローラ３９５に送り、そのデータをローカルエリアネットワーク（ＬＡＮ）３９９に送る。
【００２３】
次に図４では、レシーバクライアントユニット４０１が、本発明の少なくとも一つの実施形態に従って記載されている。レシーバクライアントユニット４０１は、メディアストリームを受信及び／又は表示することができる装置、例えばラップトップ２３０、コンピュータ２４０、表示ユニット２５０（図２）を備えている。図３を参照して説明した最終の圧縮コード変換データは、ＬＡＮ３９９を介してネットワーク・インタフェース・コントローラ４００に送信される。データストリームは、ＩＯ接続４１０を介してメディアデコーダ／レンダラ４２０に送られる。ＩＯ接続４１０は、バス又はシリアル接続のような任意のＩＯ接続方法を有する。メディアデコーダ／レンダラ４２０は、一実施形態では、内蔵ＤＲＡＭ４３０を備え、この内蔵ＤＲＡＭ４３０を、デコードデータを記憶するための中間記憶エリアとして用いる。デコードデータが内蔵ＤＲＡＭ４３０に適合しない場合、メディアデコーダ／レンダラ４２０がさらに、内蔵ＤＲＡＭ４３０より大きなＤＲＡＭ４４０を備える。圧縮データがデコードされると、レシーバクライアントＩＯバス４９０に送信され、レシーバクライアントユニットのホストプロセッサ（図示せず）によって受信される。一実施形態では、ホストプロセッサは、ビデオデコーダ／レンダラ４２０を直接制御して、レンダデータを積極的に読み込む。他の実施形態では、ビデオデコーダ／レンダラ４２０は、ソフトウェアアプリケーションを介してホスト上で実行される。ホストプロセッサがこのような復号タスクの実行ができない場合、ビデオデコーダ／レンダラ４２０が復号タスクの一部あるいは全部を実行する。
【００２４】
本発明の一実施態様は、１以上の処理システムのランダムアクセスメモリに常駐するコンピュータ可読命令のセットとして与えられる。ここで、１以上の処理システムは、一般に図１〜４に記載されているように構成される。処理システムに要求されるまで、命令セットは、他のコンピュータ可読メモリ、例えばハードディスクドライブ、又はフロッピーディスクドライブで使用されるフロッピーディスクに、記憶されていてもよい。さらに、命令セットは、他のイメージ処理システムの記憶装置に記憶されることも可能で、ローカルエリアネットワーク、あるいはインターネットのようなワイドエリアネットワークを介して送信されることもできる。ここでは、送信信号は、ＩＳＤＮラインのような媒体を通って伝播する信号でもよいし、また、信号が空気媒体を通って伝播しローカルサテライトによって受信され、処理システムに伝送されることも可能である。このような信号は、キャリア信号を有するコンポジット信号であってもよく、キャリア信号内に含まれるものは、本発明を実施する少なくとも一つのコンピュータプログラム命令を含む所望の情報であり、ユーザが望むとき等にはダウンロードすることができる。命令セットの物理的記憶及び／又は転送は、媒体を物理的に変化させること、媒体には情報が電気的、磁気的、又は化学的に記憶され、その結果媒体がコンピュータ可読情報を運ぶことは、当業者であれば、理解できるであろう。
【００２５】
以上の発明の詳細な説明では、その一部を形成する図面を伴って説明が行われた。図面には、本発明が具現化された、特定の好ましい実施形態が例示されている。これらの実施形態は、当業者が本発明を実施することができるように、十分詳細に記載されている。他の実施形態が用いられること、そして論理的、機械的、化学的及び電気的な変更が、本発明の精神及び範囲を逸脱することなく行われることを理解すべきである。当業者による本発明の実施に必要ではない細部に入らないように、説明中では当業者に公知の情報を省略した。さらに、本発明の教示を具体化する他の様々な実施形態は、当業者が容易に構成することができる。したがって、本発明は、先に示した特定の配置形態に限定されない。逆に、本発明の精神及び範囲に含まれる限り、このような代替品、修正品及び均等品を包含することを意味している。したがって、先の詳細な説明は、限定する意味に取られるべきではない。本発明の範囲は、添付クレームにのみ規定される。
【図面の簡単な説明】
【００２６】
【図１】本発明の少なくとも一実施形態に従う適応帯域幅フットプリントマッチングを示す状態機械図である。
【図２】本発明の少なくとも一実施形態による適応帯域幅フットプリントマッチングのためのサーバシステムを示すシステム図である。
【図３】本発明の少なくとも一実施形態によるゲートウェイメディアサーバのコンポーネントを示すブロック図である。
【図４】本発明の少なくとも一実施形態によるレシーバクライアントのコンポーネントを示すブロック図である。

Claims (43)

1. ディスプレイデータを受信するステップと、
   所定基準が、前記ディスプレイデータの第１の表現によって満たされるか否かを判断するステップであって、前記ディスプレイデータの前記第１の表現が、第２の複数ディスプレイ装置に送信される第１の複数ディスプレイストリームを含むステップと、
   前記ディスプレイデータの第１の表現が前記所定基準を満たさないと判断される場合、第１の方法で、第１の複数ディスプレイストリームのうちの第１のディスプレイストリームを圧縮するステップと
   を備える方法。
2. 前記判断するステップは、さらに前記ディスプレイストリームを前記第２の複数ディスプレイ装置に、共通の媒体を用いて提供する請求項１に記載の方法。
3. 前記共通の媒体は、ローカルエリアネットワークの一部である請求項２に記載の方法。
4. 前記ローカルエリアネットワークの有形的媒体は、ケーブルを含む請求項３に記載の方法。
5. 前記ローカルエリアネットワークの有形的媒体は、より対線を含む請求項３に記載の方法。
6. 前記ローカルエリアネットワークの有形的媒体は、光ファイバを含む請求項３に記載の方法。
7. 前記共通の媒体は、無線高周波を含む請求項３に記載の方法。
8. 前記共通の媒体は、ワイドエリアネットワークの一部である請求項２に記載の方法。
9. 前記第１の複数ディスプレイストリームの各ディスプレイストリームが、前記第１の複数ディスプレイストリームの各々をリアルタイムかつ同時に表示可能な方法で送信されることが期待されるとき、前記所定基準が満たされる請求項１に記載の方法。
10. 前記判断するステップはさらに、前記複数ディスプレイストリームのうちの第１のディスプレイストリームのフレームデータの実際の送信時間が、第１の予測時間に適合するか否かを判断するステップを含む請求項９に記載の方法。
11. 前記判断するステップはさらに、前記第１の複数ディスプレイストリームの各ディスプレイストリームについて、ビデオフレームの実際の送信時間が、所定の許容範囲内の予測時間に適合しているかどうかを判断するステップを含む請求項１０に記載の方法。
12. 前記判断するステップはさらに、前記第１の複数ディスプレイストリームの各ディスプレイストリームについて、ビデオフレームの実際の送信時間が、予測時間に適合しているかどうかを判断するステップを含む請求項９に記載の方法。
13. 前記第１の複数ディスプレイストリームのディスプレイストリームと、前記第２の複数ディスプレイ装置のディスプレイ装置とが１対１に対応している請求項１に記載の方法。
14. 前記第１の複数ディスプレイストリームに含まれるディスプレイストリームが、前記第２複数ディスプレイ装置に含まれるディスプレイ装置より少なく、前記第１の複数ディスプレイストリームの少なくとも一つのストリームが、前記第２複数ディスプレイ装置の２以上のディスプレイ装置に共有される請求項１に記載の方法。
15. 前記受信するステップはさらに、ビデオデータであるディスプレイデータを含む請求項１に記載の方法。
16. 前記受信するステップはさらに、グラフィックデータであるディスプレイデータを含む請求項１に記載の方法。
17. 前記受信するステップはさらに、ディジタルデータであるディスプレイデータを含む請求項１に記載の方法。
18. 前記受信するステップはさらに、アナログデータであるディスプレイデータを含む請求項１に記載の方法。
19. 前記ディスプレイデータはさらに、複数のソースからのディスプレイデータを含む請求項１に記載の方法。
20. 前記受信するステップはさらに、複数のマルチプレクスチャネルを有するデジタルデータストリームからのディスプレイデータの少なくとも一部を受信する請求項１に記載の方法。
21. 前記複数のマルチプレクスチャネルを有するデジタルデータストリームはＭＰＥＧデータストリームである請求項２０に記載の方法。
22. 前記判断するステップは、第１の複数ディスプレイストリームが、前記第２の複数ディスプレイ装置に固定帯域幅を用いて送信されるとき、前記所定基準が満たされるか否かを判断するステップを含む請求項１に記載の方法。
23. 前記固定帯域幅は、送信媒体の最大帯域幅である請求項２２に記載の方法。
24. 前記固定帯域幅は、送信媒体の利用可能帯域幅の所定部分である請求項２２に記載の方法。
25. 前記固定帯域幅は、メディアを圧縮するステップを実行する処理装置の最大帯域幅である請求項２２に記載の方法。
26. さらに、所定の選択方法を用いて、前記第１の複数ディスプレイストリームから、第１のディスプレイストリームを選択するステップを備える請求項１に記載の方法。
27. 前記所定の選択方法は、ラウンドロビン法を用いることを含む請求項２６に記載の方法。
28. 前記所定の選択方法は、前記複数のディスプレイストリームから最大量のデータをもつ一つのディスプレイストリームを選択することを含む請求項２６に記載の方法。
29. 前記選択するステップは、前記複数ディスプレイストリームに関連する１以上のディスプレイストリームの優先度に基づく請求項２６に記載の方法。
30. 前記第１のディスプレイストリームを選択するステップは、前記第１の複数ディスプレイストリーム中の一つのディスプレイストリームの前回の圧縮に基づく請求項２６に記載の方法。
31. 前記圧縮するステップは、
    前記第１のディスプレイストリームが、前回に圧縮されていないと判断される場合には、第１の方法で圧縮するステップと、
    前記第１のディスプレイストリームが、前回に圧縮されたと判断される場合には、第２の方法で圧縮するステップとを含む請求項１に記載の方法。
32. 前記圧縮するステップはさらに、
    前記第１のディスプレイストリームが、前回に第２の方法で圧縮されたと判断される場合には、第３の方法で圧縮するステップとを含む請求項３１に記載の方法。
33. 複数ディスプレイストリームの各ディスプレイストリームについて、予測送信時間が実際の送信時間に所望の許容範囲内で適合するか否かを判断するステップであって、もしそうでなければ、送信されるデータが多すぎるとするステップと、
    優先度の手法に基づいて複数ディスプレイストリームから第１のストリームを選択するステップと、
    前記第１のストリームに適用する複数の圧縮方法の一つを選択するステップと、
    前記判断するステップが実際の送信時間が予測送信時間の所望の許容範囲内であると指示するまで、前記ステップの各々を繰り返すステップと
    を有する方法。
34. 前記所望の許容範囲は、複数ディスプレイストリームの各々をリアルタイムで同時に表示するために要求される送信レートに基づく請求項３３に記載の方法。
35. 前記複数の圧縮方法の一つは、第１のディスプレイストリームの精度を減少させることを含む請求項３３に記載の方法。
36. 前記複数の圧縮方法の一つは、第１のディスプレイストリームの解像度を減少させることを含む請求項３３に記載の方法。
37. 複数マルチメディアチャネルを有するマルチメディアデータトリームを受信するステップと、
    前記マルチメディアストリームにおける各マルチメディアチャネルについて、マルチメディアチャネルの実際の送信時間が、所定の許容範囲内で予測送信時間に適合するどうかかを判断するステップと、
    所定の選択方法を用いて第１のマルチメディアチャネルを選択するステップと、
    第１のマルチメディアチャネルの実際の送信時間が、予測送信時間を所定の許容範囲を超えて超過する場合、前記第１のマルチメディアチャネルに関連して、送信されるべきデータの量を減少させるステップと
    を有する方法。
38. 前記所定の選択方法は、ラウンドロビン法を含む請求項３７に記載の方法。
39. 前記減少させるステップは、第１のマルチメディアチャネルによって送信されるデータの精度を減少させることを含む請求項３７に記載の方法。
40. 前記減少させるステップは、第１のマルチメディアチャネルによって送信されるデータの解像度を減少させることを含む請求項３７に記載の方法。
41. 前記マルチメディアデータストリームはＭＰＥＧデータを含む請求項３７に記載の方法。
42. データ処理装置と、
    前記処理装置に動作可能に接続された記憶装置と、
    前記記憶装置に記憶可能で、前記処理装置によって実行可能な命令を含むプログラムを有するシステムであって、
    前記処理装置を操作するための命令を含むプログラムによって、
    ディスプレイデータを受信し、
    所定基準が、前記ディスプレイデータの第１の表現によって満たされるか否かを判断し、ここで前記ディスプレイデータの第１の表現は、第２の複数ディスプレイ装置に送信される第１の複数ディスプレイストリームを含んでおり、
    ディスプレイデータの第１の表現が前記所定基準を満たさないと判断される場合、第１の方法で、第１の複数ディスプレイストリームを圧縮するシステム。
43. データ処理装置を操作する命令からなるプログラムを有形的に具現化するコンピュータ可読媒体であって、
    ディスプレイデータを受信し、
    所定基準が、前記ディスプレイデータの第１の表現によって満たされるか否かを判断し、ここで、前記ディスプレイデータの第１の表現は、第２複数ディスプレイ装置に送信される第１の複数ディスプレイストリームを含み、
    ディスプレイデータの第１の表現が前記所定基準を満たさないと判断される場合、第１の方法で、第１の複数ディスプレイストリームを圧縮するコンピュータ可読媒体。

Images