JP2008140368A - 表示用にネットワークを介して通信されるコンテンツを処理するためのマルチグラフィックスプロセッサシステム及び方法 - Google Patents
表示用にネットワークを介して通信されるコンテンツを処理するためのマルチグラフィックスプロセッサシステム及び方法 Download PDFInfo
- Publication number
- JP2008140368A JP2008140368A JP2007201047A JP2007201047A JP2008140368A JP 2008140368 A JP2008140368 A JP 2008140368A JP 2007201047 A JP2007201047 A JP 2007201047A JP 2007201047 A JP2007201047 A JP 2007201047A JP 2008140368 A JP2008140368 A JP 2008140368A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- content
- graphics processor
- graphics
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 title claims description 100
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000012805 post-processing Methods 0.000 claims description 25
- 230000006837 decompression Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 239000004065 semiconductor Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4408—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream encryption, e.g. re-encrypting a decrypted video stream for redistribution in a home network
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【課題】コンテンツソースと通信する第1のグラフィックスプロセッサを含むシステム及び方法を提供する。
【解決手段】動作時に、第1のグラフィックスプロセッサは、コンテンツソースからのコンテンツを処理するようになっている。更に、ネットワークを用いて第1のグラフィックスプロセッサと通信する第2のグラフィックスプロセッサが備えられている。第2のグラフィックスプロセッサは、表示用にコンテンツを更に処理するようになっている。
【選択図】図2
【解決手段】動作時に、第1のグラフィックスプロセッサは、コンテンツソースからのコンテンツを処理するようになっている。更に、ネットワークを用いて第1のグラフィックスプロセッサと通信する第2のグラフィックスプロセッサが備えられている。第2のグラフィックスプロセッサは、表示用にコンテンツを更に処理するようになっている。
【選択図】図2
Description
本発明は、デジタル処理に関するものであり、より詳細には、グラフィックス/ビデオ処理に関するものである。
従来技術の図1Aは、従来技術によるグラフィックス/ビデオ処理用のシステム100を示している。図示するように、グラフィックスプロセッサ102は、このような従来技術のシステム100内のディスプレイ104に直接結合されている。このために、表示されるコンテンツに必要な全てのグラフィックス及び/又はビデオ処理が、グラフィックスプロセッサ102によって実行され、表示用に整えられたフォーマットでディスプレイ104へ直接送信される。このようなシステム100は、従来のコンピュータシステムにとっては理想的だが、その他のフレームワークにとっては必ずしも便利ではない。
例えば、従来技術の図1Bは、無線ネットワーク106環境での従来技術によるグラフィックス/ビデオ処理用のシステム150を示している。図示するように、このような構成においては、グラフィックスプロセッサ102は、ネットワーク106を介してディスプレイ104と通信する。このようなネットワーク106には、UWB(ultra wide band)テクノロジー、WUSB(wireless universal serial bus)テクノロジー、WiMediaテクノロジー、及び/又はその他の任意の所望のネットワーク関連テクノロジーを採用する無線ネットワークリンクがある。
このような構成は、ある高速ネットワークの環境では、許容可能なパフォーマンスを提供することができるが、依然として、ネットワーク106に関連するあらゆる帯域幅制限の結果として問題が生じることがある。具体的には、コンテンツに関連付けられている従来のフォーマット、グラフィックスプロセッサの出力、処理アーキテクチャー等が、効率のよいネットワーク送信を助長するものではないことがある。例えばコンテンツは、場合によっては、暗号化、圧縮等されることがある。
したがって、帯域幅が大きくても不十分である場合には、その結果、コンテンツを表示することが困難になることがあり、場合によっては、表示できなくなるおそれがある。したがって、従来技術に関連するこれら及び/又はその他の問題を克服する必要がある。
コンテンツソースと通信する第1のグラフィックスプロセッサを含むシステム及び方法を提供する。動作時に、第1のグラフィックスプロセッサは、コンテンツソースからのコンテンツを処理するようになっている。更に、ネットワークを用いて第1のグラフィックスプロセッサと通信する第2のグラフィックスプロセッサが備えられている。第2のグラフィックスプロセッサは、表示用にコンテンツを更に処理するようになっている。
図2は、ある実施形態に係るシステムであって、表示用にネットワークを介して通信されるコンテンツを処理するためのシステム200を示している。図示するように、コンテンツソース202が備えられており、このコンテンツソース202は、処理(例えば、グラフィックス処理及び/又はビデオ処理等)用の第1のグラフィックスプロセッサ204に、当該コンテンツソース202からのコンテンツを供給する役割を果たす。本説明では、このようなコンテンツソース202は、コンテンツの任意のソース[例えばネットワーク、デジタル多用途ディスク(DVD)の形態のメモリ、ハードディスク等]を指すことがある。コンテンツとしては、表示用に処理し得るグラフィックスデータ及び/又はビデオを挙げることができる。勿論、種々の実施形態では、コンテンツとして、オーディオ及び/又はメタデータをもオプションとして含めることができる。
更に図示するように、ネットワーク206を介して第1のグラフィックスプロセッサ204と通信する第2のグラフィックスプロセッサ208も備えられている。第2のグラフィックスプロセッサ208はまた、表示用にコンテンツに更なる処理(例えば、グラフィックス処理及び/又はビデオ処理等)を施すようになっている。図示するように、ディスプレイ210は、そのような目的から第2のグラフィックスプロセッサ208との通信を維持することができる。これらグラフィックスプロセッサは、残りのそれぞれのコンポーネントに直接リンクされているように図示してあるが、このようなリンクは、通信のみを表していること留意されたい。したがってシステム200は、グラフィックスプロセッサ間で通信する更なるコンポーネントを備えることもあり、又は、備えないこともある。上述のグラフィックスプロセッサの代わりにプロセッサが採用され、このプロセッサが必ずしもグラフィックス処理を伴わずにビデオ処理を行うことができる他の実施形態も考えられることに留意されたい。
ネットワーク206は、任意の形態をとることもでき、そうした形態には、LAN(local area network)、無線ネットワーク、インターネット等のWAN(wide area network)、ピアツーピアネットワーク等が含まれるが、それらには限定されないことにも留意されたい。種々のオプションの実施形態においては、ネットワーク206は、無線ネットワークリンクを含むことがあり、当該無線ネットワークリンクは、本説明では、無線ネットワークに関連する任意の接続を含み得る。単なる一例であるが、このような無線ネットワークリンクには、UWB(ultra wide band)テクノロジー、WUSB(wireless universal serial bus)テクノロジー、WiMediaテクノロジー等を採用することができる。無線ネットワークを含む可能な実施形態に関する更なる情報について、以降で後続の図面を参照しつつ説明する。
使用中に、第1のグラフィックスプロセッサ204及び第2のグラフィックスプロセッサ208は、このようなコンテンツを処理するようになっている。種々の実施形態では、第1のグラフィックスプロセッサ204及び第2のグラフィックスプロセッサ208は、非対称であることもあり、或いは、非対称でないこともある。例えば例示的な一実施形態においては、第1のグラフィックスプロセッサ204によって実行される処理の第1の量は、第2のグラフィックスプロセッサ208によって実行される処理の第2の量の逆関数とすることができる。この場合にも先と同様に、そのような動的な適応能力に関連する想定され得る実施形態について、更に、以降で後続の図面を参照しつつ説明する。
更に他の実施形態では、第1のグラフィックスプロセッサ204によって(及び/又は、同じく、第2のグラフィックスプロセッサ208によってさえ)実行される処理は、動的に適応可能とすることができる。例えば、第1のグラフィックスプロセッサ204によって実行される処理は、種々の要因のうちの何れか一つに応じて変化することができる。単なる一例であるが、そのような処理は、帯域幅、所望のQoS(quality of service)、コンテンツ又はディスプレイの少なくとも一つの特徴、第2のグラフィックスプロセッサ208によって実行される処理のタイプ又は量、並びに/若しくはその他の任意の所望の要因に応じて変化することができる。
また更に、第1のグラフィックスプロセッサ204及び/又は第2のグラフィックスプロセッサ208によって実行される処理は、復号、解凍、後処理、多重化、逆多重化、エラーの修正を提供する処理、パケット化、パケット化解除、グラフィックスレンダリング、合成、再圧縮、及び/又は再暗号化を含むことができるが、これらには限定されない。勿論、本説明では、第1のグラフィックスプロセッサ204及び/又は第2のグラフィックスプロセッサ208によって実行されるそのような処理は、少なくとも部分的に、ネットワークを介して送信及び/又は表示されるコンテンツをもたらす任意の処理を含むことができる。
また更に別のオプションの実施形態では、第1及び/又は第2のグラフィックスプロセッサは、相互に連携して動作する複数のグラフィックスプロセッサのうちの一つを含むことができる。そのようなテクノロジーの一例が、NVIDIA SLI(商標)テクノロジーである。関連する実施形態の一例については、更に、2004年11月17日に出願された出願第10/990,712号を参照することによって知ることができる。なお、この出願を、その全体を参照することによって本明細書に援用する。
次に、種々のオプションのアーキテクチャー及び特徴に関して、更に説明する。これらのオプションのアーキテクチャー及び特徴と共に、ユーザの要望に応じて、前述のフレームワークを実装することもでき、あるいは実装しなくてもよい。以降の情報は、例示の目的で示すものであり、如何なる形であれ限定的に解釈されるべきではないという点に強く留意されたい。以降の特徴はいずれも、説明するその他の特徴を除いて、或いは伴ってオプションとして組み込むことができる。
図3は、例示的な一実施形態に係るシステムであって、無線ネットワークリンクを介して通信される前にコンテンツを処理するためのシステム300を示している。オプションとして、本システム300は、図2のシステム200の原理の下で実装することができる。しかしながら、勿論、システム300は、任意の所望の環境においても実装することができる。また更に、上述の定義は、以降の説明においても当てはまる。
図示するように、システム300は、一実施形態では、コンピュータ301と連携して機能し得るグラフィックスプロセッサ306を備えている。このようなコンピュータは、グラフィックスプロセッサ306と通信するメモリ302及び中央処理ユニット(CPU)304を備えていてもよい。
一実施形態では、グラフィックスプロセッサ306は、図示するように、複数のモジュールを備えることができる。このようなモジュールの各々は、単一の半導体プラットフォーム上に置かれて、グラフィックス処理ユニット(GPU)[例えば、個別のGPU、iGPU(integrated GPU)等]を形成することもできる。
本説明では、単一の半導体プラットフォームとは、単独かつ単一の半導体ベースの集積回路又はチップを指すことがある。単一の半導体プラットフォームという用語は、オンチップオペレーションをシミュレートして、従来のCPU及びバスの実装形態を利用しながら多くの改良を行う接続性を高めたマルチチップモジュールを指すこともできるという点に留意されたい。勿論、種々のモジュールを、個別に、又は、多様な組合せの半導体プラットフォーム内に、ユーザの要望に応じて、配置することもできる。
引き続き図3を参照する。グラフィックスプロセッサ306は、複数のモジュールを有しており、これらモジュールには、復号/解凍モジュール308、後処理モジュール310、グラフィックスレンダリングモジュール312、合成モジュール314、再圧縮モジュール316、再暗号化モジュール318、マルチプレクサ/エラー修正/パケット化モジュール320、及びインターフェース322がある。これらの多様なモジュールを使用する(及び使用しない)種々の組合せについては、以降で説明するが、コンテンツ及び/又は処理関連の要件によっては、前述のモジュールのうちの任意の一つ以上のモジュールを、必要に応じて、送信機及び/又は受信機の配下に含めることができ、又は、含めなくてもよく、或いは、送信機及び/又は受信機の配下で使用することができ、又は、使用しなくてもよいという点に強く留意されたい。
使用中に、復号/解凍モジュール308は、コンテンツを、コンテンツソース(例としては、例えば図2のコンテンツソース202等を参照されたい)から受信する。このコンテンツが暗号化及び/又は圧縮される実施形態においては、復号/解凍モジュール308は、更なる処理のために、かかるコンテンツを復号及び/又は解凍する役割を果たす。例えば、コンテンツがMPEGフォーマットのビデオを含む場合には、このフォーマット設定を解凍等することができる。また更に、モジュール308は、任意のビデオをグラフィックスデータから分離する役割を果たすことができる。その理由は、ほどなく明らかになるであろう。
オプションとして(とりわけ、コンテンツがビデオを含んでいる場合には)、後処理モジュール310は、必要とされ得る任意の所望の後処理のための役割を果たすことができる。そのような後処理は、ピクセル処理、ビデオ処理(例えば、ガンマ補正、動き推定又は動き補償、解凍、色空間のコントロール、輝度、飽和率、色温度の修正、先鋭化、オーバーレイ処理、スケーリング、符号化、インターレースの解除、アップ/ダウンスケーリング等)等を含むことができるが、これらには限定されない。このような例は、例示の目的でのみ示されており、如何なる形であれ限定的に解釈されるべきではない。というのは、任意のタイプの後処理が、後処理モジュール310によって実行することができるためである。
更なるオプションとして、グラフィックスプロセッサ306のグラフィックス処理機能を活用できるグラフィックスデータをコンテンツが含んでいる場合には、そのコンテンツを、任意のタイプのグラフィックス処理のためにグラフィックスレンダリングモジュール312に入力することができる。かかるグラフィックス処理としては、ピクセルシェーディング、テクスチャシェーディング等があるが、これらには限定されない。例えば、電子番組ガイド(EPG)情報をビデオに組み込むことができ、このようなEPG情報は、上述のグラフィックス処理の対象とすることができる。
コンテンツが、分離されたグラフィックスデータ(もしあれば)及びビデオを(例えば別々のストリームで)含み、利用可能な帯域幅が許すならば、説明した種々のモジュールのうちの一つ以上を省いて、マルチプレクサ/エラー修正関連処理/パケット化モジュール320(これについては、以降でさらに詳しく説明する)へと進めてもよい。経路313を参照されたい。後処理、グラフィックスレンダリング等が必要とされず、又は要求されず、したがって復号/解凍モジュール308が、このような処理を伴わずにコンテンツを単に通過させるオペレーションのモードが考えられるという点に更に留意されたい。
一方、グラフィックスデータ及びビデオが(例えば、単一のストリーム等に)結合される場合には、グラフィックスレンダリングモジュール312の出力を順に合成モジュール314へ供給することができる。したがって、合成モジュール314は、圧縮されていない任意のビデオコンテンツを、得られたグラフィックスデータと合成する役割を果たすことができる。このような合成されたコンテンツは、如何なる形態を取ることもできるが、ある実施形態においては、合成NTSC(National Television System Committee)フォーマット、PAL(phase alternating line)フォーマット、Y/C(Sビデオ)フォーマット、SECAM(sequential couleur avec memoire)フォーマット、HDTV(high definition television)フォーマット、ATSC(Advanced Television Systems Committee)フォーマット、圧縮することができる任意のデジタルテレビジョンフォーマット、並びに/若しくはビデオ、グラフィックスデータ、及び/又はビデオとグラフィックスデータとを結合したものを含む他のフォーマットを含むことができる。
このために、結合されたグラフィックスデータ及びビデオは、再圧縮モジュール316によって再圧縮され、再暗号化モジュール318によって更に再暗号化される。このような再圧縮/再暗号化は、種々の環境において有益となるように機能することができる。例えば、コンテンツが、高精細度のチャネル(例えばスループットが、1920×1080×24×60=3.3Gb/sである)を介して通信される実施形態では、かかる再圧縮/再暗号化は、グラフィックスデータ等が、そのようなメディアを介してうまく通信されることを保証するように機能することができる。
また更に、コンテンツは、このようなモジュールから供給されるか、又は復号/解凍モジュール308/後処理モジュール310から直接供給されるかを問わず、マルチプレクサ/エラー修正関連処理/パケット化モジュール320によって処理される。具体的には、このようなモジュール320は、利用可能なあらゆるパリティー情報を利用してエラー修正を提供する任意の所望の処理を実行し、コンテンツをパケット化するように機能して、得られたパケットを、インターフェース322を介して多重化することができる。
また、グラフィックスプロセッサ306と通信する送信機324も備えられている。この送信機324は、無線ネットワーク325を介してコンテンツを送信し、コンテンツがディスプレイ326を利用して表示されるようにする。種々の実施形態では、送信機324は、UWBテクノロジー、WUSBテクノロジー、WiMediaテクノロジー等を利用する無線ネットワークリンクを採用することができる。さらに、ディスプレイ326に関する更なる情報について、図4を参照しつつより詳細に説明する。
前述のように、グラフィックスプロセッサ306によって実行される処理は、動的に適応可能とすることができる。更に、そのような処理は、帯域幅、所望のQoS(quality of service)、(以降で説明する)第2のグラフィックスプロセッサによって実行される処理のタイプ又は量、並びに/若しくは、その他の任意の所望の要因に応じて適応することができる。この特徴を促進するために、送信機324からのフィードバックを、グラフィックスプロセッサ306の適切なモジュールへ、図示するように返信することができる。
例えば、送信機324は、利用可能な帯域幅の変化を検知した場合には、更に高度な圧縮/暗号化アルゴリズムを利用するように再圧縮モジュール316及び/又は再暗号化モジュール318に指示して、そのような変化に対応することができる。勿論、そのような変化は、処理サイクルの増加等の犠牲を払って実現することができる。同様の適応能力を、所望のQoSの変化等に応答して示すことができる。そのような動的な適応能力に関する更なる情報について、図5を参照しつつより詳細に説明する。
図示していないが、システム300は、二次記憶を備えることもできる。この二次記憶には、例えば、ハードディスク、及び/又は、フロッピーディスク、磁気テープ、コンパクトディスク、DVD、ソリッドステートストレージ(例えばフラッシュメモリ)等の取り外し可能なストレージがある。使用中に、取り外し可能なストレージのドライブは、よく知られている方法で、取り外し可能なストレージとの間で読み取り及び/又は書き込みを行う。
コンピュータプログラム、又はコンピュータ制御ロジックアルゴリズムは、システムメモリ302及び/又は二次記憶内に格納することができる。このようなコンピュータプログラムは、実行時に、システム300が種々の機能を実行できるようにする。システムメモリ302、ストレージ、及び/又は、他の任意のストレージも、コンピュータ可読メディアの想定される例である。
一実施形態では、本明細書に記載する種々の機能を、部分的には、CPU 304、チップセット(すなわち、関連する機能等を実行するための一つのユニットとして動作するように設計されて、販売される一式の集積回路)、及び/又は、更には、他の任意の集積回路に実装することができる。また更に、本明細書に記載されているアーキテクチャー及び/又は機能は、汎用コンピュータシステム、サーキットボードシステム、娯楽目的専用のゲームコンソールシステム、特定用途システム、及び/又は、更には他の任意の所望のシステムの環境に実装することができる。
図4は、別の例示的な実施形態に係るシステムであって、無線ネットワークリンクを介して通信された後にコンテンツを処理するためのシステム400を示している。オプションとして、このシステム400は、図2のシステム200の原理の下で実装することができる。しかしながら、システム400は、任意の所望の環境においても実装することができる。また更に、上述の定義は、以降の説明においても当てはまる。
図示するように、無線ネットワーク425を介してシステム400へコンテンツを通信するように動作するコンピュータシステム404が備えられている。一実施形態では、コンピュータシステム404は、図3のシステム300を含むことができる。システム400は、受信機406を介してネットワーク425と通信するグラフィックスプロセッサ408を備えるように図示されている。オプションとして、システム400は、グラフィックスプロセッサ408が内蔵されているディスプレイ402の形態をとることができる。
引き続き図4を参照する。グラフィックスプロセッサ408は、複数のモジュールを有しており、これらのモジュールには、デマルチプレクサ/エラー修正関連処理/パケット化解除モジュール410、グラフィックス復号/解凍モジュール412、ビデオ解凍モジュール414、後処理モジュール416、合成モジュール418、及びデジタル出力420がある。
使用中に、コンテンツは、受信機406から、図3のマルチプレクサ/エラー修正関連処理/パケット化モジュール320の機能を補足する機能を実行するためのデマルチプレクサ/エラー修正関連処理/パケット化解除モジュール410へ供給される。具体的には、コンテンツは、エラー修正機能を提供するために処理され、パケット化解除をなされ、更に逆多重化される。更に、あらゆるビデオが、グラフィックス復号/解凍モジュール412を介して復号及び/又は解凍後に、あらゆるグラフィックスデータから分離されてもよく、又は、分離されなくてもよい。
オプションとして、グラフィックスデータ及びビデオは、(例えば、単一のストリーム内などで)結合したままとされ、この時点で、表示用にデジタル出力420へ直接送信されてもよい。経路413を参照されたい。一方、任意のビデオの処理が、ビデオ解凍モジュール414を利用してそのビデオを解凍することによって進められてもよい。コンテンツが高級な性質のものである種々の実施形態においては、そのようなビデオの解凍は、AACS(advanced access content system)/WM−DRM(Windows media−digital rights management)、COPPPに準拠したDRM等をサポートするように機能することができる。
また更に、後処理をオプションとして、後処理モジュール416を用いて実行することができる。勿論、このような後処理は、図3の類似したモジュール310の説明において上述した任意の処理も含むことができる。
更に、前述したように、図3のグラフィックスプロセッサ306によって実行される処理の第1の量は、グラフィックスプロセッサ408によって実行される処理の第2の量の逆関数とすることができる。例えば、必要とされる後処理は、対応の後処理モジュール310と416の間で分担することができ、更に、処理されているビデオに関する如何なる相違にも適合することができる。また更に、合成モジュール418は、図3の類似したモジュール314と同様に機能する役割を果たすことができる。
前述したように、コンテンツ/処理に関連する要件に応じて、図3〜図4のグラフィックスプロセッサの各々の前述のモジュールのうちの一以上を使用してもよく、或いは、使用しなくてもよい。具体的には、使用中に、グラフィックスプロセッサのモジュールのうちの少なくとも一つ以上が、後に表示されるべきコンテンツを、ネットワークを介して通信することをサポートするために、選択される。ここで、そのような動的な適応能力に関して、更に説明する。
図5は、例示的な実施形態に係る方法であって、表示用に無線ネットワークリンクを介して通信されているコンテンツを動的に処理する方法500を示している。オプションとして、この方法500は、図2のシステム200の原理の下で実装することができる。しかしながら、勿論、この方法500は、如何なる所望の環境においても実施することができる。例えば、一つのグラフィックスプロセッサ(例として、例えば図2の第1のグラフィックスプロセッサ204及び/又は第2のグラフィックスプロセッサ208等を参照されたい)の環境下でのみ、方法500を実施することも想定される。
図示するように、複数のモジュールを含むグラフィックスプロセッサにおいてコンテンツが受信される。オペレーション502を参照されたい。例えば、グラフィックスプロセッサが図2の第1のグラフィックスプロセッサ204等を含む実施形態では、種々のモジュールには、(前述のように)暗号化モジュール、圧縮モジュール、復号モジュール、解凍モジュール、後処理モジュール、グラフィックス処理モジュール、及び/又は合成モジュールのうちの一以上を含めてもよい。このような実施形態においては、グラフィックスプロセッサは、関連するコンピュータと一体化することもでき、或いは、関連するコンピュータから分離したままとすることもできる。
グラフィックスプロセッサが図2の第2のグラフィックスプロセッサ208等を含む別の実施形態においては、種々のモジュールには、(前述のように)復号モジュール、解凍モジュール、パケット化解除モジュール、後処理モジュール、逆多重化モジュール、合成モジュール、及びエラー修正関連処理モジュールのうちの一以上を含めることができる。この実施形態においては、グラフィックスプロセッサは、関連するディスプレイと一体化することもでき、或いは、関連するディスプレイから分離したままとすることもできる。
引き続き図5を参照する。まず、説明するコンテンツの処理に影響を与える要因が特定される。オペレーション504に留意されたい。前述したように、このような要因には、帯域幅、所望のQoS(quality of service)、コンテンツ(例えばフォーマット、サイズ等)又はディスプレイの少なくとも一つの特徴、(存在する場合には)別のグラフィックスプロセッサによって実行される処理のタイプ又は量、並びに/若しくは、他の任意の所望の要因を含めることができる。更なるオプションとして、種々のフィードバックを使用して、上述の要因を提供することができる。
このために、グラフィックスプロセッサのモジュールのうちの一以上を、ネットワークを介した通信、及び/又はそれに続くディスプレイを利用したコンテンツの表示をサポートするために、動的に選択することができる。オペレーション506に留意されたい。このような処理は、ネットワークのどちらの終端にグラフィックスプロセッサが存在するかに応じて、変化し得ることに留意されたい。
例えば、グラフィックスプロセッサが図2の第1のグラフィックスプロセッサ204等を含む上述の実施形態においては、処理は、コンテンツを、ネットワークを介して送信するために準備するステップを伴う。更に、選択されたモジュールによって実行される処理には、復号、解凍、後処理、多重化、エラーの修正を提供する処理、パケット化、グラフィックスレンダリング、合成、再圧縮、及び/又は再暗号化を含めることができる。
また更に、グラフィックスプロセッサが図2の第2のグラフィックスプロセッサ208等を含む上述の実施形態においては、処理は、ディスプレイを利用して表示するために、コンテンツを受信して準備するステップを伴う。この場合もやはり、選択されたモジュールによって実行される処理には、復号、解凍、パケット化解除、後処理、逆多重化、合成、及び/又はエラーの修正を提供する処理を含めることができる。
勿論、ネットワークを介してコンテンツを通信し、続いてディスプレイを利用してそのコンテンツを表示することをサポートできるまったくいかなるタイプのモジュール及び関連する処理も、上述のように提供して、動的に選択することができる。
したがって、現在の要件に応じて、種々のシナリオに対応することができる。例えば、到来する圧縮されたコンテンツを復号/解凍してもよく、あるいは復号/解凍しなくてもよく、その場合には、種々の更なる処理(例えばグラフィックス処理、合成等)を実行することもでき、或いは、実行しなくてもよい。この場合もやはり、かかる選択の全てを、任意の所望の要因に応じて実行することができる。これらの要因には、QoSの要件、ネットワークの制限(例えば、帯域幅等)、コンテンツの受信されたフォーマット、ネットワーク送信用のコンテンツの所望のフォーマット、ユーザによる構成/要件等があるが、これらには限定されない。
ある特定の具体例の環境では、コンテンツは、圧縮/暗号化されたフォーマットで受信することができ、このフォーマットに対しては、所望の処理は不要である(例えば、帯域幅やQoSなどの要件がすべて満たされている等)。このような場合には、コンテンツを必ずしも復号/解凍しなくてもよく、そのまま送信することができる。別の実施形態においては、復号/解凍されたコンテンツは、更なる処理を必要とすることがあり、したがって復号/解凍され、それによって、後処理やグラフィックス処理等を実行することができる。この時点で、関連の必要性に基づいて、再圧縮/解凍を実行してもよく、或いは、実行しなくてもよい。
種々の実施形態について上に説明したが、これら実施形態は、例示のために提示したのであって、限定するために提示したものではないことを理解すべきである。したがって、好ましい実施形態の広がり及び範囲は、上述の例示的な実施形態の何れによっても限定されるべきではなく、添付の特許請求の範囲及びそれらの均等物によってのみ画定されるべきである。
200…システム、202…コンテンツソース、204…第1のグラフィックスプロセッサ、206…ネットワーク、208…第2のグラフィックスプロセッサ、210…ディスプレイ。
Claims (24)
- コンテンツソースと通信する第1のグラフィックスプロセッサであって、前記コンテンツソースからのコンテンツを処理するための該第1のグラフィックスプロセッサと、
ネットワークを介して前記第1のグラフィックスプロセッサと通信する第2のグラフィックスプロセッサであって、表示用に前記コンテンツを更に処理するための該第2のグラフィックスプロセッサと、
を備えるシステム。 - 前記第1のグラフィックスプロセッサ及び前記第2のグラフィックスプロセッサのうちの少なくとも一つが、グラフィックスプロセッシングユニットを含む、請求項1に記載のシステム。
- 前記第1のグラフィックスプロセッサ及び前記第2のグラフィックスプロセッサが非対称である、請求項1に記載のシステム。
- 前記ネットワークが無線ネットワークを含む、請求項1に記載のシステム。
- 前記第1のグラフィックスプロセッサと通信する送信機であって、前記コンテンツを、前記第2のグラフィックスプロセッサと通信する受信機による受信のために、前記無線ネットワークを介して送信するための該送信機を更に備える、請求項4に記載のシステム。
- 前記第1のグラフィックスプロセッサによって実行される前記処理が、復号、解凍、後処理、多重化、エラーの修正を提供する処理、パケット化、グラフィックスレンダリング、合成、再圧縮、及び再暗号化から構成されるグループから選択される、請求項1に記載のシステム。
- 前記第1のグラフィックスプロセッサによって実行される前記処理が、復号、解凍、後処理、多重化、エラーの修正を提供する処理、パケット化、グラフィックスレンダリング、合成、再圧縮、及び再暗号化を含む、請求項1に記載のシステム。
- 前記第1のグラフィックスプロセッサによって実行される前記処理が動的に適応可能である、請求項1に記載のシステム。
- 前記第2のグラフィックスプロセッサによって実行される前記処理が、復号、解凍、パケット化解除、後処理、逆多重化、合成、及びエラーの修正を提供する処理から構成されるグループから選択される、請求項1に記載のシステム。
- 前記第2のグラフィックスプロセッサによって実行される前記処理が、復号、解凍、パケット化解除、後処理、逆多重化、合成、及びエラーの修正を提供する処理を含む、請求項1に記載のシステム。
- ネットワークを介して第2のプロセッサと通信する第1のプロセッサを備え、
前記第1のプロセッサによって実行される処理の第1の量が、前記プロセッサによって実行される前記処理の第2の量の逆関数であり、前記第1のプロセッサ及び前記第2のプロセッサが、ビデオ処理又はグラフィックス処理を行うことができる、
サブシステム。 - 複数のモジュールを有するグラフィックスプロセッサにおいてコンテンツを受信するステップと、
前記コンテンツを処理するために前記グラフィックスプロセッサの前記複数のモジュールのうちの一以上を動的に選択して、無線ネットワークリンクを介した通信と、それに続くディスプレイを利用した前記コンテンツの表示とをサポートするステップと、
を含む方法。 - 前記グラフィックスプロセッサがグラフィックスプロセッシングユニットを含む、請求項12に記載の方法。
- 前記モジュールが暗号化モジュールを含む、請求項12に記載の方法。
- 前記モジュールが圧縮モジュールを含む、請求項12に記載の方法。
- 前記モジュールが復号モジュールを含む、請求項12に記載の方法。
- 前記モジュールが解凍モジュールを含む、請求項12に記載の方法。
- 前記モジュールが後処理モジュールを含む、請求項12に記載の方法。
- 前記モジュールがグラフィックス処理モジュールを含む、請求項12に記載の方法。
- 前記モジュールが合成モジュールを含む、請求項12に記載の方法。
- 前記処理が、前記無線ネットワークリンクを介した送信用に前記コンテンツを準備することを含む、請求項12に記載の方法。
- グラフィックス処理又はビデオ処理を行うことができるプロセッサであって、無線ネットワークリンクを介した通信と、それに続くディスプレイを利用したコンテンツの表示とをサポートするために前記コンテンツを処理するために動的に選択されるようになっている複数のモジュールを含む該プロセッサを備えるシステム。
- 前記プロセッサが、コンピュータと一体化されており、前記処理が、前記無線ネットワークリンクを介した送信用に前記コンテンツを準備するステップを更に含む、請求項22に記載のシステム。
- 前記プロセッサが、ディスプレイと一体化されており、前記処理が、前記無線ネットワークリンクを介して前記コンテンツを受信することと、前記ディスプレイを利用して表示するために前記コンテンツを準備することとを更に含む、請求項22に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/461,670 US7961192B2 (en) | 2006-08-01 | 2006-08-01 | Multi-graphics processor system and method for processing content communicated over a network for display purposes |
US11/461,676 US7969443B2 (en) | 2006-08-01 | 2006-08-01 | System and method for dynamically processing content being communicated over a network for display purposes |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008140368A true JP2008140368A (ja) | 2008-06-19 |
Family
ID=39340501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007201047A Pending JP2008140368A (ja) | 2006-08-01 | 2007-08-01 | 表示用にネットワークを介して通信されるコンテンツを処理するためのマルチグラフィックスプロセッサシステム及び方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2008140368A (ja) |
KR (1) | KR100960164B1 (ja) |
TW (1) | TWI369126B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016111705A (ja) * | 2014-12-04 | 2016-06-20 | アクシス アーベー | ビデオストリームの後処理のための方法及び装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8373708B2 (en) * | 2008-07-30 | 2013-02-12 | Nvidia Corporation | Video processing system, method, and computer program product for encrypting communications between a plurality of graphics processors |
CN105740061B (zh) * | 2016-01-29 | 2019-05-31 | 腾讯科技(深圳)有限公司 | 一种gpu资源重建的方法、用户设备及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06149694A (ja) * | 1992-11-16 | 1994-05-31 | Nippon Telegr & Teleph Corp <Ntt> | 分配データ受信選択方式 |
WO2004095293A1 (ja) * | 2003-04-24 | 2004-11-04 | Mitsubishi Denki Kabushiki Kaisha | 映像機器、映像モジュールユニット及び映像機器操作方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7053863B2 (en) * | 2001-08-06 | 2006-05-30 | Ati International Srl | Wireless device method and apparatus with drawing command throttling control |
US7649537B2 (en) | 2005-05-27 | 2010-01-19 | Ati Technologies, Inc. | Dynamic load balancing in multiple video processing unit (VPU) systems |
-
2007
- 2007-08-01 TW TW096128253A patent/TWI369126B/zh not_active IP Right Cessation
- 2007-08-01 JP JP2007201047A patent/JP2008140368A/ja active Pending
- 2007-08-01 KR KR1020070077532A patent/KR100960164B1/ko not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06149694A (ja) * | 1992-11-16 | 1994-05-31 | Nippon Telegr & Teleph Corp <Ntt> | 分配データ受信選択方式 |
WO2004095293A1 (ja) * | 2003-04-24 | 2004-11-04 | Mitsubishi Denki Kabushiki Kaisha | 映像機器、映像モジュールユニット及び映像機器操作方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016111705A (ja) * | 2014-12-04 | 2016-06-20 | アクシス アーベー | ビデオストリームの後処理のための方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
KR100960164B1 (ko) | 2010-05-26 |
TWI369126B (en) | 2012-07-21 |
KR20080012234A (ko) | 2008-02-11 |
TW200820752A (en) | 2008-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7961192B2 (en) | Multi-graphics processor system and method for processing content communicated over a network for display purposes | |
US9948994B2 (en) | Transmission of digital audio signals using an internet protocol | |
US9451313B2 (en) | Network media adapter | |
EP3013065B1 (en) | Information processing device and method | |
TWI565310B (zh) | 無線通訊系統中的視訊流送 | |
US10264208B2 (en) | Layered display content for wireless display | |
US20180220204A1 (en) | Information processing device, content requesting method, and computer program | |
RU2668549C2 (ru) | Устройство сервера, устройство клиент, способ распределения содержания и компьютерная программа | |
US7969443B2 (en) | System and method for dynamically processing content being communicated over a network for display purposes | |
JP2008140368A (ja) | 表示用にネットワークを介して通信されるコンテンツを処理するためのマルチグラフィックスプロセッサシステム及び方法 | |
JP2012257196A (ja) | 画面の共有に基づくストリーミングメディア転送システム及びその方法 | |
US20180267907A1 (en) | Methods and apparatus for communication between mobile devices and accessory devices | |
US9743035B2 (en) | Processing system with transport stream aggregation and methods for use therewith | |
Koyama et al. | Implementation of 8K vision mixer that transports 8K image as multiple 2K SMPTE ST 2110-20 flows | |
WO2021002135A1 (ja) | データ送信装置、データ送信システム、及び、データ送信方法 | |
JP2008066811A (ja) | デジタル放送受信システム | |
JP2006019997A (ja) | 動画データ転送システム | |
JP2003274326A (ja) | 情報処理装置及び情報処理方法 | |
JP2006148451A (ja) | コンテンツデータ送信回路、コンテンツデータ受信回路、コンテンツデータ送受信回路、および半導体装置 | |
JP2018207142A (ja) | Mmt受信システム、同期制御装置、同期制御方法および同期制御プログラム | |
JP2012054959A (ja) | デジタル放送受信システム、デジタル放送受信装置、受信制御装置、デジタル放送受信方法、およびプログラム | |
JP2009194854A (ja) | 映像配信通信モジュール及びそれを用いたセットトップボックス |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100107 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100406 |