JP2012504918A - 分散型オーディオ及びビデオ処理 - Google Patents

Abstract

【解決手段】
ローカルネットワークを介してディスプレイデバイスと相互接続される複数のデバイスの間でオーディオ及びビデオ処理タスクを分散させる方法が開示される。１つの実施形態では、ディスプレイデバイスは、幾つかの処理タスクから解放されてこれらをローカルネットワーク上のコンピュータデバイスに課し、処理性能の向上を達成する。コンピュータデバイスは、オーディオビジュアルデータを受信し、復号化し、処理し、符号化し、そして符号化されたデータを適切なデータフォーマットでディスプレイデバイスへ送信する。コンピュータデバイスにおける処理は、ディスプレイデバイスにおいて実行されるべき任意の処理と補完的である。他の実施形態では、ディスプレイデバイスはローカルネットワーク上の複数のデバイスを利用して特定の信号処理タスクを実行する。ネットワークにおける他のデバイスは、ディスプレイによって示される処理タスクを実行し、そして処理されたデータを提示のためにディスプレイデバイスへ返送し、全体的なオーディオビジュアルデータ処理性能の向上が支援される。
【選択図】図１

Description

本発明は、概してオーディオビジュアル信号のデジタル処理に関し、更に特定的には多重ハードウエア及びソフトウエアプラットフォームを用いるオーディオビジュアルデータの分散処理(distributed processing)に関する。

デジタルオーディオ及びビデオの題材の人気は、デジタル的に符号化されたオーディオビジュアルコンテンツを受信し、復号化し、処理し、そして適当なディスプレイ上に表示することを支援する多くの消費者電子プラットフォームの利用可能性をもたらしてきている。

消費者電子プラットフォームは、パーソナルコンピュータ（ＰＣ）、デジタル多目的ディスクプレーヤ（ＤＶＤプレーヤ）、高精細度ＤＶＤプレーヤ（ＨＤ＿ＤＶＤプレーヤ）、ブルーレイ(Blu-ray)プレーヤ、デジタルテレビジョン（ＤＴＶ）セット、高精細度テレビジョン（ＨＤＴＶ）セット、及びセットトップボックス(set-top boxes)を含む。無線周波数（ＲＦ）伝送信号、ケーブルテレビ信号、衛星信号等を介して伝送されるであろうデータを受信するために、多くの種類の受信機が用いられる。

オーディオ及びビデオコンテンツは、ＤＶＤ、ＨＤ＿ＤＶＤ、ブルーレイディスク（ＢＤ）、コンパクトディスク（ＣＤ）等のようなコンピュータ可読媒体の形態でも配布されることがある。代替的には、符号化されたオーディオビジュアルデータは、ダイアルアップリンク、光ファイバ接続、同軸ケーブル、デジタル加入者回線（ＤＳＬ）等によるインターネットのような遠隔通信網を介して受信されることもある。

オーディオ及びビデオデータを操作するために、デジタル信号プロセッサ（ＤＳＰ）がますます一般的になってきている。種々の電子デバイス内にＤＳＰを組み込むことのコストの低下は、多くの種類のデータ、オーディオ及びビデオ処理タスクを実行することができる多くのデバイスの出現を可能にしてきている。

外部モデム、ルータ、パーソナルコンピュータ、ブルーレイ又はＨＤ＿ＤＶＤプレーヤ及びディスプレイデバイスがしばしば異なる製造業者から提供され、居間あるいは家庭用娯楽センターで互いに相互接続されることは、今や一般的に見られる光景である。ＤＶＤプレーヤ、ＨＤ＿ＤＶＤプレーヤ、ブルーレイディスクプレーヤ、セットトップボックスのような復号器は、ディスプレイデバイスに直接的に相互接続することができる。一般的なディスプレイデバイスは、陰極線管（ＣＲＴ）モニタ、液晶ディスプレイ（ＬＣＤ）又はデジタル光処理（ＤＬＰモニタのようなフラットパネルディスプレイ、プラズマディスプレイ、及び他のデジタルテレビジョンセットを含む。一般的なオーディオデバイスは、スタンドアロンスピーカ、種々のテレビジョンセットにおいて典型的に見られるビルトインスピーカ、及びＳ／ＰＤＩＦ、同軸又は光コネクタからのデジタルオーディオを受信するように装備される受信機を含む。ＤＶＤプレーヤ、ＨＤ＿ＤＶＤプレーヤ、ブルーレイディスクプレーヤはパーソナルコンピュータ（ＰＣ）の一部を形成することがある。

種々の程度のオーディオ及びビデオ処理能力がこれらのプラットフォームで見出され得る。例えば、ＰＣは多くの場合、プロセッサ、メモリ、オーディオＤＳＰを含むオーディオアダプタカード、及びグラフィックス処理ユニット（ＧＰＵ）を含むビデオグラフィックスカードを含む。プロセッサ、オーディオＤＳＰ及びＧＰＵは、相互接続されたブルーレイドライブへロードされたブルーレイディスクからの圧縮されたオーディオ及びビデオデータを復号化することができる。ＧＰＵは、スケーリング又は色空間変換のような幾つかのビデオ処理を実行することができるかもしれない。また、ＧＰＵは、ビデオ復号化ステップを要求するためのハードウエア加速ブロックを提供することによって、復号化を支援することができるかもしれない。オーディオＤＳＰは、トーン処理、等化、３Ｄ仮想化、又は１つのオーディオフォーマットから他へのコード変換(transcoding)のような幾つかのオーディオ処理を実行することが可能であるかもしれない。

しかし、特にハードウエア加速が利用可能でない場合には、プロセッサはまた、ＰＣ内において殆どの又は全ての必要なオーディオ及びビデオ復号化タスクを実行するかもしれない。これは、例えば、専用のＧＰＵ及び／又はＤＳＰのない低コストのパーソナルコンピュータの場合であろう。

ＰＣは典型的には、標準的なビデオグラフィックスアレイ（ＶＧＡ）ケーブルによってＣＲＴモニタと相互接続している。しかし、同じＰＣは、代わりに洗練されたデジタルディスプレイとデジタルビジュアルインタフェース（ＤＶＩ）ケーブル、高精細度マルチメディアインタフェース（ＨＤＭＩ）ケーブル、又はディスプレイポート(DisplayPort)準拠ケーブルによって接続されるかもしれない。ＣＲＴモニタは典型的にはその処理能力が限定されているので、表示にＣＲＴモニタを用いるビデオソースデバイスは、典型的には本質的に全てのビデオ処理を実行する。同様に、オーディオデータは、Ｌ／Ｒ出力及び／又はＳ／ＰＤＩＦ準拠インタフェースを介して外部スピーカへ供給され得る。

しかし、他の種類の描画デバイス（例えばデジタルテレビジョンセット）は、走査速度変換、インターレーシング(interlacing)、デインターレーシング(de-interlacing)、雑音低減、スケーリング(scaling)、色補正、コントラスト補正、ガンマ補正、鮮鋭度強調、輪郭強調、及びフレームレート変換のようなそれら自身のビデオ処理能力を有しているかもしれない。この場合、少なくとも幾つかの処理はディスプレイデバイスで実行され得る。ソースデバイス又はシンク(sink)デバイスで実行されるであろうオーディオ処理タスクは、音量調節、スピーカバランスをとること、３Ｄ仮想化、低音／高音調整、自動音量調整、及びサウンド等化を含む。

残念なことに、処理能力が多重プラットフォームにおいて（即ちソース及びシンクデバイスの両方で）利用可能である場合、これらの能力は必ずしも効率的には利用されないことがある。例えば、デジタルテレビジョンセットに接続されるＰＣは、デジタルテレビジョンセットがその殆どを実行することを要求されているオーディオ及びビデオ処理要求に係るオーディオ及びビデオ処理をほとんど実行しないか、あるいは全く実行しないかもしれない。逆に、ＰＣは、ディスプレイデバイスにおいて利用可能な潜在的に優れた画像処理アルゴリズムを利用することなしに、ほとんど全ての処理タスクを実行するかもしれない。明らかに、そのような配列は、ソース（例えばＰＣ）デバイス及びシンク（例えばＤＴＶ）デバイスの両方で利用可能であろうプロセッサ、ＧＰＵ、オーディオＤＳＰ等の利用可能な処理能力を完全に活用しきれてはいない。

従って、ＰＣ及びディスプレイデバイスのような多重相互接続されるプラットフォームの処理能力の効果的な使用を可能にする方法に対する必要性が依然としてある。

ローカルネットワークを介してディスプレイデバイスと相互接続される複数のデバイスの間でビデオ及びオーディオ処理を分散させるための方法は、ディスプレイデバイスとローカルネットワーク内の残りのデバイスとの間でデータを交換するためのネットワーク転送プロトコル及びデータフォーマットを決定することを含んでいる。ローカルネットワーク内のデバイスの１つは、外部ネットワーク内のビデオサーバ、あるいはＤＶＤプレーヤのようなローカルソースのいずれかからのオーディオビジュアル入力を受信してよい。少なくとも１つの信号処理機能を実行することができるローカルネットワーク上の少なくとも１つのデバイスであって、処理されたデータを、決定されたデータフォーマット及び転送プロトコルを用いて、提示のためにディスプレイデバイスへ供給することができるデバイスを有することによって、ディスプレイデバイスは、オーディオ及びビデオ処理を分散させることができる。ディスプレイデバイスを含むローカルネットワーク上の種々のデバイスによって実行される処理タスクは、補完的である。方法は、ローカルネットワーク上の種々のデバイス内のアイドル処理パワーがビデオ及びオーディオ処理に対して効果的に用いられることを可能にする。

本発明のある側面によると、ローカルネットワークを介してコンピュータデバイスと相互接続されるディスプレイデバイス上での提示のために、コンピュータデバイスにおいて受信されるオーディオビジュアル入力データを処理する方法が提供される。方法は、ディスプレイデバイスにおいて実行されるべき第２の信号処理機能と補完的な第１の信号処理機能を実行し且つコンピュータデバイスにおいて支持されるネットワーク転送プロトコルの選択された１つ及びコンピュータデバイスにおいて支持されるデータフォーマットの選択された１つを用いるための命令をディスプレイデバイスから受信することを含む。方法はまた、第１の信号処理機能をオーディオビジュアル入力データに対して実行して外部処理データを形成することと、外部処理データを選択されたデータフォーマットに符号化することと、選択されたネットワーク転送プロトコルを用いてローカルネットワークを介して外部処理データを選択されたデータフォーマットでディスプレイデバイスへ送信することとを含む。

本発明の他の側面によると、ローカルネットワークを介してコンピュータデバイスと相互接続されるディスプレイデバイスを用いて、コンピュータデバイスにおいて受信されるオーディオビジュアル入力データを処理しそして提示する方法が提供される。方法は、ディスプレイデバイスにおいて実行されるべき第２の信号処理機能と補完的な第１の信号処理機能をオーディオビジュアル入力データに対して実行して外部処理データを形成し、外部処理データをデータフォーマットに符号化し、ネットワーク転送プロトコルを用いてローカルネットワークを介して外部処理データをデータフォーマットでディスプレイデバイスへ送信することをコンピュータデバイスに命令することを含む。方法は更に、データフォーマットにある外部処理データをディスプレイデバイスにおいて受信することと、受信した外部処理データに対して第２の信号処理機能を実行することと、受信した外部処理データをディスプレイデバイス上に提示することとを含む。

本発明の他の側面によると、ローカルネットワークを介してコンピュータデバイスと相互接続されるディスプレイデバイスを用いてオーディオビジュアル入力データを処理する方法が提供される。方法は、選択された転送プロトコル及びデータフォーマットを用いてディスプレイデバイスにおいてオーディオビジュアル入力データを受信することを含む。方法は更に、ディスプレイデバイスにおいて実行されるべき第２の信号処理機能と補完的な第１の信号処理機能を受信すると共にオーディオビジュアル入力データの一部分に対して実行して外部処理データを形成し、データフォーマットで外部処理データを符号化すると共にディスプレイデバイスへ送信することをコンピュータデバイスに命令することを含む。方法は更に、転送プロトコル及びデータフォーマットを用いて一部分をコンピュータデバイスへ送信することと、コンピュータデバイスからの外部処理オーディオビジュアルデータを受け入れると共に提示することとを含む。

本発明の他の実施形態によると、ディスプレイ画面、及びローカルネットワークを介してのコンピュータデバイスとの相互接続のためのネットワークインタフェースと通信する制御回路を含むディスプレイデバイスが提供される。ディスプレイデバイスは、第１の信号処理機能をオーディオビジュアル入力データに対して実行して外部処理データを形成することをコンピュータデバイスに命令するように動作可能である。第１の信号処理機能は、ディスプレイデバイスにおいて実行されるべき第２の信号処理機能と補完的である。ディスプレイデバイスは更に、選択されたデータフォーマットに外部処理データを符号化し、選択されたネットワーク転送プロトコルを用いてローカルネットワークを介してデータフォーマットにある外部処理データをディスプレイデバイスへ送信することをコンピュータデバイスに命令するように動作可能である。ディスプレイデバイスは更に、データフォーマットで送信された外部処理データを受信し、受信した外部処理データに対して第２の信号処理を実行し、受信した外部処理データをディスプレイデバイス上に提示するように動作可能である。

本発明の他の実施形態によると、メモリ、及びローカルネットワークを介してのディスプレイデバイスとの相互接続のためのネットワークインタフェースと通信するプロセッサを備えたコンピュータデバイスが提供される。コンピュータデバイスは、ディスプレイデバイスにおいて実行されるべき第２の信号処理機能と補完的な第１の信号処理機能を実行し、コンピュータデバイスにおいて支持されるネットワーク転送プロトコル及びデータフォーマットを用いるための命令をディスプレイデバイスから受信するように動作可能である。コンピュータデバイスは更に、第１の信号処理機能をオーディオビジュアル入力データに対して実行して外部処理データを形成するように動作可能である。コンピュータデバイスは更に、外部処理データをデータフォーマットに符号化するように動作可能である。コンピュータデバイスは更に、ネットワーク転送プロトコルを用いてローカルネットワークを介してデータフォーマットにある外部処理データを送信するように動作可能である。

本開示の更に他の側面及び特徴は、以下の具体的な実施形態の記述を添付図面と共に精査することにより、当業者に明らかなものとなるであろう。

本発明の実施形態を例示のみを目的として示す図面は以下の通りである。

図１はネットワークを介してオーディオ及びビデオコンテンツプロバイダと通信するパーソナルコンピュータデバイスとディスプレイデバイスが相互接続された例示的な配列の模式図である。

図２は図１のコンピュータデバイス及びディスプレイデバイス内の種々のブロックを示す詳細な模式図である。

図３は図２に示されるコンピュータデバイスのＧＰＵ内の種々のブロックの模式図である。

図４は図２に示されるコンピュータデバイスのオーディオプロセッサ内の種々のブロックの模式図である。

図５は本発明の例示的な実施形態において図１のコンピュータデバイスとディスプレイデバイスの間でのデータ転送を示す論理データ転送図である。

図６は本発明の例示的な実施形態において図１のコンピュータデバイス及びディスプレイデバイス内での論理エントリを示す模式図である。

図７はネットワークを介してオーディオ及びビデオサーバから受信したオーディオ及びビデオデータを協働して処理するために相互接続される２つのディスプレイデバイス及び１つのコンピュータデバイスの他の例示的な配列の模式図である。

図８は図７に示される配列がオーディオ及びビデオデータを協働して処理する追加的なデバイスを含むように拡張される他の例示的な実施形態の模式図である。

図１はローカルネットワーク１１８を用いてパーソナルコンピュータデバイス１０４と相互接続されるディスプレイデバイス１０２の簡略化されたブロック図を示している。随意的には、コンピュータデバイス１０４は、ディスプレイデバイス１０２と相互接続するために適切なオーディオ／ビデオリンク１１０を追加的に用いてもよい。コンピュータデバイス１０４は、ゲートウエイデバイス１１２及び、インターネットのようなデータ通信ネットワーク１０６を介してオーディオ及びビデオサーバ１０８と通信する。ネットワーク１０６はＩＰ（インターネットプロトコル）ネットワーク、あるいは同種の広域ネットワーク（ＷＡＮ）であってよい。従って、ディスプレイデバイス１０２は、コンピュータデバイス１０４によってネットワーク１０６（例えばインターネット）からオーディオ／ビデオコンテンツを要求し、また受信することができる。

ゲートウエイデバイス１１２はデータ線１１６を終端するモデム／ルータデバイスであってよく、データ線１１６は同軸ケーブル、デジタル加入者回線（ＤＳＬ）、光ファイバリンク等であってよい。データ線１１６は従ってデバイス１１２とネットワーク１０６の間でのデータ転送を可能にする。デバイス１１２は随意的には相互接続される個別のモデム及びルータの組み合わせから構成されてよく、モデムはデータ線１１６に相互接続され又はデータ線１１６を終端し、ルータはネットワークケーブル１１４を用いてコンピュータデバイス１０４と相互接続される。ネットワークケーブル１１４はイーサネット（登録商標）ケーブルであってよい。理解されるであろうように、図１に示される配置のようなネットワークで接続された環境においては、デジタルコンテンツサーバ（例えばオーディオ及びビデオサーバ１０８）からのデジタルコンテンツ（例えば圧縮されたオーディオ及びデジタルビデオ）は、クライアントデバイス（例えばコンピュータデバイス１０４）において容易に受信することができる。デジタルコンテンツは、デバイス１０４においてダウンローディング、ストリーミング、ＦＴＰ等によって受信され得る。より典型的には、オーディオビジュアル信号は衛星受信機、デジタル地上波受信機、同軸ケーブル等を介して受信され得る。加えて、ブルーレイ、ＨＤ＿ＤＶＤ、又はＤＶＤプレーヤのようなローカルビデオソースが、ディスプレイデバイス１０２上での提示のためにオーディオビジュアルコンテンツをもたらすことができる。

ディスプレイデバイス１０２はデジタルディスプレイデバイスであってよい。例えば、ディスプレイデバイス１０２は高精細度テレビジョン（ＨＤＴＶ）セットのようなデジタルテレビジョン（ＤＴＶ）であってよい。従って、リンク１１０は、デジタルビジュアルインタフェース（ＤＶＩ）ケーブル、高精細度マルチメディアインタフェース（ＨＤＭＩ）ケーブル、又はディスプレイポート(DisplayPort)準拠ケーブルであってよい。

オーディオ及びビデオ処理は、ネットワーク１１８上の多重デバイスにわたって分散されてよい。上述のように、異なるオーディオ／ビデオ処理能力がネットワーク１１８上の異なるデバイスの間に存在するときに、分散型オーディオ／ビデオ処理が望ましい。

本発明の例示的な実施形態においては、制御データの他にオーディオ／ビデオデータの交換に対してもネットワーク１１８を用いて、オーディオ及びビデオのための処理タスクは、複数のデバイス（例えばデバイス１０２及び１０４）の間で分散され得る。以下に詳細に説明されるように、例示的なデバイス（例えばデバイス１０２及びデバイス１０４）は、それら自身の間でのオーディオ及びビデオデータの処理を分散させるためのデータ交換メカニズムを確立し、そして連携させるために、ネットワーク１１８を利用することができる。その結果、連携されたデータ交換のためにネットワーク１１８を利用しながら、オーディオ及びビデオデータは、部分的にディスプレイデバイス１０２内で処理されてよく、また部分的にコンピュータデバイス１０４内で処理されてよい。

図２はコンピュータデバイス１０４及びディスプレイデバイス１０２の簡略化されたブロック図を示している。コンピュータデバイス１０４はプロセッサ２００を含んでおり、プロセッサ２００は、ＡＭＤ（登録商標）ｘ８６ファミリーのマイクロプロセッサと互換性のあるマイクロプロセッサのような従来の中央処理ユニット（ＣＰＵ）であってよい。しかし、プロセッサ２００はまた、ＰｏｗｅｒＰＣ、Ｉｎｔｅｌ＿ｘ８６又は他のアーキテクチャを有していてもよい。プロセッサ２００は、集積化インタフェース回路２０４及び２０６を介してシステムメモリ２１０のブロック及び周辺機器と相互接続されている。

集積化インタフェース回路２０４及び２０６は、しばしばそれぞれノースブリッジ及びサウスブリッジと称され、プロセッサ２００に対して周辺機器及びメモリ２１０とのインタフェースを提供する。図示されるように、インタフェース回路２０４は、プロセッサ２００をグラフィックスアダプタカード２０２、ブロックシステムメモリ２１０及びインタフェース回路２０６と相互接続させる。サウスブリッジ（インタフェース回路２０６）は同様に、ネットワークインタフェースカード（ＮＩＣ）２０８、ドライブ２１２、オーディオアダプタ２１８（即ちサウンドカード）及び他の低速周辺機器（図示せず）と相互接続している。

グラフィックス処理ユニット（ＧＰＵ）２４０はアダプタカード２０２の一部を構成する。ＧＰＵ２４０は例えば、米国、カリフォルニア、サニーベイルのアドバンストマイクロデバイセズインク(Advanced Micro Devices Inc. of Sunnyvale, California, U.S.A)から現時点で提供されるＡＴＩ＿Ｒａｄｅｏｎ（商標）ファミリーのグラフィックスプロセッサの１つであってよい。高速拡張バスはペリフェラルコンポーネントインターコネクトエクスプレス(Peripheral Component Interconnect Express)（ＰＣＩｅ）バスであってよい。他の実施形態では、ＧＰＵ２４０はコンピュータデバイス１０４のためのマザーボード上に形成される集積化グラフィックスポートの一部であってよく、この場合、グラフィックスアダプタカード２０２はなくてよい。

オーディオデジタル信号プロセッサ（ＤＳＰ）２１４はオーディオアダプタ２１８の一部を構成してよい。オーディオアダプタ２１８は、デバイス１０４内部のＰＣＩｅ高速拡張バスと相互接続されるＰＣＩｅ準拠サウンドカードであってよい。オーディオアダプタ２１８は、ＤＳＰ２１４に加えて、バスインタフェース回路、フィルタ、デジタル対アナログ変換器（ＤＡＣ）、増幅器、等を含んでいてよい。

ディスプレイデバイス１０２は、制御回路２３０のような処理回路、ディスプレイ画面２２８及びスピーカ２３２を含んでいてよい。回路２３０は、受信したオーディオ及びビデオデータを復号化し、復号化されたオーディオ及びビデオデータを処理し、そしてネットワークインタフェースを提供することが可能であってよい。回路２３０は、ディスプレイ画面２２８及びスピーカ２３２の両方と相互接続されてよく、処理されたビデオデータ及びオーディオデータをそれぞれに出力するすることができる。

回路２３０は特定用途向け集積回路（ＡＳＩＣ）として構成されてよい。回路２３０は例えば、米国、カリフォルニア、サニーベイルのアドバンストマイクロデバイセズインクから現時点で提供されるＸｉｌｌｅｏｎ（商標）ファミリーのデジタルビデオプロセッサの１つを含んでいてよい。回路２３０は、ＭＰＥＧ復号器であってよい復号器２２４と、メモリ２４２と、イーサネット（登録商標）制御器を含んでいてよいネットワークインタフェース２４６と、走査速度変換、インターレーシング、デインターレーシング、雑音低減、スケーリング、色補正、コントラスト補正、ガンマ補正、鮮鋭度強調、輪郭強調、フレームレート変換、等に関与する種々のサブブロック（図示せず）を同時に含んでいてよい画像プロセッサ２２０とを含んでいてよい。

回路２３０はまた、オーディオデータを処理するためのオーディオプロセッサ２１６を含んでいてよく、そしてオーディオ復号化、音量、バランス、音質調整、等化、サンプリングレート変換、遅延、同期、等に関与するブロックを含んでいてよい。

上述したように、ディスプレイデバイス１０２及びコンピュータデバイス１０４は、ローカルネットワーク１１８によって相互接続されてよい。ローカルネットワーク１１８は、相互接続されるデバイスの間で双方向のオーディオビジュアルデータの交換を可能にするのに十分な帯域幅を有する任意の種類のデータ通信ネットワークであってよい。ローカルネットワーク１１８は有線又はワイヤレスであってよい。

ネットワーク１１８は例えばＩＰネットワークであってよい。ネットワーク１１８を実装するために、イーサネット（登録商標）、ブルートゥース(Bluetooth)又はワイファイ(Wi-Fi)のような任意の既知の物理層標準が用いられてよい。代替的には、独自の(proprietary)通信プロトコルが用いられてよい。言うまでもなく多数の代替が可能である。デバイス１０２及びデバイス１０４は、ローカルネットワーク１１８に加えて、ＨＤＭＩケーブルであってよいリンク１１０又は例えばＵＳＢリンクであってよいリンク２４４のような追加的なリンクによって随意的に相互接続されていてもよい。

図３はデバイス２０２内の個々のブロックの更に詳細な模式図を示していおり、これらのブロックは典型的にはＧＰＵ２４０内に実装されている。これらのブロックは、入ってくるビデオを復号化しそして処理するのに用いられる。これらのブロックは、復号器３０２、スケーリングブロック３２４、デインターレースブロック３２２、フレームレート変換器（ＦＲＣ）３２０、色空間変換（ＣＳＣ）ブロック３２８、及び雑音低減ブロック３２６を含む。

復号器３０２は復号器２２４（図２）と同様にＭＰＥＧ変換器であってよく、そして可変長復号器（ＶＬＤ）３１２、逆量子化（ＩＱ）ブロック３１４、逆離散コサイン変換器（ＩＤＣＴ）３１６、モーション補償（ＭＣ）ブロック３１８、ローカルメモリ３０６、等のような多重サブブロックを同時に含んでいてよい。

動作においては、符号化されたオーディオビジュアルデータは、コンテンツサーバ１０８からネットワーク１０６を介してＮＩＣ２０８を経由してコンピュータデバイス１０４において受信されてよい。代替的には、ブルーレイディスク（ＢＤ）又はＨＤ＿ＤＶＤディスクのようなオーディオ及びビデオコンテンツを含む適切な媒体がドライブ２１２へロードされてよい。デバイス１０４は従って、ディスクからの符号化されたデータを読み込み、処理し、そしてデバイス１０２へ送信することができる。

オーディオ及びビデオサーバ１０８のようなデジタルオーディオ及びビデオコンテンツサーバは典型的には、ダイアルアップ回線のような低速接続を伴うネットワークを含む多くの種類のネットワーク（及びクライアントデバイス）を対象としている。これらのオーディオ及びビデオサーバは典型的には、オーディオビジュアル（ＡＶ）コンテンツを送信するのに先立ち、クライアントマシンと伝送速度について交渉しない。従って、ビデオデータは、最も見込まれるビットレートで常に供給され又は提供されるとは限らない。その代わりに、ＡＶストリームは典型的には、目的とする最も弱い対象クライアントデバイスがビデオ又はオーディオストリームを復号化しまた出力することが可能な低解像度及び／又は低フレームレートで提供される。例えば、各フレームの解像度は、３２０×２４０ピクセルに限定されてよく、あるいはビットレートは約３８４ｋｂｉｔ／ｓに限定されてよい。結果として、オーディオビジュアルストリームは、サーバ１０８（ネットワーク１０６を介して）から極めて低いビットレートでコンピュータデバイス１０４において受信されるであろう。

また、インターネットからのオーディオビジュアルコンテンツは典型的には、一般に入手可能なオペレーティングシステムがロードされている汎用ＣＰＵを利用するパーソナルコンピュータのような、少数ではあるが一般的なプラットフォームにおいてのみ復号化され得るフォーマットで伝送される。そのようなビデオを復号化するために必要なツールは、固定シーケンスの(hard-wired)復号器を伴うディスプレイデバイスのような他のプラットフォーム上ではすぐには利用可能でないことがある。例えば、ＣＮＮ．ｃｏｍ又はＹｏｕｔｕｂｅ．ｃｏｍのような、インターネットを介してストリーミングコンテンツを提供する人気のあるオーディオ及びビデオ供給ウエブサイトは、典型的には、それらのコンテンツをフラッシュビデオ(Flash Video)（ＦＬＶ）、クイックタイム(QuickTime)、又はディビックス(DivX)フォーマットで提供し、これらのフォーマットは独自のアプリケーション（例えばフラッシュビデオのためのアドビフラッシュ（登録商標）プレーヤによってのみ復号化され得る。しかし、ウインドウズ（登録商標）及びマックオーエス（登録商標）、リナックス及びユニックス（登録商標）のような一般的なオペレーティングシステムを実行しているコンピュータマシン上でアドビフラッシュプレーヤはユビキタス(ubiquitous)である一方で、現在のテレビジョンセット及び他のディスプレイデバイスにおいては、簡単には実装されない。回路２３０のようなデジタルテレビジョンセット内の回路は、典型的には、ドルビーデジタル(Dolby Digital)ＡＣ３オーディオ、あるいはＭＰＥＧ符号化されたオーディオ及びビデオデータをカプセル化しているＭＰＥＧトランスポートストリーム（transport stream）（ＭＰＥＧ＿ＴＳ）パケットのような、標準化されたストリームフォーマットにあるオーディオ及びビデオデータを受信するように構成される。

デバイス１０４において受信されるオーディオ又はビデオストリームとディスプレイデバイス１０２で期待される入力フォーマットとの間でのそのようなフォーマット非互換性は、コード変換によって解決することができる。従って、コンピュータデバイス１０４は、１つのフォーマット（例えばマクロメディア(Macromedia)ＦＬＶ）にあるストリームを受信し、そしてそれを別のフォーマット（例えばＭＰＥＧトランスポートストリーム）へとコード変換するプロキシ(proxy)としての役割をはたすことができる。これにより、ディスプレイデバイス１０２（デジタルテレビジョンセットであってよい）は、コンピュータデバイス１０４によるＭＰＥＧ＿ＴＳ出力を受信し、処理し、そしてディスプレイ画面２２８上に表示することが可能になる。実際には、デバイス１０４は、受信したストリームを先ず復号化し、そして復号化されたビデオ及びオーディオデータを、デバイス１０２によって期待されるフォーマットで符号化する。

極めて低いビットレートを達成するために、オーディオ及びビデオ生データは、しばしば送信に先立ちサーバ１０８で高度に圧縮されると共に符号化される。残念なことに、そのような高度に圧縮化されたデータストリームは、復号化されそして表示されるときに、とても目立つビジュアル及びオーディオのアーティファクツ(artifacts)をもたらす。これらのアーティファクツは、塊状(blocky)フレーム（その内部ではマクロブロックの境界が明白である）、モスキートノイズ、低フレームレート、モノオーディオ(mono-audio)等を含む。

ピクチャーインピクチャー（ＰｉＰ）又はピクチャーイングラフィックス（ＰＩＧ）提示を対象とするビデオが全画面表示のために拡大される場合、ビジュアル歪はなおさら深刻なものとして出現するであろう。デバイス１０４から受信されるＭＰＥＧ＿ＴＳを復号化することに加えて、ディスプレイデバイス１０２は、そのようなストリームが全画面で見られる場合に、拡大縮小し(scale)、フィルタリングし、雑音低減し、輪郭強調し、そして表示される画像を別の方法で改善するために、そのビデオ処理能力を完全に利用することが必要になるであろう。同様に、同期化、等化等のようなオーディオ処理機能はデバイス１０２内で実行することができる。

残念なことに、デバイス１０２のような任意の１つのデバイスのディスプレイ／オーディオ処理容量は、その有限な量のメモリ（例えばメモリ２４２）の他、その処理回路（例えば回路２３０）の最大動作速度によっても限定される。従って、回路２３０は、完全に利用されたとしても、受信したオーディオビジュアルストリームをタイミングよい再生のために適切に処理するのに十分に強力ではないかもしれない。

そこで、本発明の例示的な実施形態では、コンピュータデバイス１０４は、必要なオーディオ及び／又はビデオ処理タスクの少なくとも一部を実行することにおいて、ディスプレイデバイス１０２を支援するために用いられてよい。つまり、ディスプレイデバイス１０２は、その処理タスクの幾つかから解放されてその幾つかをコンピュータデバイス１０４に課してよい。

これを達成するために、信頼性のあるデータ交換メカニズムがディスプレイデバイス１０２とコンピュータデバイス１０４の間で望まれる。コンピュータデバイス１０４とディスプレイデバイス１０２の間でのそのようなデータ交換のための物理的媒体は、ローカルネットワーク１１８によって促進される。上述したように、ローカルネットワーク１１８は、デバイス１０２とデバイス１０４の間の任意の通信リンクであり得る。例えば、ローカルネットワーク１１８は、ＩＥＥＥイーサネット（登録商標）標準の例えば８０２．３ｉ、８０２．３ｕに適合する有線リンク、あるいはブルートゥース又は８０２．１１ａに適合するワイヤレスリンクを用いて実装されるＩＰネットワークであってよい。

コンピュータデバイス１０４及びディスプレイデバイス１０２はユニバーサルプラグアンドプレイ(Universal Plug and Play)（ＵＰｎＰ）標準に準拠していてよい。ＵＰｎＰ＿ＡＶアーキテクチャ、バージョン１．０(UPnP AV Architecture, Version 1.0)は、その内容が参照のためにここに組み込まれ、メディアサーバ（例えばＰＣ、ＤＶＤプレーヤ）からメディアレンダラー(renderer)（例えばＴＶ、ディスプレイ、スピーカ）へのメディアコンテンツのフローを促進するアーキテクチャ的フレームワークを記述している。また、ローカルネットワーク１１８を介してのデータ交換は、ＵＰｎＰ標準を利用するデジタルネットワークリビングアライアンス(Digital Network Living Alliance)（ＤＬＮＡ）からの指針に基いていてよい。

ＵＰｎＰ準拠デバイスは、ＵＤＰ又はＴＣＰのいずれかの最上プロトコル層で動作するハイパーテキストトランスファープロトコル(hyper-text transfer protocol)（ＨＴＴＰ）を介したメッセージを、ＩＰプロトコル層を介して交換する。言うまでもなく、ＩＰ層は、イーサネット（登録商標）、ブルートゥース等のような多くの種類の物理層及びデータリンク層にわたって実装され得る。

従来的には、ネットワーク可能ディスプレイデバイス、例えばローカルネットワーク１１８と相互接続されるそのネットワークインタフェース２４６を有するディスプレイデバイス１０２は、ハードウエア改変を伴うことなしに、ＵＰｎＰ標準に容易に適合させることができる。ＵＰｎＰはＴＣＰ／ＩＰ、ＨＴＴＰ及びＸＭＬのようなオープンで標準的なプロトコルを使用するので、ローカルネットワーク１１８は、ネットワークケーブル（例えばイーサネット（登録商標）ケーブル）、無線周波数（ＲＦ）、電話回線、電力線、等の任意の適切な有線又はワイヤレスの媒体を利用することができる。

ＵＰｎＰとの関連において、データ交換は、ソースデバイス（メディアサーバ）、シンクデバイス（メディアレンダ）及び制御点に関与する。制御点は任意の特定のコンテンツデータフォーマット又は転送プロトコルとは独立であり、そしてメディアサーバ及びメディアレンダの間でのコンテンツデータ転送を連携させる。制御点、メディアサーバ及びメディアレンダは全て論理要素(logical entity)である。一般的に、これらの要素は各々別個のデバイス内に実装されてよく、あるいは代替的には、それらは必要に応じて１つ以上の物理的デバイス内で組み合わされそして実装されてよい。従って、例えば、制御点及びメディアレンダは、両方ともディスプレイデバイス１０２のような単一のデバイス上に実装されてよい一方で、メディアサーバはコンピュータデバイス１０４上に実装されてよい。他の実施形態においては、制御点及びメディアサーバが単一のデバイス上に実装されてよい。上で引用されたＵＰｎＰアーキテクチャ文献において示唆されるように、そのような種々の配置が可能である。

ＵＰｎＰデバイスはサービスを含み、サービスは状態変数及び作用を規定する。ＵＰｎＰネットワーク内の制御点は幾つかのタスクを実行する。これらは、ネットワーク上の他のデバイスを発見することと、望まれるコンテンツの位置を決定することと、コンテンツをプロトコルに整合させるように支持されているプロトコルを識別することと、デバイスを設定することと、望まれるコンテンツを選択しそしてコンテンツ転送を開始することと、セッションが完了した後に最終的にクリーニングアップすることとを含む。

与えられたＵＰｎＰデバイス内の各サービスは、その状態変数が変化したときに、イベントメッセージを送信することによって更新を発行する。制御点はこれらのイベントメッセージを介してこの情報を受け取ることを承認(subscribe)してよい。イベントメッセージは、名称状態変数(names state variables)及びその時点でのそれらの変数の値を含む。多重制御点を支持するために、全てのサブスクライバ(subscribers)は全てのイベントメッセージを送られ、そしてサブスクライバはイベントに関連する全ての状態変数に対するイベントメッセージを受け取る。

１つの例示的な実施形態においては、ローカルネットワーク１１８は、コンピュータデバイス１０４及びディスプレイデバイス１０２と相互接続するイーサネット（登録商標）ローカルエリアネットワークであってよい。制御点はディスプレイデバイス１０２の一部として形成されてよい。制御点はコンピュータデバイス１０４上に形成されてもよい。コンピュータデバイス１０４及びディスプレイデバイス１０２は従って、認証、ビデオ配置、メディアロケーション（例えばＵＲＬ）を指定すること等のためにＵＰｎＰプロトコルを介して互いに通信する。

制御点に加えて、ディスプレイデバイス１０２及びコンピュータデバイス１０４の各々は、それらが同時にデータを送信及び受信することを可能にするメディアレンダ及び／又はメディアサーバを実装してよい。従って、コンピュータデバイス１０４へロードされたメディアサーバソフトウエア要素は、ネットワーク１０６（例えばインターネット）から受信されそしてコード変換されたビデオデータをディスプレイデバイス１０２へ送信してよい。

逆に、ディスプレイデバイス１０２内で実行中のメディアサーバ要素（図示せず）は、コンピュータデバイス１０４から受信したビデオデータをコンピュータデバイス１０４内のメディアレンダ要素へ処理のために返送することによって、幾つかのビデオ処理ステップから解放され得る。

図５は本発明の１つの例示的な実施形態においてコンピュータデバイス１０４及びディスプレイデバイス１０２内で実行中のメディアサーバ要素及びメディアレンダ要素の間でのデータ転送を示す論理データ転送図である。

図示されるように、デバイス１０４及びデバイス１０２はそれらの能力を交換する（５０２，５０６）。そうするために、デバイス１０４は、ディスプレイデバイス１０２による検索(retrieval)のために支持されている転送プロトコル及びデータフォーマットのリストを指定してよい。次いで、ディスプレイデバイス１０２は、デバイス１０２とデバイス１０４の間でのデータの交換のための特定の転送プロトコル及びデータフォーマットを選択してよい。

デバイス１０２は更に、例えばＭＰＥＧブロックアーティファクト低減のような特定のオーディオ又はビデオ処理タスクを実行するようにデバイス１０４に命令してよい（５０４）。このことは、例えばＭＰＥＧブロックアーティファクト低減がデバイス１０４内で勝っている場合に生じてよい。デバイス１０４内で実行されるオーディオ又はビデオ信号処理機能は、言うまでもなく、処理されたデータが一旦デバイス１０２内で受信されたら、ディスプレイデバイス１０２内で実行されるべき任意の信号処理機能と補完的であろう。

デバイス１０２はオーディオビジュアルデータを要求してよい（５１０）。デバイス１０４は、オーディオ処理タスク又はビデオ処理タスクのどちらを実行するかの命令を受信してよい（５０８）。デバイス１０４はまた、データに対する要求を受信してよい（５１２）。デバイス１０４はビデオ及びオーディオサーバ１０８からのデータを受信してよく（５１４）、そして先に交渉された処理タスクを実行してよい（即ち、ＭＰＥＧブロックアーティファクト低減、及び要求されるデータフォーマットにおいてデータを提供するために必要な任意のコード変換）。

コンピュータデバイス１０４は、ネットワーク１０６からデータを受け入れてよく（例えばインターネットからのＦＬＶ符号化されたＡＶデータ）、受け取ったデータを復号化及び処理してよく、そして処理されたデータをデバイス１０２によって期待されるフォーマットで符号化してよい。コンピュータデバイス１０４は次いで、符号化されたデータをデバイス１０２へ送信してよい（ブロック５１８）。上述したように、データはＭＰＥＧ転送ストリーム（ＭＰＥＧ＿ＴＳ）として送信されてよい。

次いで、デバイス１０４は、ＭＰＥＧフォーマットで符号化されたデータをディスプレイデバイス１０２へ送信してよい（５１８）。ディスプレイデバイス１０２は次いで、幾つかのローカル処理を実行してオーディオビジュアルコンテンツを抽出してよい。ディスプレイデバイス１０２で実行されてよい受信したビデオデータのローカル処理は、例えば受信したＭＰＥＧストリームを復号化することを含む。ディスプレイデバイス１０２は、追加的な補完処理を実行してよく、次いで処理されたデータを表示してよい（ブロック５２０）。

上述したように、ディスプレイデバイス１０２はＵＰｎＰ準拠であってよく、そして制御点を実装していてよい。ディスプレイデバイス１０２内の制御点は、転送プロトコル及びデータフォーマットを決定して、メディアサーバからのコンテンツをメディアレンダへ転送する。例示的な転送プロトコルはＩＥＥＥ−１３９４、ＨＴＴＰ＿ＧＥＴ、ＲＴＳＰ／ＲＴＰ等を含み、また例示的なデータフォーマットはＭＰＥＧ２、ＭＰＥＧ４、ＭＰ３、ＷＭＡ、ＪＰＥＧ等を含む。制御点は代替的には、デバイス１０４又はデバイス１０４及びデバイス１０２と通信する他のデバイス内にあってよい。

コンピュータデバイス１０４又はディスプレイデバイス１０２内で実行される処理は、復号化、フィルタリング、雑音低減、ＭＰＥＧブロックアーティファクト低減、スケーリング、デインターレーシング、走査速度変換、色補正、コントラスト補正、ガンマ補正、鮮鋭度強調、輪郭強調、フレームレート変換等を含む任意の一般的なデジタルビデオ信号処理タスクであってよい。オーディオに関連する他のタスクは、音質処理、等化、３Ｄ仮想化、又は１つのオーディオフォーマットから他へのコード変換を含んでいてよい。

代替的な実施形態においては、コンピュータデバイス１０４とディスプレイデバイス１０２の間でのデータ交換は、イーサネット（登録商標）ワークによって達成される必要はない。むしろ、任意のネットワーキング媒体及びプロトコルが用いられてよい。また、ＵＰｎＰネットワークをセットアップするために、電源線、ブルートゥース、ワイファイ、ファイアワイヤ(FireWire)（ＩＥＥＥ＿１３９４）、赤外線等を介して確立される任意の相互接続が用いられてよい。

図６はディスプレイデバイス１０２及びコンピュータデバイス１０４内で実行する例示的な論理ＵＰｎＰエントリを示している。ディスプレイデバイス１０２及びコンピュータデバイス１０４は、全て同一の物理的デバイス上で実行するメディアサーバ要素、制御点、及びメディアレンダ要素を含むＵＰｎＰ準拠ソフトウエアをロードされてよい。

従って、図示されるように、ディスプレイデバイス１０２は、ＵＰｎＰメディアレンダ１０２−２及びＵＰｎＰ制御点１０２−３を有していてよい。同様に、コンピュータデバイス１０４はメディアサーバ１０４−１としての役割をなしてよい。デバイス１０４は随意的にメディアサーバ及び制御点を含んでいてよい一方で、デバイス１０２もまた随意的にメディアレンダ（特には図示せず）を含んでいてよい。メディアレンダは、メディアサーバ（論理ソースデバイスである）からのオーディオビジュアルデータを受け入れる論理シンクデバイスである。

メディアレンダ１０２−２及びメディアサーバ１０４−１の能力に関するデータを受信した後（６０２）、制御点１０２−３は、交換されるオーディオビジュアルデータに対するネットワーク転送プロトコル及びデータフォーマットを設定してよく（６０４）、メディアレンダ１０２−２及びメディアサーバ１０４−１の間で処理タスクを分配してよく（６０６）、そしてそれに従い実行されるべき信号処理命令を送信してよい（６０８）。

メディアサーバ１０４−１は、ＵＰｎＰ準拠の要求に合致するディスプレイデバイス１０２による検索のためにコンピュータデバイス１０４内で支持されている転送プロトコル及びデータフォーマットのリストを指定してよい。

制御点１０２−３によって選択されたデータフォーマット及びネットワーク転送プロトコルは、次いで言うまでもなくメディアサーバ及びメディアレンダの両方によって支持されるであろう。一旦選択されたデータフォーマット及び転送プロトコルは、与えられたセッションを通してメディアレンダ１０２−２とメディアサーバ１０４−１の間でデータを交換するために用いられてよい。

次いで、デバイス１０４は例えばゲートウエイデバイス１１２からオーディオビジュアル入力データを受信してよく（６１４）、そしてそのメディアサーバ１０４−１を設定して、受信したオーディオビジュアルコンテンツへアクセスすることができるようにしてよい。メディアサーバ１０４−１は従って、受信したオーディオ及びビデオデータにアクセスし、データを処理し（６１６）、そしてデータをコード変換（選択されたデータフォーマットへ）すると共に承諾された転送プロトコルを用いてネットワーク１１８を介してデバイス１０２へ送信する（６１８）ことができる。

メディアサーバ１０４−１は、各コンテンツ項目に対して１つ又は多重の転送プロトコル及びデータフォーマットを支持してよく、あるいは所与のコンテンツ項目のフォーマットをオンザフライ(on the fly)の他のフォーマットへ変換することが可能であってよい。例えば、メディアサーバ１０４−１は、ＦＬＶフォーマットにあるデータを受信し、それを処理し、処理されたデータをＭＰＥＧ転送ストリームフォーマットへ符号化又はコード変換し、そしてそれをメディアレンダ１０２−２（即ちディスプレイデバイス１０２）へ送信してよい。

言うまでもなく、デバイス１０４（即ちメディアサーバ１０４−１）はＰＣである必要はない。その代わりに、デバイス１０４は、ＶＣＲ、ＣＤ／ＤＶＤプレーヤ、ジュークボックス、デジタルカメラ、ビデオカメラ(camcorder)、ＰＣ、セットトップボックス、衛星受信機、デジタル地上波受信機、オーディオテーププレーヤ、等であってよい。

上述したように、制御点１０２−３は、オーディオビジュアルデータコンテンツをメディアサーバ１０４−１からメディアレンダ１０２−２へ転送するのに用いられる転送プロトコル及びデータフォーマットを決定してよい。例示的な転送プロトコルはＩＥＥＥ−１３９４、ＨＴＴＰ＿ＧＥＴ、ＲＴＳＰ／ＲＴＰ等を含み、また例示的なデータフォーマットはＭＰＥＧ２、ＭＰＥＧ４、ＭＰ３、ＷＭＡ、ＪＰＥＧ等を含む。制御点１０２−３は、イベント、例えばデバイス１０４からデバイス１０２へのデータ転送が完了したことを示すイベントを受信してよい。

コンピュータデバイス１０４との間でデータを転送するためにネットワーク転送プロトコル（例えばＨＴＴＰ＿ＧＥＴ）及びデータフォーマット（例えばＭＰＥＧ）を決定又は選択した後に、ディスプレイデバイス１０２は、オーディオビジュアル入力データに少なくとも１つの信号処理機能（例えばＭＰＥＧブロックアーディファクト低減）を実行して外部処理データを形成し、外部処理データを選択されたデータフォーマットへ符号化し、そしてそれを、選択されたネットワーク転送プロトコルを用いて、交渉されたデータフォーマットで送信するようにコンピュータデバイス１０４に命令してよい。ディスプレイデバイス１０２は次いで、外部処理データ（即ちデバイス１０４において処理されている）を受信してよく、そしてそれをディスプレイデバイス１０２上に提示してよい。

ディスプレイデバイス１０２がコンピュータデバイス１０４に実行を命令してよい処理機能（例えばＭＰＥＧブロックアーティファクト低減）は、ディスプレイデバイス１０２それ自身が実行し得る他の処理機能（例えば、デインターレーシング、色空間補正、コントラスト補正、ガンマ補正、鮮鋭度強調、及び輪郭強調）と補完的であってよい。即ち、ディスプレイデバイス１０２は、受信したストリームに対して相補的な処理機能を実行し得るように、幾つかの処理機能から解放される。

例えば、ディスプレイデバイス１０２は、オーディオビジュアルデータをコード変換してそしてＭＰＥＧストリームとして送信するのに先立ち、ＭＰＥＧブロックアーティファクト低減を実行するようにデバイス１０４に命令することによって、観察されるであろう塊状アーティファクツを除去するためのフィルタリングから解放され得る。従って、ディスプレイデバイス１０２は、既に処理された（例えばＭＰＥＧブロックアーディファクト低減が実行された）オーディオビジュアルデータをＵＰｎＰシンク（メディアレンダ１０２−２）へ送信することをＵＰｎＰソース（メディアサーバ１０４−１）に命令するために、ＵＰｎＰ制御器（制御点１０２−３）を用いることができる。データフォーマットに適合させるために必要であろうコード変換に加えて、少なくとも１つの信号処理タスクがデバイス１０４に課せられてよい。最終的に、メディアレンダ１０２−２は、処理されたデータを受信してそして描画することができる（６１０）。

ＭＰＥＧストリームとして符号化された外部処理データを受信した場合、メディアレンダ１０２−２は、復号器２２４を用いて、受信したＭＰＥＧ＿ＴＳを復号化して、表示されるべきピクチャ（フィールド又はフレームのデータ）を形成してよい。

メディアサーバ１０４−１及びメディアレンダ１０２−２は、イベント通知を制御点１０２−３へ送り、メディアサーバ１０４−１又はメディアレンダ１０２−２の状態におけるそれぞれの制御点の変化を知らせることができる。

オーディオビジュアルデータを受信した場合、メディアレンダ１０２−２は、プロセッサ２００及び／又はＧＰＵ２４０を用いて、フィルタリング、雑音低減、フレームレート変換等のような追加的な画像処理タスクを実行することができる。

代替的な実施形態においては、デバイス１０２において受信されたデータの一部分は更なる処理のためにデバイス１０４（又はローカルネットワーク１１８上の他のデバイス）へ送り返されてよく、そして次いで提示のためにデバイス１０２内で再び受信されてよい。従って、デバイス１０２内には、処理のためのデータを送信する他のＵＰｎＰメディアサーバインスタンス(instance)が存在してよく、またデバイス１０４（又はローカルネットワーク１１８上の他のデバイス）内には、データを受信するためのＵＰｎＰメディアレンダの対応するインスタンスと共に、データの交換を連携させる対応する制御点もまた存在していてよい。更に他のサーバ、レンダ及び制御点のインスタンスもまた、外部処理データをデバイス１０２へ送り返すために存在していてよい。ＵＰｎＰメディアサーバは多重メディアレンダへの同時接続を有することができるので、メディアサーバ１０４−１は多重ストリームをデバイス１０２へ送るために随意的に用いられてよい。

代替的な実施形態においては、受信したビデーストリームを処理することにおいて多重デバイスが協働することができる。図７は本発明の他の例示的な実施形態の簡略化されたブロック図を示している。図７に示される配列は図１に示される実施形態と同様である。従って、同様の要素は、図７における要素を図１におけるそれらの対応要素から区別するために用いられるダッシュ記号（’）を伴う同様の符号で標識付けられている。図示されるように、２つのディスプレイデバイス７０２Ａ、７０２Ｂ（個体としてまた集団としてはディスプレイデバイス７０２）が、適切なローカルネットワーク１１８’、ビデオリンク１１０’又は他の随意的リンク２４４’を用いてパーソナルコンピュータデバイス１０４’と相互接続されている。コンピュータデバイス１０４’はインターネットのようなデータ通信ネットワーク４０６を介してビデオサーバ４０８と通信する。ディスプレイデバイス７０２Ａ、７０２Ｂはリンク７１０によって互いに相互接続されていてよい。

ディスプレイデバイス７０２Ａ、７０２Ｂは、高性能なデジタルディスプレイ（例えばＤＴＶ又はデジタルＨＤＴＶ）であってよい。ビデオリンク１１０’は図１のビデオリンク１１０と実質的に同一であってよい。ディスプレイデバイス７０２Ａ、７０２Ｂは、それぞれ制御回路７０４Ａ、７０４Ｂ、表示画面７０６Ａ、７０６Ｂ、及びスピーカ７０８Ａ、７０８Ｂのような処理回路を各々含んでいてよい。回路７０４Ａ、７０４Ｂはビデオデータを復号化及び処理することが可能であってよい。

回路７０４Ａ、７０４Ｂは特定用途向け集積回路（ＡＳＩＣ）として形成されてよい。回路７０４Ａ及び回路７０４Ｂは、異なる処理能力及び内部メモリを有していてよい。特に回路７０４Ｂは、回路７０４Ａよりも強力であってよい。例えば、回路７０４ＡはＸｉｌｌｅｏｎ−２４０（商標）デジタルビデオプロセッサであってよい一方、回路７０４ＢはＸｉｌｌｅｏｎ−２６０（商標）デジタルビデオプロセッサであってよく、両者とも米国、カリフォルニア、サニーベイルのアドバンストマイクロデバイセズインクから提供されている。

回路７０４Ａ、７０４Ｂの各々は、ＭＰＥＧ復号器ブロックと、走査速度変換、インターレーシング、デインターレーシング、雑音低減、スケーリング、色補正、コントラスト補正、ガンマ補正、鮮鋭度強調、輪郭強調、フレームレート変換、等の１つ以上に関与する画像処理ブロックとを有していてよい。

動作において、回路７０４Ａの処理パワー（又はそのメモリのサイズ）は、デバイス１０４’からディスプレイ７０２Ａに受信されるビデオストリームをタイミングよく処理することはできないであろう。そこで、図７に示される実施形態では、必要なビデオ処理タスクの少なくとも一部を実行することでディスプレイデバイス７０２Ａを支援するために、ディスプレイデバイス７０２Ｂが用いられてよい。つまり、ディスプレイデバイス７０２Ａは、その処理タスクの幾つかから解放されてその幾つかをディスプレイデバイス７０２Ｂに課すことができる。

特に、回路７０４Ｂは回路７０４Ａよりも強力であろうから、フィルタリング、雑音低減、デインターレーシング又はフレームレート変換のような幾つかの処理タスクを回路７０４Ｂに任せる一方で、それ自身では他のタスク（例えばスケーリング）を実行する場合、図７における配列の全体的な性能が改善され得る。

リンク７１０はイーサネット（登録商標）リンクであってよく、イーサネット（登録商標）リンクは、ディスプレイデバイス７０２Ａ、７０２Ｂの間でのＵＰｎＰ＿ＡＶ準拠の通信のために用いられ得る。通信は帯域内（標準的ＵＰｎＰ制御プロトコルを用いる）であってよいが、データの転送は帯域外（非ＵＰｎＰ転送プロトコルを用いる）であってよい。

特に、図５、６に示されるデータ交換及び信号交換はディスプレイデバイス７０２Ａ及び７０２Ｂの間で生じてよく、ディスプレイデバイス７０２Ａ及び７０２Ｂは、それぞれディスプレイデバイス１０２及びコンピュータデバイス１０４と類似の役割を果たすことができる。

代替的な実施形態においては、ビデオ処理タスクは、図７に示される全部で３つのデバイス、即ちコンピュータデバイス１０４’、ディスプレイデバイス７０２Ａ及びディスプレイデバイス７０２Ｂにわたって分散されてよい。この場合、ディスプレイデバイス７０２Ａは、そのビデオ処理タスクの第１の部分から解放されてそれをコンピュータデバイス１０４’に課する一方で、第２の部分を処理のためにディスプレイデバイス７０２Ｂへ送る。配列の全体的な効率は、コンピュータデバイス１０４’及びディスプレイデバイス７０２Ｂ内で利用可能な他のアイドル(idle)処理パワーを利用することによって改善されるであろう。

特に、ディスプレイデバイス７０２Ａは、オーディオビジュアルデータを受信し、そしてオーディオビジュアルデータの少なくともいくらかを局部的に処理することができる。ディスプレイデバイス７０２Ａは次いで、オーディオビジュアルの一部分をコンピュータデバイス１０４’又はディスプレイデバイス７０２Ｂへ送信し、コンピュータデバイス１０４’又はディスプレイデバイス７０２Ｂは、データの送られた一部分を受け入れてよく、それを処理してよく、そして外部処理データ（即ちデバイス７０２Ａの外側で処理されている）を出力してよい。ディスプレイデバイス７０２Ａは次いで、外部処理ビデオデータを受信してよく、そしてそれをその表示画面上に提示してよい。

理解されるであろうように、図７の配列は、必要に応じてビデオ及びオーディオの処理タスクを共有するＮ個のデバイスまで拡張されてよい。上述したＵＰｎＰアーキテクチャは、多重デバイスを伴う使用に対して容易に拡張可能である。

それに沿って、図８はイーサネット（登録商標）ネットワークによって相互接続されるコンピュータデバイス１０４”及びネットワーク接続のＮ個のデバイス８０２−１、８０２−２、８０２−３、…、８０２−Ｎ（個体としてまた集団としてはデバイス８０２）の模式図を示している。コンピュータデバイス１０４”は、データ通信ネットワーク１０６（例えばインターネット）を介してオーディオ及びビデオサーバ１０８と通信する。デバイス８０２−１は多重スピーカ８０４Ａ、８０４Ｂ、８０４Ｃ、８０４Ｄ（個体としてまた集団としてはスピーカ８０４）と相互接続されていてよい。図示されるように、デバイス８０２は、パーソナルコンピュータ、ラップトップ、ディスプレイデバイス等を含んでいてよい。

動作において、オーディオビジュアルコンテンツは、コンピュータデバイス１０４”によって受信されてよく、そして図７に示される実施形態に対して説明したのと同様の様態でＵＰｎＰを用いて、コード変換されてディスプレイデバイス８０２−１へ転送されてよい。デバイス８０２−１は次いで、その受信したオーディオビジュアルコンテンツの部分部分を１つ以上のデバイス８０２−２、８０２−３、…、８０２−Ｎへ処理のために送信してよい。デバイス８０２−２、８０２−３、…、８０２−Ｎの各々は、特定のビデオ又はオーディオ処理タスク（例えば、スケーリング、ブロックアーティファクト低減、雑音低減、サンプリングレート変換、等化処理、等）を実行することができ、そうでなければデバイス８０２−１単独に課せられたであろう計算負荷を効果的に共有することができる。

例えば、デバイス８０２−２、８０２−３、…、８０２−Ｎの１つ以上は、デバイス８０２−１からモノオーディオを受信して、デバイス８０２−１に付属しているスピーカ８０４を用いてサラウンド音響オーディオをシミュレートするように、個々のオーディオチャネルストリームを仮想化しそして再送信し返すことができる。その後、デバイス８０２−１は、デバイス８０２−２、８０２−３、…、８０２−Ｎの各々から処理されたオーディオビジュアルデータを受信し、そして処理されたデータをその画面及びスピーカ８０４へ出力する。

実施形態は、必要に応じて、メディアレンダ及び制御点を実装し、あるいはメディアサーバ及び制御点を実装し、あるいはメディアサーバのみを実装し、メディアレンダのみを実装し、そして制御点のみを実装するために単一の物理的デバイスが用いられ得るＵＰｎＰネットワークを含んでいてよい。これらの論理インスタンスの多くの実装が可能である。また、ネットワークデバイス８０２は全てがＰＣ又はディスプレイである必要はなく、任意の適切なＵＰｎＰ準拠デバイスであればよい。

ＵＰｎＰの使用は説明された実施形態において単なる例示的なものであり、ディスプレイデバイスによる提示に先立つビデオの共有処理に関与する種々のデバイスの間での制御及びデータ転送を容易にするために、他の独自のプロトコルが用いられ得ることを、当業者であれば容易に理解するであろう。

言うまでもなく、上述した実施形態は例示のみを意図したものであり、決して限定的なものではない。本発明を実施する説明された実施形態は、形態、部品の配置、詳細及び動作の順序について様々な変更が可能である。むしろ、本発明は特許請求の範囲で定義されるような範囲に属する全てのそのような変更を包含するものとして意図されている。

Claims (23)

1. ローカルネットワークを介してコンピュータデバイスと相互接続されるディスプレイデバイス上での提示のために、前記コンピュータデバイスを用いてオーディオビジュアル入力データを処理する方法であって、
   i）前記ディスプレイデバイスにおいて実行されるべき第２の信号処理機能と補完的な第１の信号処理機能を実行し且つ前記コンピュータデバイスにおいて支持されるネットワーク転送プロトコルの選択された１つ及び前記コンピュータデバイスにおいて支持されるデータフォーマットの選択された１つを用いるための命令を前記ディスプレイデバイスから受信することと、
   ii）前記第１の信号処理機能を前記オーディオビジュアル入力データに対して実行して外部処理データを形成することと、
   iii）前記外部処理データを前記選択されたデータフォーマットに符号化することと、
   iv）前記選択されたネットワーク転送プロトコルを用いて前記ローカルネットワークを介して前記外部処理データを前記選択されたデータフォーマットで前記ディスプレイデバイスへ送信することとを備えた方法。
2. 前記命令を受信することに先立つ前記ディスプレイデバイスによる検索のために、前記コンピュータデバイスにおいて支持されている前記転送プロトコル及び前記データフォーマットのリストを指定することを更に備えた請求項１の方法。
3. 前記第１の信号処理機能を実行することに先立ち前記オーディオビジュアル入力データを復号化することを更に備えた請求項１の方法。
4. 前記第１の信号処理機能はフィルタリング、雑音低減、ブロックアーティファクト低減、スケーリング、インターレーシング及びフレームレート変換の少なくとも１つを備えている請求項１の方法。
5. 前記ローカルネットワークはインターネットプロトコル（ＩＰ）ネットワークであり、前記ディスプレイデバイス及び前記コンピュータデバイスはユニバーサルプラグアンドプレイ（ＵＰｎＰ）標準に準拠している請求項１の方法。
6. ローカルネットワークを介してコンピュータデバイスと相互接続されるディスプレイデバイスを用いてオーディオビジュアル入力データを処理しそして提示する方法であって、
   i）前記コンピュータデバイスに、
   ａ）第１の信号処理機能を前記オーディオビジュアル入力データに対して実行して外部処理データを形成し、
   ｂ）選択されたデータフォーマットに前記外部処理データを符号化し、
   ｃ）選択されたネットワーク転送プロトコルを用いて前記ローカルネットワークを介して前記外部処理データを前記データフォーマットで前記ディスプレイデバイスへ送信することを命令することと、
   ii）前記データフォーマットにある前記外部処理データを前記ディスプレイデバイスにおいて受信することと、
   iii）前記第１の信号処理機能と補完的な第２の信号処理機能を前記受信した外部処理データに対して実行することと、
   iv）前記受信した外部処理データを前記ディスプレイデバイス上に提示することとを備えた方法。
7. 前記コンピュータデバイスから前記ディスプレイデバイスへデータを転送するための前記ネットワーク転送プロトコル及び前記データフォーマットを決定することを更に備えた請求項６の方法。
8. 前記ローカルネットワークはインターネットプロトコル（ＩＰ）ネットワークであり、前記ディスプレイデバイス及び前記コンピュータデバイスはユニバーサルプラグアンドプレイ（ＵＰｎＰ）標準に準拠している請求項６の方法。
9. 前記第２の信号処理機能はデインターレーシング、色補正、コントラスト補正、ガンマ補正、鮮鋭度強調及び輪郭強調、オーディオ等化、３Ｄ仮想化、音量調整、バランス及び音質調整の少なくとも１つを備えている請求項６の方法。
10. ローカルネットワークを介してコンピュータデバイスと相互接続されるディスプレイデバイスを用いてオーディオビジュアル入力データを処理する方法であって、
    i）選択された転送プロトコル及び選択されたデータフォーマットを用いて前記ディスプレイデバイスにおいて前記オーディオビジュアル入力データを受信することと、
    ii）前記ディスプレイデバイスにおいて実行されるべき第２の信号処理機能と補完的な第１の信号処理機能を受信すると共に前記オーディオビジュアル入力データの一部分に対して実行して外部処理データを形成し、前記データフォーマットで前記外部処理データを符号化すると共に前記ディスプレイデバイスへ送信することを前記コンピュータデバイスに命令することと、
    iii）前記転送プロトコル及び前記データフォーマットを用いて前記一部分を前記コンピュータデバイスへ送信することと、
    iv）前記コンピュータデバイスからの前記外部処理データを受け入れると共に提示することとを備えた方法。
11. 前記受信することに先立ち、前記コンピュータデバイスにおいて支持されるネットワーク転送プロトコル及びデータフォーマットのリストから選択することによって前記ネットワーク転送プロトコル及び前記データフォーマットを決定することを更に備えた請求項１０の方法。
12. 前記提示することに先立ち前記第２の信号処理機能を前記ディスプレイデバイスにおいて局部的に実行することを更に備えた請求項１０の方法。
13. 前記ローカルネットワークはインターネットプロトコル（ＩＰ）層を実装しており、前記ディスプレイデバイス及び前記コンピュータデバイスはユニバーサルプラグアンドプレイ（ＵＰｎＰ）標準に準拠している請求項１０の方法。
14. ディスプレイ画面、及びローカルネットワークを介してのコンピュータデバイスとの相互接続のためのネットワークインタフェースと通信する制御回路を備えたディスプレイデバイスであって、
    i）前記ディスプレイデバイスにおいて実行されるべき第２の信号処理機能と補完的な第１の信号処理機能をオーディオビジュアル入力データに対して実行して外部処理データを形成し、選択されたデータフォーマットに前記外部処理データを符号化し、選択されたネットワーク転送プロトコルを用いて前記ローカルネットワークを介して前記データフォーマットにある前記外部処理データを前記ディスプレイデバイスへ送信することを前記コンピュータデバイスに命令し、
    ii）前記データフォーマットで送信された前記外部処理データを受信し、
    iii）前記受信した外部処理データに対して前記第２の信号処理を実行し、前記受信した外部処理データを前記ディスプレイ画面上に提示するように動作可能なディスプレイデバイス。
15. 前記コンピュータデバイスに命令することに先立ち前記コンピュータデバイスと通信してデータを交換するための前記ネットワーク転送プロトコル及び前記データフォーマットを決定するように更に動作可能な請求項１４のディスプレイデバイス。
16. 前記ローカルネットワークはＩＥＥＥ＿８０２．３ｉ標準、ＩＥＥＥ＿８０２．３ｕ標準、ファイアワイヤ、ブルートゥース、ワイファイ、及びＩＥＥＥ＿８０２．１１ａの１つに適合している請求項１４のディスプレイデバイス。
17. 前記ローカルネットワークを介して第２のデバイスに更に相互接続される請求項１４のディスプレイデバイスであって、前記第２のデバイスはオーディオビジュアル入力データの他のストリームを受信し、前記ディスプレイデバイスは更に、
    i）前記第２の信号処理機能と補完的な第３の信号処理機能を用いて前記他のストリームを処理して外部処理データの他のセットを出力することを前記第２のデバイスに命令し、
    ii）前記外部処理データの他のセットを受信及び表示するように動作可能なディスプレイデバイス。
18. 前記ディスプレイデバイスは前記ローカルネットワークを介したユニバーサルプラグアンドプレイ（ＵＰｎＰ）準拠プロトコルを用いて前記コンピュータデバイス及び前記第２のデバイスとデータを交換する請求項１７のディスプレイデバイス。
19. 前記オーディオビジュアル入力データはモノオーディオ入力を備えており、前記第１、第２及び第３の信号処理機能の少なくとも1つは前記モノオーディオ入力からサラウンド音響オーディオをシミュレートすることを備えている請求項１７のディスプレイデバイス。
20. メモリ、及びローカルネットワークを介してのディスプレイデバイスとの相互接続のためのネットワークインタフェースと通信するプロセッサを備えたコンピュータデバイスであって、
    i）前記ディスプレイデバイスにおいて実行されるべき第２の信号処理機能と補完的な第１の信号処理機能を実行し、前記コンピュータデバイスにおいて支持されるネットワーク転送プロトコル及びデータフォーマットを用いるための命令を前記ディスプレイデバイスから受信し、
    ii）前記第１の信号処理機能をオーディオビジュアル入力データに対して実行して外部処理データを形成し、
    iii）前記外部処理データを前記データフォーマットに符号化し、
    iv）前記ネットワーク転送プロトコルを用いて前記ローカルネットワークを介して前記データフォーマットにある前記外部処理データを前記ディスプレイデバイスへ送信するように動作可能であるコンピュータデバイス。
21. 前記オーディオビジュアル入力データは前記ディスプレイデバイスから受信される請求項２０のコンピュータデバイス。
22. 前記オーディオビジュアル入力データは第２のネットワークを介して前記コンピュータデバイスと通信するビデオサーバから受信する請求項２０のコンピュータデバイス。
23. 前記第１の処理機能は雑音低減、ブロックアーティファクト低減、輪郭強調、インターレーシング、フレームレート変換、及びスケーリングの少なくとも１つを備えており、前記第２の処理機能はデインターレーシング、色補正、コントラスト補正、ガンマ補正、鮮鋭度強調、走査速度変換、及び３Ｄ仮想化の少なくとも１つを備えている請求項２０のコンピュータデバイス。

Images