JP2009528755A - 動き適応型周辺照明 - Google Patents

Abstract

周辺光要素を制御する方法であって、コンテンツ信号を受信し、前記コンテンツ信号内に表される対象１２０Ａの動きベクトルを算出するために前記コンテンツ信号を解析し、ディスプレイ装置上に前記コンテンツ信号を表し、前記動きベクトルに基づいて前記周辺光要素により供される周辺照明作用を調整することを含む。表されたコンテンツ信号をマクロブロック１１０Ａ及びサブブロック２３０へと分けられてよい。各サブブロック２３０の動きベクトルは、ディスプレイ装置の外縁に平行な平行成分及び垂直な垂直成分に分解されてもよい。ディスプレイ装置の外縁近傍のマクロブロック１１０Ａ内の各サブブロック２３０の算出された平均色は、マクロブロック１１０Ａの平均色を算出するために対応するサブブロック２３０の動きベクトルにより重み付けされてもよい。マクロブロック１１０Ａの平均色は、周辺光要素を調整するために使用されてもよい。

Description

本願は、２００５年１１月１３日出願の米国予備特許出願番号６０／７４９，８０２に基づくと共にその優先権を主張し、その全体の内容がここでの参照により本願に組み込まれる。

本発明は、周辺光特性がディスプレイコンテンツの要素の動きに適応される、周辺照明作用を有するビデオディスプレイユニットに関する。

コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ（フィリップス）及び他の会社は、典型的な家庭用若しくはビジネス用のビデオコンテンツを強調するために周辺照明を変化させる手段を開示してきた。ビデオディスプレイ若しくはテレビジョンに付加される周辺照明は、鑑賞者の疲れを低減し、体験の現実性及び深さを改善することが示された。現在、フィリップスは、周辺照明を備えたフラットパネルテレビジョンを含むテレビジョンのラインを有し、そこでは、テレビジョン周辺のフレームは、テレビジョンの近傍にある若しくはテレビジョンを支持する後壁上に周辺光を投影する周辺光源を含む。更に、テレビジョンとは別の光源は、同様に制御されうる周辺光を生成するために制御される場合がある。

ここでの参照によりその全体が説明されるかのように本願に組み込まれる特許文献１は、色相、彩度、明るさ、色、風景変化の速度、認識される文字、検出されるムード等のような、表示されるコンテンツの色特性に基づいて周辺照明作用を制御するシステム及び装置を開示する。動作時、システムは、受信したコンテンツを解析し、全体のディスプレイに亘る、平均色のような、コンテンツの分布を利用し、若しくは、ディスプレイの境界付近に位置する表示されたコンテンツの部分を利用して、周辺光要素を制御してもよい。周辺光特徴は、一般的に、ディスプレイ自体のビデオコンテンツを用いて、周辺光要素の時間性の遷移を平滑化する時間平均化と共にフレーム毎の周辺光効果を生成する。
ＷＯ２００４／００６５７０

本発明の目的は、先行技術の欠点を克服し、より印象深い鑑賞体験を容易化するように周辺照明作用を改善することである。

本システムは、周辺光要素を制御する方法及び装置を提供する。本方法は、コンテンツ信号を受信し、前記コンテンツ信号内に表される対象の動きベクトルを算出するために前記コンテンツ信号を解析し、ディスプレイ装置上に前記コンテンツ信号を表し、前記周辺光要素により供される周辺照明作用を調整することを含み、当該調整は、前記動きベクトルより決定される。一実施例によれば、コンテンツを解析することは、前記コンテンツ信号における前記ディスプレイ装置の外縁近傍に表される部分を解析することを含む。

更なる一実施例では、表されたコンテンツ信号はマクロブロックへと分割されてもよい。動きベクトルは、前記ディスプレイ装置の外縁近傍に表されるマクロブロックを解析する二より算出されてもよい。更に、動きベクトルは、前記ディスプレイ装置の外縁に平行な平行成分及び垂直な垂直成分に分解されてもよい。周辺照明作用の調整は、前記動きベクトルの垂直成分により算出されてもよい。コンテンツ信号が時間性のコンテンツ部分により提供される場合、与えられた時間性のコンテンツ部分は、先行する若しくは続行する時間性のコンテンツ部分の間に供される周辺照明作用を調整するために利用されてもよい。本システムによれば、周辺照明作用の輝度、色、彩度及び／又は他の特性が動きベクトルにより調整されてもよい。

更なる一実施例では、前記コンテンツ信号を解析することは、表されたコンテンツ信号をマクロブロック及びサブブロックへと分け、各サブブロックの色特性（例えば平均色）を算出し、各サブブロックの動きベクトルを算出し、対応する動きベクトルにより各サブブロックの算出された色特性を重み付けし、前記重み付けされた、対応するサブブロックの算出された色特性により、マクロブロックの色特性を算出することを含む。前記周辺照明作用は、前記マクロブロックの算出された色特性（例えば平均色）により算出されてもよい。

表されたコンテンツ信号はマクロブロック及びサブブロックへと区分されてもよい。各サブブロックの動きベクトルは、ディスプレイ装置の外縁に平行な平行成分及び垂直な垂直成分に分解されてもよい。ディスプレイ装置の外縁近傍に表された各サブブロックの平均色は、マクロブロックの平均色を算出するために、対応するサブブロックの算出された平均色により重み付けされてもよい。マクロブロックの平均色は、周辺光要素を調整するために利用されてもよい。

以下は、添付図面と連携したときに、上述の特徴及び効果を更なる特徴及び効果と共に実証することになる例示的な実施例の説明である。以下の説明では、限定よりもむしろ説明の目的で、例示のために、特定の構造、インターフェース及び技術等のような、特別な詳細が付与される。しかし、当業者には明らかであるが、これらの特別な詳細から逸脱した他の実施例も依然として添付の請求項の範囲内であることは理解されるべきである。更に、明瞭化の目的で、公知の装置、回路及び方法の詳細な説明は、本システムの説明を邪魔しないように省略される。

明示的に理解されるべきこととして、図面は、例示目的に含まれており、本システムの範囲を表さない。添付図面では、同様の参照符号が同様の要素を異なる図面で示す。

図１Ａ，１Ｂ，１Ｃを参照するに、ディスプレイ装置上に表示されてよいコンテンツであって、本システムの例示的な実施例により解析されてよいコンテンツの３つの時間的に連続したフレーム１００Ａ，１００Ｂ及び１００Ｃが示される。図では、フレーム１００Ａは、フレーム１００Ｃよりも時間的に前に表示されるフレーム１００Ｂよりも時間的に前に表される（例えば表示される）。フレームは、ＬＣＤ（液晶ディスプレイ）やＰＤＰ（プラズマディスプレイパネル）フラットテレビジョンのような、ディスプレイ装置上に表示されてもよい。しかし、ディスプレイ装置は、任意のタイプであってよく、ＣＲＴ（ブラウン管）、ＦＥＤ（電界放出ディスプレイ）、投影ディスプレイ、薄膜プリント式光活性ポリマーディスプレイのような、任意の技術若しくはプラットフォームを使用してもよく、テレビジョンを含む任意の他の技術若しくはディスプレイタイプを用いるディスプレイであってよい。多くの実施例に対しては、ビデオコンテンツや可視的コンテンツのような、コンテンツの搬送用の任意の反射性媒体、例えば建物の窓等に見られるような媒体にも適用可能である。議論の明瞭化のために、ディスプレイ装置が、ここでは、例示の目的として用いられる。

コンテンツ内において、マクロブロック１１０は、マクロブロック１１０の左に位置する、光スポットのような、周辺照明作用を生成及び／又は調整するために解析されてもよい長方形領域として例示されている。表示された対象、例示的に対象１２０は、フレーム１００の進展（例えばフレーム１００Ａからフレーム１００Ｃまでの進展）に従ってフレーム１００の左側へと移動するように示されている。また、対象１２０の一部は、フレーム１００の進展に従ってマクロブロック１１０を介して進展するように示されている。

図２Ａ，２Ｂ，２Ｃを参照するに、図１のマクロブロック１１０の拡大図が、本システムの例示的な実施例に従って示されている。微笑ブロック１１０は、４×４ピクセル（全部で１６ピクセル）の集合からなるように例示されている。マクロブロック１１０内に含まれる対象１２０は、図１のフレーム１００Ａ，１００Ｂ及び１００Ｃを通してフレームが進展するにつれてフレーム毎に２ピクセルの速度で左に動いて示される。一実施例では、対象の動き情報（及び／又はマクロブロック１１０を介して進展する対象の部分の動き情報）は、コンテンツ自体から、当業者にとって容易に明らかであろう技術を用いてフレーム毎にコンテンツを検査することによって、導出されてもよい。代替実施例では、動き情報は、インターレースされたコンテンツ信号をデインターレースするために幾つかのディスプレイ装置（例えばテレビジョン）用に既に利用された動き適応型及び／又は動き補償型デインターレース用に算出された動き情報から導出されてもよい。動き情報は、また、２次元（２Ｄ）からの３次元（３Ｄ）変換アルゴリズムの一部として導出されてもよい。

更なる実施例では、動き情報は、コンテンツがＭＰＥＧ準拠コンテンツストリームとして搬送される場合にコンテンツを表すデータのストリーム内に存在しうるＭＰＥＧ（動画像符号化専門家会合）の動き情報から導出されてもよい。典型的には、ＭＰＥＧコンテンツストリームは、本分野で知られるような接続されたセットトップボックスやディスプレイ装置に存在しうるＭＰＥＧデコーダに搬送される。ＭＰＥＧコンテンツストリームとして表されるコンテンツに対して、フレームは、複数のブロック（例えば８×８ブロック）に分割されてよく、フレーム間の変化は、フレーム間のブロックの遷移を表す動きベクトルとして表現されてもよい。ここでの参照によりその全体が説明されるかのように本願に組み込まれる米国特許第５，６１５，０１８号は、詳細部は本願の焦点の外側であるがコンテンツのフレーム内のブロックに対するＭＰＥＧ動きベクトルを導出するシステムを議論する。

動き情報の算出方法及び導出方法に関係なく、本システムの一実施例によれば、例えば、フレームの外縁を境界付けるマクロブロック内の対象の、動き情報が、周辺照明作用（例えば、輝度、色、色相、彩度等）を調整するために利用されてもよい。更に、他の周辺照明作用は、周辺照明作用自体の色を調整するといったように、調整されてもよい。例えば、一実施例では、全ての非関連部分（例えば、望ましい場合に応じて、移動する物体に関連しないか若しくは移動する物体に関連する部分）に対する照明効果は、より“純粋な（ピュアな）”カラー周辺照明作用を得るために排除されてもよい。その他の実施例では、色の変化速度は、周辺照明作用において調整されてもよい。例えば、動きと非動き関連効果の間の差を強調するために、移動する物体を“表示”する周辺照明作用の部分は、入力色にすばやく追従してよい一方、より静的な背景は、色をゆっくりと変化させてよい。その他の実施例では、周辺照明作用の色を決定するために利用されるアルゴリズムは、検出された動きに応じて変化してもよい。例えば、移動する対象に対して、ピーク検出アルゴリズムが利用されてよい一方、多数の異なる色からなりうる背景に対しては、当該背景の１つの色だけを強調しないように、平均色検出アルゴリズムが利用されてよい。周辺照明作用に対する他の調整は、当業者には容易に思い当たり、添付の請求項の範囲内であると看做されるべきである。

いずれにしても、周辺照明作用は、ディスプレイ装置上に表される所与のマクロブロックの近傍（例えば、境界、隣接等）にある１つ以上の周辺照明要素（例えば光スポット）により生成されてもよい。このようにして、更なる次元が周辺照明作用に付与され、より印象深い鑑賞体験をもたらすことができる。

本システムの一実施例によれば、動き情報は、周辺照明作用を調整するためにフレーム毎に利用されてもよい。例示的に上述した如く、動き情報は、マクロブロックのスケールで計算されてもよい。動き適応型デインターレース処理の動き情報が利用可能であり使用される場合には、与えられたマクロブロック内に含まれる個々の動きベクトルは、マクロブロック内の全ての動きベクトルの合計である最終の動きベクトルを生成するために、単に合算されてもよい。その他の実施例では、平均の動きベクトルが導出されてもよい。次の議論の簡略化のために、最終の動きベクトルが議論される。用語“最終の動きベクトル”は、動きベクトルを導出する上記の方法のそれぞれ及び当業者に思いつくだろう他の方法を包含するように理解されるべきことが意図される。

例示的には、最終の動きベクトルは、調整されるべき周辺照明要素（例えば、AmbiLight^TMスポット）に隣接するスクリーンエッジとマクロブロックの間の境界に平行な成分と、当該境界に垂直な成分とに分割される。例示的には、境界に垂直な成分は、本システムによる動き適応型周辺照明要素のために使用されてもよい。

動きベクトルの垂直成分は、３つの可能な状態を有してもよい。動きベクトルの垂直成分は、マクロブロックの最終の動きベクトルがフレームと境界付ける周辺照明要素の境界に向かう動きを示す垂直成分を有することを表す、正の状態を有してもよい。この場合、本システムの一実施例によれば、従前の算出された周辺照明結果（例えば、上述の特許文献１のシステムにより算出された周辺照明結果）は、最終の動きベクトルの垂直成分により算出される動き因子により強められる（例えば、１より大きい因子により乗算される）。動きベクトルの垂直成分は、マクロブロックの最終の動きベクトルがフレームと境界付ける周辺照明要素の境界から離反する動きを示す垂直成分を有することを表す、負の状態を有してもよい。この場合、本システムの一実施例によれば、従前の算出された周辺照明結果は、最終の動きベクトルの垂直成分により算出される動き因子により弱められる（例えば１より小さい因子により乗算される）。動きベクトルの垂直成分は、マクロブロックの最終の動きベクトルがフレームと境界付ける周辺照明要素の境界へと近接する動き及び同境界から離反する動きを示さない垂直成分を有することを表す、ゼロの状態を有してもよい。この場合、本システムの一実施例によれば、従前の算出された周辺照明結果は変化されない。いずれにしても、平均色効果のような通常の周辺照明作用が上述の動き因子を用いて調整された後、調整された効果は、対応する周辺照明要素に適用され、これにより、マクロブロック内の対象の動きが強調される。

更なる実施例では、動き情報は、マクロブロックスケールでの平均色の算出方法を制御するために利用されてもよく、これにより、典型的な周辺照明作用を調整する。この実施例では、動き情報は、以下でサブブロックスケールと称されるような、サブマクロブロックスケールで算出されてもよい。例示的には、サブブロックサイズは、２×２ピクセル（従って、４×４のマクロブロックは４つのサブブロックからなってよい）。かかるピクセルのサブブロックは、サブブロック２３０として図２Ａに例示されている。容易に理解できるように、任意のマクロブロック及びサブブロックが容易に利用されることができる。いずれにしても、典型的には、動き適応型デインターレースに対して利用可能であるような、導出されてよいブロックのサイズは、AmbiLight^TMスポットのような、典型的な周辺照明要素を駆動するために用いられるマクロブロックのサイズよりも小さい。従って、サブブロックの動き情報は、既に利用可能であるか若しくは容易に導出されることができる。本実施例では、サブブロックの動きベクトルは、マクロブロックの動きベクトルが上述の如く処理されるのと同一の方法で処理されてもよい。従って、上述の如く、周辺照明要素とマクロブロックの間の境界に垂直なサブブロックの動きベクトルの成分が導出され利用されてもよいが、本実施例では、動き成分は、マクロブロック内の個々のサブブロックのそれぞれに対して算出されてもよい。

上述で例示したように、マクロブロックの平均色のような、周辺照明要素効果を算出するために利用されるマクロブロックの特性を計算する前に、各サブブロックの平均色が計算される。他の実施例では、マクロブロック及びサブブロックの他の特性が利用されてもよい。簡略化のために、平均色という用語がここでは利用されるが、この用語は、特に言及しない限り周辺照明作用を算出するために利用されてもよい他のマクロブロック及びサブブロックの特性を包括するように理解されるべきである。従って、用語“平均色”は、マクロブロック及びサブブロックの各特性及びここで特に言及しない限り当業者が思いつくだろう他の特性（例えばピーク色等）を包括するように理解されるべきことが意図される。本実施例では、サブブロックの平均色が算出されると、サブブロックの動き情報は、マクロブロックの平均色を算出するときにこれらのサブブロックの平均色を重み付けるために使用される。上述と同様、サブブロックの動きベクトルの垂直成分は３つの潜在的な状態を有してもよい。

サブブロックの動きベクトルの垂直成分は、サブブロックの最終の動きベクトルがフレームと対応するマクロブロックを境界付ける周辺照明要素との境界に向かう動きを示す垂直成分を有することを表す、正の状態を有してもよい。この場合、本システムの一実施例によれば、サブブロックに対して従前の算出された周辺照明結果（例えば、平均色）は、マクロブロックの平均色の算出のためにサブブロックの最終の動きベクトルの垂直成分により算出される動き因子により重み付けられる（例えば、１より大きい因子により乗算される）。サブブロックの動きベクトルの垂直成分は、サブブロックの最終の動きベクトルがフレームと対応するマクロブロックを境界付ける周辺照明要素との境界から離反する動きを示す垂直成分を有することを表す、負の状態を有してもよい。この場合、本システムの一実施例によれば、サブブロックに対して従前の算出された平均色は、マクロブロックの平均色の算出のためにサブブロックの最終の動きベクトルの垂直成分により算出される動き因子により重み付けられる（例えば、１より小さい因子により乗算される）。

動きベクトルの垂直成分は、サブブロックの最終の動きベクトルがフレームと境界付ける周辺照明要素との境界へと近接する動き及び同境界から離反する動きを示さない垂直成分を有することを表す、ゼロの状態を有してもよい。この場合、本システムの一実施例によれば、このサブブロックの平均色は、マクロブロックの平均色の算出のために因子＝１により重み付けられる。

サブブロックの重みは、ちょうどマクロブロックの動きベクトルの算出のために例示的に議論されたような、平均化処理の幾つかのパラメータを制御するために使用されてもよい。しかし、本実施例は、マクロブロックレベルで動きベクトルの算出を実行するときに得られる結果を洗練する。なぜならば、マクロブロック内の小さい移動する対象は、このサブブロック算出を用いた場合よりも大きくマクロブロックにて最終の周辺照明作用を制御しうる場合があるからである。多数の周辺照明要素が存在する場合に生じうる、マクロブロックサイズが非常に小さくなる場合に対しては、マクロブロック算出と最終の周辺照明作用はサブブロック算出に近づくだろう。これは、小さいマクロブロックの場合、小さいマクロブロックのサイズが移動する対象のサイズよりも小さくなりうり、サブブロックの使用により導入されるような、マクロブロック内の洗練（詳細）が、マクロブロック算出により生成される効果及び算出と比較して周辺照明作用にほとんど若しくは一切洗練を付加しない場合があることに起因する。

サブブロックを利用する更なる実施例は、１より小さい重みを全ての移動する対象に割り当てしてもよい。これは、移動する対象に対する依存性が小さい周辺照明作用を生む。この実施例では、正及び負の状態に対する重み付けは、負の最終の動きベクトルが正の最終の動きベクトルよりも低い重み付けを生むような態様で、スケール変更された多数の方法であってよい。この逆は、正の最終の動きベクトルが負の最終の動きベクトルよりも低い重み付けを有する結果を生むだろう。更なるその他の変形例では、正及び負の動きベクトルは、与えられた正の最終の動きベクトルが、対応する負の最終の動きベクトルと同一の結果を有するような態様で、正規化されてもよい。例えば、最終の＋１の動きベクトルは、最終の−１の動きベクトルと同一の作用を平均色に対して有する。いずれにせよ、この実施例は、周辺照明作用がコンテンツの静的な部分により精密に追従するので、時間の作用を緩和する（例えば平滑化する）作用を有する。

本システムによるその他の実施例は、周辺照明作用を予測するための動き情報を利用する。前の実施例はマクロブロック若しくはサブブロックレベルでビデオコンテンツの平均色を使用しているが、この実施例は、コンテンツの色と共に動き情報を利用して、近傍の周辺照明要素を制御するために利用される色を予測する。即ち、存在しない（例えばディスプレイ装置に表示されない）ビデオコンテンツのような、コンテンツは、既知のコンテンツから生成され、周辺照明作用を制御するために使用される。これは、ディスプレイスクリーン外に実際のビデオコンテンツを拡張する作用を有する。

この実施例では、サブブロックスケールでの平均色及び動き情報は、サブブロックレベルで上述したような方法と同一の方法で計算されてもよい。その後、マクロブロックを境界付ける周辺照明要素の色は、この実施例に従って設定されてもよい。近傍の周辺照明要素とマクロブロックの間の境界に隣接する全てのサブブロックが当該境界に垂直なゼロに等しい動きベクトルの成分を有する場合、近傍の周辺照明要素（複数も可）の色は、これらのサブブロックの平均色に等しく設定されてもよい。同様の実施例では、ゼロに等しい当該境界に垂直な動きベクトル成分を有するマクロブロック内の全てのサブブロックの平均色は、近傍の周辺照明要素（複数も可）の色を設定するために利用されてもよい。これらの実施例では、境界に直接隣接しない移動する対象は無視され、近傍の周辺照明要素（複数も可）の周辺照明作用は、静的な背景により制御される。これらの実施例では、他の実施例と同様、静的という用語は、関連する境界に対する動きに関して意図されている。

近傍の周辺照明要素（複数も可）とマクロブロックの間の境界の隣の全てのサブブロックが当該境界に垂直な動きベクトル成分を有する場合、第１の選択肢として、近傍の周辺照明要素（複数も可）の色は、これらのサブブロックの平均色に等しく設定されてもよいし、若しくは、上述と同様、関連する境界に対して動きを有するマクロブロック内の全てのサブブロックの平均色に等しく設定されてもよい。この場合、静的な背景は無視される。最後に、近傍の周辺照明要素（複数も可）とマクロブロックの間の境界の隣の幾つかのサブブロックだけが当該境界に垂直な動きベクトル成分を有する場合、近傍の周辺照明要素の色は、これらのサブブロックの平均色に等しく設定されてもよいし、若しくは、当該境界に垂直な動きベクトル成分を有するマクロブロック内の全てのサブブロックの平均色に等しく設定されてもよい。

第１の選択肢に類する第２の選択肢としての更なる実施例では、近傍の周辺照明要素（複数も可）の色は、１の相対的な重みが付与される移動しない対象に比べて移動するサブブロックに対して１より大きい相対的な重みを用いて計算されてもよい。第１の選択肢は、コンテンツに存在する移動する対象に隣接する領域における周辺照明作用の変位を生みうる。第２の選択肢は、この変位作用を平滑化するだけでなく、動き適応型周辺照明の見掛けの作用を低減する。

一例として、マクロブロック内の部分的な動きの場合の第２の選択肢及び１．５の相対的な重みを用いると、周辺照明作用は、先行の実施例に比べて連続的なフレームの周辺照明作用間により大きなコントラストを生む。従って、動きはより大きく強調される。なぜならば、特に、移動する対象は、周辺照明要素に隣接する境界に実際に直接的に隣接するときに周辺照明作用に影響を及ぼすだけであるからである。

周辺照明作用を算出するためにフレーム境界近傍のサブブロックを利用する更なる実施例では、更なる効果は、１つ以上のフレームバッファがコンテンツ用に利用可能であるか若しくは１つ以上のバッファが所望の周辺照明作用を記憶するために利用可能であるときに導出されてもよい。例えば、フレームバッファを利用すると、現在のフレームは、現在のフレームの代わりに次の若しくは前のフレームに対する周辺照明作用を予測するために使用されてもよい。これは、この実施例において、フレームに表された対象の動きが、近傍の周辺照明要素（複数も可）に対する作用の結果としてフレームを超えて壁上に連続し若しくはフレームの前に壁から発生することになる点で、動きを更に強調することになるだろう。この実施例では、サブブロックの動き情報は、次の若しくは前のフレームにおける当該サブブロックの位置を予測するために使用されてもよい。例えば、移動する対象の位置が次のフレームの境界を越えて進むとき、近傍の周辺照明要素の色は上述と同様に制御されてもよいが、前のフレームの導出された色を利用する。

この実施例では、現在のフレームの周辺照明作用は、前のフレームにより制御されてもよい。例えば、図３において、ボックス３２０は、フレームエッジ３４０により境界付けられたフレーム内に表された対象の一部（例えばサブブロック）を表す。ボックス３２０は、フレーム毎に（例えば、対応するフレーム１，２，３の部分に対応する図３Ａから図３Ｂ、図３Ｃにかけて）２ピクセルだけ左に移動する。従って、本システムのこの実施例によれば、マクロブロックの移動するサブブロックは、図３Ａ，３Ｂのいずれにも周辺照明要素に影響するように位置していない。従って、マクロブロックは、図３Ａ，３Ｂのいずれに対しても近傍の周辺照明要素の色の計算に含まれない。しかし、図３Ｃ（例えばフレーム３）に対しては、図３Ｂに示されるフレーム２の動き情報が使用される。ボックス３２０は、フレーム毎に２ピクセルの速度で左に移動しているので、ボックス３２０は、フレーム３へと続く場合に、図３Ｃに示すようなスクリーンの外側に位置するだろう。これは、ボックス３２０を近傍の周辺照明要素（複数も可）の位置内に配置し、ボックス３２０が、示されるような図３に対する近傍の周辺照明要素（複数も可）の色の計算に含まれるようにする。この例では、フレームバッファは必要とされない。近傍の周辺照明作用に対する設定は、表示された１つのフレームだけを必要とする（現在のフレームは、次のフレームの周辺照明作用を計算するために使用される）。

より多くのフレームバッファ及び／又はより多くの周辺照明作用バッファが利用可能であり、複数の周辺照明源が存在する更なる実施例では、より強調された動き効果を達成することができる。ディスプレイの周辺照明要素を越えて連続的に進む態様で、スピーカー背後やいすの下等の源のような、複数の周辺照明源が利用可能であるとき、この実施例は、ディスプレイの縁部を超えた対象の知覚される連続性を良好に拡張するために利用されてもよい。

本システムによれば、ディスプレイ装置の境界を横切る動きは強調され、これにより、ビデオコンテンツが壁上に拡張されるように見せることができる。このようにして、移動する対象は、全ての方向でスクリーンの外側で移動を連続するように見え、これにより、より印象深い鑑賞体験を生む。

図４は、本システムの一実施例による装置４００を示す。この装置は、メモリ４２０に動作的に結合されたプロセッサ４１０と、ディスプレイ４３０と、周辺照明要素４５０と、入力／出力（Ｉ／Ｏ）装置４７０とを有する。メモリ４２０は、動き情報のような、他のデータと共に、アプリケーションデータを保持する任意の種類のデバイスであってよい。動き情報のような、アプリケーションデータ及び他のデータは、本システムに従って処理動作を実行するようにプロセッサ４１０を構成するためにプロセッサ４１０により受信される。処理動作は、コンテンツを表示するために少なくとも１つのディスプレイ４３０を制御すること、及び、本システムによる周辺照明作用を表示するために周辺照明要素４５０を制御することを含む。入力／出力装置４７０は、有線若しくは無線リンクのような任意の種類のリンクを介してプロセッサと通信するための、テレビジョンのようなディスプレイ装置、ＰＤＡ（個人用携帯型情報端末）、パソコンの部分のような、システムの部分やスタンドアローン型であってよい、タッチ感応ディスプレイを含む、他の装置、若しくはマウス、キーボードを含んでよい。明らかに、プロセッサ４１０、メモリ４２０、ディスプレイ４３０、周辺照明要素４５０及び／又は入力／出力装置４７０は、全て若しくは部分的に、スタンドアローン型テレビジョンのような、テレビジョンプラットフォームの一部であってよい。

本システムの方法は、コンピューターソフトウェアプログラムにより実行されるのに特に適しており、かかるコンピューターソフトウェアプログラムは、好ましくは、本方法の個々のステップ若しくは動作に対応するモジュールを含む。かかるソフトウェアは、当然ながら、集積チップ、メモリ４２０やプロセッサ４１０に接続される他のメモリのような周辺デバイス若しくはメモリ、コンピューター読み取り可能な媒体内に具現化されてもよい。

コンピューター読み取り可能な媒体及び／又はメモリ４２０は、任意の読み取り可能な媒体（例えば、ＲＡＭ，ＲＯＭ，取り外し可能なメモリ、ＣＤ−ＲＯＭ，ハードドライブ、ＤＶＤ，フロッピー（登録商標）ディスク若しくはメモリカード）若しくは伝送媒体（例えば、光ファイバ、ワールド ワイド ウェブ、ケーブル若しくは時分割多重アクセス、符号分割多重アクセス若しくは他の高周波チャンネルを用いた無線チャンネルを含むネットワーク）であってよい。コンピューターシステムによる使用に適した情報を保存することができる任意の公知の若しくは開発される媒体は、コンピューター読み取り可能な媒体及び／又はメモリ４２０として使用されてもよい。

追加のメモリが使用されてもよい。コンピューター読み取り可能な媒体、メモリ４２０及び／又は他のメモリは、長期記憶、短期記憶若しくは長期記憶と短期記憶メモリの組み合わせであってよい。これらのメモリは、本方法、動作処理及びここで開示される機能を実現するようにプロセッサ４１０を構成する。メモリは分散されてもよくローカルであってもよく、プロセッサ４１０、この場合、追加のプロセッサは、設けられてよく、例えば、周辺照明要素内に基づくような、分散されてもよく、若しくは、特異であってよい。更に、用語“メモリ”は、プロセッサによりアクセスされるアドレス指定可能なスペース内のアドレスから読み出し若しくは同アドレスに書き込みできる任意の情報を包括するほど十分広く解釈されるべきである。この定義を用いると、ネットワーク上の情報は、例えば、メモリ４２０内に依然としてある。なぜならば、プロセッサ４１０は、本システムにより動作のためのネットワークから情報を取り出すことができるからである。

プロセッサ４１０及びメモリ４２０は、ここでの参照によりその全体が説明されるかのように本願に組み込まれる米国特許出願公開２００３／００５７８８７に記載されるもののような、任意のタイプのプロセッサ／コントローラ及びメモリであってよい。プロセッサ４１０は、制御信号を提供でき及び／又は入力／出力装置４７０からの入力信号に応答して処理を実行でき、メモリ４２０に記憶された指令を実行することができる。プロセッサ４１０は、特定用途向け若しくは汎用集積回路（複数も可）であってよい。更に、プロセッサ４１０は、本システムに従って実行するための専用プロセッサであってよく、若しくは、多数の機能の１つだけが本システムに従って実行するために動作する汎用プロセッサであってよい。プロセッサ４１０は、プログラム部分、複数のプログラムセグメントを利用して動作してもよく、若しくは、専用若しくは多用途集積回路を利用したハードウェアデバイスであってもよい。

当然ながら、理解されるべきこととして、本システムによる更なる改善を提供するために、上記の実施例若しくはプロセスの任意の１つは、１つ以上の他の実施例若しくはプロセスと組み合わせられてもよい。

最後に、上述の議論は、本システムの例示のみを意図し、任意の特定の実施例や実施例の集合に添付の請求項を限定するものと解釈されるべきでない。従って、本システムは、特別な模範的実施例を参照して特に詳細に説明されているが、理解されることとして、多数の修正及び代替実施例は、添付の請求項に付与される本システムの意図した精神及び範囲から逸脱することなく当業者に想到されうる。例えば、例示的な議論では、フレームの境界に垂直な対象の動きのみが、周辺照明作用を適応するために利用されているが、明らかに、これは、本システムにより必要とされない。というのは、垂直成分と平行成分とに分解されない動きベクトルは、逸脱する方向（例えばスクリーン境界に垂直な方向からのオフセット）に直接的にスクリーンの境界から逸脱する対象の見掛けの方向を連続するために、当該逸脱する方向に周辺照明要素が存在する限り、直接利用されてもよい。更に、解析されるマクロブロック及びサブブロックのサイズは、例示のみの目的であり、限定的でないことが意図される。また、コンテンツの時間性のフレームが利用されてもよく、この場合、直前のフレームは、所望の周辺照明作用により算出されるように直後のフレーム若しくは後の後続するフレームの周辺照明作用を調整してもよく、若しくは、周辺照明作用を調整するために利用されてもよい動きベクトルの大きさにより算出されるように直後のフレーム若しくは後の後続するフレームの周辺照明作用を調整してもよい。更なる修正は、本システムの範囲内に意図される。従って、明細書及び図面は、例示の態様に看做されるべきであり、添付の請求項の範囲を制限する意図でない。

添付の請求項を解釈する際に、次の事項が理解されるべきである。
ａ）単語“ｃｏｍｐｒｉｓｉｎｇ（含む）”は、請求項に列挙された要素や動作以外の要素や動作の存在を除外するものでない。
ｂ）要素に付される単数表現は、かかる要素の複数の存在を除外するものでない。
ｃ）原文の請求項における任意の参照符号は、請求項の範囲を限定しない。
ｄ）幾つかの手段は同一のアイテム若しくはハードウェア又はソフトウェア実現構造若しくは機能により表されてもよい。
ｅ）開示される任意の要素は、ハードウェア部分（例えば、離散及び集積電子回路を含む）、ソフトウェア部分（例えばコンピュータープログラミング）、及びその任意の組み合わせからなってよい。
ｆ）ハードウェア部分は、アナログ部分及びデジタル部分の一方若しくは双方からなってよい。
ｇ）開示される任意の装置若しくはその部分は、特に言及しない限り、組み合わせて統合されてもよいし、若しくは、更なる部分へと分離されてもよい。
ｈ）動作若しくはステップの特別な順序は、特に言及しない限り、必要とされることが意図されない。

本システムの例示的な実施例により解析されるコンテンツの３つの連続したフレームを示す図。 本システムの例示的な実施例により解析されるコンテンツの３つの連続したフレームを示す図。 本システムの例示的な実施例により解析されるコンテンツの３つの連続したフレームを示す図。 本システムの例示的な実施例による図１Ａのマクロブロックの拡大図。 本システムの例示的な実施例による図１Ｂのマクロブロックの拡大図。 本システムの例示的な実施例による図１Ｃのマクロブロックの拡大図。 本発明の更なる例示的な実施例によるマクロブロックの拡大図。 本発明の更なる例示的な実施例によるマクロブロックの拡大図。 本発明の更なる例示的な実施例によるマクロブロックの拡大図。 本発明の一実施例によるディスプレイを示す図。

Claims (21)

1. 周辺光要素を制御する方法であって、
   コンテンツ信号を受信するステップと、
   前記コンテンツ信号内に表される対象の動きベクトルを算出するために前記コンテンツ信号を解析するステップと、
   ディスプレイ装置上に前記コンテンツ信号を表すステップと、
   前記動きベクトルに基づいて前記周辺光要素により供される周辺照明作用を調整するステップとを含む、方法。
2. 前記コンテンツ信号を解析するステップは、前記コンテンツ信号における前記ディスプレイ装置の外縁近傍に表される部分を解析することを含む、請求項１に記載の方法。
3. 前記コンテンツ信号を解析するステップは、
   表されたコンテンツ信号をマクロブロックへと分けるステップと、
   前記動きベクトルを算出するために前記ディスプレイ装置の外縁近傍に表されるマクロブロックを解析するステップとを含む、請求項１に記載の方法。
4. 前記コンテンツ信号を解析するステップは、前記ディスプレイ装置の外縁に平行な平行成分及び垂直な垂直成分に前記動きベクトルを分解するステップを含み、
   前記周辺照明作用を調整するステップは、前記動きベクトルの垂直成分により算出された周辺照明作用を調整する、請求項１に記載の方法。
5. 前記コンテンツ信号は、時間性のコンテンツ部分により提供され、第１の時間性のコンテンツ部分は、第２の時間性のコンテンツ部分の間に供される周辺照明作用を調整する、請求項１に記載の方法。
6. 前記周辺照明作用は、表されたコンテンツ信号の色特性により算出される、請求項１に記載の方法。
7. 前記動きベクトルは、前記コンテンツ信号の動き適応型デインターレースにより算出される、請求項１に記載の方法。
8. 前記周辺照明作用の輝度、色、彩度、色相のうちの少なくとも１つが前記動きベクトルにより調整される、請求項１に記載の方法。
9. 前記コンテンツ信号を解析するステップは、
   表されたコンテンツ信号をマクロブロック及びサブブロックへと分けるステップと、
   各サブブロックの平均色を算出するステップと、
   各サブブロックの動きベクトルを算出するステップと、
   対応する動きベクトルにより各サブブロックの算出された平均色を重み付けするステップと、
   前記重み付けされた、対応するサブブロックの算出された平均色により、マクロブロックの平均色を算出するステップとを含み、
   前記周辺照明作用は、前記マクロブロックの算出された平均色により算出される、請求項１に記載の方法。
10. 前記各サブブロックの算出された平均色を重み付けするステップは、ゼロでない動きベクトルを有する全てのサブブロックに対して１より小さい重みが付与される、請求項９に記載の方法。
11. 前記コンテンツ信号を解析するステップは、
    表されたコンテンツ信号をマクロブロック及びサブブロックへと分けるステップと、
    各サブブロックの動きベクトルを算出するステップと、
    前記ディスプレイ装置の外縁に平行な平行成分及び垂直な垂直成分に前記算出された動きベクトルを分解するステップと、
    ゼロである垂直成分の動きベクトルを有する前記ディスプレイ装置の外縁近傍に表された各サブブロックの色特性を算出するステップとを含み、
    前記周辺照明作用を調整するステップは、前記算出された色特性により周辺照明作用を算出することを含む、請求項１に記載の方法。
12. 前記コンテンツ信号を解析するステップは、
    表されたコンテンツ信号をマクロブロック及びサブブロックへと分けるステップと、
    各サブブロックの動きベクトルを算出するステップと、
    前記ディスプレイ装置の外縁に平行な平行成分及び垂直な垂直成分に前記算出された動きベクトルを分解するステップと、
    ゼロでない垂直成分の動きベクトルを有する前記ディスプレイ装置の外縁近傍に表された各サブブロックの色特性を算出するステップとを含み、
    前記周辺照明作用を調整するステップは、前記算出された色特性により周辺照明作用を算出することを含む、請求項１に記載の方法。
13. 受信したコンテンツ信号により周辺光を調整するように構成されたコンピューター読み取り可能な媒体上に具現化されるアプリケーションであって、
    前記コンテンツ信号内に表される対象の動きベクトルを算出するために前記コンテンツ信号を解析するように構成された部分と、
    ディスプレイ装置に前記コンテンツ信号を供給するように構成された部分と、
    供給されたコンテンツ信号と同時に供される周辺照明作用を調整するように構成された部分とを含み、
    前記周辺照明作用は前記動きベクトルにより算出されるように調整される、アプリケーション。
14. 前記コンテンツ信号を解析するように構成された部分は、
    前記コンテンツ信号をマクロブロックへと分解するように構成された部分と、
    前記動きベクトルを算出するために前記ディスプレイ装置の外縁近傍に表されるマクロブロックを解析するように構成された部分とを含む、請求項１３に記載のアプリケーション。
15. 前記コンテンツ信号を解析するように構成された部分は、前記コンテンツ信号の時間性部分を解析するように構成され、
    前記周辺照明作用を調整するように構成された部分は、前記コンテンツ信号の第２の時間性部分から算出された動きベクトルを利用して前記コンテンツ信号の第１の時間性部分の間に生成される周辺照明作用を調整するように構成される、請求項１３に記載のアプリケーション。
16. 前記コンテンツ信号を解析するように構成された部分は、
    受信されたコンテンツ信号をマクロブロック及びサブブロックへと分解し、
    前記ディスプレイ装置の外縁近傍に表されたマクロブロック内に含まれる各サブブロックの動きベクトル及び平均色を算出し、
    対応する動きベクトルにより各サブブロックの算出された平均色を重み付けし、
    前記重み付けされた、対応するサブブロックの算出された平均色により、マクロブロックの平均色を算出するように構成され、
    前記周辺照明作用を調整するように構成された部分は、前記マクロブロックの算出された平均色により周辺照明作用を調整するように構成される、請求項１３に記載のアプリケーション。
17. 周辺光要素を制御する装置であって、
    メモリと、
    前記メモリに動作的に接続されたプロセッサと、
    前記プロセッサは、
    前記コンテンツ信号内に表される対象の動きベクトルを算出するために前記コンテンツ信号を解析し、
    前記動きベクトルにより算出されるように周辺照明作用を調整するように構成される、装置。
18. 前記プロセッサは、
    前記コンテンツ信号をマクロブロックへと分解し、
    前記動きベクトルを算出するために前記コンテンツ信号のフレームの外縁近傍に位置するマクロブロックを解析するように構成される、請求項１７に記載の装置。
19. 前記プロセッサは、前記コンテンツ信号の時間性部分を解析し、前記コンテンツ信号の第２の時間性部分から算出された動きベクトルを利用して前記コンテンツ信号の第１の時間性部分の間に生成される周辺照明作用を調整するように構成される、請求項１７に記載の装置。
20. 前記プロセッサは、
    前記コンテンツ信号をマクロブロック及びサブブロックへと分解し、
    前記コンテンツ信号のフレームの外縁近傍のマクロブロック内に含まれる各サブブロックの動きベクトル及び平均色を算出し、
    対応する動きベクトルにより各サブブロックの算出された平均色を重み付けし、
    前記重み付けされた、対応するサブブロックの算出された平均色により、マクロブロックの平均色を算出し、
    前記マクロブロックの算出された平均色により周辺照明作用を調整するように構成される、請求項１７に記載の装置。
21. 前記装置は、テレビジョンの一部である、請求項１７に記載の装置。

Images