JP2010511986A - アンビエント照明 - Google Patents

Abstract

同時実行制御されたアンビエント照明を画像又はビデオのレンダリングに添えることを促進するシステムは、画像又はビデオの少なくとも１つの画像に関連付けられたシーン照明情報に依存して、制御されたアンビエント照明のカラーを選択するカラーセレクタ３０２を有する。画像アナライザ３０４は、画像又はビデオに基づいてシーン照明を示す発光パラメータを計算するために設けられ、カラーセレクタは、発光パラメータに依存してカラーを選択するために設けられる。

Description

本発明は、アンビエント照明に関する。

テレビの追加的特徴として、アンビライトは、スクリーン上の画像のカラー及び光強度を補完するためにアンビエント照明を生成することにより、総合的な視聴体験に対して印象的に寄与させる。これは、新たな次元を視聴体験に追加し、視聴者をコンテンツの観賞へ完全に熱中させる。これは、雰囲気を作り出し、よりリラックスした視聴を促進し、認識された画像の詳細、コントラスト及びカラーを向上させる。アンビライトは、スクリーン上の変化するコンテンツに応じてそのカラーを自動的に及び独立して適合させる。テレビのスタンバイモードにおいて、光は、部屋内に特有の雰囲気を作り出すために任意のカラーに設定され得る。

改良されたアンビエント照明を有することが有利であるだろう。

この問題をより良く対処するために、本発明の第１の態様において、システムは、同時実行制御されたアンビエント照明（concurrent controlled ambient lighting）を画像又はビデオのレンダリングに添えることを促進するために提供され、画像又はビデオの少なくとも１つの画像に関連付けられたシーン照明情報に依存して、制御されたアンビエント照明のカラーを選択するカラーセレクタを有する。

これは、画像中の照明を視聴者の部屋内のアンビエント照明に変換することを可能にする。照明は、画像又はビデオの中と視聴者の部屋内との双方における主要な雰囲気クリエータである。画像に関連付けられた照明情報に依存してアンビエント照明のカラーを選択することは、視聴者の部屋に画像又はビデオの雰囲気をより良く伝達することを補助する。これは、より自然なアンビエント照明カラー及びより夢中になれる視聴体験をもたらす。シーン照明に基づくアンビエント照明カラーは、極めて望ましい特性を持ち、非常に夢中になれる環境を提供する。色彩科学に用いられる用語であるカラーは、輝度、彩度及び色相を含む、照明が誘発する全ての知覚特性を含む。このシステムは、シーン照明が比較的安定的であり比較的ゆっくりと変化する特性である時には、シーン照明情報に依存したアンビエント照明カラーも、比較的安定的であり比較的ゆっくりと変化するという追加の利点を持つ。これは、同様の照明状態を持つビデオ及び一連の画像に対しても当てはまる。

シーン照明情報に依存してアンビエント照明カラーを選択することにより、画像又はビデオの雰囲気は、視聴者の部屋において再び作り出され得る。例えば、シーン照明カラーは、シーン照明情報により示されたカラーと同じになるように選択され得る。

一実施形態は、画像又はビデオを受信する入力部と、画像又はビデオに基づいて、シーン照明を示す発光パラメータ（illuminant parameter）を計算する画像アナライザとを有し、カラーセレクタが、発光パラメータに依存してカラーを選択するために設けられる。

画像アナライザの補助によって、シーン照明情報は、写真撮影やカメラショット中の実際の照明状態を知る必要なく効果的に回復され得る。

一実施形態において、画像アナライザは、グレーワールド手法（gray world method）、各カラーチャネルの最大を推定する手法、全域マッピング手法（gamut mapping method）、相関によるカラー、又は、ニューラルネットワーク手法（neural network method）のうち少なくとも１つに従って発光パラメータを計算するために構成される。

これらの手法は、画像の発光パラメータを計算するために知られている。グレーワールド手法、及び、各カラーチャネルの最大を推定する手法は、比較的計算的に効果的な手法の例であり、これに対し、全域マッピング手法、相関の手法によるカラー、又は、ニューラルネットワーク手法は、比較的良好な結果を潜在的に提供する。

一実施形態において、カラーセレクタは、シーン照明情報に依存して、制御されたアンビエント照明の彩度及び／又は色相を選択するために設けられる。特に、彩度及び／又は色相は、画像／ビデオのレンダリングに対応する特定の雰囲気を作り出すために重要である。

一実施形態において、カラーセレクタは、これらのシーン照明情報から独立して、制御されたアンビエント照明の輝度を選択するために設けられる。

彩度、色相及び輝度の全てがシーン照明に依存して選択され得るが、シーン照明情報から独立してアンビエント照明の輝度を選択することが時々有利である。例えば、輝度レベルは固定されてもよい。

一実施形態において、画像アナライザは、少なくとも１つの画像のレンダリングの直前に、リアルタイムに発光パラメータを計算するために設けられる。この場合において、アンビエント照明は、供給された画像又はビデオに対する如何なる特別な要求もなしに、照明に基づいて制御され得る。この実施形態は、少なくとも１つの画像のレンダリングの直前に発光パラメータを計算することに依存することから、発光パラメータは、放送局により又はストレージ媒体（例えば、ＤＶＤ、ＶＨＳテープ）に格納される必要がない。

一実施形態は、ビデオ又は画像に関連付けられたメタデータ中に、選択されたカラーを含めるメタデータ生成器を有する。これは、カラー選択を早期に実行させることを可能にする。これを行うための幾つかの理由があり得る。例えば、計算は、オフラインで実行され、後の使用のために格納されることができ、これは、リアルタイムに計算を実行するよりも少ない処理能力しか必要としない。また、これは、レンダリングする前に手動修正を可能にし、選択されたカラー情報を放送局等のコンテンツ提供者により分配させることを可能にする。メタデータは、MPEG7又はEXIF等の任意のフォーマットを持ってもよい。

一実施形態は、シーン照明情報を受信する入力部を有する。シーン照明情報が入力部に供給されることから、カラーセレクタは、非常に少ない計算リソースしか必要としない。

一実施形態において、シーン照明情報は、少なくとも１つの画像において取得されたシーンの物理的照明状態を示す。これは、比較的正確な照明情報を用いることを可能にする。例えば、ステージ照明装置からのログデータ（logged data）、又は、ビデオレコーディング又は写真撮影の間に用いられた光センサから取得された情報が用いられ得る。また、（EXIFフォーマットに格納され得る）閃光情報が用いられてもよい。

一実施形態において、シーン照明情報は、少なくとも１つの画像において取得された人工的なコンピュータグラフィックスシーンの人工的なコンピュータグラフィックス照明状態を示す。これは、正確な照明情報を取得するために特に効果的な手法である。これは、例えば、コンピュータゲームにおいて用いられ得る。コンピュータグラフィックスにおいて、照明状態は、使用されたコンピュータグラフィックスソフトウェアにより完全に制御される。これは、例えば、コンピュータグラフィックスを用いて作られたアニメーションの場合である。他のアプリケーションは、アンビエント照明を伴って強化されたコンピュータゲームを有する。例えば、コンピュータグラフィックスの画像又はビデオは、OpenGLを用いて生成されてもよい。OpenGLは、人工オブジェクト（例えば、アニメーション又は画像におけるアニメキャラクタ）の形状及び外観、並びに、人工オブジェクトを照らす人工的な光源の位置及び性質を特定するためのアプリケーションプログラミングインタフェースを提供する。光源の仕様は、照明情報として用いられ得る。

一実施形態において、入力部は、ビデオ又は画像に関連付けられたメタデータを受信するために設けられ、シーン照明情報は、メタデータに組み込まれ、入力部は、メタデータからシーン照明情報を抽出するための構文解析ツール（parser）を有する。メタデータは、画像及びビデオデータに既に一般的に添えている。従って、メタデータから照明情報を抽出することは、実現が容易である。

一実施形態において、メタデータは、照明不変カラー記述子（illumination invariant color descriptor）を有し、カラーセレクタは、照明不変カラー記述子に依存してカラーを選択するために設けられる。MPEG7スタンダードから知られた照明不変カラー記述子の一例は、支配的なカラー、拡張性のあるカラー、カラーレイアウト及びカラー構造であるISO/IEC 15938-3におけるカラー記述子をラップ（wrap）する。照明不変の手法で処理された１又はそれ以上のカラー記述子は、この記述子に含まれ得る。これは、カラーセレクタが全体画像を処理する必要がなく、照明不変カラー記述子が既にMPEG7スタンダードの標準化された特徴であるので、実現するために効果的である。

システムは、画像のレンダリングと同調する選択されたカラーを持つ光を生成するためにアンビエント光源を制御するための光源コントローラを有してもよい。また、システムは、画像をレンダリングするためのディスプレイを有してもよい。また、システムは、光源コントローラに接続された少なくとも１つのアンビエント光源を有してもよい。

アンビエント光源及びディスプレイは、別個の装置で構成されてもよい。シーン照明情報に依存して選択された、改良されたより安定的なカラーは、ディスプレイから（例えば、１ｍ、２ｍ、又は３ｍよりも）更に離れた１又はそれ以上の光源を用いるときに、より明らかになる。これは、光源が視聴者の周りに分配される場合になお当てはまる。同じコンテンツのレンダリングを全てサポートする制御された光源を有する複数の別個の装置が存在するときも同様である。

一実施形態は、同時実行制御されたアンビエント照明を画像又はビデオのレンダリングに添えることを促進するメタデータを作り出すオーサリングツールを有し、画像又はビデオを受信する入力部と、画像又はビデオの少なくとも１つの画像に関連付けられたシーン照明情報に依存して、制御されたアンビエント照明のカラーを選択するカラーセレクタと、画像又はビデオに関連付けられたメタデータにカラーの表示を含めるメタデータ生成器とを有する。

オーサリングツールにカラーセレクタを取り込むことは、選択されたカラーの便利な手動修正及び微調整、及び、カラーがカラーセレクタにより選択されるべき関心のある領域をインタラクティブに特定する等の興味ある特徴を可能にする。

一実施形態は、同時実行制御されたアンビエント照明を画像又はビデオのレンダリングに添えることを促進する方法を有し、画像又はビデオの少なくとも１つの画像に関連付けられたシーン照明情報に依存して、制御されたアンビエント照明のカラーを選択することを有する。

一実施形態は、説明された方法をプロセッサに実行させるための命令を有するコンピュータプログラムを有する。

本発明のこれら及び他の態様は、添付図面を参照して更に説明され示される。

ホームエンタテイメントシステムを備えた部屋を図式的に示している。 一実施形態の略図を示している。 一実施形態の略図を示している。

アンビエントインテリジェント照明における最近の開発は、自動コンテンツ依存の照明効果を可能にする。この一例はアンビライトＴＶである。ビデオコンテンツからの自動照明効果の生成の場合において、既存の解決策は、ビデオの領域の支配的なカラーのコンセプトを用いる。シーン中の照明を推定することは、オブジェクトの認識、背景−前景の分離並びに画像及びビデオの指標付け及び検索のようなコンピュータビジョンの多くのエリアにおいて生じる問題である。

自動照明効果の生成に関するアルゴリズムは、ビデオの領域の支配的なカラーの推定を用いてもよい。例えば、これは、ビデオの境界のカラーを拡張することを目的とする漏洩（Leaky）ＴＶのコンセプトに接続して行われてもよく、ＴＶから壁上への"漏洩（leaking）"カラーの効果を提供する。支配的なカラーは、幾つかの好ましくない性質を有する。これは、ＴＶの背後に取り付けられたもの以外の照明ユニットに対して特に当てはまる。斯様な照明ユニットは、ここでは"照明スピーカ（light speakers）"と呼ばれる。支配的なカラーの問題の１つは、シーンにおける小さな全体的変化が、生成された照明効果の大きな変化を生じ得ることである。斯様な大きな変化は、特に、高い電力レベルで照明を生成し、環境の全体的なイルミネーションの大部分を規定する照明ユニットに対して好ましくないかもしれない。生成された照明効果の変化は、自動照明効果の生成の後の段階で制御されて削減され得る。しかしながら、十分な方法において画像又はビデオから照明効果を直接推定することが好ましい。シーン照明は、多くの場合、支配的なカラーよりも、はるかに安定的であり、よりゆっくりと変化する。これは、例えば類似の照明状態に基づいて得られた一連の画像をレンダリングするときに、個別の静止画像に対しても当てはまる。更に、シーン照明は、ビデオ及びスチール写真手法における主要な雰囲気クリエータの１つである。それ故、シーン照明を推定し、視聴者の周囲に伝達することで、照明効果のより望ましい特性及びより熱中できる環境を生成することができる。また、画像又はビデオがホームフォトグラフィ又はホームビデオの結果であるときには、アンビエント照明は、記憶を回想するため、瞬間を再体験（re-live）するため、及び、同じ雰囲気を再び作り出すための可能性を高める。

メディアストリームの部分として記録されて与えられ得るか、あるいは、画像若しくはビデオから推定され得るシーン照明情報は、メディアに同期された照明効果の自動生成又は照明スクリプトの生成のために用いられ得る。現在の取り組みは、照明のオンライン及びオフラインの推定を可能にする。推定が全体ビデオフレーム（画像）の情報又はビデオフレーム（画像）の領域の情報に基づき得るとともに、その結果が単一の照明ユニット又は複数の照明ユニットにマッピングされ得る。

カメラによって記録された画像は、３つのファクタ、即ち、シーンの物理コンテンツ、シーン上の照明入射（illumination incident）及びカメラの特性に依存する。計算によるカラーの不変性の目的は、標準化された照明不変性の表示に画像を直接マッピングすること、又は、画像の後のカラー修正のために用いられ得る照明の記述を決定することのいずれかにより、照明の効果を占めることである。これは、オブジェクトの認識及びシーンの理解のような重要なアプリケーション、並びに、画像の再現及びデジタルフォトグラフィを持つ。計算によるカラー不変性の他の目的は、未知の照明状態に基づいて得られた画像からシーンの非自明な照明不変性の記述を見つけることである。これは、多くの場合、２つのステップに分かれる。第１のステップは、発光パラメータを推定することであり、その後、第２のステップは、照明独立表面の記述を計算するためにこれらのパラメータを用いる。ここで述べられた実施形態においてアンビエント照明及びシーン照明の再作成の目的のために用いられるのは第１のステップである。

IEEE Trans. Im. Proc., Vol. 11, No. 9, 2002における、K. Barnardらによる"A comparison of computational color constancy algorithms - Part I: Methodology and experiments with synthesized data"及び"Part II: Experiments with Image Data"（"Barnard"と集合的に後述する）は、グレーワールド手法、各カラーチャネルの最大を推定する手法、全域マッピング手法、相関によるカラー、及び、ニューラルネットワーク手法を含む多くのカラー不変性アルゴリズムを示して対比している。これらのアルゴリズムにおいて、発光パラメータは、照明独立表面の記述を計算するために用いられる。例えば、照明不変性の記述は、既知（known）、標準（standard）、正準（canonical）、光（light）に基づいて得られた場合と同等のシーンの画像として特定され得る。多くの場合、照明変化の対角モデルが想定され得る。この想定に基づいて、一の発光に基づいて得られた画像は、各チャネルを独立してスケーリング（scaling）することにより他の発光にマッピングされてもよい。スケーリングは、適切なカラースペース、例えば、CIE（例えば、CIELAB）によって規定されたカラースペースのうちの１つにおいて実行される。しかしながら、スケーリングは、ＲＧＢカラースペースの特別な例のためにここで説明されるだろう。未知の発光に基づく白いパッチ（patch）に対するカメラレスポンスが（R^U, G^U, B^U）であり、既知の正準発光に基づくレスポンスが（R^C, G^C, B^C）であると仮定する。そして、白いパッチに対するレスポンスは、R^C/R^U, G^C/G^U及びB^C/B^Uによる３つのチャネルをそれぞれスケーリングすることにより、未知のケースから正準のケースにマッピングされ得る。この同一のスケーリングが他の白くないパッチに対して機能する限り、対角モデルが成り立つと言われている。対角モデルが大きなエラーをもたらす場合には、性能は、例えばセンサの鮮鋭化を用いることにより改善され得る。

一実施形態は、ビデオコンテンツが利用可能な照明ユニットを用いたシーン照明の再構成と同期して再生されるホームエンタテイメントシステムを有する。所与の空間領域用のシーン照明は、リアルタイムアルゴリズム、例えば、グレーワールド手法、各カラーチャネルの最大を推定する手法、全域マッピング手法、相関によるカラー、及び、ニューラルネットワーク手法のような、Barnardで示されたカラー不変性アルゴリズムのうちの１つにより推定される。代わりに、所与の空間領域用のシーン照明は、コンテンツ提供者により予め計算されて、ビデオコンテンツに付随するメタデータに含まれる。メタデータは、ホームエンタテイメントシステムにより処理され、ここで述べられた照明効果は、ビデオのレンダリングと同期して作動される。他の代替手段において、所与の空間領域用のシーン照明は、メディアのメタデータ部分、例えばMpeg7記述子から導出される。例えば、メタデータは、ビデオレコーディング中の実際の照明状態に関する情報を有してもよい。

シーン照明の推定後、推定は、利用可能な照明ユニットにマッピングされる。このステップは、スクリーン又はシーンの異なる領域における照明状態に基づいてもよい。代わりに、これは、メタデータにおける情報に基づく。例えば、メタデータが、各照明スピーカに対して照明効果を指示してもよい。また、コンテンツのカラースペースにおけるカラーとして与えられた推定されたシーン照明は、照明ユニットのカラースペースに伝達される。この追加のステップが、ホームエンタテイメントシステムによりオンラインで実行されてもよい。最終的に、カラー修正された照明効果は、コンテンツに同期してレンダリングされる。

ここで述べられた方法は、照明効果が自動的又は半自動的に生成されるアプリケーションにおいて用いられ得る。方法は、照明効果の生成に関するオフラインスクリプトの自動的又は半自動的な生成のため、又は、amBXにおけるようなアンビエントスクリプトライタ用のツールを提供するために適用されてもよい。

図１は、ホームエンタテイメントシステムの要素を含むリビングルーム１００を示している。ホームエンタテイメントシステムは、ディスプレイ１０２及び光源１０４を有する。ディスプレイ１０２は、ディスプレイ１０２の背後のスペース及び壁を照らす１又は複数の制御された光源を有する追加のアンビエントを持つ。アンビエントは、制御された光源である。図１に示されたホームエンタテイメントシステムは、照明スピーカ１０４も有する。斯様な照明スピーカは、ディスプレイとは別個の装置における制御された光源である。図においては、各光源が部屋の角を照らしている。

制御された光源のカラーは、ディスプレイ上のレンダリングに依存して制御される。例えば、レンダリングされたシーンのシーン照明が決定されて、この情報が光源を制御するために用いられる。異なる光源が、レンダリングの異なる態様に関連する情報に基づいて異なって制御されてもよい。例えば、ディスプレイが複数の領域に分割され、各領域が光源に対応してもよい。各領域に関連するシーン照明情報は、それぞれ対応する光源を制御するために用いられる。全ての光源が同質のアンビエント照明を作り出すために同一カラーを生成することも可能である。

図２は、本発明の一実施形態を示している。概して、ビデオコンテンツは、スクリーン上にレンダリングされる前に解析される必要がある。このコンテンツ解析は、部屋内の照明ユニットに関するカラー及び強度を計算するために用いられる幾つかの特徴を抽出する。これらの値は、その後、ディスプレイ上のコンテンツと同調して照明ユニットに送られる。コンテンツ２０２は、コンテンツアナライザ２０４に送られる。コンテンツアナライザ２０４から生ずるコンテンツの特徴は、カラー／強度セレクタ２１０に送られる。選択されたカラー及び／又は強度は、照明ユニット２１２を制御するために用いられる。カラーセレクタ２１０は、照明効果がディスプレイ２０８上のコンテンツのレンダリングと同期されることを確実にするために同期装置２０６と通信する。

図３は、本発明の幾つかの実施形態の態様を示している。これは、同時実行制御されたアンビエント照明を画像又はビデオのレンダリングに添えることを促進するシステム３００を示している。システムは、制御されたアンビエント照明のカラーを選択するためのカラーセレクタ３０２を有する。この目的を達成するために、これは、画像又はビデオの少なくとも１つの画像に関連付けられたシーン照明情報を受信する。この情報は、入力部３１０及び／又は画像アナライザ３０４から生じ得る。

一実施形態において、画像又はビデオは、入力部３１０により受信されて、画像アナライザ３０４に供給される。画像アナライザは、１回に少なくとも１つの画像の少なくとも領域を解析する。画像アナライザ３０４は、画像の領域の発光パラメータを計算する。この発光パラメータは、カラーセレクタ３０２に送られる。幾つかの発光パラメータ（例えば、カラー座標、輝度、画像の異なる領域に関する値）は、計算されて、カラーセレクタ３０２に送られ得る。

発光パラメータは、上記で説明されたように、計算によるカラー不変性アルゴリズムにおいて多くの場合用いられる概念である。発光パラメータ（簡単な例においては、白いパッチへのカメラ応答）は、アンビエント照明環境を生成するための光源を制御するために適切なカラーを選択するカラーセレクタ３０２に送られる。発光パラメータは、推定された発光のカラー情報を有する。画像の照明は、制御された光源により再び作り出される。そのためには、画像のカラースペースにおいて多くの場合与えられるシーン照明のカラー（即ち、発光のカラー）は、光源３１２のカラースペースに追加的に変換される。これは、光源が画像及び／又はディスプレイとは異なるカラースペースにおいて動作する場合に役立つ。例えば、光源３１２は、これらのプライマリカラーに依存して異なるカラーをレンダリング可能なＬＥＤを有し、ＬＥＤのプライマリカラーは、画像を符号化するために用いられたプライマリカラーとは異なる。選択されたカラーは、選択されたカラーの光を生成する光源３１２に送られる。オプション的に、例えばスクリーンの異なる領域における照明状態に対応する異なるカラーは、選択されて、ディスプレイの周りの及び／又は部屋内の他の場所の異なる光源を制御するために用いられる。

画像アナライザ３０４は、グレーワールドの条件に基づいてもよい。この条件によれば、シーンの平均は、シーン発光下における選択された"グレー"カラー値に対するカメラ応答と同じである。対角線の条件下では、白のカラーがその平均から推定され得る。シーン発光下での白のカラーは、シーン照明カラーであると推定される。

画像アナライザ３０４は、代わりに、各チャネルの最大による発光推定に基づいてもよい。これは、各チャネル（例えば、ＲＢＧカラースペースが用いられる場合にはチャネルＲ、Ｇ及びＢ）における最大レスポンスにより発光を推定する。

画像アナライザ３０４は、全域マッピングに基づいてもよい。特に、画像アナライザは、画像（の領域）において現れるカラーの凸包（convex hull）により境界付けられた全域を決定する。全域マッピング手法において、画像の全域（即ち、画像中に存在するカラーのセット）が、予め規定された照明に基づいて架空の画像の全域にマッピングされる。最良のマッピング（又は複数のマッピング）は、発光の推定として用いられ得る。例えば、画像が黄色の発光を持つ場合には、これらは、画像においてあまりに純青色ではないだろう。これは、全域が青の方へより小さくなることを意味する。全域マッピングによってどのようにして発光パラメータを得るかについては、この分野において既知であるので、この説明において更には説明されないだろう。

カラー不変性アルゴリズムのこの分野において既知の他の手法は、相関によるカラー及びニューラルネットワーク手法を含む。これら及び他の手法は、Barnardにおいて説明されている。これら及び他のアルゴリズムは、画像又はビデオのイルミネーションパラメータを特定するために用いられ得ることが当業者により理解されるだろう。

一実施形態において、カラーセレクタは、シーン照明情報に依存して、制御されたアンビエント照明の彩度及び／又は色相を選択するため、並びに、シーン照明情報から独立して、制御されたアンビエント照明の輝度を選択するために設けられる。例えば、輝度は、よりリラックスした視聴体験のために一定に維持され、又は、レンダリングされた画像の平均輝度が非常に低い場合であっても、輝度は、予め規定された最小値よりも上に維持される。

システム３００は、制御されたアンビエント照明効果と同調してディスプレイ３１４上の少なくとも１つの画像をレンダリングする直前に、リアルタイムに発光パラメータを計算するために設けられてもよい。

一実施形態において、入力部３１０は、例えばEXIF又はMPEG7のようなフォーマットで画像又はビデオに添えるメタデータの形式において、外部ソースからシーン照明情報を受信するために設けられる。メタデータは、別個のファイルで提供されてもよい。受信した情報は、少なくとも１つの画像において取得されたシーンの物理照明情報を示す。カラーセレクタは、受信した情報に依存してカラーを選択する。例えば、これは、物理照明状態に対応するカラーを選択する。他の実施形態において、受信した情報は、少なくとも１つの画像において取得された人工的なコンピュータグラフィックスシーンの人工的なコンピュータグラフィックス照明状態を示す。この実施形態は、アンビエント照明を伴うコンピュータゲームに特に関連する。

一実施形態において、入力部３１０は、照明不変性カラー記述子（例えば、MPEG7データの部分）を受信し、カラーセレクタは、照明不変性カラー記述子に依存してカラーを選択するために設けられる。MPEG7スタンダードから知られた照明不変性カラー記述子の一例は、支配的なカラー、拡張可能なカラー、カラーレイアウト及びカラー構造であるISO/IEC15938-3においてカラー記述子をラップする。照明不変性の手法により処理された１又はそれ以上のカラー記述子は、この記述子に含まれ得る。当業者が理解するだろうように、カラーセレクタ３０２は、照明不変性カラー及びシーン照明状態に基づくカラーの約数を見つけることによりシーン照明情報を計算し得る。

一実施形態において、システムは、メタデータ生成器３０８を有する。これは、ビデオ又は画像に関連付けられたメタデータ中に、選択されたカラーを含める。例えば、選択されたカラーは、EXIF又はMPEG7のような標準化されたメタデータフォーマットを用いて属性として含まれ得る。このメタデータは、画像ファイル又はビデオデータストリームに含まれてもよく、及び、後の使用のために格納されてもよく、あるいは、報知されてもよい。この実施形態において、システムは、とりわけ、ディスプレイ３１４、照明コントローラ３１６及び／又は光源３１２を要しない。

一実施形態において、システムは、光源コントローラ３１６を有する。光源コントローラ３１６は、アンビエント光源３１２を制御する。これは、カラーセレクタ３０２から受信した選択されたカラーを、光源３１２に送られる制御信号に変換する。光源コントローラは、カラーを、光源を直接制御するために適したカラースペースに変換する。例えば、選択されたカラーがCIELABカラースペース又はディスプレイのカラースペースにおけるカラーセレクタ３０２により与えられる場合には、カラーは、光源が再生可能であるプライマリに基づいてカラースペースに変換され得る。斯様な変換はこの分野において既知である。

光源３１２は、ディスプレイの背後の照明であってもよい。これは、ディスプレイから更に離れた光源であってもよい。複数の光源が異なるカラー又は同一カラーで制御されてもよい。この目的を達成するために、システムは、１よりも多い光源、照明コントローラ、及び／又はカラーセレクタを有してもよい。単一の光源コントローラで複数の光源を制御することも可能である。光源は、例えばディスプレイから少なくとも１ｍ離れて、部屋のいたる所に配置されてもよい。

一実施形態において、システムは、制御された光源３１２を有する。光源３１２により生成された光のカラーは、カラーセレクタ３０２により選択される。

ディスプレイ３１４が画像又はビデオをレンダリングするために用いられる。光源コントローラ３１６は、制御された光源に、画像のレンダリングと同調した選択されたカラーを持つ光を生成させる。１又はそれ以上の制御された光源３１２は、ディスプレイから離れた装置（又はデバイス）において構成され得る。これは、ディスプレイから及び互いに更に離れた光源を使用することを可能にする。このように、部屋の大部分は、シーン照明情報に基づくカラーで照らされ得る。

メタデータを作り出すためのオーサリングツールがシステム３００を持ってもよい。メタデータに対応する画像又はビデオは、入力部３１０に供給される。カラーセレクタ３０２は、画像又はビデオにおいて取得された少なくとも１つの画像のシーン照明に依存して、制御されたアンビエント照明のカラーを選択する。例えば、画像アナライザ３０４は、シーン照明情報を得るために用いられる。メタデータ生成器３０８は、画像又はビデオに関連付けられたメタデータにカラーの指示を含める。

システム３００は、ホームエンタテイメントシステム又はテレビ装置に組み込まれてもよい。また、これは、例えばビデオ出力及び光源制御のための別個の出力を持つセットトップボックスに含まれてもよい。他のアプリケーションは、パーソナルコンピュータ、コンピュータモニタ、ＰＤＡ、又はコンピュータゲーム端末を含んでもよい。

本発明は、コンピュータプログラム、特に、本発明を実行させるために適合された担体上又は担体内のコンピュータプログラムにも拡張することが理解されるだろう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び部分的にコンパイルされた形式のようなオブジェクトコード、又は、本発明による方法の実行における使用に適した如何なる他の形式であってもよい。担体は、プログラムを実行可能な如何なる実体又はデバイスであってもよい。例えば、担体は、ＲＯＭ、例えばＣＤ−ＲＯＭ若しくは半導体ＲＯＭのような格納媒体、又は、磁気記録媒体、例えばフロッピー（登録商標）ディスク又はハードディスクを含んでもよい。更に、担体は、無線通信又は他の手段により電気又は光学ケーブルを介して伝達し得る電気又は光学信号のような送信可能担体であってもよい。プログラムが信号で具現化されるときには、担体は、ケーブル又は他のデバイス若しくは手段等により構成されてもよい。代わりに、担体は、プログラムが具現化される集積回路であってもよく、集積回路は、関連した方法を実行するため、又は、関連した方法の動作の使用のために適合される。

上述した実施形態は、本発明を限定するよりはむしろ例示であり、当業者は、特許請求の範囲から逸脱することなく多くの代替実施形態を設計することができるだろうことが留意されるべきである。特許請求の範囲において、括弧内の如何なる参照符号も特許請求の範囲を限定するものとして考慮されるべきではない。"有する"という用語の使用及びその結合は、特許請求の範囲に記載されたもの以外の要素又はステップの存在を除外するものではない。要素の単数表記は、複数の斯様な要素の存在を除外するものはない。本発明は、幾つかの別個の要素を有するハードウェアにより、及び、適切にプログラムされたコンピュータにより実行されてもよい。幾つかの手段を列挙するデバイスクレームにおいては、これらの手段の幾つかが、ハードウェアの一つ及び同一アイテムにより具現化されてもよい。特定の手段が相互の異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に用いられ得ないことを示すものではない。

Claims (19)

1. 同時実行制御されたアンビエント照明を画像又はビデオのレンダリングに添えることを促進するシステムであって、
   前記画像又は前記ビデオの少なくとも１つの画像に関連付けられたシーン照明情報に依存して、前記制御されたアンビエント照明のカラーを選択するカラーセレクタを有する、システム。
2. 前記画像又は前記ビデオを受信する入力部と、
   前記画像又は前記ビデオに基づいてシーン照明を示す発光パラメータを計算する画像アナライザとを更に有し、
   前記カラーセレクタは、前記発光パラメータに依存して前記カラーを選択する、請求項１に記載のシステム。
3. 前記画像アナライザは、グレーワールド手法（gray world method）、各カラーチャネルの最大を推定する手法、全域マッピング手法（gamut mapping method）、相関によるカラー、又は、ニューラルネットワーク手法（neural network method）のうち少なくとも１つに従って前記発光パラメータを計算する、請求項２に記載のシステム。
4. 前記カラーセレクタは、前記シーン照明情報に依存して、前記制御されたアンビエント照明の彩度及び／又は色相を選択する、請求項１に記載のシステム。
5. 前記カラーセレクタは、前記シーン照明情報から独立して、前記制御されたアンビエント照明の輝度を選択する、請求項４に記載のシステム。
6. 前記画像アナライザは、前記少なくとも１つの画像のレンダリングの直前にリアルタイムに前記発光パラメータを計算する、請求項２に記載のシステム。
7. 前記ビデオ又は前記画像に関連付けられたメタデータにおける選択されたカラーを含めるメタデータ生成器を有する、請求項１に記載のシステム。
8. 前記シーン照明情報を受信する入力部を更に有する、請求項１に記載のシステム。
9. 前記シーン照明情報は、前記少なくとも１つの画像において取得されたシーンの物理照明状態を示す、請求項８に記載のシステム。
10. 前記シーン照明情報は、前記少なくとも１つの画像において取得された人工的なコンピュータグラフィックスシーンの人工的なコンピュータグラフィックス照明状態を示す、請求項８に記載のシステム。
11. 前記入力部は、前記ビデオ又は前記画像に関連付けられたメタデータを受信し、
    前記シーン照明情報は、前記メタデータに組み込まれ、
    前記入力部は、前記メタデータから前記シーン照明情報を抽出する構文解析ツールを有する、請求項８に記載のシステム。
12. 前記メタデータは、照明不変性カラー記述子を有し、
    前記カラーセレクタは、前記照明不変性カラー記述子に依存して前記カラーを選択する、請求項１１に記載のシステム。
13. 前記画像のレンダリングと同調する選択されたカラーを持つ光を生成するためにアンビエント光源を制御する光源コントローラを更に有する、請求項１に記載のシステム。
14. 前記画像をレンダリングするディスプレイを更に有する、請求項１３に記載のシステム。
15. 前記光源コントローラに接続された少なくとも１つのアンビエント光源を更に有する、請求項１３に記載のシステム。
16. 前記光源コントローラに接続された少なくとも１つのアンビエント光源を更に有し、
    前記アンビエント光源及びディスプレイは、別個の装置に含まれる、請求項１４に記載のシステム。
17. 同時実行制御されたアンビエント照明を画像又はビデオのレンダリングに添えることを促進するメタデータを作り出すオーサリングツールであって、
    前記画像又は前記ビデオを受信する入力部と、
    前記画像又は前記ビデオの少なくとも１つの画像に関連付けられたシーン照明情報に依存して、前記制御されたアンビエント照明のカラーを選択するカラーセレクタと、
    前記画像又は前記ビデオに関連付けられたメタデータに前記カラーの指示を含めるメタデータ生成器とを有する、オーサリングツール。
18. 同時実行制御されたアンビエント照明を画像又はビデオのレンダリングに添えることを促進する方法であって、
    前記画像又は前記ビデオの少なくとも１つの画像に関連付けられたシーン照明情報に依存して、前記制御されたアンビエント照明のカラーを選択するステップを有する、方法。
19. 請求項１８に記載の方法をプロセッサに実行させるための命令を有する、コンピュータプログラム。

Images