JP2007521774A - 未レンダリング色空間を経由してマッピングされる環境光ビデオ内容から導かれる環境光のためのちらつきのない適応閾値処理 - Google Patents

Abstract

低輝度条件の間にビデオ内容をエミュレートする環境光源のちらつきのない動作。ここで、環境光源は出力閾値処理されて、該環境光源のオン／オフの状態変化が強度変数が一つまたは二つの閾値を通過したあとに開始されうるようにされる。出力閾値処理が、レンダリング色空間にいてエンコードされたビデオ内容を抽出および処理するときに使用される。ビデオ内容は、選択されたフレームからの色情報のみを使ったフレーム間補間プロセスによって取り出されるフレームにデコードされることができる。選択された画面領域から平均またはその他の色情報を抽出するなどである。負のガンマ補正はどぎつい、または不適切な色度および輝度を防止する助けとなる。

Description

本発明は、複数の光源を使った、典型的にはビデオ・ディスプレイからなどのビデオ内容に基づく、あるいはそれに関連する環境光効果の生成および設定に関する。より具体的には、本発明は、ビデオ内容からリアルタイムで選択された色情報を抽出し、ビデオ環境から複数の環境光源の駆動を許容する環境への色マッピング変換を実行することによって複数の環境光源を導出または設定する方法に関する。

長年にわたって技術者はビデオ内容の消費の際に得られる感覚体験を広げるべく努めてきた。その手段には、閲覧画面および投影領域を拡大する、リアルな立体効果のために音を変調する、ビデオ画像を向上させるといったものがある。この最後のものには、高精細度（HD: high definition）デジタルTVのテレビおよびビデオシステムの場合のように、より広いビデオ色範囲、解像度、映像アスペクト比が含まれる。さらに、映画、テレビおよびビデオのプロデューサーも、巧妙な色使用、シーンカット、視角、周辺風景およびコンピュータ支援グラフィック表現といった視覚的および聴覚的手段を使って視聴者の経験に影響しようと努力している。これは劇場舞台の照明も含むだろう。照明効果はたとえば通例スクリプトで書かれ――ビデオまたは劇の場面と同期される――所望の計画をエンコードされた適切な場面スクリプトをプログラムされた機械またはコンピュータの支援を用いて再生される。

従来技術のデジタル領域では、計画や脚本にない場面を含む、場面内の速い変化への照明の自動的な適応は、たいがい調整するのが容易ではなかった。現在のシステムを使う際に必要とされる大きな広帯域幅ビットストリームのオーバーヘッドのためである。

フィリップス（オランダ）その他の会社は、典型的な家庭またはビジネス用途のためにビデオ内容を向上させるために、ビデオ・ディスプレイからは遠い別個の光源を使って環境照明または周辺照明を変化させるための手段を、そして多くの用途のためには所望の照明効果の先進的なスクリプト化またはエンコードのようなものを開示してきている。ビデオ・ディスプレイまたはテレビに加えられた環境照明は視聴者の疲労を低下させ、経験のリアルさおよび深さを改善することが示されている。

感覚体験は、当然ながら人間の視覚の諸側面の機能である。人間の視覚は途方もなく複雑な感覚器官および神経器官を使って色や光の効果の感覚を生成する。人間は1000万通りほどの異なる色を識別できる。人間の目では、明受容または明所視については錐体と呼ばれる約200万の感覚体が３組あり、これらはそれぞれ光の波長445、535および565nmにピークをもつ、非常に大きな重なりのある吸収分布を有している。これら３種類の錐体は三刺激系と呼ばれるものをなし、歴史的な理由によりそれぞれB（青）、G（緑）およびR（赤）と呼ばれている。ピークは必ずしもディスプレイにおいて使われる原色のどれか、たとえば一般に使われるRGB蛍光体と一致しなければならないわけではない。桿体と呼ばれる暗所視またはいわゆる暗視体についての相互作用もある。人間の目は典型的には1億2000万の桿体があり、これがビデオ経験に、特にホームシアターにおいて見出されるような明るさの低い条件について影響する。

カラービデオは人間の視覚の原理に基づいており、人間の視覚のよく知られた三色説および反対色チャネル説は、元の画像または意図された画像への高い忠実度をもつ所望の色および効果を見るためには目にどのように影響すべきかの我々の理解に組み込まれている。たいていの色モデルおよび色空間では、三次元または３つの座標が人間の視覚体験を記述するために使用される。

カラービデオは条件等色（メタメリズム）に絶対的に依拠している。条件等色は、所望の色および特性をもつ実際の光ではなく、少数の基準刺激を使っての色知覚の生成を許容する。このため、よく知られたRBG（赤、青、緑）のような限られた数の基準刺激を使って人間の頭脳の中に全範囲の色が再現される。たとえば、ほとんどすべてのビデオ・ディスプレイは、各ピクセルすなわち画素においてほぼ等量の赤と緑の光を生成することによって黄色い場面光を表示する。ピクセルは、張る立体角が小さいので、目はだまされて黄色を知覚し、実際に発されている緑や赤を知覚しはしない。

色モデルや色を指定する方法は数多く存在する。それにはビデオ再生のための色を記述および指定するのに使われているよく知られたCIE（Commission Internationale de l'Eclairage［国際照明委員会］）色座標系が含まれる。本発明の使用に際しては多数ある色モデルのいずれを用いてもよい。それにはCIE L*U*V*（CIELUV）系またはCIE L*a*b*（CIELAB）系のような未レンダリング反対色空間への適用も含まれる。

1931年に設立されたCIEはあらゆる色の管理および再現についての基盤であり、その結果は３つの座標ｘ、ｙ、ｚを使う色度図である。最大輝度におけるこの三次元系のプロットはｘおよびｙを用いて色を記述するためにあまねく使われており、1931年のx,y色度図と呼ばれるこのプロットは人間において知覚されるあらゆる色を記述できると信じられている。これは条件等色を使って目と脳をだます色再現とは対照的である。三原色または三原色の蛍光体を使うことによって色を再現するための多くの色モデルまたは色空間が今日使用されており、そのうちにはアドビRGB、NTSC RGBなどがある。

しかし、三刺激系を使ってビデオシステムによって示される可能な色全体の範囲は限られているということを注意しておくことは重要である。NTSC（National Television Standards Committee［全国テレビ方式委員会］）RGBシステムは比較的広い範囲の色が利用可能であるが、このシステムは人間によって知覚可能な色全体の半分しか再現できない。伝統的なビデオシステムの利用可能範囲を使うのでは、多くの青、青紫、青緑およびオレンジ／赤は十分にレンダリングされないのである。

さらに、人間の視覚系は補償および識別（discernment）の特質を与えられており、これらの理解がいかなるビデオシステムを設計するためにも必要である。人間における色はいくつかの見え方のモードで生起しうるが、そのうちには物体モード（object mode）と発光体モード（illuminant mode）がある。

物体モードでは、光刺激は光源によって照明された物体から反射された光として知覚される。発光体モードでは、光刺激は光源として見られる。発光体モードは、複合視野において他の刺激よりもずっと明るい刺激を含む。ビデオ・ディスプレイなど、明るさまたは輝度が場面または視野の全体的な明るさ以下である光源であるとわかっている刺激は含まず、よってそれらの刺激は物体モードにあるように見える。

注目すべきことに、物体モードでしか現れない色というものが多数ある。そのうちには茶色、オリーブ色、栗色、灰色およびベージュ系の肌色がある。たとえば茶色の交通信号のような茶色の光源は存在しないのである。

このため、物体色を加えようとするビデオシステムへの環境光補助は、直接的な茶色の光源を使ってそれをすることはできないのである。発光的な赤および緑の光源を互いの近くにどう組み合わせても、茶色や栗色を再現することはできない。このことは選択を著しく制限する。発光的な光源の直接観測によって再現できるのは、虹のスペクトルにある色の強度や彩度をさまざまに変えたものだけである。このことが、光源からの低強度の輝度出力を与えるような環境照明システムに対する、色相管理に格別の注意を払う微細制御の必要性の根底にある。この微細制御は現在のところ、現在のデータ・アーキテクチャのもとで高速で変化する微妙な環境照明を許容するような仕方で対処されてはいない。

ビデオ再現は多くの形をとることができる。スペクトル色再現（spectral color reproduction）はもとの刺激のスペクトル強度分布の厳密な再現を許容するものだが、これは三原色を使ういかなるビデオ再現においても実現可能ではない。厳密な色再現（exact color reproduction）は、人間の視覚の三刺激値を複製し、オリジナルへの条件等色の一致を生成できるが、同じような見え方を実現するためには、映像およびオリジナル場面についての全体的な視聴条件も同様でなければならない。映像およびオリジナル場面についての全体的な条件は映像の角度広がり、周囲の輝度および色度、ならびに映り込みが含まれる。しばしば厳密な色再現が達成できない理由の一つは、カラーモニター上で発生させられる最大輝度に対する制限のためである。

測色的色再現（colorimetric color reproduction）は、三刺激値がオリジナル場面でのものに比例している場合には有用な代替を与える。色度図座標は厳密に再現されるが、輝度が比例して低下してのことである。測色的色再現は、オリジナルの基準白色および再現された基準白色が同じ色度を有しており、視聴条件が同一であり、システムの全体としてのガンマが１であるとすれば、ビデオシステムについての良好な基準規格である。色度も輝度もオリジナル場面に一致する等価な色再現（equivalent color reproduction）は、ビデオ・ディスプレイにおいて生成される限られた輝度のために達成不能である。

実用されているたいていのビデオ再現は対応色再現（corresponding color reproduction）の達成を目指している。対応色再現では、再現された色は、もしオリジナルが再現と同じ平均輝度レベルおよび同じ基準白色の色度を生成するよう照明されていたとした場合のオリジナルの色と同じ見え方を有する。しかし、多くの者は、ディスプレイシステムの究極的な目標は実際には好ましい色再現（preferred color reproduction）であると主張する。これは、視聴者の好みが色忠実度に影響するものである。たとえば、平均的な実際の肌の色よりも日焼けした肌の色が好まれ、空は実際よりも青いほうが、木の葉は緑色なほうが好まれる。対応色再現が設計標準として受け入れられるとしても、肌の色のような一部の色は他の色よりも重要であり、NTSCビデオ規格のような多くの再現システムにおいて特別な処置の対象となる。

場面光を再現する際、白バランスを達成するための色適応が重要である。適正に調整されたカメラおよびディスプレイでは、白および無彩色の灰色は、典型的にはCIE標準昼光照明の色度を用いて再現される。白い面を常に同じ色度で再現することによって、システムは人間の視覚系を模倣している。人間の視覚系は、照明の色度に関わりなく白い面が常に同じに見えるよう知覚を本来的に適応させ、そのため晴天下の浜辺にあろうと、白熱電球に照らされた室内場面にあろうと、白い紙は白く見えるのである。色再現においては白バランス調整はR、G、Bチャネルに対する利得調節によって行われる。

典型的な色受容体の光出力は典型的には線形ではなく、加えられるビデオ電圧に対して冪乗則の関係に従う。光出力はビデオ駆動電圧を指数ガンマ乗したものに比例する。ここでガンマは典型的にはカラーCRT（cathode ray tube［陰極線管］）については2.5、その他の種類の光源については1.8である。この因子に対する補償はカメラのビデオ処理増幅器内の三原色ガンマ補正器を通じて行われるので、エンコードされ、送信され、デコードされる原色ビデオ信号は実際にはR、G、Bではなく、R^1/γ、G^1/γ、B^1/γとなる。測色式色再現は、カメラ、ディスプレイおよび任意のガンマ調整電子回路を含めた全体としてのビデオ再現のためのガンマが１であることを要求するが、対応色再現を目指すときには周囲の輝度が優先される。たとえば、最適な色再現のためには、薄暗い周囲は約1.2のガンマを要求し、暗い周囲は約1.5のガンマを要求する。ガンマはRGB色空間についての重要な実装上の問題である。

たいていの色再現エンコードは標準的なRGB色空間を使用する。それにはsRGB、ROMM RGB、アドビRGB98、アップルRGBおよびNTSC規格で使われているようなビデオRGB空間などがある。典型的には、画像は、センサーまたはソースデバイス空間に取り込まれるが、これはデバイスおよび画像に固有である。その画像は未レンダリング画像空間に変換されうる。これがオリジナルの測色を記述する標準的な色空間である（定義セクション参照）。

しかし、ビデオ画像はほとんど常にソースデバイス空間からレンダリング画像空間に直接変換される。レンダリング画像空間はビデオ・ディスプレイのような何らかの現実または仮想の出力デバイスの色空間を記述する（定義セクション参照）。たいていの既存の標準RGB色空間はレンダリング画像空間である。たとえば、カメラおよびスキャナによって生成されたソース空間および出力空間はCIEベースの色空間ではなく、そのカメラまたはスキャナのスペクトル感度その他の特性によって定義されるスペクトル空間である。

レンダリング画像空間は、実際または仮想のデバイス特性の測色に基づくデバイス固有の色空間である。画像がレンダリング空間に変換されうるのは、レンダリング画像空間からのこともあれば未レンダリング画像空間からのこともある。これらの変換の複雑さはさまざまであり、複雑な画像依存アルゴリズムを含みうる。これらの変換は、特定のデバイスのダイナミックレンジおよび色範囲に合うようオリジナル場面エンコードの情報の一部が破棄または圧縮されるので、不可逆である。

標準化の過程にある未レンダリングRGB色空間は現在のところ一つしかない。ISO17321で定義されるISO RGBで、デジタルスチールカメラの色特性表現のために最もしばしば使われているものである。今日のたいていの用途では、画像は保存およびデータ転送のいずれかのために、ビデオ信号を含むレンダリング色空間に変換される。あるレンダリング画像空間すなわちレンダリング色空間から別のレンダリング画像空間すなわちレンダリング色空間への変換は深刻な画像乱れを引き起こしうる。二つのデバイスの間の色範囲と白色点の不一致が大きいほど、マイナスの効果も強くなる。
Alan R. Robertson著「Color Perception」Physics Today, December 1992, Vol. 45, No. 12, pp. 24-29 Kurt Nassau著『The Physics and Chemistry of Color』2ed, John Wiley & Sons, Inc., New York (C) 2001 Roy S. Berns著『Principles of Color Technology』3ed, John Wiley & Sons, Inc., New York, (C) 2000 Jerry Whitaker、K. Blair Benson著『Standard Handbook of Video and Television Engineering』4ed, McGraw-Hill, New York (C) 2003

従来技術の環境光ディスプレイシステムにおける一つの問題は、ビデオからのレンダリングされた三刺激値を環境光源の値に適正な測色および見え方を与えるように変換する同期リアルタイム動作を提供するための具体的な方法が与えられていないという点である。たとえば、LED環境光源からの出力はしばしばどぎつく、限定された、あるいはゆがんだ色範囲をもち、色相およびクロマは評価および再現するのが難しい。たとえばAkashi et al.への米国特許第6,611,297号は環境照明におけるリアルさを扱っているが、正しく見目よい色度を補償するための具体的な方法は与えられておらず、Akashi'297の教示はリアルタイムでビデオを解析することを許容するのではなく、スクリプトまたはその等価物を必要としている。

さらに、ビデオ内容からのガンマ補正された色空間を使って環境光源の設定をすることは、しばしばどぎつい明るい色を生じる結果となる。従来技術におけるより深刻な問題は、環境光源をリアルタイムビデオ内容に応じて駆動し、良好な色一致が望まれるところで所望の高速で変化する環境光環境を適合させるために必要とされる送信情報の大きさである。

従来技術におけるもう一つの問題は、所望される環境光の多くが低強度であり、テレビまたはビデオモニター上での色のためのリアルな一致ではないということである。LED（発光ダイオード）のような環境光源は確かに低強度出力を与えるが、それはしばしば満足のいく動作のための最小電力状態を有する。よってこうした環境光源は低強度出力のためには簡単には変調されず、低明度のホームシアターのコンテキストのためには不適切となり、低輝度については色相または所望の色度を再現することができないことになる。

したがって、環境照明によって生成される可能な色の範囲を典型的な三刺激ビデオディスプレイシステムに合わせて拡張することが有益である。また、明度レベルに応じて異なる色の相対輝度を変化させるといった人間の目の特性を利用することも望まれる。それにはビデオユーザーに届けられる色および光特性を変調または変化させる。そうした環境照明システムは、補償効果、感度（sensitivities）および人間の視覚のその他の特異性を有利に利用する。

ガンマ誘起ひずみの効果のない高品質な環境状況を創り出すことも有益である。さらに、平均的または特徴化された色の値をエンコードする経済的なデータストリームを使った選択されたビデオ領域から引き出されるエミュレート環境照明を提供する方法を提供することができることも望まれる。さらに、そのようなデータストリームの必要とされる大きさをさらに小さくすることも望まれる。さらに、全体としてのビデオ明度レベル条件が低い場合についてLEDの順調な動作のための諸方法を提供することも望まれる。

ビデオおよびテレビ工学、圧縮技術、データ転送およびエンコード、人間の視覚、色科学および知覚、色空間、測色およびビデオ再現を含めた画像レンダリングについての情報は、非特許文献として挙げた参考文献に見出すことができ、該文献はここにその全体において本開示に組み込まれる。

本発明は、色出力を改善し、ちらつきのない動作を促進するためにビデオ内容をエミュレートするよう制御または作用される環境光源の出力閾値処理に関するものである。ここで、色情報の閾値処理は、該色情報によって制御される環境光源のオン／オフの状態変化が、発光強度または等価なパラメータがある閾値を通過したあとにのみ、あるいは前記強度が異なる強度値をもつ２つの相異なる閾値を通過したあとにのみ開始されうる。

本発明は、ビデオ内容のエミュレートのために使われる環境光源の出力閾値処理の方法を与える。該方法は、[1]ビデオ内容の少なくとも一部をエンコードするビデオ信号から強度を含む色情報を抽出し、該色情報によって制御される環境光源のオン／オフの状態変化が前記強度がある閾値を通過するか、二つの相異なる別個の閾値を通過するかしたあとに開始されうるよう前記色情報を閾値処理する、ことを含む。

本発明は、環境光源によってエミュレートされるべきレンダリング色空間においてエンコードされたビデオ内容を任意的にフレーム間補間プロセスを使って抽出および処理するための方法であって、[1]少なくともいくらかのビデオ内容をエンコードするビデオ信号から強度を含む色情報を抽出し、[2]前記色情報を未レンダリング色空間に変換し、[3]前記色情報を前記未レンダリング色空間から環境光源を駆動することを許容するように形成された第二のレンダリング色空間に変換し、[4]前記色情報を閾値処理して、該色情報によって制御される環境光源のオン／オフの状態変化が前記強度がある閾値または二つの閾値を通過したあとに開始されうるようにする、ことを含む方法に関するものである。

ステップ[1]はさらに、ビデオ信号を一組のフレームにデコードし、ある抽出領域からの色情報の少なくとも一つの抽出を含む色情報から平均色を抽出し、前記色情報の抽出を使って前記抽出領域のそばにある環境光源から環境光を発散させることを含みうる。さらに、前記環境光ユニットに与えられる第二のレンダリング色空間にガンマ補正を実行することもできる。

ステップ[2]および[3]はさらに、レンダリング色空間および第二のレンダリング色空間の原色からの第一および第二の三刺激原色行列を使っての未レンダリング色空間への行列変換を含み、前記色情報の第二のレンダリング色空間への変換を、レンダリング色空間の三原色と第一の三刺激行列と第二の三刺激行列の逆行列との行列の乗算によって導出することを含みうる。

未レンダリング色空間はCIE XYZ、ISO規格17321で定義されているISO RGB、Photo YCCおよびCIE LABのうちの一つであることができ、ステップ[1][2][3]はビデオ信号に実質的に同期していることができ、環境光は前記第二のレンダリング色空間における色情報を使ってビデオ・ディスプレイまたはその周囲から発散される。

開示されるもう一つの方法は、ビデオ内容のエミュレートのための、測色推定値を使用し、フレーム間補間プロセスを用いての環境光源の出力閾値処理の方法であり、可能性のあるステップとして：[1]前記ビデオ内容の少なくとも一部をエンコードするビデオ信号から強度を含む色情報を抽出し、
[2]前記ビデオ信号を一組のフレームにデコードし、選択された抽出フレームのみから前記色情報を抽出し、前記抽出フレームの間でフレーム間補間を実行して補間されたフレームを生成し、次いで前記抽出フレームおよび前記補間フレームから前記色情報が新たに導出され、
[3]個々のフレームそれぞれにおけるある抽出領域からの色情報から測色推定値を抽出し、
[4]前記測色推定値を未レンダリング色空間に変換し、
[5]前記測色推定値を前記未レンダリング色空間から環境光源を駆動することを許容するように形成された第二のレンダリング色空間に変換し、
[6]前記色情報を閾値処理して、該色情報によって制御される環境光源のオン／オフの状態変化が前記強度がある閾値または二つの閾値を通過したあとに開始されうるようにし、
[7]前記測色推定値を使ってビデオ表示領域上の前記抽出領域のそばにある環境光源から環境光を発散させる、ことを含む。

本稿を通じて以下の定義が使用される：
・環境光源（ambient light source）……付属の請求項において、そこでの使用のための光スクリプト・コードをデコードするために必要とされるいかなる照明生成回路およびドライバをも含むものとする。
・環境空間（ambient space）……ビデオ・ディスプレイ・ユニットの外部にある任意のあらゆる物体または空気または空間を含むものとする。
・平均色（average color）……付属の請求項において、数値的な平均以外の平均特性表現を含むものとし、ビデオ内容についての色度および輝度を含む関数的または操作者が定義した特性表現を含むものとする。
・クロミナンス（chrominance）……環境光源を駆動するコンテキストにおいては、生成される色の色特性を指定する機械的、数値的または物理的な方法を表すものとし、NTSCまたはPALのテレビ放送において用いられているような特定の方法を含意するものではないとする。
・色情報（color information）……クロミナンスおよび輝度の一方もしくは両方または機能的に等価な量を含むものとする。
・コンピュータ（computer）……既知のアーキテクチャを用いるCPU（Central Processing Unit［中央処理装置］）のようなあらゆるプロセッサのみならず、同じ機能を実行するデジタル光デバイスまたはアナログ電気回路などの、コード化、デコード、読み取り、処理、コードの設定またはコードの変更の実行を許容できるいかなるインテリジェントなデバイスをも含むものとする。
・制御された動作パラメータ（controlled operating parameter）……輝度、クロミナンスまたは到達角（delivery angle）もしくは角度光学指数（goniophotometric index）といった光特性指数といった物理量または物理変数の表現としてエンコードされたパラメータを表すものとする。
・角度変色性の（goniochromatic）……玉虫光沢（iridescence）によって生じるような、視角または観察する角度に応じて異なる色または色度を呈する性質をいうものとする。
・角度光学の（goniophotometric）……真珠光沢のある（pearlescent）、光彩を放つ（sparkling）または逆反射性の（retroreflective）現象において見られるような、視角または観察する角度に応じて異なる光強度、透過および／または色を呈する性質をいうものとする。
・補間する（interpolate）……二組の値の間での線形補間または数学的な補間のほかに、既知の二組の値の間で値を設定するための関数の規定を含むものとする。
・光特性（light character）……輝度およびクロミナンス以外の、光の透過または反射の度合いといったあらゆる記述子を含めて広い意味において環境光源によって生成される光の性質の任意の特定と、環境光源を観察するときに視角に応じて色、光彩またはその他の既知の現象が生じる度合いを含めて角度光学的性質の任意の特定と、ポインティングベクトルまたはその他の伝搬ベクトルを指定することによって与えられる方向性を含む光出力方向と、立体角または立体角分布関数のような光の角度分布の特定とのうちのいかなるものをも意味するものとする。要素ピクセルまたはランプ位置といった環境光源についての位置を指定するための単数または複数の座標を含むこともできる。
・輝度（luminance）……明るさ、強度または等価な尺度の任意のパラメータまたは指標を表すものとし、光の生成もしくは測定または精神生物学的解釈上の特定の方法を含意するものではないとする。
・レンダリング色空間（rendered color space）……センサーから取り込まれた、あるいはソースもしくはディスプレイ・デバイスに固有な画像空間または色空間を表すものとし、デバイスおよび画像に固有である。たいていのRGB色空間は、ビデオ・ディスプレイDを駆動するために使われるビデオ空間も含め、レンダリング色空間である。付属の請求項においては、ビデオ・ディスプレイに固有な色空間および環境光源８８に固有な色空間の両方がレンダリング色空間である。
・閾値処理（出力閾値処理）（thresholding (output thresholding)）……本発明に基づく、環境光源の状態変化のいかなる抑制または開始をも指すものとする。
・色情報の未レンダリング色空間への変換（transforming color information to an unrendered color space）……付属の請求項において、未レンダリング色空間への直接の変換または未レンダリング色空間への変換によって得られる三刺激原色行列の逆行列（たとえば図８に示したM₂ ^-1）を使うことから導びかれる使用もしくは恩恵のいずれをも含むものとする。
・未レンダリング色空間（unrendered color space）……標準的な色空間、すなわちデバイス固有でない色空間を表すものとする。標準的なCIE XYZ、ISO17321規格で定義されているようなISO RGB、Photo YCCおよびCIE LAB色空間を使ったオリジナル画像測色を記述するものなど。
・ビデオ（video）……光生成のためにエネルギーを必要とする能動デバイスであろうと、オフィスビルの窓もしくは画像情報が遠方で引き出せる光導波路のような画像情報を伝達する任意の透過媒体であろうと、視覚または光を出すいかなるデバイスをも表すものとする。
・ビデオ信号（video signal）……ビデオ・ディスプレイ・ユニットを制御するために届けられる信号または情報を表すものとし、そのいかなるオーディオ部分をも含む。したがって、ビデオ内容解析は可能性としてはオーディオ部分についてのオーディオ内容解析を含むことが考えられている。一般に、ビデオ信号はいかなる種類の信号であってもよい。それには多数ある既知の変調技術のうちの任意のものを使った無線周波信号、アナログ波形および量子化されたアナログ波形を含めて電気信号、パルス幅変調、パルス数変調、パルス位置変調、PCM（パルス符号変調）およびパルス振幅変調を使うもののようなデジタル（電気）信号、あるいは音響信号、音響信号および光信号のようなその他の信号などがあり、そのすべてはデジタル技術を使っていてもよい。コンピュータ・ベースのアプリケーションのような他の情報の間に、あるいは他の情報と一緒に単に逐次的に配置しただけのデータも同じように使用することができる。

本発明に基づいてビデオ内容から導出される環境光は、要求される計算上の負担が低いままで環境照明に対する自由度の特異性（specificity）を高度に維持しながら、望むならオリジナルのビデオ場面光の色度への高度の忠実度を許容するよう形成される。このことは小さな色範囲と縮小された輝度空間とをもつ環境光源が比較的大きな色範囲と輝度応答曲線をもつより進んだ光源からのビデオ場面光をエミュレートすることを許容する。環境照明のための可能な光源は多数ある既知の照明デバイスのいずれを含むこともできる。それには、LED（発光ダイオード）および関係する半導体放射体、非半導体タイプも含めたエレクトロルミネッセント・デバイス、ハロゲンや高度な化学機構を使ったタイプも含めた白熱電球、蛍光灯やネオンランプも含めたイオン放電ランプ、LCD（液晶ディスプレイ）もしくはその他の光変調器を使うなどして変調される光源、光ルミネセンス発光体または機能的にディスプレイに似るアレイを含めた多数ある既知のあらゆる制御可能光源が含まれる。

ここで図１を参照すると、本発明に基づくビデオ・ディスプレイDの簡単な正面図が例示的に示されている。ディスプレイDはNTSC、PALもしくはSECAM放送規格のようなレンダリング色空間またはアドビRGBのようなレンダリングRGB空間からのビデオ内容をデコードする多数ある既知のデバイスのうちのいかなるものでもよい。ディスプレイDは色情報抽出領域（region）R1、R2、R3、R4、R5、R6を含んでおり、その境界は任意に事前定義されている。これらの領域は特徴的な環境光A8を生成する目的のために特性表現されるべきものである。該A8を生成するのは、ディスプレイDが取り付けられている壁面（図示せず）への部分的光浸出などによって図示したように環境光（light）L1、L2、L3、L4、L5、L6を生成して発散させる背面取り付け制御可能環境光ユニット（図示せず）などを通じてである。あるいはまた、図示したようなディスプレイ枠（frame）Df自体も同様な仕方で視聴者（図示せず）に向けた方向も含めて光を表示する環境照明ユニットを有していることもできる。望むなら、それぞれの色情報抽出領域R1〜R6は自らのそばの環境光に影響できる。たとえば、色情報抽出領域R4は図示したように環境光L4に影響できる。

ここで図２を参照すると、本発明を使って複数の環境光源からの環境光が生成される部屋または環境空間AOの平面図――一部概略的で一部断面表示である――が示されている。環境空間AOには、図示したように椅子とテーブル７が配置されており、これらはビデオ・ディスプレイDを見ることを許容するよう配列されている。環境空間AOには複数の環境光ユニットも配列されており、これらは任意的に本発明を使って制御される。環境光ユニットには、ディスプレイDのあたりに配列された特別なエミュレーション環境光ユニットのセット、すなわち図１に示したような環境光Lxを生成する中央灯のほかに、図示したような光スピーカー１〜４、図示したようなソファまたは椅子の下にある下灯（sublight）SLが含まれる。こうした環境光ユニットのそれぞれは環境光A8を放出できる。図ではこれを陰影で示している。

本発明と協力することで、これらの環境光ユニットから、ビデオ・ディスプレイDから導出される、しかし実際にビデオ・ディスプレイDから発散されているのではない色または色度をもった環境光を生成することができる。これは人間の目および視覚系の特性を利用することを許容する。人間の視覚系では、さまざまな可視領域の波長についての検出感度を与える輝度関数は明度レベルの関数として変化することを注意しておくべきである。

たとえば、桿体に頼る暗所視すなわち暗視は青および緑に対してより敏感である傾向がある。錐体を使う明所視は赤および黄といったより長い波長の光を検出するのにより好適である。暗くしたホームシアター環境では、異なる色の相対輝度がこのように明度レベルの関数として変化することは、環境空間においてビデオユーザーに届けられる色を変調する、あるいは変化させることによっていくぶん打ち消されることができる。これは、光変調器（図示せず）を使った光スピーカー１〜４のような環境光ユニットからの光を差し引くことによって、あるいは光スピーカー中での追加された成分の使用によって、すなわち環境放出の前にさらに光を修正するための光ルミネセンス発光体の使用によって行うことができる。光ルミネセンス発光体は、光源からの入射光に対して吸収または励起を行い、その後その光をより高い所望の波長で再放出することによって色変換を実行する。蛍光顔料のような光ルミネセンス発光体によるこの励起および再放出は、オリジナルビデオ画像や光源にもともと存在していなかった、そして可能性としてはディスプレイDの動作に固有の色のレンジまたは色範囲に含まれていない新たな色の表現を許容することができる。これは、非常に暗い場面の間など、環境光Lxの所望の輝度が低く、知覚の所望のレベルが光変調なしで通常達成されるよりも高いときに助けになりうる。

新しい色の生成は新しく、興味深い視覚効果を与えることができる。解説上の例としては、猟師のオレンジと称されるもののようなオレンジの光の生成がありうる。猟師のオレンジについては入手可能な蛍光顔料がよく知られている（非特許文献２参照）。与えられる例は、一般的な蛍光現象および関連現象ではなく、蛍光色に関わるものである。蛍光オレンジまたはその他の蛍光染料種を使うことは、明度の低い条件のためにとりわけ有用でありうる。赤やオレンジの増強によって、暗所視の長波長での感度低下を打ち消すことができるのである。

環境光ユニットにおいて使用できる蛍光染料は、ペリレン（Perylene）、ナフタルイミド（Naphthalimide）、クマリン（Coumarin）、チオキサンテン（Thioxanthene）、アントラキノン（Anthraquinone）、チオインジゴイド（Thioindigoid）といった染料クラス、および米国オハイオ州クリーヴランドのデイ・グロー・カラー社（Day-Glo Color Corporation）によって製造されるようなメーカー独自の染料クラスの既知の諸染料を含みうる。得られる色には、アパッチ・イエロー（Apache Yellow）、チグリス・イエロー（Tigris Yellow）、サバンナ・イエロー（Savanna Yellow）、ポコノ・イエロー（Pocono Yellow）、モホーク・イエロー（Mohawk Yellow）、ポトマック・イエロー（Potomac Yellow）、マリゴールド・オレンジ（Marigold Orange）、オタワ・レッド（Ottawa Red）、ヴォルガ・レッド（Volga Red）、サーモン・ピンク（Salmon Pink）、コロンビア・ブルー（Columbia Blue）が含まれる。こうした染料クラスはPS、PETおよびABSといった樹脂に既知の工法によって組み込まれることができる。

蛍光染料および蛍光物質は、同じ色度の非蛍光物質よりも著しく明るいように工作できるので、高められた視覚効果を有する。蛍光色を生成するために使われる伝統的な有機顔料のいわゆる耐久性問題は、ここ２０年でほぼ解決されるに至っている。技術の進歩の結果、日光にさらしても７〜１０年鮮やかな色彩を維持する耐久性のある蛍光顔料が開発されたのである。したがって、紫外線の侵入が最小限であるホームシアター環境においては、こうした顔料はほとんど不滅である。

あるいはまた、蛍光光色素を使うこともできる。蛍光光色素は単に短波長光を吸収してその光を赤やオレンジといったより長い波長として再放出することによってはたらく。青および青紫といった可視光、たとえば400〜440nmの光を使って励起を受ける、技術的に進んだ無機顔料が今では容易に手にはいる。

同様に角度光学効果および角度変色効果を、視角の関数として異なる光の色、強度および特性を生成するために投入することもできる。この効果を実現するため、環境光ユニット１〜４およびSLおよびLxは既知の角度光学要素（図示せず）を単独で、あるいは組み合わせで使うことができる。そのような要素は、金属光沢または真珠光沢の透過性色素；よく知られた回折または薄膜干渉効果を使った、たとえば魚のうろこのエッセンスを使った玉虫光沢物質；グアニンの薄片；または保存料を入れた2-アミノヒポキサンチンなどである。細かくひいた雲母またはその他の物質を使った散乱体を使うこともできる。酸化物層、斑銅鉱または孔雀銅鉱から作られる真珠光沢物質；金属片、ガラス片またはプラスチック片；粒子状物質；油；粉状ガラスおよび粉状プラスチックなどである。

ここで図３を参照すると、本発明に基づく、色情報を抽出し、環境光源を駆動することを許容するよう色空間変換を実施するシステムが示されている。最初のステップとして、色情報がビデオ信号AVSから既知の技術を使って抽出される。

ビデオ信号AVSは、MPEGエンコード、オーディオPCMエンコードなどに使われているような既知のデジタル・データ・フレームまたはパケットを有することができる。データ・パケットのためのエンコード方式は、可変長データ・パケットを用いるプログラム・ストリームもしくはデータ・パケットを均等に分割するトランスポート・ストリーム既知のさまざまな方式、あるいは単一プログラム・トランスポート・ストリームのようなその他の諸方式を使うことができる。あるいはまた、本開示において挙げられる機能ステップまたは機能ブロックはコンピュータ・コードおよび非同期プロトコルのような他の通信規格を使ってエミュレートすることもできる。

一般的な例としては、図示したようなビデオ信号AVSは、図示したようにビデオ内容解析（content analysis）CAを受けることができる。この際、既知の諸方法を使って選択された内容を記録し、図示したようなハードディスクHDとの間で転送する。ここで可能性としては図示したようなメモリMEMに保存される内容種別またはその他の情報のライブラリを使用する。これは選択されたビデオ内容の独立した、並列的な、直接的な、遅延した、連続的な、周期的な、または非周期的な転送を許容することができる。このビデオ内容から、色情報を導出するといった、図示したような特徴抽出（feature extraction）FEを実行することができる。この色情報はまだレンダリング色空間でエンコードされており、次いでCIE XYZのような未レンダリング色空間に、図示したようなRURマッピング変換回路１０を使って変換される。ここで、RURは所望の変換種別、すなわちレンダリング‐未レンダリング‐レンダリング（rendered-unrendered-rendered）の略であり、したがってRURマッピング変換回路１０は前記色情報の第二のレンダリング色空間へのさらなる変換をも行う。第二のレンダリング色空間は、図示したような単数または複数の前記環境光源８８を駆動することを許容するよう形成される。

RURマッピング変換回路１０は機能的にコンピュータ・システムに含まれていて、該コンピュータ・システムがソフトウェアを使用して同じ機能を実行するのでもよい。しかし、データ伝送プロトコルによって送られたパケット化情報をデコードする場合には、回路１０内には、ビデオ・レンダリング色空間係数などに相関する、またはこれを提供する情報を含むか、含むように更新されるメモリ（図示せず）があることもできる。この新たに作成される第二のレンダリング色空間は環境光源８８（図１および２に示したような）を駆動するために適切あるいは望ましいものであり、既知のエンコードを使って図示したような環境照明生成回路１８に与えられる。環境照明生成回路１８はRURマッピング変換回路１０から前記第二のレンダリング色空間情報を受け取り、次いで任意のユーザーインターフェースおよび任意の結果好み設定メモリ（合わせてU2として示されている）からの任意の入力を考慮して、実際の環境光出力制御パラメータ（印加電圧など）を作り出す。その際、可能性としては図示したような環境照明（第二のレンダリング）色空間探索表（lookup table）LUTを参照する。環境照明生成回路１８によって生成される環境光出力制御パラメータは図示したようにランプ・インターフェース・ドライバD88に与えられ、このドライバが図示したような環境光源８８を直接的に制御する、またはこれに入力を与える。該環境光源８８は、図１および図２に示したような先述の環境光スピーカー１〜４または環境中央灯Lxといった個々の環境光ユニット1〜Nを含んでいることができる。

計算上の負担を軽減するため、ビデオ信号AVSから取り出される色情報は省略または限定される。ここで図４を参照すると、ビデオ抽出領域から平均色情報を計算するための式が示されている。のちに述べるように（図１８参照）、ビデオ信号AVSにおけるビデオ内容は一連の時系列をなしたビデオフレームを有するものと考えるが、これは必須ではない。ビデオフレームまたは等価な時間的ブロックのそれぞれについて、各抽出領域（たとえばR4）から平均その他の色情報を抽出することができる。各抽出領域は100×376ピクセルといったある大きさをもつように設定されることができる。たとえばフレームレートを25フレーム毎秒とすると、平均を抽出する前の抽出領域R1〜R6についての総データは結果として（８ビット色を指定するのに必要なのは１バイトだけであるとして）、ビデオRGB三刺激原色のそれぞれについて、6×100×376×25すなわち564万バイト毎秒となる。このデータストリームは非常に大きく、RURマッピング変換回路１０において扱うのは困難であろう。そこで各抽出領域R1〜R6についての平均色の抽出が特徴抽出FEの間に実施されることができる。具体的には、図示したように、m×nピクセルの各抽出領域における各ピクセルについてRGB色チャネル値（たとえばR_ij）を合計し、ピクセル数m×nで割ることによって、各RGB原色についての平均（average）に到達することができる。たとえば赤についてのR_avgが図示してある。よって、各RGB色チャネルについてのこの合計を繰り返すことで、各抽出領域についての平均は三項組R_AVG＝｜R_avg, G_avg, B_avg｜となる。同じ手続きがすべての抽出領域R1〜R6および各RGB色チャネルについて繰り返される。抽出領域の数と大きさは図示したものとは違っていてもよく、望みのままにしてよい。

RURマッピング変換回路１０による色マッピング変換を実行する次のステップは、図５に示したような既知の三刺激原色行列を使って図解し、表現することができる。ここでは、ベクトルR、G、Bのレンダリングされた三刺激色空間がX_r,max、 Y_r,max、 Z_r,maxのような要素をもつ三刺激原色行列Mを使って変換される。ここで、X_r,maxは最大出力における原色Rの三刺激値である。

レンダリング色空間からデバイスによらない未レンダリング空間への変換は、画像および／またはデバイスに固有でありうる――行列変換の前に既知の線形化、ピクセル再構成（必要なら）および白色点選択の諸ステップを実施することができる。今の場合、単に、レンダリングされたビデオ出力空間を、未レンダリング色空間での測色への変換の出発点として採用することにする。未レンダリング画像は、視聴または印刷可能にするためにはさらなる変換を経る必要があり、RUR変換は第二のレンダリング色空間への変換を含んでいる。

可能性のある最初のステップとして、図６および図７は、原色R、G、Bによって表されたビデオ・レンダリング色空間および原色R′、G′、B′によって表された環境照明レンダリング色空間のそれぞれを未レンダリング色空間X、Y、Zにマッピングするための行列方程式を示している。ここで、図示したように、三刺激原色行列M₁はビデオRGBを未レンダリングのXYZに変換し、三刺激原色行列M₂は環境光R′G′B′を未レンダリングのXYZ色空間に変換する。図８に示すように、両方のレンダリング色空間RGBおよびR′G′B′を等式にまとめることによって、（ビデオ）レンダリング色空間および第二の（環境）レンダリング色空間の原色RGBおよびR′G′B′の、前記未レンダリング色空間への行列変換（RURマッピング変換）が第一および第二の三刺激原色行列（M₁、M₂）を使って許容される。そして、色情報の第二のレンダリング色空間（R′G′B′）への変換を、レンダリングされたビデオ色空間のRGB原色と、第一の三刺激原色行列M₁と、第二の三刺激行列の逆行列M₂ ^-1との行列乗算によって導出することが許容される。既知のディスプレイ・デバイスについての三刺激原色行列は容易に取得可能である一方、環境光源についての三刺激原色行列は当業者には既知の白色点法（white point method）を使って決定することができる。

ここで図９〜１１を参照すると、従来技術による、白色点法を使った一般化三刺激原色行列Mの導出が示されている。図９では、S_rX_rのような量は最大出力における（環境光源の）各原色の三刺激値を表し、S_rは白色点振幅を表し、X_rは（環境）光源によって生成される原色光の色度を表す。白色点法を使うと、図１１に示されるような光源色度行列の既知の逆行列を使ってS_rを白色点基準値のベクトルと関係づける行列方程式は、X_wのような白色点基準値が白色点振幅または輝度と光源色度との積であるということを思い出させる代数的操作である。全体を通じて、三刺激値Xは色度xと等しいと置かれる。三刺激値Yは色度yに等しいと置かれる。そして三刺激値Zは1−(x＋y)に等しいと置かれるものと定義される。公知の通り、第二のレンダリング環境光源色空間についての原色および基準白色成分は、測色分光計を使うなどといった既知の技術を使って取得できる。

第一のレンダリングビデオ色空間についても同様の諸量を見出すことができる。たとえば、現在のスタジオモニターは北米、ヨーロッパ、日本でわずかに異なる諸規格を有していることが知られている。しかし、高精細度テレビ（HDTV）のための原色については国際的合意が得られており、これらの原色はスタジオビデオ、コンピューティングおよびコンピュータグラフィックスにおける現代のモニターを緊密に表している。その規格は正式にはITU-R勧告BT.709と表され、要求されるパラメータを含んでいる。ここで、RGBについての関係する三刺激原色行列（M）は次の通りである。

0.640 0.300 0.150
0.330 0.600 0.060
0.030 0.100 0.790 ITU-R BT.709のための行列M
そして白色点の値も同じようにわかっている。

ここで図１２を参照すると、図３に示したのと同じようなシステムが示されているが、追加として環境発散のために図示したように特徴抽出ステップFE後にガンマ補正ステップ５５を有している。代替的に、ガンマ補正ステップ５５は、RURマッピング変換回路１０と環境照明生成回路１８によって実行されるステップの間で実行されることもできる。LED環境光源のための最適ガンマ値は1.8であると見出されている。よって、既知の数学を使って見出される厳密なガンマ値を用いて、典型的なビデオ色空間のガンマである2.5を打ち消すための負のガンマ補正が実施されることができる。

一般に、RURマッピング変換回路１０は既知のいかなる好適なソフトウェア・プラットフォームを介して実施されるものでもよい機能ブロックであるが、図１３に示したような一般RUR変換を実行する。ここで、図示した方式は、ビデオRGBのようなレンダリング色空間のビデオ信号「AVS」を受け取り、それをCIE XYZのような「未レンダリング色空間」に、さらに「第二のレンダリング色空間」（環境光源RGB）へと変換する。このRUR変換後、環境光源８８が駆動されることができる。図には信号処理を除いて示してある。

図１４は、本発明によって使用される環境光源についての変換行列係数を取得するためのプロセスステップを示している。ここで、前記ステップは、図示したように、環境光ユニットを駆動し、当技術分野において知られているように出力線形性を検査することを含む。環境光源原色が安定であれば（左の分岐「安定な原色」で示されている）、測色分光計を使って変換行列係数を取得できる。他方、環境光源原色が安定でなければ（右の分枝「不安定な原色」で示されている）、以前に与えられたガンマ補正を再セットできる（「ガンマ曲線を再セット」と示されている）。

一般に、必須ではないが、R4のような抽出領域における全ピクセルから色情報を抽出することが望ましい。そうではなく、望むなら選択されたピクセルのみをポーリングすれば、平均色のより高速な推定または抽出領域色特性表現のより高速な作成が行われることが許容される。図１５は、本発明を使った推定されたビデオ抽出および環境光再現のためのプロセスステップを示している。該ステップは、[1]「ビデオ再現の測色推定値を用意（レンダリング色空間、たとえばビデオRGBから）」、[2]「未レンダリング色空間への変換」、[3]「環境再現のために測色推定値を変換（第二のレンダリング色空間、たとえばLED RGB）」を含む。

諸ビデオフレームからのビデオ内容の抽出および処理をサポートするために必要とされる必要データビットストリームは、本発明によれば、ビデオフレームの巧妙なサブサンプリングによって削減されることができる。ここで図１６を参照すると、本発明に基づくビデオフレーム抽出の概略図が示されている。示されているのは、NTSC、PALまたはSECAM規格によって規定されている個々のインターレースまたは非インターレースビデオフレームのような、個々の逐次ビデオフレーム、すなわちフレームF₁、F₂、F₃などの系列Fである。フレームF₁およびF_Nといった選択された一連のフレームからの内容解析および／または特徴抽出――色情報を抽出するなど――を行うことによって、環境光源の許容できる反応性、リアルさおよび忠実度を維持しながら、データ負荷またはオーバーヘッドを軽減することができる。N＝10、すなわち一連の10フレームのうち1フレームのサブサンプリングが良好な結果を与えることが見出されている。これは処理オーバーヘッドが低いフレーム抽出どうしの間のリフレッシュ周期Pを与える。この間は、フレーム間補間プロセスがディスプレイDにおけるクロミナンス変化の時間発展の十分な近似を与えることができる。図示したように選択されたフレームF₁およびF_Nが抽出され（「抽出」）、クロミナンス・パラメータについてG₂、G₃、G₄で示されるような中間の補間された値が、環境光源８８についての先述した駆動プロセスに通知するために必要な色情報を与える。これでフレーム2からN−1まで単純に凍結する、すなわち同じ色情報を維持する必要がなくなる。補間値は線形に決定できる。この場合はたとえば抽出されたフレームF₁およびF_Nの間の全クロミナンス差は複数の補間されたフレームGにわたって拡散される。あるいはまた、関数を使って抽出されたフレームF₁およびF_Nの間のクロミナンス差を他のいかなる仕方で拡散させてもよい。抽出された色情報の時間発展の高次近似を適用するなどである。

図１７は、本発明に基づく、省略されたクロミナンス評価のためのプロセスステップを示している。フレーム抽出の高次解析は、そうでない場合に可能であるよりも、長いリフレッシュ周期Pおよび大きなNをもつことを許容できる。フレーム抽出の間、あるいは抽出領域Rx内の選択されたピクセルの暫定ポーリングの間、図示したような省略されたクロミナンス評価を実施することができる。これは結果として、左に示したような次フレーム抽出の遅延または右に示したような全フレーム抽出の開始につながることになる。いずれの場合にも補間は進むが、次フレーム抽出遅延の場合は凍結された、あるいはインクリメントされたクロミナンス値が使用されることにつながる。これは、ビットストリームまたは帯域幅のオーバーヘッドの点でより一層経済的な動作を提供できる。

図１８は、図３および図１２の最上部を示している。ここで示されているのは、フレームデコーダ（frame decoder）FDが使用される代替的な抽出ステップである。これによると、図示したように、ステップ３３で、抽出領域（たとえばR1）から領域情報が抽出されることが許容される。さらなるプロセスステップまたは要素ステップ３５は、示されるように、クロミナンス差を評価すること、その情報を使ってビデオフレーム抽出レートを設定することを含む。図４の平均算出のような出力計算００を実行する次のプロセスステップが図示したように実行され、そのあとで以前示した環境照明生成回路１８へのデータ転送が行われる。

図１９に示されるように、本発明のための色情報抽出および処理のための一般的なプロセスステップは、ビデオ信号AVSを取得し、選択されたビデオフレーム（以前述べたF₁およびF_Nのような）から領域（色）情報を抽出し、選択されたビデオフレームの間を補間し、RURマッピング変換し、任意的なガンマ補正をし、その情報を使って環境光源（８８）を駆動する。

図２０に示されるように、選択されたフレームからの情報の領域抽出のあとに二つの追加的なプロセスステップが挿入できる。選択されたフレームF₁およびF_Nの間のクロミナンス差の評価を実行でき、所定の基準に依存して、示されているように新しいフレーム抽出レートを設定することができる。よって、一連のフレームF₁およびF_Nの間のクロミナンス差が大きい、あるいは急速に増加している（たとえば一階微分が大きい）、あるいはクロミナンス差の履歴に基づくものなど他の何らかの基準を満たす場合には、フレーム抽出レートを上げ、よってリフレッシュ周期Pを短縮することができる。しかし、一連のフレームF₁およびF_Nの間のクロミナンス差が小さく、安定しているか、急速に増加してはいない（たとえば一階微分の絶対値が小さいか０）、あるいはクロミナンス差の履歴に基づくものなど他の何らかの基準を満たす場合、要求される必要データビットストリームを節約することができ、フレーム抽出レートを下げて、それによりリフレッシュ周期Pを長くすることができる。

述べられているように、LEDのような多くの望まれる環境光源のための低強度動作の問題は、設計者にとって困難な問題である。最小電力レベルがあり、しばしば立ち上げおよび停止が時間的に急峻でないもとでの低強度動作では、色相および色度を再現するのは難しい。たとえば、ディスプレイD上のビデオ内容が部分において95%の黒またはほとんど黒のピクセルと5%の赤いピクセルとから構成される場面素材を描いている場合、視覚的な知覚はほとんど黒であろう。しかし、この色度を5%赤の放出に設定されたLEDを使って再現しようとすれば、それからの出力（壁から反射されるなどした）の知覚される色は暗い赤である。LEDが暗い色を描くように使う方法はないので、よりよい手法が発見された。すなわち、特定の抽出領域について抽出された平均色（R_AVG）の強度がある第一の閾値未満になるときは常にLEDの出力または電力のスイッチをオフにし、前記抽出された色平均が前記第一の閾値を超えたときに再びLEDのスイッチをオンにするのである。この方法は図２１に図示されている。

ここで図２１を参照すると、本発明に基づくそのような出力閾値処理を例解するデカルト座標グラフが挙げられている。示されている軸には、相対発光強度またはその他のパラメータのような標本パラメータが示されている。そこに強度Iが秒単位の時間の関数として描かれている。図示したように、先に挙げた諸方法によって要求されるように強度Iは相対単位で約0.16の値から低下してきて、約0.05のレベルで変動し、図示したように第一の閾値T1を上や下に通過する。ここで、第一の閾値T1は0.05強度に設定されている。このグラフにはまた、オン状態８１とオフ状態８０もそれぞれ示されている。これは本発明に基づくLED動作の管理を反映するものである。見て取れるように、強度Iが第一の閾値T1を下回るたびに、オフ状態８０が課される。強度Iが再び第一の閾値T1より上に上がれば、オン状態８１が設定される。こうして、オン／オフの状態変化が第一の閾値T1において開始される。

この方法は、案外によりよい色度および色／輝度管理を提供するが、一つ短所がある。場合によっては、抽出された平均色強度Iが図２１に示すように第一の閾値T1のまわりで変動するという問題が残っていることが見出された。この場合、LEDのスイッチのオンおよびオフが繰り返され、時には１秒に何度も行われる。これは目障りなちらつきの知覚につながりうる。本発明のもう一つの実施形態が発見された。すなわち、異なる第二の閾値T2が第一の閾値T1より上に設定され、強度Iが第一の閾値T1を下回るところではLEDのスイッチがオフにされ、強度Iが第二の閾値T2より上に上がるときにスイッチがオンにされるという、二閾値法である。

ここで図２２を参照すると、同じようなグラフを用いてそのような二重閾値の出力閾値処理を例解するデカルト座標グラフが挙げられている。見て取れるように、LEDオン状態８１は強度Iが第一の閾値T1と第二の閾値T2の両方より下になるまでそのままであり、その時点になってLEDオフ状態８０が課される。LEDオン状態８１は、強度Iが閾値T1およびT2の両方より上に上がるまで再び適用されない。この手法を使えば、与えられている強度Iのグラフでは、LEDまたは環境光源の状態変化は２回しかない。図２１の単一閾値法を使えば６回の状態変化があるところである。第一の閾値T1と第二の閾値T2についての良好な値はそれぞれ0.05および0.08であることが見出されている。第一の閾値T1と第二の閾値T2の間にはいる強度Iの値は、ある種の緩衝地帯にあり、そこでは状態変化は起こらない。オンからオフへ、あるいはオフからオンへの状態変化は強度Iが両方の閾値T1およびT2を通過するときにのみ起こるのである。この要求は、図示したように、閾値T1およびT2のところ、またはその近くで変動する強度Iについて、本質的にオン／オフのちらつきを削減する。

図２３は、図３、図１２および図１８において示されたものと同様の簡略化された抽出ステップで、フレームデコーダ・ステップFDを用い、ステップ３３で領域情報を抽出し、環境光源を駆動するための出力計算００を実行するものを示している。しかし、出力がRURマッピング変換回路すなわちステップ１０を通過したのち、結果として得られる出力が次いで閾値ユニットTUによって処理される。上述したような閾値処理の動作を誘起するために必要とされる処理ステップを実施するためである。閾値処理された出力は次いで先述したのと同じように環境照明生成回路１８に届けられる。

図２４は、色情報抽出、処理および出力閾値処理のためのプロセスステップを示している。図２０に示したものと同様だが、見て取れるように、図示されているガンマ補正後に出力は閾値処理される。これは「レンダリングされた出力を閾値処理」と示されている。これらのステップの順序は変えることができる。たとえば、閾値処理はガンマ補正の前に行うこともできる。

第一の閾値T1と第二の閾値T2についての実際の値は時間とともに、あるいはクロミナンスまたは輝度の関数として変えられることができる。以前に挙げたユーザーインターフェース＆好み設定メモリに含まれるユーザー好み設定によって変えられてもよい。閾値処理は別個の閾値処理ユニットTUで行われる必要はなく、他の構成要素によって、あるいは他のコンピュータ命令もしくはコードによって実施されることもできる。構成要素の記載はここでは例示的に示されている。閾値処理は単一の値またはパラメータをかなめとしている必要はない。ここで作用があると見出されたのは、オン／オフの状態変化の抑制または開始である。また、ランプまたは環境光源の群のうちの一部（可能性としては一つを含む）のみがここで開示された出力閾値処理に参加するよう設定されることも、本教示から外れることなくできる。

一般に、環境光源８８はさまざまな散乱体効果を具現することができ、それにより光混合のほか半透明性またはさまざまなランプ構造の使用によるその他の現象を生じることができる。さまざまなランプ構造とは、つや消しまたはつや出しした表面、筋入りのガラスまたはプラスチック、または個別の光源を囲む金属構造を使ったような開口部のある構造をもつものである。興味深い効果を与えるためには、多数ある既知の散乱または拡散を起こす物質または現象のいずれを使うこともできる。それには、小さな懸濁粒子；曇ったプラスチックまたは樹脂、コロイドを使った調製品、エマルジョンまたは長寿命有機混合物を含む1-5:m以下、たとえば1:m未満の小球（globule）；ゲル；およびゾルからの散乱を利用することによって得られるものが含まれる。これらの生成および製造は当業者には既知のことである。散乱現象は、環境光の青増強のための青生成のためのような可視領域の波長のためのレーリー散乱を含むよう工作できる。生成される色は領域ごとに、ある区域においては全体的に青みがかった色調すなわち領域色調などとして定義することができる。たとえば上部セクションが青い光（環境光L1またはL2）を生成するなどである。

環境灯は、ランプ構造の内部に形成されるか、それと一体的に形成されるか、その内部に挿入されるかする、円柱プリズムまたはレンズといった角度光学要素を具備することもできる。これは生成される光の特性が見る者の位置の関数として変化するという特殊効果を許容できる。四角柱、三角柱または不規則な柱または形なども含め、上記以外の光学的な形状および形態も使用できる。これらは単数または複数の環境光ユニットの上に載せることもできれば、一体とすることもできる。その結果は、等方的な出力を生じるのではなく、得られる効果は無限に変化できる。たとえば、環境光源の近くに位置する周囲の壁や物体、表面におもしろい光の帯を投げかけ、ビデオ・ディスプレイ・ユニット上の場面要素、色および強度が変わるにつれて暗くした部屋の中に一種の光のショーを作り出すなどである。前記効果は、椅子から立ち上がったり、ホームシアターを見ているときに見る位置をずらしたりするときに、見る者の位置によって非常に鋭敏に光特性を変化させる劇場的な環境照明要素――青みがかった光彩、次いで赤い光が見えるといった――であることもできる。使用できる角度光学要素の数および種類はほとんど無制限であり、それにはプラスチック、ガラスも含まれ、引っかく、穏やかに破壊的な製造技法から生成される光学的効果も含まれる。環境灯は異なる諸劇場効果について一意的であるように作られることができる。交換可能であってさえよい。これらの効果は角度光学要素を通過することが許容される光量を変化させたり、あるいは環境光ユニットの異なる諸部分を点灯したりする（たとえばLEDのサブランプまたはグループを使って）ことなどによって変調可能であることができる。

このようにして、図１に示したような抽出領域R3をエミュレートするためにL3で生成される環境光は、その領域における現象、たとえば図示したような動いている魚の知覚的な延長を提供する色度を有することができる。これは視覚体験を増強し、適切であり、かつ、どぎつかったりはなはだしく不一致だったりすることのない色相を提供することができる。

ビデオ信号AVSはもちろんデジタル・データ・ストリームであることができ、同期ビットおよび連結ビット；パリティ・ビット；エラー・コード；インターリーブ；特殊変調；バースト・ヘッダ、および環境照明効果の記述（たとえば「雷雨」「日の出」など）のような所望のメタデータを含んでいることができる。当業者は、ここに挙げられた機能ステップは単に解説のためであって、明快のために従来のステップやデータは含んでいないことは認識するであろう。

図３および図１２において示したようなユーザーインターフェースおよび好み設定メモリは、システム挙動に関する好み設定を変更するために使用することができる。所望のビデオ・ディスプレイDのビデオ内容への色忠実の度合いを変える、派手さを変えるといったことである。派手さには、何らかの蛍光色または範囲外（out-of-gamut）色が環境空間に発散される程度、あるいは光スクリプト・コマンド内容における変化の強度もしくはその他の性質を誇張することなどによって、環境光がどのくらい迅速に、またはどのくらい大きくビデオ内容の内容に反応するかといったことが含まれる。これは、ある種の特性の映画または内容については抑制された色調を出せる進んだ内容解析を含むことができる。内容に多くの暗い場面を含むビデオ内容は環境光源８８の挙動に影響を与えて、発散され得る環境光を弱めることができる。一方では肌色や明るい場面（日が照った浜辺、サバンナの虎など）がたくさんあるような別のある種の内容については派手なまたは明るい色調を使うことができる。

本記載は、当業者が本発明を実施できるようにするためにここに与えられている。本教示を使って多くの構成が可能であり、ここに挙げられた構成および配置は単に例示的なものである。実際上は、教示され、請求される諸方法は、娯楽センターまたはホームシアター・センターといったより大きなシステムの一部として現れることもできる。

ここに例示的に教示された機能および計算はソフトウェアまたは機械語を使って機能的に再現またはエミュレートされることができることはよく知られており、当業者はここに教示されたエンコードおよびデコードをやりくりする方法にかかわりなくこれらの教示を使用することができるであろう。

当業者はこれらの教示に基づいて、ここに教示され、請求されている装置および方法を修正し、よってたとえばステップまたはデータ構造の配列を変えて特定の用途に適合させ、解説上の目的のためにここで選ばれたものほとんど似ていないかもしれないシステムを作り出すことができるであろう。

以上の諸例を使って開示された本発明は、上述した特徴の一部のみを使って実施してもよい。また、ここに教示され、請求された何物も他の構造または機能要素の追加を排除するものではない。

明らかに、本発明の多くの修正および変形が上記の教示に照らして可能である。したがって、付属の請求項の範囲内において、本発明はここに明示的に記述または示唆された以外の仕方でも実施されうるものであることが理解されるものとする。

本発明に基づく、色情報抽出領域および６つの環境光源からの環境光の対応する発散を示す、ビデオ・ディスプレイの簡単な正面図である。 本発明を使って複数の環境光源からの環境光が生成される部屋の――一部概略的で一部断面表示の――平面図である。 本発明に基づく、色情報を抽出し、環境光源を駆動することを許容するよう色空間変換を実施するシステムを示す図である。 ビデオ抽出領域から平均色情報を計算するための式を示す図である。 レンダリングされた原色RGBを未レンダリング色空間のXYZに変換するための従来技術の行列方程式である。 ビデオ・レンダリング色空間および環境照明レンダリング色空間のそれぞれから未レンダリング色空間へのマッピングのための行列方程式を示す図である。 ビデオ・レンダリング色空間および環境照明レンダリング色空間のそれぞれから未レンダリング色空間へのマッピングのための行列方程式を示す図である。 未レンダリング色空間XYZから環境光三刺激値R′G′B′を導出するための既知の行列の逆行列を使った解を示す図である。 白色点法を使った三刺激原色行列Mの従来技術による導出を示す図である。 白色点法を使った三刺激原色行列Mの従来技術による導出を示す図である。 白色点法を使った三刺激原色行列Mの従来技術による導出を示す図である。 図３に示されたものと同様だが追加的に環境発散のためのガンマ補正ステップを有するシステムを示す図である。 本発明において使用される一般変換プロセスのための概略図である。 本発明によって使用される環境光源のための変換行列係数を得るためのプロセスステップを示す図である。 本発明を使った、推定されたビデオ抽出および環境光再現のためのプロセスステップを示す図である。 本発明に基づくビデオフレーム抽出の概略図である。 本発明に基づく省略されたクロミナンス評価のためのプロセスステップを示す図である。 図３および図１２において示された抽出ステップであって、フレームデコーダを用い、フレーム抽出レートを設定し、環境光源を駆動するための出力計算を実行する抽出ステップを示す図である。 本発明のための、色情報の抽出および処理のためのプロセスステップを示す図である。 本発明のための、色情報の抽出および処理のためのプロセスステップを示す図である。 本発明に基づく出力閾値処理を例解するデカルト座標のグラフである。 本発明に基づく出力閾値処理を例解するデカルト座標のグラフである。 図３、図１２および図１８において示されたものと同様の簡略化された抽出ステップであって、フレームデコーダを用い、環境光源を駆動するための出力計算を実行する抽出ステップを示す図である。 色情報抽出、処理および出力閾値処理のためのプロセスステップを示す図である。

Claims (20)

1. 環境光源によってエミュレートされるべきビデオ内容を出力閾値処理を使って抽出および処理するための方法であって：
   [1]前記ビデオ内容の少なくとも一部をエンコードするビデオ信号から強度を含む色情報を抽出し、
   [4]前記色情報を閾値処理して、該色情報によって制御される前記環境光源のオン／オフの状態変化が前記強度がある閾値を通過したあとに開始されうるようにする、
   ことを含むことを特徴とする方法。
2. 請求項１記載の方法であって、ステップ[1]のあとにさらに以下の：
   [2]前記色情報を未レンダリング色空間に変換し、
   [3]前記色情報を前記未レンダリング色空間から前記環境光源を駆動することを許容するように形成された第二のレンダリング色空間に変換する、
   ステップを含むことを特徴とする方法。
3. 請求項１記載の方法であって、ステップ[1]がさらに、前記色情報から平均色を抽出することを含むことを特徴とする方法。
4. 請求項１記載の方法であって、ステップ[1]がさらに、ある抽出領域からの前記色情報の少なくとも一つの抽出を含むことを特徴とする方法。
5. 請求項４記載の方法であって、ステップ[1]がさらに、前記色情報の前記抽出を使って前記抽出領域のそばにある前記環境光源から環境光を発散させることを含むことを特徴とする方法。
6. 請求項１記載の方法であって、前記閾値が第一の閾値および第二の閾値を含んでおり、前記オン／オフの状態変化は強度が第一および第二の閾値の両方を通過したあとにのみ開始されうることを特徴とする方法。
7. 請求項２記載の方法であって、前記第二のレンダリング色空間にガンマ補正を実行することをさらに含むことを特徴とする方法。
8. 請求項２記載の方法であって、ステップ[2]および[3]がさらに、前記レンダリング色空間および第二のレンダリング色空間の原色からの第一および第二の三刺激原色行列を使っての前記未レンダリング色空間への行列変換を含み、前記色情報の前記第二のレンダリング色空間への変換を、前記レンダリング色空間の前記原色と前記第一の三刺激行列と前記第二の三刺激行列の逆行列との行列乗算によって導出する、
   ことを含むことを特徴とする方法。
9. 請求項８記載の方法であって、前記未レンダリング色空間がCIE XYZ、ISO規格17321で定義されているISO RGB、Photo YCCおよびCIE LABのうちの一つであることを特徴とする方法。
10. 請求項８記載の方法であって、ステップ[1]がさらに、前記色情報から平均色を抽出することを含むことを特徴とする方法。
11. 請求項１０記載の方法であって、ステップ[1]がさらに、ある抽出領域からの前記色情報の少なくとも一つの抽出を含むことを特徴とする方法。
12. 請求項１１記載の方法であって、ステップ[1]がさらに、前記色情報の前記抽出を使って前記抽出領域のそばにある前記環境光源から環境光を発散させることを含むことを特徴とする方法。
13. ステップ[1]、[2]および[3]が前記ビデオ信号に実質的に同期していることを特徴とする、請求項２記載の方法。
14. 前記環境光源から環境光を、前記第二のレンダリング色空間における前記色情報を使って発散させることをさらに含むことを特徴とする、請求項２記載の方法。
15. 環境光源によってエミュレートされるべきレンダリング色空間からの境界領域ビデオ内容を出力閾値処理を使って抽出および処理する方法であって：
    [1]前記レンダリング色空間において前記ビデオ内容の少なくとも一部をエンコードするビデオ信号から強度を含む色情報を抽出し、
    [2]前記の個々のフレームのそれぞれにおいて、ある抽出領域からの前記色情報から平均色を抽出し、
    [3]前記平均色を未レンダリング色空間に変換し、
    [4]前記平均色を前記未レンダリング色空間から前記環境光源を駆動することを許容するように形成された第二のレンダリング色空間に変換し、
    [5]前記色情報を閾値処理して、該色情報によって制御される前記環境光源のオン／オフの状態変化が前記強度がある閾値を通過したあとに開始されうるようにし、
    [6]前記平均色を使って前記抽出領域のそばにある前記環境光源から環境光を発散させる、
    ことを含むことを特徴とする方法。
16. 請求項１５記載の方法であって、前記閾値が第一の閾値および第二の閾値を含んでおり、前記オン／オフの状態変化は強度が第一および第二の閾値の両方を通過したあとにのみ開始されうることを特徴とする方法。
17. 請求項１５記載の方法であって、ステップ[3]および[4]がさらに、前記レンダリング色空間および第二のレンダリング色空間の原色からの第一および第二の三刺激原色行列を使っての前記未レンダリング色空間への行列変換を含み、前記色情報の前記第二のレンダリング色空間への変換を、前記レンダリング色空間の前記原色と前記第一の三刺激行列と前記第二の三刺激行列の逆行列との行列乗算によって導出する、
    ことを含むことを特徴とする方法。
18. ビデオ内容のエミュレートのための、環境光源を出力閾値処理する方法であって：
    [1]前記ビデオ内容の少なくとも一部をエンコードするビデオ信号から強度を含む色情報を抽出し、
    [6]前記色情報を閾値処理して、該色情報によって制御される前記環境光源のオン／オフの状態変化が前記強度がある閾値を通過したあとに開始されうるようにする、
    ことを含むことを特徴とする方法。
19. 請求項１８記載の方法であって、さらに測色推定値を使用し、フレーム間補間プロセスを用い、当該方法がさらに：
    [2]前記ビデオ信号を一組のフレームにデコードし、選択された抽出フレームのみから前記色情報を抽出し、前記抽出フレームの間でフレーム間補間を実行して補間されたフレームを生成し、次いで前記抽出フレームおよび前記補間フレームから前記色情報が新たに導出され、
    [3]前記の個々のフレームそれぞれにおけるある抽出領域からの前記色情報から測色推定値を抽出し、
    [4]前記測色推定値を未レンダリング色空間に変換し、
    [5]前記測色推定値を前記未レンダリング色空間から前記環境光源を駆動することを許容するように形成された第二のレンダリング色空間に変換し、
    [7]前記測色推定値を使って前記抽出領域のそばにある前記環境光源から環境光を発散させる、
    ことを含むことを特徴とする方法。
20. 請求項１８記載の方法であって、前記閾値が第一の閾値および第二の閾値を含んでおり、前記オン／オフの状態変化は強度が第一および第二の閾値の両方を通過したあとにのみ開始されうることを特徴とする方法。

Images