JP2015133220A - 制御装置及び照明システム - Google Patents

Abstract

【課題】ユーザが映像コンテンツを視聴する場合に、臨場感を向上させることを課題とする。【解決手段】制御装置は、基準物体色検出部と、分光分布算出部とを有する。基準物体色検出部は、映像コンテンツに含まれる画像データと、映像コンテンツが表示される視聴空間とで共通する任意の物体を表す基準物体の色を表す基準物体色を、画像データから検出する。分光分布算出部は、検出された基準物体色と、視聴空間に光を照射する照明装置の光源が有する発光体の分光分布を表す発光体分光分布と、基準物体の分光反射率とから、発光体を制御するための分光分布を表す照明分光分布を算出する。【選択図】図４

Description

本発明の実施形態は、制御装置及び照明システムに関する。

従来、ユーザの所望する効果を得るために、様々な波長の光を出力可能な複数の発光体を有する光源を利用して、照明の色を任意の色に調整するマルチカラー照明がある。例えば、マルチカラー照明は、ユーザによって映像コンテンツが視聴される場合に、視聴される映像コンテンツが撮影された環境の照明による色を再現することができる。

特開２００８−１９３６０５号公報

マルチカラー照明は、構成する発光体の種類が有限である。このため、照明の色を映像コンテンツが撮影された環境の照明の色と一致させたとしても、それぞれの照明の分光分布は異なる。これらの結果、照明の色を映像コンテンツが撮影された環境の照明の色と一致させたとしても、ユーザが映像コンテンツを視聴する空間に存在する他の物体の色の見え方が映像コンテンツに含まれる色とは異なるため、臨場感を向上させることが困難である。

本発明が解決しようとする課題は、ユーザが映像コンテンツを視聴する場合に、臨場感を向上させることができる制御装置及び照明システムを提供することである。

実施形態の制御装置は、基準物体色検出部と、分光分布算出部とを有する。基準物体色検出部は、映像コンテンツに含まれる画像データと、映像コンテンツが表示される視聴空間とで共通する任意の物体を表す基準物体の色を表す基準物体色を、画像データから検出する。分光分布算出部は、検出された基準物体色と、視聴空間に光を照射する照明装置の光源が有する発光体の分光分布を表す発光体分光分布と、基準物体の分光反射率とから、発光体を制御するための分光分布を表す照明分光分布を算出する。

第１の実施形態に係る照明システムの構成を示すブロック図。 第１の実施形態に係る照明システムの適用例を説明する図。 第１の実施形態に係る制御装置のハードウェア構成を示すブロック図。 第１の実施形態に係る各装置の機能構成を示すブロック図。 光源が有する発光体の配置を示す図。 第１の実施形態に係る全体処理の流れを示す処理シーケンス図。 第２の実施形態に係る各装置の機能構成を示すブロック図。 第２の実施形態に係る色補正を説明する図。 第２の実施形態に係る制御装置の全体処理の流れを示すフローチャート。 第３の実施形態に係る各装置の機能構成を示すブロック図。 第３の実施形態に係る制御装置の全体処理の流れを示すフローチャート。 第４の実施形態に係る各装置の機能構成を示すブロック図。 第４の実施形態に係る制御装置の全体処理の流れを示すフローチャート。 第５の実施形態に係る各装置の機能構成を示すブロック図。 第５の実施形態に係る制御装置の全体処理の流れを示すフローチャート。 第６の実施形態に係る各装置の機能構成を示すブロック図。 第６の実施形態に係る制御装置の全体処理の流れを示すフローチャート。

（第１の実施形態）
図１は、第１の実施形態に係る照明システムの構成例を示すブロック図である。図１に示すように、照明システム１は、表示装置５０と、照明装置７０と、制御装置１００とを有する。また、各装置は、ＬＡＮ（Local Area Network）やインターネット等のネットワークに接続されている。すなわち、各装置間の通信は、一部又は全てを無線や有線により実現される。

これらのうち、表示装置５０は、静止画や動画等の映像コンテンツをディスプレイ等に表示する。また、表示装置５０は、表示する映像コンテンツのデータを制御装置１００に対して送信する。ユーザは、ディスプレイに表示された映像コンテンツを視聴する。以下では、映像コンテンツが表示される空間を「視聴空間」と呼ぶ場合がある。照明装置７０は、様々な波長の光を出力可能な複数の発光体を有する光源を利用して、視聴空間に光を出力する。また、照明装置７０は、制御装置１００によって算出された分光分布をもとに光源を制御する。

制御装置１００は、照明装置７０が有する光源を制御するための分光分布を算出する。詳細には、制御装置１００は、映像コンテンツに含まれる物体と、視聴空間に存在する物体との色の見え方を一致させるための分光分布を算出する。このために、制御装置１００は、任意の物体を基準物体として、基準物体の分光反射率と、映像コンテンツにおける基準物体の色と、光源が有する発光体の分光分布とから、照明装置７０の分光分布を算出する。

図２は、第１の実施形態に係る照明システム１の適用例を説明する図である。図２では、基準物体を人間の肌に設定する場合を例に挙げる。図２に示すように、照明システム１では、映像コンテンツに含まれる人間の肌と、視聴空間に存在する人間の肌との、ユーザから見た色の見え方を一致させる。基準物体は、人間の肌に限られるものではなく、植物の葉や土等の任意の物体で良い。但し、図２に示したように、ユーザは、視聴空間に存在する人間や映像コンテンツに含まれる人間を見ることが多い。このため、基準物体は、ユーザの視覚に入り易いもののうち、有色であるものや、ユーザが物体について記憶している色であることが好ましい。

図３は、第１の実施形態に係る制御装置１００のハードウェア構成例を示すブロック図である。図３に示すように、制御装置１００は、バス１１により互いに接続された、ＣＰＵ（Central Processing Unit）１２と、ＲＯＭ（Read Only Memory）１３と、ＲＡＭ（Random Access Memory）１４と、通信Ｉ／Ｆ１５とを有する。

これらのうち、ＣＰＵ１２は、制御装置１００の全体制御を行なう。ＲＯＭ１３は、ＣＰＵ１２の制御により実行される処理で利用されるプログラムや各種データを記憶する。ＲＡＭ１４は、ＣＰＵ１２の制御により実行される処理で利用されるデータ等を一時的に記憶する。通信Ｉ／Ｆ１５は、ネットワークを介して、外部装置と通信を行なう。

図４は、第１の実施形態に係る各装置の機能構成例を示すブロック図である。図４に示すように、表示装置５０は、記憶部５１と、表示制御部５２と、表示部５３と、通信部５４とを有する。なお、上記各部については、これらの一部又は全部がソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。

記憶部５１は、各種情報を記憶する。例えば、記憶部５１は、表示部５３に表示させるための映像コンテンツのデータや、該映像コンテンツに関する属性情報等を記憶する。映像コンテンツは、カメラやビデオカメラで撮影された静止画や動画、ハードディスクレコーダに録画された静止画や動画等であっても良い。

表示制御部５２は、表示部５３に表示する映像コンテンツのデータを記憶部５１から取得し、該映像コンテンツを表示部５３に表示するための制御を実行する。表示部５３は、表示制御部５２の制御により、静止画や動画等の各種画像を表示するディスプレイである。通信部５４は、外部装置と通信を行ない、各種情報を送受信する。例えば、通信部５４は、ネットワークを介して、表示部５３に表示されている映像コンテンツのデータを、制御装置１００に対して送信する。

また、図４に示すように、制御装置１００は、通信部１０１と、基準物体色検出部１０２と、記憶部１０３と、分光分布算出部１０４とを有する。なお、上記各部については、これらの一部又は全部がソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。

通信部１０１は、外部装置と通信を行ない、各種情報を送受信する。例えば、通信部１０１は、ネットワークを介して、表示装置５０によって送信された映像コンテンツのデータを受信する。また、通信部１０１は、ネットワークを介して、後述する分光分布算出部１０４によって算出された分光分布を照明装置７０に対して送信する。

基準物体色検出部１０２は、映像コンテンツのデータに含まれる基準物体の色を検出する。本実施形態では、基準物体として人の肌を選択した場合を例に挙げる。より具体的には、基準物体色検出部１０２は、通信部１０１を介して映像コンテンツのデータを取得する。そして、基準物体色検出部１０２は、映像コンテンツの各フレームから顔領域を検出する。顔領域を検出する手法については、公知の技術を用いれば良い。例えば、顔領域の検出では、顔が矩形領域として検出される。このため、検出された顔領域には、人の肌の領域ではない背景領域が含まれる。

続いて、基準物体色検出部１０２は、検出した顔領域から背景領域を排除するために、顔領域に対して肌の検出を行なう。肌の検出の手法については、公知の技術を用いれば良い。その後、基準物体色検出部１０２は、検出した肌の領域からエッジ領域を排除することで、最終的な肌領域を抽出する。例えば、エッジ領域の排除については、映像コンテンツの画像データを任意の倍率で縮小した画像に対してエッジを検出し、縮小画像のエッジ領域に対応する領域を排除する。これにより、最終的な肌領域を得ることができる。画像のエッジを検出する手法は、ロバーツフィルタ等の既存のエッジ検出フィルタ等を用いれば良い。

また、縮小倍率については、検出した顔領域や肌領域の画素数に応じて設定することが好ましい。例えば、縮小倍率については、検出した顔領域や肌領域の大きさに応じて、１／２〜１／２０倍に設定する。上記では、基準物体を顔に限定した例を示したが、基準物体を顔に限定せずに人の肌全体として色素量の推定を行なう場合には、顔領域の検出を行なうことなく肌領域の検出のみを行なえば良い。なお、上述したように、基準物体は人の肌や顔に限られるものではなく、他の物体の場合であっても、各物体に適した検出手法を用いれば良い。

また、基準物体がフレーム中に複数検出された場合には、検出された全領域を検出領域としても良いし、検出された領域の中でより面積の大きい領域を検出領域としても良い。この他、基準物体がフレーム中に複数検出された場合には、フレームの中心の重みを大きく設定して、検出領域の面積と重みとを加算や積算した値がより大きい領域を検出領域としても良い。

そして、基準物体色検出部１０２は、検出領域において、任意の色空間における分布密度を算出し、分布密度がより大きくなる分布点の色を基準物体の色として検出する。以下では、基準物体の色を「基準物体色」と呼ぶ場合がある。分布密度を算出するための表色系は、例えば、国際照明委員会（ＣＩＥ）の定めるＣＩＥ表色系やＲＧＢ表色系、ＸＹＺ表色系、Ｘ_１０Ｙ_１０Ｚ_１０表色系、マンセル表色系、オストワルト表色系等の所定の表色系を用いる。加えて、分布密度を算出するための色空間は、ＣＩＥの定めるＵ^＊Ｖ^＊Ｗ^＊色空間やＬ^＊ａ^＊ｂ^＊色空間、ＵＣＳ表色系等の均等色空間や、人間の知覚特性の非線形性を考慮したＣＩＥＣＡＭ０２等の所定の色空間を用いる。

また、例えば、検出領域の中心点等の検出領域の任意の点を中心に正規分布を仮定した重み係数を定義することで、検出領域の任意の点の周辺の色を基準物体色として決定しても良い。また、基準物体色は、映像コンテンツの各フレームにて算出し、映像コンテンツの視聴時のフレームに合わせて決定しても良い。この他、基準物体色は、映像コンテンツのフレーム全体から検出した検出領域の分布を算出し、算出した分布の中心を映像コンテンツの基準物体色として決定しても良い。

記憶部１０３は、各種情報を記憶する。例えば、記憶部１０３は、基準物体の分光反射率を記憶する。すなわち、基準物体の分光反射率を記憶部１０３に追加することで、任意の物体を基準物体とすることができる。なお、以下では、基準物体の分光反射率を「物体分光反射率」と呼ぶ場合がある。

分光分布算出部１０４は、照明装置７０の分光分布を算出する。より具体的には、分光分布算出部１０４は、基準物体色検出部１０２によって算出された基準物体色と、照明装置７０が有する発光体の分光分布を表す発光体分光分布と、記憶部１０３に記憶された物体分光反射率とをもとに、照明装置７０の分光分布を表す照明分光分布を算出する。以下に、照明分光分布の算出について説明する。

分光分布算出部１０４は、基準物体色を、任意の表色系や色空間上の色座標へ変換する。本実施形態では、基準物体色がＲＧＢ表色系で与えられ、ＸＹＺ表色系を演算に使用する場合について説明する。但し、基準物体色や演算に使用する表色系は、ＣＩＥ表色系やＲＧＢ表色系、ＸＹＺ表色系、Ｘ_１０Ｙ_１０Ｚ_１０表色系、マンセル表色系、オストワルト表色系等の所定の表色系の何れであっても良い。加えて、基準物体色や演算に使用する色空間は、ＣＩＥの定めるＵ^＊Ｖ^＊Ｗ^＊色空間やＬ^＊ａ^＊ｂ^＊色空間、ＵＣＳ表色系等の均等色空間、人間の知覚特性の非線形性を考慮したＣＩＥＣＡＭ０２等の所定の色空間の何れであっても良い。基準物体色がＲＧＢ表色系で与えられ、ＸＹＺ表色系を演算に使用する場合に、基準物体色を（Ｒ_ｍ，Ｇ_ｍ，Ｂ_ｍ）とすると、ＸＹＺ表色系における基準物体色（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）は、（数１）により求めることができる。

そして、分光分布算出部１０４は、発光体分光分布と、物体分光反射率とから、照明装置７０の各発光体で照射された場合に基準物体が示す色を演算する。照明装置７０の光源を構成するｎ個の各発光体の発光体分光分布をＰ_ｉ（λ）（１≦ｉ≦ｎ）とし、物体分光反射率をＯ（λ）とすると、各発光体で照射された場合に基準物体が示す色（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）（１≦ｉ≦ｎ）は、（数２）により求めることができる。

続いて、分光分布算出部１０４は、基準物体色（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）と、各発光体で照射された場合に基準物体が示す色（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）（１≦ｉ≦ｎ）とから、視聴空間での基準物体の見え方を基準物体色と一致させるための各発光体の発光強度を算出する。ここで、求める各発光体の発光強度をａ_ｉ（１≦ｉ≦ｎ）とする。発光強度ａ_ｉからなるベクトルＡ＝（ａ_１，ａ_２，・・・，ａ_ｎ）^Ｔ（１≦ｉ≦ｎ）は、基準物体色（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）からなるベクトルをＣ＝（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）^Ｔとし、各発光体で照射された場合の基準物体が示す色（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）（１≦ｉ≦ｎ）からなるベクトルｂ_ｉ＝（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）^Ｔ（１≦ｉ≦ｎ）を要素とするベクトルをＢ＝（ｂ_１，ｂ_２，・・・，ｂ_ｎ）（１≦ｉ≦ｎ）とすると、（数３）により求めることができる。

例えば、（数３）を満たすＡ＝（ａ_１，ａ_２，・・・，ａ_ｎ）^Ｔ（１≦ｉ≦ｎ）を算出する方法は、一般的な拘束条件付きの最適化問題を解けば良い。また、条件を満たす発光強度ａ_ｉ（１≦ｉ≦ｎ）は、勾配法や焼きなまし法のような一般的な最適化法を用いて求めることができる。

その後、分光分布算出部１０４は、照明装置７０の各発光体の分光分布と、算出した各発光体の発光強度とから、照明装置７０の照明分光分布を算出する。個々の発光体の分光分布をＰ_ｉ（λ）とし、個々の発光体それぞれの発光強度をａ_ｉ（１≦ｉ≦ｎ）とすると、照明分光分布Ｐ_ｔａｒ（λ）は、（数４）により求めることができる。上述したように、算出した照明分光分布は、通信部１０１を介して、照明装置７０に対して送信される。

また、図４に示すように、照明装置７０は、通信部７１と、光源制御部７２と、光源７３とを有する。通信部７１は、外部装置と通信を行ない、各種情報を送受信する。例えば、通信部７１は、制御装置１００によって算出及び送信された照明分光分布を受信する。光源制御部７２は、通信部７１によって受信された照明分光分布をもとに、光源７３が有する各発光体の発光を制御する。光源７３は、分光分布が異なる２種類以上の発光体を有する。かかる発光体それぞれの発光強度は、独立して制御することができる。例えば、発光体は、Ｒ，Ｇ，Ｂの３原色に相当するＬＥＤ（Light Emitting Diode）である。ＬＥＤは、形状が小型であり軽量であるため、複数のＬＥＤを１つの照明器具に組み込み、個々のＬＥＤの発光強度を独立して制御することは比較的容易である。照明装置７０全体としての分光分布は、各発光体の発光強度によって定まる。このような発光体は、３つ以上であっても良いし、色温度の異なる白色ＬＥＤであっても良く、これらの両方が含まれていても良い。

図５は、光源７３が有する発光体の配置例を示す図である。図５に示すように、光源７３には、異なる種類のチップ型ＬＥＤとしての発光体である発光体７３ａ、発光体７３ｂ、発光体７３ｃ等が敷き詰められている。図５に示す例では、発光体７３ａ、発光体７３ｂ、発光体７３ｃそれぞれの光が混色されたものが光源７３によって発せられる光となる。また、発光体は、ＬＥＤの他に、蛍光管、白熱電球及びナトリウムランプのうち任意のものを使用しても良いし、これらを組み合わせて使用しても良い。また、複数の発光体の光の混色のために、光源７３が光拡散板をさらに有していても良い。

また、光源制御部７２によって行なわれる光源７３が有する各発光体の発光を制御する手法としては、例えば、各発光体に流れる電流量を制御する手法や、各発光体に印加する電圧を制御する手法等がある。電流や電圧の制御は、直流であっても良いし交流であっても良い。また、制御の方法は、ＰＷＭ（Pulse Width Modulation）制御や位相制御等の任意の形式で良い。

次に、図６を用いて、第１の実施形態に係る全体処理の流れを説明する。図６は、第１の実施形態に係る全体処理の流れの例を示す処理シーケンス図である。

図６に示すように、表示装置５０は、ディスプレイ等の表示部５３に表示している映像コンテンツのデータを制御装置１００に対して送信する（ステップＳ１０１）。制御装置１００は、表示装置５０によって送信された映像コンテンツのデータを受信する（ステップＳ１０２）。そして、制御装置１００は、受信した映像コンテンツに含まれる基準物体を検出する（ステップＳ１０３）。

続いて、制御装置１００は、検出した基準物体の検出領域において、任意の色空間における分布密度を算出し、分布密度がより大きくなる分布点の色を基準物体色として検出する（ステップＳ１０４）。その後、制御装置１００は、検出した基準物体色を、任意の表色系や色空間上の色座標へ変換する（ステップＳ１０５）。そして、制御装置１００は、発光体分光分布と、基準物体に対応する物体分光反射率とから、照明装置７０の各発光体で照射された場合に基準物体が示す色を算出する（ステップＳ１０６）。

また、制御装置１００は、基準物体色と、各発光体で照射された場合に基準物体が示す色とから、視聴空間での基準物体の見え方を基準物体色と一致させるための各発光体の発光強度を算出する（ステップＳ１０７）。そして、制御装置１００は、照明装置７０の各発光体の分光分布と、算出した各発光体の発光強度とから、照明装置７０の照明分光分布を算出する（ステップＳ１０８）。続いて、制御装置１００は、算出した照明分光分布を照明装置７０に対して送信する（ステップＳ１０９）。

照明装置７０は、制御装置１００によって算出及び送信された照明分光分布を受信する（ステップＳ１１０）。そして、照明装置７０は、受信した照明分光分布をもとに、光源７３が有する各発光体の発光を制御することにより、視聴空間に光を照射する（ステップＳ１１１）。

本実施形態によれば、視聴空間に存在する任意の物体の色の見え方を映像コンテンツの色と一致させるように、視聴空間の照明の分光分布を算出するので、映像コンテンツと視聴空間とにおける任意の物体の色の見え方の不一致を抑制することができる。この結果、ユーザが映像コンテンツを視聴する場合に、臨場感を向上させることができる。

（第２の実施形態）
図７は、第２の実施形態に係る各装置の機能構成例を示すブロック図である。第２の実施形態では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第２の実施形態では、以下に示す分光分布算出部２０４、補正部２０５以外の機能及び構成、処理については第１の実施形態と同様である。

図７に示すように、制御装置２００は、通信部１０１と、基準物体色検出部１０２と、記憶部１０３と、分光分布算出部２０４と、補正部２０５とを有する。なお、上記各部については、これらの一部又は全部がソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。

補正部２０５は、基準物体色と、発光体分光分布と、物体分光反射率とから、基準物体色を色補正した補正基準物体色を算出する。より具体的には、補正部２０５は、基準物体色検出部１０２によって算出された基準物体色（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）と、各発光体で照射された場合に基準物体が示す色（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）（１≦ｉ≦ｎ）とを、ｘｙ色度座標（ｘ，ｙ）に変換する。ＸＹＺ値から色度座標への変換は、（数５）により求めることができる。

そして、補正部２０５は、（数５）により求めた（ｘ_ｍ，ｙ_ｍ）と、（ｘ_ｉ，ｙ_ｉ）（１≦ｉ≦ｎ）とから、（ｘ_ｉ，ｙ_ｉ）（１≦ｉ≦ｎ）を頂点とする多角形内に、（ｘ_ｍ，ｙ_ｍ）が包含されるか否かを判定する。すなわち、補正部２０５は、照明装置７０による照射で視聴空間の基準物体の色の見え方を基準物体色と一致させることができるか否かを判定する。上述したように、視聴空間の基準物体の色の見え方を基準物体色と一致させることができるか否かについては、照明装置７０の各発光体で照射された場合に、基準物体が示す色の色域（基準物体色の変域）内に、基準物体色が包含されるか否かを判定すれば良い。

本実施形態では、判定に使用する色域を算出するための空間として、ＸＹＺ表色系のｘｙ色度図上の色度座標を使用する場合を例に挙げた。かかる判定では、例えば、ＵＣＳ表色系のＵＣＳ色度図上のＵＣＳ色度座標等の任意の色度図上に変換した後に、基準物体が示す色の色域内に基準物体色が包含されるか否かを判定しても良い。

このとき、補正部２０５は、基準物体が示す色の色域内に、基準物体色が包含されないと判定した場合に、基準物体が示す色の色域外にある基準物体色を色補正する。かかる色補正では、基準物体色を色相方向にマッピングする。

図８は、第２の実施形態に係る色補正の例を説明する図である。図８に示すように、補正部２０５は、基準物体色の色度座標（ｘ_ｍ，ｙ_ｍ）、白色点（ｘ_ｗ，ｙ_ｗ）を結ぶ直線と、基準物体の変域の境界との交点に、基準物体色をマッピングして補正基準物体色を得る。ここで、補正基準物体色の色度座標を（ｘ_ｃ，ｙ_ｃ）とすると、補正基準物体色（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）は、（数６）により求めることができる。補正部２０５は、求めた補正基準物体色（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）を分光分布算出部２０４に対して送信する。

一方、補正部２０５は、基準物体が示す色の色域内に、基準物体色が包含されると判定した場合に、図８に示した基準物体の変域内に含まれるため、基準物体色（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）を補正基準物体色（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）として、分光分布算出部２０４に対して送信する。すなわち、補正部２０５は、基準物体が示す色の色域内に、基準物体色が包含される場合、視聴空間の基準物体の色の見え方を基準物体色と一致させることができると判定し、基準物体色の座標をそのまま補正基準物体色の座標とする。

分光分布算出部２０４は、照明装置７０の分光分布を算出する。より具体的には、分光分布算出部２０４は、補正部２０５によって算出された補正基準物体色（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）と、各発光体で照射された場合に基準物体が示す色（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）（１≦ｉ≦ｎ）とから、視聴空間での基準物体の色の見え方を、基準物体色と一致させるための各発光体の発光強度を算出する。そして、分光分布算出部２０４は、照明装置７０の各発光体の分光分布と、算出した各発光体の発光強度とから、照明装置７０の照明分光分布を算出する。なお、発光強度や照明分光分布の算出については、第１の実施形態と同様である。

次に、図９を用いて、第２の実施形態に係る制御装置２００の全体処理の流れを説明する。図９は、第２の実施形態に係る制御装置２００の全体処理の流れの例を示すフローチャートである。なお、図９では、第１の実施形態に係る全体処理と同様の処理については説明を省略する。具体的には、ステップＳ２０１〜ステップＳ２０５は、ステップＳ１０２〜ステップＳ１０４における処理と同様である。また、ステップＳ２０９及びステップＳ２１０は、ステップＳ１０８及びステップＳ１０９における処理と同様である。

図９に示すように、補正部２０５は、基準物体色検出部１０２によって算出された基準物体色と、各発光体で照射された場合に基準物体が示す色とを同一の色度座標へ変換し、基準物体が示す色の色域内に、基準物体色が包含されるか否かを判定する（ステップＳ２０６）。このとき、補正部２０５は、基準物体が示す色の色域内に基準物体色が包含されないと判定した場合に（ステップＳ２０６：Ｎｏ）、基準物体が示す色の色域外にある基準物体色の色補正を行なう（ステップＳ２０７）。

上述したように、色補正は、基準物体色を色相方向にマッピングすれば良い。これらにより、補正部２０５は、基準物体色を色補正することによって補正基準物体色を得る。そして、分光分布算出部２０４は、補正部２０５によって算出された補正基準物体色と、各発光体で照射された場合に基準物体が示す色とから、各発光体の発光強度を算出する（ステップＳ２０８）。

一方、補正部２０５によって基準物体が示す色の色域内に基準物体色が包含されると判定された場合に（ステップＳ２０６：Ｙｅｓ）、分光分布算出部２０４は、基準物体色を補正基準物体色とし、補正基準物体色と、各発光体で照射された場合に基準物体が示す色とから、各発光体の発光強度を算出する（ステップＳ２０８）。

本実施形態によれば、視聴空間に存在する任意の物体の色の見え方が、視聴空間に光を照射する発光体の分光分布特性により映像コンテンツの色と一致させることが困難である場合に、基準物体色を色補正することで解消することができる。この結果、映像コンテンツと視聴空間とにおいてユーザが意図しない任意の物体の色の変化が生じることを抑制することができ、ユーザが映像コンテンツを視聴する場合に、臨場感を向上させることができる。

（第３の実施形態）
図１０は、第３の実施形態に係る各装置の機能構成例を示すブロック図である。第３の実施形態では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第３の実施形態では、以下に示す基準物体色検出部３０２、分光分布算出部３０４、基準光源検出部３０６、制御値算出部３０７以外の機能及び構成、処理については第１の実施形態と同様である。

図１０に示すように、制御装置３００は、通信部１０１と、基準物体色検出部３０２と、記憶部１０３と、分光分布算出部３０４と、基準光源検出部３０６と、制御値算出部３０７とを有する。なお、上記各部については、これらの一部又は全部がソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。

基準物体色検出部３０２は、映像コンテンツのデータに含まれる基準物体の基準物体色と、該基準物体の検出情報とを検出する。より具体的には、基準物体色検出部３０２は、映像コンテンツの各フレームから基準物体の画像領域を表す検出領域を決定し、フレームに対する検出領域の占有率を表す検出情報を算出する。なお、基準物体や基準物体色の検出手法については、第１の実施形態と同様である。また、検出情報の算出では、検出領域の面積とフレームの画像サイズとから、画面に占める検出領域の割合を算出すれば良い。基準物体色検出部３０２は、算出した検出情報を制御値算出部３０７に対して送信する。

基準光源検出部３０６は、映像コンテンツのデータをもとに、映像コンテンツの光源の光源検出情報と、該映像コンテンツの光源の色を表す基準光源色とを検出する。以下では、映像コンテンツの光源を「基準光源」と呼ぶ場合がある。例えば、基準光源は、太陽光や人工照明器具等による直接光源や、空や水中等における散乱光や、これらの光源の反射光（一次反射、二次反射を含む）等の、映像コンテンツに存在する主な光源を指す。

より具体的には、基準光源検出部３０６は、映像コンテンツの各フレームから光源領域を決定し、フレームに対する光源領域の占有率を表す光源検出情報を検出する。光源領域の検出については、公知の技術を用いれば良い。例えば、光源領域は、フレームのうち輝度が所定値以上である領域とする。この他、フレームの構図から境界を判定し、フレームの画素毎に、該画素が光源の画像を表現している度合いを表す信頼度がより高い領域を光源領域としても良い。また、光源検出情報の検出では、光源領域の面積とフレームの画像サイズとから、画面に示す光源領域の割合を算出すれば良い。基準光源検出部３０６は、算出した光源検出情報を制御値算出部３０７に対して送信する。

また、基準光源検出部３０６は、光源領域から基準光源色を検出する。基準光源や基準光源色を検出する手法については、第１の実施形態に係る検出領域から基準物体や基準物体色を検出する手法と同様である。基準光源検出部３０６は、検出した基準光源色を分光分布算出部３０４に対して送信する。なお、基準光源がフレーム中に複数検出された場合には、検出された全領域を光源領域としても良いし、検出された領域のうち面積がより大きい領域を光源領域としても良い。この他、基準光源がフレーム中に複数検出された場合には、フレームの中心の重みを大きく設定して、光源領域の面積と重みとを加算や積算した値がより大きい領域を光源領域としても良い。

制御値算出部３０７は、検出情報と光源検出情報とをもとに、照明分光分布を算出するためのパラメータを表す制御パラメータを算出する。より具体的には、制御値算出部３０７は、基準物体色検出部３０２によって検出された検出情報と、基準光源検出部３０６によって検出された光源検出情報と、基準物体並びに基準光源の分光分布算出の基準とする優先度を表す重みとから、制御パラメータを算出する。なお、重みは予め設定される。例えば、制御パラメータαは、検出情報をＳ_ｍとし、光源検出情報をＳ_ｌとして、基準物体の重みをＷ_ｍ、基準光源の重みをＷ_ｌとすると、（数７）により求めることができる。

なお、制御パラメータについては、映像コンテンツの各フレームから検出された検出情報や光源検出情報から算出し、映像コンテンツの視聴時のフレームに合わせて決定しても良い。この他、映像コンテンツの全てのフレームから検出された検出情報や光源検出情報から算出した算出結果の平均値の領域の分布中心を、映像コンテンツに対応する制御パラメータとして決定しても良い。制御値算出部３０７は、算出した制御パラメータを分光分布算出部３０４に対して送信する。

分光分布算出部３０４は、照明装置７０の分光分布を算出する。より具体的には、分光分布算出部３０４は、基準物体色検出部３０２によって検出された基準物体色と、基準光源検出部３０６によって検出された基準光源色とを、任意の表色系や色空間上の色座標へ変換する。かかる色座標への変換については、第１の実施形態と同様である。

そして、分光分布算出部３０４は、照明装置７０の各発光体の光源色と、各発光体で照射された場合に基準物体が示す色とを算出する。照明装置７０の各発光体の光源色の算出については、照明装置７０の各発光体で照射された場合に基準物体が示す色を算出する際に使用した分光反射率を、完全拡散となる白色物体の分光反射率に置き換えて求めれば良い。なお、照明装置７０の各発光体で照射された場合に基準物体が示す色の算出については、第１の実施形態と同様である。

続いて、分光分布算出部３０４は、基準物体色検出部３０２によって検出された基準物体色と、基準光源検出部３０６によって検出された基準光源色と、各発光体で照射された場合に基準物体が示す色と、各発光体の光源色と、制御値算出部３０７によって算出された制御パラメータとから、照明装置７０の各発光体の発光強度を算出する。

例えば、照明装置７０の各発光体の発光強度をａ_ｉ（１≦ｉ≦ｎ）とし、発光強度ａ_ｉからなるベクトルをＡ＝（ａ_１，ａ_２，・・・，ａ_ｎ）^Ｔ（１≦ｉ≦ｎ）とする。また、基準物体色（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）と、基準光源色（Ｘ’_ｍ，Ｙ’_ｍ，Ｚ’_ｍ）とからなるベクトルをＣ＝（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ，Ｘ’_ｍ，Ｙ’_ｍ，Ｚ’_ｍ）^Ｔとする。また、各発光体で照射された場合の基準物体の色（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）（１≦ｉ≦ｎ）と、各発光体の光源色（Ｘ’_ｉ，Ｙ’_ｉ，Ｚ’_ｉ）（１≦ｉ≦ｎ）とからなるベクトルｂｉ＝（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ，Ｘ’_ｉ，Ｙ’_ｉ，Ｚ’_ｉ）^Ｔ（１≦ｉ≦ｎ）を要素とするベクトルをＢ＝（ｂ_１，ｂ_２，・・・，ｂ_ｎ）（１≦ｉ≦ｎ）とする。また、制御パラメータαからなるベクトルをＷ＝（α，α，α，１−α，１−α，１−α）^Ｔとする。これらから、発光強度ａ_ｉからなるベクトルＡは、（数８）により求めることができる。

例えば、（数８）を満たすＡ＝（ａ_１，ａ_２，・・・，ａ_ｎ）^Ｔ（１≦ｉ≦ｎ）を算出する方法は、一般的な拘束条件付きの最適化問題を解けば良い。また、条件を満たす発光強度ａ_ｉ（１≦ｉ≦ｎ）は、勾配法や焼きなまし法のような一般的な最適化法を用いて求めることができる。

その後、分光分布算出部３０４は、照明装置７０の各発光体の分光分布と、算出した各発光体の発光強度とから、照明装置７０の照明分光分布を算出する。照明分光分布の算出については、第１の実施形態と同様である。また、算出された照明分光分布は、通信部１０１を介して、照明装置７０に対して送信される。

次に、図１１を用いて、第３の実施形態に係る制御装置３００の全体処理の流れを説明する。図１１は、第３の実施形態に係る制御装置３００の全体処理の流れの例を示すフローチャートである。なお、図１１では、第１の実施形態に係る全体処理と同様の処理については説明を省略する。具体的には、ステップＳ３０１及びステップＳ３０２は、ステップＳ１０２及びステップＳ１０３における処理と同様である。また、ステップＳ３１０及びステップＳ３１１は、ステップＳ１０８及びステップＳ１０９における処理と同様である。

図１１に示すように、基準物体色検出部３０２は、検出した基準物体の検出領域において分布密度を算出し、分布密度がより大きくなる分布点の色を基準物体色として検出するとともに、フレームに対する検出領域の占有率である検出情報を算出する（ステップＳ３０３）。基準光源検出部３０６は、映像コンテンツのデータをもとに、映像コンテンツの光源である基準光源を検出する（ステップＳ３０４）。そして、基準光源検出部３０６は、検出した基準光源に応じて、映像コンテンツの各フレームから光源領域を決定し、フレームに対する光源領域の占有率である光源検出情報を検出するとともに、光源領域から基準光源色を検出する（ステップＳ３０５）。

制御値算出部３０７は、基準物体色検出部３０２によって検出された検出情報と、基準光源検出部３０６によって検出された光源検出情報と、基準物体並びに基準光源の分光分布算出の基準とする重みとから、制御パラメータを算出する（ステップＳ３０６）。分光分布算出部３０４は、基準物体色検出部３０２によって検出された基準物体色と、基準光源検出部３０６によって検出された基準光源色とを、任意の表色系や色空間上の色座標へ変換する（ステップＳ３０７）。

そして、分光分布算出部３０４は、照明装置７０の各発光体の光源色と、各発光体で照射された場合に基準物体が示す色とを算出する（ステップＳ３０８）。続いて、分光分布算出部３０４は、基準物体色検出部３０２によって検出された基準物体色と、基準光源検出部３０６によって検出された基準光源色と、各発光体で照射された場合に基準物体が示す色と、各発光体の光源色と、制御値算出部３０７によって算出された制御パラメータとから、照明装置７０の各発光体の発光強度を算出する（ステップＳ３０９）。

本実施形態によれば、基準物体に加えて、映像コンテンツの光源色を検出し、基準物体の色と光源色とから視聴空間の分光分布を算出するので、共通する基準物体が検出されない場合であっても、ユーザが映像コンテンツを視聴する場合に、臨場感を向上させることができる。

（第４の実施形態）
図１２は、第４の実施形態に係る各装置の機能構成例を示すブロック図である。第４の実施形態では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第４の実施形態では、以下に示す基準物体色検出部４０２、分光分布算出部４０４以外の機能及び構成、処理については第１の実施形態と同様である。

図１２に示すように、制御装置４００は、通信部１０１と、基準物体色検出部４０２と、記憶部１０３と、分光分布算出部４０４とを有する。なお、上記各部については、これらの一部又は全部がソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。

本実施形態では、単一種類の物体ではなく複数種類の物体の見え方を、映像コンテンツと視聴空間とで一致させるように、視聴空間の分光分布を決定する。すなわち、基準物体色検出部４０２は、複数種類の基準物体を検出し、各基準物体の基準物体色を検出する。なお、各基準物体や各基準物体色の検出手法については、第１の実施形態と同様である。

分光分布算出部４０４は、照明装置７０の分光分布を算出する。より具体的には、分光分布算出部４０４は、基準物体色検出部４０２によって検出された複数種類の基準物体の基準物体色を、任意の表色系や色空間上の色座標へ変換する。任意の表色系や色空間上の色座標へ変換する手法については、第１の実施形態と同様である。そして、分光分布算出部４０４は、発光体分光分布と、物体分光反射率とから、照明装置７０の各発光体で照射された場合に各基準物体が示す色を演算する。

続いて、分光分布算出部４０４は、基準物体色検出部４０２によって検出された複数種類の基準物体の基準物体色と、各発光体で照射された場合に各基準物体が示す色と、複数種類の基準物体に対する重み係数とから、照明装置７０の各発光体の発光強度を算出する。例えば、照明装置７０の各発光体の発光強度をａ（ｉ）（１≦ｉ≦ｎ）とし、ｋ種類の基準物体の基準物体色を（Ｘ_ｍ（ｊ），Ｙ_ｍ（ｊ），Ｚ_ｍ（ｊ））（１≦ｊ≦ｋ）とする。また、発光体ｎで照射された場合にｋ種類の各基準物体が示す色を（Ｘ（ｊ，ｉ），Ｙ（ｊ，ｉ），Ｚ（ｊ，ｉ））（１≦ｉ≦ｎ，１≦ｊ≦ｋ）とし、ｋ種類の基準物体に対する重み係数をα（ｊ）（１≦ｊ≦ｋ）とする。これらから、発光強度ａ（ｉ）は、（数９）により求めることができる。

例えば、（数９）を満たすａ（ｉ）（１≦ｉ≦ｎ）を算出する方法は、一般的な拘束条件付きの最適化問題を解けば良い。また、条件を満たす発光強度ａ（ｉ）は、勾配法や焼きなまし法のような一般的な最適化法を用いて求めることができる。なお、重み係数α（ｊ）については、予め設定された値でも良いし、映像コンテンツの１フレーム又は全フレームに含まれる基準物体の数や面積（映像コンテンツに占める割合）に応じて決定された値でも良い。例えば、重み係数α（ｊ）は、１フレーム又は全フレームに含まれる基準物体の数が多いほど大きい値とする。また、重み係数α（ｊ）は、１フレーム又は全フレームに含まれる基準物体の面積が大きいほど大きい値とする。

その後、分光分布算出部４０４は、照明装置７０の各発光体の分光分布と、算出した各発光体の発光強度とから、照明装置７０の照明分光分布を算出する。照明分光分布の算出については、第１の実施形態と同様である。また、算出された照明分光分布は、通信部１０１を介して、照明装置７０に対して送信される。

次に、図１３を用いて、第４の実施形態に係る制御装置４００の全体処理の流れを説明する。図１３は、第４の実施形態に係る制御装置４００の全体処理の流れの例を示すフローチャートである。なお、図１３では、第１の実施形態に係る全体処理と同様の処理については説明を省略する。具体的には、ステップＳ４０１は、ステップＳ１０２における処理と同様である。また、ステップＳ４０７及びステップＳ４０８は、ステップＳ１０８及びステップＳ１０９における処理と同様である。

図１３に示すように、基準物体色検出部４０２は、映像コンテンツに含まれる複数の基準物体を検出する（ステップＳ４０２）。そして、基準物体色検出部４０２は、検出した複数の基準物体の検出領域それぞれにおいて、任意の色空間における分布密度を算出し、分布密度がより大きくなる分布点の色を各基準物体色として検出する（ステップＳ４０３）。

分光分布算出部４０４は、基準物体色検出部４０２によって検出された各基準物体色を、任意の表色系や色空間上の色座標へ変換する（ステップＳ４０４）。そして、分光分布算出部４０４は、発光体分光分布と、各基準物体に対応する物体分光反射率それぞれとから、照明装置７０の各発光体で照射された場合に各基準物体が示す色それぞれを算出する（ステップＳ４０５）。

続いて、分光分布算出部４０４は、基準物体色検出部４０２によって検出された複数種類の基準物体の基準物体色と、各発光体で照射された場合に各基準物体が示す色と、複数種類の基準物体に対する重み係数とから、照明装置７０の各発光体の発光強度を算出する（ステップＳ４０６）。

本実施形態によれば、視聴空間に存在する複数種類の基準物体の色の見え方を映像コンテンツの色と一致させるように、視聴空間の照明の分光分布を算出するので、映像コンテンツと視聴空間とにおける物体の色の見え方の不一致を抑制することができる。この結果、ユーザが映像コンテンツを視聴する場合に、臨場感をより向上させることができる。

（第５の実施形態）
図１４は、第５の実施形態に係る各装置の機能構成例を示すブロック図である。第５の実施形態では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第５の実施形態では、以下に示す基準物体色検出部５０２、分光分布算出部５０４、決定部５０８、撮像装置９０以外の機能及び構成、処理については第１の実施形態と同様である。

図１４に示すように、制御装置５００は、通信部１０１と、基準物体色検出部５０２と、記憶部１０３と、分光分布算出部５０４と、決定部５０８とを有する。なお、上記各部については、これらの一部又は全部がソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。また、撮像装置９０は、視聴空間を撮像するカメラや通信インタフェースを有し、視聴空間の撮像によって得られた静止画や動画等であるカメラ信号を制御装置５００に対して送信する。かかるカメラ信号の静止画や動画像には、一部に視聴空間の基準物体が含まれる。

基準物体色検出部５０２は、映像コンテンツのデータに含まれる基準物体の基準物体色と、カメラ信号に含まれる基準物体の基準物体色とを検出する。より具体的には、基準物体色検出部５０２は、通信部１０１を介して、映像コンテンツのデータと、カメラ信号とを取得する。そして、基準物体色検出部５０２は、映像コンテンツの各フレームから基準物体の検出領域を決定し、検出領域において分布密度を算出して、分布密度がより大きくなる分布点の色を基準物体色として検出する。

また、基準物体色検出部５０２は、カメラ信号の静止画や動画の各フレームに含まれる基準物体の検出領域を決定し、検出領域において分布密度を算出して、分布密度がより大きくなる分布点の色を基準物体色として検出する。すなわち、基準物体色検出部５０２は、映像コンテンツと、カメラ信号とのそれぞれに含まれる基準物体の基準物体色を検出する。これらの基準物体や基準物体色を検出する手法については、第１の実施形態と同様である。基準物体色検出部５０２は、映像コンテンツの基準物体色を分光分布算出部５０４に対して送信し、カメラ信号の基準物体色を決定部５０８に対して送信する。

決定部５０８は、照明分光分布の算出に利用する物体分光反射率を決定する。より具体的には、決定部５０８は、撮像装置９０によって撮像された時点で発光体を制御している照明分光分布を分光分布算出部５０４から取得する。すなわち、分光分布算出部５０４から取得する照明分光分布は、分光分布算出部５０４により直近に算出された照明分光分布であり、照明装置７０が現時点で照射している分光分布である。そして、決定部５０８は、基準物体色検出部５０２によって検出されたカメラ信号の基準物体色と、取得した照明分光分布と、記憶部１０３に記憶された各物体の物体分光反射率とから、視聴空間の基準物体色に最適な物体分光反射率を決定する。

詳細には、決定部５０８は、取得した照明分光分布と、記憶部１０３に記憶された各物体の物体分光反射率とから、該照明分光分布で照射された場合の各物体の色それぞれを算出する。そして、決定部５０８は、取得した照明分光分布で照射された場合の各物体の色それぞれと、カメラ信号の基準物体色との色差がより小さくなるときの物体分光反射率を、新たな物体分光反射率として決定する。例えば、記憶部１０３に記憶された物体分光反射率をＯ（λ）とし、取得した照明分光分布をＰ（λ）とする。そして、記憶部１０３に記憶された物体分光反射率に対応する物体に対し、視聴空間において照明を照射された場合の色（Ｘ，Ｙ，Ｚ）は、（数１０）により求めることができる。

これらから、決定部５０８は、求めた（Ｘ，Ｙ，Ｚ）とカメラ信号の基準物体色とについて、ｘｙ色度空間やｕｖ色度空間上での距離を算出し、距離がより小さくなる物体に対応する物体分光反射率を、新たな物体分光反射率として決定する。つまり、決定部５０８は、該当する物体に対応する物体分光反射率を、記憶部１０３に記憶された物体分光反射率のデータから選択することで、新たな物体分光反射率を決定する。決定部５０８は、決定した物体分光反射率を分光分布算出部５０４に対して送信する。

分光分布算出部５０４は、照明装置７０の分光分布を算出する。より具体的には、分光分布算出部５０４は、基準物体色検出部５０２によって算出された映像コンテンツの基準物体色と、発光体分光分布と、決定部５０８によって決定された物体分光反射率とをもとに、照明分光分布を算出する。照明分光分布の算出方法については、第１の実施形態と同様である。なお、適切な物体分光反射率を決定部５０８に決定させるために、分光分布算出部５０４は、算出した照明分光分布を保持しておき、必要に応じて決定部５０８に対して送信する。

次に、図１５を用いて、第５の実施形態に係る制御装置５００の全体処理の流れを説明する。図１５は、第５の実施形態に係る制御装置５００の全体処理の流れの例を示すフローチャートである。なお、図１５では、第１の実施形態に係る全体処理と同様の処理については説明を省略する。具体的には、ステップＳ５０３及びステップＳ５０４は、ステップＳ１０４及びステップＳ１０５における処理と同様である。また、ステップＳ５０７〜ステップＳ５０９は、ステップＳ１０７〜ステップＳ１０９における処理と同様である。

図１５に示すように、通信部１０１は、表示装置５０によって送信された映像コンテンツのデータと、撮像装置９０によって送信されたカメラ信号とを受信する（ステップＳ５０１）。基準物体色検出部５０２は、映像コンテンツに含まれる基準物体を検出するとともに、カメラ信号に含まれる基準物体色を検出する（ステップＳ５０２）。

また、決定部５０８は、撮像装置９０によって撮像された時点で発光体を制御している照明分光分布を分光分布算出部５０４から取得し、基準物体色検出部５０２によって検出されたカメラ信号の基準物体色と、取得した照明分光分布と、記憶部１０３に記憶された各物体の物体分光反射率とから、新たな物体分光反射率を決定する（ステップＳ５０５）。また、分光分布算出部５０４は、発光体分光分布と、決定部５０８によって決定された物体分光反射率とから、照明装置７０の各発光体で照射された場合に基準物体が示す色を算出する（ステップＳ５０６）。

本実施形態によれば、視聴空間を撮像した画像データの色をもとに、物体分光反射率を決定するので、視聴空間に存在する任意の物体の分光反射率が、記憶されている分光反射率と異なる場合であっても、映像コンテンツと視聴空間とにおける任意の物体の色の見え方の不一致を抑制することができる。この結果、基準物体の色の個体差が大きい場合であっても、ユーザが映像コンテンツを視聴する場合に、臨場感を向上させることができる。

（第６の実施形態）
図１６は、第６の実施形態に係る各装置の機能構成例を示すブロック図である。第６の実施形態では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第６の実施形態では、以下に示す基準物体色検出部６０２、撮像装置９０以外の機能及び構成、処理については第１の実施形態と同様である。

図１６に示すように、制御装置６００は、通信部１０１と、基準物体色検出部６０２と、記憶部１０３と、分光分布算出部１０４とを有する。なお、上記各部については、これらの一部又は全部がソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。また、撮像装置９０は、視聴空間を撮像するカメラや通信インタフェースを有し、視聴空間の撮像によって得られた静止画や動画等であるカメラ信号を制御装置６００に対して送信する。かかるカメラ信号の静止画や動画には、一部に視聴空間の基準物体が含まれる。

基準物体色検出部６０２は、映像コンテンツのデータに含まれる基準物体の基準物体色と、カメラ信号に含まれる基準物体の基準物体色とを検出し、新たな基準物体色を算出する。より具体的には、基準物体色検出部６０２は、通信部１０１を介して、映像コンテンツのデータと、カメラ信号とを取得する。そして、基準物体色検出部６０２は、映像コンテンツの各フレームから基準物体の検出領域を決定し、検出領域において分布密度を算出して、分布密度がより大きくなる分布点の色を基準物体色として検出する。

また、基準物体色検出部６０２は、カメラ信号の静止画や動画の各フレームに含まれる基準物体の検出領域を決定し、検出領域において分布密度を算出して、分布密度がより大きくなる分布点の色を基準物体色として検出する。すなわち、基準物体色検出部６０２は、映像コンテンツと、カメラ信号とのそれぞれに含まれる基準物体の基準物体色を検出する。これらの基準物体や基準物体色を検出する手法については、第１の実施形態と同様である。そして、基準物体色検出部６０２は、映像コンテンツから検出した基準物体色と、カメラ信号から検出した基準物体色とをαブレンドすることにより、新たな基準物体色を算出する。基準物体色検出部６０２は、算出した新たな基準物体色を分光分布算出部１０４に対して送信する。

次に、図１７を用いて、第６の実施形態に係る制御装置６００の全体処理の流れを説明する。図１７は、第６の実施形態に係る制御装置６００の全体処理の流れの例を示すフローチャートである。なお、図１７では、第１の実施形態に係る全体処理と同様の処理については説明を省略する。具体的には、ステップＳ６０４〜ステップＳ６０８は、ステップＳ１０５〜ステップＳ１０９における処理と同様である。

図１７に示すように、通信部１０１は、表示装置５０によって送信された映像コンテンツのデータと、撮像装置９０によって送信されたカメラ信号とを受信する（ステップＳ６０１）。基準物体色検出部６０２は、映像コンテンツに含まれる基準物体を検出するとともに、カメラ信号の静止画や動画に含まれる基準物体を検出する（ステップＳ６０２）。そして、基準物体色検出部６０２は、検出した各基準物体の各基準物体色を検出し、双方の基準物体色をαブレンドすることにより、新たな基準物体色を算出する（ステップＳ６０３）。

本実施形態によれば、映像コンテンツの基準物体色と、視聴空間を撮像した画像データの色とをαブレンド等を行なうことにより、新たな基準物体色を算出するので、映像コンテンツが表示される環境により、映像コンテンツの物体の色が変化している場合であっても、映像コンテンツと視聴空間とにおける任意の物体の色の見え方の不一致を抑制することができる。

（第７の実施形態）
さて、これまで制御装置及び照明システムの実施形態について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されて良い。そこで、（１）色補正、（２）出力制御値の補正、（３）構成、について異なる実施形態を説明する。

（１）色補正
上記実施形態では、照明装置７０の各発光体で照射された場合に基準物体が示す色の色域内に、基準物体色が包含されない場合に、該色域内に包含されるように、基準物体色を色相方向にマッピングする色補正を行なう場合を例に挙げて説明した。かかる色補正の手法については、上記実施形態の例に限られるものではない。

図８を用いて説明すると、補正部２０５は、基準物体の色域に包含されない基準物体色の色度座標から、基準物体の色域に対して引いた垂線上にマッピングすることにより、色補正を行なう。なお、かかる垂線は、等色温度線である。上記実施形態と同様に、基準物体が示す色の色域内に包含されるようにマッピングする。また、垂線と色域の境界との交点、すなわち最短距離となる色座標の点にマッピングすることにより、大幅に色を変化させることなく色補正することができる。上記の他にも、補正前の基準物体色と補正後の基準物体色である補正基準物体色との色差がより小さくなるように、基準物体色の色補正を行なうことにより、色の変化を抑制しつつ色補正を行なうことができる。

（２）出力制御値の補正
また、本実施形態では、表示装置５０と照明装置７０との出力制御値を補正することもできる。例えば、映像コンテンツをもとに検出した基準物体の色と、撮像装置９０から取得した撮像画像に含まれる映像コンテンツをもとに検出した基準物体の色が一致するように、表示装置５０の出力制御値を補正する。なお、映像コンテンツを、撮像画像に含まれる映像コンテンツの形状に幾何変換し、全体の色から表示装置５０の出力制御値を補正しても良い。また、例えば、照明分光分布が示す色と、撮像画像に含まれる照明装置７０が照射する照明の色とが一致するように、照明装置７０の出力制御値を補正する。なお、上記実施形態において、表示装置５０が映像コンテンツを表示するときの色の濃淡や明暗等の所定の特性をもとに、照明分光分布を求めるようにしても良い。

（３）構成
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメータ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した制御装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合することができる。例えば、制御装置１００と照明装置７０とを統合した照明装置として実現しても良い。かかる照明装置が有する各機能については上述してきた実施形態と同様である。また、例えば、表示装置５０が有する表示部５３は、ディスプレイでなくても良く、スクリーン等の投影面に映像コンテンツを投影するようにしても良い。また、例えば、上述してきた制御装置で実行される各機能は、一部又は全てをクラウドコンピューティングにより実現することもできる。

また、上記実施形態に係る制御装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることで実現することが可能である。実行されるプログラムは、上述してきた各機能を含むモジュール構成となっている。プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ＲＯＭ等に予め組み込んで提供しても良い。

また、上述してきた実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 照明システム
５０ 表示装置
５１ 記憶部
５２ 表示制御部
５３ 表示部
５４ 通信部
７０ 照明装置
７１ 通信部
７２ 光源制御部
７３ 光源
１００ 制御装置
１０１ 通信部
１０２ 基準物体色検出部
１０３ 記憶部
１０４ 分光分布算出部

Claims (13)

1. 映像コンテンツに含まれる画像データと、前記映像コンテンツが表示される視聴空間とで共通する任意の物体を表す基準物体の色を表す基準物体色を、前記画像データから検出する基準物体色検出部と、
   検出された前記基準物体色と、前記視聴空間に光を照射する照明装置の光源が有する発光体の分光分布を表す発光体分光分布と、前記基準物体の分光反射率とから、前記発光体を制御するための分光分布を表す照明分光分布を算出する分光分布算出部と
   を有する制御装置。
2. 前記発光体で照射された場合に、前記基準物体の色域内に、検出された前記基準物体色が包含されるか否かを判定する判定部と、
   前記色域内に前記基準物体色が包含されないと判定された場合に、前記色域内に包含されるように前記基準物体色を補正する補正部と、をさらに有し、
   前記分光分布算出部は、補正された前記基準物体色に基づいて、前記照明分光分布を算出する請求項１に記載の制御装置。
3. 前記補正部は、前記色域内に包含されない前記基準物体色を、前記色域内に包含される所定色の色相方向にマッピングすることにより補正する請求項２に記載の制御装置。
4. 前記補正部は、前記色域内に包含されない前記基準物体色を、前記基準物体色の色度座標、及び、前記色域内の白色点を結ぶ直線と、前記色域の境界との交点にマッピングすることにより補正する請求項２又は３に記載の制御装置。
5. 前記補正部は、前記色域内に包含されない前記基準物体色を、前記基準物体色の色度座標から前記色域に対して引いた垂線上にマッピングすることにより補正する請求項２に記載の制御装置。
6. 前記補正部は、補正前の前記基準物体色と、補正後の前記基準物体色との色差がより小さくなるように補正する請求項２に記載の制御装置。
7. 前記基準物体色検出部は、さらに、前記基準物体が前記映像コンテンツに占める割合を表す検出情報を検出し、
   前記映像コンテンツに含まれる基準光源の色を表す基準光源色と、前記基準光源が前記映像コンテンツに占める割合を表す光源検出情報とを検出する基準光源検出部と、
   検出された前記検出情報と前記光源検出情報とをもとに、前記照明分光分布を算出するためのパラメータを表す制御パラメータを算出する制御値算出部と、をさらに有し、
   前記分光分布算出部は、検出された前記基準光源色と、算出された前記制御パラメータとから、前記照明分光分布を算出する請求項１に記載の制御装置。
8. 前記基準物体色検出部は、複数の前記基準物体に対応する前記基準物体色それぞれを、前記画像データから検出し、
   前記分光分布算出部は、検出された複数の前記基準物体色と、前記発光体分光分布と、複数の前記基準物体の分光反射率と、それぞれの前記基準物体に対する重み係数とから、前記照明分光分布を算出する請求項１に記載の制御装置。
9. 前記基準物体色検出部は、前記視聴空間を撮像した撮像画像データから前記基準物体色を検出し、
   前記撮像画像データから検出された前記基準物体色と、撮像された時点で前記発光体を制御している前記照明分光分布と、各物体の前記分光反射率とから、前記基準物体の分光反射率を決定する決定部をさらに有し、
   前記分光分布算出部は、決定された前記物体分光反射率に基づいて、前記照明分光分布を算出する請求項１に記載の制御装置。
10. 前記決定部は、撮像された時点で前記発光体を制御している前記照明分光分布で照射された場合の各物体の色を算出し、算出した各物体の色と、前記撮像画像データから検出された前記基準物体色との差異がより小さくなるときの分光反射率を、前記基準物体の分光反射率として決定する請求項９に記載の制御装置。
11. 前記基準物体色検出部は、前記視聴空間を撮像した撮像画像データから前記基準物体色を検出し、前記撮像画像データから検出した前記基準物体色と、前記画像データから検出した前記基準物体色とに基づいて、新たな基準物体色を算出する請求項１に記載の制御装置。
12. 前記基準物体色検出部は、前記撮像画像データから検出した前記基準物体色と、前記画像データから検出した前記基準物体色とをαブレンドすることにより、新たな基準物体色を算出する請求項１１に記載の制御装置。
13. 表示装置、制御装置及び照明装置を有する照明システムであって、
    前記表示装置は、
    映像コンテンツを表示部に表示するための制御を実行する表示制御部と、
    前記表示部に表示されている映像コンテンツに含まれる画像データを、前記制御装置に対して送信する送信部と、を有し、
    前記制御装置は、
    前記表示装置によって送信された前記画像データを受信する受信部と、
    前記画像データと、前記映像コンテンツが表示される視聴空間とで共通する任意の物体を表す基準物体の色を表す基準物体色を、前記画像データから検出する基準物体色検出部と、
    検出された前記基準物体色と、前記視聴空間に光を照射する前記照明装置の光源が有する発光体の分光分布を表す発光体分光分布と、前記基準物体の分光反射率とから、前記発光体を制御するための分光分布を表す照明分光分布を算出する分光分布算出部と、を有し、
    前記照明装置は、
    分光分布が異なる複数の発光体を有する光源と、
    前記制御装置によって算出された前記照明分光分布に基づいて、前記光源が有する各発光体の発光を制御する光源制御部と
    を有する照明システム。

Images