JP2017068764A - 照明情報取得装置、照明復元装置、およびこれらのプログラム - Google Patents

Abstract

【課題】より自然な照明の状況でＣＧのレンダリングを行うための照明情報取得装置、照明復元装置、およびプログラムを提供する。
【解決手段】照明情報取得装置において、画像取得部は、３次元空間における複数の位置に設けられたカメラで撮影した画像を取得する。照明領域分離部は、取得した前記画像に含まれる画素の画素値に基づいて、３次元空間における照明の領域を特定する。照明情報推定部は、照明領域分離部によって特定された照明の領域の各々について、代表位置と輝度値とサイズとを拡散反射成分用照明情報として推定する。画像出力部は、画像取得部が取得した画像を鏡面反射成分用照明情報として出力する。
【選択図】図１

Description

本発明は、映像等を撮影する場所における照明の情報を取得する照明情報取得装置、照明情報に基づいて照明を復元する照明復元装置、およびこれらのプログラムに関する。

映像コンテンツを制作する場合に、実写映像とコンピューターグラフィクス（ＣＧ，computer graphics）とを合成する技術が用いられる場合がある。このような技術を用いて、実写映像とＣＧとを合成して映像を制作することにより、映像表現の幅が広がることが期待される。

特許文献１には、２個の撮像手段を用いて、拡散反射光成分画像と鏡面反射光成分画像と光源情報を生成する手法が記載されている。具体的には、拡散反射光成分画像生成部は、２つの撮像画像での対応画素のうちの輝度値が小さい方を最小輝度値として選択して、対応画素ごとの最小輝度値を示す拡散反射光成分画像を生成する。また、鏡面反射光成分画像生成部は、２つの撮像画像での対応画素のうちの輝度値が大きい方を最大輝度値として選択し、対応画素ごとに、最大輝度値と最小輝度値との差分を示す鏡面反射光成分画像を生成する。また、光源情報生成部は、被写体での反射光の入射角を基に光源の方向を得るとともに、上記の鏡面反射光成分画像とこの光源方向とから、光源の光量を算出している。

特許文献２には、実写映像とＣＧとを合成する際に求められる、カメラのキャリブレーションのための技術構成が記載されている。この先行技術を用いることにより、カメラの姿勢や、ズームレンズのズーム状態等をキャリブレーションすることができる。これにより、実写映像とＣＧとの幾何的な合成精度を高めることが期待できる。

特開２０１２−１７３９１６号公報 特開２０１０−０７４７３０号公報

特許文献１に記載の方法では、光源の形状の情報や、正確な光量の情報を得ることができないという問題がある。
また、特許文献２に記載の方法では、カメラの姿勢や、ズームレンズのズーム状態等をキャリブレーションすることができるものの、光源に関する情報を得ることはできないという問題がある。

実写映像とＣＧとを自然に合成するためには、カメラの姿勢等だけではなく、実写映像の撮影時の照明状況に関する情報をＣＧ生成時に反映させる必要がある。撮影時の照明状況に関する情報とは、具体的には、どの方向からどういった成分の光がどの程度の強さで撮影場所に到達しているかを表す情報である。これを以下では照明情報と呼ぶ。一方で、そのような照明情報を、実写映像とともにアーカイブとして保存して活用することを考慮すると、照明情報のデータ量が大きくなりすぎないことが望まれる。

本発明は、上記のような事情を考慮して為されたものであり、より自然な照明の状況でＣＧのレンダリングを行い、実写映像とＣＧとを合成できるようにするための照明情報取得装置、照明復元装置、およびこれらのプログラムを提供しようとするものである。

上記の課題を解決するため、本発明の一態様による照明情報取得装置は、３次元空間における複数の位置に設けられたカメラで撮影した画像を取得する画像取得部と、取得した前記画像に含まれる画素の画素値に基づいて、前記３次元空間における照明の領域を特定する照明領域分離部と、前記照明領域分離部によって特定された照明の領域の各々について、代表位置と輝度値とサイズとを拡散反射成分用照明情報として推定する照明情報推定部と、前記画像取得部が取得した前記画像を鏡面反射成分用照明情報として出力する画像出力部と、を具備することを特徴とする。

また、本発明の一態様は、上記の照明情報取得装置において、前記画像出力部は、前記画像取得部が取得した前記画像の輝度のダイナミックレンジを低くする処理をしてから前記画像を出力する、ことを特徴とする。

また、本発明の一態様は、上記の照明情報取得装置において、前記照明領域分離部は、前記画像を撮影したカメラの前記位置ごとに、前記画像に含まれる画素の画素値に基づいて当該画素に照明が写っているか否かを判定し、この判定結果に基づいて前記３次元空間に含まれ当該画素に対応する方向の領域への投票を行い、前記領域が得た投票数に応じて当該領域が前記照明の領域であるか否かを判定する、ことを特徴とする。

また、本発明の一態様は、所定のダイナミックレンジの低ダイナミックレンジ画像を鏡面反射成分用照明情報として取得するとともに、前記低ダイナミックレンジ画像よりも相対的に高いダイナミックレンジの高ダイナミックレンジ画像に基づいて推定された３次元空間内における照明の領域についての代表位置と輝度とサイズとの情報を拡散反射成分用照明情報として取得し、前記低ダイナミックレンジ画像内において輝度が飽和している部分について、当該部分に対応する代表位置を有する拡散反射成分用照明情報に含まれる前記輝度と前記サイズとの情報に基づいて、疑似的に輝度を復元する処理を行う輝度情報補填部と、前記輝度情報補填部によって輝度が復元された鏡面反射成分用照明情報を用いてコンピューターグラフィクスによる鏡面反射成分の描画を行う鏡面反射成分描画部と、を具備することを特徴とする照明復元装置である。

また、本発明の一態様は、コンピューターを、上記のいずれかの照明情報取得装置として機能させるためのプログラムである。

また、本発明の一態様は、コンピューターを、上記のいずれかの照明復元装置として機能させるためのプログラムである。

本発明によれば、照明条件に関する違和感がない状態で実写映像とＣＧとを合成することが可能となる。またそのために必要な照明情報を、効率よく蓄積し、または伝送することが可能となる。

本発明の第１実施形態による照明情報取得装置の概略機能構成を示すブロック図である。 同実施形態において照明情報を取得するための撮像装置の外観構成を示す概略図である。 同実施形態において、撮影対象の３次元空間内のボクセルと照明情報を取得するための撮像装置のカメラとの関係を模式的に示した概略図である。 同実施形態による照明情報推定部が、取得した画像を基に照明情報を推定する過程において、一部のボクセルに、カメラ（照明情報を取得するための撮像装置）に応じたラベルを付与する処理の概要を示す概略図である。 同実施形態による照明情報推定部が、ボクセルのグループのサイズを求めるために、ボクセル数以外の手段を用いる方法の概要を示す概略図である。 同実施形態により拡散反射成分用照明情報を取得する処理の手順を示すフローチャートである。 同実施形態により、照明情報を利用して照明の状況を復元する照明復元装置、およびＣＧと実写映像とを合成する合成装置の概略機能構成を示すブロック図である。 第２実施形態により拡散反射成分用照明情報を取得する方法の一部であり、ボロノイ分割によって分割された領域の輝度値をもとめる方法の例を示す概略図である。

次に、図面を参照しながら、本発明の実施形態について説明する。
［第１実施形態］
図１は、本実施形態による照明情報取得装置の概略機能構成を示すブロック図である。同図において、符号１が照明情報取得装置である。図示するように、照明情報取得装置１は、映像取得部２１（画像取得部）と、空間情報設定部２２と、照明領域分離部２３と、照明情報推定部２４と、ＬＤＲ画像分離部４１（画像出力部）と、圧縮部５０と、蓄積部５２と、伝送部５３と、を含んで構成される。

映像取得部２１は、３次元空間における複数の位置に設けられたカメラで撮影した画像（映像）を取得する。通常は、３次元空間内の複数の位置にそれぞれカメラを設置し、それらのカメラが同時に画像を取得するようにする。

空間情報設定部２２は、３次元空間内の座標系を設定する。即ち、空間情報設定部２２は、所定の座標軸（通常は、３本の互いに直交する座標軸）に基づいて、ボクセルが隙間なく配置されたボクセル空間を想定する。ボクセルについては、また、後述する。そして、空間情報設定部２２は、上記の複数のカメラが設置された位置の座標値を設定する。そして、各カメラから撮像したときの画像に含まれる各画素と、上記のボクセルとの対応付けを行う。

照明領域分離部２３は、映像取得部２１が取得した画像に含まれる画素の画素値に基づいて、前記３次元空間における照明の領域を特定する。なお、照明領域分離部２３は、画像を撮影したカメラの位置ごとに、画像に含まれる画素の画素値に基づいて当該画素に照明が写っているか否かを判定し、この判定結果に基づいて３次元空間に含まれ当該画素に対応する方向の領域への投票を行い、領域が得た投票数に応じて当該領域が照明の領域であるか否かを判定する。ここで、３次元空間における領域の最小単位が前記のボクセルである。この照明領域分離部２３における投票も、ボクセルを対象として行う。あるカメラ位置から撮影した画像に含まれる画素の画素値が予め定めた条件を満たす場合に（そして、その場合にのみ）ボクセルへの投票を行うことにより、そのボクセルの領域が照明であるか否かを推定する。

照明情報推定部２４は、照明領域分離部２３によって特定された照明の領域の各々について、代表位置（例えば、重心位置）とその領域の輝度値とその領域のサイズとを拡散反射成分用照明情報として推定する。

ＬＤＲ画像分離部４１は、映像取得部２１が取得した画像を鏡面反射成分用照明情報として出力する。なお、ＬＤＲ画像分離部４１は、映像取得部２１が取得した画像の輝度のダイナミックレンジを低くする処理をしてから画像を出力する。つまり、ＬＤＲ画像分離部４１は、高ダイナミックレンジ画像から低ダイナミックレンジ画像を生成して出力する。低ダイナミックレンジ化することにより、出力する鏡面反射成分用照明情報の情報量（データ量）を小さくすることができる。

圧縮部５０は、照明情報推定部２４が出力した拡散反射成分用照明情報と、ＬＤＲ画像分離部４１が出力した鏡面反射成分用照明情報とを、適切な方法で圧縮・符号化する。
蓄積部５２は、圧縮部５０によって符号化された情報を、記録媒体等に蓄積する。
伝送部５３は、圧縮部５０によって符号化された情報を、通信により外部の装置に伝送する。

次に、照明情報取得装置１が備える各部の、より詳細な機能および動作を説明する。
映像取得部２１は、外部の複数の撮像装置１４，１５，１６から、映像の信号を取得する。

本実施形態による照明情報取得装置１は、３台の撮像装置１４，１５，１６が撮像する映像を取り込んで、処理を行う。なお、撮像装置の台数は２台以上であれば任意であるが、特に３台以上であることが望ましい。また、撮像装置の台数が３台以上である場合において、それらのうちの３台以上が直線状に並ぶような配置を避けることが望ましい。これは、三角測量の原理を用いて照明の位置を特定する際の誤差を生じさせないため、または誤差を小さくするためである。
なお、以下の説明においては、撮像装置が３台であることを前提とした記載を行う。撮像装置の台数が異なるような実施のしかたをする場合には、適宜、その「３台」を実際の撮像装置の台数に読み替えることが必要である。

次に、上で述べた撮像装置１４，１５，１６の概略について説明する。
図２は、撮像装置１４，１５，１６のそれぞれの外観を示す概略図である。図示するように、撮像装置１４，１５，１６の各々は、ＨＤＲカメラ８１および８２と、支持手段８３とを含んで構成されている。ＨＤＲとは、ハイダイナミックレンジ（high dynamic range）の略であり、高ダイナミックレンジの撮像を行うことを表わしている。
ＨＤＲカメラ８１および８２の各々は、１４０デシベル（ｄＢ）から１７０デシベル程度の広いダイナミックレンジを有するものであり、映像機器メーカーから調達可能である。ＨＤＲカメラ８１と８２は互いに背中合わせの位置に設けられる。これにより、ＨＤＲカメラ８１と８２の撮像光軸は互いに１８０度反対方向である。ＨＤＲカメラ８１と８２の各々は、１８０度ないしはそれ以上の視野角を有する撮像レンズ（魚眼レンズ等）を備えており、広い範囲の映像を撮像する。したがって、このような２台のカメラによる撮像の範囲は全天球をカバーする。なお、各カメラの相対的な配置を明らかにするために、事前にキャリブレーション処理を行っておく。ＨＤＲカメラ８１および８２が撮影した映像の信号は、ケーブルを介して照明情報取得装置１に供給される。
支持手段８３は、例えば三脚等である。支持手段８３がＨＤＲカメラ８１および８２を支持することにより、ＨＤＲカメラ８１および８２を所望の位置の所望の高さに設置することができる。

なお、ＨＤＲカメラ８１，８２として、単体でＨＤＲ映像を撮影可能なカメラを用いる代わりに、時分割で露光量を変化させて撮影した画像を統合することによってＨＤＲ映像を生成するようにしても良い。

次に、反射成分ごとに、照明情報を取得する方法の詳細を説明する。ここで、反射成分とは、コンピューターグラフィクス（ＣＧ）における鏡面反射成分と拡散反射成分の２種類である。これら２種類の反射成分は、取得した照明情報を用いて後でＣＧの描画を行う際の利用のしかたが異なるものである。鏡面反射とは、物に対して、一方向から入射する光が一方向に出射するような反射である。拡散反射とは、物に対して、一方向から入射する光が様々な方向に出射するような反射である。通常、物に対して入射する光の反射は、鏡面反射成分と拡散反射成分とが重畳したものである。

まず、鏡面反射成分は、ＣＧにおけるオブジェクト等において鏡面反射する成分であり、オブジェクト等への周囲の映り込みなどを表現するためのものである。この鏡面反射成分の情報を適切に取得することによって、違和感のない映り込みを表現することができる。本実施形態で取得する鏡面反射成分は各撮像装置（１４，１５，１６）において撮像する全天球映像である。

そして、拡散反射成分は、ＣＧにおけるオブジェクト等において拡散反射する成分である。拡散反射成分の情報としては、３次元空間における光源（照明等）の位置や、輝度や、光源のサイズ等の情報である。なお、映像等を撮影するための環境において、普通に（ＨＤＲカメラではない）ＬＤＲ（low dynamic range）のカメラを用いて撮影すると、光源が映っている部分の画素値が飽和してしまう。したがってその場合、拡散反射成分の情報の一部として必要な輝度の情報を正しく得ることができない。したがって、拡散反射成分の情報を得るためには、前述のＨＤＲカメラの映像を使用する。

以下では、拡散反射成分用照明情報の取得について詳細に説明し、その後、鏡面反射成分用照明情報の取得について説明する。

（１）拡散反射成分用照明情報の取得
照明情報取得装置１は、撮像装置１４，１５，１６からそれぞれ取得した３つの全天球ＨＤＲ画像を利用して、それらの画像から、次に述べる方法によって拡散反射成分用の照明情報を取得する。

空間情報設定部２２は、映像撮影における３次元空間にボクセル（voxel）を設定する。空間情報設定部２２がボクセルを設定する空間は、撮像装置１４，１５，１６を含み、また照明（光源）をも含むものである。なお、ボクセルとは、３次元空間に座標軸を設定したときの、各座標軸における長さの最小単位によってなる３次元の格子単位である。本実施形態は、３次元の直交座標系を用いており、またそれらの３つの座標軸における長さの単位は同一である。空間情報設定部２２は、この後説明する処理において、空間の分解能を充分に得られる程度のサイズで、ボクセルを設定する。このボクセルの設定の作業において、空間情報設定部２２は、具体的には、映像撮影の現場における３つの直交する座標軸の方向を定め、その座標系の原点を定め、その座標系における単位長さを設定し、その座標系における撮像装置１４，１５，１６それぞれの位置の座標を把握（例えば、外部からの入力による）する。そして、空間情報設定部２２は、撮像装置１４，１５，１６の各々が有する２台のＨＤＲカメラ（符号８１と８２）のそれぞれについて、撮像面における画素と、当該画素からカメラのレンズ主点とを結んだ直線を延長した先にあるすべてのボクセルとを対応付ける。このとき、必ずしも、ある画素に対応するボクセルの座標値をすべて記憶する必要はなく、例えば、ある画素に対応するボクセルの座標値を算出するための情報を記憶することで充分である。一例としては、空間情報設定部２２は、ある画素について、その画素とレンズ主点を結んだ直線の方程式の係数を記憶する。あるいは、カメラの光学的特性（例えば、カメラのレンズの焦点距離又は画角の情報）およびそのカメラの設置状況（カメラのレンズの主点の位置の座標と、そのカメラの向きを表すベクトルの値）をデータとして記憶し、上記直線の方程式の係数を算出できるようにしても良い。

図３は、３次元空間内のボクセルと撮像装置のカメラとの関係を模式的に示した概略図である。同図に示す格子が、３次元空間内の多数のボクセルを示している。なお、実際のボクセルは３次元の立方体の形の空間であるが、同図上では射影して２次元の正方形として表わしている。また、同図におけるＣａｍ１，Ｃａｍ２，Ｃａｍ３は、それぞれ、撮像装置１４，１５，１６が備えるＨＤＲカメラのひとつ（ＨＤＲカメラ８１またはＨＤＲカメラ８２のいずれか）である。同図では、各カメラの構成のうち、レンズの部分を模式的に図示している。そして、各カメラのレンズの主点から伸びる１組の直線は、カメラ内の撮像素子におけるひとつの画素に対応する、３次元空間内の部分を示している。この部分空間は、理屈の上では十分な長さ（高さ）を有する錐体の形状を有する。言い換えれば、カメラ内の撮像素子におけるひとつの画素に対応する空間は、そのカメラのレンズからの距離に応じて（つまり、遠ざかれば遠ざかるほど）、広がるものである。同図においては、ＨＤＲカメラＣａｍ１，Ｃａｍ２，Ｃａｍ３のそれぞれから伸びる部分空間（錐体形状）は、格子で示されているボクセルのうちの一つにおいて交わっている。つまり、３次元空間内のあるボクセルは、３つのＨＤＲカメラのそれぞれにおけるある画素に対応している。そして、各ＨＤＲカメラにおける画素と３次元空間におけるボクセルとは、前述した通りに空間情報設定部２２が設定した情報によって対応付けて求めることができる。

ここで、以下の処理において述べる輝度値および画素値に関するバリエーションについて説明する。撮像装置１４，１５，１６が撮影する映像は、カラー映像である。その映像を基に、照明情報を取得する方法は、典型的には、次の３通りである。以下の処理では、これら３通りのいずれかを用いる。
（１）ＲＧＢ（緑、青、赤）の三原色で表される色空間について、ＲＧＢのそれぞれについて以下で説明する処理を行い、ＲＧＢの各色について拡散反射成分用照明情報を取得する。
（２）ＲＧＢ等で表される画像を、所定の計算式によってグレースケールの値に変換し、そのグレースケールの値を基に、拡散反射成分用照明情報を取得する。なお、カラーの画像をグレースケールの画像に変換するための式としては、既存技術によるものを用いる。なお、そのような式は何種類か存在するが、適切なものを選択して用いるようにする。
（３）輝度信号と色差信号とで表される色空間において、輝度を表す値のみについて、以下で説明する処理を行い、ＲＧＢの各色について、拡散反射成分用照明情報を取得する。輝度信号と色差信号とで表される色空間とは、例えば、ＹＵＶや、ＹＣｂＣｒや、ＹＰｂＰｒなどといった色空間である。

照明領域分離部２３は、撮像装置１４，１５，１６で得られた画像から、照明である部分を推定する。また、照明領域分離部２３は、照明であると推定された部分を適切にグループ化する。そのために、照明領域分離部２３は、次に述べる処理を行う。
即ち、照明領域分離部２３は、３つの撮像装置１４，１５，１６から得られる画像に基づいて、それら画像内の各画素のうち、照明であると見なし得る像の一部である画素を特定する。そして、照明領域分離部２３は、照明であると見なされた画素に対応する上記の部分空間（錐体形状）に含まれるボクセルに対する投票を行う。具体的には、照明領域分離部２３は、取得した映像のある１フレームに含まれる画素のうち、その画素に対応するボクセルの輝度値が所定の閾値Ｔｈを超えた場合に、閾値Ｔｈを超える輝度値を有するそれらのボクセルに１票ずつを投票していく。

ここで、画素に対応するボクセルの輝度値とは、撮像した画像のデータにおけるその画素の画素値から、そのＨＤＲカメラが作動するときの特性である関数ｆ（ｘ）と、そのＨＤＲカメラのレンズの主点から被写体までの距離に応じて求め得る値である。画像データにおける画素の画素値とボクセルの輝度値との関係は、次の式（１）で表される。

この式において、Ｌは、被写体（ボクセル）の輝度値である。また、ｒは、当該ＨＤＲカメラから被写体（ボクセル）までの距離である。また、ｆ（ｘ）は、ＨＤＲのカメラに入射する光の光量を入力とし、その光による画素値を出力する関数である。そして、Ｐは、画素の照度に比例した画素値（画素の画素信号の値、すなわち輝度の値）である。関数ｆ（ｘ）は、単調増加関数である。つまり、上の式（１）において、（Ｌ／ｒ＾２）の値が大きくなればなるほど、Ｐの値も大きくなる。つまり、距離ｒが変化しない条件下では、ボクセルの輝度Ｌの値が大きくなればなるほど画素の画素値Ｐは大きくなる。関数ｆ（ｘ）は、ＨＤＲカメラのレンズに入射する光量と画素値とを計測することによって事前に求めておくことができる関数であり、入射光量と画素値との関係を表す関数である。式（１）に基づいて画素の画素値Ｐから逆にボクセルの輝度値Ｌを求めるためには、照明領域分離部２３は、次の式（２）による計算を行う。

ここで関数ｆ^−１（ｘ）は、ｆ（ｘ）の逆関数である。上と同様に、ＨＤＲカメラのレンズに入射する光量と画素値とを計測することによって、ｆ^−１（ｘ）を事前に求めておく。

前記の閾値Ｔｈの決め方の一例は、次の通りである。例えば、ＨＤＲカメラによる画素値を、０〜１６７７７２１５とする。１６７７７２１５は、２＾２４−１である。そして、通常のカメラ（ＬＤＲカメラ）による画素値に対応する範囲が、上記の０〜１６７７７２１５のうちの２５６〜６５５３５であるとする。６５５３５は、２＾１６−１である。このような場合、例えば、（ｒ＾２）・ｆ^−１（６５５３５）を、閾値Ｔｈとする。なお、ここに記した閾値の決め方は単に一例であり、他の閾値を適宜定めても良い。

照明領域分離部２３は、３台の撮像装置１４，１５，１６のそれぞれによる天球ＨＤＲ画像のすべての画素についてボクセルへの投票の処理が完了した後に、投票結果の評価を行う。照明領域分離部２３は、投票数が所定の閾値以上であるボクセルをボクセル集合ｖ_ｌに属するものとして抽出する。撮像装置の台数が３であるため、ここでは、この投票数の閾値（以下において、「投票数閾値」と呼ぶ場合がある）を３とする。なお、１台の撮像装置（１４，１５，１６のいずれか）から、あるボクセルへの投票数は最大で１であることを前提とする。そのために、単一の撮像装置内の複数の画素から同一のボクセルへの投票が生じるような計算結果となる場合に、投票時において、単一の撮像装置内からの投票数の上限を１に制約するような処理を行っても良い。
なお、ここでは投票数閾値を３としており、つまりすべての撮像装置によって投票されたボクセルを照明であると推定しているが、投票数閾値として３以外の値（撮像装置の代数以外の数値）を適宜定めるようにしても良い。

次に、照明領域分離部２３は、ボクセル集合ｖ_ｌに属するボクセルのグループ化を行う。具体的には、照明領域分離部２３は、ボクセルｖ_ｓ（ｖ_ｓ∈ｖ_ｌ）について、隣接するボクセルｖ_ｎもまた集合ｖ_ｌの要素であるか否か、即ちｖ_ｎ∈ｖ_ｌであるか否かを判定する。ｖ_ｎ∈ｖ_ｌであれば、ボクセルｖ_ｓとｖ_ｎとは同一のグループに属するものであると判定する。照明領域分離部２３は、このような判定を、ボクセル集合ｖ_ｌのすべての要素について行う。その結果、ボクセル集合ｖ_ｌに属するボクセルがグループに分類される。そして、照明領域分離部２３は、グループごとにユニークなインデックスをボクセル集合ｖ_ｌに属する各ボクセルに付与する。なお、このようなボクセルのグループは、３次元空間における１つの照明（光源）に対応している可能性が高い。

つまり、照明領域分離部２３は、取得した画像に含まれる画素の画素値に基づいて、３次元空間における照明の領域を特定する。照明の領域を特定するための処理は、まず、ボクセルを単位として前述の投票により行う。その結果、各ボクセルが照明の領域であるか否かが特定される。そして、照明領域分離部２３は、照明の領域であると特定されたボクセル同士が隣接しあっている場合、その両者を、同一の照明に対応するグループに属するボクセルであるとしてグループ化する。その結果、連続するひとかたまりのボクセルのグループが、ひとつの照明の領域として特定される。
ここまでの処理で、各ボクセルが照明に属するか否かが推定され、照明に属するボクセルがグループ化された。次に、照明情報推定部２４が、照明情報の推定を行う。

まず、照明情報推定部２４は、ボクセルに対応する輝度値を付与する。本実施形態による照明情報推定部２４は、同一グループに属する全ボクセルについて、そのボクセルへの投票を行った各ＨＤＲカメラ（撮像装置１４，１５，１６）での画素の画素値に基づいて算出されるボクセルの輝度値をすべて平均して、その平均値を当該グループに属する各ボクセルの輝度値とする。つまり、同一グループに属するボクセルは、すべて同一の輝度値を有する。ここで照明情報推定部２４は、各ボクセルに関連付ける形で、求めた輝度値を記憶させる。
なお、照明情報推定部２４は、同一グループに属する全ボクセルについての輝度値を平均する代わりに、投票を行った各ＨＤＲカメラ（撮像装置１４，１５，１６）での画素の画素値に基づいて算出される各々のボクセルの輝度値を平均して、その平均値をそのボクセルの輝度値としても良い。この場合も、照明情報推定部２４は、各ボクセルに関連付ける形で、求めた輝度値を記憶させる。

次に、照明情報推定部２４は、各グループに属するボクセルのうちの、各ＨＤＲカメラのレンズの主点から見て手前側に位置するボクセルのみに、各ＨＤＲカメラを識別するためのラベルを付加する。
図４は、照明情報推定部２４があるグループに属するボクセルのうちの一部のボクセルにＨＤＲカメラに応じたラベルを付与する処理の概要を示す概略図である。同図に示す格子が、３次元空間内の多数のボクセルを示している。なお、実際のボクセルは３次元の立方体の形の空間であるが、同図上では射影して２次元の正方形として表わしている。また、同図におけるＣａｍ１，Ｃａｍ２は、それぞれ、撮像装置１４，１５が備えるＨＤＲカメラのひとつ（ＨＤＲカメラ８１またはＨＤＲカメラ８２）である。なお、同図においては撮像装置１６を省略して示している。同図に示すボクセルのうち、「○」印、数字の「１」または「２」、または英字の「Ｂ」と記したボクセルは、これら全体でひとつのグループを構成するものである。つまり、これらの文字または記号を記したボクセルは、単一のグループに属する。また、数字の「１」または英字の「Ｂ」と記したボクセルは、カメラＣａｍ１から見て、このグループにおいて最も手前に存在するボクセルである。照明情報推定部２４は、これらのボクセルに、カメラＣａｍ１に対応するラベルを付与する。また、数字の「２」または英字の「Ｂ」と記したボクセルは、カメラＣａｍ２から見て、このグループにおいて最も手前に存在するボクセルである。照明情報推定部２４は、これらのボクセルに、カメラＣａｍ２に対応するラベルを付与する。つまり、英字の「Ｂ」と記したボクセルは、カメラＣａｍ１から見てもカメラＣａｍ２から見ても、最も手前に存在するボクセルである。照明情報推定部２４は、これらの英字の「Ｂ」と記したボクセルには、カメラＣａｍ１に対応するラベルとカメラＣａｍ２に対応するラベルの両方を付与する。そして、「○」印を記したボクセルは、当該グループに属するボクセルであるものの、カメラＣａｍ１から見てもカメラＣａｍ２から見ても、最も手前に存在するものではない。したがって、照明情報推定部２４は、「○」印を記したボクセルに、カメラＣａｍ１に対応するラベルもカメラＣａｍ２に対応するラベルも付与しない。

次に、照明情報推定部２４は、各グループの各ラベル（撮像装置１４，１５，１６に対応したラベル）ごとに、下記の属性値を求める。その属性値とは、（Ａ）重心位置と、（Ｂ）平均輝度値と、（Ｃ）グループのサイズ（ボクセル数）である。つまり、照明情報推定部２４は、各グループ（このグループは、前述の通り、一つの照明（光源）であると推定されている）の各ラベル（このラベルは、前記（推定されている）照明を見るＨＤＲカメラに対応する）の、これら属性値を、拡散反射成分用照明情報として推定する。

（Ａ）の重心位置は、当該グループに属するボクセルであって、且つ特定のラベルが付与された（つまり、特定のカメラから見て最も手前にある）ボクセルの集合の、３次元座標での重心位置である。なお、この重心を求める際、当該集合に属するボクセルの重みをすべて同一として求めても良く、またボクセルごとに異なる輝度値が付与されている場合にはその輝度値を重みとして求めても良い。この重心位置は、当該グループを代表する位置である。したがって、この重心位置を「代表位置」と呼ぶ場合がある。代表位置が、必ずしも重心位置である必要はないが、重心位置を代表位置とすることは後の処理においても望ましい。
（Ｂ）の平均輝度値は、当該グループに属するボクセルであって、且つ特定のラベルが付与されたボクセルの集合の、平均輝度値である。なお、各ボクセルに対して照明情報推定部２４が付与した輝度値に基づいて、この平均輝度値を計算する。
（Ｃ）のボクセル数は、当該グループに属するボクセルであって、且つ特定のラベルが付与されたボクセルの数である。このボクセル数は、当該グループの大きさに対応する値である。

なお、上記（Ｃ）のボクセル数の代わりに、別の方法によってグループのサイズを求めても良い。
図５は、ボクセル数以外の方法によってグループのサイズを求める方法の概要を示す概略図である。図５に示す格子は、図４に示した格子と同様のものである。また、図５に示すカメラＣａｍ１の位置は、図４に示したカメラＣａｍ１の位置と同じである。また、図５では、カメラＣａｍ２を省略している。また、図５では、図４において示していたボクセルのうち、数字の「１」または英字の「Ｂ」が記されたボクセルのみについてそれらの文字を残し、数字の「２」や「○」印を示していたボクセルについては何も記していない。つまり、当該グループに属するボクセルのうち、カメラＣａｍ１から見て最も手前に存在するボクセルのみに「１」または「Ｂ」の文字を記したものが、この図５である。そして、図５において、点Ｃは、「１」または「Ｂ」の文字を記したボクセルの重心の位置である。そして、平面Ｐ（同図においては射影しているため直線Ｐ）は、カメラＣａｍ１と重心Ｃとを結ぶ直線に垂直な平面であって、且つ重心Ｃを通るものである。また、この平面Ｐにおいて、点Ｐ１から点Ｐ２までの範囲は、「１」または「Ｂ］を記したボクセルの集合を平面Ｐ上に平行投影して得られる平面像である。そして、本方法では、カメラＣａｍ１がこの平面像（Ｐ１からＰ２までの範囲で示されて、図５において奥行きを持つ像）を撮影した画像における、当該平面像が占める画素数を、当該グループのサイズの値とする。

照明情報推定部２４は、グループごと且つカメララベルごとに上で求めた、（Ａ）重心位置と、（Ｂ）平均輝度値と、（Ｃ）グループのサイズとを、拡散反射成分用照明情報として出力する。
つまり、拡散反射成分用照明情報の主キーは、グループのインデックスとカメラのラベルを組み合わせた複合キーである。そして、グループのインデックスとカメラのラベルの組み合わせに対する属性値が、上記の（Ａ）重心位置と、（Ｂ）平均輝度値と、（Ｃ）グループのサイズである。

以上説明した拡散反射成分用照明情報の取得処理の手順をまとめると次の通りである。
図６は、拡散反射成分用照明情報を取得する処理の手順を示すフローチャートである。このフローチャートは、撮像装置１４，１５，１６が撮影する映像の１フレーム期間分に対応する処理を示す。つまり、照明情報取得装置１は、フレーム期間ごとにこのフローチャートの処理を繰り返す。以下、フローチャートに沿って処理手順を説明する。

まずステップＳ１１において、照明領域分離部２３は、撮像装置が備えるカメラの各画素の画素値に基づいて、輝度値が閾値を超えるボクセルへの投票を行う。次にステップＳ１２において、照明領域分離部２３は、前ステップにおいて行われた投票の結果を評価する。即ち、照明領域分離部２３は、各ボクセルが照明に属するボクセルであるか否かを判断（推定）する。次にステップＳ１３において、照明領域分離部２３は、照明であると推定されたボクセルをグループ化し、各グループにインデックスを付与する。具体的には、本ステップにおいて照明領域分離部２３は、照明であると推定されたボクセル同士が隣接している場合には、それらのボクセルが同一のグループに属するものであると判定する。

次にステップＳ１４において、照明情報推定部２４が、ボクセルの輝度値を求める。次にステップＳ１５において、照明情報推定部２４は、各カメラからの照明（つまり、照明であると推定されたボクセルが属するそれぞれのグループ）の見え方に応じて、ボクセルに対して、カメラのラベルを付与する。次にステップＳ１６において、照明情報推定部２４は、各グループの属性値を計算する。この各グループの推定値が、本実施形態で取得する拡散反射成分用照明情報である。次にステップＳ１７において、照明情報推定部２４は、計算によって求められた拡散反射成分用照明情報を出力する。

（２）鏡面反射成分用照明情報の取得
次に、鏡面反射成分用照明情報の取得方法について説明する。
ＬＤＲ画像分離部４１は、映像取得部２１が取得した各撮像装置に対応する３枚の全天球ＨＤＲ画像から、低ダイナミックレンジ（ＬＤＲ）画像を抽出する。このとき、ＬＤＲ画像分離部４１は、カメラ特性を除外した画素値によるＬＤＲ画像を抽出するため、ＨＤＲ画像における各画素値に、前述の関数ｆ^−１（ｘ）を適用する。そして、ＬＤＲ画像分離部４１は、関数ｆ^−１（ｘ）を適用した結果の値がＬＤＲ画像として表せる範囲を超える画素については、飽和したものとして処理する。なお、ＬＤＲ画像の抽出に関する以下の説明において、画素値は、関数ｆ^−１（ｘ）を適用した後の値である。

例えば、ＨＤＲカメラによる画素値の範囲が０〜１６７７７２１５であって、ＬＤＲカメラによって飽和せずに撮影できる範囲が上記範囲０〜１６７７７２１５のうちの２５６〜６５５３５である場合、ＬＤＲ画像分離部４１は、次の処理を行う。即ち、ＨＤＲカメラにおける画素値が０〜２５５である画素については、ＬＤＲ画像分離部４１は、ＨＤＲカメラにおける画素値が２５６であるものとしてその画素を処理する。また、ＨＤＲカメラにおける画素値が６５５３６〜１６７７７２１５である画素については、ＬＤＲ画像分離部４１は、ＨＤＲカメラにおける画素値が６５５３５であるものとしてその画素を処理する。ＨＤＲカメラおよびＬＤＲカメラの画素値の範囲がここに挙げた例と異なる場合も同様に、ＬＤＲ画像分離部４１は、ＨＤＲ画像としては表現できるがＬＤＲ画像として表現しきれない階調の情報を、カットする。また、ＬＤＲ画像分離部４１は、必要に応じて階調の量子化の幅を適宜調整して、ＬＤＲ画像を生成する。

ＬＤＲ画像分離部４１は、撮像装置１４，１５，１６によって撮影された各全天球画像の各フレームについて上記の処理を行うことによって、各撮像装置に対応した全天球ＬＤＲ画像を出力する。この全天球ＬＤＲ画像が、鏡面反射成分用照明情報である。

圧縮部５０は、上記の方法で得られた拡散反射成分用照明情報および鏡面反射成分用照明情報を圧縮・符号化する。圧縮部５０は、拡散反射成分用照明情報と鏡面反射成分用照明情報とを、それぞれに応じた方法で圧縮する。具体的には、圧縮部５０は、拡散反射成分用照明情報については、必ず可逆圧縮を行う。また、鏡面反射成分用照明情報については、可逆圧縮を行っても非可逆圧縮を行っても良い。圧縮部５０は、照明情報推定部２４によって出力された拡散反射成分用照明情報の情報圧縮を行うときには、例えば、ＬＺＳＳ符号化を用いる。なお、ＬＺＳＳ符号化自体は既存の技術により実現できる処理である。また、圧縮部５０は、ＬＤＲ画像分離部４１によって出力された鏡面反射成分用照明情報の情報圧縮を行うときには、例えば、ＪＰＥＧ（Joint Photographic Experts Group）による圧縮処理を行う。
また圧縮部５０が、例えば、Ｈ．２６４などの動画符号化方式によって鏡面反射成分用照明情報を動画として符号化するとともに、そのメタデータとして拡散反射成分用照明情報を埋め込むなど、両者を併せて圧縮・符号化することも可能である。

圧縮部５０において圧縮・符号化された照明情報は、ＣＧレンダリングの処理で使用するために、記録媒体に蓄積されるか、あるいは外部の装置に伝送される。
蓄積部５２は、磁気記録媒体によって情報を記憶するハードディスクドライブあるいは半導体メモリを用いたＳＳＤ（ソリッド・ステート・ドライブ）を内部に備え、圧縮部５０から出力される照明情報を逐次記憶する。
伝送部５３は、通信手段を備えており、圧縮部５０から出力される照明情報を外部の装置に送信する。
蓄積部５２に蓄積されたり、あるいは伝送部５３によって伝送されたりした照明情報は、後述する照明復元装置等によって使用される。照明復元装置は、取得した照明情報を用いて、映像を撮影したときの照明の状況に自然にマッチするＣＧのレンダリングを行う。

図７は、照明情報を利用して照明の状況を復元する照明復元装置、およびＣＧとカメラ映像（実写映像）とを合成する合成装置の概略機能構成を示すブロック図である。図示するように、照明復元装置３は、照明情報取得部７１と、復号部７２と、拡散反射成分用照明情報抽出部７５と、拡散反射成分ＣＧ描画部７６と、ＬＤＲ画像抽出部７８と、内挿画像生成部７９（輝度情報補填部）と、鏡面反射成分ＣＧ描画部８０（鏡面反射成分描画部）と、カメラパラメーター供給部８５と、加算部８６と、を含んで構成される。また、合成装置５は、カメラ映像入力部８７と、映像合成部８８と、を含んで構成される。

照明復元装置３は、別途用意されるＣＧのオブジェクトのデータに基づき、３次元のＣＧ空間にそのオブジェクトをレンダリングする。このとき、照明復元装置３は、拡散反射成分と鏡面反射成分の成分ごとに、前述の照明情報を利用しながらＣＧのレンダリングを行う。以下に、各部の機能を説明する。

照明情報取得部７１は、照明情報取得装置１から照明情報（拡散反射成分用および鏡面反射成分用）を取得する。具体的には、照明情報取得部７１は、照明情報取得装置１の蓄積部５２において記録媒体等に蓄積された照明情報を読み取るか、あるいは照明情報取得装置の伝送部５３から送信される照明情報を受信する。伝送部５３から送信される照明情報を受信する場合、照明情報取得部７１は、上記の伝送部５３との間で通信を行うための通信機能を備える。なお、照明情報取得部７１が取得する照明情報は、照明情報取得装置１の圧縮部５０によって圧縮・符号化された情報である。

復号部７２は、照明情報取得部７１が取得した照明情報を復号する。これにより、復号部７２は、圧縮されていた照明情報を伸長する。

（１）拡散反射成分画像
拡散反射成分用照明情報抽出部７５は、復号部７２が復号した照明情報から、拡散反射成分用照明情報を取り出す。

拡散反射成分ＣＧ描画部７６は、拡散反射成分に関してＣＧのレンダリング（描画）を行い、拡散反射成分画像を出力する。拡散反射成分ＣＧ描画部７６は、拡散反射成分用照明情報抽出部７５が取り出した照明情報に基づいて、ＣＧの３次元空間内の、元の３次元空間（照明情報取得装置１が照明情報を取得した３次元空間）と同じ位置に、点光源または面光源を配置する。なお、レンダリングの処理自体は、既存の技術を用いて行う。

点光源として照明を配置する場合には、拡散反射成分ＣＧ描画部７６は、各照明（前述のボクセルのグループ）の重心位置を点光源の位置とする。また、拡散反射成分ＣＧ描画部７６は、その照明（そのグループ）の平均輝度値にそのグループのボクセル数を乗じた値をその点光源の明るさとする。
一方、面光源として照明を配置する場合には、拡散反射成分ＣＧ描画部７６は、各照明の重心位置を中心とした球を、面光源として設定する。このとき、拡散反射成分ＣＧ描画部７６は、照明情報から得られる（Ｃ）グループのサイズ（例えば、ボクセル数）に基づいて、その光源である球の半径を設定する。その半径は、照明情報に含まれているグループのサイズに基づいて、下の式（３）によって計算される。

この式において、Ｓは、グループのサイズを表す値であり、ボクセル数である。グループのサイズがボクセル数で表される場合、当該グループに関して、３つのカメラそれぞれによるボクセル数の平均値を取り、その平均値をＳとする。また、πは円周率である。そして、ｒは、設定すべき面光源の半径である。ｒの単位は、ボクセルの一辺の長さである。なお、グループのサイズがボクセル数で表されていない場合にも、適切な方法で上記の球の半径を求める。

拡散反射成分ＣＧ描画部７６は、上記のように設定される照明の拡散反射成分を用いて、ＣＧオブジェクトの拡散反射成分のみをレンダリングし、その結果を拡散反射成分画像として出力する。

（２）鏡面反射成分画像
ＬＤＲ画像抽出部７８は、復号部７２が復号した照明情報から、ＬＤＲ画像（鏡面反射成分用照明情報）を取り出す。前述の通り、このＬＤＲ画像は、各撮像装置に対応するものであり、またフレーム期間ごとの画像である。

内挿画像生成部７９は、３台のカメラによってそれぞれ撮影されたＬＤＲ画像を基に、ＥＰＩ（Epipolar-Plane Image，エピポーラ平面画像）解析を行うことにより、元の３次元空間の環境を復元する。なお、ＥＰＩ解析自体は既存の技術である。そして、内挿画像生成部７９は、レンダリングの対象とするＣＧモデルの重心位置を求め、３枚のＬＤＲ画像（全天球画像）に基づく内挿処理によって、その重心位置における全天球画像を生成する。この内挿処理自体は、既存の技術（View Morphing等）を用いて行うことができる。この技術による画像の内挿処理は、異なる位置に置かれた複数のカメラによって撮影した画像を基に、幾何学的な処理により、任意の位置に置かれた仮想的なカメラによって撮影されるはずの画像を生成するものである。

また、内挿画像生成部７９は、上の内挿処理によって生成された画像において輝度が飽和している領域に関して、拡散反射成分用照明情報を用いて、輝度情報を補填する処理を行う。具体的には、内挿画像生成部７９は、拡散反射成分用照明情報を取得し、この拡散反射成分用照明情報に基づき、光源の重心位置を中心点としてガウス分布となるような輝度分布を生成する。そして、内挿画像生成部７９は、飽和領域の輝度分布を切削したうえで、トータルで平均輝度に画素数を乗じた値に整合するように輝度分布をスケーリングし、それで得られた輝度分布を飽和領域にはめ込む処理を行う。つまり、内挿画像生成部７９は、所定のダイナミックレンジの低ダイナミックレンジ画像を鏡面反射成分用照明情報として取得するとともに、低ダイナミックレンジ画像よりも相対的に高いダイナミックレンジの高ダイナミックレンジ画像に基づいて推定された３次元空間内における照明の領域についての代表位置と輝度とサイズとの情報を拡散反射成分用照明情報として取得し、低ダイナミックレンジ画像内において輝度が飽和している部分について、当該部分に対応する代表位置を有する拡散反射成分用照明情報に含まれる前記輝度と前記サイズとの情報に基づいて、疑似的に輝度を復元する処理を行う。
式（１）で説明したように、関数ｆ（ｘ）は単調増加関数である。つまり、照明からカメラまでの距離が変化しないという条件下では、画像データにおける画素の画素値の増減と被写体の輝度の増減とは単調な関係にある。したがって、ここで内挿画像生成部７９が行っている輝度情報の補填処理は、照明と推定される被写体の輝度情報を補填する処理である。つまり、内挿画像生成部７９は、照明の輝度情報を補填（疑似的に復元）する機能を備えている。

内挿画像生成部７９のこの処理により、鏡面反射成分用照明情報としてＬＤＲ画像を用いたために欠落した飽和領域の輝度情報を、疑似的に復元させる。したがって、単に飽和領域を飽和させたままのＬＤＲ画像を用いた場合に比べて、より自然な鏡面反射成分画像を生成することができる。

鏡面反射成分ＣＧ描画部８０は、鏡面反射成分に関してＣＧのレンダリング（描画）を行う。具体的には、鏡面反射成分ＣＧ描画部８０は、上記のＬＤＲ画像抽出部７８および内挿画像生成部７９による処理によって得られた鏡面反射成分用をグローバルイルミネーションとして用いて、ＣＧオブジェクトの鏡面反射成分のみをレンダリングする。つまり、鏡面反射成分ＣＧ描画部８０は、内挿画像生成部７９によって輝度が復元された鏡面反射成分用照明情報を用いて、コンピューターグラフィクスによる鏡面反射成分の描画を行う。

カメラパラメーター供給部８５は、映像用カメラに関するパラメーターを取得するとともに、それらのパラメーターを、レンダリング処理を行う拡散反射成分ＣＧ描画部７６および鏡面反射成分ＣＧ描画部８０に供給する。この映像用カメラとは、図１には図示されないカメラであり、映像を撮影するものである。この映像用カメラで撮影された映像自体は、合成装置５のカメラ映像入力部８７に入力される。ここで、カメラパラメーターとは、前述の３次元空間におけるカメラの位置、カメラの姿勢（前述の３次元空間の座標系におけるパン角度やチルト角度など）、レンズ情報（画角情報など）である。これらのパラメーターは、映像を撮影している環境において把握され、図示しない伝送経路でカメラパラメーター供給部８５に対して伝送されてくるものである。複数の映像用カメラが使用され、各映像用カメラで撮影された映像が切り替えて使用される場合、カメラパラメーター供給部８５は、それら各々の映像用カメラに関するカメラパラメーターを取得するとともに、切り替え（スイッチング）の情報も取得する。

加算部８６は、拡散反射成分ＣＧ描画部７６によって描画されたＣＧと、鏡面反射成分ＣＧ描画部８０によって描画されたＣＧとを、単純に加算して、出力する。

カメラ映像入力部８７は、前述の映像用カメラで撮影された映像を取得して、映像合成部８８に供給する。

映像合成部８８は、照明復元装置３から出力されるＣＧ映像と、カメラ映像入力部８７から供給されるカメラ映像とを、映像として合成し、出力する。その結果、映像合成部８８から出力される映像は、カメラ映像（実写）の中にＣＧのオブジェクトが存在しているかのような映像である。照明復元装置３が、カメラ映像の照明の状況に合わせてＣＧのレンダリングを行うため、映像とＣＧオブジェクトとが、光線等に関する違和感がない状態で合成映像内において共存する。

［第２実施形態］
次に、本発明の第２実施形態について説明する。なお以下では、前述の実施形態と同様の事項については説明を省略し、本実施形態に特有の事項を中心に説明する。
本実施形態による照明情報取得装置の機能構成は、図１に示したものとほぼ同様である。ただし、本実施形態においては、拡散反射成分用照明情報の求め方の一部が、第１実施形態における求め方と異なる。具体的には、本実施形態において照明情報推定部２４が求める、グループごと且つカメララベルごとの、（Ｂ）平均輝度値の求め方が、第１実施形態における求め方とは異なる。

本実施形態による照明情報推定部２４が（Ｂ）平均輝度値を求める方法は、次に述べるとおりである。各ボクセルグループ（単一の照明であると推定された複数のボクセルのグループ）の、カメララベルごとの（Ａ）重心位置が求まると、照明情報推定部２４は次に、そのカメラからの全天球画像（ＨＤＲ画像）をボロノイ（Voronoi）分割する。ボロノイ分割する際には、各ボクセルグループの重心位置を母点とする。ボロノイ分割とは、空間上に任意に配置された複数の母点が与えられたとき、その空間上の母点以外の点がどの母点に近いかによって領域を分けるような分割である。つまり、平面空間においては、ボロノイ分割による領域の境界線は、ある母点と近隣の母点とを結ぶ線分の垂直二等分線である。

図８は、上記のボロノイ分割の例を示す概略図である。
同図（ａ）は、映像の撮影現場である３次元空間（映像の収録スタジオ）において、ある撮像装置（１４，１５，または１６）のカメラが撮影した画像（全天球画像の一部分）を、照明の重心を母点としてボロノイ分割した場合の例を示す。同図（ａ）において、丸印を付した部分が、照明の重心であると推定された位置である。そして、これらの位置を基準として、領域を分割した結果が同図（ａ）である。

同図（ｂ）は、同図（ａ）から取り出した、ボロノイ分割によるひとつの領域を示す。同図において、１０１は、当該領域を囲む境界線の１つである。当該領域は、４本の直線（境界線）で囲まれてなるものである。また、１０２は、当該領域内において、照明であると推定された領域を囲む線である。この領域は、照明であると推定された複数のボクセルが成すひとつのグループを示している。また、１０３は、当該グループの中で、同一のラベル（カメラのラベル）を付与されたボクセルの重心位置である。

そして、照明情報推定部２４は、ボロノイ分割された各領域について、次の処理を行う。即ち、照明情報推定部２４は、当該カメラのレンズの主点と上記の重心位置とを結ぶ直線に垂直な平面であって、上記の重心位置を通るような平面を設ける。そして、照明情報推定部２４は、当該ボロノイ領域に含まれる各画素に関して、その画素の画素値に関数ｆ^−１（ｘ）を適用し、さらに、レンズの主点から重心位置までの距離ｒの２乗を掛けた値を輝度として求める。そして、前述の投票における投票数が投票数閾値以上であったボクセルについての平均輝度値を求める。照明情報推定部２４は、以上のように求められた平均輝度値を、当該グループの当該カメラに関する（Ｂ）の平均輝度値とする。

本実施形態による照明情報取得装置は、上記の方法で求められた平均輝度値の情報を、拡散反射成分用照明情報の一部分として出力する。そして、本実施形態による照明復元装置は、そのような拡散反射成分用照明情報を用いて照明を復元し、ＣＧレンダリングを行う。
本実施形態によれば、より精度の高い照明の再現性を得ることができる。

なお、上述した各実施形態における照明情報取得装置、照明復元装置、合成装置の機能をコンピューターで実現するようにしても良い。その場合、これらの機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、映像コンテンツの制作を行う産業において特に利用可能である。また、ビデオゲームや、バーチャルリアリティを実現するための装置あるいはコンピュータープログラム等においても利用可能である。

１ 照明情報取得装置
３ 照明復元装置
５ 合成装置
１４，１５，１６ 撮像装置
２１ 映像取得部（画像取得部）
２２ 空間情報設定部
２３ 照明領域分離部
２４ 照明情報推定部
４１ ＬＤＲ画像分離部（画像出力部）
５０ 圧縮部
５２ 蓄積部
５３ 伝送部
７１ 照明情報取得部
７２ 復号部
７５ 拡散反射成分用照明情報抽出部
７６ 拡散反射成分ＣＧ描画部
７８ ＬＤＲ画像抽出部
７９ 内挿画像生成部（輝度情報補填部）
８０ 鏡面反射成分ＣＧ描画部（鏡面反射成分描画部）
８５ カメラパラメーター供給部
８６ 加算部
８７ カメラ映像入力部
８８ 映像合成部

Claims (6)

1. ３次元空間における複数の位置に設けられたカメラで撮影した画像を取得する画像取得部と、
   取得した前記画像に含まれる画素の画素値に基づいて、前記３次元空間における照明の領域を特定する照明領域分離部と、
   前記照明領域分離部によって特定された照明の領域の各々について、代表位置と輝度値とサイズとを拡散反射成分用照明情報として推定する照明情報推定部と、
   前記画像取得部が取得した前記画像を鏡面反射成分用照明情報として出力する画像出力部と、
   を具備することを特徴とする照明情報取得装置。
2. 前記画像出力部は、前記画像取得部が取得した前記画像の輝度のダイナミックレンジを低くする処理をしてから前記画像を出力する、
   ことを特徴とする請求項１に記載の照明情報取得装置。
3. 前記照明領域分離部は、前記画像を撮影したカメラの前記位置ごとに、前記画像に含まれる画素の画素値に基づいて当該画素に照明が写っているか否かを判定し、この判定結果に基づいて前記３次元空間に含まれ当該画素に対応する方向の領域への投票を行い、前記領域が得た投票数に応じて当該領域が前記照明の領域であるか否かを判定する、
   ことを特徴とする請求項１または２に記載の照明情報取得装置。
4. 所定のダイナミックレンジの低ダイナミックレンジ画像を鏡面反射成分用照明情報として取得するとともに、前記低ダイナミックレンジ画像よりも相対的に高いダイナミックレンジの高ダイナミックレンジ画像に基づいて推定された３次元空間内における照明の領域についての代表位置と輝度とサイズとの情報を拡散反射成分用照明情報として取得し、前記低ダイナミックレンジ画像内において輝度が飽和している部分について、当該部分に対応する代表位置を有する拡散反射成分用照明情報に含まれる前記輝度と前記サイズとの情報に基づいて、疑似的に輝度を復元する処理を行う輝度情報補填部と、
   前記輝度情報補填部によって輝度が復元された鏡面反射成分用照明情報を用いてコンピューターグラフィクスによる鏡面反射成分の描画を行う鏡面反射成分描画部と、
   を具備することを特徴とする照明復元装置。
5. コンピューターを、請求項１から３までのいずれか一項に記載の照明情報取得装置として機能させるためのプログラム。
6. コンピューターを、請求項４に記載の照明復元装置として機能させるためのプログラム。

Images