JP2014154113A - 光源推定装置、画像処理システム及び光源推定プログラム - Google Patents

Abstract

【課題】表示されるＣＧ画像の違和感を低減する。
【解決手段】光源推定装置は、画像を撮像する撮像部と、光源推定の基準である基準物体の形状を示す形状情報が予め記憶されている記憶部と、撮像部が撮像した画像に含まれる基準物体の画像と、記憶部に記憶されている形状情報とに基づいて、撮像部が撮像した画像の光源環境を推定する推定部とを備える。
【選択図】図２

Description

本発明は、光源推定装置、画像処理システム及び光源推定プログラムに関する。

近年、例えば、ＣＧ（Computer Graphics）で作成した仮想物体を実写画像中に合成する、いわゆる拡張現実感（Augmented Reality;AR）技術を用いた表示方法が知られている（例えば、特許文献１を参照）。

特開２００５−２５０９５０号公報

しかしながら、上記のような表示方法においては、実写画像の光源位置とＣＧ画像の光源位置とが一致しない場合があり、この場合には表示されるＣＧ画像に違和感が生じてしまうという問題があった。

本発明は、上記問題を解決すべくなされたもので、その目的は、表示されるＣＧ画像の違和感を低減することができる光源推定装置、画像処理システム及び光源推定プログラムを提供することにある。

本発明の一実施形態は、画像を撮像する撮像部と、光源推定の基準である基準物体の形状を示す形状情報が予め記憶されている記憶部と、前記記憶部に記憶されている前記形状情報と、前記撮像部が撮像した画像に含まれる前記基準物体の画像とに基づいて、前記撮像部が撮像した画像の光源環境を推定する推定部とを備えることを特徴とする光源推定装置である。

また、本発明の一実施形態は、上記の光源推定装置において、前記基準物体とは、少なくとも一部の表面が乱反射面である物体であり、前記推定部は、前記記憶部に記憶されている前記形状情報と、前記撮像部が撮像した画像に含まれる前記基準物体の画像の輝度分布とに基づいて、前記撮像部が撮像した画像の光源環境を推定することを特徴とする。

また、本発明の一実施形態は、上記の光源推定装置において、前記基準物体とは、円柱または多角形柱である物体であり、前記記憶部には、前記基準物体の円柱または多角形柱の形状を示す形状情報が予め記憶されており、前記推定部は、前記撮像部が撮像した画像に含まれる前記基準物体の画像の輝度分布と、前記記憶部に記憶されている前記円柱または多角形柱の形状を示す形状情報とに基づいて、前記撮像部が撮像した画像の光源環境を推定することを特徴とする。

また、本発明の一実施形態は、上記の光源推定装置において、前記推定部は、前記撮像部が撮像した前記基準物体の画像が示す前記円柱または多角形柱の側面の輝度に基づいて前記基準物体の画像の輝度分布を正規化し、当該正規化した輝度分布と、前記記憶部に記憶されている前記円柱または多角形柱の形状を示す形状情報とに基づいて、前記撮像部が撮像した画像の光源環境を推定することを特徴とする。

また、本発明の一実施形態は、上記の光源推定装置において、前記撮像部の姿勢を検出する検出部を備え、前記推定部は、前記撮像部が撮像した画像に含まれる前記基準物体の画像と、前記記憶部に記憶されている前記形状情報と、前記検出部が検出した前記撮像部の姿勢とに基づいて、前記撮像部が撮像した画像の光源環境を推定することを特徴とする。

また、本発明の一実施形態は、上記の光源推定装置と、前記光源推定装置によって推定された前記光源環境を示す情報に基づいて、画像を生成する画像生成部と、前記画像生成部が生成した画像と、前記撮像部が撮像した画像とが合成された画像を表示する表示部とを備えることを特徴とする画像処理システムである。

また、本発明の一実施形態は、光源推定の基準である基準物体の形状を示す形状情報が予め記憶されている記憶部を備える光源推定装置のコンピュータに、画像を撮像する撮像ステップと、前記撮像ステップにおいて撮像された画像に含まれる前記基準物体の画像と、前記記憶部に記憶されている前記形状情報とに基づいて、前記撮像ステップにおいて撮像された画像の光源環境を推定する推定ステップとを実行させるための光源推定プログラムである。

この発明によれば、表示されるＣＧ画像の違和感を低減することができる。

本発明の実施形態におけるＡＲ画像の一例を示す模式図である。 本実施形態の画像処理システムの構成の一例を示す構成図である。 本実施形態の光源推定装置に用いられる基準物体の一例を示す模式図である。 本実施形態におけるキャリブレーション円柱の上面および側面の法線ベクトルの一例を示す模式図である。 本実施形態における光源環境モデルの座標系の一例を示す模式図である。 本実施形態のキャリブレーション円柱の表面の輝度の一例を示す模式図である。 本実施形態におけるキャリブレーション円柱の輝度の第１の例を示すグラフである。 本実施形態におけるキャリブレーション円柱の輝度の第２の例を示すグラフである。 本実施形態におけるキャリブレーション円柱の輝度の第３の例を示すグラフである。 本実施形態の光源推定装置の動作の一例を示すフローチャートである。 本実施形態の環境光がない場合の画像の一例を示す模式図である。 本実施形態の環境光がない場合の推定部による推定結果の一例を示すグラフである。 本実施形態の環境光がある場合の画像の一例を示す模式図である。 本実施形態の環境光がある場合の推定部による推定結果の一例を示すグラフである。 本実施形態の変形例である画像処理システムの構成の一例を示す構成図である。

［実施形態]
以下、図面を参照して、本発明の実施形態を説明する。本実施形態の画像処理システム１（図２を参照）は、実写画像ＲＰとＣＧ（Computer Graphics）画像ＣＧＰとを合成した画像であるＡＲ（Augmented Reality）画像を表示する。本実施形態の画像処理システム１は、実写画像ＲＰに基づいて、実写画像ＲＰの光源環境を推定し、推定した光源環境に応じたシェーディングをＣＧ画像ＣＧＰに施すことにより、ＡＲ画像の違和感を低減する。ここで、光源環境には、光源の方向、光源の強度、光源の大きさ、および環境光の強度が含まれる。まず、図１を参照して、本実施形態におけるＡＲ画像の一例について説明する。

図１は、本発明の実施形態におけるＡＲ画像の一例を示す模式図である。ここで、ＡＲ画像とは、実写画像ＲＰとＣＧ（Computer Graphics）画像ＣＧＰとを合成した画像である。このうち、図１（Ａ）は、実写画像ＲＰの光源の方向と、ＣＧ画像ＣＧＰの光源の方向とが一致している場合のＡＲ画像の一例を示す模式図である。また、図１（Ｂ）は、実写画像ＲＰの光源の方向と、ＣＧ画像ＣＧＰの光源の方向とが一致していない場合のＡＲ画像の一例を示す模式図である。ここで、実写画像ＲＰの光源の方向と、ＣＧ画像ＣＧＰの光源の方向とが一致している場合のＡＲ画像を、光学的整合性がある画像という。また、実写画像ＲＰの光源の方向と、ＣＧ画像ＣＧＰの光源の方向とが一致していない場合のＡＲ画像を、光学的整合性がない画像という。すなわち、光学的整合性があるＡＲ画像の一例が、図１（Ａ）に示す画像である。また、光学的整合性がないＡＲ画像の一例が、図１（Ｂ）に示す画像である。

この図１の例においては、実写画像ＲＰとは、キャリブレーション円柱ＣＳＹの画像を含む画像であり、ＣＧ画像ＣＧＰとは、このキャリブレーション円柱ＣＳＹの上に載置されているように表示される球状の仮想物体の画像である。このキャリブレーション円柱ＣＳＹの構成については後述する。この図１の各図を比較すると、図１（Ｂ）に示す光学的整合性がないＡＲ画像は、図１（Ａ）に示す光学的整合性があるＡＲ画像に比べて違和感が生じやすい。したがって、違和感の生じにくいＡＲ画像を表示するためには、実写画像ＲＰに対して、光学的整合性を有するＣＧ画像ＣＧＰを表示することが求められる。次に、図２を参照して、本実施形態の画像処理システム１の構成について説明する。

（光源推定装置の構成）
図２は、本実施形態の画像処理システム１の構成の一例を示す構成図である。画像処理システム１は、光源推定装置１０と、ＡＲ表示装置２０とを備えている。この光源推定装置１０は、実写画像ＲＰの光源環境を推定し、推定した光源環境を示す情報をＡＲ表示装置２０に供給する。ここで、推定した光源環境を示す情報とは、光源環境情報ＬＩである。ＡＲ表示装置２０は、光源推定装置１０が推定した光源環境に基づいてＣＧ画像ＣＧＰにシェーディングを施す。ここで、シェーディングとは、ＣＧ画像ＣＧＰに対して陰影を付与する処理である。ＡＲ表示装置２０は、シェーディングを施したＣＧ画像ＣＧＰと、実写画像ＲＰ（例えば、撮像部１１が撮像した画像）とを合成したＡＲ画像を表示する。すなわち、光源推定装置１０によれば、推定した光源環境を示す情報をＡＲ表示装置２０に供給することができるため、ＡＲ表示装置２０は、光学的整合性があるＡＲ画像を表示することができる。以下、画像処理システム１のより具体的な構成について説明する。

光源推定装置１０は、撮像部１１と、記憶部１２と、推定部１３とを備えている。
撮像部１１は、カメラ等を備えており、画像を撮像する。この画像とは、実写画像ＲＰである。撮像部１１は、撮像した実写画像ＲＰを、推定部１３と、ＡＲ表示装置２０とに供給する。

記憶部１２は、ハードディスクや半導体メモリなどの記憶装置を備えている。この記憶部１２には、基準物体ＣＯの形状を示す形状情報が予め記憶されている。この基準物体ＣＯの一例としての、キャリブレーション円柱ＣＳＹについて、図３を参照して説明する。

図３は、本実施形態の光源推定装置１０に用いられる基準物体ＣＯの一例を示す模式図である。以下、各図の説明においてはＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ各部の位置関係について説明する。キャリブレーション円柱ＣＳＹの上面の直交方向をそれぞれＸ軸方向及びＹ軸方向とし、キャリブレーション円柱ＣＳＹの高さ方向をＺ軸方向とする。また、このキャリブレーション円柱ＣＳＹ上面の円の中心をこのＸＹＺ座標系における原点とする。

このキャリブレーション円柱ＣＳＹは、上面および側面が乱反射面である。ここで、乱反射面とは、理想的な完全拡散面（以下、均等拡散面、またはLambertian surfaceとも記載する。）に近い反射特性を有する面である。キャリブレーション円柱ＣＳＹの上面には、ＡＲマーカーＡＲＭが付されている。このＡＲマーカーＡＲＭには、ＣＧ画像ＣＧＰを表示する際の、表示の基準位置を示す模様が付されている。ＡＲ画像を表示する画像処理システム１は、このＡＲマーカーＡＲＭを撮像することにより、ＣＧ画像ＣＧＰの表示位置を算出する。

図２に戻り、記憶部１２についての説明を続ける。上述したように、基準物体ＣＯがキャリブレーション円柱ＣＳＹである場合には、記憶部１２には、キャリブレーション円柱ＣＳＹの半径および高さを示す形状情報が予め記憶されている。

推定部１３は、撮像部１１が撮像した画像の光源環境を推定する。この場合、推定部１３は、撮像部１１が撮像した実写画像ＲＰに基準物体ＣＯの画像が含まれている場合、記憶部１２に記憶されている基準物体ＣＯの形状情報と、撮像部１１が撮像した基準物体ＣＯの画像とに基づいて、撮像部１１が撮像した画像の光源環境を推定する。すなわち、推定部１３は、記憶部１２に記憶されている形状情報と、撮像部１１が撮像した画像に含まれる基準物体ＣＯの画像とに基づいて、撮像部１１が撮像した画像の光源環境のパラメータを推定する。推定部１３は、推定した光源環境のパラメータを示す情報を、光源環境情報ＬＩとしてＡＲ表示装置２０に供給する。この推定部１３による光源環境のパラメータを推定する方法については、後述する。

ＡＲ表示装置２０は、不図示のＣＧ生成部と、表示部とを備えている。ＡＲ表示装置２０のＣＧ生成部は、撮像部１１が撮像した実写画像ＲＰと、推定部１３が推定した光源環境のパラメータを示す光源環境情報ＬＩとに基づいて、ＣＧ画像ＣＧＰを生成する。また、ＡＲ表示装置２０の表示部は、撮像部１１が撮像した実写画像ＲＰと、生成したＣＧ画像ＣＧＰとを合成したＡＲ画像を表示する。上述の例において、ＡＲ表示装置２０の表示部は、ＡＲ画像として図１（Ａ）に示した画像を表示する。

ここで、ＡＲ表示装置２０のより具体的な構成について説明する。ここでは、一例として、ＡＲ表示装置２０が、図１（Ａ）に示したＡＲ画像を表示する構成について説明する。すなわち、キャリブレーション円柱ＣＳＹの上面に付されたＡＲマーカーＡＲＭの位置に、ＣＧ画像ＣＧＰ（ここでは、球の画像）を表示する構成について説明する。

ＡＲ表示装置２０は、撮像部１１が撮像した実写画像ＲＰを取得する。この実写画像ＲＰには、キャリブレーション円柱ＣＳＹの画像が含まれている。このキャリブレーション円柱ＣＳＹの上面にはＡＲマーカーＡＲＭが付されている。この場合、ＡＲ表示装置２０は、キャリブレーション円柱ＣＳＹの上面に、球のＣＧ画像ＣＧＰを合成して表示する。ＡＲ表示装置２０は、取得した画像の中に含まれるＡＲマーカーＡＲＭの画像を抽出し、抽出したＡＲマーカーの画像に基づいて、ＣＧ画像ＣＧＰを表示する位置（座標）を算出する。

また、ＡＲ表示装置２０は、推定部１３が推定した光源環境のパラメータを示す光源環境情報ＬＩを取得する。ＡＲ表示装置２０は、取得した光源環境情報ＬＩに基づいて、球のＣＧ画像ＣＧＰに対してシェーディングを施す。次に、ＡＲ表示装置２０は、シェーディングを施した球のＣＧ画像ＣＧＰと、実写画像ＲＰとを合成して、ＡＲ画像として表示する。このとき、ＡＲ表示装置２０は、ＡＲマーカーＡＲＭの画像に基づいて算出した位置に、球のＣＧ画像ＣＧＰを表示する。このようにして、画像処理システム１は、光学的整合性があるＡＲ画像を表示する。

次に、図４〜図９を参照して、光源推定装置１０の推定部１３が光源環境のパラメータを推定する仕組みについて説明する。まず、図４および図５を参照して、本実施形態における座標系について説明する。

図４は、本実施形態におけるキャリブレーション円柱ＣＳＹの上面および側面の法線ベクトルの一例を示す模式図である。ここで、上面の単位法線ベクトルｎｔｏｐの各成分は（０，０，１）であり、ｘ軸を基準にしたｚ軸周りの角度ηの位置の側面の単位法線ベクトルｎη（エヌ・イータ）の各成分は（ｃｏｓη，ｓｉｎη，０）である。

図５は、本実施形態における光源環境モデルの座標系の一例を示す模式図である。光源環境の座標系は、キャリブレーション円柱ＣＳＹのＸＹＺ座標系と同一に設定され、その方向を（θ，φ）で表す。ここで、θ（シータ）はｘｙ平面に対する天頂角、φ（ファイ）はｘ軸を基準にしたｚ軸周りの方位角である。例えば、天頂角θ０、方位角φ０の方向にある光源Ｌは、光源Ｌ（θ０，φ０）として表される。

ここで、本実施形態の光源環境について説明する。本実施形態の光源環境には、無限遠方にある１個の主光源（光源Ｌ）と、環境光とが存在する。ここで、光源Ｌは、大きさを有する。この光源Ｌの大きさは、立体角によっても表すことができる。図５において、この光源Ｌの大きさの一例を、破線ＷＬによって示す。この光源Ｌの大きさの内部の明るさは、一様ではない。すなわち、光源Ｌの大きさの内部の明るさとは、中心部が最も明るく、中心方向とのなす角度に対して明るさの分布が２次元ガウス関数になる明るさである。環境光は、方向に依存しない明るさを有する。キャリブレーション円柱ＣＳＹは、この光源環境によって照明される。上述したように、キャリブレーション円柱ＣＳＹは、乱反射面を有している。以下においては、この乱反射面を均等拡散面として近似することにより、光源環境の各パラメータを求める。このキャリブレーション円柱ＣＳＹの輝度は、光源Ｌの方向と、キャリブレーション円柱ＣＳＹの光源の方向と、キャリブレーション円柱ＣＳＹの各面の法線ベクトルとに基づいて求めることができる。すなわち、キャリブレーション円柱ＣＳＹの輝度は、実写画像ＲＰを撮像する撮像部１１の位置および方向には依存しない。

ここで、方向（θ，φ）の単位ベクトルは（ｃｏｓφｓｉｎθ，ｓｉｎφｓｉｎθ，ｃｏｓθ）である。したがって、方向（θ，φ）にある光源Ｌの強度をＬ’（θ，φ）と表す場合、方向（θ，φ）にある光源Ｌの強度を示す光源ベクトルｓ’は、式（１）によって示される。

ここで、光源Ｌの強度Ｌ’（θ，φ）を、式（２）および式（３）によって主光源モデルとしてモデル化する。

ここで、α’は環境光の強度であり、σは光源Ｌの大きさを表す定数であり、Φは光源Ｌの中心方向（θ０，φ０）と方向（θ，φ）とのなす角度である。

なお、この主光源モデルは、次の式（４）によって定義される球面ガウス関数を用いて定義することもできる。

ここで、ｖは方向ベクトルを、ｐは光源Ｌの中心方向ベクトルを、λは光源Ｌの大きさを、μは光源Ｌの強度Ｌ０を、それぞれ表す。この球面ガウス関数によれば、鋭さをベクトルの内積、すなわち角度の余弦を用いて表すことができる。このように、主光源モデルは種々の式によって表すことができるが、以下の説明においては、光源Ｌの大きさを式（２）によって表す。

また、以下の説明においては、光源Ｌが１個の場合について、光源Ｌの位置を推定する仕組みについて説明する。なお、光源Ｌが複数の場合には、光源の広がり定数σ、または環境光αの少なくとも一方を大きくした近似によって光源Ｌの位置を推定することができる。

次に、図６を参照して、キャリブレーション円柱ＣＳＹの表面ＳＦの輝度について説明する。
図６は、本実施形態のキャリブレーション円柱ＣＳＹの表面ＳＦの輝度の一例を示す模式図である。上述したように、キャリブレーション円柱ＣＳＹの表面ＳＦは、均等拡散面であるとして光源環境のパラメータを算出している。したがって、撮像部１１によって撮像したキャリブレーション円柱ＣＳＹの上面の画像は、均一な輝度（または、画素値）を有している。また、撮像部１１によって撮像したキャリブレーション円柱ＣＳＹの側面の画像は、キャリブレーション円柱ＣＳＹの座標系による光源Ｌの方向に応じて変化する輝度を有している。

図６に示すように、表面ＳＦの法線方向に対して、天頂角θの方向にある光源Ｌによって、表面ＳＦが照らされている場合、光源Ｌの強度をＬ０、表面ＳＦの反射率をρとすると、この面の輝度ｘは、式（５）によって示される。

ここで、面の単位法線ベクトルをベクトルｎとし、式（１）の光源ベクトルをｓ’とすると、式（５）は、式（６）のように簡略化される。

ここで、ある光源環境に置かれたキャリブレーション円柱ＣＳＹの輝度は、式（６）を天頂角θおよび方位角φについての、すべての方向に積分することにより、式（７）〜式（９）によって表すことができる。

ただし、式（７）におけるｘｔｏｐ（エックス・トップ）とは、キャリブレーション円柱ＣＳＹの上面の輝度である。以下の説明においては、キャリブレーション円柱ＣＳＹの上面の輝度を、上面輝度ｘｔｏｐと記載する。また、式（８）におけるｘｓｉｄｅ（η）（エックス・サイド・イータ）とは、角度η方向のキャリブレーション円柱ＣＳＹの側面の輝度である。以下の説明においては、角度η方向のキャリブレーション円柱ＣＳＹの側面の輝度を側面輝度ｘｓｉｄｅ（η）と記載する。また、式（８）におけるＤηは、式（９）によって示される値である。すなわち、Ｄηは、キャリブレーション円柱ＣＳＹの側面の表側が光源Ｌに照らされている場合にＤη＝１であり、その他の場合にＤη＝０である。

この式（７）と、式（８）との環境光α０に関する成分は、次の式（１０）および式（１１）のように計算できる。

以上より、キャリブレーション円柱ＣＳＹの輝度は、次の式（１２）および式（１３）に示すようになる。

これらの式（１２）および式（１３）においては、光源環境のパラメータ（θ０，φ０，σ，α）が含まれている。この光源環境のパラメータのうち、面の反射率ρは未知である。例えば、この面の反射率ρは、撮像された画像全体の明るさに関する定数（ゲイン）に含まれる。本実施形態における光源環境パラメータの推定過程では、撮像された画像全体の明るさに関する定数（ゲイン）についての正規化を行うことにより、推定過程のパラメータとしては、面の反射率ρの推定を不要にしている。

次に、キャリブレーション円柱ＣＳＹの上面輝度ｘｔｏｐ、および側面輝度ｘｓｉｄｅ（η）の具体例について説明する。

（具体例１：無限遠方の点光源の場合）
光源Ｌが無限遠方の点光源である場合の、光源ベクトルを次の式（１４）によって示す。この光源ベクトルを用いることで、上面輝度ｘｔｏｐ、および側面輝度ｘｓｉｄｅ（η）を、次の式（１５）および式（１６）によって示す。

この式（１４）および式（１５）が示す輝度の一例を図７に示す。
図７は、本実施形態におけるキャリブレーション円柱ＣＳＹの輝度の第１の例を示すグラフである。この例は、光源Ｌの方向を（θ０，φ０）＝（４５，３０）［ｄｅｇ］としたときのキャリブレーション円柱ＣＳＹの上面および側面の正規化輝度を示している。
ここで、実線の波形Ｗ１−１が側面輝度ｘｓｉｄｅ（η）を、実線の波形Ｗ１−２が上面輝度ｘｔｏｐを、それぞれ示している。この例においては、側面の輝度の最大値が１となるように、輝度を正規化している。同図に示すように、角度ηが３０［ｄｅｇ］において、側面の輝度の最大値と上面の輝度は同じになる。

（具体例２：大きさのある光源の場合）
次に、光源Ｌが大きさのある光源である場合の、キャリブレーション円柱ＣＳＹの上面輝度ｘｔｏｐ、および側面輝度ｘｓｉｄｅ（η）について、図８を参照して説明する。

図８は、本実施形態におけるキャリブレーション円柱ＣＳＹの輝度の第２の例を示すグラフである。この例は、中心方向が（θ０，φ０）＝（４５，３０）［ｄｅｇ］であり、大きさはσ＝９［ｄｅｇ］である大きさのある光源Ｌによる、キャリブレーション円柱ＣＳＹの上面および側面の正規化輝度を示している。ここで、実線の波形Ｗ２−１が側面輝度ｘｓｉｄｅ（η）を、実線の波形Ｗ２−２が上面輝度ｘｔｏｐを、それぞれ示している。

（具体例３：大きさのある光源と環境光とがある場合）
次に、光源Ｌが大きさのある光源であり、さらに環境光がある場合の、キャリブレーション円柱ＣＳＹの上面輝度ｘｔｏｐ、および側面輝度ｘｓｉｄｅ（η）について、図９を参照して説明する。

図９は、本実施形態におけるキャリブレーション円柱ＣＳＹの輝度の第３の例を示すグラフである。この例は、光源Ｌの方向を（θ０，φ０）＝（４５，３０）［ｄｅｇ］とし、光源Ｌの大きさをσ＝９［ｄｅｇ］とし、環境光の強度をα＝０．２とした場合の、キャリブレーション円柱ＣＳＹの上面および側面の正規化輝度を示している。ここで、実線の波形Ｗ３−１が側面輝度ｘｓｉｄｅ（η）を、実線の波形Ｗ３−２が上面輝度ｘｔｏｐを、それぞれ示している。

次に、光源環境パラメータを推定する仕組みについて説明する。キャリブレーション円柱ＣＳＹの側面のうちの半分、すなわち角度ηの範囲が１８０［ｄｅｇ]である側面は、撮像部１１によって撮像することができる。この撮像部１１によって撮像された画像の輝度（画素値）は、光源環境パラメータに基づいて変化する。ここでは、撮像された画像の輝度に基づいて、式（１７）に示す評価関数を最小化することにより、光源環境パラメータ（θ０，φ０，σ，α）と全体の明るさに関する定数ρを推定する。

ここで、ｘ＾ｔｏｐ（エックス・ハット・トップ）とは、キャリブレーション円柱ＣＳＹの上面を撮像した画像の輝度である。以下の説明においては、上面輝度ｘ＾ｔｏｐと記載する。また、ｘ＾ｓｉｄｅ（ηｉ）（エックス・ハット・サイド・イータ・アイ）とは、キャリブレーション円柱ＣＳＹの座標系において、ｉ番目の角度ηｉに位置する側面を撮像した画像の輝度である。以下の説明においては、側面輝度ｘ＾ｓｉｄｅ（ηｉ）と記載する。光源Ｌの方向は、キャリブレーション円柱ＣＳＹの表面が均等拡散面であれば、撮像部１１の撮像位置には依存せず、図５に示すキャリブレーション円柱ＣＳＹの座標系の方位角φと天頂角θとによって求められる。

上述したように、撮像部１１は、キャリブレーション円柱ＣＳＹの側面の半分の領域を撮像することができる。したがって、キャリブレーション円柱ＣＳＹの側面の画像の輝度について、方位角φを１０［ｄｅｇ］おきにして測定すると、１７個の測定値が得られる。つまり、キャリブレーション円柱ＣＳＹの上面と合わせて１８個の測定値が得られる。推定部１３は、この１８個の測定値に基づいて、式（１７）に示す５個の未知パラメータを推定する。ここで、５個の未知パラメータとは、光源Ｌの中心位置を示す天頂角θ０および方位角φ０と、光源Ｌの大きさσと、環境光の強度α、ならびに画像全体の明るさに関する定数ρである。

ここで、キャリブレーション円柱ＣＳＹの上面に配置されるＡＲマーカーＡＲＭの座標系と、撮像された画像面との平面射影変換行列とを決定することにより、方位角φについて、１０［ｄｅｇ］おきに測定することができる。すなわち、ＡＲマーカー座標系における指定位置を、撮像された画像の座標系に射影することにより、画素値を測定することができる。

なお、測定した画素値にノイズが含まれている場合においても、上述した５個の未知パラメータを推定可能である。しかしながら、式（１７）に示す評価関数には、式（１２）と式（１３）とが含まれており、これらの式に示される数値積分は演算量が多い。すなわち、式（１７）に示す評価関数を最小化する演算についても演算量が多くなる。したがって、式（１７）に示す評価関数を最小化して未知パラメータを求める場合、少なからず時間がかかる。

そこで、式（１２）と式（１３）との近似式を用いることにより、演算量を低減する。この近似式は、式（１８）および式（１９）によって示される。

ここで、式（１８）および式（１９）中のδは総和計算の刻み幅である。本実施形態においては、δ＝３［ｄｅｇ］として計算する。また、式（１８）および式（１９）において、δ／２のオフセットを加える理由は、刻み幅δによって切り取られる立体角の中心における輝度を代表輝度として利用するためである。また、式（１８）および式（１９）中の縦線右側の式の意味は、次のとおりである。すなわち、左矢印（←）の右辺の式に対して、縦線左側の総和記号の演算を適用した値を、左矢印（←）の左辺θおよび左辺φに代入し、さらにこのθおよびφの値を、縦線右側のＬの関数のθおよびφに代入することを意味する。

次に、画像全体の明るさに関する定数ρの正規化について説明する。キャリブレーション円柱ＣＳＹの座標系のある角度ηｉにおいて測定された側面輝度ｘ＾ｓｉｄｅ（ηｉ）は、光源Ｌの中心方向の方位角φ０と、角度ηｉとが一致したときに最大になる。そこで、推定部１３は、側面輝度ｘ＾ｓｉｄｅ（ηｉ）が最大値になる角度ηｍａｘに基づいて、側面輝度の最大値Ｌ~ｍａｘ（エル・チルダ・マックス）を推定する。具体的には、推定部１３は、側面輝度ｘ＾ｓｉｄｅ（ηｉ）が最大値になる角度ηｍａｘと、その前後の測定位置における角度ηの合計３つの角度における側面輝度を用いて、側面輝度の最大値Ｌ~ｍａｘを推定する。ここでは、推定部１３は、式（２０）および式（２１）に示すように、２次関数フィッティング（パラボラフィッティング）によって、方位角φと、側面輝度の最大値Ｌ~ｍａｘとを推定する。

ここで、キャリブレーション円柱ＣＳＹを撮像する際に、必ずしも等間隔の角度ηによって側面輝度を測定できるとは限らない。このため、本実施形態の２次関数フィッティングにおいては、式（２０）および式（２１）に示すｄ_＋（ディー・プラス）と、ｄ₋（ディー・マイナス）との関係について、ｄ_＋＝−ｄ₋に限定することなく２次関数フィッティングを行う。

ここで、式（１２）および式（１３）は、側面輝度ｘ＾ｓｉｄｅ（ηｉ）の最大値Ｌ~ｍａｘに基づいて、上面輝度ｘ＾ｔｏｐと、側面輝度ｘ＾ｓｉｄｅ（ηｉ）とを正規化することができる。これにより、推定部１３は、式（１７）に示す評価関数に代えて、式（２２）に示す評価関数を最小化することによって、４個の光源環境パラメータ（θ０，φ０，σ，α）を推定することができる。この式（２２）は、側面輝度の最大値Ｌ~ｍａｘによって正規化することにより、推定すべきパラメータから環境光の強度ρを除外することができることをも示している。

本実施形態においては、正弦波の重み付け総和である式（１３）の極大付近を２次関数によって近似することにより得られる極大の位置と値とを推定に利用する。ここで、フィッティング関数と、推定すべきモデルとが同一であることが好ましいが、光源環境パラメータによって式（１３）の形が変わるので、フィッティング関数を一意に定めることが困難である。そこで、本実施形態においては、少ない測定点数によるフィッティングが可能な２次関数フィッティングを利用する。

パラボラフィッティングで推定できる主光源の方位角φ~０（ファイ・チルダ・ゼロ）は、式（２２）の評価関数を最小化する場合の初期値として利用できる。しかし、側面輝度ｘ＾ｓｉｄｅ（ηｉ）の極大付近における側面輝度の値は、方位角φに対して値がわずかに変化するだけなので、推定した方位角φ~０には大きな誤差が含まれることがある。これに対して推定した最大輝度Ｌ~ｍａｘに含まれる誤差は、相対的に小さくなる。なお、式（２２）の評価関数を最小化するにあたっては、共役勾配法を利用することができる。

（側面の輝度に極大が見つからない場合の例外処理）
側面輝度ｘ＾ｓｉｄｅ（ηｉ）に極大が見つからない場合には、以下のように例外処理を行うことができる。側面輝度ｘ＾ｓｉｄｅ（ηｉ）に極大が見つからない場合の一例としては、キャリブレーション円柱ＣＳＹに対して、光源Ｌの方向とカメラの撮像方向とのなす角が、９０度近傍であるか、または１８０度近傍である場合がある。このように、側面輝度ｘ＾ｓｉｄｅ（ηｉ）に極大が見つからない場合には、推定部１３は、光源Ｌの大きさの推定をせず、光源Ｌの大きさをσ＝９［ｄｅｇ］に固定することにより、光源環境を推定することができる。この場合には、推定部１３は、式（２３）に示す評価関数を最小化することにより、４個の光源環境パラメータ（θ０，φ０，α，Ｌｍａｘ）を推定する。ここで、Ｌｍａｘとは、撮像部１１では撮影できなかった円柱側面の輝度の極大値である。

ここで、式（２３）の右辺第３項はパラメータの推定を安定化するためのものである。この右辺第３項がない場合には、推定するＬｍａｘが大きければ大きいほど評価関数の値が小さくなるため、適切なパラメータが推定できないことがある。また、式（２３）のβは重みの調整パラメータである。ここでは、一例としてβ＝０．５である。

この式（２３）の評価関数によれば、キャリブレーション円柱ＣＳＹの側面輝度ｘ＾ｓｉｄｅ（ηｉ）の中の最大値ｍａｘ（ｘ＾ｓｉｄｅ（ηｉ））と、撮像部１１からは撮影できなかった側面の輝度の極大Ｌｍａｘとが、大きくは値が異ならないことを前提としている。この前提は不確かな観測からパラメータを推定する上で有効である。

なお、側面輝度ｘ＾ｓｉｄｅ（ηｉ）は、光源Ｌによって照明されている領域について方位角φとともに輝度が変化し、環境光のみで照明されている領域について一定の輝度になる。そこで、推定部１３は、まず側面輝度の中からほぼ一定の輝度の領域を抽出し、抽出した領域内における輝度を最小２乗法で推定する。次に、残りの領域を式（２２）に２次関数フィッティングすることにより、光源環境を推定することができる。このときに、推定部１３は、光源Ｌの中心の方位角φを、側面輝度ｘ＾ｓｉｄｅ（ηｉ）が一定である領域と、側面輝度ｘ＾ｓｉｄｅ（ηｉ）が変化する領域との境界の角度ηに対して、π／２［ｒａｄ］を加算または減算した角度として推定する。すなわち、推定部１３は、側面輝度ｘ＾ｓｉｄｅ（ηｉ）が一定である領域が、観測輝度の左側（角度が小さい）領域にあるか、右側（角度が大きい）領域にあるかにより、π／２［ｒａｄ］を加算するか、減算するかが選択される。このようにして、推定部１３は、光源環境の各パラメータを推定する。なお、推定部１３は、上述した複数の方法を組み合わせることによりパラメータを推定してもよい。

次に、この光源推定装置１０の推定部１３が光源環境のパラメータを推定する動作の具体例について、図１０を参照して説明する。

図１０は、本実施形態の光源推定装置１０の動作の一例を示すフローチャートである。
まず、推定部１３は、撮像部１１が撮像した実写画像ＲＰを取得する（ステップＳ１０）。

次に、推定部１３は、ステップＳ１０において取得した実写画像ＲＰの光源環境を推定するか否かを判定する（ステップＳ２０）。具体的には、推定部１３は、ステップＳ１０において取得した実写画像ＲＰの中に、ＡＲマーカーＡＲＭの画像がある場合には、光源環境を推定すると判定し（ステップＳ２０：ＹＥＳ）、処理をステップＳ３０に進める。一方、推定部１３は、ステップＳ１０において取得した実写画像ＲＰの中に、ＡＲマーカーＡＲＭの画像がない場合には、光源環境を推定しないと判定し（ステップＳ２０：ＮＯ）には、光源推定の処理を終了する。

ステップＳ３０において、推定部１３は、ステップＳ１０において取得した実写画像ＲＰに含まれるキャリブレーション円柱ＣＳＹの画像を抽出する。

次に、推定部１３は、ステップＳ３０において抽出したキャリブレーション円柱ＣＳＹの画像に基づいて、キャリブレーション円柱ＣＳＹの上面輝度ｘ＾ｔｏｐを算出する（ステップＳ４０）。

次に、推定部１３は、ステップＳ３０において抽出したキャリブレーション円柱ＣＳＹの画像に基づいて、キャリブレーション円柱ＣＳＹの側面輝度ｘ＾ｓｉｄｅ（ηｉ）を所定の角度ごとに算出する（ステップＳ５０）。具体的には、推定部１３は、キャリブレーション円柱ＣＳＹの側面輝度ｘ＾ｓｉｄｅ（ηｉ）を１０［ｄｅｇ］ごとに算出する。これにより、キャリブレーション円柱ＣＳＹの側面のうち、１７点における側面輝度ｘ＾ｓｉｄｅ（ηｉ）が算出される。

次に、推定部１３は、ステップＳ５０において算出した１７点の側面輝度ｘ＾ｓｉｄｅ（ηｉ）のうちの最大値になる角度ηｉを検索する（ステップＳ６０）。

次に、推定部１３は、ステップＳ５０において検索した角度ηｉの前後の角度における側面輝度、すなわち側面輝度ｘ＾ｓｉｄｅ（ηｉ−１）、側面輝度ｘ＾ｓｉｄｅ（ηｉ）、および側面輝度ｘ＾ｓｉｄｅ（ηｉ＋１）を取得する。さらに、推定部１３は、取得した各側面輝度の値と、上述した式（２０）および式（２１）とに基づいて、側面輝度の最大値Ｌ~ｍａｘを算出する（ステップＳ７０）。

次に、推定部１３は、ステップＳ７０において算出した側面輝度の最大値Ｌ~ｍａｘに基づいて、上述した式（２２）に示す評価関数が最小値になる光源環境の各パラメータを算出する（ステップＳ８０）。

次に、推定部１３は、ステップＳ８０において算出した光源環境の各パラメータを、光源環境情報ＬＩとしてＡＲ表示装置２０に出力して、光源環境推定処理を終了する（ステップＳ９０）。

ＡＲ表示装置２０は、ステップＳ１０において撮像された実写画像ＲＰと、ステップＳ９０において算出された光源環境情報ＬＩとに基づいて、ＣＧ画像ＣＧＰを生成し、生成したＣＧ画像ＣＧＰと、実写画像ＲＰとを合成することによりＡＲ画像を表示する。

このようにして推定部１３が推定した光源環境のパラメータの具体例を、図１１〜図１４を参照して説明する。
図１１は、本実施形態の環境光がない場合の画像の一例を示す模式図である。この図１１に示す画像とは、ＬＥＤ照明を点灯して撮像した画像の画素値から、ＬＥＤ照明を点灯しない状態で撮像した画像の画素値を減算することにより、環境光成分を除去したキャリブレーション円柱ＣＳＹの画像である。このうち、図１１（Ａ）は、光源Ｌの方向（θ０，φ０）を（６０，１２０）［ｄｅｇ］にした場合のキャリブレーション円柱ＣＳＹの画像を示す模式図である。また、図１１（Ｂ）は、光源Ｌの方向（θ０，φ０）を（６０，１８０）［ｄｅｇ］にした場合のキャリブレーション円柱ＣＳＹの画像を示す模式図である。

図１２は、本実施形態の環境光がない場合の推定部１３による推定結果の一例を示すグラフである。このうち、図１２（Ａ）は、図１１（Ａ）に示すキャリブレーション円柱ＣＳＹの画像に対する推定部１３の結果を示すグラフである。同図に示すように、光源Ｌの方向（θ０，φ０）＝（６０，１２０）［ｄｅｇ］に対して、推定結果が（θ０，φ０，σ）＝（５７．８，１２３．９，１．７）［ｄｅｇ］である。また、図１２（Ｂ）は、図１１（Ｂ）に示すキャリブレーション円柱ＣＳＹの画像に対する推定部１３の結果を示すグラフである。図１１（Ｂ）に示す光源環境おいては、光源Ｌの方向と、撮像部１１が撮像する撮像方向とのなす角が、９０［ｄｅｇ］であるため、側面輝度の最大値Ｌ~ｍａｘを算出することができない。このように側面輝度の最大値Ｌ~ｍａｘを算出することができない場合には、環境光の強度をσ＝９［ｄｅｇ］に固定して式（２３）の最小化によりパラメータ推定を行う。図１２（Ｂ）に示すように、光源Ｌの方向（θ０，φ０）＝（６０，１８０）［ｄｅｇ］に対して、推定結果が（θ０，φ０）＝（５８．８，１８０．８）［ｄｅｇ］である。

図１３は、本実施形態の環境光がある場合の画像の一例を示す模式図である。このうち、図１３（Ａ）は、光源Ｌの方向（θ０，φ０）を（６０，６０）［ｄｅｇ］にした場合のキャリブレーション円柱ＣＳＹの画像を示す模式図である。また、図１３（Ｂ）は、光源Ｌの方向（θ０，φ０）を（４５，３０）［ｄｅｇ］にした場合のキャリブレーション円柱ＣＳＹの画像を示す模式図である。

図１４は、本実施形態の環境光がある場合の推定部１３による推定結果の一例を示すグラフである。このうち、図１４（Ａ）は、図１３（Ａ）に示すキャリブレーション円柱ＣＳＹの画像に対する推定部１３の結果を示すグラフである。同図に示すように、光源Ｌの方向（θ０，φ０）＝（６０，６０）［ｄｅｇ］に対して、推定結果が（θ０，φ０，σ）＝（４４．０，４７．８，６．０）［ｄｅｇ］である。また、図１４（Ｂ）は、図１３（Ｂ）に示すキャリブレーション円柱ＣＳＹの画像に対する推定部１３の結果を示すグラフである。同図に示すように、光源Ｌの方向（θ０，φ０）＝（４５，３０）［ｄｅｇ］に対して、推定結果が（θ０，φ０、σ）＝（４３．２，１６．９，５．９）［ｄｅｇ］である。

以上、説明したように、本実施形態の光源推定装置１０は、撮像部１１と、記憶部１２と、推定部１３とを備えている。これにより、光源推定装置１０は、実写画像ＲＰの光源環境のパラメータを推定することができる。ＡＲ表示装置２０は、光源推定装置１０が推定した光源環境のパラメータに基づいて生成したＣＧ画像ＣＧＰを、実写画像ＲＰとともに表示することができる。したがって、これら光源推定装置１０およびＡＲ表示装置２０によれば、実写画像ＲＰとＣＧ画像ＣＧＰとの光学的整合性があるＡＲ画像を表示することにより、表示されるＣＧ画像の違和感を低減することができる。すなわち、光源推定装置１０は、表示されるＣＧ画像の違和感を低減することができる。

また、本実施形態において、撮像部１１が撮像する基準物体ＣＯとは、少なくとも一部の表面が乱反射面である物体である。これにより、光源推定装置１０は、基準物体ＣＯの上面の単位法線ベクトルｎｔｏｐおよび側面の単位法線ベクトルｎηの方向に基づいて、撮像部１１が撮像した実写画像ＲＰの光源環境のパラメータを推定することができる。

なお、本実施形態において、基準物体ＣＯがキャリブレーション円柱ＣＳＹである場合、すなわち基準物体ＣＯが円柱である場合を一例として説明したが、これに限られない。例えば、基準物体ＣＯが多角形柱（例えば、６角形柱）であっても、基準物体ＣＯが円柱である場合と同様にして、光源推定装置１０は、光源環境のパラメータを推定することができる。すなわち、基準物体ＣＯとは、円柱または多角形柱である物体である。これにより、光源推定装置１０は、基準物体ＣＯの上面の単位法線ベクトルｎｔｏｐおよび側面の単位法線ベクトルｎηの方向に基づいて光源環境のパラメータを推定することができる。このため、本実施形態の光源推定装置１０によれば、基準物体ＣＯが他の形状である場合に比べて推定すべきパラメータの個数または種類を低減することができる。

また、本実施形態の推定部１３は、撮像部１１が撮像した基準物体ＣＯの画像が示す円柱の側面の輝度に基づいて基準物体ＣＯの画像の輝度分布を正規化し、当該正規化した輝度分布と、記憶部１２に記憶されている円柱の形状を示す形状情報とに基づいて、撮像部１１が撮像した画像の光源環境を推定する。すなわち、本実施形態の推定部１３は、側面輝度の最大値Ｌ~ｍａｘによって基準物体ＣＯの画像の輝度分布を正規化する。これにより、推定部１３は、推定すべきパラメータから環境光の強度ρを除外することができる。すなわち、本実施形態の推定部１３によれば、基準物体ＣＯの画像の輝度分布を正規化しない場合に比べて、推定すべきパラメータの種類を低減することができる。

なお、推定部１３は、光源Ｌの強度１に対する環境光成分の強度がαであるとして推定する。この光源Ｌの強度算出において、推定部１３は、光源Ｌの強度を１／（１＋α）として、環境光の強度をα／（１＋α）として、それぞれ強度を算出してもよい。

［変形例］
次に、上述した実施形態の変形例である画像処理システム１ａについて図１５を参照して説明する。
図１５は、本実施形態の変形例である画像処理システム１ａの構成の一例を示す構成図である。画像処理システム１ａは、光源推定装置１０ａが推定部１３ａと、検出部１５とを備える点において、上述した画像処理システム１と異なる。以下、推定部１３ａと、検出部１５とについて説明する。なお、上述した実施形態と同一の構成については、同一の符号を付してその説明を省略する。

検出部１５は、姿勢センサを備えており、撮像部１１の姿勢を検出する。ここで、撮像部１１の姿勢とは、基準物体ＣＯ（例えば、キャリブレーション円柱ＣＳＹ）の座標系における、撮像部１１の撮像方向の天頂角θおよび方位角φである。

推定部１３ａは、撮像部１１が撮像した画像に含まれる基準物体ＣＯの画像と、記憶部１２に記憶されている形状情報と、検出部１５が検出した撮像部１１の姿勢とに基づいて、撮像部１１が撮像した実写画像ＲＰの光源環境のパラメータを推定する。

これにより、光源推定装置１０ａは、撮像部１１の姿勢と、基準物体ＣＯの上面の単位法線ベクトルｎｔｏｐおよび側面の単位法線ベクトルｎηの方向とに基づいて、撮像された実写画像ＲＰの光源環境のパラメータを推定することができる。すなわち、光源推定装置１０ａは、基準物体ＣＯの表面が理想的な完全拡散面に近い反射特性を有していない場合であっても、撮像された実写画像ＲＰの光源環境のパラメータを推定することができる。

以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。

なお、上記の実施形態における光源推定装置１０（または、光源推定装置１０ａ。以下の説明において同じ。）が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。

なお、光源推定装置１０が備える各部は、メモリおよびＣＰＵ（中央演算装置）により構成され、光源推定装置１０が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、光源推定装置１０が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１，１ａ…画像処理システム、１０，１０ａ…光源推定装置、１１…撮像部、１２…記憶部、１３，１３ａ…推定部、１４…検出部、２０…ＡＲ表示装置、ＣＯ…基準物体、Ｌ…光源

Claims (7)

1. 画像を撮像する撮像部と、
   光源推定の基準である基準物体の形状を示す形状情報が予め記憶されている記憶部と、
   前記記憶部に記憶されている前記形状情報と、前記撮像部が撮像した画像に含まれる前記基準物体の画像とに基づいて、前記撮像部が撮像した画像の光源環境を推定する推定部と
   を備えることを特徴とする光源推定装置。
2. 前記基準物体とは、少なくとも一部の表面が乱反射面である物体であり、
   前記推定部は、
   前記記憶部に記憶されている前記形状情報と、前記撮像部が撮像した画像に含まれる前記基準物体の画像の輝度分布とに基づいて、前記撮像部が撮像した画像の光源環境を推定する
   ことを特徴とする請求項１に記載の光源推定装置。
3. 前記基準物体とは、円柱または多角形柱である物体であり、
   前記記憶部には、前記基準物体の円柱または多角形柱の形状を示す形状情報が予め記憶されており、
   前記推定部は、
   前記撮像部が撮像した画像に含まれる前記基準物体の画像の輝度分布と、前記記憶部に記憶されている前記円柱または多角形柱の形状を示す形状情報とに基づいて、前記撮像部が撮像した画像の光源環境を推定する
   ことを特徴とする請求項１または請求項２に記載の光源推定装置。
4. 前記推定部は、
   前記撮像部が撮像した前記基準物体の画像が示す前記円柱または多角形柱の側面の輝度に基づいて前記基準物体の画像の輝度分布を正規化し、当該正規化した輝度分布と、前記記憶部に記憶されている前記円柱または多角形柱の形状を示す形状情報とに基づいて、前記撮像部が撮像した画像の光源環境を推定する
   ことを特徴とする請求項３に記載の光源推定装置。
5. 前記撮像部の姿勢を検出する検出部
   を備え、
   前記推定部は、前記撮像部が撮像した画像に含まれる前記基準物体の画像と、前記記憶部に記憶されている前記形状情報と、前記検出部が検出した前記撮像部の姿勢とに基づいて、前記撮像部が撮像した画像の光源環境を推定する
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の光源推定装置。
6. 請求項１から請求項５のいずれか一項に記載の光源推定装置と、
   前記光源推定装置によって推定された前記光源環境を示す情報に基づいて、画像を生成する画像生成部と、
   前記画像生成部が生成した画像と、前記撮像部が撮像した画像とが合成された画像を表示する表示部と
   を備えることを特徴とする画像処理システム。
7. 光源推定の基準である基準物体の形状を示す形状情報が予め記憶されている記憶部を備える光源推定装置のコンピュータに、
   画像を撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された画像に含まれる前記基準物体の画像と、前記記憶部に記憶されている前記形状情報とに基づいて、前記撮像ステップにおいて撮像された画像の光源環境を推定する推定ステップと
   を実行させるための光源推定プログラム。