JP2008107087A - 光源位置推定装置 - Google Patents

Abstract

【課題】簡易な手法により、照明空間における光源位置を推定することが可能な光源位置推定装置を提供する。
【解決手段】光源位置推定装置１は、４つの錐体１０３−１〜４及びカメラキャリブレーションパターン１０４により簡易に構成された光源位置推定用校正器具２を用いて光源１０２の位置を推定する。具体的には、カメラパラメータ算出手段１１が照明空間撮影画像からカメラパラメータを算出し、錐体選択手段１２が４つの錐体１０３−１〜４にうちの２つの錐体１０３−２，４を選択する。影座標算出手段１３は、２つの錐体１０３−２，４の頂点における影Ａ，Ｂの画像座標をカメラパラメータを用いて世界座標に変換する。そして、光源位置推定手段１４が、錐体１０３−２，４の頂点の世界座標及びその影Ａ，Ｂの世界座標から、光源１０２−１の位置を推定する。
【選択図】図７

Description

本発明は、照明空間における光源位置をカメラ撮影画像から推定する装置に関する。

照明空間における光源位置を推定する技術は、対象物の影の位置や光源位置等に基づいてその対象物の３次元形状を復元する場合や、カメラ撮影画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を合成する際に、カメラ撮影画像から推定した光源位置に基づいてＣＧ画像に自然な陰影を付け、自然な合成画像を作成する場合等、様々な画像処理において必要とされている。

照明空間における光源位置を推定する装置として、例えば、特許文献１には、照射面における照度値及び光の入射角度から、光源位置を推定する装置が記載されている。具体的には、この光源位置推定装置は、所定の照明空間において、光源から照射された光の内壁面での各測定基準点（面素）における入射光子束の照度値（光の強さ）及び入射角度を求め、この照度値及び入射角度から、入射光子束の入射方向と逆方向に、その照度値に比例した光子束を放射したときの照明分布を求め、そして、その照明分布から光源位置を推定するものである。

また、非特許文献１には、現実環境及び仮想環境の位置合わせを行うための正方マーカと、現実環境のおおまかな照明環境を推定するための鏡面球とを組み合わせた三次元マーカを利用することにより、拡張現実感における幾何学的整合性及び光学的整合性の双方の解決を図ることを可能とした技術が記載されている。

特開平１０−２５３４４８号公報 神原、横矢、「現実環境の照明条件と奥行きの実時間推定による仮想物体の陰影表現が可能な拡張現実感」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４．７

前述の特許文献１では、校正器具を使用することなく光源位置を推定することができる。しかしながら、照明空間に存在する壁面の反射特性や形状等の情報を事前に入力しておく必要がある。また、前述の非特許文献１は、３次元マーカである校正器具を使用することにより、光源方向及び光源の相対的な輝度を測定し、仮想物体の陰影表現を実現するものである。しかしながら、この校正器具では、照明空間における光源位置を推定することはできない。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、簡易な手法により、照明空間における光源位置を推定することが可能な光源位置推定装置を提供することにある。

本発明では、前記課題を以下の手段により解決する。すなわち、本発明による光源位置推定装置は、照明空間内に配置された光源の位置を推定する光源位置推定装置において、 光源と、キャリプレーションパターン及び立体物から成る校正器具とにより構成された照明空間の画像を入力し、該照明空間画像に含まれるカメラキャリブレーションパターン画像からカメラパラメータを算出するカメラパラメータ算出手段と、前記カメラパラメータを用いて、立体物の影における２次元の画像座標から３次元の世界座標を算出する影座標算出手段と、前記立体物の所定箇所の世界座標及びその影の世界座標に基づいて、光源の世界座標を推定する光源位置推定手段とを備えたことを特徴とする。

また、本発明による光源位置推定装置は、さらに、複数の立体物のうちの２つの立体物を選択する立体物選択手段を備え、前記影座標算出手段が、カメラパラメータを用いて、選択された２つの立体物の影の画像座標から世界座標を算出し、前記光源位置推定手段が、選択された２つの立体物の世界座標及びそれらの影の世界座標に基づいて、光源の世界座標を推定することを特徴とする。

また、本発明による光源位置推定装置は、前記立体物を錐体とし、前記影座標算出手段が、選択された２つの立体物について、その立体物の影における２つの直線を照明空間撮影画像から検出し、それらの直線の交点を立体物の影の画像座標とし、カメラパラメータを用いて、前記立体物の影の画像座標から世界座標を算出することを特徴とする。

また、本発明による光源位置推定装置は、前記光源位置推定手段が、立体物の世界座標及びその影の世界座標による方程式を生成し、最小二乗法により光源の世界座標を推定することを特徴とする。

以上のように、本発明によれば、簡易な手法により、照明空間における光源位置を推定することが可能な光源位置推定装置を実現することができる。

以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
まず、本発明の原理について説明する。図１は、本発明の原理を説明する概要図である。本発明では、立体物である錐体１０３−１〜４、カメラキャリブレーションパターン１０４及び光源１０２−１〜４（図１には光源１０２−１のみが示されている。）から構成される照明空間において、カメラ１０１により撮影されたこの照明空間の画像に基づいて、錐体１０３−２の頂点における影の座標及び錐体１０３−４の頂点における影の座標を求め、光源１０２−１の位置（世界座標）を推定する。図１の光源１０２−１から伸びている矢印は、錐体１０３−２，４への光線を示しており、矢印の位置が錐体１０３−２，４の頂点における影の座標である。これらの２つの矢印の交点に光源１０２−１が存在することから、錐体１０３−２，４の頂点の世界座標及び錐体１０３−２，４の頂点における影の世界座標を用いて、光源１０２−１からの光線の方向ベクトル（方向と距離）を求め、これら２つの方向ベクトルの交点を求めることにより、光源１０２−１の位置を推定することができる。

具体的には、まず、カメラ１０１により撮影した照明空間の画像において、カメラキャリブレーションパターン１０４の画像から、カメラパラメータを算出する。そして、その照明空間撮影画像から、錐体１０３−１〜４の頂点の画像座標及びその頂点における影の画像座標を算出する。光源１０２−１の位置を推定する場合、光源１０２−１により生じる、４つの錐体１０３−１〜４のうちの２つの錐体の頂点の影において、直線距離が最も長くなる２つの錐体１０３−２，４を選択する。そして、カメラパラメータを用いて、錐体１０３−２，４の頂点の画像座標及び錐体１０３−２，４の頂点における影の画像座標（ｕ_Ａ，ｖ_Ａ）（ｕ_Ｂ，ｖ_Ｂ）からそれぞれの世界座標（Ｘ_{ｐｏｌｅ２}，Ｙ_{ｐｏｌｅ２}，Ｚ_{ｐｏｌｅ２}）（Ｘ_{ｐｏｌｅ４}，Ｙ_{ｐｏｌｅ４}，Ｚ_{ｐｏｌｅ４}）（ｘ_Ａ，ｙ_Ａ，０）（ｘ_Ｂ，ｙ_Ｂ，０）に変換する。そして、錐体１０３−２，４の頂点の世界座標及び錐体１０３−２，４の頂点における影の世界座標から光源１０２−１の位置（Ｘ_{ｌｉｇｈｔ１}，Ｙ_{ｌｉｇｈｔ１}，Ｚ_{ｌｉｇｈｔ１}）を推定する。同様にして、光源１０２−２〜４の位置についても推定することができる。尚、画像座標は２次元座標であり、世界座標は３次元座標である。

次に、前述した本発明の原理を光源位置推定装置に適用した例について説明する。図２は、本発明の実施の形態による光源位置推定装置に用いる光源位置推定用校正器具を示す図である。この光源位置推定用校正器具２は、４つの錐体１０３−１〜４及びカメラキャリブレーションパターン１０４により構成される。

図４は、本発明の実施の形態による光源位置推定装置が光源位置を推定するために必要な照明空間を説明する図である。この照明空間には、カメラ１０１、４つの光源１０２−１〜４、並びに、図２に示した４つの錐体１０３−１〜４及びカメラキャリブレーションパターン１０４により構成される光源位置推定用校正器具２が設けられている。尚、錐体１０３−１〜４の数は、光源１０２−１〜４の数と同じにする必要がある。

図７は、本発明の実施の形態による光源位置推定装置の構成を示す図である。この光源位置推定装置１は、図４に示した照明空間を用いてカメラ１０１により撮影された照明空間撮影画像から、光源１０２−１〜４の位置を推定する装置であり、カメラパラメータ算出手段１１、錐体選択手段１２、影座標算出手段１３、及び光源位置推定手段１４を備えている。

図３は、図１の光源位置推定装置１により実現される処理を示すフローチャート図である。以下、図７に示す光源位置推定装置１の構成、及び図３に示す光源位置推定装置１の処理フローについて詳細に説明する。

（１）撮影
まず、ユーザは、カメラ１０１により、図２の光源位置推定用校正器具２を配置した図４の照明空間を撮影する（ステップＳ３０１）。具体的には、光源位置推定装置１がカメラ１０１のカメラパラメータを算出して光源１０２−１〜４の位置を推定する画像を得るために、図４に示した照明空間をカメラ１０１により撮影する。

図５は、カメラ１０１により撮影された照明空間の画像である。この照明空間撮影画像には、光源１０２−１〜４によりそれぞれ生じた錐体１０３−１の影Ｋ１０３−１−１〜４、錐体１０３−２の影Ｋ１０３−２−１〜４、錐体１０３−３の影Ｋ１０３−３−１〜４、及び錐体１０３−４の影Ｋ１０３−４−１〜４が存在している。

以下、推定する光源１０２−１〜４の位置（世界座標）を（Ｘ_{ｌｉｇｈｔＮ}，Ｙ_{ｌｉｇｈｔＮ}，Ｚ_{ｌｉｇｈｔＮ}）、錐体１０３−１〜４の頂点の世界座標を（Ｘ_{ｐｏｌｅＮ}，Ｙ_{ｐｏｌｅＮ}，Ｚ_{ｐｏｌｅＮ}）とし、錐体１０３−１〜４の頂点の世界座標は予め設定された既知の値とする。

（２）カメラパラメータ算出
カメラパラメータ算出手段１１は、カメラ１０１から図５に示した照明空間撮影画像を入力し、照明空間撮影画像に含まれるカメラキャリブレーションパターン画像からカメラパラメータを算出する（ステップＳ３０２）。このカメラパラメータは、２次元の画像座標（カメラ座標）を３次元の世界座標に変換するために必要なパラメータであり、カメラ１０１の位置、向き、焦点距離、回転行列、平行移動ベクトル等により構成され、ここでは、以下の（１）〜（３）式に示すパラメータＡ，Ｒ，Ｔをいう。

ここで、世界座標とは、カメラキャリブレーションパターン上に構成される３次元座標であり、Ｘ−Ｙ軸による平面が地面（床）になり、Ｚ軸がその地面と垂直になるように構成される。また、画像座標とは、カメラ１０１からみた２次元座標である。

（３）錐体の頂点における影の画像座標算出
錐体選択手段１２は、カメラ１０１から図５に示した照明空間撮影画像を入力し、光源１０２−１〜４毎に、４つの錐体１０３−１〜４のうちの２つの錐体を選択する。この場合、錐体１０３−１〜４の頂点における影Ｋ１０３−１−１〜Ｋ１０３−４−４の画像座標から、光源１０２−１〜４毎に、それにより生じる２つの影の画像座標を直線で結び、その直線距離が最も長い２つの錐体を選択する。これにより、光源１０２−１〜４の位置を精度高く推定することができる。

例えば、図５を参照して、光源１０２−１（図５では左上方部（錐体１０３−１の上方の奥）に存在しているものとする。）について、これにより生じる錐体１０３の頂点における影の画像座標は、錐体１０３−１ではＫ１０３−１−１、錐体１０３−２ではＫ１０３−２−１、錐体１０３−３ではＫ１０３−３−１、錐体１０３−４ではＫ１０３−４−１である。錐体選択手段１２は、これらの影の画像座標のうち２つの画像座標の間の直線距離を求め、その直線距離が最大となる影を有する錐体１０３を選択する。この例では、図６を参照して、錐体１０３−２の頂点の影Ｋ１０３−２−１（影Ａ）と錐体１０３−４の頂点の影Ｋ１０３−４−１（影Ｂ）との間の直線距離が他の直線距離よりも長いから、光源１０２−１の位置を推定する場合は、錐体１０３−２，４が選択される。

次に、影座標算出手段１３は、錐体選択手段１２により選択された２つの錐体の番号、カメラパラメータ算出手段１１からカメラパラメータ、及び、カメラ１０１から照明空間撮影画像をそれぞれ入力し、照明空間撮影画像をハフ変換し、２つの錐体１０３における影Ｋ１０３について、各影Ｋ１０３の２つの直線をそれぞれ検出し、それぞれの錐体１０３の頂点における影Ｋ１０３の画像座標を算出する（ステップＳ３０３）。

図６を参照して、前述の例では、影座標算出手段１３は、照明空間撮影画像をハフ変換し、錐体１０３−２の頂点における影Ａに対する極座標（ｐ_Ａ１，θ_Ａ１）（ｐ_Ａ２，θ_Ａ２）、及び錐体１０３−４の頂点における影Ｂに対する極座標（ｐ_Ｂ１，θ_Ｂ１）（ｐ_Ｂ２，θ_Ｂ２）を得る。そして、以下の（４）式を用いて、頂点における影Ａの画像座標（ｕ_Ａ，ｕ_Ａ）を算出する。同様に、以下の（５）式を用いて、頂点における影Ｂの画像座標（ｕ_Ｂ，ｕ_Ｂ）を算出する。算出された画像座標は、極座標を持った２つの直線の交点である。

（４）錐体の頂点における影の世界座標算出
次に、影座標算出手段１３は、入力したカメラパラメータを用いて、２つの錐体１０３の頂点における影Ｋ１０３の画像座標を世界座標に変換する（ステップＳ３０４）。

前述の例では、影座標算出手段１３は、前述の（１）〜（３）式のカメラパラメータを用いて、以下の（６）（７）式により、錐体１０３−２，４の頂点における影Ａ，Ｂの画像座標（ｕ_Ａ，ｕ_Ａ）（ｕ_Ｂ，ｕ_Ｂ）を世界座標（ｘ_Ａ，ｙ_Ａ，０）（ｘ_Ｂ，ｙ_Ｂ，０）に変換する。

（５）光源の位置推定
光源位置推定手段１４は、影座標算出手段１３から２つの錐体１０３の頂点における影Ｋ１０３の世界座標を入力し、これらの影Ｋ１０３の世界座標と、予め設定された既知の当該２つの錐体１０３の頂点の世界座標とを用いて、光源１０２の位置である世界座標（Ｘ_{ｌｉｇｈｔＮ}，Ｙ_{ｌｉｇｈｔＮ}，Ｚ_{ｌｉｇｈｔＮ}）を推定する（ステップＳ３０５）。

前述の例では、光源位置推定手段１４は、入力した２つの錐体１０３−２，４の頂点における影Ａ，Ｂの世界座標（ｘ_Ａ，ｙ_Ａ，０）（ｘ_Ｂ，ｙ_Ｂ，０）と、当該２つの錐体１０３−２，４の頂点の世界座標（Ｘ_{ｐｏｌｅ２}，Ｙ_{ｐｏｌｅ２}，Ｚ_{ｐｏｌｅ２}）（Ｘ_{ｐｏｌｅ４}，Ｙ_{ｐｏｌｅ４}，Ｚ_{ｐｏｌｅ４}）とを用いて、三角測量の原理により、以下の（８）式に展開する。

そして、この（８）式から４つの方程式及び３つの未知数を得ることにより、最小二乗法により、光源１０２−１の世界座標（Ｘ_{ｌｉｇｈｔ１}，Ｙ_{ｌｉｇｈｔ１}，Ｚ_{ｌｉｇｈｔ１}）を推定する。

前述のステップ３０３〜３０５（（３）〜（５））の処理を光源１０２−１〜４毎に繰り返す。これにより、光源１０２−１〜４毎に、その位置である世界座標が推定される。

以上のように、本発明の実施の形態による光源位置推定装置１によれば、錐体１０３及びカメラキャリブレーションパターン１０４から構成される光源位置推定用校正器具２を含む照明空間撮影画像から、錐体１０３の頂点における影Ｋ１０３の座標を算出し、この影の座標から光源１０２の位置を推定するようにした。これにより、簡易な構成の光源位置推定用校正器具２を用いて照明空間における光源１０２の位置を推定することができる。例えば、撮影画像にＣＧ画像を合成する場合に、推定した光源位置に基づいて、ＣＧ画像に自然な陰影を付けることができ、ＣＧ画像の自然な影を生成することができる。これにより、一層自然な合成画像を生成することができる。

以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上記実施の形態では、光源位置推定手段１４が、最小二乗法を用いて光源１０２の位置（Ｘ_{ｌｉｇｈｔＮ}，Ｙ_{ｌｉｇｈｔＮ}，Ｚ_{ｌｉｇｈｔＮ}）を推定するようにしたが、最小二乗法に限定されるものではない。（８）式により光源の位置である３つの未知数を算出することができれば、他の手法を用いてもよい。

また、上記実施の形態では、錐体１０３の形状の立体物を用いて光源１０２の位置を推定するようにしたが、必ずしも錐体に限定されるものではなく、立体物の頂点の影を生成することができれば、錐体以外の立体物を用いてもよい。

本発明の原理を説明する概要図である。 本発明の実施の形態による光源位置推定装置に用いる光源位置推定用校正器具を示す図である。 本発明の実施の形態による光源位置推定処理のフローチャート図である。 照明空間を説明する図である。 カメラにより撮影された画像を示す図である。 影画像座標を算出するためのハフ変換を説明する図である。 本発明の実施の形態による光源位置推定装置の構成を説明するブロック図である。

符号の説明

１ 光源位置推定装置
２ 光源位置推定用校正器具
１１ カメラパラメータ算出手段
１２ 錐体選択手段
１３ 影座標算出手段
１４ 光源位置推定手段
１０１ カメラ
１０２ 光源
１０３ 錐体
１０４ カメラキャリブレーションパターン
Ｋ１０３ 影

Claims (4)

1. 照明空間内に配置された光源の位置を推定する光源位置推定装置において、
   光源と、キャリプレーションパターン及び立体物から成る校正器具とにより構成された照明空間の画像を入力し、該照明空間画像に含まれるカメラキャリブレーションパターン画像からカメラパラメータを算出するカメラパラメータ算出手段と、
   前記カメラパラメータを用いて、立体物の影における２次元の画像座標から３次元の世界座標を算出する影座標算出手段と、
   前記立体物の世界座標及びその影の世界座標に基づいて、光源の世界座標を推定する光源位置推定手段とを備えたことを特徴とする光源位置推定装置。
2. 請求項１に記載の光源位置推定装置において、
   さらに、複数の立体物のうちの２つの立体物を選択する立体物選択手段を備え、
   前記影座標算出手段が、カメラパラメータを用いて、選択された２つの立体物の影の画像座標から世界座標を算出し、
   前記光源位置推定手段が、選択された２つの立体物の世界座標及びそれらの影の世界座標に基づいて、光源の世界座標を推定することを特徴とする光源位置推定装置。
3. 請求項１または２に記載の光源位置推定装置において、
   前記立体物を錐体とし、
   前記影座標算出手段が、選択された２つの立体物について、その立体物の影における２つの直線を照明空間撮影画像から検出し、それらの直線の交点を立体物の影の画像座標とし、カメラパラメータを用いて、前記立体物の影の画像座標から世界座標を算出することを特徴とする光源位置推定装置。
4. 請求項１から３までのいずれか一項に記載の光源位置推定装置において、
   前記光源位置推定手段が、立体物の世界座標及びその影の世界座標による方程式を生成し、最小二乗法により光源の世界座標を推定することを特徴とする光源位置推定装置。

Images