JP2015153390A - 画像変換装置、画像変換方法、及び画像処理プログラム - Google Patents

Abstract

【課題】室内照明のように光源までの距離が比較的近い場合において、対象物体上と異なる位置で周囲環境光を撮影したときに生じる方位誤差を低減することができ、正確な光源方向の推定を行うことにより、最適な撮影位置へのナビゲーションや、写真撮影の際の露光調整やゲイン補正を的確に行う。
【解決手段】周囲環境光が記録された全周囲の画像上に現れる対象物体や主たる光源の方位や距離を利用して撮影者位置で得られた全周囲画像を対象物体上に変換する。このとき、計算には内接円という制約を付けたり、光源までの距離を利用することで元の方位情報を正確に保った変換を実現する。
【選択図】図１

Description

本発明は測定された周囲の画像情報を撮影位置とは別の位置の情報として変換して，有益な情報や判断因子を得る画像変換装置、画像変換方法、及び画像処理プログラムに関する．

我々が日頃から目にする物体の見えは，物体そのものの特徴（形，反射率など）だけでなく，その物体を照明する周囲環境光の影響を受けている．そのため，周囲環境光を知ることは撮影されているシーン全体を理解するだけでなく，物体そのものの特性を正確に把握する上で重要な情報である．故に，従来から周囲環境光を測定する様々な手法が開発されてきた（非特許文献１）．

また，撮影した周囲環境光を球体に空間的に配置することで，周囲環境光を直感的に判断したり，方位に関する解析を容易にする発明も提案されている．（特許文献１）．

このようにして，撮影・表示された周囲環境光の情報は画像処理による手法と組み合わせることで様々な産業上の利用価値が生じる．例えば特許文献２ではクロマキー画像合成をする際に，背景用画像撮影時の周囲環境光を取得して，前景用画像撮影時に背景と整合性が取れたライティングを施すことを提案している．また，特許文献３では複数の魚眼レンズを備えた撮影装置で得られた全周囲画像から太陽の位置を解析し，写真撮影の際の露光調整やゲイン補正を施す手段が提案されている．

従来提案で述べられているように，周囲の環境光を画像として取得して，撮影のためのガイドや撮影画像の正確な修正を行うためには，周囲環境光の正確な位置や方位を知る必要がある．通常，この位置や方位の情報は周囲環境光を撮影する場所を中心として得られるものであるため，周囲環境光は撮影対象と同じ位置で取得しなければならない．ここで，太陽などの無限に遠い光源については，撮影場所が多少異なっても，得られる方位に大きな誤差は生じない．しかしながら，室内照明のように距離が比較的近い条件で，撮影対象と異なる位置で周囲環境光を撮影すると，その方位に大きく誤差が生じる．

この問題に対して，特許文献４に示すように，予め想定される複数の位置で周囲環境光を撮影しておき，任意の位置に設置された撮影対象物上の環境光情報を求める手法も提案されている。

国際公開第２００５／０８６１１９号公報 特開２０１３−１４９２１９号公報 特開２０１３−１９８０７０号公報 特開２０１３−２３６２１５号公報

Shree K. Nayar, "Catadioptric Omnidirectional Camera", Proceedings of Conference on Computer Vision and Pattern Recognition, pp.482 - 488, (1997).

しかしながら、上記特許文献４に記載のような技術では、かなり多くの撮影回数が必要であり，更には周囲環境光が変化するたびに撮影を余儀なくされる．

このため，我々は上記課題に対して，本来，対象物体上で撮影されなければならない周囲環境光の画像を，対象物体上以外の場所で撮影したときの方位誤差を提言させる変換装置及びその方法を提供する．本発明は，周囲環境光が記録された全周囲の画像を処理する演算装置において，複数の方向に対して撮影された画像群を任意の半径を持つ仮想球体の該当位置に相対的な位置が一致するように貼り合わせる手段と，作成された球体画像群から指示された対象物体位置の緯度経度を算出する手段と，対象物体上方に延ばした線と球体画像群の中心から任意の位置に引いた半径が交わる点を求める手段と，その交点を中心として球体画像群に内接する変換先球体を生成する手段と，変換先球体上の各方位に対応する元の球体画像群上の方位を求める計算手段と，それら計算を変換先球体上の全ての方位に適用することで変換後球体画像群を作成することを特徴とする画像変換装置、画像変換方法、及び画像処理プログラムである．

本発明によれば，室内照明のように光源までの距離が比較的近い場合において，対象物体上と異なる位置で周囲環境光を撮影したときに生じる方位誤差を低減することができ，正確な光源方向の推定を行うことにより，最適な撮影位置へのナビゲーションや，写真撮影の際の露光調整やゲイン補正を的確に行うことができる．

本発明の実施形態１の概略構成を示すブロック図である。 様々な方向の撮影結果から球体画像群を生成する一例を示す図である。 本発明を導くに至った比較的近い光源での方位誤差を示す図である。 撮影された球体画像群から変換先球体を生成する一例を示す図である。 撮影された球体画像群と変換後の球体画像群の対応関係を示す図である。 撮影された球体画像群から変換後の球体画像群を算出するフローチャートである。 撮影された球体画像群を正距円筒図として示した図である。 変換後の球体画像群を正距円筒図として示した図である。 変換後の正距円筒図から光源位置を抽出して示した図である。 理想的な対象物体上での球体画像群を正距円筒図として示した図である。 変換前，変換後及び理想的な位置での方位測定結果例である。 本発明の実施形態２の概略構成を示すブロック図である。 光源までの距離が明らかになった場合の，撮影された球体画像群から変換先球体を生成する一例を示す図である。 光源までの距離が明らかになった場合の，撮影された球体画像群と変換後の球体画像群の対応関係を示す図である。 光源までの距離が明らかになった場合の，撮影された球体画像群から変換後の球体画像群を算出するフローチャートである。 光源までの距離が明らかになった場合の，撮影された球体画像群を正距円筒図として示した図である。 撮影された画像の正距円筒図から光源位置を抽出して示した図である。 光源までの距離が明らかになった場合の，変換後の球体画像群を正距円筒図として示した図である。 光源までの距離が明らかになった場合の，理想的な対象物体上での球体画像群を正距円筒図として示した図である。 光源までの距離が明らかになった場合の，変換前，変換後及び理想的な位置での方位測定結果例である。

以下，本発明の実施形態について図面に基づいて説明する．

図１は本発明の実施形態の概略構成を示すブロック図である．単眼カメラを各方位に回転させたり，一度に複数の方位が計測可能なカメラを用いて，あらゆる方向の周囲環境光情報を取得するための画像取得制御部を備えている．測定された画像とその方位は，例えばＧＰＳ信号であったり，ジャイロコンパスなどを用いて対応して記録されている．またこれら方位が不明の場合でも，各方向の撮影結果に隣接する方位画像と共通的な特徴点が存在することで，相対的な方位関係は知ることができる．

取得された全方位画像は球体画像群生成部で仮想球体に空間的に貼り合わす処理が行われる．各画像の方位が明らかな場合には切り出し位置を割り当てて生成するが，各画像の方位が不明な場合には各画像における共通の特徴点同士を検出して，切り出し位置の計算を行う処理が実施される．一例として，９０度毎に６枚の画像を取得して球体画像群を生成した一例を図２に示す．この処理により生成される球体画像群は撮影者の位置で取得された全周囲画像であり，撮影者の位置から見た対象物体や光源の方位を正確に知ることができる．ここで，図３に示すように，周囲環境光のうち，比較的距離が近い光源の方位は，撮影者の位置から見た方位と対象物体から見た方位が大きく異なることがわかる．

続いて対象物検出部にて，球体画像群から所望の周囲環境光の情報が必要な対象物体の方位を特定する．撮影者の位置から見た球体画像群には対象物体が撮影されているため，その位置を指示する事により，容易に対象物体の方位は知ることができる．この対象物体の方位から，変換すべき球体の計算を行う．本実施例１の変換先球体を生成する一例を図４に示す．実施例１では検出した対象物体の方位に基づき，生成した球体画像群に内接する変換先球体を決定する．変換先球体は対象物体の上部に位置することが望ましいため，対象物体方位から鉛直方向に引いた直線と現在の球体画像群の正面方向の半径との交点を変換先球体の中心としている．ここで，本発明の効果を容易に説明するために上記のような条件としているが，相対的な方位の関係さえ正確であれば良いため，交点を求めるのは鉛直方向や正面方向である必要はない．

決定した変換先球体に基づき，対応位置計算部では元の球体画像群の周囲環境光の情報を変換先球体に対応付けする．計算のための位置関係を図５に，計算の過程を図６のフローチャートで示す．図５では（ｘ，ｙ，ｚ）の三次元空間での変換先球体の中心を（０，０，０）として，元の球体画像群の中心はｘ軸方向に−Ｒｃｏｓαだけ移動しているものとする．ここで，球体画像群の半径をＲとしているが，変換先球体の半径もＲ（１−ｃｏｓα）で表されるため，半径Ｒは計算過程で消去される．元の球体画像群上の任意の点を（Ｘ，Ｙ，Ｚ）とすると，その座標は緯度θ，経度φを用いて，（Ｘ＝Ｒｃｏｓθｃｏｓφ，Ｙ＝Ｒｃｏｓθｓｉｎφ，Ｚ＝Ｒｓｉｎθ）と表すことができる．同様に変換先球体上の任意の点（ｘ，ｙ，ｚ）もθ’，φ’を用いて表すことが可能である．ここで，対応関係を考えるとき，変換先球体の原点（０，０，０）と変換先球体上の任意の点（ｘ，ｙ，ｚ）を結ぶ直線は，元の球体画像群上の任意の点（Ｘ，Ｙ，Ｚ）で交わるため，式（１）で示すように，元の球体画像群上の方位を示すθ，φは変換先球体の方位を示すθ’，φ’で表すことができる
式（１）
θ＝ａｒｃｓｉｎ（ｔ（１−ｃｏｓα）ｓｉｎθ’）．
φ＝ａｒｃｓｉｎ（（ｔ（１−ｃｏｓα）ｃｏｓθ’ｓｉｎφ’）／ｃｏｓθ）．
但し，ｔ＝−Ｒ（ｃｏｓθ’ｃｏｓφ’ｃｏｓα）
＋√（Ｒ^２ｃｏｓ^２θ’ｃｏｓ^２φ’―Ｒ^２（ｃｏｓ^２α−１））．

対応位置が決定したら，描画部にて変換先球体が生成される．変換先球体画像は式（１）で得られた結果と球体画像群のデータを元にレンダリングされる．図７には元の撮影された球体画像群を正距円筒図として表した結果を示す．図８は対象物体の上方で作成した変換先球体画像を正距円筒図として表した結果を示す．対象物体を照らす光源となりうるスポットライトや蛍光灯の方位が変化している様子がわかる．変換された周囲環境光画像はアプリケーションによってその有益な情報を活用することができる．本実施例１では写真撮影をする場合の光源方向を知るため，図９に示したような光源位置検出を行っている．この光源検出結果から主たる光源の方位を計算することができる．

ここで，本変換の有用性を示すため，全周囲環境光の撮影を対象物上方で撮影した正解画像を図１０に示す．撮影者位置で取得された全周囲環境光の方位と比較すると，我々の変換によって得られた結果のほうが正解に近い方位を示していることがわかる．この結果を定量的に評価するため，周囲環境光のうち，スポットライトと天井の蛍光灯について，その方位を計測した．結果を図１１に示すが，若干誤差があるものの，変換前より変換後のほうが，方位がより正確になっていることがわかる．

実施例１では対象物体の方位のみが既知の場合で変換を行ったが，必要となる光源までの距離が明確になった場合を実施例２として示す．発明の概要で述べたように，本発明は室内照明のように距離が比較的近い条件のときに有益となる．そのため，光源までの距離は様々な手段で測定することができる．例えば様々な方位を撮影する操作を２地点以上の場所で行うことで移動差から距離を推定することは可能である．図１２はこの実施例２の概略構成を示すブロック図である．

実施例２でも，あらゆる方向の周囲環境光情報を取得するための画像取得制御部及び球体画像群生成部は同様である．本事例では得られた球体画像群からまず，対象となる光源を検出する．そして求められた光源の距離を対応する情報として割付けて，変換球体を決定していく．本実施例２の変換先球体を生成する一例を図１３に示す．実施例２では検出した光源の距離を半径として球体画像群を生成する．そして，実施例１と同様に指示された対象物体の上方に変換先球体を設定する．このとき，変換先の球体画像の半径は元の球体画像群と同じとすることで，対象となる光源の位置関係が正確なまま変換が可能となる．

決定した変換先球体に基づき，対応位置計算部では元の球体画像群の周囲環境光の情報を変換先球体に対応付けする．計算のための位置関係を図１４に，計算の過程を図１５のフローチャートで示す．（ｘ，ｙ，ｚ）の三次元空間での変換先球体の中心を（０，０，０）として，元の球体画像群の中心はｘ軸方向に−Ａだけ移動しているものとする．元の球体画像群上の任意の点を（Ｘ，Ｙ，Ｚ）とすると，その座標は緯度θ，経度φを用いて，（Ｘ＝Ｒｃｏｓθｃｏｓφ，Ｙ＝Ｒｃｏｓθｓｉｎφ，Ｚ＝Ｒｓｉｎθ）と表すことができる．同様に変換先球体上の任意の点（ｘ，ｙ，ｚ）もθ’，φ’を用いて表すことが可能である．対応関係は式（２）で示すように，元の球体画像群上の方位を示すθ，φは変換先球体の方位を示すθ’，φ’で表すことができる
式（２）
θ＝ａｒｃｔａｎ（（ｃｏｓφ’ｓｉｎθ’）／（ｃｏｓφ’ｃｏｓθ’−Ａ）．
φ＝ａｒｃｔａｎ（ｓｉｎφ’／√（（ｃｏｓφ’ｓｉｎθ’）^２
＋（ｃｏｓφ’ｃｏｓθ’−Ａ）^２））．

対応位置が決定したら，実施例１と同様に，描画部にて変換先球体が生成される．図１６には元の撮影された球体画像群を正距円筒図として表した結果を示す．図１７は図１６を元に対象となる光源方向を検出した結果を示す．実施例２では対象となる光源の距離が既知のため，光源方向の情報から変換先の球を生成することができる．図１８は変換した球体画像を正距円筒図として表した結果を示す．図１６と比較すると対象物体を照らす光源となりうるスポットライトや蛍光灯の方位が変化している様子がわかる．

ここで，実施例１と同様に，本変換の有用性を示すため，全周囲環境光の撮影を対象物上方で撮影した正解画像を図１９に示す．撮影者位置で取得された全周囲環境光の方位と比較すると，我々の変換によって得られた結果のほうが正解に近い方位を示していることがわかる．この結果を定量的に評価するため，周囲環境光のうち，スポットライトと天井の蛍光灯について，その方位を計測した．結果を図２０に示すが，実施例１と比較すると，距離が明確であるスポットライトについては非常に正確に方位を測定可能であることがわかる．その他の蛍光灯などは若干誤差があるものの，変換前より変換後のほうが，方位がより正確になっていることがわかる．

以上のように本発明によれば，室内照明のように光源までの距離が比較的近い場合において，対象物体上と異なる位置で周囲環境光を撮影したときに生じる方位誤差を低減することができ，正確な光源方向の推定を行うことにより，最適な撮影位置へのナビゲーションや，写真撮影の際の露光調整やゲイン補正を的確に行うことができる．

１０ 画像取得装置
１１ 演算装置
１２ 表示装置
２０ 多方位撮影画像
２１ 球体画像群
２２ 変換先球体画像群
３０ 撮影者
３１ 照明
３２ 撮影対象物
４０ スポットライト
４１ 蛍光灯

Claims (11)

1. 周囲の様々な方向を画像として取得する入力手段と，前記入力手段により取得された画像群を方位がわかる画像データとして結合する手段と，前記画像データを予め定められた移動方法に基づいて移動することで別の位置での画像データに変換する手段と，前記変換された画像データから変換後の方位を算出する手段を有する画像処理装置。
2. 前記結合された画像データは球体上に空間的に貼り合わされたものであり，別の位置に変換された画像データも球体上に空間的に貼り合わされたものである請求項１に記載の画像処理装置。
3. 前記画像データを移動する方法は平行及び回転に関する移動であることを特徴とした請求項１に記載の画像処理装置。
4. 前記画像データを変換する際の球体の中心は，所望する対象物体の上方に設定することを特徴とした請求項２及び請求項３に記載の画像処理装置。
5. 前記画像データを変換する際の球体の中心は，所望する対象物体から上方に延ばした垂線と，変換する前の球体の任意方向における半径との交点に設定することを特徴とした請求項４に記載の画像処理装置。
6. 前記画像データを変換する際の球体は，請求項４または請求項５の中心を持ちながら，変換する前の球体に内接することを特徴とした請求項４または請求項５に記載の画像処理装置。
7. 前記画像データを変換する際の球体の中心は，距離が明らかな所望する光源の下方に設定することを特徴とした請求項２及び請求項３に記載の画像処理装置。
8. 前記画像データを変換する際の球体の中心は，距離が明らかな所望する光源から下方に延ばした垂線と，変換する前の球体の任意方向における半径との交点に設定することを特徴とした請求項７に記載の画像処理装置。
9. 前記画像データを変換する際の球体は，請求項７または請求項８の中心を持ちながら，光源までの距離を半径とすることを特徴とした請求項７または請求項８に記載の画像処理装置。
10. 周囲の様々な方向を画像として取得した入力画像と，前記入力手段により取得された画像群を方位がわかる画像データとして結合する処理と，前記画像データを予め定められた移動方法に基づいて移動することで別の位置での画像データに変換する処理と，前記変換された画像データから変換後の方位を算出する処理と，前記変換された画像データや方位データを表示再現する処理を有する画像処理方法。
11. 画像処理装置用の画像処理プログラムであって、
    コンピューターに、
    周囲の様々な方向を画像として取得する入力機能と，前記入力機能により取得された画像群を方位がわかる画像データとして結合する機能と，前記画像データを予め定められた移動方法に基づいて移動することで別の位置での画像データに変換する機能と，前記変換された画像データから変換後の方位を算出する機能とを実現させる画像処理プログラム。