JP2011066860A

JP2011066860A - パノラマ画像生成方法及びパノラマ画像生成プログラム

Info

Publication number: JP2011066860A
Application number: JP2009218124A
Authority: JP
Inventors: Kenji Mogi; 建二茂木
Original assignee: LOARANT CORP
Current assignee: LOARANT CORP
Priority date: 2009-09-18
Filing date: 2009-09-18
Publication date: 2011-03-31
Anticipated expiration: 2029-09-18
Also published as: JP5676092B2

Abstract

【課題】パノラマ画像生成方法及びパノラマ画像生成プログラムにおいて、視点と視線と視野角とに応じた、人間の眼から見て違和感のない、自然で立体的なパノラマ画像を得る。
【解決手段】魚眼レンズを介してＣＣＤにより取得した被写体についての円座標画像４１を入力して、仮想の３次元座標空間において魚眼レンズと同様な形状の仮想魚眼レンズを求め、この仮想魚眼レンズ上に円座標画像４１を逆投影した画像をマッピングして、逆投影したマッピング画像４２を得る。そして、仮想の３次元座標空間における視点座標を求めて、逆投影したマッピング画像４２の少なくとも一部の画像を、画素情報の補間処理等を行うことにより視点座標から見た平面展開画像４３に変換して、パノラマ画像を生成する。
【選択図】図５

Description

本発明は、全方位撮影装置（いわゆる３６０度カメラ）を含む広角撮影装置で撮影された円座標系の画像に基づいてパノラマ画像を生成するパノラマ画像生成方法と、このパノラマ画像生成方法を用いたパノラマ画像生成プログラムに関する。

従来より、周囲の視野を撮影可能な３６０度カメラ等の全方位撮影装置を含む広角撮影装置が知られている（例えば、特許文献１等参照）。これらの広角撮影装置では、一般的に双曲面ミラー、又は魚眼レンズ等の広角レンズが用いられている。この双曲面ミラー、又は魚眼レンズ等の広角レンズを有する広角撮影装置で撮影された画像は、円座標系の画像であるため、ユーザにとって見やすいものではない。従って、この種の装置で撮影された円座標系の画像を２次元直交座標系の画像に変換して、ユーザにとって見やすい画像にする必要があった。そこで、従来は、広角撮影装置で撮影された円座標系の画像の画素を、２次元直交座標系の画像の画素に、１対１で変換することにより、パノラマ画像を得ていた。

しかしながら、上記の従来のパノラマ画像生成方法では、真に、双曲面ミラーの双曲線の傾き、又は広角レンズの形状やレンズ特性に応じた（円座標系の画像から２次元直交座標系の画像への）画像変換が行えないので、人間の眼から見て、違和感がなく自然なパノラマ画像を得ることができない。

また、従来のパノラマ画像生成方法では、広角撮影装置で撮影された円座標系の画像に基づいて、観察者が、被写体を、視点（の位置）と、視線（視点の位置から被写体を見たときの方角（天頂角及び方位角））と、視野角とを変えて見た場合に、眼に映る像と同様なパノラマ画像（２次元直交座標系の画像）を得るのが難しいという問題があった。

特開平６−１５２９３８号公報

本発明は、上記課題を解決するものであり、広角撮影装置で撮影された円座標系の画像に基づいて、視点と視線と視野角とに応じた、人間の眼から見て違和感のない、自然で立体的なパノラマ画像を得ることが可能なパノラマ画像生成方法及びパノラマ画像生成プログラムを提供することを目的とする。

上記課題を解決するために、請求項１の発明は、魚眼レンズ等の広角レンズを介して撮像素子により被写体についての円座標系の撮影画像を取得するステップ、仮想の３次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合（以下、仮想広角レンズという）を求め、この仮想広角レンズ上に前記円座標系の撮影画像をマッピングしてマッピング画像を得るステップ、前記仮想の３次元座標空間における視点の座標（以下、視点座標という）を求めるステップ、及び前記マッピング画像の少なくとも一部の画像を、画素情報の補間処理等を行うことにより前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップとを備えたことを特徴とするパノラマ画像生成方法である。

請求項２の発明は、魚眼レンズ等の広角レンズを介して撮像素子により被写体についての円座標系の撮影画像を取得するステップ、仮想の３次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合（以下、仮想広角レンズという）を求め、この仮想広角レンズ上に前記円座標系の撮影画像を逆投影した画像をマッピングして、逆投影したマッピング画像を得るステップ、前記仮想の３次元座標空間における視点の座標（以下、視点座標という）を求めるステップ、及び前記逆投影したマッピング画像の少なくとも一部の画像を、画素情報の補間処理等を行うことにより前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップとを備えたことを特徴とするパノラマ画像生成方法である。

請求項３の発明は、論理集積回路に、魚眼レンズ等の広角レンズを介して撮像素子により取得した被写体についての円座標系の撮影画像を入力するステップと、仮想の３次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合（以下、仮想広角レンズという）を求め、この仮想広角レンズ上に前記円座標系の撮影画像をマッピングしてマッピング画像を得るステップと、前記仮想の３次元座標空間における視点の座標（以下、視点座標という）を求めるステップと、前記マッピング画像の少なくとも一部の画像を、画素情報の補間処理等を行うことにより前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップとを実行させるためのパノラマ画像生成プログラムである。

請求項４の発明は、論理集積回路に、魚眼レンズ等の広角レンズを介して撮像素子により取得した被写体についての円座標系の撮影画像を入力するステップと、仮想の３次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合（以下、仮想広角レンズという）を求め、この仮想広角レンズ上に前記円座標系の撮影画像を逆投影した画像をマッピングして、逆投影したマッピング画像を得るステップと、前記仮想の３次元座標空間における視点の座標（以下、視点座標という）を求めるステップと、前記逆投影したマッピング画像の少なくとも一部の画像を、画素情報の補間処理等を行うことにより前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップとを実行させるためのパノラマ画像生成プログラムである。

請求項１及び３の発明によれば、仮想の３次元座標空間において広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合（仮想広角レンズ）を求め、この仮想広角レンズ上に円座標系の撮影画像をマッピングしてマッピング画像を得ると共に、仮想の３次元座標空間における視点の座標（以下、視点座標という）を求める。そして、このマッピング画像と視点座標とを用いて、マッピング画像の少なくとも一部の画像を平面展開画像に変換するようにしたので、広角レンズの形状やレンズ特性に応じた画像変換を行うことができ、人間の眼から見て違和感のない、自然で立体的なパノラマ画像を得ることができる。特に、視点座標を、仮想の３次元座標空間における撮影位置（撮像素子の撮像面の中央の位置）に相当する位置に設定した場合には、より自然なパノラマ画像を得ることができる。

また、上記のように、仮想の３次元座標空間の仮想広角レンズ上に円座標系の撮影画像をマッピングしてマッピング画像を得ると共に、仮想の３次元座標空間における視点の座標（以下、視点座標という）を求めて、このマッピング画像と視点座標とを用いてパノラマ画像を生成するようにしたので、視点座標や、視線（視点から見た天頂角及び方位角）や、視野角を変えた場合でも、これらを変更する前と同じ円座標系の撮影画像に基づいて、変更後の視点と視線と視野角とに応じた、パノラマ画像を容易に生成することができる。言い換えると、請求項１及び３の発明によれば、円座標系の画像に基づいて、観察者が、被写体を、視点（の位置）と、視線（視点の位置から被写体を見たときの方角（天頂角及び方位角））と、視野角とを変えて見た場合に、眼に映る像と同様なパノラマ画像を容易に得ることができる。

また、請求項２及び４の発明によれば、仮想の３次元座標空間において広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合（仮想広角レンズ）を求め、この仮想広角レンズ上に円座標系の撮影画像を逆投影した画像をマッピングして、逆投影したマッピング画像を得ると共に、仮想の３次元座標空間における視点の座標（以下、視点座標という）を求める。そして、この逆投影したマッピング画像と視点座標とを用いて、逆投影したマッピング画像の少なくとも一部の画像を平面展開画像に変換するようにしたので、広角レンズの形状やレンズ特性に応じた画像変換を行うことができ、人間の眼から見て違和感のない、自然で立体的なパノラマ画像を得ることができる。特に、視点座標を、仮想の３次元座標空間における撮影位置（撮像素子の撮像面の中央の位置）に相当する位置に設定した場合には、より自然なパノラマ画像を得ることができる。

また、上記のように、仮想の３次元座標空間の仮想広角レンズ上に円座標系の撮影画像を逆投影した画像をマッピングして、逆投影したマッピング画像を得ると共に、仮想の３次元座標空間における視点の座標（以下、視点座標という）を求めて、この逆投影したマッピング画像と視点座標とを用いてパノラマ画像を生成するようにしたので、視点座標や、視線（視点から見た天頂角及び方位角）や、視野角を変えた場合でも、これらを変更する前と同じ円座標系の撮影画像に基づいて、変更後の視点と視線と視野角とに応じた、パノラマ画像を容易に生成することができる。言い換えると、請求項２及び４の発明によれば、円座標系の画像に基づいて、観察者が、被写体を、視点（の位置）と、視線（視点の位置から被写体を見たときの方角（天頂角及び方位角））と、視野角とを変えて見た場合に、眼に映る像と同様なパノラマ画像を容易に得ることができる。

本発明の一実施形態に係るパノラマ画像生成方法を適用した全方位カメラシステムの構成図。図１中のＤＳＰボードの構成図。図２中のＦＰＧＡの構成図。上記パノラマ画像生成方法で生成されるマッピング画像の説明図。同パノラマ画像生成方法の説明図。図５中における円座標画像の例を示す図。図６中の部分画像に基づいて生成した平面展開画像の例を示す図。上記パノラマ画像生成方法の応用例である水中パノラマ画像生成システムで生成した水中パノラマ画像の例を示す図。従来の車載カメラで撮影した画像の合成の説明図。従来の車載カメラ及び上記水中パノラマ画像生成システムで撮影される被写体の例を示す斜視図。従来の車載カメラで取得された画像の合成画像の例を示す図。上記パノラマ画像生成方法の応用例である合成画像生成システムで画像を平面展開するときに用いられる視点（座標）を示す説明図。同合成画像生成システムにおける２つの撮影領域の説明図。同合成画像生成システムにおける一方の車載カメラで取得された画像中の使用される部分の画像を示す図。同合成画像生成システムにおける他方の車載カメラで取得された画像中の使用される部分の画像を示す図。同合成画像生成システムにより生成した箱の合成画像を示す図。同合成画像生成システムにより生成した合成画像の例を示す図。

以下、本発明の一実施形態について、図面を参照して説明する。本実施形態によるパノラマ画像生成方法を適用したパノラマ画像生成プログラムは、パソコンに搭載されるＤＳＰ（Digital Signal Processor）ボード上のＦＰＧＡ(Field-Programmable Gate array：請求項における「論理集積回路」に相当)等で使用可能なプログラムである。図１は、ＦＰＧＡが載置されたＤＳＰボードを搭載したパソコンと全方位カメラとから構成される全方位カメラシステムを示す。このカメラシステム１を構成する全方位カメラ３は、周囲３６０度の視野を撮影可能なカメラであり、魚眼レンズを介してＣＣＤ（撮像素子）により被写体についての円座標系の撮影画像を取得する。パソコン２は、全方位カメラ３で撮影された画像に対して各種の画像処理等を行うためのＤＳＰボード４と、ＤＳＰボード４から出力された圧縮輝度信号の形式の画像をＲＧＢ輝度信号の形式の画像に変換してモニタ５に出力するパソコン本体部５と、パソコン本体部５から出力されたＲＧＢ輝度信号の形式の画像を表示するモニタ６とから構成されている。また、ＤＳＰボード４とパソコン本体部５との間のデータの入出力は、ＰＣＩ(Peripheral Component Interconnect)バス７を介して行われる。

次に、図２を参照して、上記ＤＳＰボード４内の構成について説明する。ＤＳＰボード４は、ＤＳＰ本体１１、ＦＰＧＡ(Field-Programmable Gate array)１２、ＦＩＦＯ１３〜１５、入力画像を記憶するための入力画像用ＳＤＲＡＭ(Static Dynamic Random Access Memory)１６、及び出力画像等の記憶用のＳＤＲＡＭ１７から構成されている。ＦＰＧＡ１２は、全方位カメラ３より入力された円座標系の撮影画像に基づいてパノラマ画像を生成する処理を行うための回路である。ＤＳＰボード４内における各回路間のデータの入出力には、ローカルバス１８が用いられ、また、ＤＳＰボード４とパソコン本体部５との間における画像等のデータの入出力には、ＰＣＩバス７が用いられる。

次に、図３を参照して、上記のＦＰＧＡ１２について説明する。ＦＰＧＡ１２には、色調整や出力画像調整用のパラメータ、及びＬＵＴ（Look Up Table）の内容を記憶したＲＯＭ１９が接続されている。このＲＯＭ１９内のデータは、パソコンの起動時（ＦＰＧＡ１２の起動時）に、ＳＲＡＭ（Static Random Access Memory）２１にインストールされる。このＳＲＡＭ２１に記憶されたＬＵＴ２２のデータ（組み合わせ回路を実現するための回路情報）が、請求項におけるパノラマ画像生成プログラムに相当する。なお、全方位カメラ３より入力された円座標系の撮影画像に基づいてパノラマ画像を生成する処理は、ＦＰＧＡ１２のみで行う必要はなく、ＦＰＧＡ１２とＤＳＰ本体１１とで分担して行ってもよいし、ＤＳＰ本体１１のみで行ってもよい。

次に、本全方位カメラシステム１において採用されているパノラマ画像生成方法について説明する。まず、このパノラマ画像生成方法の原理から説明する。魚眼レンズのレンズ特性と全方位カメラ３から得られる色情報とを合わせると、撮影した位置から見てどの向きにどのような色が見られるかという情報の集まりを得ることができる。これは奥行きの無い、方位と色の関連情報であるが、撮影した位置を中心とする球（楕円体でもよい）という、たったひとつの３次元オブジェクトの表面に、これらの情報（画像）を貼り付ける（テクスチャマッピングする）ことで、汎用コンピュータの３次元描画機能による描画（レンダリング処理）が可能となる。３次元描画機能を利用すると、オブジェクトや視点の回転と移動、視野角の変更等が比較的容易にプログラミングでき、動的に視点等を変更するアプリケーションを作成し易い。３次元描画機能には一般的に色補正や拡大縮小における補間処理も含まれる。この方法ではレンズ特性が変わってもテクスチャマッピング情報を変更すれば良く、統一的に扱える。また、テクスチャマッピング情報（円座標系の座標位置と３次元座標位置との対応関係の情報）については、レンズ特性、特に像高値や円環中心などの情報に基づいて微調整し、あらかじめ決めておけば、レンズ特性が変わらない限りは固定値として扱える。なお、テクスチャマッピングとアフィン変換処理とを同時に行うことにより、視点の変更を容易に行うことができる。

次に、図４及び図５を参照して、上記のパノラマ画像生成方法について具体的に説明する。図４に示されるように、全方位カメラ３は、ＣＣＤ３１（撮像素子）と、魚眼レンズ３２（請求項における広角レンズ）とを有しており、魚眼レンズ３２を介してＣＣＤ３１により被写体Ｓについての円座標系の撮影画像（図５に示される円座標画像４１）を取得する。ＦＰＧＡ１２は、仮想の３次元座標空間において魚眼レンズ３２と同様な形状の仮想の魚眼レンズを構成する座標の集合（図４中における仮想魚眼レンズ３６）を求め、この仮想魚眼レンズ３６（請求項における仮想広角レンズ）上に、全方位カメラ３から入力された円座標画像４１（図５参照）を逆投影した画像をマッピングして、逆投影したマッピング画像４２（図５参照）を得る。このマッピング処理は、３次元描画機能を有する汎用コンピュータ、又はそれと同様な機能を持つ装置を用いて実現することができる。

図４において、
の式は、魚眼レンズ３２の形状を表し、
の式は、（計算上の）仮想の３次元座標空間における仮想魚眼レンズ３６の形状を示す。なお、図４において、被写体Ｓの全体についての平面展開画像４３を生成する場合には、マッピング画像４２は、図５に示されるように、全方位カメラ３から入力された円座標画像４１を、仮想魚眼レンズ３６の全体にマッピングしたものである必要があるが、撮影範囲３５内の撮影画像のみについての平面展開画像４３を生成する場合には、マッピング画像４２は、図４に示されるように、仮想魚眼レンズ３６における、撮影範囲３５に対応した部分のみに、全方位カメラ３から入力された撮影範囲３５内の撮影画像をマッピングしたものであってもよい。

上記の仮想魚眼レンズ３６の形状を表すＦ（ｘ，ｙ，ｚ）の式は、魚眼レンズ３２の形状を表す式と同じであるため、魚眼レンズ３２の物理系のレンズ特性が、仮想魚眼レンズ３６、及びマッピング画像４２に組み込まれることになる。なお、魚眼レンズ３２は、複数のレンズで構成されていてもよく、その場合には、上記のｆ（ｘ，ｙ，ｚ）及びＦ（ｘ，ｙ，ｚ）の式は、魚眼レンズ３２の形状ではなく、レンズ特性を表す式になる。

次に、ＦＰＧＡ１２は、ユーザ等に設定された内容に基づき、上記の仮想の３次元座標空間における視点Ｖの座標（以下、視点座標という）を求める。そして、この視点座標に加えて、ユーザ等に設定された視線（視点の位置から被写体を見たときの方角（天頂角及び方位角））の情報と、視野角の情報とを用いて、上記のマッピング画像４２の少なくとも一部の画像を、図５に示されるように、画素４８の補間処理等を行うことにより、視点座標から見た平面展開画像４３に変換してパノラマ画像を生成する。上記の汎用コンピュータの３次元描画機能を利用すると、視点Ｖを移動したり、視線や視野角を変更した場合でも、変更後の視点と視線と視野角とに応じたパノラマ画像を容易に得ることができる。

なお、図５における４４ａ、４５ａは、円座標画像４１の中心Ｏから近い位置において隣接する２つの画素を示し、４６ａ、４７ａは、円座標画像４１の中心Ｏから離れた位置において隣接する２つの画素を示す。マッピング画像４２における４４ｂ、４５ｂ、４６ｂ、４７ｂは、それぞれ、円座標画像４１に基づいてマッピング画像４２を生成したときの、画素４４ａ、４５ａ、４６ａ、４７ａに対応する画素である。また、平面展開画像４３における４４ｃ、４５ｃ、４６ｃ、４７ｃは、それぞれ、マッピング画像４２を平面展開画像４３に変換したときの、画素４４ｂ（及び４４ａ）、４５ｂ（及び４５ａ）、４６ｂ（及び４６ａ）、４７ｂ（及び４７ａ）に対応する画素である。円座標画像４１の中心Ｏから近い位置における画素の数は、中心Ｏから離れた位置における画素の数よりも少ないので（画像における情報量が少ないので）、図５中の平面展開画像４３に示されるように、円座標画像４１の中心Ｏから近い位置において隣接する２つの画素４４ａ、４５ａに対応する画素４４ｃ、４５ｃ間の（補間用の）画素４８の数は、円座標画像４１の中心Ｏから離れた位置において隣接する２つの画素４６ａ、４７ａに対応する画素４６ｃ、４７ｃ間の（補間用の）画素４８の数よりも多い。

また、魚眼レンズ３２及び仮想魚眼レンズ３６の形状は、上記のｆ（ｘ，ｙ，ｚ）及びＦ（ｘ，ｙ，ｚ）の式における｛ａ，ｂ，ｃ｝の係数を変えることにより、球面体または楕円体となるが、計算上テクスチャマッピングを行い易い形状を選択決定すればよい。

自然なパノラマ画像（図５に示される平面展開画像４３）を得るには、図４の右側に示されるように、視野角は60度以下、視点Ｖは、仮想の３次元座標空間における撮影位置（ＣＣＤ３の撮像面の中央位置３１ａ）に相当する位置にするのが最も好ましいが、用途によっては、図４の左側に示されるように、仮想魚眼レンズ３６における球の中心Ｏから離れた位置に視点（Ｖ’）を置く場合でも、撮影位置に相当する位置に視点を置いた場合と同様な処理を行うことが可能である。

図６は、上記の円座標画像４１の例を示す。また、図７は、図６中の円座標画像４１における部分画像５０に基づいて生成した平面展開画像４３（パノラマ画像）の例を示す。図７に示される平面展開画像４３は、図４に示される仮想魚眼レンズ３６の球の中心Ｏを視点座標の位置として、円座標画像４１における部分画像５０に基づいて生成されたマッピング画像４２を、上記の視点座標から見た平面画像に展開したものである。

上記のように、本実施形態のパノラマ画像生成方法及びパノラマ画像生成プログラムによれば、仮想の３次元座標空間において魚眼レンズ３２と同様な形状の仮想魚眼レンズ３６を求め、この仮想魚眼レンズ３６上に円座標画像４１を逆投影した画像をマッピングして、逆投影したマッピング画像４２を得ると共に、仮想の３次元座標空間における視点の座標（以下、視点座標という）を求める。そして、この逆投影したマッピング画像４２と視点座標とを用いて、逆投影したマッピング画像の少なくとも一部の画像を平面展開画像４３に変換するようにしたので、魚眼レンズ３２の形状やレンズ特性に応じた画像変換を行うことができ、人間の眼から見て違和感のない、自然で立体的なパノラマ画像を得ることができる。特に、視点座標を、仮想の３次元座標空間における撮影位置（ＣＣＤ３の撮像面の中央位置３１ａ）に相当する位置に設定した場合には、より自然なパノラマ画像を得ることができる。

また、上記のように、仮想の３次元座標空間の仮想魚眼レンズ３６上に円座標画像４１を逆投影した画像をマッピングして、逆投影したマッピング画像４２を得ると共に、仮想の３次元座標空間における視点Ｖの座標（以下、視点座標という）を求めて、この逆投影したマッピング画像４２と視点座標とを用いてパノラマ画像を生成するようにしたので、視点座標や、視線（視点から見た天頂角及び方位角）や、視野角を変えた場合でも、これらを変更する前と同じ円座標画像４１に基づいて、変更後の視点と視線と視野角とに応じた、パノラマ画像を容易に生成することができる。言い換えると、本実施形態のパノラマ画像生成方法及びパノラマ画像生成プログラムによれば、円座標画像４１に基づいて、観察者が、被写体Ｓを、視点（の位置）と、視線（視点の位置から被写体を見たときの方角（天頂角及び方位角））と、視野角とを変えて見た場合に、眼に映る像と同様なパノラマ画像（平面展開画像４３）を容易に得ることができる。

次に、図８を参照して、本実施形態のパノラマ画像生成方法及びパノラマ画像生成プログラムを、水中における被写体についてのパノラマ画像（以下、水中パノラマ画像という）の生成に適用した応用例（水中パノラマ画像生成システム）について説明する。オリンピック選手等の泳法研究のため、正確な水中パノラマ画像が必要とされている。この水中パノラマ画像生成システムは、全方位カメラ３に防水措置を施した以外は、上記図１に示される全方位カメラシステム１と同様な機器構成で実現される。ただし、本水中パノラマ画像生成システムでは、全方位カメラ３の代わりに、（例えば１８０度の範囲を撮影可能な）広角カメラを用いている。また、本水中パノラマ画像生成システムでは、防水措置を施した広角カメラで泳者をほぼ真横から撮影する。そして、ＦＰＧＡ１２が、上記のパノラマ画像生成プログラムを用いて、泳者をほぼ真横から撮影した円座標画像４１に基づき、観察者が被写体である泳者を、視点（の位置）と、視線（視点の位置から被写体を見たときの方角（天頂角及び方位角））と、視野角とを変えて見た場合に、眼に映る像と同様な水中パノラマ画像４５（平面展開画像）を得る。ただし、競泳時の水中画像については、パノラマ展開されると同時に、水中における光の屈折率の相違や、水中における空中との距離感の相違による影響を、取り除いておく必要がある。そこで、本水中パノラマ画像生成システムに適用されるパノラマ画像生成プログラムは、予め水中の屈折率や距離感を、空中と同様にするため計算しておくことにより、違和感のない水中パノラマ画像の生成を実現している。

次に、図９乃至１５を参照して、本実施形態のパノラマ画像生成方法及びパノラマ画像生成プログラムを、複数の車載カメラで撮影した画像の合成画像の生成に適用した応用例（合成画像生成システム）について説明する。本合成画像生成システムに用いられる車載カメラは、広角カメラの一種であり、アラウンド・ビュー・モニタやバックモニタを実現する。

従来の通常の車載カメラ５１、５２で、視野角をそれぞれα１、α２として撮影すると、これらの車載カメラ５１、５２で撮影された２つの撮影領域５３、５４の重なる領域は、斜線で示される５６の領域になる。この重複した領域５６に存在する（立体物の）被写体を従来の車載カメラ５１、５２で撮影した場合には、各車載カメラ５１、５２による撮影位置が異なり、しかも（車載カメラ５１から被写体までの距離と、車載カメラ５２から被写体までの距離とが異なるため、）これらの車載カメラ５１、５２で撮影した画像における被写体の大きさも異なるので、これらの画像の合成画像は、実際の被写体とは全く異なったものになってしまう。

例えば、従来の車載カメラ５１、５２で図１０に示される箱５５を撮影した場合には、たとえ車載カメラ５１から被写体までの距離と、車載カメラ５２から被写体までの距離とが同じで、これらの車載カメラ５１、５２で撮影した画像における被写体（箱）の大きさが同じ場合でも、車載カメラ５１、５２で撮影した２つの画像の合成画像における箱画像６５は、図１１に示されるように、実際の箱５５とは全く異なったものになってしまう。

これに対して、本実施形態のパノラマ画像生成方法及びパノラマ画像生成プログラムを適用した合成画像生成システムでは、上記のパノラマ画像生成方法を用いて、車載カメラ６１、６２で同時に撮影した２つの画像に基づき、図１２に示される視点Ｖの座標を用いて２つの平面展開画像を生成し、これらの平面展開画像を合成する。これにより、違和感のない１枚の合成画像を得ることができる。

具体的には、図１３に示されるように、車載カメラ６１、６２の撮影位置（ＣＣＤの撮像面の中央位置）を通る２つの直線l１、l２が直交する交点をＰ（Ｘ，Ｙ）とし、自動車左後端をＱ（Ｘ，Ｙ）とすると、ＰとＱとを結ぶ直線l３を引いて、領域（Ｉ）と領域（ＩＩ）とを分ける。そして、図１４及び図１５に示されるように、車載カメラ６１、６２で撮影された画像に基づいて、９０度分の平面展開画像６６、６７を求め、平面展開画像６６における直線ＰＱよりも上方の領域（Ｉ）の画像（図１４中の斜線の部分の画像）と、平面展開画像６７における直線ＰＱよりも下方の領域（ＩＩ）の画像（図１５中の斜線の部分の画像）とを合成する。ただし、合成に用いられる２つの平面展開画像６６、６７は、図１２に示される視点Ｖ（直線ＰＱ上の視点Ｖ）の座標を用いて生成された（平面展開された）画像である。これらの平面展開画像６６、６７を合成することにより、図１６に示されるような、違和感のない箱５５の合成画像を得ることができる。図１７は、この合成画像生成システムにより実際に生成した合成画像の例を示す。なお、図１３において、２つの直線l１、l２は、ぞれぞれ点Ｐから車体の外形線６３に向けて下ろした垂線でもある。

なお、本発明は、上記実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。例えば、上記実施形態では、請求項における論理集積回路がＦＰＧＡである場合の例を示したが、論理集積回路は、パソコン本体部のＣＰＵ（マイクロプロセッサ）であってもよいし、ＰＬＡ（Programmable Logic Array）やＡＳＩＣ（Application Specific IC）であってもよい。また、本パノラマ画像生成方法で生成可能な平面展開画像の画角は、１２０度以上である必要はない。また、本パノラマ画像生成方法で使用されるカメラは、全方位カメラである必要はなく、１８０度や１２０度の撮影が可能な広角カメラであってもよい。従って、これらのカメラで用いられるレンズは、魚眼レンズである必要はなく、１８０度や１２０度の撮影用の広角レンズであってもよい。また、これらのカメラに用いられる撮像素子は、ＣＣＤに限られず、例えばＣＭＯＳであってもよい。

１２ＦＰＧＡ（論理集積回路）
２２ＬＵＴ（パノラマ画像生成プログラム）
３１ＣＣＤ（撮像素子）
３２魚眼レンズ
３６仮想魚眼レンズ
４１円座標画像（円座標系の撮影画像）
４２マッピング画像
４３平面展開画像
Ｏ
Ｖ，Ｖ’ 視点

Claims

魚眼レンズ等の広角レンズを介して撮像素子により被写体についての円座標系の撮影画像を取得するステップ、
仮想の３次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合（以下、仮想広角レンズという）を求め、この仮想広角レンズ上に前記円座標系の撮影画像をマッピングしてマッピング画像を得るステップ、
前記仮想の３次元座標空間における視点の座標（以下、視点座標という）を求めるステップ、及び
前記マッピング画像の少なくとも一部の画像を、画素情報の補間処理等を行うことにより前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップとを備えたことを特徴とするパノラマ画像生成方法。
魚眼レンズ等の広角レンズを介して撮像素子により被写体についての円座標系の撮影画像を取得するステップ、
仮想の３次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合（以下、仮想広角レンズという）を求め、この仮想広角レンズ上に前記円座標系の撮影画像を逆投影した画像をマッピングして、逆投影したマッピング画像を得るステップ、
前記仮想の３次元座標空間における視点の座標（以下、視点座標という）を求めるステップ、及び
前記逆投影したマッピング画像の少なくとも一部の画像を、画素情報の補間処理等を行うことにより前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップとを備えたことを特徴とするパノラマ画像生成方法。
論理集積回路に、
魚眼レンズ等の広角レンズを介して撮像素子により取得した被写体についての円座標系の撮影画像を入力するステップと、
仮想の３次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合（以下、仮想広角レンズという）を求め、この仮想広角レンズ上に前記円座標系の撮影画像をマッピングしてマッピング画像を得るステップと、
前記仮想の３次元座標空間における視点の座標（以下、視点座標という）を求めるステップと、
前記マッピング画像の少なくとも一部の画像を、画素情報の補間処理等を行うことにより前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップとを実行させるためのパノラマ画像生成プログラム。
論理集積回路に、
魚眼レンズ等の広角レンズを介して撮像素子により取得した被写体についての円座標系の撮影画像を入力するステップと、
仮想の３次元座標空間において前記広角レンズと同様な形状の仮想の広角レンズを構成する座標の集合（以下、仮想広角レンズという）を求め、この仮想広角レンズ上に前記円座標系の撮影画像を逆投影した画像をマッピングして、逆投影したマッピング画像を得るステップと、
前記仮想の３次元座標空間における視点の座標（以下、視点座標という）を求めるステップと、
前記逆投影したマッピング画像の少なくとも一部の画像を、画素情報の補間処理等を行うことにより前記視点座標から見た平面展開画像に変換してパノラマ画像を生成するステップとを実行させるためのパノラマ画像生成プログラム。