JP2013201677A - 撮像装置校正方法および画像合成装置 - Google Patents

Abstract

【課題】撮像対象とする物体の正確な３次元位置が分からなくとも各カメラの位置および姿勢を校正可能とし、合成画像の全体について誤差を均一に補正可能とする撮像装置校正方法等を得ること。
【解決手段】隣接する撮像装置であるカメラ１〜３同士の各画像データ上に、隣接する撮像装置同士により共通して撮像された物体による特徴点を設定する特徴点設定ステップと、複数の撮像装置のうちの特定の撮像装置の位置に対するその他の撮像装置の相対位置を、回転移動量および平行移動量を用いて表現された初期位置として設定する初期位置設定ステップと、回転移動量および平行移動量と、特徴点の座標値とを用いて、初期位置と各撮像装置の実際の位置との誤差を評価し、各撮像装置の位置を補正する撮像装置位置補正ステップと、を含み、初期位置設定ステップは、初期位置の設定に、物体までの概略距離を使用する特徴点距離設定ステップを含む。
【選択図】図１

Description

本発明は、複数の撮像装置（カメラ）が撮像した複数の画像データを、各カメラの位置関係に基づいて投影面上に合成するために、各カメラの位置関係を求める撮像装置校正方法、および校正したカメラ同士の位置関係に基づいて合成画像を生成する画像合成装置に関する。

複数のカメラが撮像した画像の合成により合成画像を生成するためには、各カメラの画像間の関係を求める必要がある。従来の撮像装置校正方法として、撮像対象の３次元位置から各カメラの３次元位置および姿勢を求め、各カメラについて求めた位置および姿勢から、各カメラの画像間の関係を求める手法がある。

例えば、非特許文献１に記載の方法では、まず、１番目のカメラによる撮像対象とされた物体の３次元位置から、この１番目のカメラの位置を決定する。次に、位置が決定された１番目のカメラと、これから位置を決定する２番目のカメラとで共通して撮像対象とされた物体の３次元位置を、１番目のカメラのカメラ座標から求め、求めた３次元位置から２番目のカメラの位置を決定する。このようにして、複数のカメラについてカメラ位置の校正を順番に行う。

また、２つのカメラにより共通して撮像対象とされた物体の撮像面上の位置と、エピポーラ幾何に基づくエピポーラ線との距離を、カメラの３次元位置および基本行列から求め、その距離を誤差とみなして最小化することで、各カメラの位置および姿勢を校正する方法もある。

例えば特許文献１に記載の方法では、隣接するカメラ同士で共通して撮像対象とされた物体を抽出し、特徴点として設定する。次に、各カメラの既知の位置関係に基づき、複数のカメラのうちの特定のカメラの位置を基準として他のカメラの相対位置を、回転移動量および平行移動量を用いて設定する。設定した回転移動量および平行移動量と、撮像面上の特徴点の座標値とを用いて、各カメラの位置関係について、実際の位置からの誤差を補正する。

特開２０１１−８６１１１号公報

三嶋、羽石、味戸、山崎著、「被写体方向を保存したドーム投影のための複数枚画像の合成方法」、２００６年度日本写真学会年次大会、1A-06K、pp.12-13

非特許文献１の方法のように、撮像対象となる物体の３次元位置を用いる場合は、物体の３次元位置の測定が必須となる。特に、物体が遠距離にある場合は、物体の位置を正確に測定することが困難であるという課題があった。

また、特許文献１の方法のように、エピポーラ幾何に基づき全てのカメラ間の誤差を一括して最小化する場合、最適な合成画像が得られないようなカメラ位置および姿勢へ補正されてしまうことがある。さらに、カメラ間に共通の撮像領域が少ない場合は、特徴点の位置が限られることから、カメラの配置によっては水平方向および垂直方向のいずれかについての誤差が補正されにくくなるという問題も起こり得る。

本発明は、上記に鑑みてなされたものであって、複数のカメラが撮像した画像の合成による合成画像の生成において、撮像対象とする物体の正確な３次元位置が分からなくとも各カメラの位置および姿勢を校正可能とし、合成画像の全体について誤差を均一に補正可能とする撮像装置校正方法および画像合成装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数の撮像装置が撮像した複数の画像データを、各撮像装置の位置関係に基づいて投影面上に合成するために、各撮像装置の位置関係を求める撮像装置校正方法であって、隣接する撮像装置同士の各画像データ上に、前記隣接する撮像装置同士により共通して撮像された物体による特徴点を設定する特徴点設定ステップと、前記複数の撮像装置のうちの特定の撮像装置の位置に対するその他の撮像装置の相対位置を、回転移動量および平行移動量を用いて表現された初期位置として設定する初期位置設定ステップと、前記回転移動量および前記平行移動量と、前記特徴点の座標値とを用いて、前記初期位置と各撮像装置の実際の位置との誤差を評価し、各撮像装置の位置を補正する撮像装置位置補正ステップと、を含み、前記初期位置設定ステップは、前記初期位置の設定に、前記物体までの概略距離を使用する特徴点距離設定ステップを含むことを特徴とする。

本発明によれば、各カメラの位置関係として設定された回転移動量および平行移動量、特徴点の画像上の座標値、特徴点までの概略距離を用いてカメラ位置および姿勢の初期値を求めることで、撮像対象とする物体の正確な３次元位置が分からなくとも各カメラの位置および姿勢を校正可能とし、合成画像の全体について誤差を均一に補正することができる。

図１は、本発明の実施の形態１にかかる画像合成装置の構成を示すブロック図である。 図２は、図１に示すカメラ部の各カメラの配置例を示すカメラ配置図である。 図３は、実施の形態１にかかる画像合成装置の動作を示すフローチャートである。 図４は、３次元座標軸が設定された空間内に配置された２つの透視カメラから撮像対象を見たときの関係を示す図である。 図５は、透視カメラＡを例として、カメラ座標系を説明する図である。 図６は、カメラ初期位置と実際のカメラ相対位置の誤差を評価する方法を説明する図である。 図７は、カメラ初期位置設定部の動作を示すフローチャートである。 図８は、カメラ位置補正部の動作を示すフローチャートである。 図９は、本発明の実施の形態２にかかる画像合成装置の構成を示すブロック図である。 図１０は、カメラの配置によって合成画像の左右方向のずれが大きくなる場合があることを説明する図である。 図１１は、本発明の実施の形態３にかかる画像合成装置を構成するカメラ部の３つの透視カメラから、撮像対象を見たときの関係を示す図である。 図１２は、実施の形態３による画像合成装置のカメラ部におけるカメラ配置による合成画像のずれを示す図である。 図１３は、実施の形態３にかかる画像合成装置を構成するカメラ部における各カメラの平行移動により発生したずれと回転移動により発生したずれを説明する図である。

以下に、本発明にかかる撮像装置校正方法および画像合成装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、本発明の実施の形態１にかかる画像合成装置の構成を示すブロック図である。この画像合成装置は、カメラ部１０１、画像取得部１０２、画像データ記憶部１０３、特徴点設定部１０４、特徴点位置補正部１０５、カメラ初期位置設定部１０６、カメラ位置補正部１０７、画像補正データ記憶部１０８、カメラ位置データ記憶部１０９、画像合成部１１０および特徴点距離設定部１１１を備える。

カメラ部１０１は、３台のカメラ（撮像装置）１〜３を備える。各カメラ１〜３は、撮像面の一部が互いに重複するように撮像し、各画像を出力する。なお、カメラ部１０１が備えるカメラは複数であれば良く、数は任意であるものとする。

画像取得部１０２は、カメラ部１０１から画像データを取得し、画像データ記憶部１０３に保存する。画像データ記憶部１０３、画像補正データ記憶部１０８およびカメラ位置データ記憶部１０９は、メモリ等の記憶媒体から構成される。

特徴点設定部１０４は、画像データ記憶部１０３に保存された画像データ上に、校正に必要な特徴点を設定する。特徴点位置補正部１０５は、画像補正データ記憶部１０８に保存された画像補正データを用いて、画像データ上に設定された特徴点の位置を、透視カメラで撮像した場合の位置に変換する。

カメラ初期位置設定部１０６は、カメラ位置データ記憶部１０９に保存されたカメラ１〜３の初期位置データと特徴点距離設定部１１１に予め設定された特徴点の概略距離を取得して、カメラ位置を設定する。

カメラ位置補正部１０７は、カメラ初期位置設定部１０６で設定されたカメラ位置と特徴点位置補正部１０５により補正された特徴点を用いて、カメラ１〜３のカメラ初期位置を現実に配置固定された正しいカメラ位置に補正するとともに、補正したカメラ位置を実際位置データとしてカメラ位置データ記憶部１０９に記憶させる。画像合成部１１０は、カメラ位置データ記憶部１０９に記憶されたカメラ１〜３の実際位置データを用いて、カメラ１〜３が撮像した画像を合成する。

図２は、図１に示すカメラ部の各カメラの配置例を示すカメラ配置図である。図２において、カメラ部１０１は、それぞれの撮像面の一部が重複するように、３台のカメラ１、２および３が配置および固定されている。画像合成装置は、カメラ１〜３を配置した空間に対し、カメラ１が配置された位置を基準とする仮想の３次元座標軸を設定する。この３次元座標軸を、カメラ１のカメラ座標系と称する。

また、カメラ２および３の配置位置は、カメラ１の配置位置を基準とする相対位置として規定される。この相対位置は、カメラ２および３の回転移動Ｒおよび平行移動Ｔからなる移動量として表現される。回転移動Ｒは、３×３の行列とする。平行移動Ｔは、１×３の行列（ベクトル）とする。

図２では、カメラ１に対するカメラ２の相対位置を、回転移動Ｒ_２および平行移動Ｔ_２と表現する。カメラ１に対するカメラ３の相対位置を、回転移動Ｒ_３および平行移動Ｔ_３と表現する。カメラ２および３の配置位置は、例えばカメラ座標系の絶対値としての座標値と回転角とで表現しても良い。この表現方法としても、回転移動Ｒおよび平行移動Ｔで表現する相対位置へ簡単に変換できる。

次に、画像合成装置の動作を説明する。図３は、実施の形態１にかかる画像合成装置の動作を示すフローチャートである。画像取得部１０２がカメラ部１０１に撮像を指示すると、カメラ部１０１は、カメラ１〜３を制御して同時に撮像を行う。画像取得部１０２は、撮像された画像データをカメラ部１０１より取得し、画像データ記憶部１０３に保存する（ステップＳ１）。

特徴点設定部１０４は、画像データ記憶部１０３に保存された画像データ上に、特徴点を設定する（ステップＳ２）。特徴点とは、２つのカメラに共通する撮像領域にあって、２つのカメラによって共通して撮像できる物体の画像上の点である。図２に示す例では、カメラ１の撮像視野２０１とカメラ２の撮像視野２０２とが重なる共通撮像領域から、複数の特徴点２１１、２１２および２１５が抽出される。

また、カメラ２の撮像視野２０２とカメラ３の撮像視野２０３とが重なる共通撮像領域からは、複数の特徴点２１２、２１３、２１４および２１５が抽出される。カメラ３の撮像視野２０３とカメラ１の撮像視野２０１とが重なる共通撮像領域からは、複数の特徴点２１２、２１５および２１６が抽出される。

特徴点設定部１０４は、各カメラ１〜３が撮像した画像それぞれに二次元座標軸を設定し、ある特徴点について一方の画像データに設定した二次元座標で表す座標値と、他方の画像データに設定した二次元座標で表す座標値をペアにして保存する。この二次元座標軸を、画像座標系と称する。

例えば、カメラ１の画像データの横ｉ_１番目、縦ｊ_１番目のピクセルに特徴点があり、同一の特徴点がカメラ２の画像データの横ｉ_２番目、縦ｊ_２番目のピクセルにある場合、カメラ１の画面座標系で表す座標値（ｉ_１，ｊ_１）と、カメラ２の画面座標系で表す座標値（ｉ_２，ｊ_２）が、ペアとして保存される。

本実施の形態１では、特徴点を設定する方法として、例えばユーザが画像を比較して画像データ上の座標値を入力して設定する方法、または、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）のような画像処理を利用して特徴点を自動抽出してその座標値を設定する方法を用いる。画像処理を利用して特徴点を抽出する場合には、特徴点の座標値が例えば（５．５，１０．３）というように小数点の値になっても良い。

続いて、特徴点位置補正部１０５は、画像補正データ記憶部１０８に予め設定されている画像補正データ（カメラ１〜３それぞれの内部パラメータおよびレンズ歪み補正パラメータ等）により、特徴点設定部１０４が抽出した特徴点の位置を補正して、透視カメラで撮像した場合の位置に変換する（ステップＳ３）。

一般に、カメラは、内部パラメータおよびレンズ歪みにより、透視カメラとはみなせない。そのため、カメラ１〜３も透視カメラとみなせない場合には、カメラ１〜３の画像データ上の特徴点の位置を、透視カメラで撮像した場合の位置に変換する必要がある。これは、ステップＳ４以降の各処理が、カメラ１〜３が透視カメラとみなせることを前提にして行う処理だからである。なお、カメラ１〜３が透視カメラとみなせるのであれば、ステップＳ３の処理は不要である。

本実施の形態１では、特徴点の位置を補正する方法として、例えば「Ｚ．Ｚｈａｎｇ、Ａ Ｆｌｅｘｉｂｌｅ Ｎｅｗ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ、Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＭＳＲ−ＴＲ−９８−７１、１９９９」に記載された手法により、予め画像補正データをカメラごとに取得し、その画像補正データを用いて補正式により画像データ上の特徴点の位置を補正する方法を用いる。

続いて、カメラ初期位置設定部１０６は、カメラ位置データ記憶部１０９に保存されているカメラ１〜３の初期位置データを取得して、カメラ位置に設定する（ステップＳ４）。カメラ２〜３の初期位置は、上述のようにカメラ１のカメラ座標系においてカメラ１の配置位置を基準とした回転移動Ｒおよび平行移動Ｔで表現する相対位置である。

この初期位置データとしては、例えば、カメラ１〜３を固定するための治具の設計値、または、実際に配置固定したカメラ１〜３間の距離および角度の測定値を用いる。いずれの場合にも、治具の精度、カメラの配置および固定における誤差、測定の誤差等に起因して、初期位置はカメラ１〜３の実際の配置固定位置（実際位置）に対して誤差を持つと考えられ、この誤差が合成画像の生成によりずれとして表示されてしまう。そこで、この誤差を補正して、合成画像の生成における誤差が小さくなるようなカメラ１〜３の実際位置を求めることが必要となる。この誤差の補正をカメラ位置補正部１０７が行う。

続いて、カメラ位置補正部１０７は、カメラ１〜３の初期位置を補正して実際位置を求める（ステップＳ５）。この補正処理では、カメラ位置補正部１０７が基本行列を用いてカメラ位置の補正を行う。以下に、基本行列について説明する。なお、基本行列についてのより詳細な説明は、例えば、「佐藤淳、コンピュータビジョン―視覚の幾何学―、コロナ社、ｐｐ．８３〜８５，８９」に記載されている。

図４は、３次元座標軸が設定された空間内に配置された２つの透視カメラＡおよびＢから撮像対象を見たときの関係を示す図である。図４において、透視カメラＡは、その光学中心である視点３０１の位置に配置され、撮像面３０４の方向を向いている。他方、透視カメラＢは、その視点３０２の位置に配置され、撮像面３０５の方向を向いている。

撮像対象３０７は、特徴点として撮像面３０４および３０５上に抽出および設定される物体であり、透視カメラＡおよびＢと同じ空間に配置されている。透視カメラＡの視点３０１から撮像対象３０７へ延びる直線と撮像面３０４とが交わる点を交点３０８、透視カメラＢの視点３０２から撮像対象３０７へ延びる直線と撮像面３０５とが交わる点を交点３０９とする。

交点３０８は、透視カメラＡが撮像した画像である撮像面３０４上に設定される特徴点である。交点３０９は、透視カメラＢが撮像した画像である撮像面３０５上に設定される特徴点である。透視カメラＡの視点３０１と透視カメラＢの視点３０２とを結ぶ直線が、撮像面３０４と交わる点を交点３１１、撮像面３０５と交わる点を交点３１３とする。直線３１５は、交点３０８と交点３１１を結ぶ直線とする。直線３１７は、交点３０９と交点３１３を結ぶ直線とする。なお、撮像面３０４および３０５上の交点３０８、３０９、３１１および３１３は、二次元の画像座標系の座標値で表される。

一般に、交点３１１および３１３はエピポール、直線３１５および３１７はエピポーラ線、視点３０１および３０２と撮像対象３０７で作られる平面はエピポーラ平面、と呼ばれる。視点３０１と視点３０２の相対位置は、回転移動Ｒおよび平行移動Ｔで表現される。透視カメラＡの座標系での視点３０１から交点３０８へ向かうベクトルをｘ’とする。透視カメラＢの座標系での視点３０２から交点３０９へ向かうベクトルをｘとする。

ここで、透視カメラＡおよびの座標系について説明する。図５は、透視カメラＡを例として、カメラ座標系を説明する図である。透視カメラＡの座標系とは、視点３０１から伸びる視線方向に平行なＺ軸と、Ｚ軸に対して鉛直方向に伸び、撮像面３０４上に射影したＹ軸と、Ｚ軸およびＹ軸に直交するＸ軸とから定義される座標系である。

図４に示すベクトルｘ’およびｘ間には、以下に示す関係式（１）が成り立つ。関係式（１）において、Ｅは基本行列であって、式（２）に示すように定義される。
ｘ’^ＴＥｘ＝０ ・・・（１）
Ｅ＝［Ｔ］_ＸＲ ・・・（２）

ここで、［Ｔ］_Ｘは、Ｔと任意のベクトルＶとの外積を［Ｔ］_ＸＶ＝Ｔ×Ｖと表せる行列である。基本行列Ｅは、２つの透視カメラＡおよびＢの画像座標間に成り立つ一般的な関係を表す行列である。この関係は、視点３０１および３０２から撮像面３０４および３０５上の座標に対するベクトル表現で記述されており、実際の撮像対象３０７までの距離に関わらず成り立つ。したがって、基本行列Ｅを用いる本補正処理では、撮像対象３０７の３次元座標を用いることなく、透視カメラＡおよびＢの画像データから求めたベクトルｘ’およびｘから、実際のカメラ位置を求めることが可能である。

しかし、カメラ１〜３の初期位置データのように実際位置に対して位置データに誤差がある場合には、上式（１）が成り立たない。そこで、カメラ位置補正部１０７による補正処理では、後述する誤差評価法に基づいてカメラ１〜３の初期位置と実際位置の誤差を上式（１）に基づいて評価し、全体の誤差を最小化するカメラ２〜３の相対位置を求めることにより、実際にカメラが配置固定されている正確な位置を求める。

ここで、誤差の評価法について説明する。上式（１）において、Ｅｘ＝ｌとすると、上式（１）は以下に示す式（３）となる。この式（３）のｌは、ベクトルｘ’の通る直線とみなすことができる。この直線を一般的にエピポーラ線と呼ぶ（詳細は上記文献を参照）。図４に示すベクトルｘ’およびｘ間には、式（３）が成り立つ。
ｘ’^Ｔｌ＝０ ・・・（３）

図６は、カメラ初期位置と実際のカメラ相対位置の誤差を評価する方法を説明する図である。図６において、直線４０１は、式（３）のエピポーラ線ｌに対応する直線である。透視カメラＡを基準にした透視カメラＢの回転移動Ｒおよび平行移動Ｔが実際位置に等しければ、エピポーラ線ｌに対応する直線は、直線３１５のように特徴点である交点３０８を通過する直線となる。しかし、回転移動Ｒおよび平行移動Ｔに実際位置との誤差がある場合には交点３０８が直線４０１上に乗らないため、交点３０８と直線４０１の距離４０２を、この回転移動Ｒおよび平行移動Ｔに含まれる誤差として評価する。

次に、カメラ初期位置設定部１０６の動作、すなわち図３に示すステップＳ４の詳細を説明する。図７は、カメラ初期位置設定部の動作を示すフローチャートである。カメラ初期位置設定部１０６による処理の開始において、カメラ１〜３のカメラ位置はカメラ位置データ記憶部１０９に保存されたカメラ１〜３の初期位置データの位置である。

カメラ初期位置設定部１０６は、まず、カメラ１を基準とするカメラ座標系で記述されたカメラ１のカメラ位置から、隣接するカメラ２〜３のカメラ座標系の変換式を求める（ステップＳ１１）。これは、特徴点は隣接するカメラに共通して撮像されることから、上式（１）を適用するために、隣接するカメラ同士の回転移動Ｒおよび平行移動Ｔを求める必要があることによるものである。

具体的には、カメラ初期位置設定部１０６は、カメラ１の３次元座標値（ｘ，ｙ，ｚ）＝Ｘ_１０からカメラ１に隣接するカメラ２の３次元座標値Ｘ_２０への座標系変換を、相対位置Ｒ_２０およびＴ_２０を使用する以下の式（４）により行う。
Ｘ_２０＝Ｒ_２０Ｘ_１０＋Ｔ_２０ ・・・（４）

これと同様に、カメラ初期位置設定部１０６は、カメラ１の３次元座標値Ｘ_１０からカメラ３の３次元座標値Ｘ_３０への座標系変換を、相対位置Ｒ_３０およびＴ_３０を使用する以下の式（５）により行う。
Ｘ_３０＝Ｒ_３０Ｘ_１０＋Ｔ_３０ ・・・（５）

これにより、カメラ初期位置設定部１０６は、隣接するカメラ同士の全てについて、座標系変換式を得る。続いて、カメラ初期位置設定部１０６は、ステップＳ１１で求めた隣接するカメラ同士についての座標系変換式（４）および（５）と、特徴点距離設定部１１１から取得した特徴点までの概略距離Ｌとから、特徴点の座標を求める。（ステップＳ１２、特徴点距離設定ステップ）。

カメラ初期位置設定部１０６は、ステップＳ１２で求めた特徴点の座標を基に、各カメラ１〜３から特徴点までの距離を求める。カメラ初期位置設定部１０６は、カメラ１と特徴点との距離を基準として、カメラ２と特徴点との距離との差およびカメラ３と特徴点との距離との差を誤差として合計する。（ステップＳ１３）。

カメラ初期位置設定部１０６は、ステップＳ１３で求めた誤差の合計値が予め設定された指定値より大きい場合（ステップＳ１４、Ｎｏ）、続くステップＳ１５にて現在のカメラ位置（相対位置Ｒ_２０、Ｔ_２０、Ｒ_３０、Ｔ_３０）を変数としてカメラの位置を修正する。ステップＳ１５で用いる修正方法としては、例えば、シンプレックス法、パウエル法等の一般的な関数最小化手法に基づいて修正する方法がある。

カメラ初期位置設定部１０６は、ステップＳ１５で修正した新たなカメラ位置を用いてステップＳ１１〜Ｓ１４の各処理を行う。カメラ初期位置設定部１０６は、新たなカメラ位置に基づく誤差の合計値が指定値以下になった場合（ステップＳ１４、Ｙｅｓ）、この新たなカメラ位置を実際位置データとしてカメラ位置補正部１０７に出力する（ステップＳ１６）。

次に、上記誤差評価法に基づくカメラ位置補正部１０７の動作、すなわち図３に示すステップＳ５の詳細を説明する。図８は、カメラ位置補正部の動作を示すフローチャートである。カメラ位置補正部１０７の補正処理開始時、カメラ１〜３のカメラ位置は、カメラ初期位置設定部１０６によって設定された初期位置である。

カメラ位置補正部１０７は、カメラ初期位置設定部１０６のステップＳ１１と同様にカメラ１の位置から、隣接するカメラ２〜３のカメラ座標系の変換式を求める（ステップＳ２１）。具体的には、カメラ位置補正部１０７は、カメラ１の３次元座標値（ｘ，ｙ，ｚ）＝Ｘ_１１からカメラ１に隣接するカメラ２の３次元座標値Ｘ_２１への座標系変換を、相対位置Ｒ_２１およびＴ_２１を使用する以下の式（６）により行う。
Ｘ_２１＝Ｒ_２１Ｘ_１１＋Ｔ_２１ ・・・（６）

これと同様に、カメラ位置補正部１０７は、カメラ１の３次元座標値Ｘ_１１からからカメラ３の３次元座標値Ｘ_３１への座標系変換を、相対位置Ｒ_３１およびＴ_３１を使用する以下の式（７）により行う。
Ｘ_３１＝Ｒ_３１Ｘ_１１＋Ｔ_３１ ・・・（７）

これにより、カメラ位置補正部１０７は、隣接するカメラ同士の全てについて、座標系変換式を得る。続いて、カメラ位置補正部１０７は、ステップＳ２１で求めた隣接するカメラ同士についての座標系変換式（６）および（７）を上記の式（２）に適用して、隣接するカメラ同士についての基本行列Ｅを求める（ステップＳ２２）。

カメラ位置補正部１０７は、実際に撮像された画像上に設定された各特徴点２１１〜２１６の誤差、すなわち交点とエピポーラ線との距離を、対応するカメラ間の基本行列Ｅを用いて上記の式（１）によりそれぞれ計算し、各特徴点２１１〜２１６の誤差の合計値を求める（ステップＳ２３）。以上、ステップＳ２１〜Ｓ２３は、誤差評価ステップである。

カメラ位置補正部１０７は、ステップＳ２３で求めた誤差の合計値が予め設定された指定値より大きい場合（ステップＳ２４、Ｎｏ）、続くステップＳ２５にて現在のカメラ位置（相対位置Ｒ_２１、Ｔ_２１、Ｒ_３１、Ｔ_３１）を変数としてカメラの位置を修正する。ステップＳ２５で用いる修正方法としては、カメラ初期位置設定部１０６で用いる方法と同様に、シンプレックス法、パウエル法等がある。

カメラ位置補正部１０７は、ステップＳ２５で修正した新たなカメラ位置を用いてステップＳ２１〜Ｓ２４の各処理を行う。カメラ位置補正部１０７は、新たなカメラ位置に基づく誤差の合計値が指定値以下になった場合（ステップＳ２４、Ｙｅｓ）、この新たなカメラ位置を実際位置データとしてカメラ位置データ記憶部１０９に出力する（ステップＳ２６）。以上、ステップＳ２４〜Ｓ２６が、誤差最小化ステップである。

説明を図３のフローチャートに戻す。画像合成部１１０は、ステップＳ５で求めた実際位置データを用いて、３次元空間上にある連続した面にカメラ１〜３が撮像した画像を投影することにより、合成画像を生成する（ステップＳ６）。

実施の形態１によれば、画像合成装置は、複数のカメラ１〜３が撮像し、画像取得部１０２がカメラ１〜３の撮像した複数の画像データを取得し、特徴点設定部１０４が、隣接するカメラ間の各画像データから共通に撮像された撮像対象物体をそれぞれ抽出して特徴点に設定するように構成されている。画像合成装置は、カメラ初期位置設定部１０６が、カメラ位置データ記憶部１０９に記憶された初期位置データおよび特徴点距離設定部１１１から設定される特徴点の概略距離データに基づいて、カメラ１の位置を基準とするカメラ２および３の相対位置を、回転移動Ｒ_２およびＲ_３と平行移動Ｔ_２およびＴ_３を用いて設定するように構成されている。

画像合成装置は、カメラ位置補正部１０７が、回転移動Ｒ_２およびＲ_３と平行移動Ｔ_２およびＴ_３から基本行列を求め、特徴点の画像上の座標値を用いて基本行列の誤差、すなわち隣接するカメラ同士により撮像された２つの画像データにおけるエピポーラ線と当該２つの画像データに共通する特徴点の座標位置との距離を算出するように構成されている。画像合成装置は、回転移動Ｒ_２およびＲ_３と平行移動Ｔ_２およびＴ_３を変数として誤差を最小化し、誤差を最小化したときの回転移動Ｒ_２およびＲ_３と平行移動Ｔ_２およびＴ_３の値を、補正後のカメラ１〜３の実際位置とするように構成されている。

実施の形態１によれば、画像合成装置は、特徴点の正確な３次元座標値を用いることなく、画像上の特徴点の座標値から求める基本行列をもとにカメラ１〜３の相対位置を求めるため、特徴点の３次元座標値を測定する必要がない。また、従来のようなカメラ間の位置関係を順に決定している手法と異なり、全てのカメラ間の誤差を一括して最小化するため、特定のカメラ位置への誤差の蓄積が発生せず、全てのカメラ間の誤差を均一に補正することができる。

また、画像合成装置は、画像合成部１１０が、カメラ位置補正部１０７による補正を経たカメラ１〜３の相対位置に基づいて、カメラ１〜３の画像を合成するように構成されている。カメラ位置補正部１０７は、全てのカメラ間の誤差を一括して最小化しているので、この値を用いて合成された合成画像全体について、合成誤差を均一にすることができる。

実施の形態２．
図９は、本発明の実施の形態２にかかる画像合成装置の構成を示すブロック図である。実施の形態２にかかる画像合成装置は、三角測量の要領により特徴点の概略距離を計測する。上記の実施の形態１と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

この画像合成装置は、実施の形態１にかかる画像合成装置を構成する各部に加えて、特徴点距離計測部１１２および特徴点距離データ記憶部１１３を備える。特徴点距離計測部１１２は、カメラ部１０１のうち互いに隣接するカメラ１およびカメラ２、カメラ１およびカメラ３を使用して、物体を対象とする三角測量を実施することで、特徴点までの距離を計測する（特徴点距離計測ステップ）。特徴点距離計測部１１２は、計測された特徴点までの距離を、特徴点距離データ記憶部１１３に記憶させる。

特徴点距離データ記憶部１１３は、特徴点の距離データ初期値としての概略距離および特徴点距離計測部１１２で計測された特徴点の距離を記憶する。特徴点距離設定部１１１は、特徴点距離データ記憶部１１３に記憶された特徴点の距離データをカメラ初期位置設定部１０６へ設定する（特徴点距離補正ステップ）。カメラ初期位置設定部１０６は、初期位置の算出に使用する概略距離を、特徴点距離計測ステップにおける計測値に置き換える。

実施の形態２によると、画像合成装置は、カメラ初期位置設定部１０６が実計測された特徴点の距離データを用いることで、より真値に近い値をカメラ位置の初期値としてカメラ位置補正部１０７へ出力することができ、カメラ位置補正部１０７は最適位置以外への誤差収束を防ぐことができる。

実施の形態３．
図１０は、カメラの配置によって合成画像の左右方向のずれが大きくなる場合があることを説明する図である。上記の実施の形態１と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

例えば、パノラマ画像を取得するためにカメラ部１０１の各カメラ１および２を水平方向に配置した場合、エピポーラ線３１５は水平に近くなる傾向となる。そのため、誤差４０２の水平方向の成分は垂直方向の成分に比べ小さくなり、垂直方向の補正に比べ水平方向の補正が少なく、左右方向のずれが大きくなる。

図１１は、本発明の実施の形態３にかかる画像合成装置を構成するカメラ部の３つの透視カメラＡ〜Ｃから、撮像対象３０７を見たときの関係を示す図である。図１１において、透視カメラＡは、その光学中心である視点３０１の位置に配置され、撮像面３０４の方向を向いている。透視カメラＢは、その視点３０２の位置に配置され、撮像面３０５の方向を向いている。透視カメラＣは、その視点３０３の位置に配置され、撮像面３０６の方向を向いている。撮像対象３０７は、特徴点として撮像面３０４〜３０６上に抽出および設定される物体であり、透視カメラＡ〜Ｃと同じ空間に配置されている。

交点３０８は、透視カメラＡの視点３０１から撮像対象３０７へ延びる直線と撮像面３０４とが交わる点とする。交点３０９は、透視カメラＢの視点３０２から撮像対象３０７へ延びる直線と撮像面３０５とが交わる点とする。交点３１０は、透視カメラＣの視点３０３から撮像対象３０７へ延びる直線と撮像面３０６とが交わる点とする。

交点３０８は、透視カメラＡが撮像した画像である撮像面３０４上に設定される特徴点である。交点３０９は、透視カメラＢが撮像した画像である撮像面３０５上に設定される特徴点である。交点３１０は、透視カメラＣが撮像した画像である撮像面３０６上に設定される特徴点である。

また、透視カメラＡの視点３０１と透視カメラＢの視点３０２とを結ぶ直線が、撮像面３０４と交わる点を交点３１１、撮像面３０５と交わる点を交点３１３とする。透視カメラＡの視点３０１と透視カメラＣの視点３０３とを結ぶ直線が、撮像面３０４と交わる点を交点３１２、撮像面３０６と交わる点を交点３１４とする。

直線３１５は、交点３０８と交点３１１を結ぶ直線である。直線３１６は、交点３０８と交点３１２を結ぶ直線である。直線３１７は、交点３０９と交点３１３を結ぶ直線である。直線３１８は、交点３１０と交点３１４を結ぶ直線である。なお、撮像面３０４〜３０６上の交点３０８〜３１４は、二次元の画像座標系の座標値で表される。

カメラ部１０１は、視点３０１および３０２と撮像対象３０７によるエピポーラ平面と、視点３０１および３０３と撮像対象３０７によるエピポーラ平面とが垂直に交わるように、横方向と縦方向とに組み合わせられた３つのカメラＡ〜Ｃを含めて構成されている。各カメラＡ〜Ｃは、直角三角形の頂点に配置される。

図１２は、実施の形態３による画像合成装置のカメラ部におけるカメラ配置による合成画像のずれを示す図である。上述のようにカメラが配置されているため、エピポーラ線３１６を垂直に近い傾向にすることができる。誤差は、垂直方向成分に比べ水平方向の成分が大きくなり、水平方向に対する補正が多くなることで、左右方向のずれを小さくすることができる。

図１３は、実施の形態３にかかる画像合成装置を構成するカメラ部における各カメラの平行移動により発生したずれと回転移動により発生したずれを説明する図である。実施の形態３よると、カメラ部１０１は、視点３０１および３０２と撮像対象３０７によるエピポーラ平面と、視点３０１および３０３と撮像対象３０７によるエピポーラ平面とが垂直に交わるようにカメラＡ〜Ｃを配置しているため、垂直方向のずれは交点３０８と直線４０１との距離４０２として、水平方向のずれは交点３０８と直線４０３との距離４０４として同時に補正することができる。

１、２、３ カメラ
１０１ カメラ部
１０２ 画像取得部
１０３ 画像データ記憶部
１０４ 特徴点設定部
１０５ 特徴点位置補正部
１０６ カメラ初期位置設定部
１０７ カメラ位置補正部
１０８ 画像補正データ記憶部
１０９ カメラ位置データ記憶部
１１０ 画像合成部
１１１ 特徴点距離設定部
１１２ 特徴点距離計測部
１１３ 特徴点距離データ記憶部
２０１、２０２、２０３ 撮像視野
２１１、２１２、２１３、２１４、２１５、２１６ 特徴点
３０１、３０２、３０３ 視点
３０４、３０５、３０６ 撮像面
３０７ 撮像対象
３０８、３０９、３１０、３１１、３１２、３１３、３１４ 交点
３１５、３１６、３１７ 直線（エピポーラ線）

Claims (3)

1. 複数の撮像装置が撮像した複数の画像データを、各撮像装置の位置関係に基づいて投影面上に合成するために、各撮像装置の位置関係を求める撮像装置校正方法であって、
   隣接する撮像装置同士の各画像データ上に、前記隣接する撮像装置同士により共通して撮像された物体による特徴点を設定する特徴点設定ステップと、
   前記複数の撮像装置のうちの特定の撮像装置の位置に対するその他の撮像装置の相対位置を、回転移動量および平行移動量を用いて表現された初期位置として設定する初期位置設定ステップと、
   前記回転移動量および前記平行移動量と、前記特徴点の座標値とを用いて、前記初期位置と各撮像装置の実際の位置との誤差を評価し、各撮像装置の位置を補正する撮像装置位置補正ステップと、を含み、
   前記初期位置設定ステップは、前記初期位置の設定に、前記物体までの概略距離を使用する特徴点距離設定ステップを含むことを特徴とする撮像装置校正方法。
2. 前記隣接する撮像装置同士を使用して、前記物体を対象とする三角測量を実施し、前記特徴点までの距離を計測する特徴点距離計測ステップと、
   前記初期位置の算出に使用する前記概略距離を、前記特徴点距離計測ステップにおける計測値に置き換える特徴点距離補正ステップと、をさらに含むことを特徴とする請求項１に記載の撮像装置校正方法。
3. 複数の撮像装置で構成されたカメラ部と、
   前記複数の撮像装置が撮像した複数の画像データを取得する画像取得部と、
   隣接する撮像装置同士により共通して撮像された物体による特徴点を設定する特徴点設定部と、
   前記複数の撮像装置のうちの特定の撮像装置の位置に対するその他の撮像装置の相対位置を、回転移動量および平行移動量を用いて表現された初期位置として設定するカメラ初期位置設定部と、
   前記隣接する撮像装置同士を使用して、前記物体を対象とする三角測量を実施し、前記特徴点までの距離を計測する特徴点距離計測部と、
   前記初期位置の設定のための初期データとしての特徴点までの概略距離と、前記特徴点距離計測部による計測値とを、前記カメラ初期位置設定部へ設定する特徴点距離設定部と、
   前記回転移動量および前記平行移動量と、前記特徴点の座標値とを用いて、前記初期位置と各撮像装置の実際の位置との誤差を評価し、各撮像装置の位置を補正するカメラ位置補正部と、
   前記カメラ位置補正部が補正した位置関係に基づいて、前記複数の画像データを合成する画像合成部と、を備え、
   前記カメラ部は、前記隣接する撮像装置同士による視点と、前記隣接する撮像装置同士により共通して撮像された物体とによるエピポーラ平面が垂直に交わるように横方向と縦方向とに組み合わせられた３つの撮像装置を含めて構成されていることを特徴とする画像合成装置。

Images