JP2014155168A - 画像合成装置及び画像合成方法 - Google Patents

Abstract

【課題】カメラを制御するための機構を追加することなく、視線方向が移動しても、パノラマ画像の継ぎ目の不連続性をリアルタイムに改善することができるようにする。
【解決手段】一致度算出部２により算出された複数の基準方向の一致度にしたがって、パラメータセット記憶部１により記憶されている複数の基準方向に対応するパラメータセットからパノラマ画像の生成に用いるパラメータセットを生成するパラメータセット生成部３を設け、パノラマ画像生成部４が、パラメータセット生成部３により生成されたパラメータセットを用いて、複数のカメラの画像を合成して、視線方向におけるパノラマ画像を生成する。
【選択図】図１

Description

この発明は、複数のカメラにより撮影された画像を合成して、所望の方向におけるパノラマ画像を生成する画像合成装置及び画像合成方法に関するものである。

画像合成装置によるパノラマ画像の生成処理は、複数のカメラにより撮影されたカメラ画像を重ね合せて、単一の画像を生成する処理である。
また、パノラマ画像の生成処理は、通常のカメラでは撮影することができない画角の画像や、自由な視点からの画像を生成するための技術であり、運転操縦支援、監視、娯楽などの幅広い分野で用いられている。

図８は航空機の運転操縦支援におけるパノラマ画像の生成例を示す説明図である。
図８の例では、航空機の機体の周囲に６個のカメラが取り付けられており、６個のカメラの画像を合成して、所望の方向（以下、「視線方向」と称する）のパノラマ画像を生成して表示機器に出力している。
なお、視線方向は、必ずしも誰かの視線の方向と一致する必要はない。例えば、搭乗者が見たい任意の方向でもよいし、固定方向であってもよい。もちろん、誰かの視線方向と一致するものであってもよい。

パノラマ画像の生成処理では、カメラ画像を平面・曲面などの様々な形状の仮想投影面に投影し、その仮想投影面の中から視線方向の表示面に対応する部分を切り出すことでパノラマ画像を生成する。
図９はパノラマ画像の生成処理を示す概念図である。

仮想投影面を用いるパノラマ画像の生成処理には、多様なアルゴリズムが存在する。
最も単純なアルゴリズムでは、カメラの撮像面から仮想投影面にカメラ画像を射影変換することで、一旦、全てのカメラ画像を合成し、その合成画像の一部を視線方向の平面に射影変換すれば、視線方向のパノラマ画像を得ることが可能である。
なお、レイトレーシング手法を用いれば、視線方向の画像だけを逆算して求めることができるため、より少ない演算量・メモリ容量で、視線方向のパノラマ画像を得ることが可能である。

ここで、カメラ画像から投影面上の画像を生成する際（あるいは、レイトレーシング法で、投影面からカメラへの逆算を行う際）には、カメラ−投影面間の相対位置関係（以下、「カメラ相対位置」と称する）から演算式の係数が決定される。
従来のパノラマ画像の生成処理では、カメラ相対位置が、仮想投影面と実際のカメラの向きの関係にできる限り一致するように一意に設定され、視線方向が変化しても一定の値をとるようにしている。

パノラマ画像の生成処理では、カメラ固有の歪みが存在するため、生成したパノラマ画像の継ぎ目には不連続性（不自然さ）が発生する。
例を挙げると、パノラマ画像の粗さ・明るさなどが均一でなかったり、パノラマ画像の一部で単一の物体が複数に見えたり、直線が曲がって見えたりする。
カメラ画像に対して歪み補正を行っても、この不自然さを完全に解消するのは困難である。
即ち、全てのカメラの画像全体に対して全く歪みがなく、補正結果の画角も、現実と完全に一致するような理想的な歪み補正を行わない限りは、例えば、Ａ部分の継ぎを合わせるとＢ部分の継ぎ目がずれ、Ｂ部分の継ぎを合わせるとＡ部分の継ぎ目がずれるなどの現象が発生して、投影面上の複数の箇所で不自然な継ぎ目ができてしまうことがある。
特に、カメラの個数が多い場合や、撮影対象の周囲を４個のカメラで囲む場合などは、同時に位置合わせしなければならない継ぎ目が増えてしまうため、上記の現象が顕著に発生する。

以下の特許文献１には、複数のカメラ画像の重ね合わせの良否を判定し、重ね合せが不良な箇所があれば、カメラのパン角・チルト角・ズーム率を調整することで、画像の継ぎ目に発生する不自然さを解消して、好適なパノラマ画像を生成する画像合成装置が開示されている。

特開２００１−０３６８９８号公報（段落番号［０００７］）

従来の画像合成装置は以上のように構成されているので、カメラのパン角・チルト角・ズーム率を調整すれば、重ね合せが不良な箇所を補正することができる。しかし、カメラのパン角・チルト角・ズーム率を調整するには、カメラを制御する制御信号をカメラにフィードバックする機構を追加する必要があるため、部品・コストが増加してしまう課題があった。
また、フィードバック信号をカメラに出力する機構は、機械を介するフィードバックループであるため、常に視線方向が移動するリアルタイム性が高い機器への応用が困難である課題があった。

この発明は上記のような課題を解決するためになされたもので、カメラを制御するための機構を追加することなく、視線方向が移動しても、パノラマ画像の継ぎ目の不連続性をリアルタイムに改善することができる画像合成装置及び画像合成方法を得ることを目的とする。

この発明に係る画像合成装置は、複数のカメラにより投影される投影面の各位置に対する視点からの方向である基準方向毎に、当該基準方向における各カメラの投影面間の相対位置関係を示すパラメータセットを記憶しているパラメータセット記憶手段と、視線方向に対する複数の基準方向の一致度を算出する一致度算出手段と、一致度算出手段により算出された複数の基準方向の一致度にしたがって、パラメータセット記憶手段により記憶されている複数の基準方向に対応するパラメータセットからパノラマ画像の生成に用いるパラメータセットを生成するパラメータセット生成手段とを設け、パノラマ画像生成手段が、パラメータセット生成手段により生成されたパラメータセットを用いて、複数のカメラの画像を合成して、視線方向におけるパノラマ画像を生成するようにしたものである。

この発明によれば、視線方向に対する複数の基準方向の一致度を算出する一致度算出手段と、一致度算出手段により算出された複数の基準方向の一致度にしたがって、パラメータセット記憶手段により記憶されている複数の基準方向に対応するパラメータセットからパノラマ画像の生成に用いるパラメータセットを生成するパラメータセット生成手段とを設け、パノラマ画像生成手段が、パラメータセット生成手段により生成されたパラメータセットを用いて、複数のカメラの画像を合成して、視線方向におけるパノラマ画像を生成するように構成したので、カメラを制御するための機構を追加することなく、視線方向が移動しても、パノラマ画像の継ぎ目の不連続性をリアルタイムに改善することができる効果がある。

この発明の実施の形態１による画像合成装置を示す構成図である。 この発明の実施の形態１による画像合成装置の処理内容（画像合成方法）を示すフローチャートである。 ３個のカメラを使用してパノラマ画像を合成する際に設定された４つの基準方向ａ〜ｄに対応するパラメータセットａ〜ｄの一例を示す説明図である。 ４つの基準方向ａ〜ｄと視線方向の一例を示す説明図である。 加重平均によるパラメータセットの生成例を示す説明図である。 レイトレーシング法による画素位置の算出処理を示す概念図である。 一定間隔毎に基準方向を設定する場合の一例を示す説明図である。 航空機の運転操縦支援におけるパノラマ画像の生成例を示す説明図である。 パノラマ画像の生成処理を示す概念図である。

実施の形態１．
図１はこの発明の実施の形態１による画像合成装置を示す構成図である。
図１において、パラメータセット記憶部１は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、Ｎ台（Ｎは２以上の整数）のカメラにより投影される投影面の各位置に対する視点からの方向である基準方向毎に、当該基準方向における各カメラの投影面間の相対位置関係を示すパラメータセットを記憶している。なお、パラメータセット記憶部１はパラメータセット記憶手段を構成している。

一致度算出部２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、視線方向に対する複数の基準方向の一致度を算出する処理を実施する。なお、一致度算出部２は一致度算出手段を構成している。
パラメータセット生成部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、一致度算出部２により算出された複数の基準方向の一致度にしたがって、パラメータセット記憶部１により記憶されている複数の基準方向に対応するパラメータセットからパノラマ画像の生成に用いるパラメータセットを生成する処理を実施する。なお、パラメータセット生成部３はパラメータセット生成手段を構成している。

パノラマ画像生成部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、パラメータセット生成部３により生成されたパラメータセットを用いて、Ｎ台のカメラの画像を合成して、視線方向におけるパノラマ画像を生成する処理を実施する。なお、パノラマ画像生成部４はパノラマ画像生成手段を構成している。

図１の例では、画像合成装置の構成要素であるパラメータセット記憶部１、一致度算出部２、パラメータセット生成部３及びパノラマ画像生成部４のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像合成装置がコンピュータで構成されていてもよい。
画像合成装置がコンピュータで構成されている場合、パラメータセット記憶部１をコンピュータのメモリ上に構成するとともに、一致度算出部２、パラメータセット生成部３及びパノラマ画像生成部４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像合成装置の処理内容（画像合成方法）を示すフローチャートである。

次に動作について説明する。
パラメータセット記憶部１には、予め、外部から複数のパラメータセットが設定される。
パラメータセットは、Ｎ台（Ｎは２以上の整数）のカメラにより投影される投影面の各位置に対する視点からの方向である基準方向毎に、当該基準方向における各カメラの投影面間の相対位置関係（投影面に対するＮ台のカメラの相対位置・角度など）を示すものである。
即ち、パラメータセットは、Ｎ台のカメラの画像を合成してパノラマ画像を生成する際、そのパノラマ画像の視線方向が、ある基準方向と一致するとき、Ｎ台のカメラの画像をどのように重ね合せれば、好適なパノラマ画像が得られるかを示すものである。
このため、パラメータセットの設定においては、各々の基準方向毎に、当該基準方向におけるＮ台のカメラの投影面間の相対位置関係を事前に調査して設定する。

図３は３個のカメラを使用してパノラマ画像を合成する際に設定された４つの基準方向ａ〜ｄに対応するパラメータセットａ〜ｄの一例を示す説明図である。
ここでは、カメラの台数が３台、基準方向の数が４方向である例を示しているが、これは一例に過ぎない。したがって、カメラの台数は２台以上、基準方向の数は２方向以上であれば、どんな数でもよい。
パラメータセットの設定においては、基準方向周辺の継ぎ目が特に重要である。即ち、基準方向から外れている領域はあまり重要ではなく、基準方向周辺が自然に見え、かつ、見えるべき方向が見えるようにカメラ（１）〜（３）の位置・角度を設定する。

ただし、基準方向は、カメラの投影面に対する基準の方向が一意に定まるものであれば、どのような座標形式で与えられてもよい。例えば、基準方向は直交座標で与えられてもよいし、極座標などで与えられてもよい。
座標変換の演算量を低減する必要があれば、視線方向と同一の座標形式で与えられることが望ましいが、必ずしもその限りではない。座標形式については、各カメラの相対位置についても同様のことが言える。

パラメータセットの数は上述したように任意である。パラメータセットの数を増やせば継ぎ目の自然さが大きく向上するが演算量は増加する。一方、パラメータセットを減らせば継ぎ目の自然さが低下するが演算量は抑えられる。
複数の基準方向に対するパラメータセットがパラメータセット記憶部１に設定されたのち、視線方向が外部から与えられる。
視線方向は、どのような座標形式で与えられてもよいが、上述したように、演算量を低減する必要があれば、基準方向と同一の座標形式で与えられることが望ましいが、必ずしもその限りではない。

一致度算出部２は、外部から視線方向が与えられると、パラメータセット記憶部１により記憶されているパラメータセットａ〜ｄに対応する４つの基準方向ａ〜ｄと、その視線方向との一致度を算出する（図２のステップＳＴ１）。
ここで、図４は４つの基準方向ａ〜ｄと視線方向の一例を示す説明図である。
図４の例では、視線方向が基準方向ｂの近辺を指しているため、視線方向は、４つの基準方向ａ〜ｄの中で、基準方向ｂと最も良く一致しており、次に良く一致しているのが基準方向ｃである。
なお、視線方向と基準方向の一致度は、視線方向のベクトルと基準方向のベクトルとの内積を算出することで求めることでできる。内積の値が大きいほど、一致度が高いことを表している。

視線方向に対する基準方向の一致度の算出は、パラメータセット記憶部１により記憶されている全てのパラメータセットの基準方向に対して実施するようにしてもよいし、一部のパラメータセットの基準方向に対してだけ実施するようにしてもよい。
各々の基準方向の間に規則性がない場合には、どの基準方向に対する視線方向の一致度が高くなるかの予想がつかないため、全ての基準方向に対して一致度の算出を行うしかないが、例えば、視線方向及び基準方向の座標形式として極座標を使用し、一定間隔毎に基準方向を設定しておけば、視線方向の極座標から近似値の大きい基準方向の候補を簡単に予測することが可能である。
この場合には、近似度の高い基準方向の候補の周囲の基準方向に対してだけ一致度の算出を行うことで、演算量を低減することが可能である。

パラメータセット生成部３は、一致度算出部２が視線方向に対する基準方向ａ〜ｄの一致度を算出すると、基準方向ａ〜ｄの一致度にしたがって、パラメータセット記憶部１により記憶されている基準方向ａ〜ｄに対応するパラメータセットからパノラマ画像の生成に用いるパラメータセットを生成する。
以下、パノラマ画像の生成に用いるパラメータセットの生成処理を具体的に説明する。

まず、パラメータセット生成部３は、一致度算出部２により算出された基準方向ａ〜ｄの一致度に基づいて、基準方向ａ〜ｄに対応するパラメータセットａ〜ｄの重み係数を設定する（ステップＳＴ２）。
基準方向ａ〜ｄに対応するパラメータセットａ〜ｄの重み係数として、当該基準方向の一致度が高い程、大きな重み係数を設定する。
パラメータセット生成部３は、基準方向ａ〜ｄに対応するパラメータセットａ〜ｄの重み係数ａ〜ｄを設定すると、その重み係数ａ〜ｄを用いて、基準方向ａ〜ｄに対応するパラメータセットａ〜ｄの加重平均を算出し、加重平均後のパラメータセットをパノラマ画像の生成に用いるパラメータセットとして、パノラマ画像生成部４に出力する（ステップＳＴ３）。
図４の例では、基準方向ｂ，ｃの一致度が高いので、パノラマ画像の生成に用いるパラメータセットは、基準方向ｂ，ｃに対応するパラメータセットｂ，ｃが大きく反映されたパラメータセットになる。
図５は加重平均によるパラメータセットの生成例を示す説明図である。

ここでは、パラメータセット記憶部１により記憶されている全てのパラメータセットａ〜ｄの加重平均を算出する例を示しているが、一致度が所定の閾値より高い基準方向に対応するパラメータセットだけの平均や加重平均を算出し、その算出結果をパノラマ画像の生成に用いるパラメータセットとして、パノラマ画像生成部４に出力するようにしてもよい。
例えば、基準方向ｂ，ｃ，ｄの一致度が閾値より高く、基準方向ａの一致度が閾値より低い場合、基準方向ｂ，ｃ，ｄに対応するパラメータセットｂ，ｃ，ｄの平均や加重平均を算出することになる。

なお、視線方向と基準方向の一致度は、視線方向のベクトルと基準方向のベクトルとの内積の値が大きいほど高くなることは、上述した通りであるが、視線方向と基準方向の角度が９０度以上の場合（一致度が０以下の場合）は、内積の値が負の値になるため、負の値の場合には、加重平均の対象から除外するようにする。
これにより、一致度が低いパラメータセットが容易に除外され、一致度が低いパラメータセットが反映され難くなる利点が得られる。パラメータセットが少なく、基準方向によってカメラの相対位置が緩やかに変化する場合などに好適な重ね合せ結果が得られる。

また、ここでは、基準方向ａ〜ｄに対応するパラメータセットａ〜ｄの加重平均を算出することで、パノラマ画像の生成に用いるパラメータセットを生成する例を示しているが、以下のようにして、パノラマ画像の生成に用いるパラメータセットを生成するようにしてもよい。
まず、パラメータセット生成部３は、４つの基準方向ａ〜ｄの中から、一致度算出部２により算出された一致度が最も高い基準方向を選択する。
図４の例では、一致度が最も高い基準方向として、基準方向ｂが選択される。以下、基準方向ｂが選択されるものとして説明する。
パラメータセット生成部３は、一致度が最も高い基準方向ｂを選択すると、パラメータセット記憶部１により記憶されている基準方向ａ〜ｄに対応するパラメータセットの中から、一致度が最も高い基準方向ｂに対応するパラメータセットを読み出し、そのパラメータセットをパノラマ画像の生成に用いるパラメータセットとして、パノラマ画像生成部４に出力する。

パノラマ画像生成部４は、パラメータセット生成部３がパノラマ画像の生成に用いるパラメータセットを生成すると、そのパラメータセットを用いて、Ｎ台のカメラの画像を合成して、視線方向におけるパノラマ画像を生成する（ステップＳＴ４）。
各カメラの相対位置からカメラ画像を投影面に投影してパノラマ画像の合成を行うものであれば、どのようなアルゴリズムを利用してもよいが、以下、一例として、球面の投影面を用いるレイトレーシング法で、パノラマ画像を生成する場合の処理内容を簡単に説明する。

レイトレーシング法は、表示画面の全画素に対して、レイトレーシング（光線追跡）を行うことで、カメラ画像上の対応する画素位置を算出し、その画素位置の画素（入力されたカメラ画像の画素）を出力画素として用いる手法である。
図６はレイトレーシング法による画素位置の算出処理を示す概念図である。

まず、視点から表示画面上の対象画素（図中、Ａの画素）に対して直線を引き、その直線と投影面が交差する点の座標（図中、Ｂの座標）を算出する。
この座標は、視線方向、視点位置を示す情報、表示画面を示す情報、投影面を示す情報及び対象画素の位置から算出することが可能である。
次に、投影面上の交差座標から各カメラ位置に対して直線を引き、その直線とカメラ撮像面が交差する点の座標（図中、Ｃの座標）を算出する。
この座標は、カメラ相対位置結果と、カメラ撮像面を示す情報から算出することが可能である。

さらに、各カメラ撮像面の交差点の画素値をカメラ間で重ね合せることにより、表示画面上の対象画素の出力画素値を得る。ここで、直線が撮像面と交差しない場合は、そのカメラを重ね合せの対象外（図中、Ｄ）とする。重ね合わせには、平均・加重平均や最近傍法などを用いるのが一般的である。
このように、レイトレーシング法を用いたパノラマ画像の合成処理では、視線（視点）とカメラ相対位置に基づいて、算出対象の画素位置から投影面上の画素位置や撮像面上の画素位置を逆算することで、表示するべき画素値が得られる。

以上で明らかなように、この実施の形態１によれば、視線方向に対する複数の基準方向の一致度を算出する一致度算出部２と、一致度算出部２により算出された複数の基準方向の一致度にしたがって、パラメータセット記憶部１により記憶されている複数の基準方向に対応するパラメータセットからパノラマ画像の生成に用いるパラメータセットを生成するパラメータセット生成部３とを設け、パノラマ画像生成部４が、パラメータセット生成部３により生成されたパラメータセットを用いて、複数のカメラの画像を合成して、視線方向におけるパノラマ画像を生成するように構成したので、カメラを制御するための機構を追加することなく、視線方向が移動しても、パノラマ画像の継ぎ目の不連続性をリアルタイムに改善することができる効果を奏する。

即ち、視線方向と一致度が高い基準方向のカメラ相対位置から視線方向に対して適応的なカメラ相対位置を算出しているので、どのような視線方向に対しても、画像の継ぎ目が自然なパノラマ画像を得ることができる。
また、基準方向の周囲の継ぎ目だけが自然に重なり合うようにパラメータセットの設定を行えばよいため、パラメータセットの設定が容易である。

実施の形態２．
上記実施の形態１では、一致度算出部２が、視線方向と複数の基準方向の一致度として、視線方向のベクトルと複数の基準方向のベクトルとの内積を算出するものを示したが、一致度算出部２が、視線方向のベクトルと複数の基準方向との外積のスカラ値を算出するようにしてもよい。
視線方向と基準方向の一致度は、ベクトル外積のスカラ値が小さいほど、一致度が高いことを表している。

パラメータセット生成部３は、一致度算出部２が基準方向ａ〜ｄの一致度として、視線方向と基準方向ａ〜ｄとのベクトル外積のスカラ値を算出すると、ベクトル外積のスカラ値に基づいて、基準方向ａ〜ｄに対応するパラメータセットａ〜ｄの重み係数を設定する。
基準方向ａ〜ｄに対応するパラメータセットａ〜ｄの重み係数として、当該基準方向のベクトル外積のスカラ値が小さい程（当該基準方向の一致度が高い程）、大きな重み係数を設定する。
パラメータセット生成部３は、基準方向ａ〜ｄに対応するパラメータセットａ〜ｄの重み係数ａ〜ｄを設定すると、上記実施の形態１と同様に、その重み係数ａ〜ｄを用いて、基準方向ａ〜ｄに対応するパラメータセットａ〜ｄの加重平均を算出し、加重平均後のパラメータセットをパノラマ画像の生成に用いるパラメータセットとして、パノラマ画像生成部４に出力する。

ここでは、パラメータセット記憶部１により記憶されている全てのパラメータセットａ〜ｄの加重平均を算出する例を示しているが、ベクトル外積のスカラ値が所定の閾値より小さい基準方向（一致度が所定の閾値より高い基準方向）に対応するパラメータセットだけの平均や加重平均を算出するようにしてもよい。
また、４つの基準方向ａ〜ｄの中から、ベクトル外積のスカラ値が最も小さい基準方向（一致度が最も高い基準方向）を選択し、パラメータセット記憶部１から当該基準方向に対応するパラメータセットを読み出すようにしてもよい。

ただし、ベクトル外積のスカラ値は、視線方向と基準方向の角度が９０度の場合に最大値をとり、９０度以上で再び減少する点に注意が必要である。
即ち、ベクトル外積のスカラ値を一致度として使用する場合、視線方向と基準方向の角度が９０度以上の場合には、何らかの方法で、その基準方向に対応するパラメータセットを加重平均の対象から除外する必要がある。例えば、内積値を別途算出し、その内積値の正負によって判定してもよいし、角度を算出して判定するようにしてもよい。

視線方向と複数の基準方向の一致度として、ベクトル外積のスカラ値を算出する場合、最も一致する場合の一致度が必ず０になる（ベクトル内積を用いる場合、基準方向のベクトルのスカラ値によっては、最も一致する場合の値が異なる）。
よって、一致度に対する単純な閾値処理によって、加重平均の対象を制限することが可能である。
一致度で閾値設定した範囲の基準方向を参照することができるため、パラメータセットが多く、基準方向によってカメラの相対位置が激しく変化する場合などに好適な重ね合せ結果が得られる。

実施の形態３．
上記実施の形態１では、一致度算出部２が、視線方向と複数の基準方向の一致度として、視線方向のベクトルと複数の基準方向のベクトルとの内積を算出するものを示したが、一致度算出部２が、視線方向と複数の基準方向とのヨー値及びピッチ値の近似度を算出するようにしてもよい。
近似度を示す値としては、スカラ値同士の近似度を示す値であれば、どのような値を算出するようにしてもよいが、例えば、ヨー値、ピッチ値の差分絶対値や差分自乗値等を算出するようにしてもよい。また、ベクトル同士のなす角の余弦値を近似度として算出するようにしてもよい。

一致度算出部２が、視線方向と複数の基準方向の一致度として、視線方向と複数の基準方向とのヨー値及びピッチ値の近似度を算出する場合、ヨー値・ピッチ値の一定間隔毎に、基準方向を設定しておけば、入力された視線方向のヨー値・ピッチ値から一致度が高くなる基準方向に対応するパラメータセットの候補を容易に予測することが可能である。
図７は一定間隔毎に基準方向を設定する場合の一例を示す説明図である。
図７の例では、ヨー値・ピッチ値４５度おきに基準方向を設定している。
例えば、視線方向が、ヨー値０〜４５度、ピッチ値９０〜１３５度の範囲にあれば、最も一致度が高い基準方向に対応するパラメータセットの候補は、４つの範囲（ヨー値−ピッチ値が０度−９０度、４５度−９０度、０度−１３５度、または、４５度−１３５度）の中のいずれかに絞られる。

したがって、一致度を算出する前に、一致度が高いパラメータセットを限定することができるため、一致度を算出する対象を減らすことが可能である。
上記の周囲４パラメータセットに対してのみ一致度を算出するようにしてもよいし、もっと範囲を広げたパラメータセット、もしくは、範囲狭めた他の個数のパラメータセットを一致度の算出対象としてもよい。もちろん、全てのパラメータセットに対して、一致度を算出することもできる。

この実施の形態３では、ヨー値・ピッチ値について、一定間隔で基準方向を設定することにより、一致度が高い基準方向のパラメータセットを事前に予測することができるため、一致度が低い基準方向のパラメータセットを容易に算出対象から除外することができる利点がある。
内積値や外積のスカラ値を用いる場合と比べて、加重平均の項数を大幅に削減することができるため、より小さい演算量で好適な重ね合せ結果を得ることができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ パラメータセット記憶部（パラメータセット記憶手段）、２ 一致度算出部（一致度算出手段）、３ パラメータセット生成部（パラメータセット生成手段）、４ パノラマ画像生成部（パノラマ画像生成手段）。

Claims (7)

1. 複数のカメラにより投影される投影面の各位置に対する視点からの方向である基準方向毎に、当該基準方向における各カメラの投影面間の相対位置関係を示すパラメータセットを記憶しているパラメータセット記憶手段と、
   視線方向に対する複数の基準方向の一致度を算出する一致度算出手段と、
   上記一致度算出手段により算出された複数の基準方向の一致度にしたがって、上記パラメータセット記憶手段により記憶されている複数の基準方向に対応するパラメータセットからパノラマ画像の生成に用いるパラメータセットを生成するパラメータセット生成手段と、
   上記パラメータセット生成手段により生成されたパラメータセットを用いて、複数のカメラの画像を合成して、視線方向におけるパノラマ画像を生成するパノラマ画像生成手段と
   を備えた画像合成装置。
2. パラメータセット生成手段は、一致度算出手段により算出された複数の基準方向の一致度を重みとして、パラメータセット記憶手段により記憶されている複数の基準方向に対応するパラメータセットの加重平均を求め、加重平均後のパラメータセットをパノラマ画像の生成に用いるパラメータセットとして出力することを特徴とする請求項１記載の画像合成装置。
3. パラメータセット生成手段は、パラメータセット記憶手段により記憶されている複数の基準方向に対応するパラメータセットの中から、一致度算出手段により算出された視線方向に対する一致度が最も高い基準方向に対応するパラメータセットを選択し、上記パラメータセットをパノラマ画像の生成に用いるパラメータセットとして出力することを特徴とする請求項１記載の画像合成装置。
4. 一致度算出手段は、視線方向に対する複数の基準方向の一致度として、視線方向と複数の基準方向とのベクトル内積値を算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像合成装置。
5. 一致度算出手段は、視線方向に対する複数の基準方向の一致度として、視線方向と複数の基準方向とのベクトル外積のスカラ値を算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像合成装置。
6. 一致度算出手段は、視線方向に対する複数の基準方向の一致度として、視線方向と複数の基準方向とのヨー値及びピッチ値の近似度を算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像合成装置。
7. 予め、複数のカメラにより投影される投影面の各位置に対する視点からの方向である基準方向毎に、当該基準方向における各カメラの投影面間の相対位置関係を示すパラメータセットを記憶しており、
   一致度算出手段が、視線方向に対する複数の基準方向の一致度を算出する一致度算出処理ステップと、
   パラメータセット生成手段が、上記一致度算出処理ステップで算出された複数の基準方向の一致度にしたがって、予め記憶している複数の基準方向に対応するパラメータセットからパノラマ画像の生成に用いるパラメータセットを生成するパラメータセット生成処理ステップと、
   パノラマ画像生成手段が、上記パラメータセット生成処理ステップで生成されたパラメータセットを用いて、複数のカメラの画像を合成して、視線方向におけるパノラマ画像を生成するパノラマ画像生成処理ステップと
   を備えた画像合成方法。

Images