JP2015046040A - 画像変換装置 - Google Patents

Abstract

【課題】平面に対して任意の角度から撮影された複数のカメラ画像を、当該平面に対して垂直上方から撮影された平行化画像に変換する。
【解決手段】 各カメラ画像から特徴点を検出する特徴点検出部１１と、各カメラ画像間で対応点を検出する対応点検出部１２と、各カメラ画像間の対応点集合から複数の平面について画像間ホモグラフィ行列を計算する計算部１３と、カメラ画像の集合から、画像間ホモグラフィ行列の計算結果に基づいて、複数の平面が同時に映ったリファレンス画像を選択するリファレンス画像選択部１４と、各カメラ画像間のホモグラフィ行列に基づいて、リファレンス画像を各カメラ画像に変換するリファレンスホモグラフィ行列を計算する計算部１５と、各カメラ画像の平行化パラメータを、当該カメラ画像のリファレンスホモグラフィ行列ならびに各平面の既知角度に基づいて計算する平行化パラメータ計算部１６とを含む。
【選択図】図１

Description

本発明は、平面に対して任意の角度から撮影された複数のカメラ画像を、当該平面に対して垂直上方から撮影された俯瞰画像に変換する画像変換装置に係り、特に、平面および当該平面に対して既知の角度を有する副平面が映るカメラ画像を俯瞰画像に変換する画像変換装置に関する。

画像の平行化とは、３次元空間において平面に対して斜めの角度から撮影されたカメラ画像を、平面に対して垂直上方から撮影された俯瞰画像へ変換する技術である。これは、撮影対象が２次元平面ではあるものの、３次元空間における平面の幾何情報を復元しているという点で３次元復元技術の一種と捉えられる。平行化によりカメラ画像の平面に対する撮影姿勢が得られるため、CGを現実空間に重ね合わせて表示するARシステムへの応用が可能である。

特許文献１には、カメラ画像と平面図とのマッチングを利用する方式が開示されている。具体的には、平面上に存在する既知の幾何形状とカメラ画像内との対応を利用して、最少４組の点対応から平面図へ変換するホモグラフィ行列を計算する。例えば、正方形のマーカーを平面上に事前に設置することで、正方形の４頂点に関して平面図上の座標とカメラ画像上のピクセル座標とで対応をとることで容易に平行化が実施できる。

特許文献２には、平面上に存在する平行線を検出する方式が開示されている。具体的には、平面上に存在する最少２組の平行線を検出することで、平面図上の無限遠直線に相当するカメラ画像中の消失線の位置を計算し、カメラの内部パラメータの情報と合わせることで平面図を得る。これは、カメラ画像中の消失線とカメラの内部パラメータとから平面の法線方向が復元できることを利用している。

以上のように、平面上に存在する特定の幾何模様を利用する方式が画像の平行化として一般的であり、一枚のカメラ画像から平行化が可能である。その反面、対象の平面がその上に特定の幾何形状や平行線が存在するものに限定されるという課題がある。

非特許文献１には、多視点で撮影された各カメラ画像間のホモグラフィ行列から平行化を行う方式が開示されている。これは、カメラ画像を複数枚用いるという点で特許文献１，２の方式とは大きく異なる。

具体的には、平行化に用いるパラメータ（平行化パラメータ）と各カメラ画像間のホモグラフィ行列とに関してコスト関数を定義し、各ホモグラフィ行列を入力としてそれを最小化することにより、平行化に用いるパラメータが推定される。平行化パラメータは、撮影時のカメラ座標系のZ軸を平面垂直方向へ回転させる2自由度の回転行列により構成される。ホモグラフィ行列は、各画像から抽出されたSIFT等の局所特徴量に基づく対応点マッチングから計算される。

この方式は、平面に関する事前情報を用いず、カメラ画像間のマッチングのみを利用しているため、例えば、平面上に存在する模様が未知の環境を対象としたARシステムへの応用が考えられる。但し、平行化の精度がカメラ画像の枚数やカメラ画像間のマッチングの精度に大きく依存するという課題がある。

特開２００６−１４６７６０号公報 特許第４６１７９９３号公報

A. Ruiz, P. E. L. de Teruel, and L. Fernandez. Practical planar metric rectification. In Proc. BMVC 2006, 2006. Hartley Richard and Zissermain Andrew: Multiple View Geometry in Computer Vision. Cambridge University Press. 2001.

非特許文献１には、カメラ画像の枚数が少ない場合、もしくは各カメラ画像間のマッチングの精度が悪い場合に、平行化の精度が低いという課題がある。例えば、人工建造物のような直交性の強い3次元環境において、直交の関係にある２つの平面を平行化の対象とした場合に、両平面に対して不十分な精度で平行化を実施した結果、推定された両平面に対する平行化パラメータが直交の関係を満たさない。

本発明の目的は、上記の技術課題を解決し、相対角度が既知である複数平面を平行化の基準とした場合に、各平面に対して推定される各平行化パラメータが既知の角度となる制約を利用することで、複数のカメラ画像を各平面に対して高精度に平行化できる画像変換装置を提供することにある。

上記の目的を達成するために、本発明は、主平面および副平面の映ったカメラ画像に基づいて、各カメラ画像を主平面に対して平行化する画像変換装置において、各カメラ画像から特徴点を検出する手段と、各カメラ画像間で特徴点マッチングを実行して対応点を検出する手段と、各カメラ画像間の対応点集合から各平面の画像間ホモグラフィ行列を計算する手段と、カメラ画像の集合から、前記各画像間ホモグラフィ行列の計算結果に基づいて、主平面および副平面の映ったリファレンス画像を選択する手段と、前記各画像間ホモグラフィ行列に基づいて、前記リファレンス画像を各カメラ画像に変換するリファレンスホモグラフィ行列を計算する手段と、各カメラ画像の平行化パラメータを、当該カメラ画像の主平面および副平面に関するリファレンスホモグラフィ行列ならびに主平面および副平面の既知角度に基づいて計算する手段とを具備した点に特徴がある。

本発明によれば、以下のような効果が達成される。

(1) 相対角度が既知の複数平面に対する多視点画像の平行化を実施する際に、各平面画像の平行化パラメータを独立に推定する方式と比較して、各平面に対して高精度に平行化を実施することが可能になる。

(2) 平行化をARシステムへ応用する場合は、平面に対するカメラ姿勢が従来方式より高精度に得られるため、CGの位置合わせの精度が向上する。

本発明が適用されるカメラ画像の撮影環境およびARシステムの構成を模式的に表現した図である。 各カメラ画像から検出される特徴点の例を示した図である。 ２つのカメラ画像における特徴点の検出例を示した図である。 ２つのカメラ画像間での対応点検出ならびにホモグラフィ行列Hs，Hbの計算例を示した図である。 ７つのカメラ画像Ica1〜Ica7を入力とした場合に各カメラ画像間で得られる画像間ホモグラフィ行列の一例を示した図である。 図５の各カメラ画像Icaをノード、画像間ホモグラフィ行列をエッジとした双方向の有効グラフを表現した図である。 副平面Psに関する有効グラフを示した図である。 主平面Pbに関する有効グラフを示した図である。 リファレンスホモグラフィ行列の集合を示した図である。 平行化パラメータの定義を説明するための図である。 リファレンス画像を平行化する平行化パラメータを説明するための図（その１）である。 リファレンス画像を平行化する平行化パラメータを説明するための図（その２）である。 リファレンス画像のカメラ座標系と世界座標系との位置関係を示した図である。 相互に直行する主平面および副平面が存在する撮影環境の図である。 図１４の主平面に平行化を行った際のカメラ座標系を示した図である。 主平面の平行化を行った際のカメラ座標系を副平面の平行化を行うために回転させる方法を示した図（その１）である。 主平面の平行化を行った際のカメラ座標系を副平面の平行化を行うために回転させる方法を示した図（その２）である。 副平面の平行化を行った際のカメラ座標系を示した図である。 平面間の角度が既知の複数平面に対してカメラ画像を平行化させる方法を示した図である。 ３つのカメラ画像を入力として、その一つをリファレンス画像Irefとした平行化方法を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明が適用されるカメラ画像の撮影環境およびARシステムの構成を模式的に表現した図であり、主平面Pbおよび副平面Psが既知の角度θで交差し、様々なカメラ姿勢で撮影される複数のカメラ画像には、主平面Pbおよび副平面Psの少なくとも一方が映っており、かつ少なくとも一枚には主平面Pbおよび副平面Psの両方が映っている。なお、各カメラの撮影方向は、各カメラを模したシンボルマークの向きにかかわらず、各シンボルを起点として記述されている矢印方向（→）であるものとする。

各カメラ画像は、１ないし複数台のカメラで撮影された静止画であっても、あるいは１ないし複数台のビデオカメラで撮影された動画から切り出されたフレーム画像であっても良い。カメラ画像を出力するカメラも、デジタルカメラ、WEBカメラあるいは携帯電話端末に搭載されているカメラモジュール等のいずれであっても良い。ただし、各カメラの焦点距離や光軸のずれ、歪みパラメータ等の内部パラメータは、全てのカメラについて事前のキャリブレーションにより既知であるものとする。

ARシステムは、画像変換装置１、データベース２およびディスプレイ３により構成され、前記画像変換装置１は、主平面Pbおよび／または副平面Psを任意の角度から撮影した複数のカメラ画像を、主平面Pbおよび副平面Psの映ったカメラ画像に基づいて、主平面Pbおよび／または副平面Psの垂直上方から撮影された平行化画像（俯瞰画像）に変換する平行化機能を備える。

データベース２は、ハードディスクやフラッシュメモリ等の不揮発性メモリストレージ、あるいはPCの主記憶装置に一般的に使用される揮発性メモリにより構成され、少なくともカメラの内部パラメータが記録されており、加えて重畳表示されるCGのモデルが記録されていても良い。本発明では、後に詳述するように、平面上の特定の幾何形状を利用する一般的な方式とは異なり、多視点で撮影された各カメラ画像間の関係性のみを利用する方式に基づいて画像の平行化が行われるため、データベースには平面に関する情報が記録されている必要はない。

ディスプレイ３は、テレビやモニタ用のディスプレイに限定されず、ヘッドマウントディスプレイであっても良い。また、携帯電話端末のように、カメラ、ディスプレイおよびデータベースが一つの筐体を共有する構成であっても良い。ディスプレイ２の表示コンテンツとしては、各視点からのカメラ画像の平行化に基づく俯瞰図や、平面に対する撮影姿勢に基づくCGキャラクターなどが挙げられる。

画像変換装置１は、汎用のコンピュータやサーバ（スマートフォン、PDA等の情報端末を含む）に各機能を実現するアプリケーション（プログラム）を実装することで構成しても良いし、あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。

画像変換装置１において、カメラ画像インタフェース１０には、前記主平面Pbや副平面Psを任意の方向から撮影したカメラ画像Icaが入力される。特徴点検出部１１は、各カメラ画像Icaから特徴点を検出して、その局所特徴量を取得する。

図２は、各カメラ画像Icaから検出される特徴点の例を示した図であり、図３は、２つのカメラ画像Ica1，Ica2における特徴点の検出例を示した図である。ここでは便宜上、主平面Pbから検出される特徴点が「×」印で表現され、副平面Psから検出される特徴点が「○」印で表現されているが、各カメラ画像Icaから検出される特徴点の局所特徴量が、主平面Pbおよび副平面Psのいずれに属するかに応じて特異的であることを意味するものではない。

対応点検出部１２は、全てのカメラ画像間で特徴点同士の対応点マッチングを実行して対応点（特徴点ペア）を検出する。対応点マッチングは、SURF、SIFT、ORB等の局所特徴量を抽出し、その距離に基づいて行う。マッチングの精度向上のために、局所特徴量間の距離に基づいてマッチング結果をソートし、距離が閾値以下のマッチングのみを用いても良い。もしくは、距離が１番目に近いものと２番目に近いものとを探索し、それらの距離の比（２番目との距離に対する1番目との距離）が閾値以下のものを用いてもよい。

さらに、計算コストを低減するため、対応点マッチングを一部のカメラ画像については省略してもよい。例えば、カメラ画像が逐次的に入力されるシステムにおいては、最新のカメラ画像のマッチング対象を、直前に入力された数枚のカメラ画像に限定しても良い。

画像間ホモグラフィ行列計算部１３は、特徴点が検出された平面ごとに画像間ホモグラフィ行列を計算する。図４は、任意の２つのカメラ画像間での対応点検出ならびに主平面および副平面に関する画像間ホモグラフィ行列H^b、H^sの計算例を示した図である。

ホモグラフィ行列Hは、最少４組の対応点から最小二乗法により計算できる。本実施例では便宜上、カメラ画像Icaとはカメラの内部パラメータAおよび実際のカメラ画像xを用いて、Ica=A^-1・xにより表される正規化カメラ画像を指すものとする。２つのカメラ画像Icai，Icajの関係は、ホモグラフィ行列Hijにより次式(1)で表現できる。

ホモグラフィ行列Hは、各特徴点の属する平面が既知であれば、その情報を利用して平面ごとに計算できるが、本実施例では、各特徴点の所属平面が未知である場合を想定し、以下のようにしてRANSAC等のロバスト推定を用いて平面ごとに計算される。

画像間ホモグラフィ行列計算部１３において、主平面計算部１３ａは、初めに各カメラ画像間の対応点集合からホモグラフィ行列を計算し、インライア判定された対応点のホモグラフィ行列を主平面に関する画像間ホモグラフィ行列H^bとして取得する。

本実施例では、最小二乗法によるホモグラフィ行列計算を繰り返すことで、外れ値の影響を受けてないホモグラフィ行列が出力される。すなわち、初めに全ての対応点から一部をサンプリングする。次いで、最小二乗法によりホモグラフィ行列を推定して、そのスコアを計算する。そして、これらの処理を全て、もしくは一部のサンプリングの組み合わせに対して繰り返し、一番高いスコアを持つホモグラフィ行列が画像間ホモグラフィ行列H^bとされる。

副平面計算部１３ｂは、前記画像間ホモグラフィ行列の計算においてアウトライア判定された残りの対応点を対象にホモグラフィ行列を計算し、インライア判定された対応点のホモグラフィ行列を副平面に関する画像間ホモグラフィ行列H^sとする。このようなホモグラフィ行列の計算は、マッチングの取れたカメラ画像の全ての組み合わせに対して行われる。

図５は、７つのカメラ画像Ica1〜Ica7を入力とした場合に各カメラ画像間で得られる画像間ホモグラフィ行列の一例を示している。図６は、図５の各カメラ画像Icaをノード、画像間ホモグラフィ行列をエッジとした双方向の有効グラフを示している。ただし、Hji^-1により接続される逆方向のエッジに関しては図示が省略されている。

リファレンス画像選択部１４は、前記カメラ画像Icaの集合から、前記主平面および副平面の画像間ホモグラフィ行列H^b、H^sの計算結果に基づいて、主平面Pbおよび副平面Psのいずれもが映ったリファレンス画像Irefを選択する。

前記リファレンス画像Irefは、複数平面のいずれについても他のカメラ画像と強固に接続されていることが望ましい。したがって、主平面Pbおよび副平面Psのいずれもが映った複数の候補が存在する場合は、その中の一つをランダムに選択しても良いし、もしくは以下のように平面上の対応点またはインライアの数を指標として選択しても良い。

図５の例では、２平面Pb，Psに対してホモグラフィ行列が計算されているカメラ画像Ica4，Ica5がリファレンス画像Irefの候補となる。しかしながら、カメラ画像Ica5では副平面Psに存在するインライアの数が少ないため、ホモグラフィ行列H^s ₄₅の信頼性は低いと考えられる。そのため、図５の例ではカメラ画像Ica4がリファレンス画像Irefに選択される。

リファレンスホモグラフィ行列計算部１５は、各カメラ画像間の主平面および副平面に関する画像間ホモグラフィ行列H^b、H^sに基づいて、前記リファレンス画像Irefを各カメラ画像に変換するためのリファレンスホモグラフィ行列を各平面について計算する。

本実施例では、初めに前記図６の有効グラフが平面ごとに有向グラフに変換される。図７，８は、それぞれ副平面Psおよび主平面Pbに関する有効グラフを示しており、グラフの接続関係に従ってリファレンス画像Irefから各カメラ画像Icaへの経路が探索され、リファレンス画像Irefを各カメラ画像へ変換するリファレンスホモグラフィ行列が、経路中の各エッジに紐付く画像間ホモグラフィ行列の積により求められる。

例えば、図７においてリファレンス画像Iref（カメラ画像Ica4）からカメラ画像Ica2への経路は２通り存在し、一方は[Ica4→Ica3→Ica2]であり、他方は[Ica4→Ica3→Ica1→Ica2]である。このとき、前者においてリファレンス画像Irefをカメラ画像Ica2へ変換するリファレンスホモグラフィ行列H^s ₄₂は次式(2)により与えられる。

同様に、後者においてリファレンス画像Irefをカメラ画像Ica2へ変換するリファレンスホモグラフィ行列H^s ₄₂は次式(3)により得られる。

ここで得られたリファレンスホモグラフィ行列H^s ₄₂は、平行化パラメータ推定計算部１６へ提供される、副平面Psに関するリファレンスホモグラフィ行列の集合に加えられる。なお、前者と後者との経路で得られたリファレンスホモグラフィ行列H^s ₄₂について、経路の冗長性を考慮して両者とも集合に加えても良く、もしくはいずれか一方のみを集合に加えても良い。この場合、カメラ間の移動距離を重みとして各エッジに割り当て、最短経路を選択してもよい。本実施形態では、複数の経路が存在する場合、エッジの本数が短いものが採用される。

以上の処理を他の全てのカメラ画像について適用することで、H^s ₄₁、H^s ₄₂、H^s ₄₃およびH^s ₄₅という副平面Psに関するリファレンスホモグラフィ行列の集合が得られる。同様に、図８を用いて、H^b ₄₅、H^b ₄₆およびH^b ₄₇という主平面Pbに関するリファレンスホモグラフィ行列の集合が得られる。そして、最終的には図９に示したリファレンスホモグラフィ行列の集合が得られる。

平行化パラメータ計算部１６は、各カメラ画像Icaを主平面Pbに対して平行化するためのパラメータ（平行化パラメータ）を、各カメラ画像Icaのリファレンスホモグラフィ行列ならびに前記主平面Pbおよび副平面Psの既知角度θに基づいて計算する。なお、同時に各カメラ画像Icaを副平面Pbに対して平行化するためのパラメータ（平行化パラメータ）も求まる。

平行化パラメータは、図１０に示すように、平行化の基準平面Prefの法線をリファレンス画像Irefのカメラ座標系のZ軸に重ねる回転行列R[同図(a)]、もしくはリファレンス画像Irefのカメラ座標系のZ軸を基準平面Prefの法線に重ねる回転行列R^-1[同図(b)]であり、X軸周りの回転量φ₁とZ軸周りの回転量φ₂とを用いて次式(4)により定義される。

これは幾何学的に次のように解釈できる。初めに、図１１に示すように、リファレンス画像Irefのカメラ座標系(X，Y，Z)について、そのX軸が基準平面Prefの平行線に合わさるようにZ軸周りに−φ₁回転させる（-90°＜−φ₁≦90°）。次いで、図１２に示すように、Z軸が基準平面Prefの法線に合わさるように、カメラ座標系(X，Y，Z)を、そのX軸周りに−φ₂回転させる（-90°＜−φ₂＜90°）。これによりリファレンス画像Irefの平行化が達成できる。すなわち、リファレンス画像Irefを基準平面Prefに対して平行化させる回転行列は、次式(5)で定義される。

一方、非特許文献２によれば、リファレンス画像Irefと平行化画像Ixとの間には次式(6)の関係が成り立つ。

そのため、平行化パラメータRを求めることにより、R^-1を用いてリファレンス画像Irefから平行化画像Ixを作成することが可能である。ここで、世界座標系(X_W，Y_W，Z_W)において基準平面PrefがZ_W=0で定義されるとき、上式右辺のIxが世界座標系であるものと解釈して次式(7)が得られる。

このとき、リファレンス画像Irefのカメラ座標系(X，Y，Z)と世界座標系(X_W，Y_W，Z_W)との位置関係は、図１３のようになる。すなわち、リファレンス画像Irefのカメラ座標系の原点は、世界座標系において次式(8)で与えられる。

次いで、以上の説明における基準平面Irefを前記主平面Pbとして、これに直行する前記副平面Psが存在する図１４のような撮影環境を考える。主平面Pbに対する平行化パラメータは次式(9)で与えられるものとする。

図１４に対して平行化パラメータRb^-1を用いて主平面Pbの平行化を行った際のカメラ座標系を図１５に示す。この状態のカメラ座標系に対して、図１６に示すように、X軸が副平面Psの平行線に合わさるように、カメラ座標系(X，Y，Z)をそのZ軸周りに−φ₃回転させる（-90°＜−φ₃≦90°）。

次いで、図１７に示すように、Z軸が副平面Psの法線に合わさるように、カメラ座標系(X，Y，Z)をそのX軸周りに-90°回転させる。これにより、カメラ座標系は図１８のようになり、副平面Psの平行化が達成できる。従って、副平面Psの平行化パラメータは次式(10)で定義できる

なお、主平面Pbと副平面Psとが直交ではない任意の角度θから構成される場合は、副平面Psの平行化パラメータの90°をその角度θに置き換えれば良い。

以上により、平面間の角度が既知の主平面Pbおよび副平面Psに対して、φ₁、φ₂およびφ₃の３パラメータにより平行化が行われる。リファレンス画像Iref、副平面平行化画像Isおよび主平面平行化画像Ibとの間には次式(11)，(12)の関係が成り立つ。図１９は、これらの関係を図示したものである。なお、X^r、X^b、X^sはそれぞれ、リファレンス画像のカメラ座標系、主平面Pbの平行化を行った際のカメラ座標系、副平面Psの平行化を行った際のカメラ座標系を表している。

非特許文献１によれば、平面に対して撮影された複数枚のカメラ画像を入力として、リファレンス画像Irefおよびそれ以外の各カメラ画像Ica間のホモグラフィ行列Hの集合から、リファレンス画像Irefを平行化画像へ変換する際に用いられる回転行列Rが求まる。

図２０は、カメラ画像Ica1，Ica2，Ica3の３枚のカメラ画像を入力として、カメラ画像Ica1をリファレンス画像Irefとした場合の平行化方法を示している。この場合、カメラ画像Ica1に対するカメラ画像Ica2，Ica3のホモグラフィ行列をそれぞれH₁₂およびH₁₃として、リファレンス画像Irefに対するホモグラフィ行列の集合{H₁₂、H₁₃}から、次式(13)の性質を満たす回転行列Rが求められる。

ホモグラフィ行列H1iに対し、コスト関数ei(R)とコストの総和e(R)を、それぞれ次式(14)，(15)で定義する。

回転行列Rを構成する２つのパラメータφ₁およびφ₂について、e(R)を最小にするφ₁，φ₂が最適化アルゴリズムにより求められる。この際、関数値のみから最適値を探索する滑降シンプレックス法を用いても良い。

本実施例では、最小化するコスト関数を平面毎に定義されるコスト関数の重み付き和で定義することにより、複数平面に対して定義される平行化パラメータφ₁，φ₂，φ₃が次式(16)により求められる。

なお、H^b _iおよびH^s _iはそれぞれ、前記図９に示されている主平面Pbおよび副平面Psに関するリファレンスホモグラフィ行列の各要素であり、α，βは重み係数である。この際、重み係数として平面毎のカメラ画像の枚数やリファレンスホモグラフィ行列の信頼度を用いることができる。

なお、上記の実施形態では、本発明を角度が既知の２平面への適用を例にして説明したが、本発明はこれのみに限定されるものではなく、３平面に関しても同様に適用できる。この際、最小化するコスト関数は３平面のコスト関数の和として定義される。

１…画像変換装置，２…データベース，３…ディスプレイ，１０…カメラ画像インタフェース，１１…特徴点検出部，１２…対応点検出部，１３…画像間ホモグラフィ行列計算部，１４…リファレンス画像選択部，１５…リファレンスホモグラフィ行列計算部，１６…平行化パラメータ計算部

Claims (15)

1. 主平面に対して任意の角度で撮影された複数のカメラ画像を、前記主平面および当該主平面に対して既知の角度を有する副平面の映ったカメラ画像に基づいて、前記主平面を垂直上方から撮影した平行化画像に変換する画像変換装置であって、
   各カメラ画像から特徴点を検出する特徴点検出手段と、
   各カメラ画像間で特徴点マッチングを実行して対応点を検出する対応点検出手段と、
   各カメラ画像間の対応点集合から、各主平面および各副平面に関して画像間ホモグラフィ行列を計算する画像間ホモグラフィ行列計算手段と、
   カメラ画像の集合から、前記各画像間ホモグラフィ行列の計算結果に基づいて、前記主平面および副平面の映ったリファレンス画像を選択するリファレンス画像選択手段と、
   前記各画像間ホモグラフィ行列に基づいて、各主平面および各副平面に関して前記リファレンス画像を各カメラ画像に変換するリファレンスホモグラフィ行列を計算するリファレンスホモグラフィ行列計算手段と、
   各カメラ画像の平行化パラメータを、当該カメラ画像のリファレンスホモグラフィ行列ならびに前記主平面および副平面の既知角度に基づいて計算する平行化パラメータ計算手段とを具備したことを特徴とする画像変換装置。
2. 前記画像間ホモグラフィ行列計算手段は、各平面をロバスト推定により判別することを特徴とする請求項１に記載の画像変換装置。
3. 前記画像間ホモグラフィ行列計算手段は、
   各カメラ画像間の対応点集合からホモグラフィ行列を計算し、インライア判定された対応点に基づいて主平面に関する画像間ホモグラフィ行列を計算する手段と、
   前記主平面に関する画像間ホモグラフィ行列の計算においてアウトライア判定された対応点に基づいて副平面に関する画像間ホモグラフィ行列を計算する手段とを含むことを特徴とする請求項１または２に記載の画像変換装置。
4. 前記リファレンス画像選択手段は、各平面において画像間ホモグラフィ行列の計算に用いられた対応点の個数を指標としてリファレンス画像を選択することを特徴とする請求項１ないし３のいずれかに記載の画像変換装置。
5. 前記リファレンスホモグラフィ行列計算手段は、前記各リファレンスホモグラフィ行列を、各カメラ画像をノード、各カメラ画像間のホモグラフィ行列をエッジとする双方向の有効グラフにおいて、リファレンス画像から各カメラ画像へ至る経路に紐つけられた各ホモグラフィ行列に基づいて計算することを特徴とする請求項１ないし４のいずれかに記載の画像変換装置。
6. 前記リファレンスホモグラフィ行列計算部は、前記有効グラフにおいてリファレンス画像から各カメラ画像へ至る経路が複数存在する場合には、複数の全ての経路についてリファレンスホモグラフィ行列を計算することを特徴とする請求項５に記載の画像変換装置。
7. 前記リファレンスホモグラフィ行列計算手段は、前記有効グラフにおいてリファレンス画像から各カメラ画像へ至る経路が複数存在する場合には、エッジの本数を指標として探索された経路についてのみリファレンスホモグラフィ行列を計算することを特徴とする請求項５に記載の画像変換装置。
8. 前記リファレンスホモグラフィ行列計算手段は、前記有効グラフにおいてリファレンス画像から各カメラ画像へ至る経路が複数存在する場合には、カメラ間の移動距離を指標として探索された経路についてのみリファレンスホモグラフィ行列を計算することを特徴とする請求項５に記載の画像変換装置。
9. 前記平行化パラメータ計算手段は、リファレンス画像を平行化画像に変換するホモグラフィ行列を計算することを特徴とする請求項１ないし８のいずれかに記載の画像変換装置。
10. 前記平行化パラメータ計算手段は、３次元の座標系における２軸の回転行列により定義される平行化パラメータを計算することを特徴とする請求項９に記載の画像変換装置。
11. 前記平行化パラメータ計算手段は、前記リファレンスホモグラフィ行列と平行化パラメータとで定義されるコスト関数を最小化することにより平行化パラメータを計算することを特徴とする請求項９に記載の画像変換装置。
12. 前記平行化パラメータ計算手段は、平行化パラメータおよびリファレンス画像をそれ以外のカメラ画像に変換するリファレンスホモグラフィ行列の積と、(1，1)成分および（2，2）成分に1を、(1，2)成分および（2，1）成分に0を有する行列との差分として定義されるコスト関数を最小化することにより平行化パラメータを推定することを特徴とする請求項１１に記載の画像変換装置。
13. 前記平行化パラメータ計算手段は、平面毎に定義されるコスト関数の重み付き和を最小化することにより平行化パラメータを推定することを特徴とする請求項１１に記載の画像変換装置。
14. 前記平行化パラメータ計算手段は、平面毎のカメラ画像の枚数に基づく値を係数として、平面毎に定義されるコスト関数の重み付き和を最小化することにより平行化パラメータを計算することを特徴とする請求項１１に記載の画像変換装置。
15. 前記平行化パラメータ推定手段は、平面毎のリファレンスホモグラフィ行列の信頼度に基づく値を係数として、平面毎に定義されるコスト関数の重み付き和を最小化することにより平行化パラメータを計算することを特徴とする請求項１１に記載の画像変換装置。