JP2006338284A - 画像合成装置及び画像合成方法 - Google Patents

Abstract

【課題】撮影対象物を分割して撮影した拡大画像を合成して得られる撮影対象物の全体画像を高精細の画像とすることができるようにする。
【解決手段】全体正射投影手段１１により、画角を広げて撮影された傾きを持つ全体画像から得られる、全体画像の矩形４隅のピクセル座標である矩形情報と縦横寸法とに基づき、全体画像が正射投影され、位置検出手段１２により、画角を狭めて撮影された拡大画像の、全体画像上での位置が検出され、拡大正射投影手段１３により、その位置情報を元に拡大画像の傾きが検出され、その傾きに基づき拡大画像が正射投影され、合成手段１５により、位置情報を元に、拡大画像を合成して正射投影の全体画像が得られるようにした。
【選択図】図１

Description

本発明は、たとえばデジタルスチルカメラで撮影した複数枚の撮影画像を合成する画像合成装置及び画像合成方法に関する。

画像の合成においては、広域の画像上に画角の違う高解像度の映像を落とし込むことで行われる合成方法がある。この場合の入力条件としては、広域が撮影された画像の撮影条件が整っていること、極力高解像度の画像は同じ位置で撮影されていること等が上げられる。

このような画像の合成を行うものとして、特許文献１では、被検査物を複数に分割して撮像する撮像手段と、撮像手段により撮像された複数画像データに、該画像データの各々に対応する位置情報や撮影情報を画像データ付加情報として付加された画像データを記憶する画像データ記憶手段と、被検査物の所望の検査位置及びその周辺の複数の画像データとをつなぎ合わせ画像データとして表示する画像データ選択表示手段と、を備え、作業者が表示されたつなぎ合わせ画像データ上で構造物の劣化度合いを検査する構造物用検査装置を提案している。
特開平１１−１３２９６１号公報

ところが、上述した特許文献１に示されるものでは、複数の画像データをつなぎ合わせるための具体的な手段を備えていないため、撮影対象物を分割して撮影した拡大画像を合成して得られる撮影対象物の全体画像を高精細の画像とすることができないという問題があった。

本発明は、このような状況に鑑みてなされたものであり、上記問題点を解決することができる画像合成装置及び画像合成方法を提供することを目的とする。

本発明の画像合成装置は、撮影対象物を分割して撮影した拡大画像を合成して前記撮影対象物の全体画像を得る画像合成装置であって、画角を広げて撮影された傾きを持つ前記全体画像から得られる、全体画像の矩形４隅のピクセル座標である矩形情報と縦横寸法とに基づき、前記全体画像を正射投影する全体正射投影手段と、画角を狭めて撮影された前記拡大画像の、前記全体画像上での位置を検出する位置検出手段と、該位置検出手段にて検出された位置の情報である位置情報を元に前記拡大画像の傾きを検出し、その傾きに基づき前記拡大画像を正射投影する拡大正射投影手段と、前記位置情報を元に、前記拡大画像を合成して正射投影の前記全体合成画像を得る画像合成手段とを備えることを特徴とする。
また、前記全体正射投影手段は、前記全体画像の正射投影を、前記矩形情報と前記撮影対象物の縦横の寸法とを元に行い、前記位置検出手段は、前記拡大画像の、前記全体画像上での位置をテンプレートマッチングで取得し、前記拡大正射投影手段は、前記拡大画像の正射投影を、前記全体画像に対する前記拡大画像の寸法比を示すスケール情報と前記全体画像の矩形情報と縦横寸法とを元に行い、前記画像合成手段は、前記スケール情報を用いて前記拡大画像を合成するようにすることができる。
また、前記全体正射投影手段は、透視３点問題を利用し、前記矩形情報から撮影手段のレンズ中心を原点とした前記撮影対象物の壁面の３次元情報を取得し、前記位置検出手段は、前記拡大画像を、前記撮影手段のレンズ中心からの焦点距離情報を元に前記全体画像のスケールに合わせて縮小し、縮小した画像の全体画像上での位置を各画像のピクセル情報を検索して算出するようにすることができる。
また、前記位置検出手段は、前記拡大画像を、一定範囲内で移動及び／又は回転させ、併せてサイズ拡大又はサイズ縮小し、前記拡大画像と前記全体画像とのRGB値の二乗誤差が最小となる前記位置情報を得るようにすることができる。
また、前記全体画像と前記拡大画像の色成分分析を行い、前記拡大画像の色を前記全体画像の色にシフトさせる色補正手段を備えるようにすることができる。
本発明の画像合成方法は、撮影対象物を分割して撮影した拡大画像を合成して前記撮影対象物の全体画像を得る画像合成方法であって、画角を広げて撮影された傾きを持つ前記全体画像から得られる、全体画像の矩形４隅のピクセル座標である矩形情報と縦横寸法とに基づき、前記全体画像を正射投影し、画角を狭めて撮影された前記拡大画像の、前記全体画像上での位置を検出し、該位置検出手段にて検出された位置の情報である位置情報を元に前記拡大画像の傾きを検出し、その傾きに基づき前記拡大画像を正射投影し、前記位置情報を元に、前記拡大画像を合成して正射投影の前記全体合成画像を得ることを特徴とする。
また、前記全体画像の正射投影を、前記矩形情報と前記撮影対象物の縦横の寸法とを元に行い、前記拡大画像の、前記全体画像上での位置をテンプレートマッチングで取得し、前記拡大画像の正射投影を、前記全体画像に対する前記拡大画像の寸法比を示すスケール情報と前記全体画像の矩形情報と縦横寸法とを元に行い、前記スケール情報を用いて前記拡大画像を合成するようにすることができる。
また、透視３点問題を利用し、前記矩形情報から撮影手段のレンズ中心を原点とした前記撮影対象物の壁面の３次元情報を取得し、前記拡大画像を、前記撮影手段のレンズ中心からの焦点距離情報を元に前記全体画像のスケールに合わせて縮小し、縮小した画像の全体画像上での位置を各画像のピクセル情報を検索して算出するようにすることができる。
また、前記拡大画像を、一定範囲内で移動及び／又は回転させ、併せてサイズ拡大又はサイズ縮小し、前記拡大画像と前記全体画像とのRGB値の二乗誤差が最小となる前記位置情報を得るようにすることができる。
また、前記全体画像と前記拡大画像の色成分分析を行い、前記拡大画像の色を前記全体画像の色にシフトさせるようにすることができる。
本発明では、全体正射投影手段により、画角を広げて撮影された傾きを持つ全体画像から得られる、全体画像の矩形４隅のピクセル座標である矩形情報と縦横寸法とに基づき、全体画像が正射投影され、位置検出手段により、画角を狭めて撮影された拡大画像の、全体画像上での位置が検出され、拡大正射投影手段により、その位置情報を元に拡大画像の傾きが検出され、その傾きに基づき拡大画像が正射投影され、合成手段により、位置情報を元に、拡大画像を合成して正射投影の全体画像が得られる。

本発明によれば、全体正射投影手段により、画角を広げて撮影された傾きを持つ全体画像から得られる、全体画像の矩形４隅のピクセル座標である矩形情報と縦横寸法とに基づき、全体画像が正射投影され、位置検出手段により、画角を狭めて撮影された拡大画像の、全体画像上での位置が検出され、拡大正射投影手段により、その位置情報を元に拡大画像の傾きが検出され、その傾きに基づき拡大画像が正射投影され、合成手段により、位置情報を元に、拡大画像を合成して正射投影の全体画像が得られるようにしたので、撮影対象物を分割して撮影した拡大画像を合成して得られる撮影対象物の全体画像を高精細の画像とすることができる。

本実施形態では、全体正射投影手段により、画角を広げて撮影された傾きを持つ全体画像から得られる、全体画像の矩形４隅のピクセル座標である矩形情報と縦横寸法とに基づき、全体画像が正射投影され、位置検出手段により、画角を狭めて撮影された拡大画像の、全体画像上での位置が検出され、拡大正射投影手段により、その位置情報を元に拡大画像の傾きが検出され、拡大正射投影手段により、その傾きに基づき拡大画像が正射投影され、合成手段により、位置情報を元に、拡大画像を合成して正射投影の全体画像が得られるようにし、撮影対象物を分割して撮影した拡大画像を合成して得られる撮影対象物の全体画像を高精細の画像とするようにした。

以下、本発明の実施の形態について説明する。
図１は、本発明の画像合成装置の一実施形態を示すブロック図、図２〜図１０は、図１の画像合成装置による画像合成方法を説明するための図である。

図１に示すように、画像合成装置１０は、デジタルカメラ２０による、撮影対象物を分割して撮影した拡大画像を合成して撮影対象物の全体画像を得るものであり、全体正射投影手段１１、位置検出手段１２、拡大正射投影手段１３、色補正手段１４、合成手段１５を備えている。

全体正射投影手段１１は、画角を広げて撮影された傾きを持つ１枚の全体画像から得られる、全体画像の矩形４隅のピクセル座標である矩形情報と縦横寸法とに基づき、全体画像を正射投影する。また、全体正射投影手段１１は、全体画像の正射投影を、矩形情報と撮影対象物の縦横の寸法とを元に行う。また、全体正射投影手段１１は、透視３点問題を利用し、矩形情報からデジタルカメラ２０を原点とした撮影対象物の壁面の３次元情報を取得する。なお、全体正射投影手段１１による正射投影の詳細については、後述する。

位置検出手段１２は、画角を狭めて撮影されたｎ枚の拡大画像の、全体画像上での位置を検出する。また、位置検出手段１２は、拡大画像の、全体画像上での位置をテンプレートマッチングで取得する。また、位置検出手段１２は、拡大画像を、デジタルカメラ２０からの焦点距離情報を元に全体画像のスケールに合わせて縮小し、縮小した画像の全体画像上での位置を各画像のピクセル情報を検索して算出する。また、位置検出手段１２は、拡大画像を、一定範囲内で移動及び／又は回転させ、併せてサイズ拡大又はサイズと縮小し、拡大画像と全体画像との差が最小となる位置情報を得る。なお、位置検出手段１２による位置検出の詳細については、後述する。

拡大正射投影手段１３は、位置検出手段１２によって検出された位置情報を元に拡大画像の傾きを検出し、その傾きに基づき拡大画像を正射投影する。また、拡大正射投影手段１３は、全体画像に対する拡大画像のスケール情報を取得する。なお、拡大正射投影手段１３による正射投影の詳細については、後述する。

色補正手段１４は、全体画像と拡大画像の色成分分析を行い、拡大画像の色を全体画像の色にシフトさせる。なお、色補正手段１４による色補正の詳細については、後述する。

合成手段１５は、位置検出手段１２によって検出された位置情報を元に、拡大画像を合成して正射投影の全体画像を得る。

次に、画像合成方法の概要について説明する。
まず、デジタルカメラ２０により、図２（ａ）に示すような対象となる壁面を全体画像（１枚）と、図２（ｂ）（ｃ）に示すような拡大画像（ｎ枚）とを撮影し、入力画像とする。

ここで、デジタルカメラ２０での撮影には、次のような条件がある。
（撮影画像の前提条件）
１．撮影画像は、全体画像（１枚）、分割された拡大画像（ｎ枚）とも、同じ場所から撮影すること。
２．撮影画像は、全体画像（１枚）、分割された拡大画像（ｎ枚）とも、撮影時の焦点距離が全て既知であること。
３．全体画像中に含まれる矩形部位の実際の寸法が既知であること。
なお、最近のデジタルカメラ２０では、撮影画像ファイルに焦点距離情報が記録されているため、その撮影画像ファイルから焦点距離情報を取得するようにすればよい。

次いで、図２（ｄ）での全体画像中の矩形情報（ピクセル座標と実際の縦×横の寸法）を元に、図２（ｅ）のように正射投影する。この場合、透視３点問題を利用し、矩形情報からデジタルカメラ２０を原点とした壁面の３次元情報を取得すればよい。

次いで、図２（ｆ）に示すように、拡大画像の全体画像での位置を取得する。この場合、撮影した拡大画像の全体画像上での位置（ズレ）をテンプレートマッチングで取得することができる。

次いで、図２（ｇ）に示すように、図２（ｅ）での正射投影と、図２（ｆ）での拡大画像の位置合わせの結果を用いて拡大画像の正射投影を行い、拡大画像（高精細画像）上での全体画像に対する位置とスケール情報とを取得する。この場合、図２（ｆ）で取得した全体画像に対する各拡大画像のズレを基に、図２（ｅ）での３次元情報を用いて正射投影を行うことで、拡大画像上の全体画像での位置、実際の寸法を取得することができる。

正射投影方法は、次の通りである。
正射投影した画像を作成するために、壁面の直行する４隅の位置から、透視３点問題を使用して壁面の３次元座標を取得する。基準点を用いた立体認識の方法である透視３点問題では、画像中の点の３次元空間中の座標が既知の場合、それらの点を基準として用いることで、３次元データを再編成することができる場合がある。

そこで、本実施形態では、図３に示すように、壁面を斜めから撮影した画像から、視点Ｏと対象物体の３点Ａ，Ｂ，Ｃまでの距離ｌａ，ｌｂ，ｌｃを未知パラメータとして解き、視点Ｏの３次元座標と視線の方向とを求めるようにしている。

ただし、解を得るために、次の事柄が既知であるとした条件がある。
１．辺ＡＢ，ＢＣ，対角線ＣＡの長さ（直交する撮影壁面の寸法）
２．デジタルカメラ２０の焦点距離（画像面と視点Ｏの間の距離）
３．視点Ｏから△ＡＢＣの各辺を見込む角θａｂ，θｂｃ，θｃａ（これは、画像面の各点ａ，ｂ，ｃの座標を用い、余弦定理により算出可能）
上記の３点は、それぞれ既知であるため、３次元座標を取得することができる。

次に、壁面の３次元座標の算出方法について説明する。
図４に示すように、視点Ｏから対象物体の３点Ａ，Ｂ，Ｃまでの距離ｌａ，ｌｂ，ｌｃを未知数とする。ここで、対角線ＡＣ，ＢＤの交点をＰ、線分ＡＰ、ＣＰの長さをｌ、∠ＡＯＰ、∠ＣＯＰ、∠ＡＰＯをそれぞれα、β、γとすると、正弦定理により、ｌａ，ｌｃは数１のように表される。

ここで、数２の余弦定理を用いて、数３にてｌａを求めることができる。

このとき、視点Ｏと壁面の対角線間の角度α（∠ＡＯＰ）、β（∠ＣＯＰ）は画像上の矩形４隅のピクセル座標である矩形情報より、辺の長さｌは壁面の寸法から算出できる。以上の算出方法を用いて、各点Ａ，Ｃまでの距離ｌａ，ｌｃを求めることができ、点Ｂまでの距離ｌｂも同様の算出方法で求めることができる。

物体の各点Ａ，Ｂ，Ｃまでの距離ｌａ，ｌｂ，ｌｃが求められた後、視点Ｏから画像面上の各点ａ，ｂ，ｃまでの距離ｋａ，ｋｂ，ｋｃとの比と、各点ａ，ｂ，ｃの画像面の座標（ｘａ，ｙａ，ｚａ）、（ｘｂ，ｙｂ，ｚｂ）、（ｘｃ，ｙｃ，ｚｃ）から、数（座標）４を用いて視点Ｏを原点とした壁面の座標値を求める。

これらの３次元座標データを用いることで、正射投影することができる。
ただし、計算に使用した３点（Ａ，Ｂ，Ｃ）によっては、上記の数３のように、右辺の分母がゼロの場合やｌａ^２＜０という場合があり、正確な値を算出できない場合がある。

そこで、このような場合には、４点中別の３点の組み合わせ（たとえばＡ，Ｂ，Ｄ）を用いて再計算することにより、できる限り適切な解が算出されるようにすることができる。

ここで、画像の３次元座標を取得するための手順を、図５のフローにより説明する。
まず、画像上の矩形領域の座標から、画像上の矩形の中心座標を算出する（ステップＳ１）。

次いで、視点と画像上の矩形の中心座標、２点の矩形座標と実際の距離から、視点と、壁面上の２点の実際の距離を算出する（ステップＳ２）。

次いで、算出時に異常がある場合（ステップＳ３）、別の２点の組み合わせを選択し（ステップＳ４）、（ステップＳ２）に戻って実際の距離を算出する。これに対し、（ステップＳ３）において、異常がない場合、残り２点の組み合わせにて（ステップＳ２）と同様の処理を行い、実際の距離を算出する（ステップＳ５）。

次いで、算出時に異常がある場合（ステップＳ６）、２点の３次元座標をもとに、壁面の矩形が直角であることを利用して、残りの２点の３次元座標を算出する（ステップＳ７）。これに対し、（ステップＳ６）において、異常がない場合、算出した壁面上の距離と焦点距離をもとに、視点を原点とした壁面の４点の３次元座標を取得する（ステップＳ８）。

次に、拡大画像の全体画像での位置を取得する位置取得方法（テンプレートマッチング）について説明する。

まず、撮影した拡大画像を、焦点距離情報を元に全体画像のスケールに合わせて縮小させ、縮小させた画像の全体画像上での位置（ズレ）を、各画像のピクセル情報をサーチして算出する（テンプレートマッチング）。

テンプレートマッチングの手法は、次の通りである。
図６に示すように、全体画像Ｉ_２上で、拡大画像Ｉ_１を一定範囲で移動させ（移動量ｄ）、重なり部（Ｍ_２×Ｎ_２）において、数５により画素当たりの二乗誤差（Ｅ）を求める。Ｅが最も小さいときの移動量（ｄ）を、２つの画像の最適な位置とする。

ただし、次のような理由から、単純なＲＧＢ値どうしの判定では適切な解（位置）が算出できない場合がある。
１．撮影時の露出の違いなどにより、全体画像と拡大画像の同一箇所の色が違う。
２．前提条件として撮影位置は固定としているが、運用上カメラの原点がずれる場合があり、焦点距離情報に基づいた画像の縮小時に誤差が生じる（この状態は、図８（ａ）（ｂ）を参照）。

そこで、上記１．を解消するために、全体画像と拡大画像の色成分分析を行い、自動的に近い色に拡大画像をシフトさせる色補正処理を追加している。この場合の処理を、図７のフローにより説明する。

まず、拡大画像のＲＧＢ値の各平均値を算出する（ステップＳ１）。次いで、拡大画像エリアのバックグランド領域（全体画像のエリアの一部）のＲＧＢ値の平均値を算出する（ステップＳ２）。次いで、（ステップＳ１）での平均値と、（ステップＳ２）での平均値との差により、色差を抽出する（ステップＳ３）。そして、拡大画像の色差分だけＲＧＢ値をシフトさせる（ステップＳ４）。

また、上記２．を解消するために、テンプレートマッチング時にスケールの補正を考慮して、拡大画像を一定範囲内での移動、回転に加えて、サイズの変更（拡大、縮小）を行い、拡大画像と全体画像の差が最小のときを正解とする。

この場合の処理を、図９のフローにより説明する。
まず、探索範囲が設定されると、スケールを変えて二乗誤差を算出する（ステップＳ１）。次いで、ある位置での二乗誤差を求め（ステップＳ２）、ＲＧＢ値の二乗誤差を計算（回転も考慮）し（ステップＳ３）、拡大画像の矩形領域ピクセル数分繰り返す（ステップＳ４）。

ここで、探索範囲内のある位置での二乗誤差sDiffが最小二乗誤差minDiffより小さいか否かが判断され（ステップＳ５）、小さい場合には、minDiff＝sDiffとして位置を保存する（ステップＳ６）。そして、スケールの変更回数分二乗誤差の算出を繰り返し（ステップＳ７）、その算出を終えると二乗誤差の最小位置が決定される（ステップＳ８）。

次に、拡大画像の正射投影について説明する。
図１０は、図３で説明したデジタルカメラ２０を原点とする３次元座標と、図６で説明した全体画像に対する拡大画像のズレを元に、拡大画像の正射投影を行う場合を示している。

このような拡大画像の正射投影を行うことで、正射投影画像上で、全体画像に対する拡大画像の位置や、１ピクセル当たり何ｍｍに相当するのかを取得することができる。

このように、本実施形態では、全体正射投影手段１１により、画角を広げて撮影された傾きを持つ全体画像から得られる、全体画像の矩形４隅のピクセル座標である矩形情報と縦横寸法とに基づき、全体画像が正射投影され、位置検出手段１２により、画角を狭めて撮影された拡大画像の、全体画像上での位置が検出され、拡大正射投影手段１３により、その位置情報を元に拡大画像の傾きが検出され、その傾きに基づき拡大画像が正射投影され、合成手段１５により、位置情報を元に、拡大画像を合成して正射投影の全体画像が得られるようにしたので、撮影対象物を分割して撮影した拡大画像を合成して得られる撮影対象物の全体画像を高精細の画像とすることができる。

ちなみに、横方向のみ及び縦方向のみのパノラマ合成をサポートするアプリケーションは世の中に数多く存在している。また、正射投影をパンアップ、パンダウン（上下方向のパンニング）のみサポートしたアプリケーションも存在している。画角領域を制限した複数画像の合成を実現しているアプリケーションも存在している。

これに対し、本実施形態でのアルゴリズムの複合体は、横方向と縦方向の両者のパノラマ合成を同時に実現し（撮影機材の傾き補正＋透視３点問題と分割合成のアルゴリズムにて解決）、同様に上パン、下パンのミックスされた画像の正射投影を実現している点で、従来の合成手法とは異なっている。

また、本実施形態での合成手法は、撮影条件や入力条件も、レンズ長と矩形領域情報の入力のみであり、このような制限された入力条件の少ない状況で、他のアプリケーションで実現し得ない解を得ることができる点でユニークであり、とくにカメラ撮影時の色誤差、撮影位置の誤差を補正する処理がユニークである。

なお、本実施形態で採用したアルゴリズムそのものは一般的なものであると通常は解釈されるであろうが、たとえばコンクリート壁面の劣化診断に応用されているケースは少なく、解を求めるツールとして極めて有効である。

なお、応用例としては、高解像度エリアマップの作成に適用できる。
すなわち、現状では広域のマップを高解像度で生成することはできないが、本手法の応用で、高い解像度での広域のエリアマップを生成することが可能となる。また、傾き・画角補正のアルゴリズムが入っていることでヘリコプター等での空撮にも対応可能である。

また、画像を用いた多重解像度の３次元モデル空間の作成に適用できる。
すなわち、実際に撮影した画像を用いた３次元モデル空間の作成は非常に面倒で時間のかかる作業となっている。簡単に３次元モデル空間の作成を謳うソフトウェアでも、いくつかのユーザによる処理が必要となる。

この場合、本手法を応用し、予めサイズを定めた矩形マーカを、たとえば室内の各面に貼り、デジタル画像で撮影することで、自動でマーカを認識し、室内の３次元モデル空間を作成することができる。

さらに、室内の各面の拡大画像を撮影し、本手法を用いて位置認識させることで、より高解像度のテクスチャを作成することができる。

また、ＤＶカメラを用いた壁面画像の作成に適用できる。
すなわち、本手法のアルゴリズムを用いることで、ＤＶカメラで撮影した動画を元に大きな壁面の高精細画像を作成することができる。撮影する動画は、対象壁面全体と、そこからズームした壁面の拡大映像が連続して撮影されているものとする。本手法のアルゴリズムを用いて、まず全体画像を正射投影し、その後、ズームした画像の全体画像からの位置を検出、正射投影することで、連続した動画から、高精細な壁面の画像を生成することができる。これにより、現場での撮影作業は、通常のデジタルスチルカメラを用いた場合より容易に行うことができる。

本発明の画像合成装置の一実施形態を示すブロック図である。 図１の画像合成装置による画像合成方法を説明するための図である。 図１の画像合成装置による画像合成方法を説明するための図である。 図１の画像合成装置による画像合成方法を説明するための図である。 図１の画像合成装置による画像合成方法を説明するためのフローチャートである。 図１の画像合成装置による画像合成方法を説明するための図である。 図１の画像合成装置による画像合成方法を説明するためのフローチャートである。 図１の画像合成装置による画像合成方法を説明するための図である。 図１の画像合成装置による画像合成方法を説明するためのフローチャートである。 図１の画像合成装置による画像合成方法を説明するための図である。

符号の説明

１０ 画像合成装置
１１ 全体正射投影手段
１２ 位置検出手段
１３ 拡大正射投影手段
１４ 色補正手段
１５ 合成手段
２０ デジタルカメラ（撮影手段）

Claims (10)

1. 撮影対象物を分割して撮影した拡大画像を合成して前記撮影対象物の全体画像を得る画像合成装置であって、
   画角を広げて撮影された傾きを持つ前記全体画像から得られる、全体画像の矩形４隅のピクセル座標である矩形情報と縦横寸法とに基づき、前記全体画像を正射投影する全体正射投影手段と、
   画角を狭めて撮影された前記拡大画像の、前記全体画像上での位置を検出する位置検出手段と、
   該位置検出手段にて検出された位置の情報である位置情報を元に前記拡大画像の傾きを検出し、その傾きに基づき前記拡大画像を正射投影する拡大正射投影手段と、
   前記位置情報を元に、前記拡大画像を合成して正射投影の全体合成画像を得る画像合成手段とを備える
   ことを特徴とする画像合成装置。
2. 前記全体正射投影手段は、前記全体画像の正射投影を、前記矩形情報と前記撮影対象物の縦横の寸法とを元に行い、
   前記位置検出手段は、前記拡大画像の、前記全体画像上での位置をテンプレートマッチングで取得し、
   前記拡大正射投影手段は、前記拡大画像の正射投影を、前記全体画像に対する前記拡大画像の寸法比を示すスケール情報と前記全体画像の矩形情報と縦横寸法とを元に行い、
   前記画像合成手段は、前記スケール情報を用いて前記拡大画像を合成する
   ことを特徴とする請求項１に記載の画像合成装置。
3. 前記全体正射投影手段は、透視３点問題を利用し、前記矩形情報から撮影手段のレンズ中心を原点とした前記撮影対象物の壁面の３次元情報を取得し、
   前記位置検出手段は、前記拡大画像を、前記撮影手段のレンズ中心からの焦点距離情報を元に前記全体画像のスケールに合わせて縮小し、縮小した画像の全体画像上での位置を各画像のピクセル情報を検索して算出する
   ことを特徴とする請求項１又は２に記載の画像合成装置。
4. 前記位置検出手段は、前記拡大画像を、一定範囲内で移動及び／又は回転させ、併せてサイズ拡大又はサイズ縮小し、前記拡大画像と前記全体画像とのRGB値の二乗誤差が最小となる前記位置情報を得ることを特徴とする請求項１〜３のいずれかに記載の画像合成装置。
5. 前記全体画像と前記拡大画像の色成分分析を行い、前記拡大画像の色を前記全体画像の色にシフトさせる色補正手段を備えることを特徴とする請求項１〜４のいずれかに記載の画像合成装置。
6. 撮影対象物を分割して撮影した拡大画像を合成して前記撮影対象物の全体画像を得る画像合成方法であって、
   画角を広げて撮影された傾きを持つ前記全体画像から得られる、全体画像の矩形４隅のピクセル座標である矩形情報と縦横寸法とに基づき、前記全体画像を正射投影し、
   画角を狭めて撮影された前記拡大画像の、前記全体画像上での位置を検出し、
   該位置検出手段にて検出された位置の情報である位置情報を元に前記拡大画像の傾きを検出し、その傾きに基づき前記拡大画像を正射投影し、
   前記位置情報を元に、前記拡大画像を合成して正射投影の前記全体合成画像を得る
   ことを特徴とする画像合成方法。
7. 前記全体画像の正射投影を、前記矩形情報と前記撮影対象物の縦横の寸法とを元に行い、
   前記拡大画像の、前記全体画像上での位置をテンプレートマッチングで取得し、
   前記拡大画像の正射投影を、前記全体画像に対する前記拡大画像の寸法比を示すスケール情報と前記全体画像の矩形情報と縦横寸法とを元に行い、
   前記スケール情報を用いて前記拡大画像を合成する
   ことを特徴とする請求項６に記載の画像合成方法。
8. 透視３点問題を利用し、前記矩形情報から撮影手段のレンズ中心を原点とした前記撮影対象物の壁面の３次元情報を取得し、
   前記拡大画像を、前記撮影手段のレンズ中心からの焦点距離情報を元に前記全体画像のスケールに合わせて縮小し、縮小した画像の全体画像上での位置を各画像のピクセル情報を検索して算出する
   ことを特徴とする請求項６又は７に記載の画像合成装方法。
9. 前記拡大画像を、一定範囲内で移動及び／又は回転させ、併せてサイズ拡大又はサイズ縮小し、前記拡大画像と前記全体画像とのRGB値の二乗誤差が最小となる前記位置情報を得ることを特徴とする請求項６〜８のいずれかに記載の画像合成装方法。
10. 前記全体画像と前記拡大画像の色成分分析を行い、前記拡大画像の色を前記全体画像の色にシフトさせることを特徴とする請求項６〜９のいずれかに記載の画像合成方法。