JP2004280728A

JP2004280728A - 画像合成装置及びカメラパラメータキャリブレーション用マーカー設定装置

Info

Publication number: JP2004280728A
Application number: JP2003074625A
Authority: JP
Inventors: Yasuki Hatao; 安紀幡生
Original assignee: LAB KK
Current assignee: LAB KK
Priority date: 2003-03-18
Filing date: 2003-03-18
Publication date: 2004-10-07

Abstract

【課題】建造物建設予定地の現場状況とは無関係に、カメラパラメータのキャリブレーション用の撮影環境を常に十分かつ容易に行うことができ、建造物建設予定地の背景画像と建造物ＣＧ画像を、違和感無く貼込合成する装置を提供する。
【解決手段】カメラパラメータキャリブレーションを実現するために、複数の基準マーカーと、該複数の基準マーカーを固定用ベースからの高さが可変となるように支持するマーカー支持部とから成る基準マーカーユニットと、基準マーカーの高さ調整の基準となる水平面を発生させる水平基準面発生装置９とを組み合わせる。いかなる現場状況にあっても、カメラパラメータのキャリブレーションに好都合な基準マーカーを直ちに用意でき、さらに決定されたカメラパラメータを用いて、カメラの視点から見た建造物ＣＧ二次元画像を得られる。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、建造物の建設予定地の建設背景画像と、建造物のＣＧ画像を貼込合成する画像合成装置に使用するカメラパラメータのキャリブレーション方法、及びそれに使用するカメラパラメータのキャリブレーション用の基準マーカーユニットに関する。
【０００２】
【従来の技術】
【０００３】
近年、建造物の設計分野において、建造物の建設予定地の背景画像に完成予定の建造物のＣＧ画像を合成することが行われている。この技術により、背景を含めた建造物のＣＧ画像を確認することができる。
【０００４】
しかし、背景を撮影したカメラの特性をＣＧ画像に反映させないと、合成した画像は、どうしても違和感のある画像になってしまう。そこで、実体空間の三次元座標とカメラ内のフレームの二次元座標との関係を特定するカメラパラメータを用いて、建造物ＣＧの三次元座標を、カメラフレームの二次元座標に変換する演算を行なう必要がある。
【０００５】
【発明が解決しようとする課題】
カメラパラメータは、背景を撮影するカメラの特性とセッティングに応じて固有に定まるものであり、一般には、背景撮影と同じ種類及びセッティング状態のカメラを用いて、実体空間内の三次元座標の位置が知れた基準体の撮影を行い、その基準体の三次元位置座標とカメラフレーム上の二次元位置座標とを用いて算出することになる。（これをカメラパラメータのキャリブレーションという）。
【０００６】
実際に背景画像と建造物ＣＧ画像の合成をするには、カメラパラメータのキャリブレーション用のデータ収集をする必要があり、また、建造物建設予定地の現場状況はケースによってまちまちであり、適当な基準体が見つからなかったり、見つかっても数が足りなかったりするなど、カメラパラメータのキャリブレーションを考慮した撮影環境が必ずしも整えられていない場合がある。カメラパラメータのキャリブレーションが正確に行われないと、背景画像と建造物ＣＧ画像との整合性がとれなく、違和感が出てしまう。
【０００７】
【課題を解決するための手段及び作用・効果】
上記の課題を解決するために、本発明は、
建造物の建設予定地の実写二次元画像を建設背景画像として、前記建造物のＣＧ画像を貼込合成する画像合成装置であって、
前記建設予定地が存在する撮影用実体空間内に定められた三次元座標を撮影用実体空間座標として、画像合成装置の貼込合成用静止画フレームの二次元座標と、前記撮影用実体空間座標との関係を表すカメラパラメータのキャリブレーションを行なうために、複数の基準マーカーの水平基準面からの高さが既知となるように支持した基準マーカーユニットを前記建設予定地に配置して、該基準マーカーユニットに取り付けられた前記基準マーカーをカメラ撮影して得られるキャリブレーション用画像の、フレーム上での各基準マーカーの二次元位置座標と、各基準マーカーの前記水平基準面からの高さと、前記建設予定地上での配置位置とを用いて予め特定されている、前記撮影用実体空間座標での各基準マーカーの三次元位置座標とを用いて、前記カメラパラメータのキャリブレーションを行なうカメラパラメータキャリブレーション手段と、
キャリブレーション済みの前記カメラパラメータを用い、予め作成された前記建造物のＣＧ画像の三次元画像データを、前記貼込合成用静止画フレーム上の建造物二次元画像データに変換する建造物ＣＧ画像二次元変換手段と、
カメラパラメータをキャリブレーション済みの前記カメラを用いて、前記建設予定地を撮影することにより得られる建設予定地実写二次元画像データに、前記建造物二次元画像データを貼込合成する貼込合成手段と、
を有することを特徴とする画像合成装置を提供する。
【０００８】
カメラパラメータキャリブレーションは、撮影用実体空間内に配置された複数の基準マーカーをカメラにより撮影し、その撮影により得られる二次元的なフレームマーカー位置座標と、三次元的な実体マーカー位置座標とを用いて行なう。上記本発明の画像合成装置においては、カメラパラメータキャリブレーションの機能を実現するための基準マーカーと、実体マーカー位置座標の高さ調節が可能な形でこれを固定するマーカー固定手段とからなる基準マーカーユニットを組み合わせた。さらに、水平基準面を設定し、基準マーカーとの高さ合わせをした。すなわち、いかなる状況にあっても、カメラパラメータのキャリブレーションに好都合な基準マーカーを直ちに用意でき、さらにマーカー固定手段により、実体マーカー位置座標が把握できる形でこれを実体空間内に固定することができる。こうして固定した基準マーカーを、背景撮影用のカメラにて撮影すれば、撮影により得られるキャリブレーション用画像のフレーム上に表れる各基準マーカーのフレームマーカー位置座標と、同じく実体マーカー位置座標とを用いてカメラパラメータのキャリブレーションを簡単かつ正確に行なうことができる。こうして得られたカメラパラメータを用いて、建造物のＣＧ画像の三次元画像データを二次元に変換すると、撮影カメラの視点から建造物を見たＣＧ画像が得られる。さらに、カメラパラメータのキャリブレーションを済ませたカメラで建設予定地の背景画像を撮り、二次元に変換された建造物のＣＧ画像と合成すると、設置したカメラからの視点で、背景と建設予定建造物を重ね合わせることができる。
【０００９】
複数の基準マーカーと、該複数の基準マーカーを固定用ベースからの高さが可変となるように支持するマーカー支持部とを有する基準マーカーユニットと、
所望の配置面上に配置された前記基準マーカーユニットの、前記基準マーカーの高さ調整の基準となる水平面を発生させる水平基準面発生装置と、
を備えたことを特徴とするカメラパラメータキャリブレーション用マーカー設定装置、
を用いて、前記カメラパラメータをキャリブレーションする。
【００１０】
本発明によると、基準マーカーユニットに使用するマーカー固定手段が、マーカー固定用ベースと、複数の基準マーカーを、各々マーカー固定用ベースの底面からの高さが変えられるようにマーカー固定用ベース上にて支持するマーカー支持体とからなる。このような基準マーカーユニットは、例えば水平または傾いた路面や地面、ないしはその上に置かれた基台などを基面として用い、撮影用実体空間の原点を（例えば基面上に）適当に定めた後、その基面上にマーカー固定用ベースを載置する。また、基準マーカーの座標を容易に特定するため、基準マーカーユニットは複数の基準マーカーを鉛直方向に配置し、かつ各マーカー間の間隔を予め決めておく。複数の基準マーカーの内、一つの基準マーカーの高さを、水平基準面発生装置を用いて決定すれば、のこりの基準マーカーの水平基準面からの高さも決定できる。さらに、マーカー固定用ベースの基面上の位置を、前記原点を基準として測定すれば、基準マーカーの水平基準面発生装置からの高さが決定されているので、基準マーカーの三次元座標は自動的に定まる。すなわち、マーカー固定用ベースの、基面上の設置位置を測定し、水平基準面発生装置からの高さを決定するだけで、全基準マーカーの実体マーカー位置座標を簡単に特定することができ、結果としてカメラパラメータのキャリブレーションを手軽に行なうことができる。
【００１１】
【発明の実施の形態】
図８は、本発明の画面合成装置の電気的構成を示す全体ブロック図である。画面合成装置は、大きく分けてＣＰＵ１９，ＲＯＭ２０，ＲＡＭ２１を有する本体１８と、モニター１６、プリンタ２７、記憶装置２７（例えばハードディスクドライブ）を備えている。ＲＡＭ２１は、カメラパラメータ演算メモリ２２、背景画像メモリ２３、ＣＧメモリ２４、画像合成メモリ２５から成る。記憶装置２７には、画像合成プログラム２８がインストールされている。建造物のＣＡＤデータベース２９、ＣＡＤデータを二次元座標に変換するＣＧ作成プログラム３０、カメラパラメータキャリブレーションを行なうための基準マーカー三次元座標３１、建造物建設予定地の背景画像データ３２、基準マーカーフレーム座標３３が記憶されている。また、Ｉ／Ｆボード２６を介してキーボード３７とマウス３８が接続されている。
【００１２】
傾斜した地面でもカメラパラメータのキャリブレーションを容易に行なうため、複数の基準マーカーが自動的に鉛直方向に向くようにした。そのために、図２に示すように複数の基準マーカーを可撓性線状体で吊るした基準マーカーユニットを作成した。この基準マーカーユニットは、基準マーカーの高さを変えられるように滑車３８を取り付けてある。
【００１３】
さらに、固定用ベースを設け、基準マーカーの高さ合わせをするようにした。さらに、その基準マーカーを、三角測量法を用いて位置測定し、高さを組み合わせることで、三次元座標を決定することができる。
【００１４】
固定ベースには、特開平５−３３２７７２などに記載されているような、ジャイロ機構により鉛直方向が保障された回転軸により回転可能に支持されたレーザー光源を有する水平基準面発生装置を置く。
【００１５】
図２は、基準マーカーにレーザー光反射鏡８を取り付け、レーザー光線を水平に反射できるようにした基準マーカーユニット１の例である。さらに、水平基準面発生装置９にレーザービーム受光機を設置し、図３のように、基準マーカーから反射されたレーザー光線を受光できるようにした。つまり、水平基準面発生装置が、反射されたレーザー光線を受光すれば、基準マーカーと水平基準面発生装置は水平位置にあることになり、基準マーカーの高さ合わせができたことになる。
【００１６】
図２に示すように、基準マーカーユニット１はマーカー固定用ベース３と、複数の基準マーカー５、６、７を、基準マーカーを鉛直方向に吊り下げるための可撓性線状体４と、レーザー光線を反射するためのレーザー反射鏡８と、基準マーカーの高さを調節するための滑車３８と、全体を支持するためのポール２とを有する。図３に示すように、水平基準面発生装置９を用いると、基面ＳＰが傾斜していても、レーザー光線１０による水平面が指定される。例えば、基準マーカー５のレーザー反射鏡８を用いて水平基準面発生装置９からのレーザー光線１０を反射させるように可撓性線状体４を使い、高さ調整をする。反射したレーザー光線は水平基準面発生装置９内のレーザー受信機によって受信され、水平面内に存在することが確認される。さらに、基準マーカー５の水平面内での位置を、三角測量法で確認すると、高さと組み合わせて、基準マーカー５の三次元空間座標が決定できる。基準マーカー６、７の高さは、それぞれ基準マーカー５からの高さが予め定められた値（ｄ１，ｄ１＋ｄ２）となるように設定されているので、高さ方向の座標は自動的に定まる。従って、基準マーカー５、６、７の三次元位置座標が簡単に特定できる。
【００１７】
また、図１２に示す基準マーカーユニット１’は、図２の基準マーカーユニット１と同じ機能を持つ。図１２の基準マーカーユニットは、基準マーカーを吊り下げるための可撓性線状体４に、マーカー位置決めターゲット３７を固定してあり、基準ユニットとの高さを予め決めてある。可撓性線状体４と滑車３８を使って、複数の基準マーカーとともに高さ調節が可能である。マーカー位置決めターゲット３７には、マーカー位置決め目盛り３７ａが形成されており、水平基準面発生装置からの高さを読み取ることができる。
【００１８】
図１３に示すように、基準マーカーユニット１’に固定されたマーカー位置決め目盛り３７ａを用いて、水平基準面発生装置からのレーザービームによって、高さを読み取ることができる。さらに、三角測量法を用いて基準マーカー５，６，７の位置を測定し、高さを組み合わせることで、三次元座標を決定することができる。
【００１９】
図４に示すように、基準マーカーユニット１に取り付けられた基準マーカー５、６、７は、背景を撮影する際に使用するのと同じカメラ１１により、同じアングルセッティングにより撮影される。各基準マーカーの実体マーカー位置座標は、上記のように特定でき、カメラ１１により撮影して得られるキャリブレーション用画像のフレーム上に表れる各基準マーカーのフレームマーカー位置座標と、前記実体マーカー位置座標とを用いて、カメラパラメータのキャリブレーションが行われる。なお、図４では基準マーカーユニット１を用いたが、基準マーカーユニット１’を用いても同様の効果が得られる。
【００２０】
図５のように、背景物体の、実体空間での三次元的配置状態をカメラにより撮影すると、カメラ座標系ではその座標は、カメラの結像光軸に対し垂直なフレーム平面への二次投影となって表れる。図５においては、カメラ光軸をカメラ座標系のＺ軸に合わせ、フレーム平面を、カメラ座標系のＸ−Ｙ平面（Ｚ＝０）に一致させている。この場合、基準マーカーのフレーム平面上への二次元投影は、元の実体空間内でのマーカーの三次元的配置を斜め方向から透視変換したものに相当し、三次元アフィン変換理論により、カメラパラメータは、下記（１）〜（３）式により与えられる。
【００２１】
【数１】

【００２２】
（Ｘｃ，Ｙｃ）はＺ＝０、つまりフレーム二次元座標に投影されたマーカー位置座標、すなわちフレームマーカー位置座標Ｐであり、Ｈｃはカメラ焦点距離ｆと実体マーカー位置座標ｐの高さ方向座標ｚとを用いて（２）式及び（３）式により与えられる。カメラパラメータは４行３列の行列であり、（１）式の左辺のフレームマーカー位置座標Ｐに関係した行ベクトルを＜Ｐ＞、同じく実体マーカー位置座標ｐに関係した右辺の行ベクトルを＜ｐ＞、カメラパラメータ行列を［Ｃ］にて表せば、（１）式は（１）’式のごとく簡単に表現される。また、（１）’式の両辺に右側から［Ｃ］の逆行列［Ｃ］^−１を乗ずると（１）”
式が得られる。建造物ＣＧを（１）’ 式を使って二次元座標に変換すると、カメラの視点から見たＣＧ画像を作成することができる。
【００２３】
次に（１）式を、カメラパラメータ行列［Ｃ］が未知である状態を前提に再考する。（４）式に示すように、ｎ個の複数の基準マーカー（実体マーカー位置座標：ｐ１，ｐ２，・・，ｐｎ）が実体空間上に配置され、（５）式に示すように、画像フレーム上にその投影点（フレームマーカー位置座標：Ｐ１，Ｐ２，・・，Ｐｎ）が表れているとすれば、そのうちの１個の基準マーカーについて知れている実態マーカー位置座標ｐｉ：（ｘｉ，ｙｉ，ｚｉ）と、フレームマーカー位置座標Ｐｉ：（Ｘｃｉ，Ｙｃｉ）とを（１）式に代入することにより、カメラパラメータ行列［Ｃ］の未知成分に関して、（６）式に示す２つの方程式が得られる。
【００２４】
【数２】

【００２５】
【数３】

【００２６】
（１）式に示すように、カメラパラメータ行列［Ｃ］は１２個の成分を含んでいるから、基準マーカー１個につき２つの方程式が得られるということは、同一平面上に存在しない６個の基準マーカーの実体マーカー位置座標ｐと、フレームマーカー位置座標Ｐとが与えられることにより、６×２＝１２個の方程式が得られる。従って、これらを連立して解くことにより、カメラパラメータ行列［Ｃ］の１２個の成分を一義的に定めることができる。この解は、カメラパラメータ行列［Ｃ］が定義される１２次元空間内にて、各方程式が規定する１２個の超平面が交わってできる交点座標により与えられる。
【００２７】
しかしながら、基準マーカー５、６，７の実体マーカー位置座標ｐとフレームマーカー位置座標Ｐとは、前者は実体空間内での測定により、後者は画像フレームでの測定によりそれぞれ決定されるものであるから、求まるカメラパラメータ行列［Ｃ］の成分もその測定誤差の影響を受ける。上記基準マーカーの数が、数学的に最小限の個数である６個に留められていると、その誤差の影響も当然大きくなる。従って、カメラパラメータの決定制度を向上させるには、６個を超える基準マーカーを用いる合理的な方法を考える必要がある。６個を超えるｎ個の基準マーカーを全て用いて（６）式による方程式を作ると、方程式数（２ｎ個）が未知数である［Ｃ］の成分数（１２個）を上回るから、カメラパラメータ行列［Ｃ］の解を数学的に厳密に決定することは不可能であるが、最小二乗法を用いた統計的な解の決定は依然可能である。具体的には、前述の１２次元空間内において、２ｎ個の方程式が与える各超平面からの距離が最小化される点を最小二乗法により求め、該点の１２次元座標値をカメラパラメータ行列［Ｃ］の成分として求めるのである。
【００２８】
（１）式においては、カメラパラメータ行列［Ｃ］の成分のうちＣ３４と、係数Ｈｃとが、いずれも実体マーカー位置座標系とフレームマーカー位置座標系との間の拡大・縮小を表すことが三次元アフィン変換理論によりわかっているので、その一方を定数として固定しても数学的には同値である。そこで、Ｃ３４を「１」とすれば、ｎ個の基準マーカーが与える前述の２ｎ個の方程式は未知数が１個減り、行列を用いて（７）式のように表すことができる。
【００２９】
【数４】

【００３０】
上記（７）式に表れる＜Ｃ＞はカメラパラメータベクトルであり、カメラパラメータ行列［Ｃ］の成分のうちＣ３４を除いた１１個を成分とする列ベクトルである。該カメラパラメータベクトル＜Ｃ＞を最小二乗解の意味で解くと、その解は下記（８）式を満足するものであることがわかっている。従って、該（８）式よりカメラパラメータベクトル＜Ｃ＞の各成分を決定することができ、ひいてはカメラパラメータ行列［Ｃ］を決定することができる。
【００３１】
【数５】

【００３２】
図４の実施形態では、３台の基準マーカーユニット１に各々３つの基準マーカー５，６，７を割り当て、合計９個の基準マーカーを配置できるようにしてある。また、図６の実施例は、４台の基準マーカーユニットにより合計８個の基準マーカーを配置した例である。図６は基準ユニット１のようにレーザー反射鏡を有する基準ユニットを用いたが、基準ユニット１’のようにスケールを用いた基準マーカーユニットを用いても同様の効果が得られる。
【００３３】
他方、図７に示すように、基準マーカーユニット１を基面ＳＰ上にて位置変更しながら、同じ基準マーカーユニット１の基準マーカーを同じカメラ１１により繰り返し撮影する方法を採用することができる。つまり、カメラ１１の仕様とアングルなどのセッティング条件が同じであれば、同じ基準マーカーユニット１を、基面ＳＰ上での位置を変えながら撮影することにより、撮影回数は増えるものの、複数の基準マーカーユニット１を一括セッティングして撮影した場合と同じ撮影情報が得られる。これにより、基準マーカーユニット１の数を減ずることができ、また、複数の基準マーカーユニット１間で影になって撮影できなくなる基準マーカー１が発生する不具合を、より効果的に防止することができる。
【００３４】
この場合も、基準マーカーユニットは、図４に示すものと同様のもの、すなわち、基準マーカーユニット１か、または基準マーカーユニット１’を用いることが望ましい。すなわち、高さ位置が異なる２以上の基準マーカーを有した基準マーカーユニット１または１’を、基面ＳＰ上にて同一直線上に存在しない３以上の位置間で変更しながら各基準マーカーの撮影を行なうことにより、キャリブレーションに必要な基準マーカー数を実質的に充足でき、マーカー支持体を繰り返し使うことで、その寸法ないし方向の狂いをより効果的に抑制することができる。図７においては、図２の基準マーカーユニット１を、基面ＳＰ上にて３角形状に配置された３つの固定位置間で順次位置変更しながら、撮影を行なう例を示している（工程１→工程２→工程３）。一箇所での撮影により、３つの基準マーカー５，６，７の位置情報が撮影できるから、３回の撮影で３×３＝９種類の基準マーカー５，６，７の位置情報が得られる。マーカー固定用ベース３、基準マーカー５，６，７及びマーカー支持体２は、例えば高分子材料の射出成形体として構成できる。なお、図７では基準マーカーユニット１を用いたが、基準マーカーユニット１’を用いても同様の効果が得られる。
【００３５】
以下、カメラパラメータのキャリブレーション処理の一例を、図９のフローチャートを用いて説明する。図４ないし図６に示すように、基準マーカーユニット１を用いて基準マーカー５，６，７の撮影を行い、その静止画のフレーム上にて各基準マーカーの重心位置を演算し、フレームマーカー位置座標（Ｘｃｉ，Ｙｃｉ）として確定する。また、基準マーカーユニット１毎に、各基準マーカー５，６，７の実体空間内での位置を実測することにより実体マーカー位置座標（ｘｉ，ｙｉ，ｚｉ）を求め、フレームマーカー位置座標（Ｘｃｉ，Ｙｃｉ）と対応付けて基準マーカー三次元座標３１、基準マーカーフレーム座標３３（図８）に記憶する。
【００３６】
次に、図９のＴ１において、予め入力してあるカメラ１１の焦点距離ｆの値を読み取り、Ｔ２で基準マーカーの番号ｉを１とし、Ｔ３でフレームマーカー位置座標Ｐｉ（Ｘｃｉ，Ｙｃｉ）を読み取る。Ｔ４では実体マーカー位置座標ｐｉ（ｘｉ，ｙｉ，ｚｉ）を読み取る。Ｔ５，Ｔ６では番号ｉをインクリメントしながらＴ３，Ｔ４の処理を繰り返し、全ての基準マーカーのフレームマーカー位置座標Ｐｉ及び実体マーカー位置座標ｐｉを読み出したらＴ７に進み、以下のカメラパラメータ演算処理に移る。
【００３７】
三次元アフィン変換を用いたカメラパラメータ演算処理自体はすでに周知であるので、詳細なアルゴリズムの説明は省略するが、概略は以下の通りである。すなわち、前記（７）式の行列Ａ、ベクトル＜Ｃ＞、Ｒを定義に従い演算・生成する。また、Ｔ８ではＡの転置行列ＡＴを演算・生成する（＜Ｃ＞に含まれるカメラパラメータ行列の要素は、この時点では未知数である）。そして、Ｔ９では、（８）式の左辺であるＡＴＡ＜Ｃ＞を演算する。さらに、Ｔ１０では、（８）式の右辺であるＡＴＲを演算する。そして、Ｔ１１に進み、ＡＴＡ＜Ｃ＞とＡＴＲとを比較することにより、カメラパラメータ行列の各要素を演算・決定する。
【００３８】
以下、建造物ＣＡＤデータの視覚化および二次元座標への変換について説明する。建造物のＣＡＤデータベースには、建造物のＣＧ画像データが三次元ＣＡＤデータの形で記憶されている。この三次元ＣＡＤデータは、図８のマウス３８又はキーボード３７を用いて、周知の三次元ＣＧ作成システムソフトにより作成・入力されたものである。データ形態は種々のものを採用でき、例えばＣＧ立体の頂点や球中心あるいは曲面のハンドリング点などの、幾何学的基準点の集合として入力できる。表示データは、それら基準点が規定する面のドット（画素）の集合体としてラスタライズされるものである。図１０は三次元ＣＡＤデータの例であり、頂点Ｐが幾何学的基準点に相当する。例えば、この三次元ＣＡＤデータの作図空間（ｘ’，ｙ’，ｚ’）を、図１１に示す建設予定地の実空間（ｘ，ｙ，ｚ）（３５）と一致させておけば、建設予定地上で仮想的に建造物を設計、作図する感覚で入力できる。
【００３９】
次に、図１１に示すように、出来上がったＣＧ画像１４の三次元座標（ｘ’，ｙ’，ｚ’）を、背景画像のカメラスクリーンに対応したモニター画面上の二次元座標系に、すでに得られているカメラパラメータ行列＜Ｃ＞を用いて（１）’式によりアフィン変換し、さらに背景画像と合成すればよい。
【００４０】
図１は、建造物のＣＧ画像１４と、カメラ撮影によって得た背景画像を合成した結果の例である。背景画像は、背景物１２，１３，１５から成る。この合成結果は、モニター１６に表示される。カメラパラメータのキャリブレーションが済んでいるので、建造物のＣＧ画像は、背景画像を撮ったカメラと同一の視点から見た状態になっており、違和感の無い合成画面になっている。
【図面の簡単な説明】
【図１】本発明の画像合成装置により、建造物のＣＧ画像と建造物建設予定地の背景画像を合成し、コンピュータのモニター画面で表示した例。
【図２】基準マーカーユニット１の具体例。
【図３】基準マーカーユニット１と水平基準面発生装置を用いて、基準マーカーの高さ調整をする説明図。
【図４】基準マーカーユニットを用いたカメラパラメータキャリブレーション処理の第一例を示す斜視図。
【図５】カメラ座標系と実体座標系との関係を示す説明図。
【図６】基準マーカーユニットを用いたカメラパラメータキャリブレーション処理の第二例を示す斜視図。
【図７】基準マーカーユニットを用いたカメラパラメータキャリブレーション処理の第三例を示す斜視図。
【図８】本発明の画像合成装置の、電気的構成を全体的に示すブロック図。
【図９】カメラパラメータの演算、決定の流れを示す説明図。
【図１０】建造物三次元ＣＡＤデータベースの具体例と、建造物ＣＧの斜視図。
【図１１】建造物三次元ＣＧ画像の作図空間を、建設予定地の実空間と一致させる図。
【図１２】基準マーカーユニット１’の具体例。
【図１３】基準マーカーユニット１’と水平基準面発生装置を用いて、基準マーカーの高さ読み取りをする説明図。
【符号の説明】
１基準マーカーユニット（レーザー反射鏡）
１’ 基準マーカーユニット（スケール）
４可撓性線状体
８レーザー光線反射鏡
９水平基準面発生装置
１０レーザービーム
１１カメラ
１４建造物のＣＧ画像
２１ＲＡＭ（カメラパラメータ演算メモリ、背景画像メモリ、ＣＧメモリ、画像合成メモリ）
２７記憶装置（画像合成プログラム、ＣＡＤデータベース、ＣＧ作成プログラム、基準マーカー三次元座標、背景画像データ、基準マーカーフレーム座標）
３７マーカー位置決め用ターゲット

Claims

建造物の建設予定地の実写二次元画像を建設背景画像として、前記建造物のＣＧ画像を貼込合成する画像合成装置であって、
前記建設予定地が存在する撮影用実体空間内に定められた三次元座標を撮影用実体空間座標として、画像合成装置の貼込合成用静止画フレームの二次元座標と、前記撮影用実体空間座標との関係を表すカメラパラメータのキャリブレーションを行なうために、複数の基準マーカーの水平基準面からの高さが既知となるように支持した基準マーカーユニットを前記建設予定地に配置して、該基準マーカーユニットに取り付けられた前記基準マーカーをカメラ撮影して得られるキャリブレーション用画像の、フレーム上での各基準マーカーの二次元位置座標と、各基準マーカーの前記水平基準面からの高さと、前記建設予定地上での配置位置とを用いて予め特定されている、前記撮影用実体空間座標での各基準マーカーの三次元位置座標とを用いて、前記カメラパラメータのキャリブレーションを行なうカメラパラメータキャリブレーション手段と、
キャリブレーション済みの前記カメラパラメータを用い、予め作成された前記建造物のＣＧ画像の三次元画像データを、前記貼込合成用静止画フレーム上の建造物二次元画像データに変換する建造物ＣＧ画像二次元変換手段と、
カメラパラメータをキャリブレーション済みの前記カメラを用いて、前記建設予定地を撮影することにより得られる建設予定地実写二次元画像データに、前記建造物二次元画像データを貼込合成する貼込合成手段と、
を有することを特徴とする画像合成装置。
複数の基準マーカーと、該複数の基準マーカーを固定用ベースからの高さが可変となるように支持するマーカー支持部とを有する基準マーカーユニットと、
所望の配置面上に配置された前記基準マーカーユニットの、前記基準マーカーの高さ調整の基準となる水平面を発生させる水平基準面発生装置と、
を備えたことを特徴とするカメラパラメータキャリブレーション用マーカー設定装置。
水平基準面発生装置は、ジャイロ機構により鉛直方向が保障された回転軸線周りに回転可能に支持されたレーザー光源と、前記レーザー光源を前記回転軸線周りに回転させる回転駆動部とを有し、鉛直方向回転軸線周りに回転する前記レーザー光源からのレーザービームにより前記水平面を発生させるものである請求項２記載のカメラパラメータキャリブレーション用マーカー設定装置。
水平基準面発生装置は、前記基準マーカーに取り付けられた反射体により反射される前記レーザービームの受光部を有する請求項３記載のカメラパラメータキャリブレーション用マーカー設定装置。
前記基準マーカーは、前記水平基準面発生装置からのレーザービームを水平方向に反射できるレーザービーム反射鏡を備えている請求項２記載のカメラパラメータキャリブレーション用マーカー設定装置。
前記基準マーカーユニットは、複数の基準マーカーを吊るすことにより鉛直線上に配置し、各マーカー間の間隔が予め決められている請求項２記載のカメラパラメータキャリブレーション用マーカー設定装置。
前記基準マーカーユニットは、複数の基準マーカーを、可撓性線状体を用いることにより、前記基準マーカーの高さを調整することのできる請求項２記載のカメラパラメータキャリブレーション用マーカー設定装置。
前記基準マーカーユニットは、前記基準マーカーとの高さ方向の相対的な位置関係が固定され、かつ該基準マーカーとともに一体的に昇降移動可能となるように前記マーカー支持部に取り付けられるとともに、前記レーザー光源からの前記レーザービームの照射を受けることにより、該レーザービームが規定する前記水平基準面と自身との前記高さ方向における相対位置を読み取り可能とされたマーカー位置決め用ターゲット部材を有する請求項３ないし７のいずれか１項に記載のマーカー設定装置。
前記マーカー位置決め用ターゲット部材には、前記水平基準面の相対的な照射位置を直読可能とするスケールが形成されている請求項８記載のマーカー設定装置。