JP2005122315A - ３ｄｃｇ合成装置 - Google Patents

Abstract

【課題】 煩雑な手作業などを必要とすることなく、動画映像中に正確な位置で３ＤＣＧを動画映像に合成する。
【解決手段】 一次映像記憶部１０１に記憶されたカメラ映像の各フレーム画像のカメラ位置及び方向を自動的に求めるカメラベクトル検出部１０２と、求められたカメラ位置及び方向を各フレーム画像に対応付けて記憶する二次映像記憶部１０３と、３ＤＣＧ生成部１０４で生成された３ＤＣＧを二次映像のカメラ位置と方向を既知として二次映像に投影し、二次映像内における３ＤＣＧの目的の位置と方向を設定する３ＤＣＧ二次元投影合成部１０５と、３ＤＣＧが投影された二次映像内の投影面領域の二次元座標を決定する投影面領域決定部１０６と、二次元投影面領域に対応する三次元座標を求める投影面三次元計測部１０７と、カメラ位置及び方向から見た二次映像及び３ＤＣＧの前後関係を画素単位で決定する前後関係決定部１０８を備える。
【選択図】 図１

Description

本発明は、カメラで取得された映像と３ＤＣＧ（三次元コンピュータグラフィックス）を合成して表示する３ＤＣＧ合成装置に関する。
特に、本発明は、煩雑な手作業などを必要とすることなく、正確な位置で動画映像中に３ＤＣＧを動画映像にはめ込むことができる３ＤＣＧ合成装置に関する。

一般に、通常のカメラで撮影された映像に、コンピュータで生成した３ＤＣＧ（三次元コンピュータグラフィックス）を合成する技術が知られている。
この種の３ＤＣＧ合成技術は、例えば、車載カメラや撮影者が持つカメラ等の移動するカメラにより撮影された実写映像と３ＤＣＧを合成するもので、テレビ放送や映画，コンピュータゲームなどの映像表現の分野で用いられている（例えば、特許文献１−４参照。）。

特開平０７−２８７７７５号公報 特開平０９−０５０５４０号公報 特開平１０−３２０５９０号公報 特開２００１−２０２５３１号公報

しかしながら、従来の３ＤＣＧ合成は、合成作業を行う者が、３ＤＣＧをはめ込む実写映像中に合成場所を手作業で指定する必要があった。
また、映像を取得するカメラは、その移動が予めプログラムされたものでなければ映像中に３ＤＣＧを矛盾なく正しい位置に合成することはできなかった。
すなわち、従来の３ＤＣＧ合成技術は、細かい条件等を与える手作業部分が多い上に、決められた条件内でしか３ＤＣＧ合成ができず、極めて制約，制限の多い技術であった。
このため、例えば車載カメラのように移動するカメラについては、カメラの座標を前もって計測しておくことなく、任意に移動し、しかも、不規則に揺れるカメラで取得される動画映像と３ＤＣＧを合成することは不可能であった。

そこで、本願発明者は、鋭意研究の結果、動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、さらに、各フレーム間で特徴点を自動追跡し、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることにより、得られたカメラ位置情報に基づき、容易かつ正確に、矛盾のない３ＤＣＧ合成処理を実現し得ることに想到した。

すなわち、本発明は、従来の技術が有する問題を解決するために提案されたものであり、動画映像から高精度なカメラベクトルを自動的に抽出し、そのカメラベクトルに基づいて正確なカメラ位置とカメラ方向を求めることにより、煩雑な手作業などを必要とすることなく、動画映像中に正確な位置で３ＤＣＧを動画映像にはめ込むことができ、任意に移動するカメラで撮影した不規則に揺れる動画映像であっても、位置が正確に合致するように３ＤＣＧを合成することができる３ＤＣＧ合成装置の提供を目的とする。
また、本発明は、動画映像と３ＤＣＧを合成する段階で、合成要素の種類の組み合わせを変えることにより、また、対象物の種類の組み合わせを変えることにより、あるいは、実写映像と３ＤＣＧの明るさの比率により、完全な３ＤＣＧのみの表示から、実写映像のみの表示まで、その中間段階の様々な合成を実現することができる３ＤＣＧ合成装置の提供を目的とする。

上記目的を達成するため、本発明の３ＤＣＧ合成装置は、請求項１に記載するように、任意に移動可能なカメラによって撮影された動画映像を一次映像として記憶する一次映像記憶部と、前記一次映像記憶部の動画映像から、動画の各フレーム画像における撮影時のカメラ位置及びカメラ方向を自動的に求めるカメラベクトル検出部と、前記カメラベクトル検出部で求められたカメラ位置及びカメラ方向を各フレーム画像に対応付けて二次映像として記憶する二次映像記憶部と、前記二次映像に合成するための３ＤＣＧを生成する３ＤＣＧ生成部と、前記３ＤＣＧを、前記カメラベクトル検出部で求められた二次映像のカメラ位置とカメラ方向を既知情報として、各フレーム画像に対応した二次元座標面に、各二次元画素が三次元座標情報を保持したまま、各フレーム画像に対応した各カメラ位置とカメラ方向から見た二次元映像として投影し、各フレーム画像毎に、前記二次映像とスケールを合わせ、二次映像内における３ＤＣＧの目的の位置と方向を設定する３ＤＣＧ二次元投影合成部と、前記３ＤＣＧが投影された二次映像内の二次元投影面領域の二次元座標を各フレーム画像毎に決定する投影面領域決定部と、前記二次元投影面領域に対応する各フレーム画像の三次元座標を求める投影面三次元計測部と、前記二次元投影面領域に対応する３ＤＣＧの三次元座標と、前記二次映像における当該二次元投影面領域の三次元座標を各フレーム画像毎に比較し、各フレーム画像に対応した各カメラ位置とカメラ方向から見た前後関係を求め、二次映像及び３ＤＣＧの前後関係を当該３ＤＣＧが投影された二次元映像の画素単位で決定する前後関係決定部と、前後関係が決定された二次映像と３ＤＣＧを、各フレーム毎に合成して記録する合成映像記録ファイル部と、観察する映像の種類、合成する３ＤＣＧの種類、観察者の仮想位置である仮想カメラの三次元位置と回転角、視点及び視点の移動方向、進行方向、速度等の各項目のうち、少なくともいずれか一つを指定する仮想カメラ視点指示部と、前記仮想カメラ視点指示部で指定された映像を指定された態様で表示する視点選択映像表示部と、を備える構成としてある。

また、本発明の３ＤＣＧ合成装置は、請求項２に記載するように、前記合成映像記録ファイル部が、３ＤＣＧと二次映像の合成結果を保存する際に、３ＤＣＧを各フレームのカメラ位置からの二次元画像として、二次映像に貼り付けて保存する構成としてある。

また、本発明の３ＤＣＧ合成装置は、請求項３に記載するように、移動する３ＤＣＧを所望の二次映像にリアルタイムで合成処理するリアルタイム３ＤＣＧ処理部を備えた構成としてある。

また、本発明の３ＤＣＧ合成装置は、請求項４に記載するように、前記カメラベクトル検出部が、前記一次映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、前記特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡してフレーム画像間での対応関係を求める特徴点対応処理部と、前記特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求め、当該三次元位置座標から、各フレーム画像に対応したカメラ位置とカメラ方向を示すカメラベクトルを求めるカメラ位置３Ｄ座標演算部と、前記カメラ位置３Ｄ座標演算部において求められる複数のカメラベクトルの解の分布を最小になるように統計処理し、誤差の最小化処理を施したカメラベクトルからカメラ位置とカメラ方向を自動的に決定する誤差最小化部と、を備える構成としてある。

また、本発明の３ＤＣＧ合成装置は、請求項５に記載するように、前記カメラ位置３Ｄ座標演算部が、カメラベクトル演算に用いる任意の二つのフレーム画像Fｎ及びFｎ＋ｍ（ｍ＝フレーム間隔）を単位画像として、所望の特徴点の三次元位置座標とカメラベクトルを求める単位演算を繰り返し、前記二つのフレーム画像Fｎ及びFｎ＋ｍの間のフレーム画像については、簡素化した演算によりカメラベクトルを求め、前記誤差最小化部は、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定する構成としてある。

また、本発明の３ＤＣＧ合成装置は、請求項６に記載するように、前記カメラ位置３Ｄ座標演算部が、前記フレーム間隔ｍを、カメラから特徴点までの距離に応じて、カメラから特徴点までの距離が大きいほどｍが大きくなるように設定して単位演算を行う構成としてある。

また、本発明の３ＤＣＧ合成装置は、請求項７に記載するように、前記カメラ位置３Ｄ座標演算部が、求められたカメラベクトルの誤差の分布が大きい特徴点を削除し、必要が有れば、他の特徴点に基づいてカメラベクトルの再演算を行い、カメラベクトル演算の精度を上げる構成としてある。

また、本発明の３ＤＣＧ合成装置は、請求項８に記載するように、前記カメラ位置３Ｄ座標演算部が、所望の精度となる最低数のフレーム画像と、自動抽出した最低数の特徴点に基づいて演算を行い、カメラベクトルの概略値をリアルタイムで求めて表示し、画像の進行により画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させて、より精度の高いカメラベクトル演算を行い、カメラベクトルの概略値を精度の高いカメラベクトル値に置き換えて表示する構成としてある。

また、本発明の３ＤＣＧ合成装置は、請求項９に記載するように、前記一次映像記憶部からカメラベクトル検出部に出力される一次映像が、３６０度全周画像からなる構成としてある。
また、本発明の３ＤＣＧ合成装置は、請求項１０に記載するように、前記一次映像記憶部からカメラベクトル検出部に出力される一次映像が、カメラ映像を所定の目的平面に変換した平面変換画像からなる構成とすることもできる。

また、本発明の３ＤＣＧ合成装置は、請求項１１に記載するように、前記カメラベクトル検出部で求められるカメラ位置とカメラ方向から、各フレーム画像のカメラ回転に起因する揺れを補正した補正信号を生成し、前記一次映像記憶部に記憶された映像を補正処理し、カメラ位置及び補正されたカメラ方向の情報とともに前記二次映像記憶部に出力する画像前処理部を備えた構成としてある。

さらに、本発明の３ＤＣＧ合成装置は、請求項１２に記載するように、前記一次映像記憶部が、全周囲実写映像、若しくは広角実写画像を全周囲実写映像の一部分として記録した全周囲実写映像記録部を備え、前記３ＤＣＧ生成部が、３Ｄ地図を構成する基本となる地球座標面を生成する3DCG基準面構成部と、予想される３ＤＣＧ部品を保存した３ＤＣＧデータベース部とを備え、前記３ＤＣＧ二次元投影合成部が、前記全周囲実写映像に含まれる目的の対象物に着目し、全周囲実写映像内の目的の対象物と再構成すべき３ＤＣＧとの形状及びスケールを三次元的に合わせる再構成作業と、実写映像内の必要部分のみの３ＤＣＧの再構成作業を行う平面変換画像上での３ＤＣＧ再構成部と、再構成された３ＤＣＧを決定し、データとして取り込む再構成３ＤＣＧ部と、全周囲実写映像内の対象物で、再構成した３ＤＣＧに含まれる部分を映像から削除して表示するために、又は切り取った映像を背景と分離して表示するために、表示の必要に応じて前記全周囲実写映像から特定の対象物を分離しておく切り取り分離作業部と、前記カメラベクトル検出部において求められた実写映像のカメラ位置座標を取得し、そのカメラ座標に対応して３ＤＣＧを移動することで、３ＤＣＧと映像との位置関係を保ち、場所を移動しながら作業を繰り返す繰り返し作業部とを備え、前記合成映像記録ファイル部が、前記繰り返し作業部の作業により、３ＤＣＧと全周囲実写映像との合成した結果を保存する合成映像データベース部を備え、前記仮想カメラ視点指示部が、元画像の全周囲実写映像と３ＤＣＧを選択し、それらの組み合わせを指定する合成要素選択指定部を備え、前記視点選択映像表示部が、３ＤＣＧと全周囲実写映像との合成映像を自由視点で表示する自由視点表示部を備えた、映像と3DCGのハイブリッド合成装置からなる構成としてある。

また、請求項１３に記載するように、前記映像と３ＤＣＧのハイブリッド合成装置は、全周囲実写映像が含んでいる揺れ等を補正処理して画像として安定化させる画像安定化装置を備えた構成としてある。

以上のような本発明の３ＤＣＧ合成装置によれば、任意のカメラで撮影される動画映像の複数のフレーム画像から、充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算してカメラ位置とカメラ方向（カメラ回転角）を高精度に求めることができる。
そして、得られたカメラ位置とカメラ方向に基づいて、３ＤＣＧをはめ込むべき映像内の目的の位置と方向を、矛盾無く高精度かつ自動的に決定することができる。
また、動画映像と３ＤＣＧを合成する段階で、合成要素の種類の組み合わせや、対象物の種類の組み合わせを変えることができ、また、実写映像と３ＤＣＧの明るさの比率に対応して、完全な３ＤＣＧのみの表示から、実写映像のみの表示まで、その中間段階の様々な合成表示を得ることができる。
さらに、高精度なカメラ位置情報に基づいて画像補正を行うことにより、カメラの３軸方向の回転成分による歪みについても補正することができ、カメラの揺れに起因するブレを補正した安定化画像に３ＤＣＧを合成することができる。

これにより、例えば車載カメラのように任意に移動するカメラで撮影された不規則に揺れる動画映像であっても、補正処理された映像内に、３ＤＣＧを矛盾なく位置が正確に合致するようにはめ込むことができ、さらに、それを広い範囲から観察，表示することができる。
このようにして、本発明では、作業者による煩雑な手作業などを必要とすることなく、三次元的に正しい位置関係で、動画映像と３ＤＣＧを容易かつ正確に合成することができ、矛盾のない動画映像として自由に表現することができる。

以下、本発明に係る３ＤＣＧ合成装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の３ＤＣＧ合成装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、特徴点の自動抽出，抽出した特徴点の自動追跡，特徴点の三次元座標の算出，カメラベクトルの演算等を行わせる。このように、本発明の３ＤＣＧ合成装置における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現されるようになっている。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ、その他、コンピュータで読取り可能な任意の記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

［第一実施形態］
まず、図１を参照して、本発明に係る３ＤＣＧ合成装置の第一実施形態について説明する。
図１は、本発明の第一実施形態に係る３ＤＣＧ合成装置の概略構成を示すブロック図である。
同図に示す本実施形態に係る３ＤＣＧ合成装置１００は、カメラ位置とカメラ方向を各フレーム画像から演算で求めることで、合成すべき３ＤＣＧの視点を各フレーム毎に決定する。さらに、映像と３ＤＣＧの合成時には、取得映像と３ＤＣＧとの間で前後関係を決定し、映像として矛盾のないように表示する。

車載カメラ等で撮影される実写映像は二次元画像であり、そのカメラ映像に合成すべき３ＤＣＧは三次元画像である。従って、カメラ映像と３ＤＣＧの合成は、実写映像の二次元画像上に、三次元画像である３ＤＣＧを二次元に投影するものであり、二次元画像同士の画像合成であり、合成された画像は二次元画像として観察されることになる。
そして、３ＤＣＧをカメラ映像内の正しい位置に合成するには、カメラ映像と３ＤＣＧのそれぞれが、前後関係を示す三次元情報を持ってなければならない。

ここで、カメラ映像と合成する３ＤＣＧの前後関係とは、カメラ映像と３ＤＣＧのどちらが観察者から見て近い位置にあるかの関係であり、その位置関係により、カメラ映像と３ＤＣＧのそれぞれの見え方と隠れ方が異なるものである。
例えば、街の風景を撮影した実写映像中の歩道上に置物の３ＤＣＧを置く場合、その置物の３ＤＣＧは、道路側から歩道を向いている観察者から見ると、背後にあるビル面よりは前に位置し、かつ、歩道と道路の間にある街路樹よりは後に位置することになる。従って、その置物の３ＤＣＧは、ビル面を隠すように表示され、かつ、置物の一部が街路樹によって隠れるように表示されなければならない。このような３ＤＣＧと実写映像の位置関係を決定するのが、前後関係の演算処理であり、この前後関係の演算処理を行うためには、カメラ映像も３ＤＣＧも、ともに三次元情報を持っていなければならない。

３ＤＣＧは、生成時にその形状の三次元情報を持っており、また、ある座標系の任意の位置に３ＤＣＧを置くことで、３ＤＣＧは三次元情報を取得する。一方、カメラ映像は、二次元画像であり、撮影された映像のままでは三次元情報は得られない。従って、カメラ映像と３ＤＣＧ合成のためには、カメラ映像が三次元情情報を取得しなければならない。
そこで、本実施形態では、実写映像を撮影するカメラのカメラ座標（カメラ位置とカメラ方向）を高精度に求め、そのカメラ位置とカメラ方向から、実写映像の相対値の三次元座標を演算で求めるようにしてある。但し、映像内に基準長を示すものが有れば、相対値でなく、絶対長として三次元座標を求めることもできる。なお、３ＤＣＧ合成のためには、カメラ映像の三次元座標は３ＤＣＧと重なる合成部分だけで良く、他の映像部分の三次元座標は特に必要とならない。従って、本実施形態の３ＤＣＧ合成装置では、３ＤＣＧとの合成処理に必要となるカメラ映像のみ三次元座標を求めることにより、より高速かつ効率的に３ＤＣＧの合成処理を行えるようになっている。

ところで、カメラ座標（カメラ位置とカメラ方向）を精度良く抽出するには、画像内の映像的な特徴点を検出し、その移動を追跡する技術を用いる。特徴点の検出を自動化し、追跡も自動化することで、手作業による作業を大幅に省略することができる。
一般に、画像内の特徴点からカメラ位置を求めるには、例えば、同時に６〜７点以上の特徴点を得るようにして、特徴点を画像内で追跡する。そして、それらの特徴点に対してエピポーラ幾何学を用い、カメラ位置を演算により求めることができる。しかしながら、６〜７点程度の特徴点では、得られるカメラ位置の精度は不十分なものとなる。

そこで、本実施形態では、抽出，追跡する特徴点の数を十分に多くし、また、十分なフレーム数を用いることで多重視差を取得し、有り余る特徴点とフレーム数を得るようにしてある。有り余る特徴点と有り余るフレーム数による多重視差を用い、統計処理を施して、重複する演算を繰り返し、カメラ位置の誤差分布を求め、そこから統計処理により、精度の高いカメラ位置を三次元座標として求めるようにする。
このようにすることで、各フレームのカメラ位置は高精度で求められる。カメラ位置が高精度で求められれば、そのカメラ位置情報に基づいて、所望の３ＤＣＧを、映像中の所望の目的位置と目的方向に合成することができる。

具体的には、本実施形態の３ＤＣＧ合成装置１００は、図１に示すように、一次映像記憶部１０１と、カメラベクトル検出部１０２と、二次映像記憶部１０３と、３ＤＣＧ生成部１０４と、３ＤＣＧ二次元投影合成部１０５と、投影面領域決定部１０６と、投影面三次元計測部１０７と、前後関係決定部１０８と、合成映像記録ファイル部１０９と、仮想カメラ視点指示部１１０と、視点選択映像表示部１１１を備えている。
一次映像記憶部１０１は、カメラで撮影された動画映像を資料として記憶，保管する。ここで、一次映像記憶部１０１に記憶される映像を取得するカメラは、例えば車載カメラや人が手に持つカメラのように、任意に移動し、不規則な揺れや回転を伴うカメラである。

カメラベクトル検出部１０２は、一次映像記憶部１０１に記憶された動画映像から、動画の各フレームにおける撮影時のカメラの三次元位置座標とカメラの３軸方向を演算によって自動的に求める。このカメラベクトル検出部１０２の詳細については、図１０以下を参照して後述する。
二次映像記憶部１０３は、カメラベクトル検出部１０２で求められたカメラ位置情報を入力し、各フレーム画像とカメラ位置を対応付けして記憶，保管する。
３ＤＣＧ生成部１０４は、二次映像記憶部１０３に保管された実写映像に合成するべき３ＤＣＧを生成する。

３ＤＣＧ二次元投影合成部１０５は、３ＤＣＧ生成部１０４で生成された３ＤＣＧを、カメラベクトル検出部１０２で既に求められている二次映像のカメラ位置とカメラ方向を既知として、映像の各フレーム画像面に対応した、各二次元座標面に、各二次元画素が三次元座標を持ったまま、各フレームに対応して二次元映像として投影する。そして、各フレーム画像毎に、３ＤＣＧと二次映像とのスケールを合わせ、各フレーム毎に、はめ込むべき映像内の目的の場所に、目的の方向で、３ＤＣＧを設定する。

上述のように、カメラ映像と３ＤＣＧを合成するためには、３ＤＣＧとカメラ映像の双方が三次元情情報を持っていなければならない。
本実施形態では、カメラベクトル検出部１０２において、実写映像を撮影したカメラのカメラ座標（カメラ位置とカメラ方向）を高精度に求め、そのカメラ位置とカメラ方向から映像の三次元座標を求めることができる。
そして、この映像の三次元情報に基づき、３ＤＣＧ二次元投影合成部１０５において、各フレーム画像毎に、３ＤＣＧをはめ込むべき映像内の目的の場所と目的の方向が決定されるようになっている。

投影面領域決定部１０６は、３ＤＣＧが投影された映像内の二次元投影面領域の二次元座標を、各フレーム画像毎に決定する。
投影面三次元計測部１０７は、二次元投影面領域に対応する各フレーム画像の三次元座標を演算で求める。
前後関係決定部１０８は、二次元投影面領域に対応する３DCGの三次元座標と、二次映像における同領域の各フレーム画像の三次元座標と、を各フレーム画像毎に比較して、各フレーム画像毎にカメラから見た前後関係を演算で求め、画素単位で前になる方と、後ろとなる方を決定する。

前後関係決定部１０８で決定される前後関係とは、上述したように、カメラ映像と３ＤＣＧを二次元画像上で合成し、カメラ視点から見たときの対象物の前後関係であり、街の風景を撮影した実写映像中の歩道上に置物の３ＤＣＧを置く場合に、道路側から歩道を向いたカメラ視点から見て、３ＤＣＧは、背後にあるビル面よりは前に位置し、歩道と道路の間にある街路樹よりは後に位置する。この場合、置物の３ＤＣＧは、ビル面を隠すように表示され、かつ、置物の一部が街路樹によって隠れるように表示されなければならない。

そして、この３ＤＣＧと映像の位置関係を決定するのが、前後関係の演算処理であり、前後関係決定部１０８により、３ＤＣＧの三次元座標と、３ＤＣＧを統制する二次映像の二次元投影面領域の三次元座標とを、各フレーム画像毎に比較して、各フレーム画像毎にカメラ視点から見た前後関係を演算で求め、画素単位で前になる方と、後ろとなる方を決定する。
ここで、この前後関係は、画素単位で前になる方と、後ろになる方が決定される。例えば、上記の歩道上に置物の３ＤＣＧを合成する例で言えば、３ＤＣＧで生成した置物と実写の街路樹は、画素単位で前になる部分と後ろになる部分（隠れる部分）が演算で求められ、同様に、ビル面との間でも、画素単位で前になる部分と後になる部分、つまり、３ＤＣＧで隠れるべきビル面が演算で求められることになる。

合成映像記録ファイル部１０９は、前後関係決定部１０８で前後関係が決定された映像と３ＤＣＧと、その他の映像部分を各フレーム毎に矛盾無く合成した記録ファイルを生成し、記録しておく。
ここで、合成映像記録ファイル部１０９は、３ＤＣＧと二次映像の合成結果を保存する際に、３ＤＣＧを各フレームのカメラ位置からの二次元画像として、二次映像に貼り付けて保存する。
具体的には、合成映像記録ファイル部１０９は、図２に示すように、記録する映像として、実写映像１０９−１，実写貼り付け映像（不可逆）１０９−２，実写貼り付け映像（可逆）１０９−３，３ＤＣＧ１０９−４の四つの映像ファイルを記録，保存している。

カメラで撮影した実写映像と３ＤＣＧの合成結果を保存する場合、一般には、実写映像は二次元画像として、３ＤＣＧは三次元画像として、異なる次元の状態で保存される。本発明では、共通のカメラベクトルを共有していることで、異なる次元で保存された実写映像と３ＤＣＧとを、いつでも合成表示できる状態となっている。
ところが、実際の運用を考えると、３ＤＣＧはデータ量が大きいので、数が増加するに従って表示速度が遅くなる等の操作性の問題が発生する。

そこで、本実施形態では、場所の変更がない３ＤＣＧに関しては、二次元画像化し、実写映像の二次元画像に貼り付けて合成二次元画像として保存するようにしてある。特に、実写全周画像に３ＤＣＧを二次元画像化して貼り付けて保存することにより、画像フレームによる視点変更も可能となり、あたかも３ＤＣＧとの合成のように表示することが可能となる。
また、位置変更が予想される対象物の３ＤＣＧに関しては、三次元画像として各フレームのカメラベクトルと共に保存することで、いつでも実写映像との対応が可能であり、位置の変更が可能となり、視点の移動も自由となる。

本実施形態では、図２に示すように、合成映像記録ファイル部１０９に記録する映像として、実写映像１０９−１，実写貼り付け映像（不可逆）１０９−２，実写貼り付け映像（可逆）１０９−３，３ＤＣＧ１０９−４の四つの映像を記録してあり、より自由度の高い３ＤＣＧの合成処理が行えるようになっている。例えば、３ＤＣＧを各フレームが持つカメラベクトルによって二次元画像化した映像は、不可逆な状態で実写映像に二次元化して貼り付けて保存している場合、元の３ＤＣＧ部分である二次元映像部分の変更は不可能となる。しかし、実写映像に重なる別のレイヤー（層）に保存してある場合には、削除したり、元となる３ＤＣＧ映像を変更し、再度カメラベクトルをパラメータとして二次元化する等、より自由度の高い変更が行えるようになる。

仮想カメラ視点指示部１１０は、観察する映像の種類、合成する３ＤＣＧの種類、観察者の仮想位置である仮想カメラの三次元位置と回転角、視点や視点の移動方向、進行方向、速度等の項目のうち、何れか一つ、若しくはいくつかの項目の機能を、例えばマウスや専用のコントロール器具等で指定する。
視点選択映像表示部１１１は、仮想カメラ視点指示部１１０で指定された映像を、指定されたように表示する。

以上のようにして、本実施形態の３ＤＣＧ合成装置１００では、車載カメラ等によって所望の動画映像を取得し、フレーム間で対応関係にある十分に多くの点を用い、カメラベクトルを精度良く演算で求める。原理的には６点乃至７点の特徴点があれば三次元座標は求まるが、本実施形態では、例えば、１００点程度の十分に多くの点を用いることで、解の分布を求め、その分布から統計処理により各ベクトルを求め、結果としてカメラベクトルを求める。
例えば、合成すべき部分が写っている二枚以上の画像を適宜選択し、画像内の任意で十分多くの対応点から、カメラの位置と方向を演算で求めることができる。例えば二枚の画像に十分多くの複数の対応点が有れば、カメラ位置と方向は同一座標上に三次元的に決定して表現できる。

そして、各映像のカメラ位置と方向が三次元的に決まれば、画像内の各対応点はすべて三次元座標として決定できる。また、十分多くの特徴点から、特徴点とカメラ位置を複数回重複して求めることができるので、統計処理し、誤差の多い地点の特徴点を削除するなどして、精度の高いカメラ位置を求めることができる。
従って、例えば、予め走行車両に搭載したカメラで撮影した動画映像のカメラ位置と方向の三次元座標を、後述するエピポーラ幾何学による一次連立方程式で求めておき、目的の３ＤＣＧと合成する際には、合成部分の前後関係を決定するために３点法による演算をして、映像と３ＤＣＧとの前後関係を決定することができる。これにより、動画映像のすべてのフレームで、三次元的に矛盾のない合成映像を動画で表示することができる。

なお、各フレーム画像毎に処理をするので、合成する３ＤＣＧは移動物体であっても有効である。
また、３ＤＣＧの合成処理にリアルタイム性が求められているときには、合成は二次元上で、重なる部分のみの前後関係を決定すればよい。一方、リアルタイム性が求められていない場合には、前もって全画像を三次元化処理し、三次元画像として扱い、三次元の３ＤＣＧとの合成とすることができる。このようにすることで、視点移動はさらに自由になり、三次元空間として扱うことができるようになる。

また、３６０度全周画像のような広角映像を用いることで、視野を広く取ることができ、対応点を探しやすくなるので精度を向上させることができる。また、全視野を一度に比較できることで、多数の対応点を同時に比較できる。
さらに、目的平面への平面変換画像を用いることで、画像の形状を大きく変えることなく比較し、フレームの離れた画像でも、より正確にマッチングを取ることができるので、対応点検出の確度が上がり、計測精度をあげることができる。
なお、映像資料として過去の映像資料を利用することも可能であるが、その場合には、カメラの焦点距離が不明である場合が多いから、画像内の正方形や円等を探し、正しい形状になる位置のパラメータで球面画像に変換すればよい。

以上のような３ＤＣＧ合成装置１００によれば、車載カメラだけでなく、例えば、人が手に持ってカメラを自由に振り回して、対象物を撮影し、撮影後にその映像からカメラベクトルを演算で求め、カメラベクトルから、カメラの三次元位置を既知情報として、所望の動画映像中に所望の３ＤＣＧを合成することができる。そして、以上の処理を繰り返すことで、広範囲の各フレーム毎に、３ＤＣＧを合成して表示することができる。
また、本実施形態の３ＤＣＧ合成装置１００では、動画映像と３ＤＣＧを合成する段階で、合成要素の種類の組み合わせや、対象物の種類の組み合わせを変えることにより、また、実写映像と３ＤＣＧの明るさの比率に応じて、完全な３ＤＣＧのみの表示から、実写映像のみの表示まで、その中間段階の様々な合成表示を得ることができる。

図３〜図９に、本実施形態で得られるカメラ映像と３ＤＣＧの合成表示例を示す。
図３〜図５は、街の道路の風景を撮影した３６０度全周の動画映像中に、自動車の３ＤＣＧを合成した場合である。図３は３ＤＣＧの自動車を前方から見た場合で、図４は図３を拡大表示した場合で、図５は３ＤＣＧの自動車を側面から見た場合である。
これらの図に示すように、実写映像と３ＤＣＧは、前後関係が画素単位で決定され、３ＤＣＧは実写映像にスケールを合わせて、矛盾なく合成されていることがわかる。そして、合成画像は、任意の視点方向から見た画像として表示することができる。

図６〜図９は、図３〜図５と同様に、街の道路の風景を撮影した３６０度全周の動画映像中に、３ＤＣＧを合成した場合である。
具体的には、図６に示すような街の風景映像の道路上に、図７に示すように、半円形状の立体アーチの３ＤＣＧと、更にその向こう側に路上駐車している自動車の３ＤＣＧを合成してある。また、図８〜図９は、このような３ＤＣＧを合成した動画映像中において、立体アーチの下を通過した場合の画像であり、立体アーチの内側の面が合成表示されている。
これらの図に示すように、３ＤＣＧを合成した実写映像は、動画として任意の視点から表示，再生でき、その動画映像中の３ＤＣＧも、任意の視点から見た立体形状が矛盾なく表示されることがわかる。

次に、以上のような本実施形態の３ＤＣＧ合成装置１００に備えられるカメラベクトル検出部１０２の詳細について説明する。
図１０は、３ＤＣＧ合成装置１００に備えられるカメラベクトル検出部１０２の一実施形態の概略構成を示すブロック図である。
同図に示すように、カメラベクトル検出部１０２は、特徴点抽出部１０２ａと、特徴点対応処理部１０２ｂと、カメラ位置３Ｄ座標演算部１０２ｃと、誤差最小化部１０２ｄと、カメラ位置方向３Ｄ座標検出部１０２ｅを備えている。
特徴点抽出部１０２ａは、ビデオカメラで撮影した動画映像を一時記録した画像データの中から、十分な数の特徴点を自動抽出する。
特徴点対応処理部１０２ｂは、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。

カメラ位置３Ｄ座標演算部１０２ｃは、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部１０２ｄは、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理をし、カメラ位置方向３Ｄ座標演算部１０２ｅで、誤差の最小化処理を施したカメラ位置方向が自動的に決定される。
そして、このように決定されたカメラ位置と方向の三次元位置を既知情報として、上述した３ＤＣＧ合成装置１００において、所望の動画映像中へ所望の３ＤＣＧが合成処理されるようになっている。

複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するには幾つかの方法があるが、図１０に示すカメラベクトル検出部１０２では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。

ここで、カメラベクトルとは、カメラの持つ自由度のベクトルをいう。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトル検出部１０２によるカメラベクトルの検出は、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。

以下、カメラベクトル検出部１０２における具体的なカメラベクトルの検出方法について、図１１以下を参照しつつ説明する。
まず、特徴点抽出部１０２ａで、適切にサンプリングしたフレーム画像中に、特徴点となるべき点又は小領域画像を自動抽出し、特徴点対応処理部１０２ｂで、複数のフレーム画像間で特徴点の対応関係を自動的に求める。具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図１１〜図１３に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図１３に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図１４に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図１４の○印参照）、例えば、１００点程度の特徴点を抽出する。

続いて、カメラ位置３Ｄ座標演算部１０２ｃで、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラ位置３Ｄ座標演算部１０２ｃは、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。

図１３に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１^T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。

ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図１３に示す３６０度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、本実施形態では、カメラベクトル演算に３６０度全周画像を用いるようにしてあり、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。

このように、３６０度映像を用いることにより、カメラの焦点距離の情報が要らないこと、広い範囲の特徴点設定ができるので、精度の高いカメラ位置を取得可能となり、結果として合成の精度が高まること、また、動画映像と３ＤＣＧの合成画像を表示した場合に、広範囲で、様々な角度から対象３ＤＣＧを観察できること、等の効果があり、これらのメリットは、シミュレーション装置として極めて有効となる。
なお、図１３は、カメラベクトル検出部１０２における処理を理解し易くするために、１台または複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のカメラベクトル検出部１０２では、必ずしもメルカトール図法による展開画像である必要はない。

また、カメラベクトル検出部１０２で用いる映像としては、カメラで撮影された一次映像そのものではなく、一次映像を目的の平面に変換した平面変換画像を用いることができる。
３６０度全周映像や広角映像等の実写映像そのものでは、映像がゆがんでいるので、一次画像を遠近法的表現の平面画像に変換し、その平面画像の中から特徴点を求めることによりカメラ座標を取得することができる。
また、このように平面変換画像を用いることにより、映像と３ＤＣＧの前後関係を決定する場合にも、一次画像によるゆがんだ画像ではなく、平面画像内に対応点を求めることで、対応点追跡を容易にすることができる。

そして、誤差最小化部１０２ｄでは、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt 法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。

図１５〜図１７に、カメラベクトル検出部１０２により得られる特徴点の三次元座標とカメラベクトルの例を示す。図１５〜図１７は、本実施形態におけるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図１５では、図１３の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトルが示されている。
図１６及び図１７は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。

ここで、カメラベクトル検出部１０２における演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１８に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、カメラベクトル検出部１０２は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返す。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。

そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、m枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたm枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、m枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。

ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。

また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示する。
さらに、このように求められたカメラベクトルは、生成された３ＤＣＧ合成画像などに表示することができる。
例えば、図１９に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。そして、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。

以上説明したように、本実施形態に係るカメラベクトル検出部１０２によれば、動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることができる。
従って、通常の安価なカメラであっても、人がカメラをもって移動しながら撮影し、あるいはカメラを積載した移動する車両等から周囲画像を撮影し、その映像を分析して高精度なカメラ軌跡を三次元で求めることができる。

例えば、全周囲動画映像の中の１フレーム画を取り出し、その画像内特徴ある複数のポイントを自動抽出して、それを各フレーム内に対応させ、追跡することで、三次元的位置関係を把握し、演算によってカメラ位置を求めることができる。
この方法により、十分な数の特徴点を手がかりにエピポーラ幾何学によって計算することで、特徴点の座標のみならず、カメラ座標を求めることができる。
また、特徴点とカメラ座標は、複数のフレームで重複して演算することになり、一つ一つのフレームの誤差を統計的に処理することで精度の高いカメラ位置データを得ることができる。カメラ座標が精度良く求まることで、カメラ映像と３ＤＣＧの合成が精度良く実行できることになる。

［第二実施形態］
次に、図２０を参照して、本発明の３ＤＣＧ合成装置の第二実施形態について説明する。
図２０は、本発明の第二実施形態に係る３ＤＣＧ合成装置の概略構成を示すブロック図である。
同図に示す３ＤＣＧ合成装置は、図１に示した第一実施形態の変更実施形態であり、第一実施形態の構成に加えて、さらに画像前処理部１１２及びリアルタイム３ＤＣＧ処理部１１３を備えている。
従って、その他の構成については、上述した第一実施形態の場合と同様であり、同様の構成部分については、同一符号を付して詳細な説明は省略する。

画像前処理部１１２は、図２０に示すように、３ＤＣＧ合成装置１００のカメラベクトル検出部１０２と二次映像記憶部１０３の間に備えられ、カメラベクトル検出部１０２で既に取得されている各フレーム画像のカメラ回転角を用いることで、各フレーム画像のカメラ回転に起因する揺れを補正処理し、安定した映像を、カメラ位置と補正されたカメラ方向とともに二次映像記憶部１０３に記録する。
上述したように、カメラは、一般にＸ，Ｙ，Ｚと、その回転ベクトルと計６個の自由度を持つ。それらを検出するのがカメラベクトル検出部１０２である。そして、検出されたカメラの位置Ｘ，Ｙ，Ｚ及び３軸の回転ベクトルΦｘ，Φｙ，Φｚの自由度の中で、いくつかを揺れに起因するものとして、補正信号を生成し、この補正信号により、安定化された正規化画像を生成することができる。

そこで、画像前処理部１１２では、車載カメラ等のように、カメラが任意に移動することに起因する揺れ等を含んだ一次映像が持っている不規則な揺れ成分のうち、回転による揺れを、カメラベクトル検出部１０２で得られたデータにより３軸方向で補正し、回転のない安定な映像を取得する。
これによって、回転補正を受けた二次映像に、回転を固定したカメラ位置の三次元データを付加するとことで、後の演算を矛盾無く行うことができる。
ここで、安定化画像の基準となる画像としては、フレームのスタート時点の画像としてもよいが、水平位置を合わせるなどした変換後の画像を安定化画像の基準とすることも可能である。
なお、安定化画像に変換された画像は、視点方向も修正されているので、投影している平面が異なり、修正前の画像とは重ならない。

さらに、画像前処理部１１２では、カメラベクトル検出部１０２で得られた、複数のフレームの画像に関するそれぞれのカメラ位置と回転のデータから、一次映像記憶部に記憶された動画映像資料を三次元化処理し、全フレーム画像のカメラベクトル検出部１０２で取得されたカメラの三次元位置座標とカメラの３軸回転座標により、画像の揺れ等を無くし、画像安定化処理などを施すことができる。
すなわち、画像前処理部１１２は、画像の三次元化の機能を持たせることができる。このように画像を三次元化することで、表示画像の視点移動がさらに自由になり、より望ましい３ＤＣＧ合成処理を実現できるようになる。

リアルタイム３ＤＣＧ処理部１１３は、カメラ映像と３ＤＣＧのリアルタイム合成表示機能を行う。
例えば、３ＤＣＧ合成をゲームに利用するような場合、合成すべき３ＤＣＧをその場で高速で生成（又は選択）して配置し、映像内を高速で移動させ、さらに、実写映像と３ＤＣＧの合成も高速で行い、高速で前後関係を決定し、合成結果を表示する必要がある。
そこで、本実施形態では、リアルタイム３ＤＣＧ処理部１１３により、３ＤＣＧの生成又は選択、配置を高速で処理するようにしてある。

なお、リアルタイム処理にするためには、演算数を減らすか、高速演算をする必要があるので、三次元処理は画像と３ＤＣＧの重なる部分の一部だけとすることが好ましい。
このリアルタイム３ＤＣＧ処理部１１３による映像と３ＤＣＧのリアルタイム合成表示機能は、３ＤＣＧ合成装置１００の仮想カメラ視点指示部１１０おいて指定可能な機能として付加することができる。

以上のように、本実施形態では、カメラベクトル検出部１０２において、動画映像の複数のフレーム画像から、高精度なカメラ位置、カメラ回転角等のカメラベクトルを演算により自動的に求めることができることから、求められたカメラベクトルに基づいて、画像前処理部１１２において、ビデオ映像等の動画撮影において取得された画像のカメラの揺れに起因する不規則なブレ等を補正し、ブレのある画像からブレのない画像を生成することができる。
特に、計算上理論的に必要な計測点の数と比較して、計測点の数を大幅に増やし、また、対応する画像は理論的には二枚の画像でよいが、その数を大幅に増やし、より多くの情報に基づき精度の高いカメラ位置を演算で求めることができる。

また、画像の安定化には、画像そのものの揺れではなく、カメラの揺れに着目している。画像を移動して補正するのではなく、画像からカメラベクトルを検出し、カメラの三次元座標と３軸方向の回転を検出して、カメラの視点方向の揺れによる変動成分を検出し、正規のカメラ方向の画像となるように、画像変換処理することで、完全な画像の安定化を実現することができる。

また、本実施形態では、リアルタイム３ＤＣＧ処理部１１３を備え、カメラ映像と３ＤＣＧのリアルタイム合成表示機能を行うことができるので、カメラ映像内で３ＤＣＧを自由に動かし、自由操作できる。これにより、例えば、その場その場で判断，操作等を行って３ＤＣＧを動かすゲーム映像や、フライトシュミレータ、ドライビングシュミレータ等が実現できることになる。
なお、リアルタイムに合成表示される３ＤＣＧに対しては、座標情報だけではなく、名称や属性等の情報を持たせることができる。このようにすると、位置関係や名称と属性との組み合わせにより、現実世界を実写映像と３ＤＣＧの合成映像としてリアルタイムに投影することができ、例えば、人工知能における判断作業場として利用することができる。

［第三実施形態］
さらに、図２１〜図２３を参照して、本発明の３ＤＣＧ合成装置の第三実施形態について説明する。
図２１は、本発明の第三実施形態に係る３ＤＣＧ合成装置の概略構成を示すブロック図である。
同図に示す３ＤＣＧ合成装置は、第一及び第二実施形態の変更実施形態であり、上述した３ＤＣＧ合成装置を用いて道路走行動画映像と３ＤＣＧを合成する３ＤＣＧハイブリッド結合表示装置１００ａを構成したものである。
なお、上述した第一及び第二実施形態と同様の構成部分については、同一符号を付してある。

図２１に示すように、本実施形態の３ＤＣＧハイブリッド結合表示装置１００ａは、基本的構成は上述した第一及び第二実施形態の３ＤＣＧ合成装置１００と同様となっており、具体的には以下のような構成となっている。
まず、一次映像記憶部１０１として、全周囲実写映像記録部１０１ａを備えている。この全周囲実写映像記録部１０１ａは、３６０度全周映像のような全周囲実写映像、若しくは広角実写画像を全周囲実写映像の一部を、一次映像として記録する。
カメラベクトル検出部１０２は、第一，第二実施形態と同様である。
二次映像記憶部１０３は、第一，第二実施形態と同様である。
また、二次映像記憶部１０３には、第二実施形態で示した画像前処理部１１２として、画像安定化部１１２ａを備えている。画像安定化部１１２ａは、全周囲実写映像が含んでいる揺れ等を補正処理して画像として安定化させることができる。

３ＤＣＧ生成部１０４は、３ＤＣＧ基準面構成部１０４ａと、３ＤＣＧデータベース部１０４ｂを備えている。３ＤＣＧ基準面構成部１０４ａは、３Ｄ地図を構成する基本となる地球座標面を生成する。また、３ＤＣＧデータベース部１０４ｂは、予想される３ＤＣＧを部品として保存している。
３ＤＣＧ二次元投影合成部１０５は、平面変換画像上での3DCG再構成部１０５ａと、３ＤＣＧ形状位置合わせ処理部１０５ｂと、再構成３ＤＣＧ部１０５ｃと、切り取り分離作業部１０５ｄと、繰り返し作業部１０５ｅとを備えている。
平面変換画像上での3DCG再構成部１０５ａと３ＤＣＧ形状位置合わせ処理部１０５ｂは、二次映像記憶部１０３の画像安定化部１１２ａで安定化された全周囲実写映像に含まれる目的の対象物に着目して、全周囲実写映像内の目的の対象物と再構成すべき３ＤＣＧとの形状及びスケールを三次元的に合わせる再構成作業と、実写映像内の必要部分のみの３ＤＣＧの再構成作業を行う。

再構成３ＤＣＧ部１０５ｃは、再構成された３ＤＣＧを決定し、データとして取り込む。
なお、「再構成」とは、現実世界をCGで再構成するという意味で用いており、単に「構成」と表現することもできる。
切り取り分離作業部１０５ｄは、全周囲実写映像内の対象物で、再構成した３ＤＣＧに含まれる部分を映像から削除して表示するために、又は、切り取った映像を背景と分離して表示するために、表示の必要に応じて全周囲実写映像から特定の対象物を分離する。
繰り返し作業部１０５ｅは、カメラベクトル検出部１０２で得られた実写映像のカメラ位置座標を取得し、そのカメラ座標に対応して３ＤＣＧを移動することで、３ＤＣＧと映像との位置関係を保ち、場所を少しずつ移動しながら、上記の３ＤＣＧ二次元投影合成部１０５の作業を繰り返して行う。

投影面領域決定部１０６と、投影面三次元計測部１０７と、前後関係決定部１０８は、第一，第二実施形態と同様である。
合成映像記録ファイル部１０９は、合成映像データベース部１０９ａを備えている。この合成映像データベース部１０９ａは、繰り返し作業部１０５ｅの作業により、３ＤＣＧと全周囲実写映像との合成した結果を保存する。
仮想カメラ視点指示部１１０は、合成要素選択指定部１１０ａを備えている。この合成要素選択指定部１１０ａは、元画像の全周囲実写映像と３ＤＣＧを選択し、それらの組み合わせを指定する。
視点選択映像表示部１１１は、自由視点表示部１１１ａを備えている。この自由視点表示部１１１ａは、上記の作業により得られた３ＤＣＧと全周囲実写映像との合成画像を自由視点で表示する。

以上のような構成からなる本実施形態の３ＤＣＧハイブリッド結合表示装置の各部における、より具体的な処理動作を、図２２及び図２３を参照してさらに説明する。
図２２は、図２１に示す３ＤＣＧハイブリッド結合表示装置の詳細を示すブロック図である。
図２３は、図２２に示す切り取り作業部の詳細を示すブロック図である。

［画像安定化部］
画像安定化部１１２ａでは、３６０度全周映像を水平位置と垂直位置と映像の上下関係を一致させる作業として、画像安定化部１１２ａの基準フレーム全周画像水平垂直検出部１で、基準フレーム内の垂直水平を検出する。そして、３６０度全周映像の北極平面変換画像で消失点を検出し、その消失点を光軸位置、すなわち、画像中心となるように、全周囲画像安定化部２で、画像の上下が地軸の方向に、横が赤道方向になるように極を移動して変換する。さらに、画像の鉛直方向を保ったまま画像を安定させる。

［平面変換画像上での３ＤＣＧ再構成作業部］
平面変換画像上での３ＤＣＧ再構成作業部１０５ａでは、画像安定化部１１２ａの全周囲画像安定化部２で安定化された全周囲画像に含まれる目的の対象物に対して、可能な限り対象物の平面がリニアスケールとなる相似形に表現できる視点で平面変換し、その平面変換画像上において実写映像内の対象物の一平面と再構成すべき３ＤＣＧの一平面とが一致するように、実写映像と３ＤＣＧとの形状を合わせ、さらに実写映像内の必要部分のみの３ＤＣＧの再構成作業を行う。
まず、全周囲画像南極平面表示部１において、全周囲映像を南極平面に展開する。
また、道路傾斜面平面展開部２において、表示されている道路面が画面上平面になるように、道路と水平面の傾斜を微調整する。
さらに、全周囲画像赤道面表示部３において、表示された道路映像面に、重ねて３ＤＣＧを描き込んでいく。

［３ＤＣＧ形状位置合わせ処理部］
３ＤＣＧ形状位置合わせ処理部１０５ｂでは、道路面３ＤＣＧ生成部１，縁石３ＤＣＧ生成部２，歩道面３ＤＣＧ生成部３，のり面３ＤＣＧ生成部４，道路以外ＧＬ面３ＤＣＧ生成部５，道路設備等３ＤＣＧ部配置合成部６の各部においては、道路面とその周囲を構成する水平に近い面及びその面状の点となるので、その水平面からの傾斜を含めて、表示されている南極変換平面上で作業し、３ＤＣＧを生成する。

［３ＤＣＧデータベース部］
３ＤＣＧデータベース部１０４ｂでは、３ＤＣＧ部品データベース２に、３ＤＣＧの基本形状が前もって用意されている。また、用意されていない３ＤＣＧについては、その場で、３ＤＣＧ部品生成部３において生成する。
３ＤＣＧ部品はそのまま、又はスケール形状調整部１で、現実に対応した形状と大きさに変換され、３ＤＣＧ再構成作業部１０５ａにおいて、平面に貼り付けられることで、形状と座標を固定することができる。
また、上記以外にも、ビルや背景，移動する車両や人，街路樹等、映像中のすべての対象物について、ビル・街路樹等3DCG生成部４において、同じ作業により３ＤＣＧ再構成作業部１０５ａにおいて平面に貼り付けることで、形状と座標を固定することができる。
そして、以上の作業を繰り返すことで、映像中のすべての対象物を３ＤＣＧ部品で置き換えることができる。

［繰り返し作業部］
以上のようにして、３ＤＣＧ再構成作業部１０５ａにおいて、目的とする対象物に関して３ＤＣＧでの置き換えが完了すれば、その後は、繰り返し作業部１０５ｅにおいて、カメラベクトル検出部１０２において、実写映像のカメラ位置座標を取得し、そのカメラ座標に対応して、３ＤＣＧを移動することで、３ＤＣＧと映像との位置関係を保ち、場所を少しずつ移動しながら、同様の作業を繰り返して行う。
繰り返し作業部１０５ｅにより、映像を進行方向に移動させるなどして、次の作業面を切れ目なく連続的に表示し、連続する部位の作業を先の方法と同じ方法で繰り返し行うことができる。
繰り返し作業を行うために、映像を進行方向に移動させ、又は後退させ、あるいは平行移動させて、視点を変更させるなどして、３ＤＣＧの位置決定作業を繰り返す場合、配置決定された３ＤＣＧは、各フレーム映像が持っているカメラベクトルを共有しているため、表示映像と生成した３ＤＣＧとは、座標として結合されており、同時に位置関係がずれることなく移動させることができる。

［合成映像データベース・合成要素選択部・自由視点表示部］
上述したように、３ＤＣＧデータベース部１０４ｂのビル・街路樹等３ＤＣＧ生成部４において、上記のような処理を繰り返すことで、背景やビル面、街路樹等一切の対象物を３ＤＣＧに置き換えることが可能であり、置き換えられた一切を３ＤＣＧで表示することが可能である。
しかし、すべてを３ＤＣＧで置き換えることは、必ずしも良いことばかりではない。例えば、背景とビル面を正確に３ＤＣＧで表現するためには、かなりのコストがかかる。また、ビル等よりも、もっと複雑な建築物や構造物や地形をすべて３ＤＣＧ化することは困難である。このような場合には、実写映像をそのまま背景画像として使用すれば却ってコストを大幅に低減することができる。

以上のような観点から、道路面等の３ＤＣＧ生成が容易な対象物については３ＤＣＧで置き換え、ビル面等の３ＤＣＧ生成が困難で高コストになるような対象物については、実写映像をそのまま、あるいは平面に貼り付けて画像生成することができる。
具体的には、繰り返し作業部１０５ｅで目的の範囲を生成合成し、映像と３ＤＣＧを結合した状態において、合成映像データベース１０９ａに保存記録し、合成要素選択部１１０ａにおいて、映像と３ＤＣＧとの要素の合成を決定し、自由視点表示部１１１ａでは、目的に応じて、目的の場所と視点と視角と視点方向を自由に選択して表示する。なお、自由視点表示部１１１ａにおける自由視点は、元々の映像が含んでいない映像については表示できないため、元々の映像のカメラ位置から大きく変更された位置からの映像を完全に再現することはできない。その点で、自由視点とは、一部制限付きの自由視点ということになる。

［切り取り分離作業部］
上述のように、全周実写映像と３ＤＣＧとが混在した状態で合成映像を生成するには、例えば、ビル面等の実写映像をそのまま残す方法と、三次元座標で定義されたビル平面に３ＤＣＧを貼り付ける方法の二通りが可能である。
前者は、背景とビル面は、元々、実写映像の球面で定義された方向の座標を持っているので、元の映像の持っているカメラ視点上を移動する限りには、３ＤＣＧとの合成は矛盾無く表示できる。
後者は、ビル面のある平面を三次元的に定義することは、道路面の定義と同様に容易である。従って、ビル面についてみれば、平面に３ＤＣＧを貼り付けて生成することは十分可能である。複数の方向から見た同一ビル面を、視点方向別に表示することで、さらに詳細な精度の高い表示が可能となる。

以上二つのいずれの方法においても、ビル壁面とその前面にある街路樹等の対象物を分離する必要があり、図２２に示したように、切り取り分離作業部１０５ｄで分離表示処理が行われる。なお、分離しないまま表示することも可能であるが、その場合には視点変更範囲が狭くなる。
以下、切り取り分離作業部における分離表示の処理動作の一例を、図２３を参照しつつ説明する。
図２３は、図２２で示した切り取り分離作業部（図２２に示す切り取り分離作業部１０５ｄ）の詳細を示すブロック図である。
同図に示すように、切り取り分離作業部２００は、全周囲映像部２０１と、カメラベクトル検出部２０２と、カメラ位置フレーム対応部２０３と、画素単位三次元計測部２０４と、三次元分布表示部２０５と、ビル面分離部２０６と、街路樹等分離部２０７と、ビル画像復元部２０８と、街路樹等復元部２０９と、対象物別分離配置部２１０を備えている。

切り取り分離作業部２００では、まず、全周囲映像部２０１から画素単位で三次元情報を取得する。また、カメラベクトル検出部２０２により、各フレームのカメラベクトルは既知である。従って、全画素の三次元座標（相対値）は、単位三次元計測部２０４において取得できる。
ビル面の位置は大まかに既知であり、しかも平面であるから、三次元分布表示部２０５においてビル近傍の三次元分布を取得すれば、明らかに他から分離することができる。また、街路樹等の、ビルから離れた対象物は、その三次元位置からビルの三次元位置とは明らかに分離できる。

従って、ビル面分離部２０６と、街路樹等分離部２０７とにより、ビル面とそれ以外の対象物を三次元的に分離することができる。
街路樹等は色の要素等から、さらに分離することができる。
また、分離したビル面や街路樹等は画素単位であるので、すでに求められらカメラベクトルを用いて、ビル画像復元部２０８により、元の映像に復元することができる。これにより、街路樹のないビル面を取得できる。
同様に、街路樹等復元部２０９により、ビルの背景のない街路樹等を復元，取得することができる。
そして、対象物別分離配置部２１０により、あらゆる対象物を三次元的に分離し、繰り返し作業部１０５ｅにおいて同作業を繰り返すことで、各対象物をそれぞれ適切な位置に配置し、映像と３ＤＣＧとの合成画像を取得することができる。

以上、本実施形態の３ＤＣＧハイブリッド結合表示装置によって、全周画像から３ＤＣＧ化する方法を示したが、表示の種類としては、全周映像そのものの表示、映像中の一部の対象物についての３ＤＣＧ化、さらに、すべての対象物の３ＤＣＧ化があり、どの組み合わせでも表示することができる（図２参照）。表示の選択は、合成要素選択部１１０ａでは、全周囲映像そのものの表示、すべての対象が３ＤＣＧ化された映像の表示、３ＤＣＧを各フレームが持つカメラベクトルにより二次元画像化した映像の表示、その中間段階の一部３ＤＣＧ化された映像の表示まで、各段階の表示について、表示要素を自由に選択することができる。

ここで、３ＤＣＧを各フレームが持つカメラベクトルによって二次元画像化した映像を、不可逆な状態で実写映像に二次元化して貼り付けて保存している場合には、元の３ＤＣＧ部分である二次元映像部分の変更は不可能であるが、実写映像に重なる別のレイヤー（層）に保存してある場合には、削除したり、元となる３ＤＣＧ映像を変更し、再度カメラベクトルをパラメータとして二次元化することで変更が可能となる。
また、本実施形態では、全周映像を用いているが、原理的には通常の画像であっても、全周画像の一部として扱うことができ、同様の作業が行えることは言うまでもない。
なお、カメラベクトル検出部２０２で求められたカメラベクトルを用いて、画像内での計測を行うこともでき、３ＤＣＧ上でも、実写映像上でも、また、両者の混在映像上でも可能である。

以上、本発明の３ＤＣＧ合成装置について、好ましい実施形態を示して説明したが、本発明に係る３ＤＣＧ合成装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。

本発明は、例えば、動画映像に３ＤＣＧを合成して三次元地図を生成，表示するカーナビゲーション装置に好適な３ＤＣＧ合成装置として利用することができる。

本発明の第一実施形態に係る３ＤＣＧ合成装置の概略構成を示すブロック図である。 図１に示す合成映像記録ファイル部の詳細を示すブロック図である。 本発明の第一実施形態に係る３ＤＣＧ合成装置で生成，表示されるカメラ映像と３ＤＣＧの合成表示例を示す説明図である。 本発明の第一実施形態に係る３ＤＣＧ合成装置で生成，表示されるカメラ映像と３ＤＣＧの合成表示例を示す説明図である。 本発明の第一実施形態に係る３ＤＣＧ合成装置で生成，表示されるカメラ映像と３ＤＣＧの合成表示例を示す説明図である。 本発明の第一実施形態に係る３ＤＣＧ合成装置で生成，表示されるカメラ映像と３ＤＣＧの合成表示例を示す説明図である。 本発明の第一実施形態に係る３ＤＣＧ合成装置で生成，表示されるカメラ映像と３ＤＣＧの合成表示例を示す説明図である。 本発明の第一実施形態に係る３ＤＣＧ合成装置で生成，表示されるカメラ映像と３ＤＣＧの合成表示例を示す説明図である。 本発明の第一実施形態に係る３ＤＣＧ合成装置で生成，表示されるカメラ映像と３ＤＣＧの合成表示例を示す説明図である。 本発明の一実施形態に係るカメラベクトル検出部の概略構成を示すブロック図である。 本発明の一実施形態に係るカメラベクトル検出部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るカメラベクトル検出部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るカメラベクトル演算装置における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るカメラベクトル演算装置によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。 本発明の一実施形態に係るカメラベクトル演算装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るカメラベクトル演算装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るカメラベクトル演算装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るカメラベクトル演算装置において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。 本発明の一実施形態に係るカメラベクトル演算装置で求められたカメラベクトルの軌跡を生成された三次元地図中に表示した場合の図である。 本発明の第二実施形態に係る３ＤＣＧ合成装置の概略構成を示すブロック図である。 本発明の第三実施形態に係る３ＤＣＧハイブリッド結合表示装置の概略構成を示すブロック図である。 図２１に示す３ＤＣＧハイブリッド結合表示装置の詳細を示すブロック図である。 図２２に示す切り取り作業部の詳細を示すブロック図である。

符号の説明

１００ ３ＤＣＧ合成装置
１００ａ ３ＤＣＧハイブリッド結合表示装置
１０１ 一次映像記憶部
１０２ カメラベクトル検出部
１０２ａ 特徴点抽出部
１０２ｂ 特徴点対応処理部
１０２ｃ カメラ位置３Ｄ座標演算部
１０２ｄ 誤差最小化部
１０２ｅ カメラ位置方向３Ｄ座標検出部
１０３ 二次映像記憶部
１０４ ３ＤＣＧ生成部
１０５ ３ＤＣＧ二次元投影合成部
１０６ 投影面領域決定部
１０７ 投影面三次元計測部
１０８ 前後関係決定部
１０９ 合成映像記録ファイル部
１１０ 仮想カメラ視点指示部
１１１ 視点選択映像表示部
１１２ 画像前処理部
１１３ リアルタイム３ＤＣＧ処理部

Claims (13)

1. 任意に移動可能なカメラによって撮影された動画映像を一次映像として記憶する一次映像記憶部と、
   前記一次映像記憶部の動画映像から、動画の各フレーム画像における撮影時のカメラ位置及びカメラ方向を自動的に求めるカメラベクトル検出部と、
   前記カメラベクトル検出部で求められたカメラ位置及びカメラ方向を各フレーム画像に対応付けて二次映像として記憶する二次映像記憶部と、
   前記二次映像に合成するための３ＤＣＧを生成する３ＤＣＧ生成部と、
   前記３ＤＣＧを、前記カメラベクトル検出部で求められた二次映像のカメラ位置とカメラ方向を既知情報として、各フレーム画像に対応した二次元座標面に、各二次元画素が三次元座標情報を保持したまま、各フレーム画像に対応した各カメラ位置とカメラ方向から見た二次元映像として投影し、各フレーム画像毎に、前記二次映像とスケールを合わせ、二次映像内における３ＤＣＧの目的の位置と方向を設定する３ＤＣＧ二次元投影合成部と、
   前記３ＤＣＧが投影された二次映像内の二次元投影面領域の二次元座標を各フレーム画像毎に決定する投影面領域決定部と、
   前記二次元投影面領域に対応する各フレーム画像の三次元座標を求める投影面三次元計測部と、
   前記二次元投影面領域に対応する３ＤＣＧの三次元座標と、前記二次映像における当該二次元投影面領域の三次元座標を各フレーム画像毎に比較し、各フレーム画像に対応した各カメラ位置とカメラ方向から見た前後関係を求め、二次映像及び３ＤＣＧの前後関係を当該３ＤＣＧが投影された二次元映像の画素単位で決定する前後関係決定部と、
   前後関係が決定された二次映像と３ＤＣＧを、各フレーム毎に合成して記録する合成映像記録ファイル部と、
   観察する映像の種類、合成する３ＤＣＧの種類、観察者の仮想位置である仮想カメラの三次元位置と回転角、視点及び視点の移動方向、進行方向、速度等の各項目のうち、少なくともいずれか一つを指定する仮想カメラ視点指示部と、
   前記仮想カメラ視点指示部で指定された映像を指定された態様で表示する視点選択映像表示部と、
   を備えることを特徴とする３ＤＣＧ合成装置。
2. 前記合成映像記録ファイル部が、３ＤＣＧと二次映像の合成結果を保存する際に、３ＤＣＧを各フレームのカメラ位置からの二次元画像として、二次映像に貼り付けて保存する請求項１記載の３ＤＣＧ合成装置。
3. 移動する３ＤＣＧを所望の二次映像にリアルタイムで合成処理するリアルタイム３ＤＣＧ処理部を備えた請求項１又は２記載の３ＤＣＧ合成装置。
4. 前記カメラベクトル検出部は、
   前記一次映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、
   前記特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡してフレーム画像間での対応関係を求める特徴点対応処理部と、
   前記特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求め、当該三次元位置座標から、各フレーム画像に対応したカメラ位置とカメラ方向を示すカメラベクトルを求めるカメラ位置３Ｄ座標演算部と、
   前記カメラ位置３Ｄ座標演算部において求められる複数のカメラベクトルの解の分布を最小になるように統計処理し、誤差の最小化処理を施したカメラベクトルからカメラ位置とカメラ方向を自動的に決定する誤差最小化部と、
   を備える請求項１乃至３記載の３ＤＣＧ合成装置。
5. 前記カメラ位置３Ｄ座標演算部は、
   カメラベクトル演算に用いる任意の二つのフレーム画像Fｎ及びFｎ＋ｍ（ｍ＝フレーム間隔）を単位画像として、所望の特徴点の三次元位置座標とカメラベクトルを求める単位演算を繰り返し、
   前記二つのフレーム画像Fｎ及びFｎ＋ｍの間のフレーム画像については、簡素化した演算によりカメラベクトルを求め、
   前記誤差最小化部は、
   画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定する請求項４記載の３ＤＣＧ合成装置。
6. 前記カメラ位置３Ｄ座標演算部は、
   前記フレーム間隔ｍを、カメラから特徴点までの距離に応じて、カメラから特徴点までの距離が大きいほどｍが大きくなるように設定して単位演算を行う請求項５記載の３ＤＣＧ合成装置。
7. 前記カメラ位置３Ｄ座標演算部は、
   求められたカメラベクトルの誤差の分布が大きい特徴点を削除し、必要が有れば、他の特徴点に基づいてカメラベクトルの再演算を行い、カメラベクトル演算の精度を上げる請求項４乃至６記載の３ＤＣＧ合成装置。
8. 前記カメラ位置３Ｄ座標演算部は、
   所望の精度となる最低数のフレーム画像と、自動抽出した最低数の特徴点に基づいて演算を行い、カメラベクトルの概略値をリアルタイムで求めて表示し、
   画像の進行により画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させて、より精度の高いカメラベクトル演算を行い、カメラベクトルの概略値を精度の高いカメラベクトル値に置き換えて表示する請求項４乃至７記載の３ＤＣＧ合成装置。
9. 前記一次映像記憶部からカメラベクトル検出部に出力される一次映像が、３６０度全周画像からなる請求項４乃至８記載の３ＤＣＧ合成装置。
10. 前記一次映像記憶部からカメラベクトル検出部に出力される一次映像が、カメラ映像を所定の目的平面に変換した平面変換画像からなる請求項４乃至８記載の３ＤＣＧ合成装置。
11. 前記カメラベクトル検出部で求められるカメラ位置とカメラ方向から、各フレーム画像のカメラ回転に起因する揺れを補正した補正信号を生成し、前記一次映像記憶部に記憶された映像を補正処理し、カメラ位置及び補正されたカメラ方向の情報とともに前記二次映像記憶部に出力する画像前処理部を備えた請求項１乃至請求項１０記載の３ＤＣＧ合成装置。
12. 前記一次映像記憶部が、全周囲実写映像、若しくは広角実写画像を全周囲実写映像の一部分として記録した全周囲実写映像記録部を備え、
    前記３ＤＣＧ生成部が、３Ｄ地図を構成する基本となる地球座標面を生成する３ＤＣＧ基準面構成部と、予想される３ＤＣＧ部品を保存した３ＤＣＧデータベース部とを備え、
    前記３ＤＣＧ二次元投影合成部が、前記全周囲実写映像に含まれる目的の対象物に着目し、全周囲実写映像内の目的の対象物と再構成すべき３ＤＣＧとの形状及びスケールを三次元的に合わせる再構成作業と、実写映像内の必要部分のみの３ＤＣＧの再構成作業を行う平面変換画像上での３ＤＣＧ再構成部と、再構成された３ＤＣＧを決定し、データとして取り込む再構成３ＤＣＧ部と、全周囲実写映像内の対象物で、再構成した３ＤＣＧに含まれる部分を映像から削除して表示するために、又は切り取った映像を背景と分離して表示するために、表示の必要に応じて前記全周囲実写映像から特定の対象物を分離しておく切り取り分離作業部と、前記カメラベクトル検出部において求められた実写映像のカメラ位置座標を取得し、そのカメラ座標に対応して３ＤＣＧを移動することで、３ＤＣＧと映像との位置関係を保ち、場所を移動しながら作業を繰り返す繰り返し作業部とを備え、
    前記合成映像記録ファイル部が、前記繰り返し作業部の作業により、３ＤＣＧと全周囲実写映像との合成した結果を保存する合成映像データベース部を備え、
    前記仮想カメラ視点指示部が、元画像の全周囲実写映像と３ＤＣＧを選択し、それらの組み合わせを指定する合成要素選択指定部を備え、
    前記視点選択映像表示部が、３ＤＣＧと全周囲実写映像との合成映像を自由視点で表示する自由視点表示部を備えた、映像と３ＤＣＧのハイブリッド合成装置からなる請求項１乃至１１記載の３ＤＣＧ合成装置。
13. 前記映像と３ＤＣＧのハイブリッド合成装置が、全周囲実写映像が含んでいる揺れ等を補正処理して画像として安定化させる画像安定化装置を備えた請求項１２記載の３ＤＣＧ合成装置。