JP2007206807A - 映像合成装置及び映像合成プログラム - Google Patents

Abstract

【課題】高精度な映像合成を実現する。
【解決手段】撮影された映像信号に他の映像信号を合成するための映像合成装置において、カードを含む３次元空間を撮影する撮像部と、撮影された映像から、前記カードの種類、３次元位置情報、姿勢情報、及び前記撮像部の内部情報を取得するカード情報取得部と、撮影された映像信号から得られる２次元の座標軸に基づいて合成する他の映像信号の表示位置を設定する座標入力部と、前記他の映像信号を表示する高さを設定する高さ情報入力部と、予め設定された座標変換情報に基づいて、２次元座標及び高さ座標を前記３次元空間上の３次元座標に変換する座標変換部と、前記３次元座標に基づいて、予め設定された前記他の映像の描画を行う映像描画部と、前記映像描画部により得られる映像と前記撮像部により得られる映像とを合成する映像合成部とを有する。
【選択図】図１

Description

本発明は、映像合成装置及び映像合成プログラムに係り、特に簡易に高精度な映像合成を実現するための映像合成装置及び映像合成プログラムに関する。

従来、カメラ等の撮像手段により所定の模様等が描かれたカード等を撮影し、その撮影されたカメラ映像から検出されるカードの種類や３次元位置、姿勢情報に基づいて、ＣＧ映像をカメラ映像に合成出力する装置についての技術が知られている。（例えば、特許文献１参照。）
特許文献１では、予めカード上に定義されている座標（世界座標）の特定の３次元位置に、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）映像を描画する設定を与え、使用者等により把持されるカードをカメラで撮影したカメラ映像から得られる３次元位置、姿勢情報に基づき、カードに対応するＣＧ映像を描画してカメラ映像にＣＧ映像を合成表示する技術を用いている。

また、従来では、カメラの３次元位置、姿勢情報を計測する装置により検出されるカメラの３次元位置、姿勢情報に基づいて、ＣＧ映像をカメラ映像に描画し、合成出力するバーチャルスタジオ装置についての技術が用いられている。

上述のバーチャルスタジオシステムでは、予めスタジオ等の３次元空間に定義される座標の特定の３次元位置にＣＧ映像を描画する設定を与え、３次元位置、姿勢情報を計測する装置によって検出されるカメラ３次元位置、姿勢情報に基づき、ＣＧ映像を描画し、カメラでスタジオ等を撮影したカメラ映像にＣＧ映像を合成表示する技術が用いられている。
特開２００５−１３６７７６号公報

ところで、上述した特許文献１では、カード上に定義される座標の特定の３次元位置にＣＧ映像を描画し、描画したＣＧ映像とカードを撮影したカメラ映像とをカード上に定義される座標系に合わせて合成表示することができる。

また、より高精度な映像合成を実現するためには、例えば使用者がカメラ映像の中からＣＧ映像を合成したい任意の点を選択し、選択されたカメラ映像中の任意の点にカードを基準に定義される座標系に合わせてＣＧ映像を描画し合成表示できることが好ましい。しかしながら、従来では、上述の合成表示を実現できていない。

また、バーチャルスタジオシステムにおいても、従来はスタジオ等の３次元空間に定義される座標の特定の３次元位置にＣＧ映像を描画し、特定の３次元位置に描画したＣＧ映像と、カメラでスタジオ等を撮影したカメラ映像をスタジオ等の３次元空間に定義される座標系に合わせて合成表示するようにしていた。したがって、より高精度な映像合成を実現するためには、使用者がカメラ映像の中からＣＧ映像を合成したい任意の点を選択し、選択されたカメラ映像の任意の点にスタジオ等の３次元空間に定義される座標系に合わせてＣＧ映像を描画し合成表示できることが好ましい。

本発明は、上述した問題点に鑑みなされたものであり、簡易に高精度な映像合成を実現するための映像合成装置及び映像合成プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、撮影された映像信号に他の映像信号を合成するための映像合成装置において、前記映像信号を表示させる基準となるカードを少なくとも１つ含む３次元空間を撮影する撮像部と、前記撮像部により得られた映像から、前記カードの種類、３次元位置情報、姿勢情報、及び前記撮像部の内部情報を取得するカード情報取得部と、前記撮像部により撮影された映像信号から得られる２次元の座標軸に基づいて合成する他の映像信号の表示位置を設定する座標入力部と、前記他の映像信号を表示する高さを設定する高さ情報入力部と、予め設定された座標変換情報に基づいて、前記座標入力部により得られる２次元座標及び前記高さ情報部により得られる高さ座標を前記３次元空間上の３次元座標に変換する座標変換部と、前記座標変換部により得られた３次元座標に基づいて、予め設定された前記他の映像の描画を行う映像描画部と、前記映像描画部により得られる映像と前記撮像部により得られる映像とを合成する映像合成部とを有することを特徴とする。

請求項１記載の発明によれば、カードを含む３次元空間を撮影した映像の所定の位置に他の映像を合成することができる。これにより、簡易に高精度な映像合成を実現することができる。

請求項２に記載された発明は、撮影された映像信号に他の映像信号を合成するための映像合成装置において、３次元空間を撮影する撮像部と、前記撮像部の３次元位置情報、及び姿勢情報を計測し、前記撮像部の内部情報を取得する計測部と、前記撮像部により撮影された映像信号から２次元の座標軸に基づいて合成する他の映像信号の表示位置を設定する座標入力部と、前記他の映像信号を表示する高さを設定する高さ情報入力部と、予め設定された座標変換情報に基づいて、前記座標入力部により得られる２次元座標及び前記高さ情報部により得られる高さ座標を前記３次元空間上の３次元座標に変換する座標変換部と、前記座標変換部により得られた３次元座標に基づいて、予め設定された前記他の映像の描画を行う映像描画部と、前記映像描画部により得られる映像と前記撮像部により得られる映像とを合成する映像合成部とを有することを特徴とする。

請求項２記載の発明によれば、３次元空間を撮影した映像の所定の位置に他の映像を合成することができる。これにより、簡易に高精度な映像合成を実現することができる。

請求項３に記載された発明は、前記他の映像を移動させる場合に、前記移動の内容を設定する移動情報入力部を有することを特徴とする。

請求項３記載の発明によれば、他の映像の移動内容を容易に設定できる。また、動作内容を設定することで、合成する他の映像について複雑で多種の動作を行わせることができる。これにより、高精度な映像合成を実現することができる。

請求項４に記載された発明は、前記他の映像の移動に連動した動作を行う対象となる映像を選択する対象入力部を有することを特徴とする。

請求項４記載の発明によれば、合成する他の映像と連動して対象となる映像に複雑な動作を行わせることができる。これにより、高精度な映像合成を実現することができる。

請求項５に記載された発明は、前記高さ情報入力部は、前記３次元空間にある前記カードの実際の高さを基準とした相対的な高さを設定することを特徴とする。

請求項５記載の発明によれば、カードと合成される映像間の位置関係を明確にすることができ、高さを容易に設定することができる。

請求項６に記載された発明は、前記映像描画部は、描画する映像が複数存在する場合、予め蓄積されている複数の映像に対応した１つの映像を抽出し、抽出された映像を用いて描画を行うことを特徴とする。

請求項６記載の発明によれば、予め作成された連動動作を行う１つの映像を用いるため、違和感のない映像を出力することができる。

請求項７に記載された発明は、撮影された映像信号に他の映像信号を合成するための映像合成処理をコンピュータに実行させるための映像合成プログラムにおいて、前記映像信号を表示させる基準となるカードを少なくとも１つ含む３次元空間を撮像手段により撮影する撮影処理と、前記撮影処理により得られた映像から、前記カードの種類、３次元位置情報、姿勢情報、及び前記撮影手段の内部情報を取得するカード情報取得処理と、前記撮影処理により撮影された映像信号から得られる２次元の座標軸に基づいて合成する他の映像信号の表示位置を設定する座標入力処理と、前記他の映像信号を表示する高さを設定する高さ情報入力処理と、予め設定された座標変換情報に基づいて、前記座標入力処理により得られる２次元座標及び前記高さ情報処理により得られる高さ座標を前記３次元空間上の３次元座標に変換する座標変換処理と、前記座標変換処理により得られた３次元座標に基づいて、予め設定された前記他の映像の描画を行う映像描画処理と、前記映像描画処理により得られる映像と前記撮影処理により得られる映像とを合成する映像合成処理とをコンピュータに実行させる。

請求項７記載の発明によれば、カードを含む３次元空間を撮影した映像の所定の位置に他の映像を合成することができる。これにより、簡易に高精度な映像合成を実現することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に本発明における映像合成処理を実現することができる。

請求項８に記載された発明は、撮影された映像信号に他の映像信号を合成するための映像合成処理をコンピュータに実行させるための映像合成プログラムにおいて、３次元空間を撮像手段により撮影する撮影処理と、前記撮像手段により３次元位置情報、及び姿勢情報を計測し、前記撮像手段の内部情報を取得する計測処理と、前記撮影処理により撮影された映像信号から２次元の座標軸に基づいて合成する他の映像信号の表示位置を設定する座標入力処理と、前記他の映像信号を表示する高さを設定する高さ情報入力処理と、予め設定された座標変換情報に基づいて、前記座標入力処理により得られる２次元座標及び前記高さ情報処理により得られる高さ座標を前記３次元空間上の３次元座標に変換する座標変換処理と、前記座標変換処理により得られた３次元座標に基づいて、予め設定された前記他の映像の描画を行う映像描画処理と、前記映像描画処理により得られる映像と前記撮影処理により得られる映像とを合成する映像合成処理とをコンピュータに実行させる。

請求項８記載の発明によれば、３次元空間を撮影した映像の所定の位置に他の映像を合成することができる。これにより、簡易に高精度な映像合成を実現することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に本発明における映像合成処理を実現することができる。

本発明によれば、簡易に高精度な映像合成を実現することができる。

＜本発明の概要＞
本発明は、カードを撮影したカメラ映像の中からＣＧ映像を合成したい任意の点を使用者が自由に選択し、選択された力メラ映像の任意の点に力一ド上に定義される座標系（世界座標系）に合わせてＣＧ映像を描画し、合成出力する装置を提供することを目的とする。

更に、スタジオ等の３次元空間を撮影したカメラ映像の中からＣＧ映像を合成したい任意の点を自由に選択し、選択されたカメラ映像の任意の点に、スタジオ等の３次元空間に定義される座標系に合わせてＣＧ映像を描画し、合成出力する装置を提供する。

以下に、上述したような特徴を有する本発明における映像合成装置及び映像合成プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

＜第１の実施形態＞
図１は、第１の実施形態における映像合成装置の一構成例を示す図である。図１に示す映像合成装置１０は、カメラ１１と、カード情報取得装置１２と、座標変換装置１３と、カメラ座標入力部１４と、高さ情報入力部１５と、映像描画合成装置１６と、蓄積部１７とを有するよう構成されている。

また、座標変換装置１３は、座標変換式算出部２１と、座標変換部２２とを有するよう構成されている。また、映像描画合成装置１６は、ＣＧ映像描画部２３と、映像合成部２４とを有するよう構成されている。

カメラ１１は、３次元位置（Ｘ，Ｙ，Ｚ）座標からなる３次元の座標系（世界座標系）が設定された３次元空間１を撮影するための撮像部である。したがって、カメラ１１は、少なくとも１つのカード（図１では、カード２）が存在している３次元空間１を撮影する。また、カメラ１１は、撮影した画像をカード情報取得装置１２、カメラ座標入力部１４、及び映像描画合成装置１６に出力する。

カード情報取得装置１２は、カード２を含む３次元空間を撮影することで得られたカメラ映像からカード２の種類（カード種別）と、位置情報と、姿勢情報と、カメラの焦点距離、解像度、画像アスペクト比、及びレンズ歪情報等のうち少なくとも１つからなるカメラ１１の内部情報とを取得し、取得したカードの種類、位置情報、姿勢情報、カメラ１１の内部情報等を座標変換装置１３及び映像描画合成装置１６に出力する。

また、座標変換装置１３は、カード情報取得装置１２から得られるカード２の位置情報、姿勢情報、及びカメラ１１の内部情報からカード２上に定義される３次元の座標系（世界座標系）と、カメラ映像上に定義される２次元のカメラ座標系の座標変換式を計算する。また、座標変換装置１３は、変換した３次元座標系の３次元位置（Ｘ，Ｙ，Ｚ）座標を映像描画合成装置１６に出力する。

ここで、座標変換装置１３について具体的に説明すると、座標変換式算出部２１は、カード情報取得装置１２から得られるカード２の位置情報、姿勢情報、及びカメラ１１の内部情報から、カード２上に定義される３次元の世界座標系と、カメラ映像上に定義される２次元のカメラ座標系（ｘ，ｙ）との座標変換式を計算する。

まず、カード情報取得装置１２で得られるカード２の位置情報、姿勢情報、及びカメラ１１の内部情報から以下の（１）、（２）式に示す行列（透視投影行列、回転・平行移動行列）を生成する。

なお、上述の（１）式において、Ｐはカメラ１１の焦点座標を示している。また、上述の（２）式において、Ｒは回転角を示し、Ｔは３次元のそれぞれの軸方向に対する平行移動距離を示している。

次に、生成した行列、カメラ映像上に定義されるカメラ１１の２次元座標（ｘ，ｙ）、及びカード２に定義される３次元の世界座標（Ｘ，Ｙ，Ｚ）から以下の（３）式に示すような変換式を作成する。

なお、上述した（３）式において、ｇは、カメラ１１と世界座標点（Ｘ，Ｙ，Ｚ）までの距離を示している。また、上述した（３）式によりカメラ映像上に定義される２次元のカメラ座標系の（ｘ，ｙ）座標と、カード上に定義される３次元の世界座標系の（Ｘ，Ｙ，Ｚ）座標との座標変換式が得られる。

座標変換式算出部２１は、上述した（１）〜（３）式により得られた３次元の世界座標系を座標変換部２２に出力する。

また、カメラ座標入力部１４は、図１に示すようにカード２を撮影したカメラ映像３の中からＣＧ映像を合成表示したい画像中の任意の点のカメラ座標系の（ｘ，ｙ）座標を入力する。なお、カメラ映像３は、映像合成装置が有するディスプレイ等の表示手段により表示される映像である。

ここで、任意の点の座標入力は、使用者が任意の点を選択し、その選択された点の（ｘ，ｙ）座標を入力したり、映像中の特徴点を画像認識手法によって抽出し、抽出された特徴点の（ｘ，ｙ）座標を、ＣＧ映像を合成表示したい任意の点のカメラ座標系の（ｘ，ｙ）座標として出力してもよい。

なお、上述した映像中における特徴点の抽出例としては、例えば映像中に含まれるカード２の位置座標を取得し、その座標を基準にカメラ座標系の（ｘ，ｙ）座標を設定することができる。また、カメラ座標入力部１４は、後述する蓄積部１７に蓄積されている合成したいＣＧ映像の種別、動作内容等を入力することもできる。

また、高さ情報入力部１５は、ＣＧ映像を描画する３次元位置の世界座標系の高さ情報を与える。高さ情報は、カード面を高さ方向の座標Ｚ＝０と定義し、相対的な高さ座標を入力する。例えば、カード面と同じ高さにＣＧ映像を描画したい場合はＺ＝０と設定する。これにより、カードと合成される映像間の位置関係を明確にすることができ、高さを容易に設定することができる。

座標変換部２２は、カメラ座標入力部１４から入力されるＣＧ映像を合成表示したい任意の点のカメラ座標系の（ｘ，ｙ）座標、及び高さ情報入力部１５から入力されるＣＧ映像を描画したい世界座標系の高さ情報（Ｚ座標）を上述の座標変換式（（３）式）に代入する。

具体的には、ＣＧ映像を合成表示したい任意の点のカメラ座標系の（ｘ，ｙ）座標を上述の（３）式の（ｘ，ｙ）に代入し、ＣＧ映像を描画したい世界座標系の高さ情報（Ｚ座標）を上述の（３）式のＺに代入する。次に、代入した値を利用して（３）式を解き、Ｘ，Ｙ，ｇを求める。この計算結果に基づいて、ＣＧを描画する３次元座標系の３次元位置（Ｘ，Ｙ，Ｚ）座標が生成される。座標変換部２２は、生成された３次元位置（Ｘ、Ｙ、Ｚ）座標を映像描画合成装置１６に出力する。

映像描画合成装置１６は、カメラ１１により撮影された映像、カード情報取得装置１２により得られるカード２の種類、位置情報、姿勢情報、カメラ１１の内部情報、座標変換装置１３から得られる合成するＣＧ映像の３次元位置（Ｘ，Ｙ，Ｚ）座標に基づいて、蓄積部１７に予め蓄積されたカード１１に対応するＣＧ映像及びカメラ座標入力部１４により得られるカメラ座標系に表示されるＣＧ映像をカメラ１１により撮影された映像に描画し、合成出力する。

ここで、映像描画合成装置１６について具体的に説明すると、ＣＧ映像描画部２３は、予め設定された描画するＣＧ映像を蓄積部１７から抽出し、座標変換部２２にて算出されたＣＧ映像を描画する３次元座標系の３次元位置（Ｘ，Ｙ，Ｚ）座標に基づいて描画を行う。なお、蓄積部１７から抽出されるＣＧ映像は、入力されるカード２の種類に基づいて抽出させてもよく、また抽出される特定のＣＧ映像を予め設定しておいてもよい。

ここで、図２は、第１の実施形態において蓄積部に蓄積されるデータの一例を示す図である。図２に示すように、蓄積部１７には、合成させるＣＧ種別と、ＣＧ毎の動作種別と、動作種別に対応したＣＧ映像データが関連付けられて、蓄積されている。

ＣＧ映像描画部２３は、蓄積部１７の中からカード２の種類や使用者からの入力により予め設定されたＣＧ種別や動作種別に基づいて、対応する特定のＣＧ映像データを抽出する。また、ＣＧ映像描画部２３は、描画結果をカード上に定義される世界座標系に合わせてカメラ映像に合成するために、上述したカード情報取得装置１２によって得られるカード２の位置情報、姿勢情報、カメラ１１の内部情報を利用して描画結果を射影変換した映像を、映像合成部２４に出力する。なお、ＣＧ映像描画部２３における描画処理は、例えばＯｐｅｎＧＬ等の汎用的なＣＧ制作言語等により実現可能である。

また、映像合成部２４は、ＣＧ映像描画部２３から出力される描画したＣＧ映像と、カメラ１１から得られるカメラ映像とを合成し、ＣＧ映像とカメラ映像を合成した合成映像４を出力する。つまり、映像合成部２４から出力された合成映像４には、図１に示すように設定した座標位置にＣＧ映像５が表示されることになる。なお、映像合成部２４における映像合成処理は、例えば従来のクロマキー合成技術等により実現可能である。

上述したように、第１の実施形態により、カメラ映像中の任意の点の２次元のカメラ座標を、カード上に定義される３次元の世界座標に変換することができる。また、カメラ映像中の任意の点に、カード上に定義される世界座標系に合わせてＣＧ映像を描画し、合成表示することができる。

具体的には、カメラで撮影したカメラ映像にＣＧ映像を合成した合成映像を出力する際に、カメラ映像又はＣＧ映像の合成映像を見ながら、カメラ映像又は合成映像中の任意の点に所望するＣＧ映像を合成表示させることができる。これにより、カメラ映像又はＣＧ映像とカメラの合成映像を見ながら、リアルタイムに映像中の任意の点にＣＧ映像を合成表示することが可能になり、放送番組等で新しい映像演出を実現することができる。また、カメラ映像にＣＧ映像を合成表示する映像を制作する際の処理の簡素化を図ることができる。したがって、簡易に高精度な映像合成を実現することができる。

＜第２の実施形態＞
次に、本発明における第２の実施形態について説明する。上述した第１の実施形態では、カードの位置情報に基づいて、空間の３次元位置、姿勢情報、カメラ内部情報を取得していたが、第２の実施形態では、カメラ位置を基準に位置情報を取得し、取得した各情報に基づいて映像合成を行うものである。

図３は、第２の実施形態における映像合成装置の一構成例を示す図である。なお、図３において、図１と同一の機能構成を有する部分については同一の符号を付すものとし、ここでの説明は省略する。

図３に示す映像合成装置３０は、カメラ１１と、計測装置３１と、座標変換装置３２と、カメラ座標入力部１４と、高さ情報入力部１５と、映像描画合成装置３３と、蓄積部１７とを有するよう構成されている。

また、座標変換装置３２は、座標変換式算出部４１と、座標変換部４２とを有するよう構成されており、映像描画合成装置３３は、ＣＧ映像描画部４３と、映像合成部４４とを有するよう構成されている。

計測装置（計測部）３１は、スタジオ等の３次元空間１を撮影するカメラ１１に内蔵もしくは外部に取り付けられている。計測装置３１は、カメラ１１の３次元位置と、姿勢情報とを計測し、更にカメラ１１の焦点距離、解像度、画像アスペクト比、及びレンズの歪情報等のうち少なくとも１つからなるカメラ１１の内部情報を取得して座標変換装置３２及び映像描画合成装置３３に出力する。

次に、座標変換装置３２は、まず座標変換式算出部４１が、計測装置３１から得られるカメラの位置情報、姿勢情報、カメラの内部情報から、上述した（１）式〜（３）式を用いてスタジオ等の３次元空間１中に定義される３次元の世界座標系と、カメラ映像３に定義される２次元のカメラ座標系の座標変換式を計算する。また、座標変換式算出部４１は、算出したカメラ映像３上に定義される２次元のカメラ座標系の（ｘ，ｙ）座標と、３次元の世界座標系の（Ｘ，Ｙ，Ｚ）座標との座標変換式（（３）式）を座標変換部４２に出力する。

座標変換部４２は、カメラ座標入力部１４により得られるＣＧ映像を合成表示したい画像中の任意の点のカメラ座標系（ｘ，ｙ）座標、及び高さ情報入力部１５により得られるＣＧ映像を描画したい世界座標系の高さ情報（Ｚ座標）を座標変換式（（３）式）に代入する。また、座標変換部４２は、代入した結果からＣＧを描画する３次元座標系の３次元位置（Ｘ，Ｙ，Ｚ）座標を取得し、映像描画合成装置３３に出力する。

次に、映像描画合成装置３３において、ＣＧ映像描画部４３は、座標変換部４２により得られたＣＧ映像を描画する３次元座標系の３次元位置（Ｘ，Ｙ，Ｚ）座標に基づいて描画したいＣＧ映像を描画する。更に、ＣＧ映像描画部４３は、描画結果をカメラの映像により定義される世界座標系に合わせてカメラ映像に合成するために、計測装置３１によって計算されるカメラの位置情報、姿勢情報、カメラ１１の内部情報を利用して描画結果を射影変換した映像を、描画したＣＧ映像として映像合成部４４に出力する。

また、映像合成部４４は、ＣＧ映像描画部４３から出力される描画したＣＧ映像を合成した合成映像４として出力する。つまり、映像合成部２４から出力された合成映像４には、図３に示すように設定したカメラで撮影した３次元座標位置にＣＧ映像５が表示されることになる。

上述したように、第２の実施形態により、カメラ映像中の任意の点の２次元のカメラ座標を、撮影された３次元の世界座標に変換することができる。また、カメラ映像中の任意の点に、スタジオ等の３次元空間に定義される世界座標系に合わせてＣＧ映像を描画し、合成表示することができる。したがって、簡易に高精度な映像合成を実現することができる。

＜第３の実施形態＞
次に、本発明における第３の実施形態について説明する。第３の実施形態では、上述した第１の実施形態と比較して座標空間上に複数のカードが含まれる場合、そのカードの位置関係や動作の内容、使用者側から指定した動作設定等に基づいてＣＧ映像に動作を与えた映像を合成する。

ここで、第３の実施形態について図を用いて説明する。図４は、第３の実施形態における映像合成装置の一構成例を示す図である。なお、図４において、図１と同一の機能構成を有する部分については同一の符号を付すものとし、ここでの説明は省略する。また、以下の説明では、撮影される空間上に３枚のカードを有する例について説明するが、本発明においてカードの枚数については特に制限されるものではない。

図４に示す映像合成装置５０は、カメラ１１と、カード情報取得装置５１と、座標変換装置５２と、カメラ座標検出部５３と、高さ情報入力部５４と、映像描画合成装置５５と、蓄積部１７と、ターゲット入力部５６と、移動情報入力部５７とを有するよう構成されている。

また、座標変換装置５２は、座標変換式算出部６１と、座標変換部６２とを有するよう構成されている。また、映像描画合成装置５５は、ＣＧ映像描画部６３と、映像合成部６４とを有するよう構成されている。

カメラ１１は、３次元位置（Ｘ，Ｙ，Ｚ）座標からなる３次元の座標系（世界座標系）が設定された３次元空間１に含まれている複数のカード（図３では、カード２−１〜２−３）の映像を撮影する。また、カメラ１１は、撮影した画像をカード情報取得装置５１、カメラ座標検出部５３、及び映像描画合成装置５５に出力する。

カード情報取得装置５１は、カード２−１〜２−３を含む３次元空間を撮影することで得られたカメラ映像からそれぞれのカードの種類（カード種別）と、位置情報と、姿勢情報と、カメラの焦点距離、解像度、画像アスペクト比、及びレンズ歪情報等のうち少なくとも１つからなるカメラ１１の内部情報とを検出し、それぞれのカード２−１〜２−３の位置情報、姿勢情報、カメラ１１の内部情報等を座標変換装置５２及び映像描画合成装置５５に出力する。

また、座標変換装置５２において、座標変換式算出部６１は、カード情報取得装置５１から得られるそれぞれのカード２−１〜２−３の位置情報、姿勢情報、及びカメラ１１の内部情報から、カード２−１〜２−３上に定義される３次元の世界座標系と、カメラ映像上に定義される２次元のカメラ座標系（ｘ，ｙ）との座標変換式を計算する。

まず、カード情報取得装置５１で得られるカード２−１〜２−３の位置情報、姿勢情報、及びカメラ１１の内部情報から上述した（１）、（２）式に示す行列（透視投影行列、回転・平行移動行列）を生成する。次に、生成した行列、カメラ映像上に定義されるカメラの２次元座標（ｘ，ｙ）、及びカード２−１〜２−３に定義される３次元の世界座標（Ｘ，Ｙ，Ｚ）から以下の（３）式に示すような変換式を作成する。

座標変換式算出部６１は、上述した（１）〜（３）式により得られた３次元の世界座標系を座標変換部６２に出力する。

ここで、カメラ座標検出部５３は、図４に示すように各カード２−１〜２−３を撮影したカメラ映像３の中から各カード２−１〜２−３のカメラ座標系の（ｘ，ｙ）座標を検出して座標変換部６２に出力する。

また、高さ情報入力部５４は、ＣＧ映像を描画する３次元位置の世界座標系の高さ情報を与える。高さ情報は、複数あるカードのうち、何れか１つのカード（例えば、カード２−１）を基準にし、そのカード面を高さ方向の座標Ｚ＝０と定義し、相対的な高さ座標を入力する。例えば、カード面と同じ高さにＣＧ映像を描画したい場合はＺ＝０と設定する。これにより、カードと合成される映像間の位置関係を明確にすることができ、高さを容易に設定することができる。

座標変換部６２は、カメラ座標検出部５３から入力されるＣＧ映像を合成表示したい任意の点のカメラ座標系の（ｘ，ｙ）座標、及び高さ情報入力部５４から入力される各カードの高さ情報（Ｚ座標）を上述の座標変換式（（３）式）にそれぞれ代入する。

具体的には、ＣＧ映像を合成表示したい任意の点のカメラ座標系の（ｘ，ｙ）座標を上述の（３）式の（ｘ，ｙ）に代入し、ＣＧ映像を描画したい世界座標系の高さ情報（Ｚ座標）を上述の（３）式のＺに代入する。次に、代入した値を利用して（３）式を解き、Ｘ，Ｙ，ｇを求める。この計算結果に基づいて、ＣＧを描画する３次元座標系の３次元位置（Ｘ，Ｙ，Ｚ）座標が生成される。座標変換部６２は、生成された３次元位置（Ｘ、Ｙ、Ｚ）座標を映像描画合成装置５５に出力する。

映像描画合成装置５５は、蓄積部１７に予め蓄積されたカード２−１〜２−３に対応するＣＧ映像や、カメラ座標検出部５３により検出されたカメラ座標系に表示されるＣＧ映像及び移動を伴う移動ＣＧ映像等から所定のＣＧ映像を取得し、座標変換部６２で取得した３次元位置（Ｘ，Ｙ，Ｚ）座標に変換して出力する。

ターゲット入力部（対象入力部）５６は、描画したいＣＧ映像等が複数ある場合、カード２−１〜２−３のうち、予め設定されるメインのカードから移動ＣＧ映像の移動先の対象となるカード（ターゲットカード）の識別情報（例えば、カード番号等）を入力する。

また、移動情報入力部５７は、移動ＣＧ映像をどのような速度で、どの方向に、どのように動作させるか等を示す移動情報を入力する。ＣＧ映像描画部６３は、これらの入力データに基づいて、複数のＣＧ映像の描写を行い、映像合成部６４に出力する。また、映像合成部６４は、ＣＧ映像描画部６３により得られる映像と、カメラ１１により撮影した空間画像とを合成し、合成映像を出力する。

つまり、図４に示すように、合成映像４にはカード２−１〜２−３にそれぞれ対応するＣＧ映像５−１〜５−３が表示されると共に、ＣＧ映像間を移動するボール等の移動ＣＧ映像６が表示される。このように、移動情報入力部５７により合成する他の映像について複雑で多種の動作を行わせることができる。

なお、移動情報入力部５７は、予め動作内容等を設定した複数の異なるパラメータ等を蓄積しておき、その情報を指定することで容易に設定を行うことができる。

ここで、第３の実施形態において、蓄積部１７に蓄積されるデータの内容について図を用いて説明する。図５は、第３の実施形態におけるデータの一例を示す図である。なお、図５（ａ）は、カードに対応するＣＧ映像の内容を示し、図５（ｂ）は、移動用のＣＧ映像の内容を示す図である。

図５（ａ）に示すように、カードに対応するＣＧ映像のデータ項目としては、カード種別と、カード種別に対応する動作種別と、動作種別に対応するＣＧ映像のデータとが関連付けられて蓄積されている。また、図５（ｂ）に示すように、移動するＣＧ映像の種別を示す移動ＣＧ種別と、移動ＣＧ種別に対応する動作内容が記述された動作内容と、移動の方法に関する情報が蓄積されている。

つまり、カメラ１１により撮影されたカードから得られるカード種別と、設定された動作種別と、ターゲット入力部５６により入力されたターゲット種別と、移動情報入力部５７により入力された移動ＣＧ種別により描画される映像が設定される。

ここで、上述した第３の実施形態におけるＣＧ映像の動作内容について図を用いて説明する。図６は、第３の実施形態によるカード間でＣＧ映像を移動させる一例を示す図である。なお、図６では、一例として４枚のカード７１−１〜７１−４が３次元座標空間上の所定の位置に置かれ、更にそれぞれのカード７１−１〜７１−４に対応するキャラクタ７２−１〜７２−４が設定されているものとする。また、図６では、一例として移動ＣＧ映像としてボール７３を用い、移動するＣＧ映像の動きを説明するため、フレーム１〜１０を配列させている。

ここで、まず図６のフレーム１に示すようにカード７１−１のキャラクタ７２−１がボール７３を持っているものとする。なお、このときの映像は、キャラクタ７２−１と、ボール７３とが１つの映像で表示されていてもよく、カード７１−１に対応するキャラクタ７２−１の映像と、移動ＣＧであるボール７３の映像をそれぞれ用意し合成表示させていてもよい。

ここで、ターゲット入力部５６により入力されたターゲット種別を“カード７１−３”とし、移動情報入力部５７により入力された移動ＣＧ種別が“ＣＧ３”とする。このとき、キャラクタ７２−１は、キャラクタ７２−３にロングパスを出す動作を行う。その後、ボール７３は頂点のＺ座標を５０とした放物線に沿って３０ｃｍ／秒でキャラクタ７２−３まで到達する（図６におけるフレーム１〜５）。

なお、図６におけるフレーム５において、キャラクタ７２−３は、ボールをキャッチしている映像に変えることもできる。つまり、カードの映像（キャラクタ）と移動ＣＧの映像（ボール）とを組み合わせた新たな映像を蓄積部等に予め用意しておき、カードと移動ＣＧの位置関係に基づき対応させた映像を表示させるようにしてもよい。

また、ターゲット入力部５６や、移動情報入力部５７には複数の情報を設定しておくこともできる。例えば、ターゲット入力部５６により上述したような設定を行った後、更に入力されたターゲット種別を“カード７１−２”とし、移動情報入力部５７により入力された移動ＣＧ種別が“ＣＧ３”とする。このとき、カード７１−３に対応するキャラクタ７２−３は、キャラクタ７２−２にロングパスを出す動作を行う。その後、ボール７３は頂点のＺ座標を５０とした放物線に沿って３０／秒でキャラクタ７２−２まで到達する（図６におけるフレーム６〜９）。

上述したように、第３の実施形態により、ＣＧ映像の設定を詳細に行うことができるため、より高精度なＣＧ映像の移動、各映像の位置や動作等による各ＣＧの関連した動作を実現することができる。

なお、上述の第３の実施形態は、カード情報から３次元位置情報を取得する例について説明したが、本発明においてはこの限りではなく、例えば上述した第２の実施形態で示したように計測装置を用いた位置情報に基づいてＣＧ映像の合成を行うことができる。

＜第４の実施形態＞
次に、本発明における第４の実施形態について説明する。第４の実施形態では、第３の実施形態と同様の構成であるが、例えば、カードに対応付けられるキャラクタと、３次元空間上に存在する壁等の物体（障害物）との間で移動ＣＧ映像を動作させるものである。

ここで、本発明における第４の実施形態について図を用いて説明する。図７は、第４の実施形態における映像合成装置の一構成例を示す図である。なお、図７において、図４と同一の機能構成を有している。また、以下の説明では、撮影される空間上に３枚のカードを有する例について説明するが、本発明におけるカードの枚数については特に制限されるものではない。

カメラ１１は、カード２−１，２−２，２−３が含まれる３次元空間１の内容を撮影する。なお、カード２−２，２−３は３次元空間１の壁の所定の高さに貼り付けられている。また、カメラ１１は、撮影した映像をカード情報取得装置５１、カメラ座標検出部５３、及び映像描画合成装置５５に出力する。

また、カード情報取得装置５１は、カード２−１〜２−３の種類と、位置情報と、姿勢情報と、上述したカメラの内部情報とを取得して座標変換装置５２及び映像描画合成装置５５に出力する。

また、座標変換装置５２において、座標変換式算出部６１は、カード情報取得装置５１から得られるそれぞれのカード２−１〜２−３の位置情報、姿勢情報、及びカメラの内部情報から、上述したようにカード２−１〜２−３上に定義される３次元の世界座標系と、カメラ映像上に定義される２次元のカメラ座標系（ｘ，ｙ）との座標変換式を計算する。

ここで、カメラ座標検出部５３は、図７に示すように各カード２−１〜２−３を撮影したカメラ映像３の中から各カード２−１〜２−３のカメラ座標系の（ｘ，ｙ）座標を検出して座標変換部６２に出力する。

また、高さ情報入力部５４は、ＣＧ映像を描画する３次元位置の世界座標系の高さ情報を与える。高さ情報は、複数あるカードのうち、何れか１つのカード（例えば、カード２−１）を基準にし、そのカード面を高さ方向の座標Ｚ＝０と定義し、相対的な高さ座標を入力する。例えば、カード面と同じ高さにＣＧ映像を描画したい場合はＺ＝０と設定する。これにより、カードと合成される映像間の位置関係を明確にすることができ、高さを容易に設定することができる。なお、カード２−２及びカード２−３の高さは、予めカード２−１を基準にした相対的なＺ座標が設定されている。

座標変換部６２は、上述したように各カード２−１〜２−３のカメラ座標系の（ｘ，ｙ）座標、及び高さ情報入力部５４から入力される各カードの高さ情報（Ｚ座標）を上述の座標変換式に代入して（３）式を解き、Ｘ，Ｙ，ｇを求める。この計算結果に基づいて、ＣＧを描画する３次元座標系の３次元位置（Ｘ，Ｙ，Ｚ）座標が生成される。座標変換部６２は、生成された３次元位置（Ｘ，Ｙ，Ｚ）座標を映像描画合成装置５５に出力する。

映像描画合成装置５５は、蓄積部１７に予め蓄積されたカード２−１〜２−３に対応するＣＧ映像や、カメラ座標検出部５３により検出されたカメラ座標系に表示されるＣＧ映像及び移動を伴う移動ＣＧ映像等から所定のＣＧ映像を取得し、座標変換部６２で取得した３次元位置（Ｘ，Ｙ，Ｚ）座標に変換して出力する。

ターゲット入力部５６は、描画したいＣＧ映像等が複数ある場合、予め設定されるメインのカードから移動ＣＧ映像を動かすターゲットカードの識別情報（例えば、カード番号等）を入力する。

また、移動情報入力部５７は、移動ＣＧ映像がどのように動作するかについてのパラメータ情報等を入力する。ＣＧ映像描画部６３は、これらの入力データに基づいて、複数のＣＧ映像の描写を行い、映像合成部６４に出力する。また、映像合成部６４は、ＣＧ映像描画部６３により得られる映像と、カメラ１１により撮影した空間画像とを合成し、合成映像を出力する。つまり、図７に示すように合成映像４には、カード２−１に対応するＣＧ映像５が表示されると共に、ＣＧ映像間を移動する移動ＣＧ映像６も表示される。したがって、高精度な合成映像を出力することができる。なお、図７に示すようにカード２−２，２−３は壁であるためＣＧを表示させなくてもよい。

なお、移動情報入力部５７は、予め動作内容等を設定した複数の異なるパラメータ等を蓄積しておき、その情報を指定することで容易に設定を行うことができる。

ここで、第４の実施形態において、蓄積部１７に蓄積されるデータの内容について図を用いて説明する。図８は、第４の実施形態におけるデータの一例を示す図である。なお、図８（ａ）は、カードに対応するＣＧ映像の内容を示し、図８（ｂ）は、移動用のＣＧ映像の内容を示す図である。

図８（ａ）に示すように、カードに対応するＣＧ映像のデータ項目としては、カード種別と、カード種別に対応する動作種別と、動作種別に対応するＣＧ映像のデータとが関連付けられて蓄積されている。ここで、第４の実施形態においては、カード２−２、カード２−３は、壁のポイントを指し示すために用いられるものであるため、ＣＧ映像データは予め用意しておかなくてもよい。また、例えば、カード２−２の位置に移動ＣＧが到達したときに新たなＣＧ映像データを表示させるような場合には、そのＣＧ映像データを設定しておいてもよい。

また、図８（ｂ）に示すように、移動するＣＧ映像の種別を示す移動ＣＧ種別と、移動ＣＧ種別に対応する動作内容が記述された動作内容と、移動の方法に関する情報が蓄積されている。

つまり、カメラ１１により撮影されたカードから得られるカード種別と、設定された動作種別と、ターゲット入力部５６により入力されたターゲット種別と、移動情報入力部５７により入力された移動ＣＧ種別に基づいて、対応する情報を選択する。

ここで、上述した第４の実施形態におけるＣＧ映像の動作内容について図を用いて説明する。図９は、第４の実施形態によるカード間でＣＧ映像を移動させる一例を示す図である。なお、図９では、一例として３枚のカード８１−１〜８１−３が３次元座標空間上の所定の位置に置かれており、カード８１−１には、キャラクタ８２が設定されており、カード８１−２，８１−３は移動ＣＧ映像を移動させる移動先のポイント（マーカー）の役割で壁に貼り付けられている。

また、図９では、一例として移動ＣＧ映像としてボール８３を用い、更に移動するＣＧ映像の動きを説明するため、フレーム１〜１０を配列させている。

ここで、まず図９のフレーム１に示すようにカード７１−１のキャラクタ８２がボール８３も持っているものとする。なお、このときの映像は、キャラクタ８２と、ボール８３とが１つの映像で表示されていてもよく、カード８１−１に対応するキャラクタ８２の映像と、移動ＣＧであるボール８３の映像をそれぞれ用意し合成表示させていてもよい。

ここで、ターゲット入力部５６により入力されたターゲット種別を“カード８１−２”とし、移動情報入力部５７により入力された移動ＣＧ種別が“ＣＧ１”とする。このとき、キャラクタ８２は、カード８１−２をマーカーとして壁に速いボールが移動する（図９におけるフレーム１〜７）。また、移動ＣＧ映像であるボール８３が壁に到達すると、ボール８３が壁に反射して、入射角度に対応する反射角度で移動する（図９におけるフレーム８〜１０）。

上述したように、第４の実施形態により、空間上の物体（構造物）を基準としたＣＧ映像の動作を設定することができる。したがって、より高精度な映像合成を実現することができる。

なお、上述の第４の実施形態は、カード情報から３次元位置情報を取得する例について説明したが、本発明においてはこの限りではなく、例えば上述した第２の実施形態に示すように計測装置を用いた位置情報に基づいてＣＧ映像の合成を行うことができる。

ここで、上述した各実施形態における映像合成装置は、上述した専用の装置構成により本発明におけるコンテンツ提供を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にプログラムをインストールすることにより、本発明における映像合成処理を実現することができる。

＜ハードウェア構成＞
ここで、本発明における実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図１０は、本発明における映像合成処理が実現可能なハードウェア構成の一例を示す図である。

図１０におけるコンピュータ本体には、入力装置９１と、出力装置９２と、ドライブ装置９３と、補助記憶装置９４と、メモリ９５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９６と、ネットワーク接続装置９７と、撮像装置９８とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置９１は、使用者が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者からのプログラムの実行等、各種操作信号を入力する。なお、入力装置９１は、上述したカメラ座標入力部や高さ情報入力部、ターゲット入力部、移動情報入力部等における各情報の入力に用いることができる。

また、出力装置９２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ９６が有する制御プログラムによりプログラムの実行経過やカメラにより撮影されたカメラ映像、実行結果の合成映像等を表示することができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体９９等により提供される。プログラムを記録した記録媒体９９は、ドライブ装置９３にセット可能であり、記録媒体９９に含まれる実行プログラムが、記録媒体９９からドライブ装置９３を介して補助記憶装置９４にインストールされる。なお、記録媒体９９としては、ＣＤ−ＲＯＭ以外でも、例えばフレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、補助記憶装置９４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム、合成させる合成させるＣＧ映像やカードに対応したＣＧ映像、移動ＣＧ映像、合成した映像等の情報を蓄積し、必要に応じて入出力を行うことができる。

ＣＰＵ９６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及び補助記憶装置９４から読み出され、メモリ９５に格納されている実行プログラム等に基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、映像合成処理等における後述する各処理を実現することができる。また、ＣＰＵ９６は、プログラムの実行中に必要な情報等を、補助記憶装置９４から取得することができ、またプログラムにより実行された結果等を補助記憶装置９４に格納することができる。

ネットワーク接続装置９７は、通信ネットワーク等と接続することにより、実行プログラムをインターネット等やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に代表される通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。

また、撮像装置９８は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラ等からなり、ＣＧ映像を合成する元となる３次元空間を撮影する。撮影された映像は、補助記憶装置９４等に蓄積され、必要に応じて読み出されて映像合成等の処理が行われる。

上述したような装置構成により、本発明における上述した映像合成処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における映像合成処理を容易に実現することができる。

＜第１の映像合成処理＞
次に、映像合成処理手順についてフローチャートを用いて説明する。図１１は、第１の映像合成処理手順の一例を示すフローチャートである。ここで、図１１に示す第１の映像合成処理手順は、上述した第１の実施形態に対応したものである。

まず、カメラにより少なくとも１以上のカードが存在している３次元空間の映像を撮影する（Ｓ０１）。また、Ｓ０１により撮影されたカメラ映像からカードの種類と、位置情報と、姿勢情報と、カメラの内部情報とを取得する（Ｓ０２）。

次に、カードの位置情報、姿勢情報、及びカメラの内部情報からカード上に定義される３次元の世界座標系（Ｘ，Ｙ，Ｚ）と、カメラ映像上に定義される２次元のカメラ座標系（ｘ，ｙ）との座標変換式を算出する（Ｓ０３）。なお、座標変換式は、例えば上述した（１）〜（３）式を用いて算出することができる。

ここで、２次元のカメラ座標系により、合成するＣＧ映像の合成したいカメラ座標を入力し（Ｓ０４）、更に、２次元のカメラ座標系では設定できないＺ座標（高さ）の情報を入力する（Ｓ０５）。

次に、Ｓ０３により得られた座標変換式を用いて、Ｓ０４及びＳ０５により得られた座標情報を入力して３次元座標系（Ｘ，Ｙ，Ｚ）に変換する（Ｓ０６）。

次に、Ｓ０１により撮影した映像に対して、予め蓄積されたＣＧ映像、移動を伴う移動ＣＧ映像等からカードの種類や使用者による設定等に基づき、特定のＣＧ映像を抽出し（Ｓ０７）、Ｓ０６にて得られた映像中の所定の３次元位置を基準にＣＧ映像の描画を行う（Ｓ０８）。更に、Ｓ０１で撮影した映像とＳ０８により得られた映像とを合成して出力する（Ｓ０９）。

上述したように、第１の映像合成処理により、カメラ映像中の任意の点の２次元のカメラ座標を、カード上に定義される３次元の世界座標に変換することができる。また、カメラ映像中の任意の点に、カード上に定義される世界座標系に合わせてＣＧ映像を描画し、合成表示することができる。

具体的には、カメラで撮影したカメラ映像とＣＧ映像を合成した映像を出力する際に、カメラ映像又はＣＧ映像の合成映像を見ながら、カメラ映像又は合成映像中の任意の点に所望するＣＧ映像を合成表示させることができる。これにより、カメラ映像又はＣＧ映像とカメラの合成映像を見ながら、リアルタイムに映像中の任意の点にＣＧ映像を合成表示することが可能になり、放送番組等で新しい映像演出を実現することができる。また、カメラ映像にＣＧ映像を合成表示する映像を制作する際の処理の簡素化を図ることができる。

＜第２の映像合成処理＞
次に、本発明における第２の映像合成処理について説明する。図１２は、第２の映像合成処理手順の一例を示すフローチャートである。なお、図１２に示す第２の映像合成処理手順は、上述した第２の実施形態に対応したものである。

まず、カメラにより３次元空間の映像を撮影する（Ｓ１１）。また、撮影したカメラに内蔵された計測装置等により撮影した位置情報と、姿勢情報とを計測し、更にカメラの内部情報を取得する（Ｓ１２）。

次に、カメラの位置情報、姿勢情報、及びカメラの内部情報により得られる３次元の世界座標系（Ｘ，Ｙ，Ｚ）から、カメラ映像上に定義される２次元のカメラ座標系（ｘ，ｙ）との座標変換式を算出する（Ｓ１３）。なお、座標変換式は、例えば上述した（１）〜（３）式を用いて算出することができる。

ここで、２次元のカメラ座標系により、ＣＧ映像を合成したいカメラ座標を入力し（Ｓ１４）、更に、２次元のカメラ座標系では設定できないＺ座標（高さ）の情報を入力する（Ｓ１５）。

Ｓ１３により得られた座標変換式を用いて、Ｓ１４及びＳ１５により得られた座標情報を入力して３次元座標系（Ｘ，Ｙ，Ｚ）に変換する（Ｓ１６）。次に、Ｓ１１により撮影した映像に対して、予め蓄積されたＣＧ映像、移動を伴う移動ＣＧ映像等から使用者による設定等に基づき、特定のＣＧ映像を抽出し（Ｓ１７）、Ｓ０６にて得られた映像中の所定の３次元位置を基準にＣＧ映像の描画を行う（Ｓ１８）。更に、Ｓ１１で撮影した映像とＳ１８により得られた映像とを合成して出力する（Ｓ１９）。

上述したように、第２の映像合成処理により、カメラ映像中の任意の点の２次元のカメラ座標を、撮影された３次元の世界座標に変換することができる。また、カメラ映像中の任意の点に、スタジオ等の３次元空間に定義される世界座標系に合わせてＣＧ映像を描画し、合成表示することができる。

＜第３の映像合成処理＞
次に、本発明における第３の映像合成処理について説明する。また、図１３は、第３の映像合成処理手順の一例を示すフローチャートである。なお、図１３に示す第３の映像合成処理手順は、上述した第３，第４の実施形態に対応したものである。

まず、カメラにより複数のカードが存在している３次元空間の映像を撮影する（Ｓ２１）。なお、複数のカードには、上述した第４の実施形態に示したように壁に貼り付けられているカードの場合も含まれる。また、Ｓ２１により撮影されたカメラ映像からカード毎の種類と、位置情報と、姿勢情報と、カメラの内部情報とを取得する（Ｓ２２）。

次に、カード毎の位置情報、姿勢情報、及びカメラの内部情報からカード上に定義される３次元の世界座標系（Ｘ，Ｙ，Ｚ）と、カメラ映像上に定義される２次元のカメラ座標系（ｘ，ｙ）との座標変換式を算出する（Ｓ２３）。なお、座標変換式は、例えば上述した（１）〜（３）式を用いて算出することができる。

ここで、２次元のカメラ座標系により、各カードにおけるカメラ座標を検出し（Ｓ２４）、更に、２次元のカメラ座標系では設定できないＺ座標（高さ）の情報を入力する（Ｓ２５）。

Ｓ２３により得られた座標変換式を用いて、Ｓ２４及びＳ２５により得られた座標情報を入力して３次元座標系（Ｘ，Ｙ，Ｚ）に変換する（Ｓ２６）。

次に、合成させる移動可能なＣＧ映像の移動先となるカード（ターゲット）の設定を行い（Ｓ２７）、更に移動ＣＧ映像をどのように動作させるか等を示す情報（移動情報）の設定を行う（Ｓ２８）。なお、Ｓ２７及びＳ２８においては、使用者が直接入力して設定してもよく、また予め複数のカードの動作と移動ＣＧ映像の動作とが設定され蓄積されている複数の異なるパラメータから、少なくとも１つのパラメータを選択するようにしてもよい。

次に、Ｓ２１により撮影した映像に対して、予め蓄積されたＣＧ映像、移動を伴う移動ＣＧ映像等からカードの種類や使用者による設定等に基づき、特定のＣＧ映像を抽出し（Ｓ２９）、Ｓ２６にて得られた映像中の所定の３次元位置を基準にＣＧ映像の描画を行う（Ｓ３０）。更に、Ｓ２１で撮影した映像とＳ３０により得られた映像とを合成して出力する（Ｓ３１）。

上述したように、第３の映像合成処理により、カメラ映像中の任意の点の２次元のカメラ座標を、複数のカード上に定義される３次元の世界座標に変換することができる。また、カメラ映像中の任意の点に、複数のカード上に定義される世界座標系に合わせてＣＧ映像を描画し、合成表示することができる。

更に、移動ＣＧ映像とカード毎に対応する映像とに基づいて詳細な合成映像の設定を行うことができる。これにより、簡易により高精度な映像を出力することができる。

また、本発明に係る実施形態は、上述した第１〜４の実施形態に限定されることはなく、例えば上述した実施形態のうち複数を組み合わせてもよい。また、映像を表示するカード間の相対的な移動速度や、相対姿勢情報等に基づいて、予め蓄積される映像を選択して映像を合成出力してもよい。また、映像の動きに応じて予め設定された音声を出力してもよい。

上述したように本発明によれば、簡易に高精度な映像合成を実現することができる。具体的にはカメラで撮影したカメラ映像とＣＧ映像を合成した映像を出力する際に、カメラ映像又はＣＧ映像の合成映像を見ながら、カメラ映像又は合成映像中の任意の点に所望するＣＧ映像を合成表示させることができる。これにより、カメラ映像又はＣＧ映像とカメラの合成映像を見ながら、リアルタイムに映像中の任意の点にＣＧ映像を合成表示することが可能になり、放送番組等で新しい映像演出を実現することができる。また、カメラ映像にＣＧ映像を合成表示する映像を制作する際の処理の簡素化を図ることができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

第１の実施形態における映像合成装置の一構成例を示す図である。 第１の実施形態において蓄積部に蓄積されるデータの一例を示す図である。 第２の実施形態における映像合成装置の一構成例を示す図である。 第３の実施形態における映像合成装置の一構成例を示す図である。 第３の実施形態におけるデータの一例を示す図である。 第３の実施形態によるカード間でＣＧ映像を移動させる一例を示す図である。 第４の実施形態を説明するための一例の図である。 第４の実施形態におけるデータの一例を示す図である。 第４の実施形態によるカード間でＣＧ映像を移動させる一例を示す図である。 本発明における映像合成処理が実現可能なハードウェア構成の一例を示す図である。 第１の映像合成処理手順の一例を示すフローチャートである。 第２の映像合成処理手順の一例を示すフローチャートである。 第３の映像合成処理手順の一例を示すフローチャートである。

符号の説明

１ ３次元空間
２，７１，８１ カード
３ カメラ映像
４ 合成映像
５ ＣＧ画像
６ 移動ＣＧ映像
１０，３０，５０ 映像合成装置
１１ カメラ
１２，５１ カード情報取得装置
１３，３２，５２ 座標変換装置
１４ カメラ座標入力部
１５，５４ 高さ情報入力部
１６，３３，５５ 映像描画合成装置
１７ 蓄積部
２１，４１，６１ 座標変換式算出部
２２，４２，６２ 座標変換部
２３，４３，６３ ＣＧ映像描画部
２４，４４，６４ 映像合成部
３１ 計測装置
５３ カメラ座標検出部
５６ ターゲット入力部
５７ 移動情報入力部
７２，８２ キャラクタ
７３，８３ ボール
９１ 入力装置
９２ 出力装置
９３ ドライブ装置
９４ 補助記憶装置
９５ メモリ
９６ ＣＰＵ
９７ ネットワーク接続装置
９８ 撮像装置
９９ 記録媒体

Claims (8)

1. 撮影された映像信号に他の映像信号を合成するための映像合成装置において、
   前記映像信号を表示させる基準となるカードを少なくとも１つ含む３次元空間を撮影する撮像部と、
   前記撮像部により得られた映像から、前記カードの種類、３次元位置情報、姿勢情報、及び前記撮像部の内部情報を取得するカード情報取得部と、
   前記撮像部により撮影された映像信号から得られる２次元の座標軸に基づいて合成する他の映像信号の表示位置を設定する座標入力部と、
   前記他の映像信号を表示する高さを設定する高さ情報入力部と、
   予め設定された座標変換情報に基づいて、前記座標入力部により得られる２次元座標及び前記高さ情報部により得られる高さ座標を前記３次元空間上の３次元座標に変換する座標変換部と、
   前記座標変換部により得られた３次元座標に基づいて、予め設定された前記他の映像の描画を行う映像描画部と、
   前記映像描画部により得られる映像と前記撮像部により得られる映像とを合成する映像合成部とを有することを特徴とする映像合成装置。
2. 撮影された映像信号に他の映像信号を合成するための映像合成装置において、
   ３次元空間を撮影する撮像部と、
   前記撮像部の３次元位置情報、及び姿勢情報を計測し、前記撮像部の内部情報を取得する計測部と、
   前記撮像部により撮影された映像信号から２次元の座標軸に基づいて合成する他の映像信号の表示位置を設定する座標入力部と、
   前記他の映像信号を表示する高さを設定する高さ情報入力部と、
   予め設定された座標変換情報に基づいて、前記座標入力部により得られる２次元座標及び前記高さ情報部により得られる高さ座標を前記３次元空間上の３次元座標に変換する座標変換部と、
   前記座標変換部により得られた３次元座標に基づいて、予め設定された前記他の映像の描画を行う映像描画部と、
   前記映像描画部により得られる映像と前記撮像部により得られる映像とを合成する映像合成部とを有することを特徴とする映像合成装置。
3. 前記他の映像を移動させる場合に、前記移動の内容を設定する移動情報入力部を有することを特徴とする請求項１又は２に記載の映像合成装置。
4. 前記他の映像の移動に連動した動作を行う対象となる映像を選択する対象入力部を有することを特徴とする請求項１乃至３の何れか１項に記載の映像合成装置。
5. 前記高さ情報入力部は、
   前記３次元空間にある前記カードの実際の高さを基準とした相対的な高さを設定することを特徴とする請求項１に記載の映像合成装置。
6. 前記映像描画部は、
   描画する映像が複数存在する場合、予め蓄積されている複数の映像に対応した１つの映像を抽出し、抽出された映像を用いて描画を行うことを特徴とする請求項１乃至５の何れか１項に記載の映像合成装置。
7. 撮影された映像信号に他の映像信号を合成するための映像合成処理をコンピュータに実行させるための映像合成プログラムにおいて、
   前記映像信号を表示させる基準となるカードを少なくとも１つ含む３次元空間を撮像手段により撮影する撮影処理と、
   前記撮影処理により得られた映像から、前記カードの種類、３次元位置情報、姿勢情報、及び前記撮影手段の内部情報を取得するカード情報取得処理と、
   前記撮影処理により撮影された映像信号から得られる２次元の座標軸に基づいて合成する他の映像信号の表示位置を設定する座標入力処理と、
   前記他の映像信号を表示する高さを設定する高さ情報入力処理と、
   予め設定された座標変換情報に基づいて、前記座標入力処理により得られる２次元座標及び前記高さ情報処理により得られる高さ座標を前記３次元空間上の３次元座標に変換する座標変換処理と、
   前記座標変換処理により得られた３次元座標に基づいて、予め設定された前記他の映像の描画を行う映像描画処理と、
   前記映像描画処理により得られる映像と前記撮影処理により得られる映像とを合成する映像合成処理とをコンピュータに実行させるための映像合成プログラム。
8. 撮影された映像信号に他の映像信号を合成するための映像合成処理をコンピュータに実行させるための映像合成プログラムにおいて、
   ３次元空間を撮像手段により撮影する撮影処理と、
   前記撮像手段により３次元位置情報、及び姿勢情報を計測し、前記撮像手段の内部情報を取得する計測処理と、
   前記撮影処理により撮影された映像信号から２次元の座標軸に基づいて合成する他の映像信号の表示位置を設定する座標入力処理と、
   前記他の映像信号を表示する高さを設定する高さ情報入力処理と、
   予め設定された座標変換情報に基づいて、前記座標入力処理により得られる２次元座標及び前記高さ情報処理により得られる高さ座標を前記３次元空間上の３次元座標に変換する座標変換処理と、
   前記座標変換処理により得られた３次元座標に基づいて、予め設定された前記他の映像の描画を行う映像描画処理と、
   前記映像描画処理により得られる映像と前記撮影処理により得られる映像とを合成する映像合成処理とをコンピュータに実行させるための映像合成プログラム。