JP2011077780A - カメラ装置の位置算出方法 - Google Patents

Abstract

【課題】ＣＧ座標系におけるカメラ装置の位置を特別な治具を用いることなく、簡易に算出することができ、移動できないカメラ装置にも適用することができるカメラ装置の位置算出方法を提供すること。
【解決手段】ＣＧ座標系での位置がわかっている２点を設定する工程と、第１点をカメラ装置により撮像する工程と、その際のカメラ装置のパン角度、チルト角度、テレビカメラの高さに基づいてカメラ装置座標系での前記第１点の位置を求める工程と、第２点をカメラ装置により撮像する工程と、その際の前記カメラ装置のパン角度、チルト角度、テレビカメラの高さに基づいてカメラ装置座標系での第２点の位置を求める工程と、カメラ装置座標系における第１点および第２点の位置から、カメラ装置座標系に対するＣＧ座標系の回転角度を求める工程と、回転角度に基づいて、ＣＧ座標系におけるカメラ装置の位置を算出する工程とを有する。
【選択図】 図４

Description

本発明は、映画、テレビ等で撮影を行う際に用いられるカメラ装置の位置算出方法および位置算出装置に関し、特に、コンピュータグラフィック（ＣＧ）画像と実写像の合成に好適なカメラ装置の位置算出方法に関する。

例えば、バーチャルスタジオにおいては、スタジオ内にてカメラがとらえた実写映像と、その背景として、あるいは演出として生成されたコンピューターグラフィックス（ＣＧ）とを、そのカメラ位置から見た三次元的位置関係を維持しながら連動させる場合、ＣＧ座標系の中でカメラの位置を算出する必要がある。すなわち、ＣＧ座標系の中でカメラの位置が決定されれば、カメラ、被写体、ＣＧの相互位置関係を計算することができ、カメラの被写体とＣＧとを三次元的位置関係を維持しながら連動させることができる。

このようなことを考慮した技術として、特許文献１には、床面に基準位置を設定し、基準位置から互いに直交するように床面に第１および第２のラインを形成し、第１のラインを検出する２つの第１のセンサーと第２のラインを検出する１つの第２のセンサーとをカメラの移動架台に取り付け、２つの第１のセンサーがそれぞれ第１のラインを通過したときの移動量、および第２のセンサーが第２のラインを通過したときの移動量に基づいてカメラ位置および自転角度を算出して位置合わせ（キャリブレーション）を行う技術が開示されている。

特開２００２−２０４３７８号公報

上記特許文献１の技術を用いることにより、ＣＧ座標系において正確にカメラ装置の位置を把握してキャリブレーションすることができるが、以下のような問題点がある。

すなわち、基準位置から互いに直交するように床面に第１および第２のラインを精度良く形成するために、特別なシート（原点シート）を設置する必要があり、このようなシートを設置できるスペースのあるところに適用が限定されてしまうとともに、この原点シートを番組収録時にカメラの視野に入らないように設置する等の配慮が必要となる。

また、キャリブレーションの度、原点シートが設置してある位置までカメラ装置の架台を移動する必要があり、複数台のカメラ装置の位置合わせを行う場合には、全てのカメラ装置を原点シートが設置してある位置まで移動させなければならず、煩雑である。複数の原点シートを設置することも可能であるが、原点シート相互の座標系を合わせることは手間と時間がかかってしまう。また、この特許文献１の技術は、移動できないカメラ装置には適用できない。

本発明は、かかる事情に鑑みてなされたものであって、ＣＧ座標系におけるカメラ装置の位置を特別な治具を用いることなく、簡易に算出することができ、移動できないカメラ装置にも適用することができるカメラ装置の位置算出方法を提供することを目的とする。

上記課題を解決するために、本発明は、テレビカメラを有するカメラ装置による実写映像とコンピュータグラフィック（ＣＧ）映像とを合成する際の、ＣＧ座標系におけるカメラ装置の位置を算出するカメラ装置の位置算出方法であって、ＣＧ座標系での位置がわかっている２点を設定する工程と、前記２点のうち第１点を前記カメラ装置により撮像する工程と、前記第１点を撮像した際の前記カメラ装置のパン角度、チルト角度、テレビカメラの高さを検出し、これらに基づいてカメラ装置座標系での前記第１点の位置を求める工程と、前記２点のうち第２点を前記カメラ装置により撮像する工程と、前記第２点を撮像した際の前記カメラ装置のパン角度、チルト角度、テレビカメラの高さを検出し、これらに基づいてカメラ装置座標系での前記第２点の位置を求める工程と、前記カメラ装置座標系における前記第１点および前記第２点の位置から、カメラ装置座標系に対するＣＧ座標系の回転角度を求める工程と、前記回転角度に基づいて、前記ＣＧ座標系における前記カメラ装置の位置を算出する工程とを有することを特徴とするカメラ装置の位置算出方法を提供する。

本発明によれば、ＣＧ座標系での位置がわかっている２点を設定し、これらに基づいて、ＣＧ座標系におけるカメラ装置の位置を算出するので、原点シートのような治具やセンサーを用いる必要がなく、カメラ装置により映像を捕らえられる場所ならばどこでも簡易にキャリブレーションを行うことができる。キャリブレーションの度、原点シートが設置してある位置までカメラ装置を移動する必要がなく、ＣＧ座標系での２点が撮像できれば、いつでも、何台のカメラ装置でも、その場所でキャリブレーションを実行することができる。さらに、２点が撮像できればよいので、移動できないカメラ装置にも適用が可能である。

本発明の一実施形態に係るカメラ装置の位置算出方法が適用されるＣＧ合成システムの概略構成を示すブロック図である。 本発明の一実施形態に係るカメラ装置の位置算出方法に用いられるカメラ装置の一例を示す側面図である。 本発明の一実施形態に係るカメラ装置の位置算出方法に用いられるカメラ装置の一例を示す平面図である。 本発明の一実施形態に係るカメラ装置の位置算出方法を説明するためのフローチャートである。 カメラ装置により点Ａを撮像したときのカメラ装置座標系でのＡ点の位置と、パン角度α、チルト角度β、カメラ高さｈとの関係を説明するための図である。 カメラ装置座標系におけるＡ点およびＢ点の位置から、カメラ装置座標系に対するＣＧ座標系の回転角度θを求める方法を説明するための図である。 ＣＧ座標系におけるカメラ装置の位置を示す図である。

以下、添付図面を参照して、本発明の実施形態について具体的に説明する。
ここでは、本発明の一実施形態に係るカメラ装置の位置算出方法が適用されるＣＧ合成システムについて説明する。

図１は、このようなＣＧ合成システムの概略構成を示すブロック図である。このＣＧ合成システムは、実写映像を撮像するカメラ装置１と、カメラ装置１のパ
ラメータ（パン角度、チルト角度、カメラ高さ）を検出するパラメータ検出部２と、カメラ装置１のＣＧ座標系での位置を算出する位置算出部３と、制御部４と、実写像とＣＧとを合成するモニタからなる画像合成部５とを有しており、ＣＧ座標系にある被写体７をカメラ装置１で撮像し、その実写映像及びＣＧ座標系に配置されたＣＧ画像を合成した映像を出力するものである。

カメラ装置１は、図２、３に示すように、スタジオの床面を走行する移動架台としてのペデスタル１２と、その上に設けられた雲台１３と、雲台１３の上に搭載されたＴＶカメラ１４とを有し、ＴＶカメラ１４は雲台１３により旋回および傾動可能となっている。なお、参照符号１５はペデスタルの移動方向を変えるハンドルであり、１６はＴＶカメラ１４を傾動または旋回させるときのレバーである。ペデスタル１２には、その底部に３つの走行用の車輪１７が設けられている。

このようなＣＧ合成システムによる撮影では、カメラ装置１を予め外部より入力された位置に配置するが、カメラ装置１がとらえた実写映像と、ＣＧとを、カメラ装置１の位置から見た三次元的位置関係を維持しながら連動させる場合、ＣＧ座標系の中でカメラ装置１の位置を算出する必要がある。そのため、本実施形態では、位置算出部３において、カメラ装置１により撮像した映像とパラメータ検出部２により検出したカメラ装置１のパラメータとに基づいてカメラ装置１のＣＧ座標系での位置を算出し、キャリブレーションを行う。具体的には、位置算出部３は、後述するように、ＣＧ座標系での位置がわかっているＡ、Ｂ２点を所定位置にあるカメラ装置１で撮像した際に、パラメータ検出部２で検出されたパラメータ情報と、Ａ点およびＢ点のＣＧ座標系での位置情報とに基づいて、カメラ装置１のＣＧ座標系での位置を算出する。

制御部４は、外部より指令を受けて、カメラ装置１と画像合成部５とを制御する。また、撮影開始時または撮影の途中で、外部からの指令により位置算出部３にキャリブレーション実行指令を出力する。具体的には、パラメータ検出部２で検出したパラメータまたは画像合成部５においてモニタされた映像に基づいてカメラ装置１の位置および角度を制御し、画像合成部５における画像合成を制御する。また、受け取ったパラメータ検出部２の検出情報を位置算出部３に送出する。

次に、このように構成されるＣＧ合成システムにおけるカメラ装置１の位置算出方法について図４のフローチャートを参照して説明する。

まず、ＣＧ座標系での位置が分かっているＡ点、Ｂ点の２点を設定する（ステップ１）。このとき、第１点であるＡ点をＣＧ座標系の原点（０，０）にとり、第２点であるＢ点をＣＧ座標系のＸ軸の点（０，ｘ）にとることが好ましい。具体的には、これらＡ点、Ｂ点を例えばスタジオ床面にとり、Ｐタイルの目地上にテープなどで目印をつける。

次に、制御部４によりカメラ装置１のパラメータ（パン角度、チルト角度、カメラ高さ）を制御し、あるいはカメラマンの操作によって、ＴＶカメラ１４の中央にＡ点を位置させるようにしてカメラ装置１によりＡ点を撮像する（ステップ２）。

その時得られるパラメータ（パン角度α、チルト角度β、カメラ高さｈ）を検出し、これらに基づいて位置検出部３で演算し、移動架台１２の座標系（カメラ装置座標系）でのＡ点の位置を求める（ステップ３）。

具体的には、カメラ装置１の位置をカメラ装置座標系の原点とすると、カメラ装置座標系での点Ａ（ｘ、ｙ）を以下のようにして求めることができる。つまり、図５（ａ）に示すように、Ａ点はパン角度がαであるから、カメラ装置座標系の点Ａは、Ｙ軸から角度α傾いた原点を通る直線上の長さＬの位置に位置し、図５（ｂ）に示すように、長さＬは、カメラ高さｈとチルト角度βからＬ＝ｈ／ｔａｎβと算出することができる。したがって、カメラ装置座標系での点Ａ（ｘ，ｙ）のｘ、ｙは以下のようになる。
ｘ＝Ｌ・ｓｉｎα／ｔａｎβ
ｙ＝Ｌ・ｃｏｓα／ｔａｎβ

次に、制御部４によりカメラ装置１のパラメータ（パン角度、チルト角度、カメラ高さ）を制御し、あるいはカメラマンの操作によって、ＴＶカメラ１４の中央にＢ点を位置させるようにしてＢ点を撮像する（ステップ４）。

その時得られるパラメータ（パン角度α′、チルト角度β′、カメラ高さｈ′）を検出し、これらに基づいて位置検出部３で演算し、カメラ装置座標系でのＢ点の位置を求める（ステップ５）。

このときは、カメラ装置座標系での原点からＢ点までの長さをＬ′とし、Ａ点の場合と同様にして、カメラ装置座標系での点Ｂ（ｘ′，ｙ′）を求めると、ｘ′、ｙ′は、以下のようになる。
ｘ′＝Ｌ′・ｓｉｎα′／ｔａｎβ′
ｙ′＝Ｌ′・ｃｏｓα′／ｔａｎβ′

次に、カメラ装置座標系におけるＡ点およびＢ点の位置から、カメラ装置座標系に対するＣＧ座標系の回転角度θを求める（ステップ６）。すなわち、カメラ装置座標系におけるＡ点およびＢ点を求めることにより、図６に示すように、カメラ装置座標系にＣＧ座標系のｘ軸が描かれ、カメラ装置座標系に対するＣＧ座標系の回転角度θは、以下の式から算出される。
ｔａｎθ＝（ｙ′−ｙ）／（ｘ′−ｘ）

そして、ＣＧ座標系におけるカメラ装置１の平面位置は図７に示すようになり、回転角度θと上記計算結果から、ＣＧ座標系におけるカメラ装置１の位置Ｃ（Ｃｘ，Ｃｙ）を求める（ステップ７）。

このときのＣｘ，Ｃｙは、図７からも明らかなように、以下の式から算出することができる。
Ｃｘ＝−Ｌ・ｓｉｎ（α＋θ）＝−ｈ・ｓｉｎ（α＋θ）／ｔａｎβ
Ｃｙ＝−Ｌ・ｃｏｓ（α＋θ）＝−ｈ・ｃｏｓ（α＋θ）／ｔａｎβ

以上のようにして、ＣＧ座標系におけるカメラ装置１の位置Ｃを把握することができる。

そして、このＣＧ座標系におけるカメラ装置１の位置算出結果に基づいてキャリブレーションを行い、制御部４による制御により、あるいはカメラマンの操作により、カメラ装置１による実写映像とＣＧとを合成する。このとき、ＣＧ座標系におけるカメラ装置１の位置が求められているので、実写映像とＣＧとがずれることなくこれらを合成することができる。

本実施形態では、このようにカメラ装置１の映像を利用してＣＧ座標系でのカメラ装置１の位置を算出してキャリブレーションを行うので、上述した特許文献１の技術のように、原点シートのような治具やセンサーを用いる必要がなく、カメラ装置１により映像を捕らえられる場所ならばどこでも簡易にキャリブレーションを行うことができる。また、本実施形態のように、ＣＧ原点位置を第１点としてキャリブレーションを行うことができ、これにより、特許文献１の技術では必要であった、原点シート上での基準位置とＣＧ原点とを合わせる作業を不要とすることができる。

また、本実施形態では、特許文献１の技術のように、キャリブレーションの度、原点シートが設置してある位置までカメラ装置の架台を移動する必要がなく、ＣＧ座標系での２点が撮像できれば、いつでも、何台のカメラ装置でも、その場所でキャリブレーションを実行することができる。さらに、特許文献１では、カメラ装置が移動することを前提としていたため、移動できないカメラ装置を用いることはできなかったが、本実施形態では２点が撮像できればよいので、移動できないカメラ装置にも適用が可能である。

また、従来、キャリブレーションは、画像合成部の操作によってＣＧの座標と実写の三次元的位置関係を合わせることで行なってきたが、本発明によれば、専門知識を必要とする画像合成部の操作も不要となる上、カメラ装置座標系の
原点とＣＧ座標系の原点との位置関係の測量も不要となる。

なお、本発明は、上記実施形態に限定されることなく種々変形可能である。例えば、上記実施形態では床面の点をＣＧ座標系の基準の２点として用いたが、被写体が移動し床面の基準点をカメラで捕らえられない場合等には、これに限らず背景のセットのある点を基準の２点としてもよい。

また、上記実施形態では、バーチャルスタジオのＣＧ座標系のＣＧ画像を合成する場合を例示したが、これに限らず、スタジアムの中継において、スタジアムの実写映像とＣＧ画像を合成するような用途等、カメラ装置位置の測量が困難な運用においても、スタジアムの中に寸法の分かっている２点を基準点として設定すれば、カメラ装置のＣＧ座標での位置を算出することができ、手軽に精度よくキャリブレーションすることが可能である。

１…カメラ装置
２…パラメータ検出部
３…位置算出部
４…制御部
５…画像合成部
１２…ペデスタル（移動架台）
１４…ＴＶカメラ

Claims (4)

1. テレビカメラを有するカメラ装置による実写映像とコンピュータグラフィック（ＣＧ）映像とを合成する際の、ＣＧ座標系におけるカメラ装置の位置を算出するカメラ装置の位置算出方法であって、
   ＣＧ座標系での位置がわかっている２点を設定する工程と、
   前記２点のうち第１点を前記カメラ装置により撮像する工程と、
   前記第１点を撮像した際の前記カメラ装置のパン角度、チルト角度、テレビカメラの高さを検出し、これらに基づいてカメラ装置座標系での前記第１点の位置を求める工程と、
   前記２点のうち第２点を前記カメラ装置により撮像する工程と、
   前記第２点を撮像した際の前記カメラ装置のパン角度、チルト角度、テレビカメラの高さを検出し、これらに基づいてカメラ装置座標系での前記第２点の位置を求める工程と、
   前記カメラ装置座標系における前記第１点および前記第２点の位置から、カメラ装置座標系に対するＣＧ座標系の回転角度を求める工程と、
   前記回転角度に基づいて、前記ＣＧ座標系における前記カメラ装置の位置を算出する工程と
   を有することを特徴とするカメラ装置の位置算出方法。
2. 前記第１点はＣＧ座標系の原点であることを特徴とする請求項１に記載のカメラ装置の位置算出方法。
3. 前記第２点はＣＧ座標系のＸ軸の任意の点であることを特徴とする請求項２に記載のカメラ装置の位置算出方法。
4. 前記第１点または前記第２点を撮像する際に、前記第１点または前記第２点が前記テレビカメラの中央に位置するようにすることを特徴とする請求項１から請求項３のいずれか１項に記載のカメラ装置の位置算出方法。

Images