JP2010074730A - 放送用バーチャルスタジオのズームレンズ搭載カメラのカメラキャリブレーション装置、その方法およびそのプログラム - Google Patents

Abstract

【課題】バーチャルスタジオのカメラシステムにおいてＣＧと実写映像との合成精度を高める。
【解決手段】カメラキャリブレーション装置６は、ズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を広角から望遠へ向かって離散的に切り替えるときに、設置されたキャリブレーション用のパターンを撮影したパターン画像が撮影画面に収まるように、パターンを取り替えることと位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいてカメラシステムおよびズームレンズをキャリブレーションする装置であって、記憶手段１８にセッティングバリエーションの変更直後に変更直前のズームレンズ状態に維持して得られたパターン画像と、パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を示す第１入力パラメータとを記憶する。
【選択図】図４

Description

この発明は、放送用バーチャルスタジオのズームレンズ搭載カメラのカメラパラメータやズームレンズをキャリブレーションするカメラキャリブレーション装置、その方法およびそのプログラムに関するものである。

放送用バーチャルスタジオは、カメラの動きにつじつまの合ったＣＧ（Computer Graphics）を生成することで、実写との合成時に違和感のない複合現実世界をつくり、放送コンテンツにできるシステムである。そのためには、現実の撮影カメラの位置・姿勢などを表す状態をデータとして取得し、そこからＣＧの仮想カメラの位置・姿勢などのパラメータとしてＣＧ描画装置に与えてやる必要がある。このように、現実の撮影カメラから仮想カメラに関する各種パラメータを求めるプロセスのこと、また、そのパラメータにカメラをセッティングすることを、一般的にはカメラキャリブレーションという。ここでは、前者のカメラのパラメータを求めるプロセスをカメラキャリブレーションと呼び、後者のカメラヘのパラメータ適用をカメラセッティングと分けて呼ぶこととする。これらの２つのプロセスを経てＣＧの仮想カメラで撮影した画角でＣＧ描画が行われ、現実のカメラで撮影した画角の実写の映像と合成しオンエアにいたる。

現状では、２種類のカメラキャリブレーションが主流となっている。１つが、メカニカル、あるいは光学的なセンサなどを利用して、物理的な特徴として、現実のカメラの移動量および姿勢変化（パン・チルトの回転量など）の相対値を計測し、その間接的なデータを元にカメラの各種パラメータを求めるものである。そのためには、事前に、間接的なデータとしての測定値からカメラの各種パラメータヘのデータ変換手段（例えば、変換用のデータベース）を準備しておく必要がある。

もう１つのカメラキャリブレーション方法は、撮影画像自体から画像解析によって特徴点を抽出し、そこから、カメラの撮影位置などのパラメータを計算によって直接的に求めるものである。例えば、特徴点として用いるために、既知の位置情報をもった２次元または３次元のパターン（キャリブレーションパターン）を予め用意しておき、それを撮影する場合がある。また、そういった既知パターンを利用せずに、カメラの移動について時間方向に情報を蓄積し、その結果として、視差のある複数のカメラから撮影した場合と同じ手法で、特徴点の位置関係とカメラの位置情報を割り出す場合もある。

放送用バーチャルスタジオのカメラシステムに特徴的なことは、安定したフレーミングとなめらかなカメラワークのために、カメラが雲台にマウントされていることが多いということである。このようにカメラが雲台にマウントされている場合、さらにはペデスタルにもマウントされる場合も多い。

現在、特撮用のスタジオなどで一般的に利用されているバーチャルスタジオ用のカメラシステムでは、カメラを搭載した雲台に回転量検知のセンサが取り付けられており、これにより、カメラ自体の向いている方向の変化を検知している。そして、ベデスタルにも同様に回転量検知のセンサが取り付けられており、これにより、カメラの水平および垂直方向の相対的な移動量を測定することができる。さらに、ズームレンズには、そのズーム量およびフォーカス位置を測定するセンサが取り付けられており、そのズーム量およびフォーカス位置を、画角および理論的レンズ位置などの情報を得るための間接的なデータとして利用するようにしている。

前記したように、これらの間接的なデータから、ＣＧの描画のための仮想的なカメラ位置および方向、そして画角などのパラメータに変換するためには、例えば、それぞれのセンサから得られる値を、必要なパラメータに変換するためのデータベースを準備する必要かある。また、カメラキャリブレーション時のカメラシステム状況と、カメラセッティング時のカメラシステム状況とは、異なることがほとんどである。そのため、それら２つの異なる状況を補正するためのプロセスが必要となってくる。この補正プロセスは、ほとんどの場合は、オンエア前に行われる。このような理由から、この補正プロセスは、短時間で実行可能である単純な初期化プロセスや、見た目による局所的なパラメータ補正となる。すなわち、従来のキャリブレーションには、これら間接的なデータ変換プロセスと、手法的に誤差を含むような補正プロセスとを実行されることが必要となっている。

しかし、間接的なデータを変換するプロセスにおいては、雲台やズームレンズなどの各センサから得られるそれぞれの間接的なデータの１つ１つは、独立したカメラパラメータに作用するわけではなく、複数の間接的なデータが、複数のカメラパラメータに複雑に関係してくる。したがって、その関係性を、正確に記述できないと、系全体での誤差が予測できない。それを可能にするためには、雲台を含めた系全体のモデル化が必要である。また、補正プロセスにおいては、例えば、カメラセッティング時の、見た目による局所的なパラメータ補正は、着目している箇所では合っているが、その箇所から外れたエリアでのＣＧの合成精度の保証は不可能である。つまり、間接的なデータから、カメラシステムを記述するためのパラメータに変換し、それを補正する際に、原理的に精度が低下してしまうプロセスを含んでいるためにカメラシステム全体で合成精度を落とす結果を生み出していた。

このような中、特撮用のスタジオなどで利用されているバーチャルスタジオ用のカメラシステムにおいては、カメラパラメータのキャリブレーションを高い精度で行うためには、雲台の相対回転量などの間接的なデータを利用しながらも、画像処理を利用したキャリブレーションプロセスと同様に、必要なパラメータをダイレクトに最適化して求める方が効果的であると考えられる。そして、雲台を含めた系全体のモデル化の一例として、非特許文献１には、回転雲台モデルによる最適化の実装とその効果が記載されている。非特許文献１に記載の技術は、三脚および雲台上に設置されたカメラで、任意の位置に固定された１つの２次元パターンを撮影した撮影画像を用いてキャリブレーションをするものである。

ただし、非特許文献１の記載の技術では、ズームが固定されている。ズームレンズの場合には、構造上、ズーム量およびフォーカス位置の操作により光学系（内部パラメータ）の変化だけでなく雲台を基準としたカメラ位置および姿勢（外部パラメータ）が変化する。

コンピュータビジョンの成果である、既知パターンを用いた画像処理によるカメラキャリブレーションを考えた場合、最適化プロセスでは、カメラの内部パラメータ（画角や光軸中心、レンズ歪み係数）は固定であることか前提である。すると、それらのカメラキャリブレーションアルゴリズムは、ズームレンズに対しては明らかに適用することができない。一般的なズームレンズのモデル的な取り扱いが難しいことは、ロボット工学の分野において知られている（非特許文献２参照）。非特許文献２では、自動ズームレンズを備えたカメラシステムにおいて、レンズパラメータを可変とするために、ズームレンズの多項式モデル化を提案している。

そこで、非特許文献１に記載の回転雲台モデルを、ズームレンズ部分のキャリブレーションのために、拡張する試みがなされている（非特許文献３参照）。非特許文献３には、非特許文献２で述べられたズームレンズの基本的なモデル化を参考にした上で、非特許文献１で提案されたカメラモデルにおいて、ズームによって変化するパラメータを限定することで、ズームレンズのパラメータを可変とするように回転雲台モデルを拡張できる可能性が示唆されている。非特許文献３では、非特許文献１と同様にして、任意の位置に固定された１つの２次元パターンをレンズのズーム値（焦点距離）を３通りに変更して撮影した撮影画像を用いてキャリブレーションをするものである。
大久保 英彦、外４名、「バーチャルスタジオにおけるカメラキャリブレーション高精度化の考察」、FIT2007、2007、p.541-542 R. Willson, "Modeling and Calibration of Automated Zoom Lenses", PhD thesis, Carnegie Mellon University, Pittsburgh, Pennsylvania, Jan. 1994. 大久保 英彦、外２名、「バーチャルスタジオにおけるズームレンズのキャリブレーションに関する考察」、FIT2008、2008、p.543-544

しかしながら、非特許文献３に記載の技術は、レンズのズーム値（焦点距離）を変更して撮影画像を取得する際に、任意の位置に固定された１つの２次元パターンを用いている。つまり、外部パラメータのうち雲台中心位置がすべての撮影画像で共通であるものとしている。そのため、いくつかのサンプルズーム値におけるそれらのカメラキャリブレーションアルゴリズムの適用結果を得たとしても、その間接的なデータの変換プロセスで得られた各パラメータを、補正プロセスでそれぞれ補間した結果のパラメータは、その非線形性から鑑みて、キャリブレーションの精度を期待できない。

さらに、ズームが高倍率になり、フォーカスまで考慮すると、対象とするズーム範囲を、物理的に１つのパターンでは補いきれず、さらに１つの設置位置パターンでは補いきれない。よって、複数のパターンが必要であり、それら複数のパターンの相対位置関係を正確に把握することが必要になる。そうすると、複数のパターンを物理的に精度高く設置する必要が生じてしまうために、それに見合うように装置が複雑化してしまうためコスト等の理由から現実的ではない。したがって、当然の帰結として、そのような複雑な装置が準備できなければＣＧの合成精度を保証できないことになる。

本発明は、以上のような問題点に鑑みてなされたものであり、バーチャルスタジオ用のカメラシステムにおいて簡易な構成でＣＧと実写の幾何的な合成精度を高めることのできる技術を提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のカメラキャリブレーション装置は、バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションするカメラキャリブレーション装置であって、記憶手段と、キャリブレーションパターン解析手段と、パラメータ算出手段と、データベース作成手段とを備えることとした。

かかる構成によれば、カメラキャリブレーション装置は、記憶手段に、前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像を記憶すると共に、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第１入力パラメータとして記憶する。そして、カメラキャリブレーション装置は、キャリブレーションパターン解析手段によって、前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化する。そして、カメラキャリブレーション装置は、パラメータ算出手段によって、前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出する。そして、カメラキャリブレーション装置は、データベース作成手段によって、前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成する。

また、請求項２に記載のカメラキャリブレーション装置は、請求項１のカメラキャリブレーション装置で作成されたデータベースを記憶したカメラキャリブレーション装置であって、記憶手段と、キャリブレーションパターン解析手段と、パラメータ算出手段と、データベース作成手段とを備えることとした。

かかる構成によれば、カメラキャリブレーション装置は、記憶手段に、２次元または３次元の特徴点を分布させた１つのキャリブレーション用のパターンを、オンエア前のカメラセッティングにおいて撮影した複数のパターン画像を記憶すると共に、前記複数のパターン画像それぞれが撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第２入力パラメータとして記憶する。そして、カメラキャリブレーション装置は、キャリブレーションパターン解析手段によって、前記記憶された前記カメラセッティングにおいて撮影されたパターン画像を解析することで、当該パターンの特徴点の観測された座標位置を算出し、インデックス化する。そして、カメラキャリブレーション装置は、パラメータ算出手段によって、前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて第２入力パラメータとして記憶された雲台のパン・チルト状態と、前記データベースに格納された各パラメータとを既知として、前記カメラセッティングにおいて撮影されたパターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラセッティングに対応した雲台の位置および姿勢を示すパラメータを、評価すべきパラメータとして算出する。そして、カメラキャリブレーション装置は、データベース作成手段によって、前記算出したパラメータを追加することで前記データベースを更新する。

また、請求項３に記載のカメラキャリブレーション装置は、請求項２のカメラキャリブレーション装置で更新されたデータベースを記憶したカメラキャリブレーション装置であって、パラメータを読出（あるいは参照）して、パラメータの補間を行うパラメータ補間手段を備えることとした。

かかる構成によれば、カメラキャリブレーション装置は、パラメータ補間手段によって、オンエア中のズームレンズ状態をキーとして前記更新されたデータベースからパラメータを読み出し補間し、オンエア中の現在の雲台のパン・チルト状態を用いて、ＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータを生成し、その生成したＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータをＣＧ描画装置に出力する。

また、請求項４に記載のカメラキャリブレーション方法は、バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションする処理手段と記憶手段とを備えたカメラキャリブレーション装置のカメラキャリブレーション方法であって、前記処理手段が、入力ステップと、画像特徴点観測ステップと、パラメータ算出ステップと、データベース作成ステップと、を含んで実行することとした。

かかる手順によれば、カメラキャリブレーション装置の処理手段は、入力ステップにて、前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像と、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第１入力パラメータとして前記記憶手段に格納する。そして、処理手段は、画像特徴点観測ステップにて、前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化する。そして、処理手段は、パラメータ算出ステップにて、前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出する。そして、処理手段は、データベース作成ステップにて、前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成する。

また、請求項５に記載のカメラキャリブレーションプログラムは、バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションするために、前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像を記憶すると共に、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第１入力パラメータとして記憶する記憶手段を備えたコンピュータを、キャリブレーションパターン解析手段、パラメータ算出手段、データベース作成手段として機能させることとした。

かかる構成によれば、カメラキャリブレーションプログラムは、キャリブレーションパターン解析手段によって、前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化する。そして、カメラキャリブレーションプログラムは、パラメータ算出手段によって、前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出する。そして、カメラキャリブレーションプログラムは、データベース作成手段によって、前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成する。

請求項１または請求項４に記載の発明によれば、カメラキャリブレーション装置は、複数のパターンでズームレンズのズーム範囲をカバーしつつ、セッティングバリエーションを変更した直後に、セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像を用いて雲台マウントのカメラモデルにより算出した内外パラメータをデータベース化するので、ズームレンズの対象とするズーム範囲全体をキャリブレーションすることができる。したがって、作成されたデータベースを、補正プロセスに用いたときに、正確にカメラ位置を特定できる。その結果、バーチャルスタジオ用のカメラシステムにおいて簡易な構成でＣＧと実写の幾何的な合成精度を高めることができる。

請求項２に記載の発明によれば、カメラキャリブレーション装置は、間接的なデータをパラメータに変換するプロセスで作成されたデータベースと、オンエア前のカメラセッティングにおいて設置された１つのパターンを撮影したパターン画像とを用いて雲台マウントのカメラモデルにより算出した雲台の位置および姿勢を示すパラメータをデータベースに追加するので、更新されたデータベースを、補正プロセスに用いたときに、正確にカメラ位置を特定できる。また、追加されたパラメータを検索条件とすることで、オンエア中の雲台の位置および姿勢に対応したパラメータを取得することができる。その結果、バーチャルスタジオ用のカメラシステムにおいて簡易な構成でＣＧと実写の幾何的な合成精度を高めることができる。

請求項３に記載の発明によれば、カメラキャリブレーション装置は、オンエア中に被写体を撮影したときに測定されたズームレンズ状態を検索条件として、更新されたデータベースからパラメータを読み出し補間すると同時に、ダイレクトに雲台のパン・チルト状態を利用するので、オンエア中に被写体の実写映像と精度よく合成できるＣＧ画像を描画するためのカメラ位置等のパラメータを正確に求めることができる。その結果、バーチャルスタジオ用のカメラシステムにおいて簡易な構成でＣＧと実写の幾何的な合成精度を高めることができる。
請求項５に記載の発明によれば、カメラキャリブレーションプログラムがインストールされたコンピュータは、請求項１に記載の発明と同様な効果を奏することができる。

以下、図面を参照して本発明のカメラキャリブレーション装置を実施するための最良の形態（以下「実施形態」という）について詳細に説明する。

［カメラキャリブレーション装置の概要］
図１は、本発明の実施形態に係るカメラキャリブレーション装置を含むカメラシステムを模式的に示す構成図であり、図２は、図１に示した撮影装置の外観の一例を模式的に示す図、図３は、図１のカメラシステムの処理の全体の流れを示すフローチャートである。また、図４は、本発明の実施形態に係るカメラキャリブレーション装置の構成を示すブロック図であって、データベース作成時の情報の流れを示している。
カメラシステム１は、放送局の特撮スタジオで利用されるものであって、図１に示すように、撮影装置２と、ＣＧ描画装置３と、映像合成装置４と、記憶装置５と、カメラキャリブレーション装置６とを備える。

撮影装置２は、現在、特撮用のスタジオなどで一般的に利用されているバーチャルスタジオ用の撮影装置であって、図１に示すように、カメラ７と、ズームレンズ８と、レンズデータ検出センサ８ａと、雲台９と、雲台姿勢検出センサ９ａと、ペデスタル１０と、ペデスタルデータ検出センサ１０ａとを備えている。

カメラシステム１は、図３に示すように、大別して、オンエア以前の撮影装置２のカメラパラメータおよびズームレンズのキャリブレーション（データベース構築）のフェーズ、オンエア以前のカメラセッティングのフェーズ、および、オンエア中のＣＧ合成のフェーズの３段階で利用される。

図１に示すカメラシステム１では、予め用意された２次元の特徴点を分布させた複数の異なるキャリブレーション用のパターン（以下、単にパターンという）を撮影装置２でそれぞれ撮影し、カメラキャリブレーション装置６が、それぞれの撮影画像から画像解析によって特徴点を抽出し、その情報によって、カメラの撮影位置などのパラメータを計算により直接的に求める。パターンのサイズや個数は、ズームレンズ８のズーム量やフォーカス位置（ズームレンズデータ）に応じて適宜変更可能である。撮影者はズームレンズ８のズームレンズ状態に合わせて適切なパターンを選択し、選択したパターンを複数のバリエーションで配置し、それぞれの配置状態において複数枚の静止画像を撮影する。各パラメータは最終的にバンドル調整（格子交点の予測位置と観測位置の幾何学的距離の２乗和の最小化）を行うことにより、高い精度での校正が可能である。このバンドル調整を効果的におこなうためには、撮影されるパターンに充分な数の特徴点を含むことと、それが画面全体の領域でくまなくサンプルされるように適切な撮影状態を選択することが重要である（例えば、左上、右上、左下、右下、中央の５箇所や、例えば、左上、左下、中央上、中央下、右上、右下の６箇所）。本実施形態では、図１に示すように、２次元の市松模様格子のパターンＰａ，Ｐｂを用意した。パターンＰａ，Ｐｂの模様の縦の寸法は、それぞれ９０ｃｍ、４２．５ｃｍであって、パターンＰａ，Ｐｂは、同じ模様の拡大縮小関係にあるものとした。つまり、パターンＰａ，Ｐｂは、特徴点の間隔のサイズが異なる。

なお、放送用バーチャルスタジオのカメラシステム１において、多様な演出に対応するために、例えば、１０数倍程度のズームを想定することができる。通常のズームレンズのズーム領域全体をカバーし、かつ、高精度のキャリブレーションを実行するためには、１つのパターンでは２倍程度のズームにしか対応できないと考えられるので、本実施形態では、複数の異なるパターンを用いてキャリブレーションを行う。

レンズデータは、レンズデータ検出センサ８ａで検出される測定値（間接的なデータ）であって、画角（言い換えると焦点距離）などのパラメータに変換されるデータである。このズームレンズデータは、カメラキャリブレーション装置６に入力する。また、カメラキャリブレーション装置６に入力する測定値（間接的なデータ）としては、他に、雲台姿勢検出センサ９ａで検出される雲台９の姿勢（パン・チルトデータ）がある。撮影時のパン・チルトデータおよびレンズデータも、撮影された静止画像（撮影画像）と共に記録しておく。カメラキャリブレーション装置６は、間接的なデータを利用しながらも、画像処理を利用したキャリブレーションプロセスと同様にして、必要なパラメータをダイレクトに最適化して求める。そこで、本実施形態では、それを可能にするために、後記するように、カメラ７が雲台９に搭載されているという拘束条件を課した雲台９を含めた系全体のカメラモデルを導入した。

［カメラシステムの構成の詳細］
図１に示すカメラ７は、被写体を撮影するものであり、撮影した被写体の実写映像（映像信号）をカメラキャリブレーション装置６に出力している。
ズームレンズ８は、焦点距離が連続的に変化できるように構成されている。
レンズデータ検出センサ８ａは、ズームレンズ８の画角を決定するレンズデータ（ズーム量とフォーカス位置の２変数）を検出するものである。このレンズデータ検出センサ８ａは、例えば、距離エンコーダ等から構成される。レンズデータ検出センサ８ａの検出するレンズデータは、距離エンコーダパルス値等のメカニカルな数値である。カメラキャリブレーション装置６においては、このレンズデータを記憶手段１８（図４参照）に格納し必要に応じて参照するか、あるいは、この検出したレンズデータに何らかの正規化を行った変換値等をあらためてレンズデータとして利用する。ズームレンズ８のレンズデータは、通常、ズーム量とフォーカス位置という２変数から構成されている。どちらを操作しても画角が変化するので、この２個のデータから画角が一意に決まることになる。なお、単焦点レンズの場合には、基本的に画角は変化しないので、単焦点レンズのレンズデータとはフォーカス位置のデータのみを意味する。

雲台９は、搭載固定されたカメラ７を、操作者の操作によって、横方向（パン）および上下方向（チルト）に回転できるように構成されている。
雲台姿勢検出センサ９ａは、カメラ７の横方向（パン）の回転角および上下方向（チルト）の回転角（以下、合わせて、パン・チルトデータと呼称する）を検出する。この雲台姿勢検出センサ９ａは、例えば、ロータリーエンコーダ等から構成される。

ペデスタル１０は、雲台９を搭載固定するものであり、雲台９上のカメラ７を上下方向（ハイト）に移動できるように構成されている。また、ペデスタル１０には、キャスターが取り付けられており、撮影装置２は、床面上を移動できるように構成されている。
ペデスタルデータ検出センサ１０ａは、ペデスタル１０の初期状態における雲台の位置（雲台中心の３次元位置）と、ペデスタル１０の上下方向および床面上の移動によって変化した雲台の位置とのオフセット値（以下、ペデスタルデータと呼称する）を検出し、検出したペデスタルデータをカメラキャリブレーション装置６に出力する。このペデスタルデータ検出センサ１０ａは、例えば、ロータリーエンコーダ等から構成される。なお、カメラキャリブレーション装置６は、オンエア前のキャリブレーションでは、ペデスタルデータを使用せずに、オンエア中にのみ相対的な移動量として利用する。その理由は、ペデスタル１０は、移動の際にカウンターがすべることがあり、長時間の移動の結果、それが蓄積することにより出力値に信頼性がないためである。

ＣＧ描画装置３は、予め定められた描画用情報に基づいて仮想空間データを生成するものである。ＣＧ描画装置３は、ＣＧ用仮想カメラの位置および姿勢を示すＣＧ用外部パラメータ、さらに画角などの内部パラメータとして、カメラキャリブレーション装置６から出力されるパラメータを用いてＣＧ画像を生成する。また、ＣＧ描画装置３には、ＣＧ描画の際にレンズ歪を再現できる描画装置を採用することができる。なお、カメラキャリブレーション装置６に対して、レンズ歪を補正した実写画像を入力する場合には、ＣＧ描画装置３には、そのようなＣＧ描画の際にレンズ歪を再現できる描画装置を採用する必要はない。

映像合成装置４は、カメラ７から出力される実写映像と、ＣＧ描画装置３で生成されたＣＧ映像とを合成するものである。これらＣＧ描画装置３と、映像合成装置４とは、例えば、ＧＰＵ（Graphics Processing Unit）、または、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）から構成され、所定のプログラムをＲＡＭに展開して実行することで前記した機能を果たす。

記憶装置５は、例えば、一般的なハードディスク等から構成され、カメラキャリブレーション装置６によって作成されたデータベース５ａを記憶するものである。なお、前記したＣＧ描画装置３と、映像合成装置４と、記憶装置５とをカメラキャリブレーション装置６に含んで構成することもできる。

カメラキャリブレーション装置６は、バーチャルスタジオ用のカメラシステム１の雲台９に搭載されたカメラ７のズームレンズ８のズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置されたパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、セッティングバリエーションを随時変更して得られる複数のパターン画像に基づいてカメラシステム１およびズームレンズ８をキャリブレーションするものである。ここで、セッティングバリエーションとは、パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと、設置位置を変更すること、との少なくとも一方を行うことに対応している。

［カメラキャリブレーション装置の構成］
カメラキャリブレーション装置６は、図４に示すように、実写映像入力手段１１と、パラメータ入力手段１２と、処理手段として機能するキャリブレーションパターン解析手段１３、最適化キャリブレーション処理手段１４およびパラメータ補間手段１７と、記憶手段１８とを備えている。

実写映像入力手段１１は、カメラ７から出力される実写映像を入力するものである。この実写映像入力手段１１は、所定の入力インタフェース等から構成される。
実写映像入力手段１１は、オンエア時には、実写映像（映像信号）を、キャリブレーションパターン解析手段１３へ入力すると共に、映像合成装置４へも入力する。

パラメータ入力手段１２は、雲台姿勢検出センサ９ａで検出された雲台９の姿勢を示すパラメータ（パン・チルトの２種類の回転角を示す信号）と、レンズデータ検出センサ８ａで検出されたレンズデータ（２変数）とを最適化キャリブレーション処理手段１４へ入力するものである。このパラメータ入力手段１２は、所定の入力インタフェース等から構成される。

キャリブレーションパターン解析手段１３は、実写映像入力手段１１から入力された既知のパターンや記憶されたパターン画像を解析することで、パターンの特徴点の観測された座標位置を算出し、インデックス化するものである。本実施形態では、キャリブレーションパターン解析手段１３は、一例として、図１に示した２次元の市松模様の既知のパターンＰａ，Ｐｂを解析し、パターンＰａ，Ｐｂの特徴点として、市松模様格子の交点７０１（図７参照）の画像座標を算出し、インデックス化するものとして説明する。

また、キャリブレーションパターン解析手段１３は、入力装置Ｍから、パターンの形状（マス目の個数）やパターンのサイズといった情報（キャリブレーションパターンデータ）の入力を受け付け、記憶手段１８に格納する。入力装置Ｍは、例えば、キーボードやマウス等から構成される。なお、図示は省略するが、カメラキャリブレーション装置６は、各種情報の入力状態を表示する表示手段（例えば、液晶ディスプレイ等）を備えている。

最適化キャリブレーション処理手段１４は、パラメータ算出手段１５およびデータベース作成手段１６を備えている。
パラメータ算出手段１５は、雲台９に搭載されたカメラ７に対応して予め設定された後記するカメラモデルを用いて第１入力パラメータ１８ａとして記憶された雲台のパン・チルト状態（パン・チルトデータ）を既知として、パターンの特徴点の座標位置を推定し、推定された座標位置と観測された座標位置との誤差関数を含む目的関数が最小化するように、当該カメラモデルにおける外部パラメータと、ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出するものである。また、パラメータ算出手段１５は、反復によるパラメータ最適化プロセスにおいて、例えば、公知の非線形最小二乗法で利用される方法を用いることができる。

データベース作成手段１６は、パラメータ算出手段１５で算出された評価すべきパラメータのうち、雲台９からカメラ７の光軸方向のオフセットを示すパラメータと、内部パラメータと、ズームレンズ状態に依存しない外部パラメータとを格納したデータベース５ａを作成するものである。

パラメータ補間手段１７は、オンエア前のプロセスでは利用されないので、後記するオンエア中の動作において説明する。

記憶手段１８は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備え、所定のプログラム等を記憶し、また、カメラキャリブレーション装置６による演算処理等に利用される。
記憶手段１８は、データベース構築のフェーズにおいてパラメータ入力手段１２から入力されたデータを、第１入力パラメータ１８ａとして記憶する。
記憶手段１８は、データベース構築のフェーズにおいて実写映像入力手段１１から入力された画像データを、第１画像情報１８ｂとして記憶する。

ここで、第１画像情報１８ｂは、複数のパターンから選択された１つのパターンを、ズーム範囲で離散的に変更されたズームレンズ状態それぞれにおいて少なくとも２つの位置に設置して撮影されたパターン画像、および、当該パターンを設置されたそれぞれの位置において、少なくとも２つのズームレンズ状態にて撮影されたパターン画像である。また、第１入力パラメータ１８ａは、複数のパターン画像それぞれが撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態の測定値である。

また、記憶手段１８は、データベース構築のフェーズにおいてキャリブレーションパターン解析手段１３で観測した特徴点の座標を、第１観測座標１８ｃとして記憶する。
記憶手段１８は、データベース構築のフェーズにおいてパラメータ算出手段１５で推定した特徴点の座標を、第１推定座標１８ｄとして記憶する。

なお、キャリブレーションパターン解析手段１３と、最適化キャリブレーション処理手段１４と、パラメータ補間手段１７とは、例えば、ＣＰＵ（Central Processing Unit）が所定のプログラムをＲＡＭに展開して実行することで前記した機能を果たす。

［カメラシステムの全体処理の流れ］
図１のカメラシステム１の全体処理の流れについて図３を参照（適宜図１および図４参照）して説明する。図３は、図１のカメラシステムの処理の全体の流れを示すフローチャートである。データベース構築のフェーズにおいて、カメラキャリブレーション装置６は、実写映像入力手段１１から入力される実写映像と、パラメータ入力手段１２から入力されるズームレンズデータおよびパン・チルトデータと、入力装置Ｍから入力されるキャリブレーションパターンデータとを記憶手段１８に格納する（ステップＳ１：ＤＢ作成用データ入力処理）。そして、カメラキャリブレーション装置６は、キャリブレーションパターン解析手段１３によって、画像特徴点観測処理を実行する（ステップＳ２）。そして、カメラキャリブレーション装置６は、パラメータ算出手段１５によって、パラメータ算出処理を実行し（ステップＳ３）、データベース作成手段１６によって、データベース５ａを作成する（ステップＳ４）。

カメラセッティングのフェーズは、雲台位置および姿勢をキャリブレーションするプロセスである。このカメラセッティングのフェーズにおいて、カメラキャリブレーション装置６は、実写映像入力手段１１から入力される実写映像と、パラメータ入力手段１２から入力されるズームレンズデータおよびパン・チルトデータと、入力装置Ｍから入力されるキャリブレーションパターンデータとを記憶手段１８に格納する（ステップＳ５：カメラセッティング用データ入力処理）。そして、カメラキャリブレーション装置６は、パラメータ算出手段１５によって、カメラセッティング時のパラメータを算出し、データベース作成手段１６によって、カメラセッティング対応のパラメータをデータベース５ａに追加する（ステップＳ６）。

ＣＧ合成のフェーズにおいて、カメラキャリブレーション装置６は、パラメータ入力手段１２から入力されるズームレンズデータおよびパン・チルトデータをオンエアデータとして入力する（ステップＳ７）。そして、カメラキャリブレーション装置６は、入力されたパン・チルトデータと、ズームレンズデータをキーとしてデータベース５ａから読み出したパラメータの補間値から生成したパラメータをＣＧ描画装置３に出力する。ＣＧ描画装置３は、取得したカメラパラメータに基づいてＣＧを描画する（ステップＳ８）。映像合成装置４は、ＣＧと実写映像とから合成映像を生成し、図示しない表示装置等に出力する（ステップＳ９）。

［カメラシステムの個別処理の流れ］
＜ＤＢ作成用データ入力処理＞
ＤＢ作成用データ入力処理においては、各ズームレンズ状態にふさわしいパターンを適切な位置に設置し撮影を行う。具体的には、ズームが広角の場合は一マスが大きな市松模様を使用し、望遠時には一マスが小さな市松模様を使用すると同時に、設置位置もフォーカス位置などにあわせて適切な位置に設置する。カメラキャリブレーション装置６に入力する実写映像として撮影される２つのパターンの配置例を平面視で図５に示す。大きいサイズのパターンＰａが位置５０１または５０２に設置されて撮影され、小さいサイズのパターンＰｂが位置５０３，５０４または５０５に設置されて撮影される様子を示している。なお、図５のＯは撮影位置を示し、角度α以下は望遠、角度β以上は広角を示す。また、図５に示すように、まず、パターンＰａはカメラに遠いほうに配置され、ここではバラエティーに富んだ配置となるように設定されている。そして、パターンは、立体的な３Ｄのパターンでも構わないが、ここでは２次元のパターンを例示している。

前記したように、セッティングバリエーションは、他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応している。ここでは、パターンと設置位置との組み合わせを示す識別子のことをセッティングバリエーションｈと呼ぶことにする。パターンの設置位置は、カメラとパターンの相対的な位置関係を表し、後記する式（２３）のＭ_pに相当する。表１にセッティングバリエーションｈを例示する。

表１の例では、セッティングバリエーションｈはＨ種類存在し、これは設置位置の数に一致していることを示している。また、いくつかの設置位置では同じキャリブレーションパターン（例えば、市松模様の一マスの大きさによって１，２，…，Ｌと名付ける。）を使いまわす可能性があることを示している。各セッティングバリエーションｈにおいて、いくつかのズームレンズ状態ｍにおけるパターン撮影を行う。その際のズームレンズ状態ｍとセッティングバリエーションｈとの関係を、表２に例示する。

表２において、ｍの添字が大きくなるほど望遠ズームになり、かつ、ｈの数値が大きいほど設置位置が遠くなることを示している。表２中の○が記載された部分が、ズームレンズ状態ｍでキャリブレーションに使用するセッティングバリエーションｈに対応することを示す。表２中のすべてのマスに該当する条件で撮影する必要はなく、ズームレンズ状態ｍを広角から望遠に変更させていくときに、パターン画像が撮影画面の所定範囲に収まるように、セッティングバリエーションｈを適宜変更すればよい。このため、表のほぼ対角線上に○が記載されている。なお、表２において、ｍの添字が大きくなるほど広角ズームになり、かつ、ｈの数値が大きいほど設置位置が近くなるように配列し、ズームレンズ状態ｍを望遠から広角に変更させていくときに、パターン画像が撮影画面の所定範囲に収まるように、セッティングバリエーションｈを適宜変更するようにすることもできる。

表２が示す最も特徴的な部分は、各セッティングバリエーションｈがサンプルするズームレンズ状態ｍを一部オーバーラップさせている点である。つまり、セッティングバリエーションを変更した直後に、セッティングバリエーションの変更直前のズームレンズ状態に維持してパターン画像を得ている。これは、例えばｈ＝１とｈ＝２のときのｍ₂のことを指す。このようにすることで、各セッティングバリエーションｈごとに独立してしまうＭ_p（後記する式（２３）参照）のようなパラメータに対して、ズーム状態全体にわたるグローバルな最適化の結果に影響を与えることを可能にする。

なお、解析するための画像は、それぞれのセッティングバリエーションにおいて、いくつかのパン・チルトを変化させて撮影し、これらのすべての画像から、一度にすべてのパラメータを最適化して求める。パン・チルト値は、データとして与えられるので、後記する式（２３）におけるＭ_PanTiltは既知となる。

図６は、図３に示すＤＢ作成用データ取得処理の流れを示すフローチャートである。
カメラキャリブレーション装置６は、初期状態のセッティングバリエーションでパターンが設置された状態と、初期状態のレンズ状態に調整された状態とを、セッティングバリエーションｈ＝１、ズームレンズ状態ｍ＝ｍ₁とする（ステップＳ１１）。そして、カメラキャリブレーション装置６は、現在のセッティングバリエーションｈおよびズームレンズ状態ｍの組み合わせの状態において、パターンの画像データと、入力パラメータとの組み合わせを複数の画像データについて取得する（ステップＳ１２）。次いで、カメラキャリブレーション装置６は、現在のセッティングバリエーションｈにおいて必要なすべてのズームレンズ状態ｍでデータを取得したか否かを判別する（ステップＳ１３）。現在のセッティングバリエーションｈにおいて必要なすべてのズームレンズ状態ｍでデータを取得していない場合（ステップＳ１３：Ｎｏ）、カメラキャリブレーション装置６は、ズームレンズ状態ｍを変更し（ステップＳ１４）、ステップＳ１２に戻る。

一方、現在のセッティングバリエーションｈにおいて必要なすべてのズームレンズ状態ｍでデータを取得した場合（ステップＳ１３：Ｙｅｓ）、カメラキャリブレーション装置６は、現在のセッティングバリエーションｈに１を加え（ｈ＝ｈ＋１）、次のセッティングバリエーションにパターンが設置された状態で入力データを受け付ける（ステップＳ１５）。そして、カメラキャリブレーション装置６は、対象となるすべてのズームレンズ状態ｍでデータを取得したか否かを判別する（ステップＳ１６）。対象となるすべてのズームレンズ状態ｍでデータを取得していない場合（ステップＳ１６：Ｎｏ）、ステップＳ１２に戻る。一方、対象となるすべてのズームレンズ状態ｍでデータを取得した場合（ステップＳ１６：Ｙｅｓ）、このＤＢ作成用データ入力処理を終了する。

＜画像特徴点観測処理＞
図８は、図３に示す画像特徴点観測処理の流れを示すフローチャートである。
ここで、パターンＰａの市松模様の特徴点（交点７０１；図７参照）がＮ個あってそのインデックスをｎ（１≦ｎ≦Ｎ）とする。例えば、図７に示すパターンＰａは、縦９マス×横１１マスなので、縦線と横線の交点７０１の個数Ｎは８×１０個である。また、パターンＰａを撮影した画像がＫ枚あってそのインデックスをｋ（１≦ｋ≦Ｋ）とする。また、画像ｋの観測された交点ｎの座標を画像座標系で、ｅ₀（ｎ，ｋ）とベクトル表記する。また、カメラキャリブレーション装置６で扱うカメラモデルを介して計算で得られる交点ｎの座標を画像座標系で、ｅ_d（ｎ，ｋ）とベクトル表記する。

カメラキャリブレーション装置６は、キャリブレーションパターン解析手段１３によって、ｋ番目の画像を選択する（ステップＳ２１）。そして、キャリブレーションパターン解析手段１３は、ｋ番目の画像においてｎ番目の特徴点を選択する（ステップＳ２２）。そして、キャリブレーションパターン解析手段１３は、特徴点の位置座標ｅ₀（ｎ，ｋ）を観測し（ステップＳ２３）、特徴点の位置座標ｅ₀（ｎ，ｋ）を保存する（ステップＳ２４）。次に、キャリブレーションパターン解析手段１３は、全特徴点を選択したか否かを判別する（ステップＳ２５）。まだ選択されていない特徴点がある場合（ステップＳ２５：Ｎｏ）、キャリブレーションパターン解析手段１３は、ｎをインクリメントして（ステップＳ２６）、ステップＳ２２に戻る。一方、全特徴点を選択した場合（ステップＳ２５：Ｙｅｓ）、キャリブレーションパターン解析手段１３は、すべての画像を選択したか否かを判別する（ステップＳ２７）。まだ選択されていない画像がある場合（ステップＳ２７：Ｎｏ）、ｋをインクリメントして（ステップＳ２８）、キャリブレーションパターン解析手段１３は、ステップＳ２１に戻る。一方、すべての画像を選択した場合（ステップＳ２７：Ｙｅｓ）、キャリブレーションパターン解析手段１３は、この画像特徴点観測処理を終了する。

＜パラメータ算出処理＞
パラメータ算出手段１５は、最適化処理によりパラメータを算出する。目的関数を評価するパラメータベクトルθは、式（１）で表される。なお、各セッティングバリエーションｈにおける設置位置に対応するパラメータベクトルは、目的関数を評価するために必要であり、計算過程で解が得られるが、データベースに登録するパラメータではない（図４参照）。

最適化のプロセスは、一般的にはバンドル調整とよばれ、画像座標系におけるパターンの特徴点の観測位置と、カメラモデルを経て計算により推定した特徴点の位置との差を評価する目的関数を作成して、それを最適化することで、前記した式（１）のパラメータをすべて求めるものである。

前記したように画像座標系におけるパターンの特徴点の観測位置をｅ₀（ｎ，ｋ）、カメラモデルを経て計算により推定した特徴点の位置をｅ_d（ｎ，ｋ）とすると、パラメータを最適化によって求める際の評価関数、すなわち、目的関数Ｊ（θ）は、式（２）で示される。なお、ｎは特徴点の個数（ｎ＝１，…，Ｎ）、ｋは画像の枚数（ｋ＝１，…，Ｋ）を表す。さらに、Ｖは観測誤差の共分散行列を表す。

最適化としては、式（２）のＪ（θ）を最小にするθを求めればよいことになる。ゆえに、パラメータ算出手段１５は、式（４）に示す計算を実行する。式（４）からＪが最小のときのθを求める計算には、例えば、公知のLevenberg-Marquardt法が最適化問題として利用できる。

また、前記した式（２）に示す観測誤差の共分散行列Ｖは、式（５）で表される。なお、式（６）のＥは誤差関数を示す。

図１１は、図３に示すパラメータ算出処理の流れを示すフローチャートである。
パラメータ算出手段１５は、ｋ番目の画像について、撮影時の入力パラメータ（ズームレンズデータ、パン・チルトデータ、キャリブレーションパターンデータ）を既知データとして、その画像のｎ番目の特徴点の位置座標ｅ_d（ｎ，ｋ）を推定する（ステップＳ３１）。そして、パラメータ算出手段１５は、すべての特徴点において位置を推定したか否かを判別する（ステップＳ３２）。まだ推定されていない特徴点がある場合（ステップＳ３２：Ｎｏ）、パラメータ算出手段１５は、ｎをインクリメントして（ステップＳ３７）、ステップＳ３１に戻る。一方、すべての特徴点において位置を推定した場合（ステップＳ３２：Ｙｅｓ）、パラメータ算出手段１５は、すべての画像について特徴点位置を推定したか否かを判別する（ステップＳ３３）。まだ推定されていない画像がある場合（ステップＳ３３：Ｎｏ）、パラメータ算出手段１５は、ｋをインクリメントして（ステップＳ３８）、ステップＳ３１に戻る。一方、すべての画像において特徴点位置を推定した場合（ステップＳ３３：Ｙｅｓ）、前記した式（３）で示される現在のｙ（θ）を用いて、前記した式（２）で示される目的関数Ｊ（θ）を算出する（ステップＳ３４）。そして、パラメータ算出手段１５は、Ｊ（θ）の値が収束したか否かを判別する（ステップＳ３５）。Ｊ（θ）の値が収束しなければ（ステップＳ３５：Ｎｏ）、パラメータ算出手段１５は、ステップＳ３１に戻る。一方、Ｊ（θ）の値が収束した場合（ステップＳ３５：Ｙｅｓ）、現在の評価パラメータベクトルθのパラメータを出力し（ステップＳ３６）、このパラメータ算出処理を終了する。

＜カメラセッティング時＞
次に、カメラキャリブレーション装置６に関して、カメラセッティングフェーズの機能について図１２を参照して説明する。図１２は、本発明の実施形態に係るカメラキャリブレーション装置においてカメラセッティング時の情報の流れを示す図である。なお、データベース構築時（キャリブレーション時）と同一の機能については説明を省略する。

パラメータ入力手段１２は、雲台姿勢検出センサ９ａで検出された雲台９の姿勢を示すパラメータ（パン・チルトの２種類の回転角を示す信号）と、レンズデータ検出センサ８ａで検出されたレンズデータ（２変数）とに加えて、ペデスタルデータ検出センサ１０ａで検出されたペデスタルデータ（ペデスタル１０の移動によって変化した雲台の位置とのオフセット値）をパラメータ算出手段１５へ入力する。

キャリブレーションパターン解析手段１３は、記憶されたカメラセッティングにおいて撮影されたパターン画像を解析することで、当該パターンの特徴点の観測された座標位置を算出し、インデックス化する。

パラメータ算出手段１５は、雲台９に搭載されたカメラ７に対応して予め設定された後記するカメラモデルを用いて第２入力パラメータ１８ｅとして記憶された雲台のパン・チルト状態と、データベース５ａに格納された各パラメータとを既知として、カメラセッティングにおいて撮影されたパターンの特徴点の座標位置を推定し、推定された座標位置と観測された座標位置との誤差関数を含む目的関数が最小化するように、カメラセッティングに対応した雲台の位置および姿勢を示すパラメータを、評価すべきパラメータとして算出する。
データベース作成手段１６は、パラメータ算出手段１５で算出したパラメータを追加することでデータベース５ａを更新する（図１２参照）。

なお、カメラセッティング時のパラメータ算出手段１５の機能は、作成されたデータベース５ａに格納された各パラメータ（前記した式（１）の各セッティングバリエーションｈにおける設置位置に対応するパラメータベクトル以外のデータ）で構成されるデータ曲面を正解として、それがセッティング時の雲台位置の状態に合うようにフィッティング（最適化）するプロセスである。このプロセスのため、予めデータベース構築時に扱うデータとして、パターンをある位置に設置したときに５〜１０枚のパターン画像を取得する際に、なるべくズームなどの内部パラメータを変化させた画像を入れることが望ましい。その理由は、このようにしなければ、フィッティングするためのデータ曲面のサンプル方向を１つ無駄にしてしまうことにより精度が悪化する可能性があるからである。

記憶手段１８は、カメラセッティングのフェーズにおいてパラメータ入力手段１２から入力されたデータを、第２入力パラメータ１８ｅとして記憶する。
記憶手段１８は、カメラセッティングのフェーズにおいて実写映像入力手段１１から入力された画像データを、第２画像情報１８ｆとして記憶する。

ここで、第２画像情報１８ｆは、オンエア前のカメラセッティングにおいて撮影した複数のパターン画像である。また、第２入力パラメータ１８ｅは、複数のパターン画像それぞれが撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態の測定値である。

また、記憶手段１８は、カメラセッティングのフェーズにおいてキャリブレーションパターン解析手段１３で観測した特徴点の座標を、第２観測座標１８ｇとして記憶する。
記憶手段１８は、カメラセッティングのフェーズにおいてパラメータ算出手段１５で推定した特徴点の座標を、第２推定座標１８ｈとして記憶する。

＜カメラセッティング用データ入力処理＞
図１３は、図３に示すカメラセッティング用データ入力処理の流れを示すフローチャートである。カメラキャリブレーション装置６は、カメラセッティング時に固定配置された１つのパターンについての複数の画像データと、入力パラメータとの組み合わせを取得する（ステップＳ５１）。そして、カメラキャリブレーション装置６は、必要な組み合わせのデータ（例えば５〜１０組）をすべて取得したか否かを判別する（ステップＳ５２）。まだ取得されていないデータがある場合（ステップＳ５２：Ｎｏ）、ステップＳ５１に戻る。一方、必要な組み合わせのデータをすべて取得した場合（ステップＳ５２：Ｙｅｓ）、カメラキャリブレーション装置６は、このカメラセッティング用データ入力処理を終了する。なお、複数の画像データを取得するときに、パン・チルトを変更するだけではなく、ズームレンズ状態を適宜変更する。

＜オンエア中＞
次に、カメラキャリブレーション装置６に関して、オンエア中のパラメータ設定モードの機能について図１４を参照して説明する。図１４は、本発明の実施形態に係るカメラキャリブレーション装置においてオンエア中の情報の流れを示す図である。なお、オンエア以前の機能については説明を省略する。オンエア中においては、キャリブレーションパターン解析手段１３および最適化キャリブレーション処理手段１４を用いない。

パラメータ補間手段１７は、オンエア中のズームレンズ状態をキー（クエリー）として、雲台位置および姿勢のパラメータがキャリブレーションされて更新されたデータベース５ａからパラメータを読み出し（リザルト）、補間し、オンエア中の現在の雲台のパン・チルト状態を用いて、ＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータを生成し、その生成したＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータをＣＧ描画装置３に出力するものである。本実施形態では、撮影装置２にペデスタル１０を備えているので、ペデスタルデータ（雲台９の中心位置に加えるオフセット値）にも合わせてパラメータを補間する。また、パラメータ補間手段１７は、仮想カメラの位置および姿勢のパラメータについては、以下で説明するカメラモデルにおいて後記する式（２３）の計算を行う。同様に、仮想カメラの内部パラメータについては、パラメータ補間手段１７は、後記する式（２５）に示す内部パラメータを補間により求める。この場合、出力するパラメータの個数の最小値は、ズームレンズ状態ｍが１つである場合であって、１２変数の外部パラメータと、８変数の内部パラメータとなる。また、パラメータ補間手段１７が、更新されたデータベース５ａから読み出すパラメータには、カメラセッティング時に追加された、セッティングバリエーションｈにおける設置位置に対応するパラメータベクトル（前記した式（１）参照）が含まれている。なお、補間の方法は、例えば、平均値補間、あるいは、スプライン曲線やベジェ曲線を用いて滑らかな曲線を描くように補間することができる。

記憶手段１８は、オンエア中にパラメータ入力手段１２から入力されたデータを、第３入力パラメータ１８ｊとして記憶する。
ここで、第３入力パラメータ１８ｊは、被写体画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態であり、ズームレンズ状態は検索条件として利用される。

［カメラモデル］
ここで、一般的なカメラモデルと対比させながら、本実施形態のカメラキャリブレーション装置６で前提としているカメラモデル（回転雲台モデル）について詳細に説明する（非特許文献１、３参照）。

まず、一般的なカメラモデルとしてピンホールカメラモデルにおける座標軸間の関係を図１５に示す。図１５に示すピンホールカメラモデルでは、任意の世界座標上の点Ｐ（Ｘ，Ｙ，Ｚ）を、ピンホールを視点として撮影する。世界座標上の点Ｐ（Ｘ，Ｙ，Ｚ）は、ピンホールを原点とする座標（カメラ座標）でみると、カメラ座標上の点Ｐ（ｘ_c，ｙ_c，ｚ_c）として撮影される。このカメラ座標上の点Ｐ（ｘ_c，ｙ_c，ｚ_c）を画像座標平面に投影すると、点Ｐ（ｘ_c，ｙ_c，ｚ_c）とピンホール（原点）とを結ぶ直線と画像座標平面との交点の位置（ｘ_n）に映るはずであるが、実際には、カメラ歪みの影響で、画像座標平面において、点Ｐ（ｘ_c，ｙ_c，ｚ_c）と原点とを結ぶ直線との交点からずれた位置（ｘ_d）に映ってしまう。なお、位置ｘ_n，ｘ_dについて図１５ではベクトル表記した。

次に、本実施形態のカメラキャリブレーション装置６で扱うカメラモデルについて図９と以下の変換関係式とを参照して説明する。図９に示すカメラモデルは、世界座標（以下、wで表す）と、カメラ座標（以下、cで表す）と、画像座標（ｕ軸およびｖ軸で示す）との他に、雲台座標（以下、pで表す）と、パン・チルトデータ座標（以下、dataで表す）とを有している。このうち、世界座標（w）とカメラ座標（c）と画像座標とは、図１５に示したピンホールカメラモデルと同様なものである。

なお、式（８）において、ｆは画角（焦点距離に対応）、ｓはアスペクト比、ｕ₀およびｖ₀は光軸中心位置（図９に示すＯ_iの座標）を示す。また、式（９）において、Ｒ^w→cは３×３の回転行列、ｔ^w→cは３×１の平行移動を示す列ベクトル、０は１×３の行ベクトルを示す。また、式（１０）において、Ｍ^w→pは世界座標から雲台座標への変換行列、Ｍ^p→dataは雲台座標からパン・チルトデータ座標への変換行列、Ｍ^data→cはパン・チルトデータ座標からカメラ座標への変換行列をそれぞれ示している。

また、本実施形態のカメラキャリブレーション装置６で扱うカメラモデルでは、式（１１）〜式（１６）によりレンズ歪みを考慮している。

ここで、式（１１）は、図９に示す画像座標上に図示した２点のうち、歪みを含んだ座標を示し、式（１２）は、無歪の座標を示す。なお、Ｔは転置を表す。また、式（１３）〜式（１５）は、式（１１）に示した歪みを含んだ座標と光軸中心位置（図９に示すＯ_iの座標）との距離の関係を示す。また、式（１６）は、式（１１）〜式（１５）で定まるものであって、歪を含んだ座標系から無歪座標系への変換を示す。ここで、ｋ₁、ｋ₂は、放射方向のレンズ歪み、ｐ₁、ｐ₂は接線方向のレンズ歪みを示す。

したがって、内部パラメータ（光学的パラメータ）は、式（８）に示す「画角（焦点距離に対応）ｆ」と「アスペクト比ｓ」、「光軸中心位置ｕ₀，ｖ₀」と、式（１６）に示す「レンズ歪パラメータｋ₁、ｋ₂、ｐ₁、ｐ₂」とからなる８変数である。なお、本アルゴリズムは、接線方向のレンズ歪パラメータｐ₁、ｐ₂を考慮しないカメラモデルにも適用できる（ｐ₁＝ｐ₂＝０でもよい）。

また、外部パラメータは、式（１０）に示す変換行列Ｍ^ｗ→pで示される雲台位置ｘ，ｙ，ｚと雲台姿勢ｗ，ｐ，ｒと、変換行列Ｍ^p→dataで示されるパン・チルト量と、変換行列Ｍ^data→cで示される雲台を基準としたカメラオフセット位置（カメラレンズオフセット位置）ｘ，ｙ，ｚおよびカメラオフセット姿勢（カメラレンズオフセット姿勢）ｗ，ｐ，ｒとからなる１４変数である。ただし、パン・チルト量は常に与えられるので、求めるべき未知のパラメータは１２変数である。

以下では、ズームレンズ状態を考慮して、前記した８変数の内部パラメータをベクトル化する。ここで、ズームレンズ状態の異なる２つのカメラ座標系の一例を図１０に示す。図１０は、ズームレンズ状態の異なる２つのカメラ座標系を示す図であって、（ａ）はズームレンズ状態ｍ₁、（ｂ）はズームレンズ状態ｍ₂をそれぞれ示している。なお、ｚ_c軸が光軸方向であり、ｆは焦点距離を示す。

この場合、一般的にカメラの位置・姿勢をあらわす外部パラメータ（以下、extで表す）は、式（１７）に示すように、各座標軸方向の平行移動と回転を表す６つのパラメータで規定される。なお、ｚ軸が光軸方向である。

ズームレンズ８の使用を考慮すると、その構造的な性質から、ズーム量およびフォーカス位置の変化に伴ってカメラ位置（カメラレンズ位置）を変化させる必要がある。ここで、ズームレンズ状態として、式（１８）のｍを定義する。以下、単独で“ｍ”と表記した場合に式（１８）を示すこととする。

ｍ_z、ｍ_fはそれぞれズーム量およびフォーカス位置を表す。一般的なシステムにおいては、それぞれのロータリーエンコーダのカウンタパルスの数値に相当する。つまり、このｍにより、カメラ位置が変化するために、前記した式（１７）の外部パラメータは式（２１）で表されることになる。さらに、式（２１）の外部パラメータは、剛体変換をあらわす回転Ｒと平行移動ｔからなる式（２２）の行列Ｍ（ｍ)で表されることと同等である。

ここで、空間に任意の世界座標を考えることにする。雲台９のパン・チルト回転軸は直交し一点で交差していると仮定する。逆に言えばそのような仮定にあう雲台９を利用する。この交差点を雲台中心と呼ぶとする。この雲台９は世界座標の位置・姿勢Ｍ_pで設置されているとする。さらに、その雲台中心からオフセットされたカメラレンズ位置・姿勢をＭ_cとし、パン・チルト量をＭ_PanTiltで表すとすると、カメラ位置・姿勢を示す式（２２）の行列Ｍ（ｍ)は、最終的には、式（２３）で表される。

ズームレンズ８に関しては、ズーム量およびフォーカス位置によって影響を受ける外部パラメータとしては光軸方向の位置シフトのみを考慮した。つまりＭ（ｍ）においては、Ｍ_cのみがｍの関数であり、しかも実際には光軸方向のシフトのみがｍの関数であるとした。

続いて、ズームレンズ状態におけるベクトルである内部パラメータθ_intとしては、式（２５）に示すように、Heikkilaのモデル（アスペクト比ｓ、焦点距離ｆ、画像中心座標ｕ₀，ｖ₀、レンズ歪係数ｋ₁，ｋ₂，ｐ₁，ｐ₂の８パラメータ）を採用し、これはすべてズームレンズ状態ｍの関数とした。

従来の一般的なキャリブレーションの場合においては、内部パラメータは固定、かつ、カメラの位置・姿勢に拘束条件を与えないために、Ｋ枚の画像を利用する場合には、内部パラメータと、それぞれの画像に対応した外部パラメータ（カメラ位置・姿勢）とを未知パラメータとして扱うことになる。すなわち、その際のズームレンズ状態にあたる固定値をｍ₀、評価すべきパラメータベクトルをθとすると、その転置ベクトルは式（２６）で表される。ここで、θ_ext（ｍ₀，ｋ）は、ズームレンズ状態がｍ₀であるｋ枚目の画像に対応した外部パラメータ（撮影カメラ位置・姿勢）ベクトルを表す。

本実施形態では、ズームレンズ８を対象とするために、ズームレンズ状態ｍに対する内部・外部パラメータを、データとして得る必要がある。しかし、すべてのレンズ状態を連続してサンプルすることは不可能であるために、レンズ状態としては、いくつかの状態を離散的にサンプルし、それらの離散レンズ状態のサンプルから、ズームレンズ８全体の内部・外部パラメータを算出し、得られた各パラメータを、ズームレンズ状態に対して補間することとする。なお、これは、各離散レンズ状態においてそれぞれのバンドル調整結果から得られる各パラメータを補間することとは全く異なる。

サンプルしたズームレンズ状態ｍ＝ｍ₁，ｍ₂，…，ｍ_M、セッティングバリエーション ｈ＝１，２，３，…，Ｈのもとで評価されるパラメータベクトルθは、前記した式（１）となる。

本実施形態のカメラキャリブレーション装置６によれば、バーチャルスタジオの放送時に使用する既存のシステムに加えて、既知のパターン（例えば市松模様）が２，３種類準備できれば、それだけでズームレンズ８が全域で正確にキャリブレートできる。

以上、本実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で様々に実施することができる。例えば、パターンは２次元の市松模様として説明したが、特徴点が３次元の位置情報を持つものであってもよい。

また、カメラキャリブレーション装置６は、一般的なコンピュータを、前記したキャリブレーションパターン解析手段１３と、最適化キャリブレーション処理手段１４として機能させるプログラム（カメラキャリブレーションプログラム）により動作させることで実現することができる。このプログラムは、通信回線を介して提供することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。このプログラムをインストールされたコンピュータは、ＣＰＵが、ＲＯＭ等に格納されたこのプログラムをＲＡＭに展開することにより、カメラキャリブレーション装置６と同等の効果を奏することができる。

本発明は、放送用バーチャルスタジオカメラのキャリブレーションだけでなく、一般的なＶＲ(virtual reality)、ＭＲ(mixed reality)、ＡＲ(augmented reality)などの実写とＣＧを合成する場合のカメラシステム全体またはレンズのキャリブレーションに使用できる。さらに、正確なキャリブレーションを行った撮影システムを利用すればイメージベーストモデリングなどの三次元情報の取得精度向上につながる。

本発明の実施形態に係るカメラキャリブレーション装置を含むカメラシステムを模式的に示す構成図である。 図１に示した撮影装置の外観の一例を模式的に示す図である。 図１のカメラシステムの処理の全体の流れを示すフローチャートである。 本発明の実施形態に係るカメラキャリブレーション装置の構成を示すブロック図であって、データベース作成時の情報の流れを示している。 本発明の実施形態に係るカメラキャリブレーション装置に入力する実写映像として撮影される２つのパターンの配置例を示す図である。 図３に示すＤＢ作成用データ取得処理の流れを示すフローチャートである。 本発明の実施形態に係るカメラキャリブレーション装置に入力する実写映像の特徴点の一例を示す図である。 図３に示す画像特徴点観測処理の流れを示すフローチャートである。 本発明の実施形態に係るカメラキャリブレーション装置で用いるカメラモデルの説明図である。 ズームレンズ状態の異なる２つのカメラ座標系を示す図であって、（ａ）はズームレンズ状態ｍ₁、（ｂ）はズームレンズ状態ｍ₂をそれぞれ示している。 図３に示すパラメータ算出処理の流れを示すフローチャートである。 本発明の実施形態に係るカメラキャリブレーション装置においてカメラセッティング時の情報の流れを示す図である。 図３に示すカメラセッティング用データ入力処理の流れを示すフローチャートである。 本発明の実施形態に係るカメラキャリブレーション装置においてオンエア中の情報の流れを示す図である。 従来のカメラキャリブレーションにおける座標軸間の関係を示す説明図である。

符号の説明

１ カメラシステム
２ 撮影装置
３ ＣＧ描画装置
４ 映像合成装置
５ 記憶装置
５ａ データベース
６ カメラキャリブレーション装置
７ カメラ
８ ズームレンズ
８ａ レンズデータ検出センサ
９ 雲台
９ａ 雲台姿勢検出センサ
１０ ペデスタル
１０ａ ペデスタルデータ検出センサ
１１ 実写映像入力手段
１２ パラメータ入力手段
１３ キャリブレーションパターン解析手段
１４ 最適化キャリブレーション処理手段
１５ パラメータ算出手段
１６ データベース作成手段
１７ パラメータ補間手段
１８ 記憶手段
Ｍ 入力装置

Claims (5)

1. バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションするカメラキャリブレーション装置であって、
   前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像を記憶すると共に、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第１入力パラメータとして記憶する記憶手段と、
   前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化するキャリブレーションパターン解析手段と、
   前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出するパラメータ算出手段と、
   前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成するデータベース作成手段と、
   を備えることを特徴とするカメラキャリブレーション装置。
2. 請求項１のカメラキャリブレーション装置で作成されたデータベースを記憶したカメラキャリブレーション装置であって、
   ２次元または３次元の特徴点を分布させた１つのキャリブレーション用のパターンを、オンエア前のカメラセッティングにおいて撮影した複数のパターン画像を記憶すると共に、前記複数のパターン画像それぞれが撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第２入力パラメータとして記憶する記憶手段と、
   前記記憶された前記カメラセッティングにおいて撮影されたパターン画像を解析することで、当該パターンの特徴点の観測された座標位置を算出し、インデックス化するキャリブレーションパターン解析手段と、
   前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて第２入力パラメータとして記憶された雲台のパン・チルト状態と、前記データベースに格納された各パラメータとを既知として、前記カメラセッティングにおいて撮影されたパターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラセッティングに対応した雲台の位置および姿勢を示すパラメータを、評価すべきパラメータとして算出するパラメータ算出手段と、
   前記算出したパラメータを追加することで前記データベースを更新するデータベース作成手段と、
   を備えることを特徴とするカメラキャリブレーション装置。
3. 請求項２のカメラキャリブレーション装置で更新されたデータベースを記憶したカメラキャリブレーション装置であって、
   オンエア中のズームレンズ状態をキーとして前記更新されたデータベースからパラメータを読み出し補間し、オンエア中の現在の雲台のパン・チルト状態を用いて、ＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータを生成し、その生成したＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータをＣＧ描画装置に出力するパラメータ補間手段を備えることを特徴とするカメラキャリブレーション装置。
4. バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションする処理手段と記憶手段とを備えたカメラキャリブレーション装置のカメラキャリブレーション方法であって、
   前記処理手段は、
   前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像と、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を示す第１入力パラメータとの入力を受け付けて前記記憶手段に格納する入力ステップと、
   前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化する画像特徴点観測ステップと、
   前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出するパラメータ算出ステップと、
   前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成するデータベース作成ステップと、
   を含んで実行することを特徴とするカメラキャリブレーション方法。
5. バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションするために、前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像を記憶すると共に、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第１入力パラメータとして記憶する記憶手段を備えたコンピュータを、
   前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化するキャリブレーションパターン解析手段、
   前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出するパラメータ算出手段、
   前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成するデータベース作成手段、
   として機能させることを特徴とするカメラキャリブレーションプログラム。

Images