JP2009121824A - カメラパラメータ推定装置およびカメラパラメータ推定プログラム - Google Patents

Abstract

【課題】任意の固定物体や移動物体をランドマークとしてカメラパラメータを推定することが可能なカメラパラメータ推定装置を提供する。
【解決手段】カメラパラメータ推定装置１は、第一画像からランドマークの座標を参照画像座標として抽出する第一ランドマーク抽出手段１０と、第二画像からランドマークの座標を観測画像座標として抽出する第二ランドマーク抽出手段１１と、第一カメラのカメラパラメータである既知カメラパラメータに基づいて、ランドマークの三次元座標を推定する位置推定手段１３と、その三次元座標を第二画像内に投影変換しランドマークを対応付けるランドマーク対応付け手段１２と、位置推定手段１３により推定された三次元座標に基づいて、第二カメラのカメラパラメータを算出するパラメータ推定手段１４と、を備える。
【選択図】図２

Description

本発明は、被写体をカメラで撮像した際のカメラパラメータを推定するカメラパラメータ推定装置およびカメラパラメータ推定プログラムに関する。

一般に、被写体をカメラで撮像した画像と他の画像とを合成する場合、カメラの撮像時における姿勢、位置、画角等のカメラパラメータを基準にして合成される。この場合、予めカメラ位置等が既知のカメラとして較正されたカメラパラメータを用いたり、カメラ位置等が未知のカメラで撮像した画像から推定したカメラパラメータを用いたりすることが一般的である。

なお、画像からカメラパラメータを推定する手法は種々存在する。例えば、三次元の相対位置関係が時間によって変化しない既知の複数の対象物（ランドマーク群）を用い、画像内の各対象物の座標（画像座標群）を観測することで、当該画像を撮像したカメラのカメラパラメータを推定する手法がある（特許文献１参照）。また、透視４点問題（Ｐ４Ｐ問題：Ｐｅｒｓｐｅｃｔｉｖｅ Ｆｏｕｒ−Ｐｏｉｎｔ Ｐｒｏｂｌｅｍ）を解くことにより、ランドマーク群に対するカメラの相対位置や姿勢を推定する手法がある（非特許文献１参照）。また、例えば、長方形のマーカの時間的な軌跡からカメラの相対位置や姿勢を推定する手法がある（特許文献２参照）。

また、三次元的な相対位置関係が時間によって変化しない、互いの相対位置関係が未知のランドマーク群を用い、当該ランドマーク群に対して相対的に移動するカメラでランドマーク群の画像座標群を複数時点にわたって観測することにより、ランドマーク群に対するカメラの相対位置や姿勢、ランドマーク間の相対位置関係を推定する手法がある（非特許文献２参照）。

さらにまた、スポーツ競技場に引かれたライン等、その三次元形状が既知の線状のランドマーク群の画像をハフ変換や一般化ハフ変換により検出し、そのハフパラメータに基づいて、ランドマーク群に対するカメラの相対位置や姿勢を推定する手法がある（特許文献３参照）。
特開２００６−３３４４９号公報 特開２００３−１９６６６３号公報 特開２００４−２３４３３３号公報 H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, K. Tachibana. Virtual Object Manipulation on a Table-Top AR Environment. In Proceedings of ISAR 2000, Oct 5th-6th, 2000. J. Weng, T. S. Huang, N. Ahuja. Motion and Structure from Two Perspective Views: Algorithms, Error Analysis, and Error Estimation, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 11, Issue 5, pp. 451-476, May 1989.

しかし、前記した特許文献１，２や非特許文献１に記載された手法では、ランドマーク群の配置が固定されるため、カメラの撮像範囲が狭い場合には有効であるが、広範囲なカメラの姿勢、位置、画角等に対してカメラパラメータを取得するためには、予め想定される撮影領域に一定個数以上のランドマークが含まれるように、数多くのランドマークを広範囲にわたって密に設置する必要がある。

また、非特許文献２に記載された手法では、カメラ（具体的には第一光学主点）がランドマーク群に対して移動しない限り、原理的にカメラパラメータを取得することができないという問題がある。また、その移動量が小さい場合、カメラの操作がない場合、カメラの操作がパン、チルトおよびズームまでに限定される場合等、カメラが十分な移動を伴わない場合には本手法を使用することができないという問題がある。

さらに、特許文献３に記載された手法では、特許文献１，２や非特許文献１に記載された手法と同様に、予め想定される撮影領域に一定個数以上のランドマークが含まれるようにする必要がある上、ランドマークの形状も既定の直線や曲線に限定されてしまう。

本発明は、以上のような課題を解決するためになされたものであり、ランドマークの位置を固定することなく、任意の固定物体や移動物体をランドマークとしてカメラパラメータを推定することが可能なカメラパラメータ推定装置およびカメラパラメータ推定プログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のカメラパラメータ推定装置は、カメラパラメータが既知である第一カメラが撮像した第一画像と、カメラパラメータが未知である第二カメラが撮像した第二画像とに基づいて、前記第二カメラのカメラパラメータを推定するカメラパラメータ推定装置であって、第一ランドマーク抽出手段と、位置推定手段と、第二ランドマーク抽出手段と、ランドマーク対応付け手段と、パラメータ推定手段とを備え、前記ランドマーク対応付け手段が、さらに、投影手段と、照合手段とを備える構成とした。

かかる構成において、カメラパラメータ推定装置は、第一ランドマーク抽出手段によって、ランドマークの画像特徴により、第一画像からランドマークの当該画像における座標を参照画像座標として抽出する。このランドマークの画像特徴は、輝度、色、パターン等の予め定めた特徴とすることができる。そして、カメラパラメータ推定装置は、位置推定手段によって、第一カメラのカメラパラメータである既知カメラパラメータに基づいて、参照画像座標を予め定めた拘束条件で逆投影変換することで、ランドマークの三次元座標を推定する。例えば、位置推定手段は、ランドマークが地面に存在するという拘束条件を与えることで、二次元の座標から、三次元の座標を推定することができる。

また、カメラパラメータ推定装置は、第二ランドマーク抽出手段によって、ランドマークの画像特徴により、第二画像からランドマークの当該画像における座標を観測画像座標として抽出する。なお、第一ランドマーク抽出手段と第二ランドマーク抽出手段とでは、ランドマークの座標の位置を抽出すればよいため、必ずしも同じ画像特徴を用いる必要はない。

そして、カメラパラメータ推定装置は、ランドマーク対応付け手段によって、位置推定手段で推定された三次元座標を第二画像における二次元座標である予測画像座標に変換し、観測画像座標と照合することで、第一画像と第二画像との間でランドマークの対応付けを行う。

なお、ランドマーク対応付け手段は、投影手段によって、すでに推定されたカメラパラメータにより三次元座標を投影変換することで、予測画像座標を算出する。これによって、第一画像上で抽出されたランドマークが第二画像上に投影されることになる。そして、ランドマーク対応付け手段は、照合手段によって、予測画像座標と観測画像座標との座標間の距離に基づいてランドマークを対応付ける。これによって、ランドマークが複数抽出された場合に、第一画像上のランドマークと第二画像上のランドマークとが１対１に対応付けられることになる。

そして、カメラパラメータ推定装置は、パラメータ推定手段によって、ランドマーク対応付け手段により対応付けられた同一のランドマークにおいて、当該ランドマークに対応する前記三次元座標と前記観測画像座標とに基づいて、第二カメラのカメラパラメータである推定カメラパラメータを推定する。なお、パラメータ推定手段における推定カメラパラメータの推定は、既知の透視ｎ点問題の解法を適用することができる。

また、請求項２に記載のカメラパラメータ推定装置は、請求項１に記載のカメラパラメータ推定装置において、ランドマーク対応付け手段は、予測手段をさらに備える構成とした。

かかる構成において、カメラパラメータ推定装置は、予測手段によって、パラメータ推定手段で推定された時系列の推定カメラパラメータに基づいて、現時点におけるカメラパラメータを予測する。これによって、カメラパラメータ推定装置は、投影手段において、予測手段で予測されたカメラパラメータにより三次元座標を投影変換することで、現時点におけるランドマークの位置を予測した予測画像座標を算出することができる。

さらに、請求項３に記載のカメラパラメータ推定装置は、請求項１または請求項２に記載のカメラパラメータ推定装置において、ランドマーク対応付け手段が、第一特徴抽出手段と、第二特徴抽出手段と、をさらに備える構成とした。

かかる構成において、カメラパラメータ推定装置は、ランドマーク対応付け手段において、第一特徴抽出手段によって、第一画像から、参照画像座標の近傍領域の画像特徴を第一特徴として抽出する。また、カメラパラメータ推定装置は、第二特徴抽出手段によって、第二画像から、観測画像座標の近傍領域の画像特徴を第二特徴として抽出する。これによって、画像特徴はある程度の誤差を許容した特徴量となる。そして、カメラパラメータ推定装置は、照合手段によって、第一特徴と第二特徴との類似の度合いと、予測画像座標と観測画像座標との距離との重み付け加算に基づいて、ランドマークを対応付ける。

また、請求項４に記載のカメラパラメータ推定装置は、請求項１から請求項３のいずれか一項に記載のカメラパラメータ推定装置において、パラメータ推定手段が、座標対応付け手段と、パラメータ算出手段と、を備える構成とした。

かかる構成において、カメラパラメータ推定装置は、パラメータ推定手段において、座標対応付け手段によって、位置推定手段で推定された三次元座標とランドマーク対応付け手段での対応結果とに基づいて、観測画像座標に三次元座標を対応付ける。これによって、第二カメラが撮像した第二画像から得られた二次元の観測画像座標が、実空間上の三次元座標に変換されることになる。

そして、カメラパラメータ推定装置は、パラメータ算出手段によって、複数の観測画像座標の三次元座標から推定カメラパラメータを算出する。このように、パラメータ算出手段は、座標対応付け手段で対応付けられた観測画像座標の三次元座標を逐次入力することで、透視ｎ点問題を解決するための座標が入力された段階で、透視ｎ点問題の解決手法により、推定カメラパラメータを算出する。

さらに、請求項５に記載のカメラパラメータ推定プログラムは、カメラパラメータが既知である第一カメラが撮像した第一画像と、カメラパラメータが未知である第二カメラが撮像した第二画像とに基づいて、前記第二カメラのカメラパラメータを推定するために、コンピュータを、第一ランドマーク抽出手段、位置推定手段、第二ランドマーク抽出手段、ランドマーク対応付け手段、パラメータ推定手段、として機能させる構成とした。

かかる構成において、カメラパラメータ推定プログラムは、第一ランドマーク抽出手段によって、ランドマークの画像特徴により、第一画像からランドマークの当該画像における座標を参照画像座標として抽出する。そして、カメラパラメータ推定プログラムは、位置推定手段によって、第一カメラのカメラパラメータである既知カメラパラメータに基づいて、参照画像座標を予め定めた拘束条件で逆投影変換することで、ランドマークの三次元座標を推定する。

また、カメラパラメータ推定プログラムは、第二ランドマーク抽出手段によって、ランドマークの画像特徴により、第二画像からランドマークの当該画像における座標を観測画像座標として抽出する。

そして、カメラパラメータ推定プログラムは、ランドマーク対応付け手段によって、位置推定手段で推定された三次元座標を第二画像における二次元座標である予測画像座標に変換し、観測画像座標と照合することで、第一画像と第二画像との間でランドマークの対応付けを行う。

なお、ランドマーク対応付け手段は、パラメータ算出手段で算出された時系列の推定カメラパラメータに基づいて現時点におけるカメラパラメータを予測し、その予測したカメラパラメータによりランドマークの三次元座標を投影変換することで予測画像座標を算出し、さらに、予測画像座標と観測画像座標との各座標間の距離に基づいてランドマークを対応付ける。

請求項１，４，５に記載の発明によれば、カメラパラメータが既知のカメラで撮像した画像と、カメラパラメータが未知のカメラで撮像した画像とから、同一のランドマークを抽出し対応付けることができるため、ランドマークの位置を固定することなく、任意の固定物体や移動物体をランドマークとして未知のカメラパラメータを推定することができる。これによって、固有のランドマークを設置する必要がないため、撮像現場において、不要なマークを除去することができ、自然な映像を撮像することができる。また、請求項１，４，５に記載の発明によれば、カメラパラメータが既知のカメラと未知のカメラとで、それぞれの撮像画像内に少なくともランドマークを１個以上含んでいれば、逐次撮像される画像から、複数のランドマークの位置を検出することができ、未知のカメラパラメータを推定することができる。これによって、カメラパラメータを推定する際のランドマークの数を減らすことができる。

請求項２に記載の発明によれば、すでに推定されたカメラパラメータから、現時点におけるカメラパラメータを推定して、ランドマークを対応付けることができるため、ランドマークの画像上の座標を精度よく求めることができる。これによって、ランドマークを精度よく対応付けることができ、精度よく未知のカメラパラメータを推定することができる。

請求項３に記載の発明によれば、第一画像における参照画像座標の画像特徴と、第二画像における観測画像座標の画像特徴とを、それぞれ座標位置の近傍領域の画像特徴とするため、誤差を吸収し、第一画像と第二画像とにおいてランドマークを精度よく対応付けることができる。これによって、未知のカメラパラメータの推定精度を高めることができる。

以下、本発明の実施形態について図面を参照して説明する。
［本発明の概要］
最初に、図１を参照して、本発明の概要について説明する。図１は、本発明の概要を説明するための説明図である。

カメラパラメータ推定装置１は、カメラパラメータが既知であるカメラ（第一カメラ）Ｃ１が撮像した画像（第一画像）と、カメラパラメータが未知であるカメラ（第二カメラ）Ｃ２が撮像した画像（第二画像）とに基づいて、カメラＣ２のカメラパラメータを推定するものである。

ここでは、カメラパラメータ推定装置１は、カメラＣ１が撮像した画像と、カメラＣ１が撮像した画像とから、複数の動物体や静止物体をランドマークＭ（図１では、選手）として抽出する。なお、ランドマークは、画像上において他の局所領域から区別可能な濃淡または色の変化を有する領域である。

そして、カメラパラメータ推定装置１は、カメラＣ１で捉えたランドマークＭとカメラＣ１の既知のカメラパラメータとに基づいて、ランドマークＭの実空間上における座標（三次元座標）を算出し、カメラＣ２で捉えたランドマークＭの画像座標との対応付けを行うことで、カメラＣ２のカメラパラメータを推定する。

なお、図１では、カメラＣ１，Ｃ２をサッカー競技場に設置し、選手をランドマークとした例を示しているが、ランドマークＭの一部がカメラＣ１，Ｃ２で同時に観測可能であれば、設置場所に限定されるものではない。

［カメラパラメータについて］
次に、本発明の実施形態に係るカメラパラメータ推定装置におけるカメラパラメータについて説明する。

カメラパラメータとは、カメラの設置位置と設置姿勢とで決まる外部パラメータ、並びに、レンズの焦点距離および歪と、撮像素子の形状、画素サイズおよび画素数と、レンズおよび撮像素子の相対位置関係とを含む内部パラメータの両者を包含する指標である。なお、本実施形態においては、カメラパラメータとして、カメラの設置位置および設置姿勢、並びに、レンズの焦点距離を用いることとする。このカメラの設置位置および設置姿勢は、実空間上に固定して定義した任意の座標系（以下、ワールド座標系という）を基準として定義することができる。

このワールド座標系は、カメラＣ１，Ｃ２（図１参照）が設置された空間の代表的な任意の点を原点とし、また、代表的かつ独立な３方向を軸方向とする。例えば、カメラＣ１，Ｃ２を図１に示したようなサッカー競技場に設置する場合、サッカーコートのセンターマークの位置をワールド座標系の原点とし、タッチライン方向（ｘ軸）、ハーフウェイライン方向（ｙ軸）および鉛直上方向（ｚ軸）をワールド座標系の３軸とする。また、例えば、カメラＣ１，Ｃ２をスタジオ等の室内に設置する場合には、その室内の床の中心をワールド座標系の原点とし、水平東方向、水平北方向および鉛直上方向をワールド座標系の３軸とする。

そして、カメラの設置姿勢は、カメラに固定されたカメラ座標系と、前記したワールド座標系との間の姿勢変換により表現することができる。例えば、カメラの設置姿勢は、以下の（１）式に示すように、実空間上のある方向ベクトルをワールド座標系から見たときのベクトルｖ^（ｗ）をカメラ座標系で見たときのベクトルｖ^（ｃ）に変換する３行３列の回転行列Ｒにより表現することができる。

また、カメラの設置位置は、カメラ座標系の原点位置をワールド座標系で見たときの位置ベクトルとして定義することができる。例えば、カメラの設置位置は、前記した回転行列Ｒと、カメラの設置位置の位置ベクトルｔとを用いることで、以下の（２）式に示すように、ワールド座標系における位置ベクトルｐ^（ｗ）をカメラ座標系における位置ベクトルｑ^（ｃ）に変換することができる。なお、位置ベクトルの各成分の単位は任意であるが、例えばメートルを単位とすることができる。

前記した（１）式および（２）式で用いたカメラ座標系は、例えば、カメラのレンズの第一光学主点を原点とし、カメラの画像平面上の独立な２方向に２軸をとり、光軸方向に残りの１軸をとることができる。また、カメラの画像平面上の独立な２方向は、例えば、カメラの撮像素子の水平方向と垂直方向とにより定義することができる。
以下、本発明の実施形態に係るカメラパラメータ推定装置の構成および動作について詳細に説明を行う。

［第一実施形態：カメラパラメータ推定装置の構成］
まず、図２を参照して、本発明の第一実施形態に係るカメラパラメータ推定装置の構成について説明する。図２は、本発明の第一実施形態に係るカメラパラメータ推定装置の構成を示すブロック図である。

ここでは、カメラパラメータ推定装置１は、第一ランドマーク抽出手段１０と、第二ランドマーク抽出手段１１と、ランドマーク対応付け手段１２と、位置推定手段１３と、パラメータ推定手段１４とを備える。そして、カメラパラメータ推定装置１は、カメラＣ１とカメラＣ２とを外部に接続している。

カメラＣ１は、カメラパラメータが既知のカメラである。また、カメラＣ２は、カメラパラメータが未知のカメラである。カメラＣ１で撮像された画像（第一画像）と、カメラＣ２で撮像された画像（第二画像）とが、カメラパラメータ推定装置１に入力される。

ここで、第一画像および第二画像の画像座標系は、画像面上における二次元の座標系を用い、ここでは、カメラ座標系を構成する３軸のうち、画像平面上にとった２軸をもって画像座標系とする。また、以下の説明において、カメラＣ１で撮像された第一画像をＩ、第一画像Ｉの画像座標ｒにおける画素値をＩ（ｒ）と表記することとする。また、カメラＣ２で撮像された第二画像をＪ、第二画像Ｊの画像座標ｏにおける画素値をＪ（ｏ）と表記することとする。

なお、カメラＣ１，Ｃ２がモノクロカメラの場合、画素値は、例えば、２値以上（例えば２５６値）の離散スカラ値で表すことができる。また、カメラＣ１，Ｃ２がカラーカメラや多バンドカメラの場合、画素値は、例えば、二次元以上（例えば赤、緑、青の三次元）、かつ、各次元２値以上（例えば２５６値）の離散ベクトル値で表すことができる。また、カメラＣ１，Ｃ２がカラーカメラや多バンドカメラの場合、カラーテーブル（色変換テーブル：離散的なインデックス値と画素の色とを関連付ける表）を用いることにより、画素値を２値以上（例えば６５５３６値）の離散スカラ値のカラーインデックスで表しても構わない。

また、カメラＣ１とカメラＣ２とは、ランドマークを対応付けるため、少なくとも１個以上のランドマークを共通に撮像する必要がある。例えば、図１に示したサッカー競技場で使用する場合、カメラＣ１がサッカーフィールド全体を撮像し、カメラＣ２がサッカーフィールド内のランドマークを含んだ一部を撮像することとすることで、少なくとも１個以上のランドマークを共通に撮像することができる。

第一ランドマーク抽出手段１０は、ランドマークの予め定めた画像特徴に基づいて、カメラパラメータが既知であるカメラＣ１が撮像した第一画像から、複数のランドマークの当該画像における座標（以下、参照画像座標という）を抽出するものである。第一ランドマーク抽出手段１０は、抽出した参照画像座標に識別子（第一識別子）を付して位置推定手段１３に出力する。また、第一ランドマーク抽出手段１０で抽出されたランドマークの個数をＭ個とし、そのｍ番目（ｍ＝１，２，…，Ｍ）のランドマークの参照画像座標をｒ_ｍとする。また、前記ｍを第一識別子として使用する。

なお、第一ランドマーク抽出手段１０は、例えば、画像上の局所領域における方向分散の最小値を画像特徴とし、当該画像特徴が極大になる点を選択するＭｏｒａｖｅｃのインスタントオペレータを用いることでランドマークを抽出することができる。また、特定の色で塗装された物体、同心円パターンを有する円盤等のマーカを被写界に人為的に設置する場合、第一ランドマーク抽出手段１０は、特定の色やパターンを検出するオペレータを画像に適用し、検出された点あるいは検出領域の代表点（例えば重心）を、ランドマークとして抽出することとしてもよい。

さらに、第一ランドマーク抽出手段１０は、動物、人物（あるいは人物の顔）等の移動物体をランドマークとして抽出することとしてもよい。例えば、人物の顔をランドマークとする場合、第一ランドマーク抽出手段１０は、一般的な顔検出器（例えば、P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, Kauai, HI, December 2001.）を用い、検出された顔領域の代表点をランドマークとすることができる。

第二ランドマーク抽出手段１１は、ランドマークの予め定めた画像特徴に基づいて、カメラパラメータが未知であるカメラＣ２が撮像した第二画像から、複数のランドマークの当該画像における座標（以下、観測画像座標という）を抽出するものである。第二ランドマーク抽出手段１１は、抽出した観測画像座標に識別子（第二識別子）を付してランドマーク対応付け手段１２およびパラメータ推定手段１４に出力する。また、第二ランドマーク抽出手段１１で抽出されたランドマークの個数をＮ個とし、そのｎ番目（ｎ＝１，２，…，Ｎ）のランドマークの観測画像座標をｏ_ｎとする。また、前記ｎを第二識別子として使用する。

なお、第二ランドマーク抽出手段１１におけるランドマークの抽出処理は、第一ランドマーク抽出手段１０と同じ処理であってもよいし、異なる処理であってもよい。例えば、人為的なパターンである赤い円盤をランドマークとして使用した場合、第一ランドマーク抽出手段１０では、赤い円盤の形状である円形パターンに着目してランドマークを抽出し、第二ランドマーク抽出手段１１では、赤い円盤の色である赤色に着目してランドマークを抽出することとしてもよい。

ランドマーク対応付け手段１２は、後記する位置推定手段１３で推定された実座標（三次元座標）を第二画像における二次元座標である予測画像座標に変換し、観測画像座標と照合することで、第一画像と第二画像との間でランドマークの対応付けを行うものである。ここでは、ランドマーク対応付け手段１２は、予測手段１２１と、投影手段１２２と、照合手段１２３とを備える。

予測手段１２１は、後記するパラメータ推定手段１４で算出（推定）された時系列の推定カメラパラメータに基づいて、現時点におけるカメラパラメータを予測カメラパラメータとして予測するものである。この予測手段１２１で予測された予測カメラパラメータは、投影手段１２２に出力される。

ここで、パラメータ推定手段１４において推定時点前までに推定された推定カメラパラメータを

とし、現時点における予測カメラパラメータを

として、予測手段１２１が行う予測手法について説明する。また、ここで、Ｔ_ｋは、推定開始時点をｋ＝１として、ｋ回目の観測時点における時刻を表すものとする。この時刻の単位には、例えば秒を用いることができる。

例えば、予測手段１２１は、以下の（３）式に示すように、前時点の推定カメラパラメータと前々時点のカメラパラメータとから、線形予測により現時点の予測カメラパラメータを求めることができる。

また、例えば、予測手段１２１は、以下の（４）式に示すように、前時点までの推定カメラパラメータの線形結合や、前時点までの予測カメラパラメータの線形結合から、現時点の予測カメラパラメータを求めることができる。なお、（４）式中、ａ_ｉおよびｂ_ｉは、実数のタップ係数（重み付け係数）を示す。

また、例えば、予測手段１２１は、前時点の推定カメラパラメータと、その誤差共分散行列とに基づいて、カルマンフィルタや拡張カルマンフィルタを用いて予測カメラパラメータとその誤差共分散行列を求めることとしてもよい。

なお、ここでは、ランドマーク対応付け手段１２に予測手段１２１を備えることとしたが、以下の（５）式に示すように、前時点の推定カメラパラメータをそのまま現時点の予測カメラパラメータとして用いることとしてもよい。この場合、ランドマーク対応付け手段１２から予測手段１２１を省き、後記するパラメータ推定手段１４で算出（推定）された時系列の推定カメラパラメータをそのまま投影手段１２２に入力させる。これによって、カメラワークに大きな変化がない場合は、簡易な構成でカメラパラメータ推定装置１を構成することができる。

投影手段１２２は、予測手段１２１で予測された予測カメラパラメータにより、後記する位置推定手段１３で推定された実座標（三次元座標）を投影変換することで、参照画像座標の現時点の座標を予測画像座標として算出するものである。

例えば、実座標ｐから画像座標ｏへのカメラパラメータθにより投影変換（透視投影変換）ｈを以下の（６）式としたとき、投影手段１２２は、位置推定手段１３から入力される第一識別子ｍに対応する実座標ｐ_ｍを、以下の（７）式により二次元の予測画像座標ｏ_ｍ′に変換する。

この投影手段１２２は、第一識別子ｍと（７）式で求められた予測画像座標ｏ_ｍ′との対（ｍ，ｏ_ｍ′）を、すべてのｍについて照合手段１２３に出力する。なお、投影手段１２２は、予測カメラパラメータの入力により動作するが、初期状態においては、動作の基準となる予測カメラパラメータが入力されない。

そこで、投影手段１２２は、予測カメラパラメータの初期値として、予めカメラＣ２の初期値のカメラパラメータを入力されるか、図示を省略した記憶手段に予めカメラＣ２の初期値のカメラパラメータを記憶しておき初期動作時に読み出すことで、動作を行うこととする。初期動作後は、順次、投影手段１２２には、予測カメラパラメータが入力され、当該予測カメラパラメータにより予測画像座標を算出することができる。

照合手段１２３は、投影手段１２２によって算出された予測画像座標と、第二ランドマーク抽出手段１１で抽出された観測画像座標との座標間の距離に基づいて、ランドマークを対応付けるものである。ここでは、照合手段１２３は、第一識別子と予測画像座標との対（ｍ，ｏ_ｍ′）の集合と、第二識別子と観測画像座標との対（ｎ，ｏ_ｎ）の集合とに基づいて、同一のランドマークを予測および観測したとみなされる第一識別子と第二識別子との対を、対応結果としてパラメータ推定手段１４に出力する。

例えば、照合手段１２３は、第一識別子と予測画像座標との対（ｍ，ｏ_ｍ′）におけるすべてのｍに関し、以下の（８）式により、予測画像座標ｏ_ｍ′に最も近い観測画像座標の第二識別子ｎ_ｍを求め、（ｍ，ｎ_ｍ）の対としてパラメータ推定手段１４に出力する。

なお、（８）式中、‖ｏ_ｎ−ｏ_ｍ′‖は、ｏ_ｎとｏ_ｍ′との間の距離を表すノルムであり、例えば、ユークリッドノルムを用いることができる。

位置推定手段１３は、第一ランドマーク抽出手段１０で抽出された参照画像座標をカメラＣ１のカメラパラメータである既知カメラパラメータにより逆投影変換することで、ランドマークの実座標（三次元座標）を推定するものである。また、位置推定手段１３は、第一識別子ｍのランドマークの実座標ｐ_ｍを第一識別子の数だけ（ｍ，ｐ_ｍ）の対のデータとして求め、ランドマーク対応付け手段１２およびパラメータ推定手段１４に出力する。なお、位置推定手段１３は、既知カメラパラメータをカメラＣ１から逐次入力することとしてもよいし、カメラＣ１が固定カメラである場合は、予め図示を省略した記憶手段に既知カメラパラメータを記憶しておき、読み出すこととしてもよい。

なお、参照画像座標ｒ_ｍは二次元座標であるのに対し、ランドマークの実座標ｐ_ｍは三次元座標である。このため、位置推定手段１３が逆投影を行うには、ランドマークが存在する実座標への面的な拘束条件が必要となる。例えば、ランドマークが床、地面等の平面上にあるといった拘束条件を与えることで、位置推定手段１３は、参照画像座標を実座標に逆投影することができる。

ここで、図３を参照して、位置推定手段１３における参照画像座標を実座標に逆投影する手法について詳細に説明する。図３は、位置推定手段における逆投影の手法を説明するための説明図である。図３では、ある曲面ＫにランドマークＭが存在し、カメラＣ１が撮像した第一画像Ｉ上にランドマーク像ｍが撮像されているものとする。
図３の例において、ランドマークＭ（実座標ｐ）が存在する曲面Ｋを、関数ｆを用いて、以下の（９）式とおく。

例えば、ワールド座標系の３軸をＸ軸、Ｙ軸およびＺ軸としたとき、ランドマークＭを平面Ｚ＝０に拘束するには、曲面Ｋを以下の（１０）式に示す関数ｆとすればよい。

ここで、カメラＣ１のカメラ座標系の原点を、第一光学主点Ｔにとり、ワールド座標系における位置ベクトルをｔとする。また、ワールド座標系からカメラ座標系への姿勢変換の回転行列をＲとする。また、カメラＣ１のカメラ座標系のｘ軸およびｙ軸は、第一画像Ｉの画像平面と平行な面内にとり、ｚ軸は、光軸と平行かつ被写界向きにとるものとする。なお、光軸は画像平面に対して垂直であるものとする。

また、第一画像Ｉの画像平面における画像座標系は、カメラ座標系のうちｘ軸およびｙ軸の２軸のみにより張られる二次元の座標系とし、その原点は、画像平面と光軸との交点にとる。また、カメラＣ１のレンズは、ピンホールモデルに従うものとし、その焦点距離をｆとする。

また、位置推定手段１３に入力される第一画像Ｉにおける参照画像座標をｒとし、既知カメラパラメータとして入力されるカメラパラメータには、位置ベクトルｔと回転行列Ｒとが含まれているものとする。

図３に示すように、ランドマークＭは、第一光学主点Ｔを始点とし、第一画像Ｉの画像平面上のランドマーク像ｍへ至るベクトルのｋ倍（ｋは正の実数の係数）の場所にあると考えると、実座標ｐは、以下の（１１）式で表すことができる。

ここで、前記（９）式と前記（１０）式とを連立させることで、係数ｋ（ただし、ｋ＞０）を求めることができる。なお、連立方程式の解が、係数ｋに関して２個以上存在する場合には、その中の最も小さい値を用いることとする。このように求められた係数ｋを前記（１１）式に代入することで、実座標ｐが求められる。例えば、ランドマークがＺ＝０なる平面上にある場合、前記（１０）式により、以下の（１２）式の関係が成り立つ。また、この（１２）式から、以下の（１３）式に示すように、係数ｋが求められる。

そして、この（１３）式で求められた係数ｋを、前記（１１）式に代入することで、以下の（１４）式に示すように、実座標ｐが求められる。

この（１４）式は、例えば、平面状の床面にランドマークがある場合等、床面にワールド座標系のＸ軸およびＹ軸をとり、それらと直交して、例えば上向きにＺ軸をとることで適用することができる。

なお、ここでは、平面Ｚ＝０の拘束条件を与えて実座標を求める手法について説明したが、ＸやＹについて拘束条件を与えてもよい。これによって、例えば、位置推定手段１３は、床面から鉛直方向に存在する壁面上のランドマークの実座標を求めることができる。
図２に戻って、カメラパラメータ推定装置１の構成について説明を続ける。

パラメータ推定手段１４は、ランドマーク対応付け手段１２により対応付けられた同一のランドマークにおいて、当該ランドマークに対応する位置推定手段１３で推定された参照画像座標の実座標（三次元座標）と、第二ランドマーク抽出手段１１で抽出された観測画像座標とに基づいて、カメラＣ２のカメラパラメータ（推定カメラパラメータ）を推定するものである。ここでは、パラメータ推定手段１４は、座標対応付け手段１４１と、パラメータ算出手段１４２とを備える。

座標対応付け手段１４１は、位置推定手段１３で推定された実座標（三次元座標）とランドマーク対応付け手段１２での対応結果とに基づいて、第二ランドマーク抽出手段１１で抽出された観測画像座標に実座標を対応付けるものである。

ここでは、座標対応付け手段１４１は、位置推定手段１３から出力される第一識別子とランドマークの実座標との対（ｍ，ｐ_ｍ）の集合、ランドマーク対応付け手段１２から出力される第一識別子と第二識別子との対（ｍ，ｎ_ｍ）の集合、および、第二ランドマーク抽出手段１１から出力される第二識別子と観測画像座標との対（ｎ，ｏ_ｎ）の集合から、同一のランドマークに関する実座標と観測画像座標との対（ｐ_ｍ，ｏ_ｎｍ）の集合を求める。なお、ｏ_ｎｍは、第一識別子ｍと対となる第二識別子ｎ_ｍに対応付けられた観測画像座標を示す。そして、座標対応付け手段１４１は、第一識別子と第二識別子との対（ｍ，ｎ_ｍ）の数だけ、実座標と観測画像座標との対（ｐ_ｍ，ｏ_ｎｍ）の集合をパラメータ算出手段１４２に出力する。

パラメータ算出手段１４２は、座標対応付け手段１４１で対応付けられた複数の観測画像座標の実座標（三次元座標）に基づいて、カメラＣ２のカメラパラメータである推定カメラパラメータを算出するものである。このパラメータ算出手段１４２で算出されたカメラパラメータは、カメラＣ２のカメラパラメータとして逐次外部に出力される。

ここでは、パラメータ算出手段１４２は、ランドマークの実座標と観測画像座標との対（ｐ_ｍ，ｏ_ｎｍ）の集合が所定数入力された段階で、カメラＣ２のカメラパラメータを算出することとする。この算出には、二次元平面（画像平面）におけるｎ点の三次元座標（実座標）が特定されたとき、カメラパラメータを推定する透視ｎ点問題を解く一般的な手法を用いることができる。例えば、パラメータ算出手段１４２は、ランドマークが同一平面上に存在する場合、ランドマークの実座標と観測画像座標との対（ｐ_ｍ，ｏ_ｎｍ）が４対入力された段階で、透視４点問題を解くことでカメラＣ２のカメラパラメータを算出する。

このようにカメラパラメータ推定装置１を構成することで、カメラパラメータ推定装置１は、カメラパラメータが既知のカメラＣ１で撮像した画像（第一画像）と、カメラパラメータが未知のカメラＣ２で撮像した画像（第二画像）とから、カメラＣ２のカメラパラメータを推定することができる。

また、カメラパラメータ推定装置１は、ランドマークの位置を固定することなく、カメラＣ１とカメラＣ２とで共通に観測可能な任意の物体やパターンをランドマークとして使用して、カメラＣ２のカメラパラメータを推定することができる。また、カメラパラメータ推定装置１は、被写界に恣意的に設置した物体やパターンに限らず、被写界に投影した静的または動的パターン、被写界にもともと存在する物体やパターン、あるいは被写界を移動する物体、人物等をランドマークとして活用することができる。

これによって、カメラパラメータ推定装置１は、例えば、スポーツ中継に用いられるカメラのカメラパラメータを推定するために、中継用カメラをカメラＣ２とし、カメラパラメータが既知のカメラＣ１で競技場の広い範囲を撮影し、スポーツ選手、ボール、地面上に引かれたラインや印、場内に置かれた器具等をランドマークとすることで、競技の邪魔をすることなく、カメラＣ２のカメラパラメータを推定することができる。
なお、カメラパラメータ推定装置１は、一般的なコンピュータを、前記した各手段として機能させるカメラパラメータ推定プログラムによって動作させることができる。

［第一実施形態：カメラパラメータ推定装置の動作］
次に、図４を参照（適宜図２参照）して、本発明の第一実施形態に係るカメラパラメータ推定装置の動作について説明する。図４は、本発明の第一実施形態に係るカメラパラメータ推定装置の動作を示すフローチャートである。

まず、カメラパラメータ推定装置１は、第一ランドマーク抽出手段１０によって、カメラパラメータが既知のカメラＣ１が撮像した撮像画像（第一画像）から、ランドマークの座標（参照画像座標）を抽出する（ステップＳ１）。そして、カメラパラメータ推定装置１は、位置推定手段１３によって、ステップＳ１で抽出した参照画像座標をカメラＣ１のカメラパラメータである既知カメラパラメータにより逆投影変換することでランドマークの実座標（三次元座標）を算出する（ステップＳ２）。

また、カメラパラメータ推定装置１は、第二ランドマーク抽出手段１１によって、カメラパラメータが未知のカメラＣ２が撮像した撮像画像（第二画像）から、ランドマークの座標（観測画像座標）を抽出する（ステップＳ３）。

そして、カメラパラメータ推定装置１は、ランドマーク対応付け手段１２によって、ステップＳ２で算出した実座標とステップＳ３で抽出した観測画像座標とに基づいてランドマークの対応付けを行う。

すなわち、カメラパラメータ推定装置１は、ランドマーク対応付け手段１２の予測手段１２１によって、後記するステップＳ８で算出された時系列の推定カメラパラメータに基づいて、現時点におけるカメラパラメータを予測カメラパラメータとして予測する（ステップＳ４）。なお、このステップＳ４において、ステップＳ８で推定カメラパラメータが算出されていない場合は動作を行わず、そのままステップＳ５に進む。

そして、カメラパラメータ推定装置１は、ランドマーク対応付け手段１２の投影手段１２２によって、ステップＳ４で予測された予測カメラパラメータにより、ステップＳ２で推定された実座標（三次元座標）を投影変換することで、参照画像座標の現時点の座標を予測画像座標として算出する（ステップＳ５）。なお、このステップＳ５において、ステップＳ４で予測カメラパラメータが予測されていない場合、すなわち、初期状態においては、投影手段１２２予め定められた初期値のカメラパラメータを用いて予測画像座標を算出する。

そして、カメラパラメータ推定装置１は、ランドマーク対応付け手段１２の照合手段１２３によって、ステップＳ５で算出された予測画像座標と、ステップＳ３で抽出した観測画像座標との座標間の距離に基づいて、ランドマークを対応付ける（ステップＳ６）。

その後、カメラパラメータ推定装置１は、パラメータ推定手段１４によって、ステップＳ２で算出したランドマークの実座標とステップＳ３で抽出した観測画像座標とに基づいて、カメラＣ２のカメラパラメータを推定する。

すなわち、カメラパラメータ推定装置１は、パラメータ推定手段１４の座標対応付け手段１４１によって、ステップＳ２で算出した実座標（三次元座標）と、ステップＳ６での対応結果とに基づいて、ステップＳ３で抽出した観測画像座標に実座標を対応付ける（ステップＳ７）。

そして、カメラパラメータ推定装置１は、パラメータ推定手段１４のパラメータ算出手段１４２によって、ステップＳ７で対応付けた複数の観測画像座標の実座標から、透視ｎ点問題の解答手法により、カメラＣ２のカメラパラメータ（推定カメラパラメータ）を算出する（ステップＳ８）。

なお、この後、カメラパラメータ推定装置１は、動作中（ステップＳ９でＹｅｓ）である場合、ステップＳ１に戻って動作を継続する。そして、ステップＳ４において、ステップＳ８で算出された推定カメラパラメータによって、順次、カメラＣ２のカメラパラメータが予測されることになる。

以上の動作によって、カメラパラメータ推定装置１は、カメラパラメータが既知のカメラＣ１で撮像した画像（第一画像）と、カメラパラメータが未知のカメラＣ２で撮像した画像（第二画像）とから、カメラＣ２のカメラパラメータを推定することができる。

［第二実施形態：カメラパラメータ推定装置の構成］
次に、図５を参照して、本発明の第二実施形態に係るカメラパラメータ推定装置の構成について説明する。図５は、本発明の第二実施形態に係るカメラパラメータ推定装置の構成を示すブロック図である。

図５に示したカメラパラメータ推定装置１Ｂは、図２に示したカメラパラメータ推定装置１と同様、カメラパラメータが既知であるカメラ（第一カメラ）Ｃ１が撮像した画像（第一画像）と、カメラパラメータが未知であるカメラ（第二カメラ）Ｃ２が撮像した画像（第二画像）とに基づいて、カメラＣ２のカメラパラメータを推定するものである。

ここでは、カメラパラメータ推定装置１Ｂは、第一ランドマーク抽出手段１０と、第二ランドマーク抽出手段１１と、ランドマーク対応付け手段１２Ｂと、位置推定手段１３と、パラメータ推定手段１４とを備える。そして、カメラパラメータ推定装置１Ｂは、カメラＣ１とカメラＣ２とを外部に接続している。ランドマーク対応付け手段１２Ｂ以外の構成については、図２で説明したカメラパラメータ推定装置１と同一の構成であるため、同一の符号を付して説明を省略する。

ランドマーク対応付け手段１２Ｂは、第一画像と第二画像との間でランドマークの対応付けを行うものである。。なお、ランドマーク対応付け手段１２Ｂは、図２で説明したランドマーク対応付け手段１２の座標照合によりランドマークを対応付ける機能に、さらに、画像特徴を照合する機能を付加している。ここでは、ランドマーク対応付け手段１２Ｂは、予測手段１２１と、投影手段１２２と、照合手段１２３Ｂと、第一特徴抽出手段１２４と、第二特徴抽出手段１２５とを備える。予測手段１２１および投影手段１２２については、図２で説明したカメラパラメータ推定装置１と同一の構成であるため、同一の符号を付して説明を省略する。

第一特徴抽出手段１２４は、第一画像Ｉから第一ランドマーク抽出手段１０で抽出された参照画像座標群｛ｒ_ｍ｝に対応するそれぞれの画像特徴を第一特徴群｛Ｆ_ｍ｝として抽出するものである。ここで、第一特徴Ｆ_ｍは、第一画像Ｉの第一識別子ｍに対応する参照画像座標ｒ_ｍ（または参照画像座標ｒ_ｍの近傍領域）における画像特徴である。
この第一特徴Ｆ_ｍは、例えば、以下の（１５）式に示すように、参照画像座標ｒ_ｍにおける画素値Ｉ（ｒ_ｍ）を用いることができる。

このとき第一特徴Ｆ_ｍは、第一画像Ｉがモノクロ画像のとき、または、カラーインデックスで表されるときはスカラ値となり、第一画像Ｉがカラー画像等の多バンド画像で、色がベクトル値として表されるときはベクトル値となる。
また、第一特徴Ｆ_ｍは、例えば、参照画像座標ｒ_ｍの近傍領域の画素値群を用いることとしてもよい。この場合、例えば、以下の（１６）式に示すように、参照画像座標ｒ_ｍおよびその４近傍の画素の合計５画素をもって第一特徴Ｆ_ｍとする。

ここで、Δｘはある画素の中心からその１画素右隣の画素の中心に至るベクトルであり、Δｙはある画素中心からその１画素下隣の画素中心に至るベクトルである。なお、近傍の範囲を拡げて、画素値パターンのテンプレートとして第一特徴Ｆ_ｍを構成してもよい。
また、第一特徴Ｆ_ｍは、例えば、以下の（１７）式に示すように、参照画像座標ｒ_ｍの近傍の色ヒストグラムｈ_ｍ（ｃ）を用いることとしてもよい。ここで、ｃは画素値（すなわち色）を表す。このとき、第一特徴Ｆ_ｍは、色ｃに関するテーブルとなる。

この場合、第一特徴抽出手段１２４は、まず、参照画像座標ｒ_ｍを中心として既定の半径の円形領域（その他、楕円領域、矩形領域等の既定の形状領域）内に存在する画素位置の集合Ｄ_ｍを設定する。続いて、第一特徴抽出手段１２４は、画像座標ｒ∈Ｄ_ｍを満たすすべての画像座標ｒに関して、画素値Ｉ（ｒ）の色ヒストグラムｈ_ｍ（ｃ）を求める（（１８）式参照）。なお、この（１８）式において、｜Ｘ｜は、有限集合Ｘの元の数を表す。

第二特徴抽出手段１２５は、第二画像Ｊから第二ランドマーク抽出手段１１で抽出された観測画像座標群｛ｏ_ｎ｝に対応するそれぞれの画像特徴を第二特徴群｛Ｇ_ｎ｝として抽出するものである。なお、第二特徴は、第一特徴抽出手段１２４が第一特徴を抽出した手法と同一の手法により抽出することとする。

例えば、第一特徴抽出手段１２４が前記（１５）式によって第一特徴を抽出する場合、第二特徴抽出手段１２５は、第二特徴Ｇ_ｎとして、以下の（１９）式に示すように、観測画像座標ｏ_ｎにおける画素値Ｊ（ｏ_ｎ）を用いる。

また、第一特徴抽出手段１２４が前記（１６）式によって第一特徴を抽出する場合、第二特徴抽出手段１２５は、以下の（２０）式に示すように、観測画像座標ｏ_ｎおよびその４近傍の画素の合計５画素をもって第二特徴Ｇ_ｎとする。

また、第一特徴抽出手段１２４が前記（１７）式によって第一特徴を抽出する場合、第二特徴抽出手段１２５は、第二特徴Ｇ_ｎとして、以下の（２１）式に示すように、観測画像座標ｏ_ｎの近傍の色ヒストグラムｇ_ｎ（ｃ）を用いる。ここで、ｃは画素値（すなわち色）を表す。このとき、第二特徴Ｇ_ｎは、色ｃに関するテーブルとなる。

この場合、第二特徴抽出手段１２５は、まず、観測画像座標ｏ_ｎを中心として既定の半径の円形領域（その他、楕円領域、矩形領域等の既定の形状領域）内に存在する画素位置の集合Ｅ_ｎを設定する。続いて、第二特徴抽出手段１２５は、画像座標ｏ∈Ｅ_ｎを満たすすべての画像座標ｏに関して、画素値Ｊ（ｏ）の色ヒストグラムｇ_ｎ（ｃ）を求める（（２２）式参照）。

照合手段１２３Ｂは、第一特徴抽出手段１２４で抽出された第一特徴と第二特徴抽出手段１２５で抽出された第二特徴との類似の度合いと、投影手段１２２によって算出された予測画像座標と、第二ランドマーク抽出手段１１で抽出された観測画像座標との座標間の距離との重み付け加算に基づいて、ランドマークを対応付けるものである。

例えば、照合手段１２３Ｂは、第一特徴抽出手段１２４で抽出された第一識別子ｍと第一特徴Ｆ_ｍとの対（ｍ，Ｆ_ｍ）の集合と、第二特徴抽出手段１２５で抽出された第二識別子ｎと第二特徴Ｇ_ｎとの対（ｎ，Ｇ_ｎ）の集合と、投影手段１２２によって算出された第一識別子ｍと予測画像座標との対（ｍ，ｏ_ｍ′）の集合と、第二ランドマーク抽出手段１１で抽出された第二識別子ｎと観測画像座標ｏ_ｎとの対（ｎ，ｏ_ｎ）の集合とに基づいて、以下の（２３）式に示す画像特徴と座標間の距離との重み付け加算を行う。これによって、ランドマークの画像特徴が類似し、かつ、距離間隔が短い第一識別子ｍに対応する第二識別子ｎ_ｍを求めることができる。

ここで、αおよびβは正の定数である。また、（２３）式中、‖Ｇ_ｎ−Ｆ_ｍ‖_{Ｆｅａｔｕｒｅ}は、Ｇ_ｎとＦ_ｍとの特徴量に対するノルムを示す。例えば、第一特徴Ｆ_ｍと第二特徴Ｇ_ｎとがともにスカラ値の場合、照合手段１２３Ｂは、距離の絶対値をノルムとすることができる。また、第一特徴Ｆ_ｍと第二特徴Ｇ_ｎとがともにベクトル値（例えば、複数画素の画素値、カラー画像の画素値等）の場合、照合手段１２３Ｂは、ノルムとして、ユークリッド距離、マンハッタン距離等を用いることができる。また、第一特徴Ｆ_ｍと第二特徴Ｇ_ｎとがともにヒストグラム（例えば、色ヒストグラム等）の場合、照合手段１２３Ｂは、ノルムとして、Bhattacharyya距離を用いることができる。

また、（２３）式中、‖ｏ_ｎ−ｏ_ｍ′‖_{Ｐｏｓｉｔｉｏｎ}は、ｏ_ｎとｏ_ｍ′との位置に対するノルムを示す。この位置に対するノルムにとしては、例えば、ユークリッド距離を用いることができる。
そして、照合手段１２３Ｂは、対応する第一識別子ｍと第二識別子ｎ_ｍとの対である（１，ｎ_１），（２，ｎ_２），…，（Ｍ，ｎ_Ｍ）を対応結果としてパラメータ推定手段１４に出力する。

このようにカメラパラメータ推定装置１Ｂを構成することで、カメラパラメータ推定装置１Ｂは、カメラパラメータが既知のカメラＣ１で撮像した画像（第一画像）と、カメラパラメータが未知のカメラＣ２で撮像した画像（第二画像）とから、ランドマークの位置と画像特徴に基づいて精度よくランドマークを対応付けて、カメラＣ２のカメラパラメータを推定することができる。
なお、カメラパラメータ推定装置１Ｂは、一般的なコンピュータを、前記した各手段として機能させるカメラパラメータ推定プログラムによって動作させることができる。

［第二実施形態：カメラパラメータ推定装置の動作］
次に、図６を参照（適宜図５参照）して、本発明の第二実施形態に係るカメラパラメータ推定装置の動作について説明する。図６は、本発明の第二実施形態に係るカメラパラメータ推定装置の動作を示すフローチャートである。

図６に示したカメラパラメータ推定装置１Ｂの動作は、基本的には、図４で示したカメラパラメータ推定装置１の動作と同じであるが、ステップＳ１ＢがステップＳ１の後に付加され、ステップＳ３ＢがステップＳ３の後に付加され、ステップＳ６に替えてステップＳ６Ｂが動作する点が異なっている。他のステップについては、図４で示したカメラパラメータ推定装置１の動作と同じであるため、同一の符号を付し、説明を省略する。

カメラパラメータ推定装置１Ｂは、ステップＳ１の後、第一特徴抽出手段１２４によって、第一画像から、ステップＳ１で抽出された参照画像座標の特徴（第一特徴）を抽出する（ステップＳ１Ｂ）。また、カメラパラメータ推定装置１Ｂは、ステップＳ３の後、第二特徴抽出手段１２５によって、第二画像から、ステップＳ３で抽出された観測画像座標の特徴（第二特徴）を抽出する（ステップＳ３Ｂ）。

そして、カメラパラメータ推定装置１Ｂは、ステップＳ５の後、照合手段１２３Ｂによって、ステップＳ１Ｂで抽出した第一特徴とステップＳ３Ｂで抽出した第二特徴との類似の度合いと、ステップＳ５で算出した予測画像座標と、ステップＳ３で抽出した観測画像座標との座標間の距離との重み付け加算に基づいて、ランドマークを対応付ける（ステップＳ６Ｂ）。

なお、ステップＳ１Ｂの動作は、ステップＳ１の後、ステップＳ６Ｂの前であれば、どのタイミングで動作してもよい。また、ステップＳ３Ｂの動作は、ステップＳ３の後、ステップＳ６Ｂの前であれば、どのタイミングで動作してもよい。

以上の動作によって、カメラパラメータ推定装置１Ｂは、カメラパラメータが既知のカメラＣ１で撮像した画像（第一画像）と、カメラパラメータが未知のカメラＣ２で撮像した画像（第二画像）とから、カメラＣ２のカメラパラメータを推定することができる。

本発明の概要を説明するための説明図である。 本発明の第一実施形態に係るカメラパラメータ推定装置の構成を示すブロック図である。 本発明の第一実施形態に係るカメラパラメータ推定装置の位置推定手段における逆投影の手法を説明するための説明図である。 本発明の第一実施形態に係るカメラパラメータ推定装置の動作を示すフローチャートである。 本発明の第二実施形態に係るカメラパラメータ推定装置の構成を示すブロック図である。 本発明の第二実施形態に係るカメラパラメータ推定装置の動作を示すフローチャートである。

符号の説明

１、１Ｂ カメラパラメータ推定装置
１０ 第一ランドマーク抽出手段
１１ 第二ランドマーク抽出手段
１２、１２Ｂ ランドマーク対応付け手段
１２１ 予測手段
１２２ 投影手段
１２３ 照合手段
１２４ 第一特徴抽出手段
１２５ 第二特徴抽出手段
１３ 位置推定手段
１４ パラメータ推定手段
１４１ 座標対応付け手段
１４２ パラメータ算出手段
Ｃ１ カメラ（第一カメラ）
Ｃ２ カメラ（第二カメラ）

Claims (5)

1. カメラパラメータが既知である第一カメラが撮像した第一画像と、カメラパラメータが未知である第二カメラが撮像した第二画像とに基づいて、前記第二カメラのカメラパラメータを推定するカメラパラメータ推定装置であって、
   ランドマークの予め定めた画像特徴に基づいて、前記第一画像からランドマークの当該画像における座標を参照画像座標として抽出する第一ランドマーク抽出手段と、
   この第一ランドマーク抽出手段で抽出された参照画像座標を前記第一カメラのカメラパラメータである既知カメラパラメータにより逆投影変換することで前記ランドマークの三次元座標を推定する位置推定手段と、
   前記ランドマークの画像特徴に基づいて、前記第二画像から前記ランドマークの当該画像における座標を観測画像座標として抽出する第二ランドマーク抽出手段と、
   前記位置推定手段で推定された前記三次元座標を前記第二画像における二次元座標である予測画像座標に変換し、前記観測画像座標と照合することで、前記第一画像と前記第二画像との間で前記ランドマークの対応付けを行うランドマーク対応付け手段と、
   このランドマーク対応付け手段により対応付けられた同一のランドマークにおいて、当該ランドマークに対応する前記三次元座標と前記観測画像座標とに基づいて、前記第二カメラのカメラパラメータである推定カメラパラメータを推定するパラメータ推定手段とを備え、
   前記ランドマーク対応付け手段は、
   前記推定カメラパラメータにより前記三次元座標を投影変換することで、前記予測画像座標を算出する投影手段と、
   前記予測画像座標と前記観測画像座標との座標間の距離に基づいて前記ランドマークを対応付ける照合手段と、
   を備えることを特徴とするカメラパラメータ推定装置。
2. 前記ランドマーク対応付け手段は、前記パラメータ推定手段で推定された時系列の推定カメラパラメータに基づいて、現時点におけるカメラパラメータを予測カメラパラメータとして予測する予測手段をさらに備え、
   前記投影手段は、前記予測手段で予測された予測カメラパラメータにより前記三次元座標を投影変換することで、前記予測画像座標を算出することを特徴とする請求項１に記載のカメラパラメータ推定装置。
3. 前記ランドマーク対応付け手段は、
   前記第一画像から、前記予測画像座標の近傍領域の画像特徴を第一特徴として抽出する第一特徴抽出手段と、
   前記第二画像から、前記観測画像座標の近傍領域の画像特徴を第二特徴として抽出する第二特徴抽出手段と、をさらに備え、
   前記照合手段は、前記第一特徴と前記第二特徴との類似の度合いと、前記予測画像座標と前記観測画像座標との距離との重み付け加算に基づいて、前記ランドマークを対応付けることを特徴とする請求項１または請求項２に記載のカメラパラメータ推定装置。
4. 前記パラメータ推定手段は、
   前記位置推定手段で推定された三次元座標と前記ランドマーク対応付け手段での対応結果とに基づいて、前記観測画像座標に前記三次元座標を対応付ける座標対応付け手段と、
   この座標対応付け手段で対応付けられた複数の観測画像座標の三次元座標に基づいて、前記推定カメラパラメータを算出するパラメータ算出手段と、
   を備えることを特徴とする請求項１から請求項３のいずれか一項に記載のカメラパラメータ推定装置。
5. カメラパラメータが既知である第一カメラが撮像した第一画像と、カメラパラメータが未知である第二カメラが撮像した第二画像とに基づいて、前記第二カメラのカメラパラメータを推定するために、コンピュータを、
   ランドマークの予め定めた画像特徴に基づいて、前記第一画像からランドマークの当該画像における座標を参照画像座標として抽出する第一ランドマーク抽出手段、
   この第一ランドマーク抽出手段で抽出された参照画像座標を前記第一カメラのカメラパラメータである既知カメラパラメータにより逆投影変換することで前記ランドマークの三次元座標を推定する位置推定手段、
   前記ランドマークの画像特徴に基づいて、前記第二画像から前記ランドマークの当該画像における座標を観測画像座標として抽出する第二ランドマーク抽出手段、
   前記位置推定手段で推定された前記三次元座標を前記第二画像における二次元座標である予測画像座標に変換し、前記観測画像座標と照合することで、前記第一画像と前記第二画像との間で前記ランドマークの対応付けを行うランドマーク対応付け手段、
   このランドマーク対応付け手段により対応付けられた同一のランドマークにおいて、当該ランドマークに対応する前記三次元座標と前記観測画像座標とに基づいて、前記第二カメラのカメラパラメータである推定カメラパラメータを推定するパラメータ推定手段として機能させ、
   前記ランドマーク対応付け手段は、
   前記パラメータ算出手段で算出された時系列の推定カメラパラメータに基づいて現時点におけるカメラパラメータを予測カメラパラメータとして予測し、この予測カメラパラメータにより前記三次元座標を投影変換することで前記予測画像座標を算出し、さらに、前記予測画像座標と前記観測画像座標との各座標間の距離に基づいて前記ランドマークを対応付けることを特徴とするカメラパラメータ推定プログラム。

Images