JP2018189580A - カメラ校正装置及びカメラ校正プログラム - Google Patents

Abstract

【課題】撮影現場において短時間かつ簡便に高精度なカメラ校正を可能とするカメラ校正装置を提供する。【解決手段】カメラ校正装置１は、複数のカメラＣを初期位置に配置してズーム及び姿勢を変えながら複数の校正パターンをそれぞれ撮影したときの初期カメラモデルパラメータを算出する初期カメラ校正手段２０と、初期カメラモデルパラメータを用いて、カメラＣを撮影位置に配置してズーム及び姿勢を変えながら複数の校正パターンをそれぞれ撮影したときの設置カメラモデルパラメータを算出する設置カメラ校正手段３０と、設置カメラモデルパラメータをカメラパラメータに変換するカメラパラメータ算出手段４０とを備える。【選択図】図１

Description

本発明は、カメラ校正装置及びカメラ校正プログラムに関する。

近年、コンピュータにより実世界を知覚・理解するコンピュータビジョンの研究が盛んである。コンピュータビジョンにおける重要なテーマの１つにカメラ校正がある。ここで言うカメラ校正とは、カメラパラメータを推定する処理である。カメラ校正により、実写画像へのＣＧ合成をはじめとした様々な画像処理が可能となる。さらに、カメラ校正がされた複数のカメラを用いることで、画像からの３次元形状復元なども可能となる。また、撮影装置として汎用性の高いパン・チルト・ズームカメラは、放送番組の映像制作やセキュリティなど様々な分野で使用されている。

ここで、放送をはじめとする撮影現場において、カメラ校正に求められる頑健性、実時間性、精度等の要件は、以下のとおりである。
頑健性とは、現場でカメラの設置作業が完了すれば、確実にカメラ校正（カメラパラメータの取得）が可能なことである。
実時間性とは、カメラの使用時に実時間でカメラパラメータの取得が可能なことである。
精度とは、推定されたカメラパラメータを用いて画像処理を行っても問題のない精度のことである。

従来のカメラ校正の手法は、強校正と弱校正の２つに大別することができる（非特許文献１，２）。非特許文献１に記載の強校正（Ｚｈａｎｇの手法）は、既知の特徴点を平面上に配置した校正パターンを使用する。そして、強校正では、カメラで既知の校正パターンを撮影し、その撮影した特徴点の情報からカメラ校正を行う。
この強校正は、安定してカメラ校正ができるが、校正パターンが必要なため運用性が低い。また、強校正は、カメラ校正が完了したら、カメラの姿勢やズームを変化させることはできない。もしカメラの姿勢やズームを変化させた場合、再度、校正パターンを使用してカメラ校正をする必要がある。そのため、強校正は、パン・チルト・ズームカメラには不向きである。

非特許文献２に記載の弱校正では、カメラで撮影した画像中の自然特徴点の情報からカメラ校正を行う。この弱校正は、校正パターンが不要なため運用性は高いが、画像中の特徴点が少ない（画像中にテクスチャが少ない）場合、カメラ校正の精度が低下するか、失敗することがある。つまり、弱校正は、頑健性（処理の安定性）に課題がある。
このように、これら２つの従来手法では、撮影現場の要望を満たすことができない。

ところで、パン・チルト・ズームカメラを対象としたカメラ校正として、非特許文献３に記載の技術が提案されている。この従来技術は、先ほどの分類の中では校正パターンを使用するという意味で強校正的な手法となるが、強校正の制約が少ない。また、この従来技術は、頑健性と実時間性に優れている。

Z. Zhang,"A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334 Noah Snavely, et al., "Photo tourism: exploring photo collections in 3D", ACM transactions on graphics (TOG), Vol. 25, No. 3, ACM, 2006 大久保英彦 他, "バーチャルスタジオ用高倍率ズームレンズのキャリブレーション手法", 電子情報通信学会技術研究報告. MVE, マルチメディア・仮想環境基礎 108.226(2008),61-66.

しかし、非特許文献３に記載の技術は、単体のカメラを対象としており、複数のカメラに適用した際には精度向上の余地がある。ここで、パン・チルト・ズームカメラの利点は、パン・チルトにより広い範囲を撮影でき、ズームにより被写体を高解像度に撮影できることである。従って、パン・チルト・ズームカメラには、広範囲において高い精度のカメラ校正が求められている。
さらに、校正パターンの撮影などの準備に時間を要するが、撮影現場ではカメラ校正を短時間かつ簡便に行えることが好ましい。

そこで、本発明は、撮影現場において短時間かつ簡便に高精度なカメラ校正を可能とするカメラ校正装置及びカメラ校正プログラムを提供する。

前記した課題に鑑みて、本発明に係るカメラ校正装置は、複数のカメラを初期位置に配置してズーム及び姿勢を変えながら複数の校正パターンをそれぞれ撮影したときの第１カメラモデルパラメータを算出する第１カメラ校正手段と、第１カメラモデルパラメータを用いて、複数のカメラを撮影位置に設置してズーム及び姿勢を変えながら複数の校正パターンをそれぞれ撮影したときの第２カメラモデルパラメータを算出する第２カメラ校正手段とを備える構成とした。

かかるカメラ校正装置によれば、第１カメラ校正手段は、初期位置で校正パターンを撮影した撮影画像と撮影画像を撮影したときのカメラのズーム値及び姿勢を表すセンサ値との組が第１校正用データとして入力され、入力された第１校正用データを用いた強校正により、複数の校正パターンのうち予め設定した１つの基準校正パターン及び予め設定した基準ズーム値におけるカメラパラメータを算出する第１準備処理手段と、第１準備処理手段が算出したカメラパラメータを用いて、基準校正パターン及び基準ズーム値における第１カメラモデルパラメータを剛体変換行列により算出する第１基準推定手段と、第１カメラモデルパラメータ及び第１校正用データを用いて、基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出する第１校正パターン拡張手段と、第１カメラモデルパラメータと第１校正用データと第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを用いて、基準ズーム値と異なる対象ズーム値における第１カメラモデルパラメータを投影行列により算出する第１ズーム拡張手段と、第１カメラモデルパラメータと第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを非線形最適化する第１最適化手段と、予め設定した第１終了条件を満たしているか否かを判定し、第１終了条件を満たしていない場合、第１校正パターン拡張手段、第１ズーム拡張手段及び第１最適化手段に繰り返し処理を指令する第１終了判定手段と、を備える。

このように、第１カメラ校正手段は、撮影現場での本番撮影前に複数の校正パターンを用いて第１カメラモデルパラメータを予め算出しておく。このとき、第１カメラ校正手段は、第１カメラモデルパラメータの非線形最適化を繰り返すことで、高精度な第１カメラモデルパラメータを算出できる。

また、カメラ校正装置によれば、第２カメラ校正手段は、撮影位置で校正パターンを撮影した撮影画像と撮影画像を撮影したときのカメラのズーム値及び姿勢を表すセンサ値との組が第２校正用データとして入力され、入力された第２校正用データを用いた強校正により、撮影位置でのカメラパラメータを算出する第２準備処理手段と、第２準備処理手段が算出したカメラパラメータを用いて、第２カメラモデルパラメータとして、撮影位置にカメラを移設したときの姿勢変化を表す外部パラメータを剛体変換行列により算出する第２基準推定手段と、第２カメラモデルパラメータ及び第２校正用データを用いて、基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出する第２校正パターン拡張手段と、第２カメラモデルパラメータと第２校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを非線形最適化する第２最適化手段と、予め設定した第２終了条件を満たしているか否かを判定し、第２終了条件を満たしていない場合、第２校正パターン拡張手段及び第２最適化手段に繰り返し処理を指令する第２終了判定手段と、を備える。

このように、第２カメラ校正手段は、撮影現場での本番撮影時、初期位置から撮影位置にカメラを移設したときの姿勢変化を表す外部パラメータのみを、第２カメラモデルパラメータとして短時間で算出する。このとき、第２カメラ校正手段は、第２カメラモデルパラメータの非線形最適化を繰り返すことで、高精度な第２カメラモデルパラメータを算出できる。

本発明によれば、以下のような優れた効果を奏する。
本発明に係るカメラ校正装置は、初期位置でカメラモデルパラメータを予め算出しておくので、本番撮影時、初期位置から撮影位置にカメラを移設したときの姿勢変化を表す外部パラメータのみを算出するだけなので、短時間かつ簡便なカメラ校正が可能となる。そして、カメラ校正装置は、非線形最適化を繰り返すことで高精度なカメラモデルパラメータを求めることができ、高精度なカメラ校正が可能となる。

本発明の実施形態に係るカメラ校正装置の構成を示すブロック図である。 図１のカメラの外観図である。 （ａ）及び（ｂ）は図１のカメラ校正装置で用いる校正パターンの説明図である。 実施形態におけるカメラモデルの説明図である。 実施形態におけるカメラと校正パターンの系全体のモデル化の説明図である。 （ａ）は大きな校正パターンをワイド端で撮影したときの校正用データの一例であり、（ｂ）は小さな校正パターンをテレ端で撮影したときの校正用データの一例である。 実施形態における校正パターン・ズーム値テーブルの説明図である。 実施形態における剛体変換行列を解く手法の説明図である。 実施形態における初期カメラ校正のフローチャートである。 実施形態における初期カメラ校正の説明図である。 実施形態における設置カメラ校正のフローチャートである。 実施形態における設置カメラ校正の説明図である。

（実施形態）
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。
本実施形態では、カメラ校正装置の概略、カメラのモデル化、カメラ校正のアルゴリズム、カメラ校正装置の構成、カメラ校正装置の動作の順で説明する。

［カメラ校正装置の概略］
図１〜図３を参照し、カメラ校正装置１の概略について説明する。
カメラ校正装置１は、複数のカメラＣを初期位置（例えば、実験室や準備室）に配置してズーム及び姿勢を変えながら複数の校正パターンＰ（図３）をそれぞれ撮影したときの初期カメラモデルパラメータ（第１カメラモデルパラメータ）を算出する。
次に、カメラ校正装置１は、初期カメラモデルパラメータを用いて、カメラＣを撮影位置（例えば、撮影スタジオ）に設置してズーム及び姿勢を変えながら複数の校正パターンＰをそれぞれ撮影したときの設置カメラモデルパラメータ（第２カメラモデルパラメータ）を算出する。
そして、カメラ校正装置１は、設置カメラモデルパラメータ及びカメラＣのセンサ値から一般的なカメラパラメータを算出し、図示を省略したＣＧ合成装置などにカメラパラメータを出力する。
なお、カメラ校正装置１の構成は、後記する。

カメラＣは、図２に示すように、一般的なパン・チルト・ズームカメラである。つまり、カメラＣは、パン及びチルト可能な雲台Ｃａにマウントされており、パン及びチルトの角度をセンサ（不図示）により取得可能である。
また、カメラＣは、ズームレンズＣｂを搭載し、ズーム値をセンサにより取得可能である。ここで、センサが取得したパン値、チルト値及びズーム値をセンサ値と呼び、カメラＣが撮影した撮影画像とセンサ値との時間的整合が取れていることとする。

なお、初期位置から撮影位置に移設するカメラＣは、同一個体であることとする。また、初期位置から撮影位置にカメラＣを同一台数移設することとするが、撮影位置に移設するカメラＣの台数を少なくしてもよい。

校正パターンＰは、特徴点を平面上に配置したカメラ校正用のパターンのことである。例えば、校正パターンＰとしては、図３に示すように、市松模様が描かれたパターンをあげることができる。
ここで、ズームレンズＣｂ、特に高倍率のズームレンズＣｂを用いる場合、ワイド端（最大広角）とテレ端（最大望遠）で画角が大きく変化する。このため、１つのサイズの校正パターンＰのみを用いる場合、校正パターンＰの配置をよほど工夫しない限り、校正パターンＰの全体を撮影できない。そこで、カメラ校正装置１では、図３（ａ）の大きな校正パターンＰ_１や図３（ｂ）の小さな校正パターンＰ_２など、様々なサイズの校正パターンＰを使用することが好ましい。

［カメラのモデル化］
図４，図５を参照し、本実施形態におけるカメラのモデル化を説明する。
以下、集合の要素数を、｜・｜で表す。
カメラ番号ｉ（ｉ＝１，２，…,Ｉ）とするカメラＣをＣ_ｉとする。つまり、カメラ番号ｉは、各カメラＣ_ｉを一意に識別する番号である。Ｉは、カメラＣ_ｉの総数を表す。何れか１つのズーム値ｎでカメラモデルパラメータが推定済みのカメラ番号ｉを表す集合をＩ^ｅとする。
校正パターン番号ｊ（ｊ＝１，２，…,Ｊ）とする校正パターンＰをＰ_ｊとする。つまり、校正パターン番号ｊは、各校正パターンＰ_ｊを一意に識別する番号である。Ｊは、校正パターンＰ_ｊの総数を表す。位置・姿勢が推定済みの校正パターン番号ｊを表す集合をＪ^ｅとする。

カメラＣのズーム設定番号をｋ（ｋ＝１，２，…,Ｋ）とする。つまり、ズーム設定番号ｋは、カメラＣの各ズーム値ｎに対応する番号である。カメラＣ_ｉのズーム設定番号ｋ_ｉにおいて、ズーム依存パラメータが推定済みのズーム設定番号ｋを表す集合をＫ^ｅ _ｉとする。
カメラＣの姿勢番号をｌとする。つまり、姿勢番号ｌは、カメラＣの各姿勢（パン値、チルト値）に対応する番号である。カメラＣ_ｉにおいて、ズーム設定番号ｋ_ｉで校正パターンＰ_ｊを撮影した全ての姿勢番号ｌを表す集合をＬ_ｉｊｋとする。
特徴点番号をｍとする。特徴点番号ｍは、校正パターンＰの各特徴点を一意に識別する番号である。校正パターンＰ_ｊの全ての特徴点番号ｍを表す集合をＭ_ｊとする。

＜カメラモデル＞
図４に示すように、カメラＣのモデル化を行う。このカメラモデルは、雲台ＣａにズームレンズＣｂを搭載したカメラＣをマウントしたモデルである。このカメラＣをモデル化することで、推定すべきパラメータを定義できる。そして、そのパラメータが推定できれば、関数化もしくはルックアップテーブル化することで、センサ値からカメラパラメータが算出できる。

内部パラメータは、焦点距離や画像中心などのカメラＣとレンズに関する特性を表す。本実施形態においては、ピンホールカメラモデルを想定し、レンズ歪も内部パラメータとして扱う。ズームレンズＣｂにおいては、ズームレンズＣｂの設定（ズームとフォーカスの設定）により内部パラメータが変化する。しかし、ここではフォーカスは考慮せず、ズームのみ考える。ズーム設定番号ｋを変化させるとズーム値ｎが変化し、それに伴い内部パラメータも変化する。このとき、内部パラメータκは、焦点距離ｆ、アスペクト比ａ、画像中心Ｃ_ｕ，Ｃ_ｖ、レンズ歪κ_１，κ_２，κ_３，κ_４のそれぞれが、ズーム値ｎを変数としたパラメータとなり、以下の式（１）で表される。

また、レンズ歪を除き、内部パラメータΚ（ｎ）を行列表記すると、以下の式（２）のようになる。この内部パラメータΚ（ｎ）を内部パラメータ行列と呼ぶ。

一般的に、外部パラメータは、基準となる座標系とカメラＣの座標系との位置・姿勢の関係を表す。この関係は、並進ベクトルｔ＝［ｔ_ｘ，ｔ_ｙ，ｔ_ｚ］^Ｔと回転角度θ＝［θ_ｘ，θ_ｙ，θ_ｚ］^Ｔにより表現でき、座標変換と等しい。つまり、外部パラメータμは、以下の式（３）で表される。

以降、座標変換のパラメータも外部パラメータと呼ぶ。ここで、ある座標系Σ_Ａから別の座標系Σ_Ｂに座標変換する場合、外部パラメータを^Ｂμ_Ａと表記する。この外部パラメータ^Ｂμ_Ａを剛体変換行列^ＢＭ_Ａで表現すると、以下の式（４）となる。

ここで、^ＢＲ_Ａは回転角度θから求まる回転行列であり、^Ｂｔは並進ベクトルである。ベクトルにおける左上の添え字は座標系を表し、剛体変換行列と回転行列の右下及び左上の添え字は変換前後の座標系を表す。つまり、外部パラメータ^Ｂμ_Ａと剛体変換行列^ＢＭ_Ａは等価である。一般的な外部パラメータは、世界座標系Σ_Ｗとカメラ座標系Σ_Ｃとの位置・姿勢の関係を表すので、カメラ校正で求めるべき外部パラメータは、外部パラメータ^Ｃμ_Ｗ、又は、剛体変換行列^ＣＭ_Ｗである。

以上を踏まえ、パン・チルト・ズームカメラのモデル化を考える。図４に示すように、雲台Ｃａにおいて、パン・チルト軸は１点で直交していると仮定し、この点を回転中心と呼ぶ。回転中心においてパン・チルト角が共に０である場合の座標系を雲台座標系Σ_ＣＰと呼ぶ。このとき、世界座標系Σ_Ｗから雲台座標系Σ_ＣＰへの外部パラメータは、^ＣＰμ_Ｗとなる。

回転中心においてパン・チルトをした後の座標系をパン・チルト座標系Σ_ＰＴとすると、雲台座標系Σ_ＣＰからパン・チルト座標系Σ_ＰＴへの外部パラメータは、^ＰＴμ_ＣＰとなる。このとき、パン・チルト軸は直交しているため、雲台座標系Σ_ＣＰとパン・チルト座標系Σ_ＰＴの間の並進ベクトルは０となり、回転要素はパン・チルトのみである。カメラＣの光学中心を原点とした座標系をカメラ座標系Σ_Ｃとする。パン・チルト座標系Σ_ＰＴからカメラ座標系Σ_Ｃへの外部パラメータは、^Ｃμ_ＰＴとなる。ここで、カメラ座標系Σ_Ｃの位置がズーム設定により変化するため、外部パラメータ^Ｃμ_ＰＴは、ズーム値ｎに依存するパラメータ^Ｃμ_ＰＴ（ｎ）となる。外部パラメータのどの要素がズーム値ｎに依存するかはカメラモデルの設計次第だが、本実施形態では、以下の式（５）のように定義する。

この式（５）では、並進ベクトルの光軸方向であるＺ軸成分ｔ^Ｃ _ｚのみをズーム値ｎに依存するパラメータと定義している。以上より、パン・チルト・ズームカメラにおいて世界座標系Σ_Ｗからカメラ座標系Σ_Ｃへの外部パラメータ^Ｃμ_Ｗ（ｎ）は、以下の式（６）で算出できる。この外部パラメータ^Ｃμ_Ｗ（ｎ）は、剛体変換行列^ＣＭ_Ｗ（ｎ）のベクトル表現である。

カメラパラメータが定義されたので、世界座標系Σ_Ｗにおける３次元空間中の１点の撮影画像への投影を考える。ここでは、レンズ歪については考慮しない。透視投影行列Ｐは、内部パラメータ行列Κと剛体変換行列^ＣＭ_Ｗを用いて、以下の式（７）で表される。

空間中に点Ｑがあり、世界座標系Σ_Ｗにおける座標をＸ＝［Ｘ，Ｙ，Ｚ］^Ｔとする。この点Ｑを透視投影行列Ｐにより撮影画像上に投影した場合、投影される画像座標ｕ＝［ｕ，ｖ］^Ｔは、以下の式（８）で表される。この式（８）では、スケール係数をｓとし、３次元座標Ｘの同次座標系をベクトルＸ~＝［Ｘ，Ｙ，Ｚ，１］^Ｔとし、画像座標ｕの同次座標系をｕ~＝［ｕ，ｖ，１］^Ｔとする。

前記した投影モデルは、レンズ歪のない理想的なレンズの場合なので、レンズ歪を考慮した場合の点Ｑの投影について述べる。世界座標系Σ_Ｗでの点Ｑの座標^ＷＸは、外部パラメータ^Ｃμ_Ｗ＝^ＣＭ_Ｗによりカメラ座標系Σ_Ｃに変換され、以下の式（９）のように３次元座標^ＣＸで表される。

ここで、３次元座標Ｘの左上の添え字は、座標系を表す。このとき、正規化画像座標ｘ＝［ｘ，ｙ］^Ｔは、以下の式（１０）で表される。この式（１０）では、ベクトル^ＣＸ＝［^ＣＸ，^ＣＹ，^ＣＺ］^Ｔとしている。従って、レンズ歪がある場合の正規化画像座標ｘ_ｄ＝［ｘ_ｄ，ｙ_ｄ］^Ｔは、以下の式（１１）で表される。

ここで、ｒは正規化画像の中心からの距離であり、ｒ^２＝ｘ_ｎ ^２＋ｙ_ｎ ^２である。このレンズ歪を考慮した正規化画像座標ｘ_ｄに内部パラメータをかけると、以下の式（１２）のようにレンズ歪を考慮した画像座標ｕ_ｄ＝［ｕ_ｄ，ｖ_ｄ］^Ｔが求められる。

推定すべきパラメータは、以上の内部パラメータと外部パラメータとなる。しかし、高倍率のズームレンズＣｂにおいて、全てのズーム値ｎについてパラメータを推定するのが困難である。そこでズーム値ｎ＝Ｎ_１，Ｎ_２，…，Ｎ_Ｋのように離散的にいくつかサンプリングし、パラメータを推定する。つまり、１台のカメラＣあたりで推定すべきパラメータは、以下の式（１３）で表される。

このパラメータをカメラモデルパラメータφと呼ぶ。カメラＣ_ｉのカメラモデルパラメータをφ_ｉと表記する。このカメラモデルパラメータφは、ズーム値ｎに依存すパラメータとズーム値ｎに依存しないパラメータとに分けられる。内部パラメータκ及び外部パラメータ^Ｃμ_ＰＴの並進ベクトルのＺ軸成分ｔ^Ｃ _ｚは、ズーム値ｎに依存するのでズーム依存パラメータと呼ぶ。一方、外部パラメータ^Ｃμ_ＰＴの並進ベクトルのＺ軸成分ｔ^Ｃ _ｚ以外、及び、外部パラメータ^ＣＰμ_Ｗは、ズーム値ｎに依存しないためズーム非依存パラメータと呼ぶ。このカメラモデルパラメータを推定できると、センサ値からカメラパラメータが算出できる。

ズーム依存パラメータについては、ズーム値ｎで離散的にサンプリングされ、推定されたパラメータからその間の値を補完することで、全てのズーム値ｎにおけるルックアップテーブルを作成する。この離散的なカメラモデルパラメータにズーム依存パラメータで補完がされた後のパラメータもカメラモデルパラメータと呼ぶ。
また、あるズーム値ｎのカメラモデルパラメータという場合、あるズーム値ｎにおけるズーム依存パラメータとズーム非依存パラメータの両方を指す。

＜系全体のモデル化＞
図５に示すように、カメラＣと校正パターンＰの座標系を合わせた系全体のモデル化を行う。カメラＣは、前記カメラモデルで述べたカメラ座標系Σ_Ｃを有する。また、校正パターンＰは、校正パターン座標系Σ_Ｐを有する。本実施形態においては、複数の校正パターンＰ_ｊを用いるので、それぞれの校正パターンＰ_ｊがそれぞれの校正パターン座標系Σ_Ｐｊを有する。また、校正パターンＰは任意に配置可能であり、世界座標系Σ_Ｗと校正パターン座標系Σ_Ｐとの位置・姿勢の関係は、未知でよい。この世界座標系Σ_Ｗと校正パターン座標系Σ_Ｐとの位置・姿勢の関係の推定は、カメラモデルパラメータの推定と同時に行う。

なお、カメラＣが校正パターンＰを撮影し、特徴点を抽出できるように校正パターンＰを配置することが好ましい。例えば、撮影スペースの制限により、一部のカメラＣが撮影できない校正パターンＰがあってもよいが、その分校正用データが減るため、精度に影響を及ぼす可能性がある。

世界座標系Σ_Ｗと校正パターン座標系Σ_Ｐとの位置・姿勢の関係は、座標変換で表されるので、カメラモデルにおける外部パラメータと同様に扱うことができる。例えば、世界座標系Σ_Ｗと校正パターン座標系Σ_Ｐとの位置・姿勢の関係は、^Ｐμ_Ｗとなる。この表記を簡単にするため、以下の式（１４）で表す。

例えば、世界座標系Σ_Ｗから校正パターン座標系Σ_Ｐｊへの外部パラメータは、^Ｐｊμ_Ｗとなる。つまり、世界座標系Σ_Ｗと校正パターン座標系Σ_Ｐとの位置・姿勢の関係は、ν_ｊとする。

最終的に、推定すべきパラメータηは、カメラＣのカメラモデルパラメータφと、校正パターンＰの外部パラメータνになる。全てのカメラＣ_ｉ、全ての校正パターンＰ_ｊにおいて考えた場合、パラメータηは、以下の式（１５）で表される。

空間の基準となる世界座標系Σ_Ｗは、任意に設定できる。本実施形態では、世界座標系Σ_Ｗは、校正パターンＰ_ｊの中から任意に１つの基準校正パターンを選択し、その校正パターンＰの校正パターン座標系Σ_Ｐとしている。こうすることで、パラメータηのパラメータ数を、姿勢を表す３つ、位置を表す３つ、合計６つ減らすことができる。以後、世界座標系Σ_Ｗを基準校正パターンの校正パターン座標系Σ_Ｐに設定したこととする。

［カメラ校正のアルゴリズム］
以下、カメラ校正のアルゴリズムについて説明する。
カメラ校正装置１は、特徴点が既知の校正パターンを撮影した校正用データを用いてカメラ校正を行う。このカメラ校正装置１は、校正パターンを使うという点では強校正に分類されるが、従来技術のような強校正の制約が少ない。つまり、カメラ校正装置１は、使用前に校正パターンを用いて予め初期カメラモデルパラメータを推定することで、撮影現場での校正パターンの撮影回数を抑えつつ設置カメラモデルパラメータを算出できる。そして、カメラ校正装置１は、算出した設置カメラモデルパラメータとセンサ値からカメラパラメータを算出できる。なお、本番使用時、校正パターンＰは不要である。

＜校正用データ及び校正パターン・ズーム値テーブル＞
最初に校正用データ及び校正パターン・ズーム値テーブルについて説明し、次にカメラ校正のアルゴリズムについて説明する。
校正用データとは、カメラモデルパラメータの推定のために特徴点が既知の校正パターンＰを撮影した画像と、その撮影画像を撮影したときのカメラＣのセンサ値との組のことである。つまり、校正用データは、１つの撮影画像と１つのセンサ値との組で１つのデータを構成する。

本実施形態では、あるズーム値ｎにおいて、ある校正パターンＰが撮影画像の中で様々な位置となるように姿勢（パン・チルト）を変化させて複数回撮影する。この変化させた回数を姿勢数と呼ぶ。つまり、それぞれのカメラＣにおいて、撮影する校正パターンＰを変化させ、ズーム値ｎを変化させ、姿勢（パン・チルト）を変化させて撮影する。このとき、撮影画像と、センサで取得した撮影画像を撮影した瞬間のセンサ値（パン値、チルト値、ズーム値）とをセットにして記録する。

例えば、図６（ａ）に示すように、カメラＣは、ズームのワイド端で姿勢を変えながら、大きな校正パターンＰ_１を撮影する。この例では、校正用データは、画角内で校正パターンＰ_１の位置が異なる撮影画像と、その撮影画像を撮影したときのセンサ値との５組となる。
また、例えば、図６（ｂ）に示すように、ズームのテレ端で姿勢を変えながら、小さな校正パターンＰ_２を撮影する。この例では、校正用データは、画角内で校正パターンＰ_２の位置が異なる撮影画像と、その撮影画像を撮影したときのセンサ値との５組となる。

ここで、各カメラＣが校正パターンＰを適切に撮影することが好ましい。つまり、各カメラＣは、校正パターンＰの全体が撮影画像内に収まり、撮影画像から校正パターンＰの特徴点が抽出できるように撮影することが好ましい。もしそうでない場合、校正パターンＰの特徴点を正しく抽出できず、校正用データとして使用できない。

なお、図６では、センサ値(Ｐａｎ、Ｔｉｌｔ、Ｚｏｏｍ)の数値を省略している。また、図３に示すように、校正パターンＰ_１が校正パターンＰ_２よりサイズが大きいが、図６（ａ）では広角で撮影しているので校正パターンＰ_１を小さく図示した一方、図６（ｂ）では望遠で撮影しているので、校正パターンＰ_２を大きく図示した。
また、図６では、ワイド端、テレ端の校正用データのみを図示したが、ワイド端からテレ端までの間のズーム値ｎについての校正用データも用いることとする。また、図６では、ある１台のカメラＣについての校正用データのみを図示したが、各カメラＣに対応した校正用データを用いることとする。

以上のように、ズーム値ｎを変えながら異なる姿勢で様々なサイズの校正パターンＰ_ｊを撮影した校正用データがカメラＣ_ｉ毎に存在する。従って、これら校正用データを校正パターン・ズーム値テーブルｔｂｌとして表現することができる。図７に示すように、校正パターン・ズーム値テーブルｔｂｌは、横軸を校正パターンＰ_１〜Ｐ_Ｊ、縦軸をズーム値Ｎ_１〜Ｎ_Ｋとした校正用データのテーブルである。図７では、カメラＣ_１〜Ｃ_３それぞれの校正パターン・ズーム値テーブルｔｂｌ_１〜ｔｂｌ_３を図示した。
なお、校正パターン・ズーム値テーブルｔｂｌでは、校正用データがある箇所をドットで図示し、校正用データが無い箇所を白枠で図示した。

＜カメラ校正＞
以下、校正パターン・ズーム値テーブルを用いて、カメラモデルパラメータを推定する手法を考える。本実施形態において、精度よくカメラモデルパラメータを推定するためには、校正用データが多いほうが好ましい。つまり、校正パターンＰの数、ズーム値ｎのサンプル数及びカメラＣの姿勢数は、多くした方が好ましい。一方、撮影現場において、校正用データを大量に撮影することは時間・手間の両面で難しい。つまり、このカメラ校正において、「精度」と「時間・手間」は、トレードオフの関係となる。本実施形態では、これらを両立するため初期カメラ校正及び設置カメラ校正という２段階での校正を考える。

初期カメラ校正は、初期位置において、大量の校正用データを使い、カメラモデルパラメータに含まれる全パラメータを精度よく推定することを目的とする。つまり、初期カメラ校正は、精度をできるだけ高めるために、時間・手間を十分にかけて行う。この初期カメラ校正は、事前に行うので、時間・手間がかかっても問題はない。

一方、設置カメラ校正は、撮影位置（撮影現場）において、少ない校正用データを使い、カメラモデルパラメータに含まれる一部パラメータを推定することを目的とする。すなわち、カメラモデルパラメータのうち、初期位置から撮影現場にカメラを移設しても変化しないものは、初期カメラ校正の結果を用いる。設置カメラ校正では、推定すべきパラメータを必要最低限とし、精度がなるべく低下しないようにしつつ、時間・手間をなるべくかけないようにする。
まず、初期カメラ校正を中心に説明し、設置カメラ校正については初期カメラ校正と異なる点のみを説明する。

＜＜初期カメラ校正＞＞
一般的に、校正パターンＰを用いたカメラ校正は、線形計算による初期値推定と、初期値の非線形最適化（再投影誤差最小化）との２段階で行われる。ここで、特徴的なのは、初期値推定と非線形最適化を繰り返し行う点にある。最適化を行って解を真値に近い値に収束させるためには、真値に近い初期値（よい初期値）が必要となる。つまり、線形計算において、よい初期値を推定することが非常に重要になる。しかし、よい初期値を校正用データから算出することが難しい。特に、高倍率なズームレンズＣｂのテレ端側では、撮影している校正パターンＰに対して、カメラＣの姿勢を変えても、校正パターンＰの映り方が殆ど変化しない。このため、異なる姿勢で撮影しても視差が殆ど生まれないため、非特許文献１に記載の強校正を適用するのが難しい。そこで、カメラ校正装置１では、ある１つの校正パターンＰ、ある１つのズーム値ｎから段階的に校正パターンＰ、カメラＣ、ズーム値ｎを増やし、初期値推定と非線形最適化を繰り返し、最終的に全ての校正パターンＰ、カメラＣ、ズーム値ｎについてのカメラモデルパラメータを推定する。

カメラ校正装置１は、初期カメラ校正において、準備処理、基準推定処理、校正パターン拡張処理、カメラ拡張処理及びズーム拡張処理を行う（図９参照）。
まず、カメラ校正装置１は、準備処理として、撮影画像から校正パターンＰの特徴点抽出などを行う。次に、カメラ校正装置１は、基準推定処理として、予め設定した１つの基準校正パターンと、１つのズーム値ｎ（基準ズーム値）とで、カメラＣ毎にカメラモデルパラメータ（基準ズーム値でのズーム依存パラメータとズーム非依存パラメータ）を推定する。

以降、カメラ校正装置１は、校正パターン拡張処理、カメラ拡張処理、ズーム拡張処理を繰り返す。このとき、推定状況に応じて使用する校正用データを増やしつつ、カメラモデルパラメータと校正パターンＰの位置・姿勢の推定を進めていく。そして、全てのパラメータの推定が完了したら推定終了となる。
なお、校正パターンＰの位置・姿勢とは、世界座標系Σ_Ｗと校正パターン座標系Σ_Ｐとの位置・姿勢の関係のことである。

＜＜設置カメラ校正＞＞
以下、設置カメラ校正について、初期カメラ校正と異なる点のみを説明する。
設置カメラ校正は、ズーム拡張処理を行わない以外、初期カメラ校正と同様の処理となる（図１１）。

設置カメラ校正では、初期カメラ校正からカメラＣを移設した時に変化するパラメータのみを推定する。つまり、設置カメラ校正では、カメラＣを移設した後の世界座標系をΣ_Ｗ´とすると、各カメラＣで世界座標系Σ_Ｗ´から雲台座標系Σ_ＣＰへの^ＣＰμ_Ｗ´のみを推定する。よって、設置カメラ校正で推定すべきパラメータφ´は、以下の式（１６）で表される。また、カメラＣ_ｉのカメラモデルパラメータをφ´_ｉと表記する。

他のカメラモデルパラメータ（内部パラメータと外部パラメータ^Ｃμ_ＰＴ）については、初期カメラ校正で求めたカメラモデルパラメータを使用する。従って、設置カメラ校正において推定すべきパラメータη´は、カメラＣの外部パラメータ^ＣＰμ_Ｗ´と、校正パターンＰの位置・姿勢となる。全てのカメラＣ_ｉ、全ての校正パターンＰ_ｊにおいて考えた場合、パラメータη´は、以下の式（１７）で表される。

ここで、設置カメラ校正では、時間・手間の削減のため、初期カメラ初期より校正用データを少なくすることが好ましい。初期カメラ校正では、推定精度のために大量の校正用データを使用している。このため、校正用データの撮影にかなりの時間・手間が必要となる。そこで、設置カメラ校正では、初期カメラ校正よりも校正パターンＰの数、ズーム値ｎのサンプル数、姿勢数を減らすとよい。ズーム値ｎは最低としてはある１つのズーム値ｎのみでよいが、ズームレンジ全体で幾つかのズーム設定を設けてもよい。

［カメラ校正装置の構成］
図１に戻り、カメラ校正装置１の構成について説明する。
図１に示すように、カメラ校正装置１は、校正用データ記憶手段１１と、カメラモデルパラメータ記憶手段１３と、設定値記憶手段１５と、初期カメラ校正手段（第１カメラ校正手段）２０と、設置カメラ校正手段（第２カメラ校正手段）３０と、カメラパラメータ算出手段４０とを備える。

校正用データ記憶手段１１は、前記した校正用データを記憶するＨＤＤ（Hard Disk Drive）、メモリ等の記憶装置である。本実施形態では、校正用データ記憶手段１１は、初期位置の校正用データ（第１校正用データ）と、その校正用データをテーブル化した初期校正パターン・ズーム値テーブルを記憶する。さらに、校正用データ記憶手段１１は、撮影位置の校正用データ（第２校正用データ）と、その校正用データをテーブル化した設置校正パターン・ズーム値テーブルを記憶する。
なお、初期校正パターン・ズーム値テーブル及び設置校正パターン・ズーム値テーブルの何れも、図７と同様のテーブル構造を有する。

カメラモデルパラメータ記憶手段１３は、初期カメラモデルパラメータと、設置カメラモデルパラメータとを記憶するＨＤＤ、メモリ等の記憶装置である。

設定値記憶手段１５は、校正パターンＰに関する設定値情報を予め記憶するＨＤＤ、メモリ等の記憶装置である。ここでは、設定値記憶手段１５には、カメラ校正装置１の利用者により、校正パターンＰのサイズ、特徴点数、校正パターンＰに含まれる各特徴点の位置等が設定値情報として予め設定（記憶）される。

＜初期カメラ校正手段＞
初期カメラ校正手段２０は、前記した初期カメラ校正を行うものであり、準備処理手段（第１準備処理手段）２１と、基準推定手段（第１基準推定手段）２２と、校正パターン拡張手段（第１校正パターン拡張手段）２３と、カメラ拡張手段（第１カメラ拡張手段）２４と、ズーム拡張手段（第１ズーム拡張手段）２５と、最適化手段（第１最適化手段）２６と、終了判定手段（第１終了判定手段）２７と、パラメータ補完手段（補間手段）２８とを備える。

準備処理手段２１は、第１校正用データを用いた強校正により、複数の校正パターンＰのうち予め設定した１つの基準校正パターン及び予め設定した基準ズーム値におけるカメラパラメータを算出するものである。つまり、準備処理手段２１は、校正用データ記憶手段１１の初期校正パターン・ズーム値テーブルを参照し、撮影画像からの特徴点抽出、及び、既存のカメラ校正（強校正）を行う。

ここで、準備処理手段２１は、校正用データの全ての撮影画像から校正パターンＰの特徴点を抽出する。もし、特徴点を抽出ができない撮影画像があった場合、以後、その撮影画像を参照しない。
既知の強校正としては、例えば、Ｚｈａｎｇの手法を利用できる（非特許文献１参照）。この強校正は、基準校正パターン及び基準ズーム値における全撮影画像と、カメラ拡張処理を実施する撮影画像とを対象として実施する。つまり、各カメラＣにおいて、対象となる校正パターンＰ及びズーム値ｎについてのカメラパラメータが求まる。このカメラパラメータは、以後の処理において、初期値として使用する。

基準ズーム値は、画角が広く、大きくパン・チルトしてカメラ姿勢を大きく変えられるので、ワイド側に設定する方が好ましい。これにより、ワイド側で大きな視差が発生するので、精度の高いカメラパラメータが算出できる可能性が高くなる。

その後、準備処理手段２１は、算出したカメラパラメータを基準推定手段２２に出力する。本実施形態では、準備処理手段２１は、繰り返し処理を行わないこととするが、後記する終了判定手段２７から処理終了指令が入力された場合に処理を終了する。
なお、このカメラパラメータとは、一般的なカメラパラメータ（内部パラメータ及び外部パラメータ）のことであり、式（１３）のカメラモデルパラメータとは区別される。

基準推定手段２２は、準備処理手段２１から入力されたカメラパラメータを用いて、基準校正パターン及び基準ズーム値における初期カメラモデルパラメータを剛体変換行列により算出するものである。つまり、基準推定手段２２は、準備処理手段２１の処理結果を用いて、初期校正パターン・ズーム値テーブルの基準校正パターン及び基準ズーム値における初期カメラモデルパラメータを推定する。

準備処理手段２１により、基準ズーム値における全てのカメラＣの内部パラメータと、複数の姿勢における外部パラメータ（世界座標系Σ_Ｗからカメラ座標系Σ_Ｃへの外部パラメータ^Ｃμ_Ｗ）が既知となっている。従って、基準推定手段２２は、剛体変換行列を解く手法を適用することで、外部パラメータ^Ｃμ_Ｗを、世界座標系Σ_Ｗから雲台座標系Σ_ＣＰへの外部パラメータ^ＣＰμ_Ｗと、パン・チルト座標系Σ_ＰＴからカメラ座標系Σ_Ｃへの外部パラメータ^Ｃμ_ＰＴとに分解する。

例えば、剛体変換行列を解く手法としては、以下の参考文献１に記載のＡＸ＝ＹＢを解く手法をあげることができる。図８に示すように、世界座標系Σ_Ｗからカメラ座標系Σ_Ｃへの外部パラメータ^Ｃμ_Ｗを既知の行列Ａ、雲台座標系Σ_ＣＰからパン・チルト座標系Σ_ＰＴへの外部パラメータ^ＰＴμ_ＣＰを既知の行列Ｂとする。また、世界座標系Σ_Ｗから雲台座標系Σ_ＣＰへの外部パラメータ^ＣＰμ_Ｗを未知の行列Ｘ^−１、パン・チルト座標系Σ_ＰＴからカメラ座標系Σ_Ｃへの外部パラメータ^Ｃμ_ＰＴを未知の行列Ｙとする。ここで、行列Ａ，Ｂ，Ｘ，Ｙの何れも剛体変換行列であることとする。そして、参考文献１に記載の手法によれば、ＡＸ＝ＹＢをＡ＝ＹＢＸ^−１と変形できるので、行列Ａ，Ｂが複数ペア存在すれば、行列Ｘ，Ｙを求めることができる。

参考文献１：Hanqi Zhuang, et al. “Simultaneous robot/world and tool/flange calibration by solving homogeneous transformation equations of the form AX=YB”, IEEE Transactions on Robotics and Automation, Vol.10, No.4, 1994, p.549 - 554

以上のように、基準推定手段２２は、基準校正パターン及び基準ズーム値における初期カメラモデルパラメータの初期値を推定する。そして、基準推定手段２２は、この初期値を後記する最適化手段２６に出力することで、最適化手段２６でパラメータ調整（非線形最適化）を行う。その後、基準推定手段２２は、最適化手段２６で非線形最適化された初期カメラモデルパラメータを、校正パターン拡張手段２３に出力する。
本実施形態では、基準推定手段２２は、繰り返し処理を行わないこととするが、終了判定手段２７から処理終了指令が入力された場合に処理を終了する。

校正パターン拡張手段２３は、基準推定手段２２から入力された初期カメラモデルパラメータ及び校正用データを用いて、基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出するものである。

つまり、校正パターン拡張手段２３は、初期校正パターン・ズーム値テーブルで位置・姿勢が未知の校正パターンＰにおいて、校正パターンＰの位置・姿勢を推定する。このとき、校正パターン拡張手段２３は、対象校正パターンで全ての特徴点の３次元位置を算出し、基準校正パターンと対象校正パターンとで特徴点の３次元位置を比較し、対象校正パターンの位置・姿勢を求める。この対象校正パターンの位置・姿勢は、世界座標系Σ_Ｗが基準校正パターンの校正パターン座標系Σ_Ｐに設定されていることから、世界座標系Σ_Ｗと対象校正パターンの校正パターン座標系Σ_Ｐとの位置・姿勢の関係を表すことになる。

具体的には、校正パターン拡張手段２３は、既知の初期カメラモデルパラメータと対象校正パターンを撮影した撮影画像の特徴点の画像座標とを用いて、世界座標系Σ_Ｗでの特徴点の３次元位置を算出する。基準推定処理は完了しているため、最低でも１つのズーム値ｎでのズーム非依存パラメータとズーム依存パラメータは既知である。従って、前記した式（７）の透視投影行列Ｐを算出できる。また、対象校正パターンの画像座標も既知だが、この画像座標にはレンズ歪が加わっている。そこで、内部パラメータを用いて、レンズ歪を除去した画像座標ｕを算出する。未知のスケール係数ｓと３次元位置Ｘを用いると、前記した式（８）となる。この式（８）を初期カメラモデルパラメータが既知となっている全てのカメラＣ、ズーム値ｎ、姿勢について適用すると、以下の式（１８）で表される。なお、Ｄ_ｊは、式が成立する数を表し、以下の式（１９）で表される。

この式（１８）は、特異値分解により解くことができ、３次元位置Ｘを算出できる。この計算を対象校正パターンの全ての特徴点において行うことで、対象校正パターンの全ての特徴点の３次元位置が既知となる。

次に、校正パターン拡張手段２３は、算出した対象校正パターンと基準校正パターンとの特徴点群に参考文献２に記載の外部パラメータ推定手法を適用することで、外部パラメータを算出できる。そして、校正パターン拡張手段２３は、以上の処理を未知の対象校正パターンについて、繰り返していく。

参考文献２に記載の手法は、対応が既知の点集合から位置及び姿勢の推定を行うものである。
参考文献２：玉木徹. “姿勢推定と回転行列”, 電子情報通信学会技術研究報告. SIP, 信号処理 109.202 (2009): p.59-64

なお、撮影画像に含まれる校正パターンＰのサイズや特徴点の数が異なる場合、正確な外部パラメータを算出できない。このため、校正パターン拡張手段２３は、設定値記憶手段１５の設定値情報を参照し、校正パターンＰが同一サイズ、同一特徴点数となるように正規化することが好ましい。

以上のように、校正パターン拡張手段２３は、終了判定手段２７から処理繰返指令が入力された場合、対象校正パターンについての位置及び姿勢を推定する。そして、校正パターン拡張手段２３は、この初期値を後記する最適化手段２６に出力することで、最適化手段２６でパラメータ調整（非線形最適化）を行う。その後、校正パターン拡張手段２３は、最適化手段２６で非線形最適化された初期カメラモデルパラメータを、カメラ拡張手段２４に出力する。
また、校正パターン拡張手段２３は、終了判定手段２７から処理終了指令が入力された場合、繰り返し処理を終了する。

カメラ拡張手段２４は、校正パターン拡張手段２３から入力された初期カメラモデルパラメータと校正パターン拡張手段２３が推定した校正パターンＰについての位置及び姿勢を用いて、基準校正パターンを撮影できなかったカメラＣについての初期カメラモデルパラメータを剛体変換行列により算出するものである。

つまり、カメラ拡張手段２４は、基準校正パターンを撮影できていないカメラＣを初期カメラモデルパラメータに加える処理を行う。カメラＣの配置や基準校正パターンの選択によっては、基準校正パターンを撮影できないカメラＣが存在する。その場合、基準推定では、初期カメラモデルパラメータが推定できていない。従って、カメラ拡張手段２４は、校正パターン拡張及びズーム拡張の処理結果と、初期校正パターン・ズーム値テーブルとから、カメラＣが加えられる状況かを判定し、加えられる状況になったらカメラＣを追加する。このカメラＣが加えられる状況とは、対象となるカメラＣが、位置・姿勢が既知の校正パターンＰを何れかのズーム値ｎで撮影している場合である。他の点、カメラ拡張手段２４は、基準推定手段２２と同様のため、これ以上の説明を省略する。

ズーム拡張手段２５は、カメラ拡張手段２４から入力された初期カメラモデルパラメータ、校正パターンＰについての位置・姿勢、及び、初期校正パターン・ズーム値テーブルを用いて、基準ズーム値と異なる対象ズーム値における初期カメラモデルパラメータを投影行列により算出するものである。

つまり、ズーム拡張手段２５は、基準推定処理又はカメラ拡張処理により、何れかのズーム値ｎにおける初期カメラモデルパラメータが推定できているカメラＣを対象として、未推定のズーム依存パラメータの推定を行う。あるズーム値ｎにおいて、ズーム依存パラメータは、［ｆ，ａ，ｃ_ｕ，ｃ_ｖ，κ_１，κ_２，κ_３，κ_４，ｔ^Ｃ _ｚ］^Ｔである。レンズ歪を除くと、ズーム依存パラメータは、［ｆ，ａ，ｃ_ｕ，ｃ_ｖ，ｔ^Ｃ _ｚ］である。そこで、線形解法により、レンズ歪を除いたズーム依存パラメータを算出する。式（７）及び式（８）により、世界座標系Σ_Ｗの３次元位置Ｘへの投影式は、式（２０）及び式（２１）で表される。

この式（２０）で外部パラメータのみを求めるものを、以下の式（２２）とする。そして、式（２２）に３次元位置Ｘ＝［Ｘ，Ｙ，Ｚ，１］を乗算し、以下の式（２３）のようにα，β，γを定義する。

この式（２３）を、カメラＣ_ｉ、ズーム設定番号ｋにおいて、全ての既知の校正パターンＰの特徴点とそれを撮影している全ての姿勢数について考えると、以下の式（２４）となる。つまり、ズーム拡張手段２５は、投影行列として、式（２４）を用いる。ここで、Ｅ_ｉｋ，Ｆ_ｉｋは、以下の式（２５）及び式（２６）で定義される。

式（２４）では、右辺が既知であるが、左辺の行列内のｃ_ｕ，ｃ_ｖが未知である。そこで、このｃ_ｕ，ｃ_ｖには、撮影画像の中心位置を手動で設定しておき、その値を代入する。これにより、式（２４）の左辺の行列も既知として扱うことができるので、［ｆ，ａｆ，ｃ_ｕ，ｃ_ｖ，ｔ^Ｃ _ｚ］^Ｔが求められる。つまり、レンズ歪を除いたズーム依存パラメータが推定された。このズーム依存パラメータを初期値として、非線形最適化によりレンズ歪を含めたズーム依存パラメータを推定する。

以上のように、ズーム拡張手段２５は、終了判定手段２７から処理繰返指令が入力された場合、レンズ歪を除いたズーム依存パラメータを推定する。そして、ズーム拡張手段２５は、この初期値を後記する最適化手段２６に出力することで、非線形最適化によりレンズ歪を含めたズーム依存パラメータを推定する。その後、ズーム拡張手段２５は、最適化手段２６で非線形最適化された初期カメラモデルパラメータを、カメラモデルパラメータ記憶手段１３に書き込む。
また、ズーム拡張手段２５は、終了判定手段２７から処理終了指令が入力された場合、繰り返し処理を終了する。

最適化手段２６は、基準推定手段２２、カメラ拡張手段２４及びズーム拡張手段２５のそれぞれが算出した初期カメラモデルパラメータと校正パターン拡張手段２３が算出した校正パターンＰについての位置及び姿勢を非線形最適化するものである。

具体的には、最適化手段２６は、非線形最適化として、撮影画像から抽出された特徴点群の観測画像座標と、式（１５）のパラメータで推定される特徴点群の予測画像座標との誤差を最小化する再投影誤差最小化を行う。非線形最適化に必要な初期値として、基準推定手段２２、校正パターン拡張手段２３、カメラ拡張手段２４及びズーム拡張手段２５が算出した初期カメラモデルパラメータを用いる。

ここで、最適化手段２６は、カメラ拡張手段２４及びズーム拡張手段２５のそれぞれが算出した初期カメラモデルパラメータと校正パターン拡張手段２３が算出した校正パターンＰについての位置及び姿勢については、その全てを設計変数として、以下の式（２７）で表される最適化を行う。

この式（２７）では、ｕ_{ｉｊｋｌｍ}は、カメラＣ_ｉ、校正パターンＰ_ｊ、ズーム設定番号ｋ_ｉ及び姿勢番号ｌ_ｉｊｋについての特徴点の観測画像座標を表す。また、ｕ＾_{ｉｊｋｌｍ}は、カメラＣ_ｉ、校正パターンＰ_ｊ、ズーム設定番号ｋ_ｉ及び姿勢番号ｌ_ｉｊｋについての特徴点の予測画像座標を表す。

また、最適化手段２６は、基準推定手段２２が算出した初期カメラモデルパラメータについては、１台のカメラＣ_ｉ、基準校正パターンＰ_ｊ、基準ズーム値のズーム設定番号ｋを設計変数として、以下の式（２８）で表される最適化を行う。

その後、最適化手段２６は、最適化した初期カメラモデルパラメータと校正パターンＰについての位置及び姿勢とを、その入力元となる基準推定手段２２、校正パターン拡張手段２３、カメラ拡張手段２４又はズーム拡張手段２５に出力する。

さらに、最適化手段２６は、終了判定手段２７が処理終了を指令した場合、再度、ズーム拡張手段２５から入力された初期カメラモデルパラメータと校正パターンＰについての位置及び姿勢とを非線形最適化してもよい。この場合、最適化手段２６は、式（２７）を用いて、初期カメラモデルパラメータを非線形最適化することとする。

終了判定手段２７は、初期カメラ校正終了条件（第１終了条件）を満たしているか否かを判定し、初期カメラ校正終了条件を満たしていない場合、校正パターン拡張手段２３、カメラ拡張手段２４及びズーム拡張手段２５に繰り返し処理を指令するものである（処理繰返指令）。例えば、この初期カメラ校正終了条件は、全ての初期カメラモデルパラメータの推定を完了したという条件で予め設定できる。

一方、終了判定手段２７は、初期カメラ校正終了条件を満たした場合、準備処理手段２１、基準推定手段２２、校正パターン拡張手段２３、カメラ拡張手段２４、ズーム拡張手段２５及びパラメータ補完手段２８に処理終了を指令する（処理終了指令）。

パラメータ補完手段２８は、基準ズーム値及び対象ズーム値以外のズーム値ｎにおける初期カメラモデルパラメータを補完するものである。前記したように、ズーム依存パラメータは、基準ズーム値及び対象ズーム値についてのみ離散的に推定され、他のズーム値ｎでは推定されていない。そこで、パラメータ補完手段２８は、終了判定手段２７から処理終了指令が入力された場合、これら未推定のズーム依存パラメータを補完（例えば、内挿）する。

その後、パラメータ補完手段２８は、補完した初期カメラモデルパラメータをカメラモデルパラメータ記憶手段１３に書き込む。この初期カメラモデルパラメータは、設置カメラ校正手段３０により参照される。

＜設置カメラ校正手段＞
設置カメラ校正手段３０は、前記した設置カメラ校正を行うものであり、準備処理手段（第２準備処理手段）３１と、基準推定手段（第２基準推定手段）３２と、校正パターン拡張手段（第２校正パターン拡張手段）３３と、カメラ拡張手段（第２カメラ拡張手段）３４と、最適化手段（第２最適化手段）３５と、終了判定手段（第２終了判定手段）３６とを備える。

準備処理手段３１は、校正用データ記憶手段１１の設置校正パターン・ズーム値テーブル（第２校正用データ）を用いた強校正により、撮影位置でのカメラパラメータを算出するものである。
この準備処理手段３１は、準備処理手段２１と同様の処理を行うため、説明を省略する。

基準推定手段３２は、準備処理手段３１から入力されたカメラパラメータを用いて、設置カメラモデルパラメータとして、撮影位置にカメラＣを移設したときの姿勢変化を表す外部パラメータを剛体変換行列により算出するものである。

つまり、基準推定手段３２は、準備処理の結果を用いて、設置校正パターン・ズーム値テーブルの基準校正パターン及び基準ズーム値における設置カメラモデルパラメータを推定する。ここでは、初期カメラ校正と異なり、推定するのは、外部パラメータ^ＣＰμ_Ｗ´のみである。

準備処理手段３１により、基準ズーム値での複数の姿勢における外部パラメータ（世界座標系Σ_Ｗ´からカメラ座標系Σ_Ｃへの外部パラメータ）^Ｃμ_Ｗ´が既知である。任意のある１つの姿勢に初期カメラ校正の結果である外部パラメータ^Ｃμ_ＰＴと、パン・チルト角から算出した外部パラメータ^ＰＴμ_ＣＰとを用いて、外部パラメータ^ＣＰμ_Ｗ´を逆算できる。以上より、基準ズーム値における設置カメラモデルパラメータの初期値が推定できる。

その後、基準推定手段３２は、初期カメラ校正と同様、この初期値を後記する最適化手段３５に出力することで、最適化手段３５でパラメータ調整（非線形最適化）を行う。
本実施形態では、基準推定手段３２は、繰り返し処理を行わないこととするが、終了判定手段３６から処理終了指令が入力された場合に処理を終了する。

校正パターン拡張手段３３は、基準推定手段３２から入力された設置カメラモデルパラメータ及び校正用データを用いて、対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出するものである。
この校正パターン拡張手段３３は、校正パターン拡張手段２３と同様の処理を行うため、説明を省略する。

カメラ拡張手段３４は、校正パターン拡張手段３３から入力された設置カメラモデルパラメータを用いて、基準校正パターンを撮影できなかったカメラＣについての設置カメラモデルパラメータを剛体変換行列により算出するものである。

ここでは、初期カメラ校正と異なり、推定するのは、外部パラメータ^ＣＰμ_Ｗ´のみをパラメータとして推定する。他の点、カメラ拡張手段３４は、カメラ拡張手段２４と同様と同様の処理を行うため、これ以上の説明を省略する。

最適化手段３５は、基準推定手段３２及びカメラ拡張手段３４のそれぞれが算出した設置カメラモデルパラメータと校正パターン拡張手段３３が算出した校正パターンＰについての位置及び姿勢を非線形最適化するものである。
ここで、最適化手段３５は、設計変数がパラメータηではなくパラメータη´となる点（つまり、式（２７）及び式（２８）のηがパラメータη´となる点）以外、最適化手段２６と同様と同様の処理を行うため、これ以上の説明を省略する。

終了判定手段３６は、設置カメラ校正終了条件（第２終了条件）を満たしているか否かを判定し、設置カメラ校正終了条件を満たしていない場合、校正パターン拡張手段３３及びカメラ拡張手段３４に繰り返し処理を指令するものである（処理繰返指令）。例えば、この設置カメラ校正終了条件は、全ての設置カメラモデルパラメータの推定を終了したという条件で予め設定できる。

一方、終了判定手段３６は、設置カメラ校正終了条件を満たした場合、準備処理手段３１、基準推定手段３２、校正パターン拡張手段３３及びカメラ拡張手段３４に処理終了を指令する（処理終了指令）。

カメラパラメータ算出手段４０は、カメラモデルパラメータ記憶手段１３の設置カメラモデルパラメータと、本番撮影中のカメラＣからのセンサ値とから、本番撮影中のカメラパラメータを算出するものである。つまり、カメラパラメータ算出手段４０は、設置カメラモデルパラメータを、一般的なカメラパラメータに変換する。なお、カメラパラメータ算出手段４０は、後記するように設置カメラモデルパラメータの代わりに、初期カメラモデルパラメータを利用することもできる。

カメラパラメータを算出するときのセンサ値をパン値ｐ、チルト値ｔ、ズーム値ｎとする。最終的に求めたいカメラパラメータは、内部パラメータκ（ｎ）と、世界座標系Σ_Ｗからカメラ座標系Σ_Ｃへの外部パラメータ^Ｃμ_Ｗ（ｐ，ｔ，ｎ）とである。つまり、内部パラメータκ（ｎ）は、ズーム値ｎを変数として持つ。また、外部パラメータ^Ｃμ_Ｗ（ｐ，ｔ，ｎ）は、パン値ｐ、チルト値ｔ及びズーム値ｎを変数として持つ。

ここで、設置カメラモデルパラメータの推定が完了しており、設置カメラモデルパラメータがカメラモデルパラメータ記憶手段１３に記憶されている。従って、カメラパラメータ算出手段４０は、設置カメラモデルパラメータのズーム依存パラメータから、式（１）で定義されるズーム値ｎの内部パラメータκ（ｎ）を取得する

また、カメラパラメータ算出手段４０は、剛体変換行列^ＣＭ_Ｗ（ｐ，ｔ，ｎ）を以下の式（２９）により算出する。ここで、剛体変換行列^ＣＰＭ_Ｗ，^ＣＭ_ＰＴ（ｎ）は、設置カメラモデルパラメータの推定が完了したときに既知となっている。また、剛体変換行列^ＰＴＭ_ＣＰ（ｐ，ｔ）は、パン値ｐ及びチルト値ｔから算出できる。その後、カメラパラメータ算出手段４０は、剛体変換行列^ＣＭ_Ｗ（ｐ，ｔ，ｎ）を外部パラメータ^Ｃμ_Ｗ（ｐ，ｔ，ｎ）に変換する。

［カメラ校正装置の動作：初期カメラ校正］
図９を参照し、カメラ校正装置１が初期カメラ校正を行うときの動作を説明する。
図９に示すように、準備処理手段２１は、初期校正パターン・ズーム値テーブルを用いた強校正により、基準校正パターン及び基準ズーム値におけるカメラパラメータを算出する（ステップＳ１）。

基準推定手段２２は、ステップＳ１で算出したカメラパラメータを用いて、基準校正パターン及び基準ズーム値における初期カメラモデルパラメータを剛体変換行列により算出する。そして、最適化手段２６は、式（２８）を用いて、基準推定手段２２が算出した初期カメラモデルパラメータを初期値として、非線形最適化を行う（ステップＳ２）。

終了判定手段２７は、全ての初期カメラモデルパラメータの推定を完了したか否かを判定する（ステップＳ３）。
全ての初期カメラモデルパラメータの推定を完了していない場合（ステップＳ３でＮｏ）、カメラ校正装置１は、ステップＳ４の処理に進む。
全ての初期カメラモデルパラメータの推定を完了した場合（ステップＳ３でＹｅｓ）、カメラ校正装置１は、ステップＳ７の処理に進む。

校正パターン拡張手段２３は、対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出する。そして、最適化手段２６は、式（２７）を用いて、校正パターン拡張手段２３が算出した対象校正パターンの位置及び姿勢と初期カメラモデルパラメータが含まれる式（１５）のパラメータを初期値として、非線形最適化を行う（ステップＳ４）。

カメラ拡張手段２４は、基準校正パターンを撮影できなかったカメラＣについての初期カメラモデルパラメータを剛体変換行列により算出する。そして、最適化手段２６は、式（２７）を用いて、カメラ拡張手段２４が算出した初期カメラモデルパラメータと校正パターンＰの位置及び姿勢が含まれる式（１５）のパラメータを初期値として、非線形最適化を行う（ステップＳ５）。

ズーム拡張手段２５は、基準ズーム値と異なる対象ズーム値における初期カメラモデルパラメータを投影行列により算出する。そして、最適化手段２６は、式（２７）を用いて、ズーム拡張手段２５が算出した初期カメラモデルパラメータと校正パターンＰの位置及び姿勢が含まれる式（１５）のパラメータを初期値として、非線形最適化を行い、ステップＳ３の処理に戻る（ステップＳ６）。

最適化手段２６は、ステップＳ６と同様の手順で再度、パラメータの非線形最適化を行う（ステップＳ７）。
パラメータ補完手段２８は、ステップＳ７で最適化したパラメータを補完する（ステップＳ８）。

＜初期校正パターン・ズーム値テーブルの使用例＞
図１０を参照し、初期校正パターン・ズーム値テーブルの使用について説明する。
図１０には、初期カメラ校正での初期校正パターン・ズーム値テーブルｔｂｌの一例を図示した。図１０では、校正パターン・ズーム値テーブルｔｂｌが、校正パターンＰ_１〜Ｐ_５の５個、ズーム値Ｎ_１〜Ｎ_５の５サンプルとなっている。また、基準校正パターンをＰ_１とし、基準ズーム値をＮ_１とする。また、校正パターン・ズーム値テーブルｔｂｌでは、ドットの箇所に校正用データが存在し（撮影できた姿勢数が１以上）、白塗の箇所に校正用データが存在しない（撮影できた姿勢数が０）を表す。

この具体例では、カメラ拡張処理を考えず、校正パターン拡張処理とズーム拡張処理のみを考えるこことする。
図１０（ａ）では、校正用データが初期状態であり、まだ校正用データが使用されていない。
図１０（ｂ）では、基準推定処理が行われる。基準校正パターンＰ_１及び基準ズーム値Ｎ_１で撮影した校正用データを用いて、基準ズーム値Ｎ_１のカメラモデルパラメータ（ズーム非依存パラメータ及び基準ズーム値Ｎ_１のズーム依存パラメータ）を推定する。なお、基準推定処理で用いた校正用データを黒塗で図示した。

図１０（ｃ）では、１回目の校正パターン拡張処理が行われる。図１０（ｂ）までに推定済みのパラメータと、太枠で図示した２つの校正用データ（右上方向のハッチングで図示）を用いて、校正パターンＰ_２，Ｐ_３の外部パラメータを推定する。
図１０（ｄ）では、１回目のズーム拡張処理が行われる。図１０（ｃ）までに推定済みのパラメータと、太枠で図示した５つの校正用データ（左上方向のハッチングで図示）を用いて、ズーム値Ｎ_２，Ｎ_３のズーム依存パラメータを推定する。

なお、図１０（ｄ）のズーム拡張処理でズーム値Ｎ_４のズーム依存パラメータを求めるか又は求めないか、任意に設定できる。１つの校正パターンＰ_３の校正用データだけでズーム値Ｎ_４のズーム非依存パラメータを推定した場合、精度が低くなることがある。このため、校正パターンの数がある一定以上の場合のみズーム拡張処理を行うことが好ましい。ここでは、校正用データが２つ以上のときにズーム拡張処理を行うこととした。

図１０（ｅ）では、２回目の校正パターン拡張処理が行われる。図１０（ｄ）までに推定済みのパラメータと、太枠で図示した２つの校正用データ（右上方向のハッチングで図示）を用いて、校正パターンＰ_４の外部パラメータを推定する。
図１０（ｆ）では、２回目のズーム拡張処理が行われる。図１０（ｅ）までに推定済みのパラメータと、太枠で図示した２つの校正用データ（左上方向のハッチングで図示）を用いて、ズーム値Ｎ_４のズーム依存パラメータを推定する。

図１０（ｇ）では、３回目の校正パターン拡張処理が行われる。図１０（ｆ）までに推定済みのパラメータと、太枠で図示した１つの校正用データ（右上方向のハッチングで図示）を用いて、校正パターンＰ_５の外部パラメータを推定する。
図１０（ｈ）では、３回目のズーム拡張処理が行われる。図１０（ｇ）までに推定済みのパラメータと、太枠で図示した１つの校正用データ（左上方向のハッチングで図示）を用いて、ズーム値Ｎ_５のズーム依存パラメータを推定する。
なお、１回目のズーム拡張処理と異なり、これ以上処理を繰り返しても推定済みのパラメータが増えないため、１つの校正用データだけでもズーム拡張処理が行われる。なお、非線形最適化を行う際、それまでに追加した全ての校正用データを使用する。
以上のようにして、全ての校正パターンＰ_１〜Ｐ_５及びズーム値Ｎ_１〜Ｎ_５でカメラモデルパラメータが推定される。

［カメラ校正装置の動作：設置カメラ校正］
図１１を参照し、カメラ校正装置１が設置カメラ校正を行うときの動作を説明する。
図１１に示すように、準備処理手段３１は、設置校正パターン・ズーム値テーブルを用いた強校正により、基準校正パターン及び基準ズーム値におけるカメラパラメータを算出する（ステップＳ１０）。

基準推定手段３２は、ステップＳ１０で算出したカメラパラメータを用いて、基準校正パターン及び基準ズーム値における設置カメラモデルパラメータを剛体変換行列により算出する。そして、最適化手段３５は、式（２８）を用いて、基準推定手段３２が算出した設置カメラモデルパラメータを初期値として、非線形最適化を行う（ステップＳ１１）。

終了判定手段３６は、全ての設置カメラモデルパラメータの推定を完了したか否かを判定する（ステップＳ１２）。
全ての設置カメラモデルパラメータの推定を完了していない場合（ステップＳ１２でＮｏ）、カメラ校正装置１は、ステップＳ１３の処理に進む。
全ての設置カメラモデルパラメータの推定を完了した場合（ステップＳ１２でＹｅｓ）、カメラ校正装置１は、ステップＳ１５の処理に進む。

校正パターン拡張手段３３は、対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出する。そして、最適化手段３５は、式（２７）を用いて、校正パターン拡張手段３３が算出した対象校正パターンの位置及び姿勢と設置カメラモデルパラメータが含まれるパラメータを初期値として、非線形最適化を行う（ステップＳ１３）。

カメラ拡張手段３４は、基準校正パターンを撮影できなかったカメラＣについての設置カメラモデルパラメータを剛体変換行列により算出する。そして、最適化手段３５は、式（２７）を用いて、カメラ拡張手段３４が算出した設置カメラモデルパラメータと校正パターンＰの位置及び姿勢が含まれるパラメータを初期値として、非線形最適化を行う（ステップＳ１４）。

最適化手段３５は、ステップＳ１４と同様の手順で再度、パラメータの非線形最適化を行う（ステップＳ１５）。

＜設置校正パターン・ズーム値テーブルの使用例＞
図１２を参照し、設置校正パターン・ズーム値テーブルの使用例について説明する。
図１２の例では、校正パターン・ズーム値テーブルが初期カメラ校正と同一であることとして説明するが、必ずしも同一である必要はない。また、前記したように、設置カメラ校正では、ズーム依存パラメータが既知のため、ズーム拡張処理が必要ない。

この具体例では、カメラ拡張処理を考えず、校正パターン拡張処理のみを考える。
図１２（ａ）では、校正用データが初期状態であり、まだ校正用データが使用されていない。
図１２（ｂ）では、基準推定処理が行われる。基準校正パターンＰ_１及び基準ズーム値Ｎ_１で撮影した校正用データと、初期カメラ校正の結果とを用いて、外部パラメータ^ＣＰμ_Ｗ´のみを推定する。

なお、基準推定処理で用いた校正用データを黒塗で図示した。また、設置カメラ校正ではズーム拡張が不要なため、初期値を推定できれば非線形最適化において、他のズーム値ｎの校正用データも使用できる。この校正用データを左上方向のハッチングで図示した。

図１２（ｃ）では、１回目の校正パターン拡張が行われる。図１２（ｂ）までに推定済みのパラメータと、太枠で図示した５つ校正用データ（右上方向のハッチングで図示）を用いて、校正パターンＰ_２〜Ｐ_４の位置及び姿勢を推定する。このとき、非線形最適化において、クロスのハッチングで図示した５つの校正用データも用いる。

図１２（ｄ）では、２回目の校正パターン拡張が行われる。図１２（ｃ）までに推定済みのパラメータと、太枠で図示した２つ校正用データ（右上方向のハッチングで図示）を用いて、校正パターンＰ_５の位置及び姿勢を推定する。このとき、非線形最適化において、クロスのハッチングで図示した１つの校正用データも用いる。
以上のようにして、全ての校正パターンＰ_１〜Ｐ_５の位置及び姿勢及び外部パラメータ^ＣＰμ_Ｗ´が推定される。

［作用・効果］
以上のように、カメラ校正装置１は、初期カメラモデルパラメータを予め算出しておくので、本番撮影時、初期位置から撮影位置にカメラを移設したときの姿勢変化を表す外部パラメータのみを算出するだけなので、短時間かつ簡便なカメラ校正が可能となる。
さらに、カメラ校正装置１は、初期カメラ校正及び設置カメラ校正で非線形最適化を繰り返すことで、高精度なカメラモデルパラメータを求めることができる。このカメラモデルパラメータを用いることで、高精度なカメラ校正が可能となる。
さらに、カメラ校正装置１は、初期カメラ校正を予め行った後、撮影位置で設置カメラ校正を行うので、撮影スタジオで校正パターンを撮影する回数が減少し、準備時間を短縮することができる。

（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、カメラ校正装置がカメラ拡張手段を備えることとして説明したが、カメラ拡張手段を備えずともよい。
前記した実施形態では、カメラ校正装置がパラメータ補完手段を備えることとして説明したが、パラメータ補完手段を備えずともよい。
前記した実施形態では、最適化手段が再度非線形最適化を行うこととして説明したが、これを行わずともよい。

前記した実施形態では、カメラパラメータ算出手段が設置カメラモデルパラメータからカメラパラメータを算出することとして説明したが、初期カメラモデルパラメータからカメラパラメータを算出してもよい。これにより、撮影時間に余裕がある場合、撮影現場で初期カメラ校正を実施し、そのカメラパラメータを利用することもできる。

前記した実施形態では、カメラ校正装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記したカメラ校正装置として協調動作させるカメラ校正装置プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ カメラ校正装置
１１ 校正用データ記憶手段
１３ カメラモデルパラメータ記憶手段
１５ 設定値記憶手段
２０ 初期カメラ校正手段（第１カメラ校正手段）
２１ 準備処理手段（第１準備処理手段）
２２ 基準推定手段（第１基準推定手段）
２３ 校正パターン拡張手段（第１校正パターン拡張手段）
２４ カメラ拡張手段（第１カメラ拡張手段）
２５ ズーム拡張手段（第１ズーム拡張手段）
２６ 最適化手段（第１最適化手段）
２７ 終了判定手段（第１終了判定手段）
２８ パラメータ補完手段（補間手段）
３０ 設置カメラ校正手段（第２カメラ校正手段）
３１ 準備処理手段（第２準備処理手段）
３３ 基準推定手段（第２基準推定手段）
３３ 校正パターン拡張手段（第２校正パターン拡張手段）
３４ カメラ拡張手段（第２カメラ拡張手段）
３５ 最適化手段（第２最適化手段）
３６ 終了判定手段（第２終了判定手段）
４０ カメラパラメータ算出手段

Claims (6)

1. 複数のカメラを初期位置に配置してズーム及び姿勢を変えながら複数の校正パターンをそれぞれ撮影したときの第１カメラモデルパラメータを算出する第１カメラ校正手段と、前記第１カメラモデルパラメータを用いて、前記複数のカメラを撮影位置に設置してズーム及び姿勢を変えながら複数の前記校正パターンをそれぞれ撮影したときの第２カメラモデルパラメータを算出する第２カメラ校正手段とを備えるカメラ校正装置であって、
   前記第１カメラ校正手段は、
   前記初期位置で前記校正パターンを撮影した撮影画像と当該撮影画像を撮影したときの前記カメラのズーム値及び姿勢を表すセンサ値との組が第１校正用データとして入力され、入力された前記第１校正用データを用いた強校正により、前記複数の校正パターンのうち予め設定した１つの基準校正パターン及び予め設定した基準ズーム値におけるカメラパラメータを算出する第１準備処理手段と、
   前記第１準備処理手段が算出したカメラパラメータを用いて、前記基準校正パターン及び前記基準ズーム値における第１カメラモデルパラメータを剛体変換行列により算出する第１基準推定手段と、
   前記第１カメラモデルパラメータ及び前記第１校正用データを用いて、前記基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、前記基準校正パターンと前記対象校正パターンとの特徴点群の位置関係から前記対象校正パターンについての位置及び姿勢を算出する第１校正パターン拡張手段と、
   前記第１カメラモデルパラメータと前記第１校正用データと前記第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを用いて、前記基準ズーム値と異なる対象ズーム値における第１カメラモデルパラメータを投影行列により算出する第１ズーム拡張手段と、
   前記第１カメラモデルパラメータと前記第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを非線形最適化する第１最適化手段と、
   予め設定した第１終了条件を満たしているか否かを判定し、前記第１終了条件を満たしていない場合、前記第１校正パターン拡張手段及び前記第１ズーム拡張手段に繰り返し処理を指令する第１終了判定手段と、を備え、
   前記第２カメラ校正手段は、
   前記撮影位置で前記校正パターンを撮影した撮影画像と当該撮影画像を撮影したときの前記カメラのズーム値及び姿勢を表すセンサ値との組が第２校正用データとして入力され、入力された前記第２校正用データを用いた強校正により、前記撮影位置での前記カメラパラメータを算出する第２準備処理手段と、
   前記第２準備処理手段が算出したカメラパラメータを用いて、前記第２カメラモデルパラメータとして、前記撮影位置に前記カメラを移設したときの姿勢変化を表す外部パラメータを剛体変換行列により算出する第２基準推定手段と、
   前記第２カメラモデルパラメータ及び前記第２校正用データを用いて、前記基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、前記基準校正パターンと前記対象校正パターンとの特徴点群の位置関係から前記対象校正パターンについての位置及び姿勢を算出する第２校正パターン拡張手段と、
   前記第２カメラモデルパラメータと前記第２校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを非線形最適化する第２最適化手段と、
   予め設定した第２終了条件を満たしているか否かを判定し、前記第２終了条件を満たしていない場合、前記第２校正パターン拡張手段及び前記第２最適化手段に繰り返し処理を指令する第２終了判定手段と、
   を備えることを特徴とするカメラ校正装置。
2. 前記第１カメラ校正手段は、
   前記第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢を用いて、前記基準校正パターンを撮影できなかったカメラについての第１カメラモデルパラメータを剛体変換行列により算出する第１カメラ拡張手段、をさらに備え、
   前記第１ズーム拡張手段は、前記第１カメラ拡張手段が算出した第１カメラモデルパラメータ及び前記第１校正用データを用いて、前記対象ズーム値における第１カメラモデルパラメータを算出し、
   前記第２カメラ校正手段は、
   前記第２校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢を用いて、前記基準校正パターンを撮影できなかったカメラについての第２カメラモデルパラメータを剛体変換行列により算出する第２カメラ拡張手段、をさらに備え、
   前記第２最適化手段は、前記第２基準推定手段、前記第２校正パターン拡張手段及び前記第２カメラ拡張手段のそれぞれが算出した第２カメラモデルパラメータを非線形最適化することを特徴とする請求項１に記載のカメラ校正装置。
3. 前記第１最適化手段は、前記第１終了判定手段が前記第１終了条件を満たしていると判定した場合、前記第１カメラモデルパラメータと前記第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを、再度、非線形最適化し、
   前記第２最適化手段は、前記第２終了判定手段が前記第２終了条件を満たしていると判定した場合、前記第２カメラモデルパラメータと前記第２校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを、再度、非線形最適化することを特徴とする請求項２に記載のカメラ校正装置。
4. 前記第１カメラモデルパラメータ又は前記第２カメラモデルパラメータと前記センサ値とが入力され、入力された前記第１カメラモデルパラメータ又は前記第２カメラモデルパラメータと前記センサ値とから前記カメラパラメータを算出するカメラパラメータ算出手段、をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載のカメラ校正装置。
5. 前記基準ズーム値及び前記対象ズーム値以外のズーム値における第１カメラモデルパラメータを補完する補間手段、をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載のカメラ校正装置。
6. コンピュータを、請求項１から請求項５の何れか一項に記載のカメラ校正装置として機能させるためのカメラ校正プログラム。

Images