JP2009253715A - カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】カメラ校正作業の簡略化と処理時間を短縮することができるカメラ校正装置を提供する。
【解決手段】 校正対象のカメラ１０２を使って被写体を撮影して得た画像に画像座標系を設定し、該被写体上の参照点から形成される線分上の任意の点が画像座標系の原点に投影されるように被写体の姿勢・位置を変える被写体制御部１０１と、画像座標系上の基準軸と被写体上の参照点から形成される線分が一致するように、画像を回転させかつ被写体の姿勢・位置を変更させて、全ての参照点の投影座標を前記基準軸上に位置させる画像補正部１０４と、全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された計算に従って、参照点の幾何情報とその基準軸上での参照点の画像座標から、カメラ１０２のカメラパラメータを校正するカメラ校正処理部１０６とを備える。
【選択図】図６

Description

本発明は、単眼カメラまたは被写体を取り囲むように配置された多視点カメラのカメラ校正に利用可能で、カメラ校正作業のコストを抑えることを目的として、少数の参照点またはその参照点を一部に含む校正用ターゲットを撮影し、その投影関係に基づきカメラを校正する（カメラパラメータを求める）技術に関する。

カメラ内部の固有情報として焦点距離や画像中心などの内部パラメータ、並びに、カメラ配置時の姿勢や位置情報という外部パラメータを得るにはカメラキャリブレーション（カメラ校正）が行われる。従来の方法では、校正したいカメラに対して図２のように格子パターンの模様を描いた２次元物体を撮影し、その参照物体に関する幾何情報とカメラで観測した画像上での投影情報から、カメラ内部、外部パラメータ（両者を合わせてカメラパラメータと呼ぶ）を推定する（非特許文献１参照）。さらに、より簡単な参照物体を使った例として、図３のように長さの既知な１次元物体を使い、点Ａを固定したまま撮影しその画像からカメラを校正する方法も公開されている（非特許文献２参照）。

コンピュータビジョンでは、Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎと呼ばれている基本原理があり、静止した被写体に対してカメラが相対的に運動することにより被写体の３次元形状と運動を復元する方法がある（運動する被写体に対してカメラが静止していても原理は同じ）。セルフキャリブレーション（あるいはオートキャリブレーションとも呼ばれる）はこの原理に基づく手法の一つであり、上記のような既知の参照物体を必要とせず、静的な映像シーンから観測した特徴点を使ってカメラパラメータを推定する。
Ｚ．Ｚｈａｎｇ，"Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２２，Ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００． Ｚ．Ｚｈａｎｇ，"Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｗｉｔｈ ｏｎｅ−ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔｓ"，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２６，Ｎｏ．７，ｐｐ．８９２−８９９，２００４．

従来のカメラキャリブレーション法では非特許文献１、２に代表されるように参照物体を使うことが常套手段である。図２では２次元物体上の参照点の２次元座標を既知としており（非特許文献１）、図３では１次元物体の長さＬと点Ａから点Ｃまでの距離と点Ｂから点Ｃまでの距離の比が既知であることが前提である（非特許文献２）。

このような参照物体を使用したカメラ校正の場合、十分な量の参照点を撮影する必要がある。これに応じるには、カメラ校正の前に、参照物体を撮影する作業に多くの時間が割かれることになる。監視カメラなどの定点カメラでは、必ずしもカメラ校正に十分な量の参照点を撮影することができるとは限らず、また、それらを撮影するだけの時間的余裕があるわけではない。場合によっては、少数の参照点からカメラ校正を行う状況も発生する。

これに対して、セルフキャリブレーションによれば、既知の参照物体を必要とせず、静的な映像シーンから観測した特徴点にしたがってカメラを校正することができる。しかし、そのカメラ校正にとっても十分な量の特徴点の画像座標を時系列画像から測定する必要があり、その特徴点に画像座標の測定にある程度の誤差が混入すると校正精度が大きく劣化するという問題が指摘されている。

本発明は上記課題を解決するものであり、その目的は、校正用の撮影作業コストを低減させるために特殊な参照物体を使い、その物体から観測される少数の参照点から、監視カメラなどの定点カメラあるいは被写体を囲むように配置された多視点カメラを簡単に校正することができる、カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体を提供することにある。

カメラ視点と３次元点の間の射影関係を記述するために、その基準となる座標系を設定する。この座標系は任意に設定しても構わないが、説明の都合上、地面または床面上のある点（あるいは任意の平面上の点としてもよい）を原点とした世界座標系（ユークリッド空間）を前提とする。カメラによる幾何的射影をピンホールカメラに従った透視投影にモデル化できると仮定する。世界座標系で表された３次元点（参照点）をＰ_j＝（Ｘ_j，Ｙ_j，Ｚ_j）、カメラ視点の位置を（Ｔｘ，Ｔｙ，Ｔｚ）とすると、点Ｐ_jの画像上で観測される２次元座標値（ｘ_j，ｙ_j）は式（１），（２）で与えられる。

ここで、αは画素を単位とした焦点距離、Ｒ₁₁，Ｒ₁₂，…，Ｒ₃₃は式（３）に示す３×３の回転行列の要素に対応する。

対象とする参照点Ｐ_jのＸ座標が０（Ｘ_j＝０）で、かつ、カメラはＹ軸上に位置する場合（Ｔｘ＝０）、カメラ視点と世界座標系ＸＹＺの関係を図１に表すことができる（Ｘ軸は紙面の表から裏の方向になっている）。この座標系では点Ｏを原点としており、Ｔｙはカメラの奥行き、Ｔｚはカメラの高さ、φはカメラの傾き角にそれぞれ相当する。また、図１に示すようにカメラ視点を中心としたカメラ座標系Ｘ’Ｙ’Ｚ’を設ける（Ｘ’軸は紙面の裏から表の方向）。Ｚ軸はカメラ光軸として定義し、そのカメラ光軸がＺ軸上の点Ｑ（任意）を通過し、その投影座標を画像中心としている。一般的に、監視カメラなどの定点カメラは図１のようなカメラ配置としてモデル化できる。

φは鉛直下向きの方向（−Ｚ軸の方向）をφ＝０，Ｙ軸と反対方向に向いたときをφ＝−π／２とし、カメラの傾き角はこの範囲内（−π／２＜φ＜０）で定義される回転角とする。図１のカメラについてＹ’軸，Ｚ’軸に関する回転が無いとした単純なカメラ配置を考えると、式（１）の回転行列の要素を、式（３）と与えることができる。

さらに、参照点Ｐ_jについてＸ_j＝０、かつ、カメラ視点においてＴｘ＝０を考えているので、式（１）において常にｘ_j＝０としてもよい。従って、上記のカメラ配置と参照点を前提とすると、参照点の画像上での投影座標として式（４）のｙ座標のみを扱うことに帰着できる。

本発明は画像上のｙ軸上に投影される参照点を使い簡易にカメラを校正することに着目したものである。すなわち、本発明の基本原理は、用意した参照点Ｐ_jによりＹ_j，Ｚ_jを与えてｙ_jを観測し、式（４）で関係付けられた幾何的拘束において焦点距離α、傾き角φ、ＹＺ座標系での視点位置（Ｔｙ，Ｔｚ）を一意に決定するものである。

上記課題を解決するための請求項１に記載のカメラ校正装置は、眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する装置であって、校正対象の画像入力装置を使って形状が既知の被写体を撮影し、取得した画像において画像座標系を設定し、その被写体上の参照点から形成される線分上の任意の点が画像座標系の原点に投影されるように被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更する被写体制御手段と、画像座標系上に設定した基準軸と被写体上の参照点から形成される線分が一致するように、前記取得画像上で設定した座標系の原点周りに画像を回転させ、かつ、他の参照点もその基準軸上の点となるように被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更することにより、全ての参照点の投影座標を前記基準軸上に位置させる画像補正手段と、全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報とその基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するカメラ校正処理手段と、を備えることを特徴としている。

また請求項２に記載のカメラ校正装置は、単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する装置であって、ある土台上の基準点を中心とした複数の円を構成する円盤と、その円に垂直となるように基準点に下ろした線分を構成する垂直棒とを備えた参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒上の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更する被写体制御手段と、前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の垂直棒を一致させ、該垂直棒に設置した複数の点、基準点、並びに複数同心円と前記基準軸との交点を参照点とし、参照点の画像座標を取得する参照点測定手段と、 前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定手段により取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するカメラ校正処理手段と、を備えることを特徴としている。

また請求項３に記載のカメラ校正装置は、単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する装置であって、ある土台上の基準点を中心とした円を構成する円盤と、その円に垂直に設置され、前記基準点から伸びた線分を構成する垂直棒と、その円周上に沿うようにその垂直棒の周りに回転する線分を構成する回転棒とを備えた参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更する被写体制御手段と、前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の垂直棒を一致させ、さらに、前記回転棒を垂直棒周りに回転させ回転棒が基準軸と一致するとき、該垂直棒に設定した複数の点、基準点、並びに回転棒に設置した複数の点を参照点とし、参照点の画像座標を取得する参照点測定手段と、前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定手段により取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するカメラ校正処理手段と、を備えることを特徴としている。

また請求項４に記載のカメラ校正装置は、単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する装置であって、
平面を持つ土台と半円盤で構成され、半円盤には基準点を中心とした同一の複数の半円が記されており、複数の半円の直線部分は半円盤の直線部分と一致しており、半円盤は土台の平面と半円盤の直線部分で接しており、接している直線部分を回転軸として半円盤が回転できる機構となっており、複数の半円の中心を通る半円盤上の線を中心軸とする参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記中心軸上の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更する被写体制御手段と、前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の中心軸を一致させ、前記中心軸に設置した複数の点、基準点、並びに、半円盤を土台の平面に対して傾斜または半円盤の回転軸に対して回転させた際の、複数の半円が基準軸と交差する点を参照点とし、参照点の画像座標を取得する参照点測定手段と、前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定手段により取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するカメラ校正処理手段と、を備えることを特徴としている。

また請求項５に記載のカメラ校正方法は、単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する方法であって、被写体制御手段が、校正対象の画像入力装置を使って形状が既知の被写体を撮影し、取得した画像において画像座標系を設定し、その被写体上の参照点から形成される線分上の任意の点が画像座標系の原点に投影されるように被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更するステップと、画像補正手段が、画像座標系上に設定した基準軸と被写体上の参照点から形成される線分が一致するように、前記取得画像上で設定した座標系の原点周りに画像を回転させ、かつ、他の参照点もその基準軸上の点となるように被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更することにより、全ての参照点の投影座標を前記基準軸上に位置させるステップと、カメラ校正処理手段が、前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報とその基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するステップと、を備えることを特徴としている。

また請求項６に記載のカメラ校正方法は、単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する方法であって、被写体制御手段が、ある土台上の基準点を中心とした複数の円を構成する円盤と、その円に垂直となるように基準点に下ろした線分を構成する垂直棒とを備えた参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒上の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更するステップと、参照点測定手段が、前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の垂直棒を一致させ、該垂直棒に設置した複数の点、基準点、並びに複数同心円と前記基準軸との交点を参照点とし、参照点の画像座標を取得する参照点測定ステップと、カメラ校正処理手段が、前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定ステップにより取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するステップと、を備えることを特徴としている。

また請求項７に記載のカメラ校正方法は、単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する方法であって、被写体制御手段が、ある土台上の基準点を中心とした円を構成する円盤と、その円に垂直に設置され、前記基準点から伸びた線分を構成する垂直棒と、その円周上に沿うようにその垂直棒の周りに回転する線分を構成する回転棒とを備えた参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更するステップと、参照点測定手段が、前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の垂直棒を一致させ、さらに、前記回転棒を垂直棒周りに回転させ回転棒が基準軸と一致するとき、該垂直棒に設定した複数の点、基準点、並びに回転棒に設置した複数の点を参照点とし、参照点の画像座標を取得する参照点測定ステップと、カメラ校正処理手段が、前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定ステップにより取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するステップと、を備えることを特徴としている。

また請求項８に記載のカメラ校正方法は、単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する方法であって、被写体制御手段が、平面を持つ土台と半円盤で構成され、半円盤には基準点を中心とした同一の複数の半円が記されており、複数の半円の直線部分は半円盤の直線部分と一致しており、半円盤は土台の平面と半円盤の直線部分で接しており、接している直線部分を回転軸として半円盤が回転できる機構となっており、複数の半円の中心を通る半円盤上の線を中心軸とする参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記中心軸上の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更するステップと、参照点測定手段が、前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の中心軸を一致させ、前記中心軸に設置した複数の点、基準点、並びに、半円盤を土台の平面に対して傾斜または半円盤の回転軸に対して回転させた際の、複数の半円が基準軸と交差する点を参照点とし、参照点の画像座標を取得する参照点測定ステップと、カメラ校正処理手段が、前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定ステップにより取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するステップと、を備えることを特徴としている。

また請求項９に記載のカメラ校正プログラムは、コンピュータに、請求項５ないし請求項８のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴としている。

また請求項１０に記載の記録媒体は、請求項９に記載のカメラ校正プログラムを記録したコンピュータ読み取り可能な記録媒体である。

請求項１〜１０に記載の発明によれば、少数の参照点を使ってカメラ校正を実行するため、従来のカメラキャリブレーション（非特許文献１、２）のように校正に多くの量の参照点を必要としない。また本発明では参照点の画像上での座標値を円滑に測定するための特殊な参照物体を使うことにより、カメラ校正作業の簡略化と処理時間の短縮化になる。さらに、この参照物体を取り囲むように複数のカメラで配置すれば、複数カメラを同時に校正することができ、多視点カメラを使ったシームレスな３次元映像生成または任意視点映像の生成に寄与する。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。

（実施例１）
図１においてＺ軸上の参照点ＡとＢが与えられたときのカメラ配置と参照点を図４に示す。本実施例は、図４のカメラ配置において、焦点距離α、傾き角φ、ＹＺ座標系での視点位置（Ｔｙ，Ｔｚ）を推定するものである（これらを総称してカメラパラメータと呼ぶことにする）。まず、図４のカメラ配置と参照点について説明しておく。点Ａ，Ｂは原点Ｏからそれぞれ高さｈ₁，ｈ₂を与えた点となっており、点Ａ，Ｂ，原点Ｏが画像上においてｘ＝０となるように配置されている。このような状況では、点Ａ，Ｂ，原点Ｏに対してカメラのＸ座標をＴｘ＝０とすることができ、Ｚ軸方向に並べられた参照点に対してＹ軸方向の回転が無いとしても一般性を失わない。図４には参照点Ａ，Ｂ，Ｏの画像面へ透視投影像ｐ₁，ｐ₂，ｐ₀を描画しており、この投影関係は式（４）の透視投影に従うものとする。この画像座標点ｐ₁，ｐ₂，ｐ₀の画像座標をそれぞれ（０，ｙ₁），（０，ｙ₂），（０，ｙ₀）とする。

原理的にＺ軸上の点Ａ，Ｂ，Ｏだけではカメラパラメータを決定できないので、それらの点以外に画像面上においてｘ＝０となるように配置した点も参照点として利用する。図５には、Ｙ軸上に沿って原点Ｏから距離ｄ₃，ｄ₄だけ離れた位置に点Ｃ，Ｄを参照点として配置した例が描かれている。点Ｃ，Ｄも式（４）の透視投影式に従いそれぞれｐ₃，ｐ₄に投影される。このｐ₃，ｐ₄の画像座標をそれぞれ（０，ｙ₃），（０，ｙ₄）とする。

ここで、上記の参照点Ａ，Ｂ，Ｏ，Ｃ，Ｄに関する事前情報を使ってカメラを校正する計算式を導出しておく。図４の原点Ｏ＝（０，０，０）は画像面においてｐ₀に投影されるので、式（４）を使って式（５）が得られる。

同様に、図４の点Ａ，Ｂの３次元座標はそれぞれ（０，０，ｈ₁），（０，０，ｈ₂）で与えられるので、画像座標ｐ₁，ｐ₂について式（６），（７）の関係が得られる。

一方、図５の点Ｃ，Ｄの3次元座標はそれぞれ（０，ｄ₃，０），（０，ｄ₄，０）で与えられるので、画像座標ｐ₃，ｐ₄について式（８），（９）の関係が得られる。

式（５）は式（１０）に変形することができるので、式（６）〜式（９）において式（１０）の関係式を使うと、それぞれ式（１１）〜式（１４）に変形することができる。

さらに、式（１１）と式（１２）から式（１５）を導き出すことができ、式（１３）と式（１４）から式（１６）を導き出すことができる。

したがって、式（１５）に式（１６）を代入するとｔａｎ（φ）に関する二次方程式が得られ、−π／２＜φ＜０の範囲でこれを解くとｔａｎ（φ）について式（１７）を得ることができる（φは式（１７）右辺の値のｔａｎ^-1（ｔａｎの逆関数）をとれば得られる）。

式（１７）を式（１６）へ代入するとαは式（１８）と表すことができる。

さらに、式（１０）〜式（１４）を連立すると式（１９）の連立一次方程式が得られる。

したがって、式（１９）においてφ，αが与えられればＴｙ，Ｔｚが求まる。このように、本実施例は、点Ａ，Ｂ，Ｃ，Ｄ，Ｏの空間配置とそれぞれの点の観測座標：ｙ₁，ｙ₂，ｙ₃，ｙ₄，ｙ₀，並びに、式（５）〜式（９）で表された両者の幾何的拘束条件において、焦点距離α、傾き角φ、ＹＺ座標系での視点位置（Ｔｙ，Ｔｚ）を求めるものである。本発明は、点Ａ，Ｂ，Ｏ，Ｃ，Ｄの５点からカメラパラメータを求めるものであるがＹ軸またはＺ軸上の点を増やして５点以上の参照点に対しても本発明を容易に拡張することができる（９点の場合については実施例２で説明する）。

図６は請求項１に記載のカメラ校正の発明に関する基本構成図であり、本実施例を図６にそって説明する。本発明は、校正のための参照物体を提示し、画像補正部１０４と連動して被写体位置を制御する被写体制御手段としての被写体制御部１０１、校正対象の画像入力装置としてのカメラ１０２、校正に使用する画像を取得する画像入力部１０３、画像入力部１０３からの画像に対して、被写体制御部１０１と連動してカメラ校正処理のための前処理を行う画像補正手段としての画像補正部１０４、その処理された画像から校正処理に必要な画像座標を計測する参照点測定手段としての参照点測定部１０５、カメラ校正を実行するカメラ校正処理手段としてのカメラ校正処理部１０６から構成される。

この構成において、校正対象のカメラは必ずしも構成要素として接続している必要はなく、校正に必要なサンプル画像を画像入力部１０３を通して取得すればよく、その画像入力部１０３には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。さらに、処理の必要に応じてリアルタイムで画像を取得する場合も可能であり、本発明は必ずしも記憶装置を必要としない。

図６の被写体制御部１０１は、図１３で設計されたターゲットを校正のための撮影被写体としてカメラ１０２の前に提示する。図１３のターゲットは垂直棒１１と水平棒１２とそれらの土台となる平面盤１３から構成されている。垂直棒１１には点Ｏを原点として、その点からｈ₁，ｈ₂の高さにそれぞれ点Ａ，Ｂが設置されている。被写体制御部１０１は命令に応じて水平棒１２を垂直棒１１の周りに自由に回転させることができる。その水平棒１２上には点Ｏからｄ₃，ｄ₄の距離にそれぞれ点Ｃ，Ｄが設置されている。サンプル画像はカメラ１０２を通して画像入力部１０３から得られる（図１５）。図１５には画像中心を画像座標系の中心としており、その点を原点としたｘｙ画像座標系が重複表示されている。カメラ校正はこのサンプル画像を使って行うが、各参照点の画像座標を測定する前に図６の画像補正部１０４にて前処理が施される。図１３に示した垂直棒１１（点Ａ，Ｂ，Ｏから構成される１次元物体）が画面上においてｙ軸と一致するまで図８の処理フローにしたがって処理が続けられる。一致していないのはＹ軸に沿ってターゲットの垂直棒１１が設置されていない（言い換えれば、点Ａ，Ｂ，ＯのＸ座標値を０とおけない）ことと、カメラ１０２の光軸周りの回転が０でないことに起因している。

被写体制御部１０１は、垂直棒上の任意の点（図１の点Ｑに対応する）が図１６のように画像面上の原点（画像中心）と交差するように、図８に示す処理フローに従ってターゲットの位置を変更する。まず、土台に設定されたＸ軸に沿って被写体を命令に応じてΔＸずつ移動させる（ステップＳ１，Ｓ２）。このとき、画像入力部１０３から得られるサンプル画像において垂直棒１１上の任意の点が画像中心と一致するかどうかを判定する。例えば、サンプル画像から直線検出を行い、最も大きい線分を抽出し、その直線上に画像中心が重なるかどうかを判定する（ステップＳ３，Ｓ４）。Ｘ軸方向で移動できる範囲で動かしても一致する点が見つからない場合は、今度はＹ方向に沿って被写体をΔＹだけ移動し（ステップＳ３，Ｓ５）、被写体のＸ軸上の位置を元に戻して（ステップＳ１）、再度、Ｘ軸に沿って被写体をΔＸずつ移動させる。このように、被写体をＸＹ平面上で移動させ、垂直棒上の点が画像中心に重なるかどうかを判定する。もし、一致した場合は、図１６に示す画像が得られて、図１０の画像補正部１０４の処理に移行する。図１０ではカメラ光軸周りの回転を検出し、その回転をキャンセルするような補正を行う。図１０の画像の回転操作にあたり、まず垂直棒１１の画素を投票し（ステップＳ１１）、直線パラメータを検出し（ステップＳ１２）、図１６に示す垂直棒１１とｙ軸のなす角（カメラ光軸周りの回転）θを検出する（ステップＳ１３）。この検出処理は垂直棒１１を形成する画像座標をＨｏｕｇｈ変換して直線を検出し、ｙ軸とのなす角θを得る。最後に、検出した回転角をキャンセルするように画像中心周りに画像回転させ（ステップＳ１４）、図１７の画像を得る。

上記の画像補正部１０４での処理が完了すると、図６の参照点測定部１０５において各参照点の画像座標を測定する。図１７ではターゲットの垂直棒１１がｙ軸と一致しているので、点Ａ，Ｂ，Ｏに対応する画像上でのｙ座標としてそれぞれｙ₁，ｙ₂，ｙ₀を得る。一方、参照点Ｃ，Ｄの画像上のｘ座標値を常に０となるように配置するためには図１８に示すように、参照点Ｃ，Ｄをカメラの方向を向くように配置する必要がある。図１７の破線上の○はカメラの方向を向いていない点Ｃ，Ｄを示している。そこで、被写体制御部１０１に戻り、図１２の処理フローに従い、点Ｃ，Ｄを配置した水平棒１２を垂直棒１１の周りにΔωずつ回転させ（ステップＳ２１，Ｓ２２）、そのときの水平棒１２の投影像から直線を検出し（ステップＳ２３）、その線分がｙ軸と最も一致したとき（ステップＳ２４，Ｓ２５）、点Ｃ，Ｄの画像座標：ｙ₃，ｙ₄を参照点測定部１０５が測定する。

上記のように参照点の画像座標が測定できれば、次に図６のカメラ校正処理部１０６にて図１１の処理フローに沿ってカメラパラメータを算出する。計算式の導出と基本原理は上記で説明しているので、ここではその計算式を使ってカメラパラメータを得る。まずステップＳ３１において、各参照点に関する幾何的情報：ｈ₁，ｈ₂，ｄ₃，ｄ₄と、対応する参照点の画像上でのｙ座標値：ｙ₀，ｙ₁，ｙ₂，ｙ₃，ｙ₄を式（１７）に代入してｔａｎ（φ）を得る（カメラの傾き角φはその値のｔａｎの逆関数をとれば得られる）。次にステップＳ３２において、各参照点に関する幾何的情報：ｈ₁，ｈ₂，ｄ₃，ｄ₄と、対応する参照点の画像上でのｙ座標値：ｙ₀，ｙ₁，ｙ₂，ｙ₃，ｙ₄を式（１８）に代入して焦点距離αを得る（この場合、ｔａｎ（φ）とαの求め方の順序が入れ替わっても構わない）。最後に、ステップＳ３３において、各参照点のｙ座標値とこれまでに求めた傾き角φ、焦点距離αを式（２０）に代入しカメラ視点位置（Ｔｙ，Ｔｚ）を得る。

つまり、式（２０）を使う場合はＭｏｏｒｅ−Ｐｅｎｒｏｓｅ型一般化逆行列を求める必要がある。これに対し一般化逆行列を求めない計算を以下に述べる。式（２０）右辺は式（２４）〜式（２７）、並びに、式（２９）〜式（３１）の置換を行えば、式（２１）に変形することができる。さらに、式（２２）に書き換えることができ（ΔＷは式（２８）で定義されている）、最終的に、式（２０）右辺は式（２３）に整理することができる。

したがって、カメラ視点位置（Ｔｙ，Ｔｚ）の算出には式（２３）を使うこともできる。

上記の実施例１の全体の処理の流れは図７のとおりである。まず被写体制御部１０１が図１３に示す被写体であるターゲットを提示し（ステップＳ４１）、その被写体の画像をカメラ１０２、画像入力部１０３によって取得する（ステップＳ４２）。

次に画像補正部１０４がターゲットの垂直棒１１上の参照点Ａ，Ｂが画像中心に重なるか否かを判定し（ステップＳ４３）、被写体制御部１０１が被写体の位置を図８のフローチャートに沿って移動させ（ステップＳ４４）、画像補正部１０４が、垂直棒１１とｙ軸のなす角（カメラ光軸周りの回転）θをキャンセルするように、図１０のフローチャートに沿って画像を回転させる（ステップＳ４５）。

次に被写体制御部１０１が、ターゲットの水平棒１２上の参照点Ｃ，Ｄがカメラ１０２の光軸に一致しているか否かを判定し（ステップＳ４６）、図１２のフローチャートに沿って水平棒１２をカメラ１０２の光軸に一致するように回転させる（ステップＳ４７）。

次に参照点測定部１０５が前記参照点Ａ〜Ｄを測定し（ステップＳ４８）、カメラ校正処理部１０６が図１１のフローチャートに沿ってカメラパラメータを計算する（ステップＳ４９）。

以上説明したように、図１３で設計されたターゲットを校正のための撮影被写体とし、図６の基本構成にしたがって処理を施すことにより、図４に示したカメラ視点の位置（Ｔｙ，Ｔｚ）、傾き角φ、並びに、カメラの焦点距離αを求めることができる。

（実施例２）
本実施例では図１４のように設計されたターゲットを校正のための撮影被写体して利用する。図１４において図１３と同一部分は同一符号をもって示している。図１４では点Ｏを原点とし、点Ａ₁，Ａ₂，Ｂ₁，Ｂ₂を垂直棒１１上の点、点Ｃ₁，Ｃ₂，Ｄ₁，Ｄ₂を水平棒１２上の点として設置されている（この例では、合計９点を参照点とする）。本実施例２の基本構成は図６と同じ構成で実現されており、参照点によって処理が多少異なる点を除き、実施例１と同様の処理によりカメラ１０２を校正することができる。以降では、その差分を中心に説明する。

点Ａ₁，Ａ₂，Ｂ₁，Ｂ₂はそれぞれ原点Ｏから高さｈ₁，ｈ₅，ｈ₂，ｈ₆の位置にあり、その３次元座標がそれぞれ（０，０，ｈ₁），（０，０，ｈ₅），（０，０，ｈ₂），（０，０，ｈ₆）であるとき、画像面での座標としてそれぞれ（０，ｙ₁），（０，ｙ₅），（０，ｙ₂），（０，ｙ₆）が観測されるとする。一方、点Ｃ₁，Ｃ₂，Ｄ₁，Ｄ₂は原点ＯからＹ軸方向に沿ってそれぞれｄ₃，ｄ₇，ｄ₄，ｄ₈の位置に設定されており、その３次元座標がそれぞれ（０，ｄ₃，０），（０，ｄ₇，０），（０，ｄ₄，０），（０，ｄ₈，０）であるとき、画像面での座標としてそれぞれ（０，ｙ₃），（０，ｙ₇），（０，ｙ₄），（０，ｙ₈）が観測されるとする。これら全ての参照点は式（４）の透視投影式に従うと仮定すると、先の実施例１と同様に各参照点を使ってカメラパラメータを求める。

まず、図６の被写体制御部１０１において図１４のターゲットが提示され、必要に応じて図８の被写体制御部１０１の処理フローに従って図１４の垂直棒１１がｙ軸と一致するようにサンプル画像が処理される。図１２の処理フローによって水平棒１２を回転させた結果、参照点Ｃ₁，Ｃ₂，Ｄ₁，Ｄ₂もｙ軸上に配置されているとする。次に、図６の参照点観測部１０５では、画像補正されたサンプル画像から画像面でのｙ座標ｙ_j（ｊ＝０，１，２，…，８）が測定される。続いて、カメラ校正処理部１０６では、観測した９点の参照点のうち、点Ａ₁，Ｂ₁，Ｃ₁，Ｄ₁のｙ座標を取り出し、式（１７）に代入してｔａｎ（φ）を得る（カメラの傾き角φはその値のｔａｎの逆関数をとれば得られる）。次に、各参照点に関する幾何的情報：ｈ₁，ｈ₂，ｄ₃，ｄ₄と、対応する参照点の画像上でのｙ座標値：ｙ₀，ｙ₁，ｙ₂，ｙ₃，ｙ₄を式（１８）に代入して焦点距離αを得る（ｔａｎ（φ）とαの算出の順序は逆でもよい）。ここまでは実施例１の５点を使う場合と同様の計算式を使う。一方、カメラ視点位置（Ｔｙ，Ｔｚ）の算出には式（３２）を使う（この式について、式（２０）を導出したような同じ手順により容易に導き出すことができるため、その詳細を省略する）。

このとき、式（２４）〜式（２７）の置換を行うと、式（３２）は式（３３）と表される。

さらに、式（３４）〜式（３９）の置換を行うと式（３３）は式（４０）に示すように書き換えることができる。

従って、式（４０）の計算式を使ってもカメラ視点位置（Ｔｙ，Ｔｚ）を求めることができる。

以上説明したように、本発明は図１４示したターゲットを使う場合、ｔａｎ（φ）とαの計算には実施例１の５点を使う計算式を利用し、カメラ視点位置（Ｔｙ，Ｔｚ）の計算については参照点の数に応じた連立方程式（式（３２））を解くことによりカメラパラメータを算出することができる。

（実施例３）
本実施例は請求項２に記載のカメラ校正に関する実施例であり、図１９、図２０に示す校正撮影用のターゲットを使ってカメラ校正を行う。図２０は図１９の垂直棒１１から見たときの概観図である。このターゲットを支える土台を円盤形としているが、土台に点Ｏを中心とした同心円１４を描いた平面盤としてもよい。図２０の土台には原点Ｏを中心とした半径ｄ₃，ｄ₄の同心円１４が描かれており、それぞれの円周上の任意の点がそれぞれ点Ｃ，Ｄに相当する。この同心円１４を利用すれば、点Ａ，Ｂ，Ｏからなる直線が画像面上にてｙ軸に一致したとき、円周上にてｙ軸と交差する点を測定するだけで点Ｃ，Ｄの画像面上でのｙ座標値を測定することができる。これにより、被写体制御部１０１での水平棒１２の回転のステップ（Ｓ２２，Ｓ４７）を省くことができる。

本実施例では、実施例１で説明したような計算原理に基づいてカメラを校正するとき、図１９、図２０の参照物体を使うことでより簡易に、かつ、円滑にカメラ校正の処理を行うことができる。本実施例３は実施例１と同様の基本構成をしており、図６の被写体制御部１０１において図１９、図２０に示す参照物体を使う部分が異なる。以降では、この参照物体を撮影して各参照点の画像座標を測定する箇所のみを記載する。

図６の被写体制御部１０１では、図１９に示す校正撮影用ターゲットを被写体としてカメラ１０２の前に提示する。サンプル画像はカメラ１０２を通して画像入力部１０３から得られる。このサンプル画像について図１９に示した垂直棒１１（点Ａ，Ｂ，Ｏから構成される１次元物体）が画面上においてｙ軸と一致するように実施例１と同様の図８の処理フローに従い図２１に示す画像を得るまで、ターゲットの位置が変更される。次に、図２１において垂直棒１１とｙ軸が一致していないと判定した場合は、実施例１と同様にカメラ光軸周りの回転を検出し、その回転をキャンセルするような画像回転を施す（図１０のフローチャート）。この図６の画像補正部１０４の処理が完了すると図２２の回転補正した画像を得る。

この回転補正の画像において、点Ｃ，Ｄは図２０の円周上の点であるため、図２２においてｙ軸と交差する点が垂直棒１１に垂直で、かつ、カメラ１０２の方向を向いた点Ｃ，Ｄになっていることが分かる。この知見に従って、図２２のｙ軸と交差する円周上の点からそれぞれ点Ｃ，Ｄのｙ座標値：ｙ₃，ｙ₄を測定する。各参照点の画像座標が測定できれば、実施例１と同様に図６のカメラ校正処理部１０６にてカメラパラメータを算出することができる。

以上説明したように、図１９、図２０に示す校正撮影用のターゲットを使って参照点の画像座標を測定し、実施例１で説明した同様の計算手順によりカメラパラメータを求めることができる。

（実施例４）
本実施例では、図２３、図２４に示す校正撮影用のターゲットを使って、複数のカメラ（多視点カメラ）を校正する方法を説明する。図２３はターゲットの概観図であり、形状に関して図１９と同様の仕様で設計されている。ただし、図２３の方位針１５が被写体制御部１０１の命令によって中心Ｏ周りを自由に回転できるように動作するものとする。

カメラ０〜カメラ６の計７台がターゲットを囲むように配置した例を図９に示す。この図は真上から見た概観図となっており、基準とするカメラをカメラ０とする。このカメラ配置では、事前に、垂直棒１１上の任意の点がサンプル画像の画像中心と交差するように各カメラの位置または姿勢が調整されているとする。このカメラ配置では、カメラ０からカメラ６において図２１の画像が画像入力部１０３を通して得られる。各カメラから得たサンプル画像に対し、これまでの実施例のように画像補正部１０４において垂直棒１１と画像面上のｙ軸との間の角を検出し、その角をキャンセルするように画像を回転させ（図１０のフローチャート）、それぞれ図２２の画像を得る（全て同じ状態に映っている画像を用意する必要は無く、垂直棒１１がそれぞれの画像のｙ軸と一致していればよい）。さらに、被写体制御部１０１では、回転画像を得た後に方位針１５をΔωずつ回転させ、カメラ０からカメラ６までのサンプル画像に対して、方位針１５と画像面上のｙ軸が一致したときの回転角ω_iを参照点測定部１０５が次々と測定する。この方位角ω_i（ｉ＝０，１，…，６）を一時的に保存しておく。

各カメラのサンプル画像に対して図２２の画像が得られたならば、参照点測定部１０５が、各カメラごとに点Ａ，Ｂ，Ｏ，Ｃ，Ｄに対応するｙ座標：ｙ_ij（ｉ＝０，１，…，６，ｊ＝０，１，２…，４）をそれぞれ測定する。まず、カメラ０のサンプル画像を取り出し、点Ａ，Ｂ，Ｏの画像座標を得る。各カメラごとに点Ａ，Ｂ，Ｏ，Ｃ，Ｄに対応するｙ座標：ｙ_ijが測定できれば、実施例１と同様に、カメラ校正処理部１０６が各参照点に関する幾何的情報：ｈ₁，ｈ₂，ｄ₃，ｄ₄と、対応する参照点の画像上でのｙ座標値：ｙ_ij（ｉ＝０，１，…，６，ｊ＝０，１，…，４）を式（１７）、式（１８）に代入してそれぞれｔａｎ（φ_i）（カメラの傾き角φ_iはその値のｔａｎの逆関数をとれば得られる）と焦点距離α_iを得る。さらに、それぞれのカメラごとに各参照点のｙ座標値とこれまでに求めた傾き角φ_i、焦点距離α_iを使って、式（２０）または式（２３）にしたがってカメラ視点位置（Ｔｙ_i，Ｔｚ_i），ｉ＝０，１，…，６を得る。

ここで、カメラ視点位置（Ｔｙ_i，Ｔｚ_i），ｉ＝０，１，…，６は各カメラにおいて独立にＴｘ_i＝０として求められている。そこで、カメラ０において求めたカメラ視点（０，Ｔｙ₀，Ｔｚ₀）を基準として他のカメラの視点位置を復元する。参照点測定部１０５での画像座標測定の際、カメラ０の方位角（ω＝０）を基準として各カメラの方位角ω_iが得られているので、各カメラごとに求めたカメラ視点位置（Ｔｙ_i，Ｔｚ_i），ｉ＝１，２，…，６のうちＴｙ_iを取り出し、方位角ω_iと位置Ｔｙ_iを式（４１）に代入してカメラ０を基準とするカメラ視点（Ｔｘ’_i，Ｔｙ’_i，Ｔｚ_i），ｉ＝１，２，…，６を復元する。

この復元により、カメラ０〜カメラ６の視点位置（Ｔｘ’_i，Ｔｙ’_i，Ｔｚ_i），ｉ＝１，２，…，６は同じ座標系で求められたことになり、多視点カメラを使ったシームレスな３次元映像生成または任意視点映像の生成に有用となる。

以上の実施例により、図２３、図２４に示す校正撮影用のターゲットを使って、それを取り囲むように配置された複数カメラを一度に校正することができる。

（実施例５）
実施例１から実施例４までは図５の参照点配置を前提としたカメラ校正であるのに対して、本実施例は請求項３に記載のカメラ校正に関する実施例であり、図２５の参照点配置を前提としたカメラ校正の例である。図２５には、Ｚ軸から距離ｄだけ並行移動した位置に点Ｃ，Ｄを配置している。この点Ｃ，Ｄも式（４）の透視投影式に従いそれぞれｐ₃，ｐ₄に投影される。図２５の点Ｃ，Ｄの３次元座標はそれぞれ（０，ｄ，ｈ₁），（０，ｄ，ｈ₂）と与えられるので、ｐ₃，ｐ₄の画像座標をそれぞれ（０，ｙ₃），（０，ｙ₄）とすると式（４２），（４３）の関係が得られる。

式（４２）と式（４３）において式（１０）の関係式を使うと、それぞれ式（４４）と式（４５）に変形することができる。

ここで、式（４４）と式（４５）から式（４６）を導き出すことができる（ただし、Ｂは式（４７）で置換している）ため、式（１５）に式（４６）を代入すると式（４８）に示すｔａｎ（φ）に関する二次方程式が得られる。

解の公式を使えば式（４８）を解くことができるが、２つの解のうち−π／２＜φ＜０の範囲となる解をｔａｎ（φ）の解として得る。得られたｔａｎ（φ）を式（４６）へ代入するとαを得ることができる。さらに、これまでの実施例のように、式（１０）〜式（１２）、並びに式（４４）と式（４５）を連立すると式（４９）のＴｙ，Ｔｚを未知数とした連立一次方程式（式（２４）〜式（２７）の置換を行っている）が得られる。この式（４９）においてφ，αが与えられればＴｙ，Ｔｚが求まる。なお、式（２８）〜式（３１）の置換を行うことにより式（４９）は式（５０）に変形でき、最終的に式（５１）に整理することができる。

したがって、式（５１）を利用してＴｙ，Ｔｚを得ることができる。

このように、本実施例は、図２５に示した点Ａ，Ｂ，Ｃ，Ｄ，Ｏの空間配置とそれぞれの点の観測座標：ｙ₁，ｙ₂，ｙ₃，ｙ₄，ｙ₀，並びに、式（５）〜式（７）、並びに式（４２）、式（４３）で表された両者の幾何的拘束条件において、焦点距離α、傾き角φ、ＹＺ座標系での視点位置（Ｔｙ，Ｔｚ）を求めるものである。

本実施例は図６を基本構成としており、実施例１で述べた処理に沿ってカメラ校正が行われる。ただし、これまでの実施例と異なるのは、図６の被写体制御部１０１において図２６に示す校正撮影用のターゲットを使ってカメラ校正を行う点である。上記で説明したような計算方法に基づいてカメラを校正するとき、この参照物体を使うことでより簡易に、かつ、円滑にカメラ校正の処理を行うことができる。以降では、この参照物体を撮影して各参照点の画像座標を測定し、上記で述べた計算方法を利用してカメラを校正する点について記載する。

図２６のターゲットを支える土台１６を円盤形としているが、土台１６に点Ｏを中心とした半径ｄの円が描かれた平面盤としてもよい。回転棒１７は土台１６の円周上に沿って垂直棒１１の周りに任意に回転することができ、半径ｄの円周上で、かつ、高さがそれぞれｈ₁，ｈ₂の点がＣ，Ｄに相当する。これまでの実施例と同様に、図６の被写体制御部１０１において図２６の校正撮影用のターゲットが設置され、カメラ１０２および画像入力部１０３を通して得たサンプル画像が画像補正部１０４の処理により光軸回転をキャンセルされ、かつ、垂直棒１１が画像面上にてｙ軸に一致しているとする。次に、円周上にてｙ軸と交差する位置まで回転棒１７を回転させれば、点Ｃ，Ｄの画像面上でのｙ座標値を参照点測定部１０５によって容易に測定することができる。このように円盤形の土台１６又は土台１６に円を描いた平面盤と回転棒１７を使えば、Ｃ，Ｄの点をカメラ光軸に向ける作業を低減することができる。

上記のように参照点の画像座標が測定できれば、図６のカメラ校正処理部１０６にて図１１の処理フローに沿ってカメラパラメータを算出する。計算式の導出と基本原理は上記で説明しているので、ここではその計算式を使ってカメラパラメータを得る。まず、各参照点に関する幾何的情報：ｈ₁，ｈ₂，ｄと、対応する参照点の画像上でのｙ座標値：ｙ₀，ｙ₁，ｙ₂，ｙ₃，ｙ₄を式（４８）に示すｔａｎ（φ）に関する二次方程式の係数に代入し、その二次方程式を−π／２＜φ＜０の妥当な範囲で解いてｔａｎ（φ）を得る（カメラの傾き角φはその値のｔａｎの逆関数をとれば得られる）。次に、各参照点に関する幾何的情報：ｈ₁，ｈ₂，ｄと、対応する参照点の画像上でのｙ座標値：ｙ₀，ｙ₁，ｙ₂，ｙ₃，ｙ₄と、求めたｔａｎ（φ）を式（４６）に代入して焦点距離αを得る。最後に、各参照点のｙ座標値とこれまでに求めた傾き角φ、焦点距離αを式（５１）に代入しカメラ視点位置（Ｔｙ，Ｔｚ）を得る。

以上説明したように、図２６で設計されたターゲットを校正のための撮影被写体とし、図６の基本構成にしたがって処理を施すことにより、図４に示したカメラ視点の位置（Ｔｙ，Ｔｚ）、傾き角φ、並びに、カメラの焦点距離αを求めることができる。

（実施例６）
本実施例は請求項４に記載のカメラ校正に関する実施例であり、図２７の参照点配置を前提としたカメラ校正の例である。図２７には、点Ａ，ＢがＸ軸（この軸は紙面の表から裏に向かった方向になっている）周りに回転角βで回転した位置に点Ｃ，Ｄを配置している。この点Ｃ，Ｄも式（４）の透視投影式に従いそれぞれｐ₃，ｐ₄に投影される。図２７の点Ｃ，Ｄの３次元座標はそれぞれ（０，ｈ₁ｓｉｎ（φ），ｈ₁ｃｏｓ（φ）），（０，ｈ₂ｓｉｎ（φ），ｈ₂ｃｏｓ（φ））で与えられるので、ｐ₃，ｐ₄の画像座標をそれぞれ（０，ｙ₃），（０，ｙ₄）とすると式（５２），（５３）の関係が得られる。

式（５２）と式（５３）において式（１０）の関係式を使うと、それぞれ式（５４）と式（５５）に変形することができる。

ここで、式（５４）と式（５５）から式（５６）を導き出すことができる（ただし、Ｂ，Ｃは式（５７）で置換している）ため、式（１５）に式（５６）を代入すると式（５８）に示すｔａｎ（φ）に関する二次方程式が得られる。

解の公式を使えば式（４８）を解くことができるが、２つの解のうち−π／２＜φ＜０の範囲となる解をｔａｎ（φ）の解として得る。さらに、これまでの実施例のように、式（１０）〜式（１２）、並びに式（５４）と式（５５）を連立すると式（５９）のＴｙ，Ｔｚを未知数とした連立一次方程式（式（２４）〜式（２７）の置換を行っている）が得られる。この式（５９）においてφ，αが与えられればＴｙ，Ｔｚが求まる。なお、式（２８）〜式（３１）の置換を行うことにより式（５９）は式（６０）に変形でき、最終的に式（６１）に整理することができる。

したがって、式（６１）に従って計算すればＴｙ，Ｔｚを得ることができる。

このように、本実施例は、図２７に示した点Ａ，Ｂ，Ｃ，Ｄ，Ｏの空間配置とそれぞれの点の観測座標：ｙ₁，ｙ₂，ｙ₃，ｙ₄，ｙ₀，並びに、式（５）〜式（７）、並びに式（５２）、式（５３）で表された両者の幾何的拘束条件において、焦点距離α、傾き角φ、ＹＺ座標系での視点位置（Ｔｙ，Ｔｚ）を求めるものである。

本実施例は図６を基本構成としており、実施例１で述べた処理に沿ってカメラ校正が行われる。ただし、これまでの実施例と異なるのは、図６の被写体制御部１０１において図２８に示す校正撮影用のターゲットを使ってカメラ校正を行う点である。上記で説明したような計算方法に基づいてカメラを校正するとき、この参照物体を使うことでより簡易に、かつ、円滑にカメラ校正の処理を行うことができる。以降では、この参照物体を撮影して各参照点の画像座標を測定し、上記で述べた計算方法を利用してカメラを校正する点について記載する。

図２８には点Ｏを中心とした半径ｈ₁と半径ｈ₂の同心円が描かれた半円盤１８（ターゲット平面盤）が土台１９に立てられており、この半円盤１８（必ずしも半円盤である必要は無く、点Ｏを中心とした同心円が描かれた平面盤としてもよい）は回転軸周りに回転するように設計されているとする。この半円盤１８を土台１９に対して垂直に立て場合、同心円と中心軸の交点が点Ａ，Ｂになり、回転角βで回転させたときの円周上の点がＣ，Ｄに相当する。これまでの実施例と同様に、図６の被写体制御部１０１において図２８の校正撮影用のターゲットが設置され、カメラ１０２および画像入力部１０３を通して得たサンプル画像が画像補正部１０４の処理により光軸回転をキャンセルされ、かつ、中心軸が画像面上にてｙ軸に一致しているとする。次に、半円盤１８を回転角βで回転させ（βは固定角または回転角を適宜記録しておくものとする）、そのときの同心円とｙ軸との交点を参照点測定部１０５によって点Ｃ，Ｄの画像面上でのｙ座標値として得る。

上記のように参照点の画像座標が測定できれば、図６のカメラ校正処理部１０６にて図１１の処理フローに沿ってカメラパラメータを算出する。計算式の導出と基本原理は上記で説明しているので、ここではその計算式を使ってカメラパラメータを得る。まず、各参照点に関する幾何的情報：ｈ₁，ｈ₂，βと、対応する参照点の画像上でのｙ座標値：ｙ₀，ｙ₁，ｙ₂，ｙ₃，ｙ₄を式（５８）に示すｔａｎ（φ）に関する二次方程式の係数に代入し、その二次方程式を−π／２＜φ＜０の妥当な範囲で解いてｔａｎ（φ）を得る（カメラの傾き角φはその値のｔａｎの逆関数をとれば得られる）。次に、各参照点に関する幾何的情報：ｈ₁，ｈ₂，βと、対応する参照点の画像上でのｙ座標値：ｙ₀，ｙ₁，ｙ₂，ｙ₃，ｙ₄と、求めたｔａｎ（φ）を式（５６）に代入して焦点距離αを得る。最後に、各参照点のｙ座標値とこれまでに求めた傾き角φ、焦点距離αを式（６１）に代入しカメラ視点位置（Ｔｙ，Ｔｚ）を得る。

以上説明したように、図２８で設計されたターゲットを校正のための撮影被写体とし、図６の基本構成にしたがって処理を施すことにより、図４に示したカメラ視点の位置（Ｔｙ，Ｔｚ）、傾き角φ、並びに、カメラの焦点距離αを求めることができる。

また、本実施形態のカメラ校正装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態のカメラ校正方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

本発明で利用するカメラ視点と世界座標系を示す説明図である。 従来のカメラ校正方法における２次元物体を使ったカメラ校正作業を示す説明図である。 従来のカメラ校正方法における１次元物体を使ったカメラ校正作業を示す説明図である。 本発明で用いる参照点Ａ，Ｂ，Ｏと投影点ｐ₁，ｐ₂，ｐ₀の関係を示す説明図である。 本発明で用いる参照点Ｃ，Ｄと投影点ｐ₃，ｐ₄の関係を示す説明図である。 本発明のカメラ校正装置の実施形態例を示す基本構成図である。 本発明の実施形態例における全体のフローチャートである。 本発明の実施形態例における被写体制御部での被写体移動の処理を説明するフローチャートである。 本発明の実施例４での多視点カメラの配置例を示す説明図である。 本発明の実施形態例における画像補正部での処理を説明するフローチャートである。 本発明の実施形態例におけるカメラ校正処理部での処理を説明するフローチャートである。 本発明の実施形態例における被写体制御部での水平棒回転の処理を説明するフローチャートである。 本発明の実施例１で使用する校正撮影用ターゲットの説明図である。 本発明の実施例２で使用する校正撮影用ターゲットの説明図である。 図１３の校正撮影用ターゲットを撮影したときのサンプル画像を示す説明図である。 図１３のターゲットを移動操作したときの校正用サンプル画像を示す説明図である。 図１３のターゲットを画像回転したときの校正用サンプル画像を示す説明図である。 本発明の実施形態例における参照点Ｃ，Ｄとカメラ光軸の関係を示す説明図である。 本発明の実施例３で使用する校正撮影用ターゲットの説明図である。 本発明の実施例３で使用する校正撮影用ターゲットの真上からの概観図である。 本発明の実施例３においてターゲットを移動操作したときの校正用サンプル画像の説明図である。 図２１の画像を画像中心周りに回転したときの校正用サンプル画像の説明図である。 本発明の実施例４で使用する校正撮影用ターゲットの説明図である。 本発明の実施例４で使用する校正撮影用ターゲットの真上からの概観図である。 本発明の実施例５で前提とする参照点Ｃ，Ｄと投影点ｐ₃，ｐ₄の関係を示す説明図である。 本発明の実施例５で使用する校正撮影用ターゲットの説明図である。 本発明の実施例６で前提とする参照点Ｃ，Ｄと投影点ｐ₃，ｐ₄の関係を示す説明図である。 本発明の実施例６で使用する校正撮影用ターゲットの説明図である。

符号の説明

０〜６、１０２…カメラ、１１…垂直棒、１２…水平棒、１３…平面盤、１４…同心円、１５…方位針、１６、１９…土台、１７…回転棒、１８…半円盤。

Claims (10)

1. 単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する装置であって、
   校正対象の画像入力装置を使って形状が既知の被写体を撮影し、取得した画像において画像座標系を設定し、その被写体上の参照点から形成される線分上の任意の点が画像座標系の原点に投影されるように被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更する被写体制御手段と、
   画像座標系上に設定した基準軸と被写体上の参照点から形成される線分が一致するように、前記取得画像上で設定した座標系の原点周りに画像を回転させ、かつ、他の参照点もその基準軸上の点となるように被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更することにより、全ての参照点の投影座標を前記基準軸上に位置させる画像補正手段と、
   全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報とその基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するカメラ校正処理手段と、
   を備えることを特徴とするカメラ校正装置。
2. 単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する装置であって、
   ある土台上の基準点を中心とした複数の円を構成する円盤と、その円に垂直となるように基準点に下ろした線分を構成する垂直棒とを備えた参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒上の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更する被写体制御手段と、
   前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の垂直棒を一致させ、該垂直棒に設置した複数の点、基準点、並びに複数同心円と前記基準軸との交点を参照点とし、参照点の画像座標を取得する参照点測定手段と、
   前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定手段により取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するカメラ校正処理手段と、
   を備えることを特徴とするカメラ校正装置。
3. 単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する装置であって、
   ある土台上の基準点を中心とした円を構成する円盤と、その円に垂直に設置され、前記基準点から伸びた線分を構成する垂直棒と、その円周上に沿うようにその垂直棒の周りに回転する線分を構成する回転棒とを備えた参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更する被写体制御手段と、
   前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の垂直棒を一致させ、さらに、前記回転棒を垂直棒周りに回転させ回転棒が基準軸と一致するとき、該垂直棒に設定した複数の点、基準点、並びに回転棒に設置した複数の点を参照点とし、参照点の画像座標を取得する参照点測定手段と、
   前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定手段により取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するカメラ校正処理手段と、
   を備えることを特徴とするカメラ校正装置。
4. 単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する装置であって、
   平面を持つ土台と半円盤で構成され、半円盤には基準点を中心とした同一の複数の半円が記されており、複数の半円の直線部分は半円盤の直線部分と一致しており、半円盤は土台の平面と半円盤の直線部分で接しており、接している直線部分を回転軸として半円盤が回転できる機構となっており、複数の半円の中心を通る半円盤上の線を中心軸とする参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記中心軸上の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更する被写体制御手段と、
   前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の中心軸を一致させ、前記中心軸に設置した複数の点、基準点、並びに、半円盤を土台の平面に対して傾斜または半円盤の回転軸に対して回転させた際の、複数の半円が基準軸と交差する点を参照点とし、参照点の画像座標を取得する参照点測定手段と、
   前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定手段により取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するカメラ校正処理手段と、
   を備えることを特徴とするカメラ校正装置。
5. 単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する方法であって、
   被写体制御手段が、校正対象の画像入力装置を使って形状が既知の被写体を撮影し、取得した画像において画像座標系を設定し、その被写体上の参照点から形成される線分上の任意の点が画像座標系の原点に投影されるように被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更するステップと、
   画像補正手段が、画像座標系上に設定した基準軸と被写体上の参照点から形成される線分が一致するように、前記取得画像上で設定した座標系の原点周りに画像を回転させ、かつ、他の参照点もその基準軸上の点となるように被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更することにより、全ての参照点の投影座標を前記基準軸上に位置させるステップと、
   カメラ校正処理手段が、前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報とその基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するステップと、
   を備えることを特徴とするカメラ校正方法。
6. 単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する方法であって、
   被写体制御手段が、ある土台上の基準点を中心とした複数の円を構成する円盤と、その円に垂直となるように基準点に下ろした線分を構成する垂直棒とを備えた参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒上の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更するステップと、
   参照点測定手段が、前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の垂直棒を一致させ、該垂直棒に設置した複数の点、基準点、並びに複数同心円と前記基準軸との交点を参照点とし、参照点の画像座標を取得する参照点測定ステップと、
   カメラ校正処理手段が、前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定ステップにより取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するステップと、
   を備えることを特徴とするカメラ校正方法。
7. 単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する方法であって、
   被写体制御手段が、ある土台上の基準点を中心とした円を構成する円盤と、その円に垂直に設置され、前記基準点から伸びた線分を構成する垂直棒と、その円周上に沿うようにその垂直棒の周りに回転する線分を構成する回転棒とを備えた参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更するステップと、
   参照点測定手段が、前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の垂直棒を一致させ、さらに、前記回転棒を垂直棒周りに回転させ回転棒が基準軸と一致するとき、該垂直棒に設定した複数の点、基準点、並びに回転棒に設置した複数の点を参照点とし、参照点の画像座標を取得する参照点測定ステップと、
   カメラ校正処理手段が、前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定ステップにより取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するステップと、
   を備えることを特徴とするカメラ校正方法。
8. 単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する方法であって、
   被写体制御手段が、平面を持つ土台と半円盤で構成され、半円盤には基準点を中心とした同一の複数の半円が記されており、複数の半円の直線部分は半円盤の直線部分と一致しており、半円盤は土台の平面と半円盤の直線部分で接しており、接している直線部分を回転軸として半円盤が回転できる機構となっており、複数の半円の中心を通る半円盤上の線を中心軸とする参照物体を校正撮影用の被写体とし、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記中心軸上の任意の点がその座標系の原点に投影されるように前記被写体の姿勢・位置または前記画像入力装置の姿勢・位置を変更するステップと、
   参照点測定手段が、前記取得画像上で設定した座標系の原点周りに画像を回転して、画像座標系上に設定した基準軸と前記参照物体の中心軸を一致させ、前記中心軸に設置した複数の点、基準点、並びに、半円盤を土台の平面に対して傾斜または半円盤の回転軸に対して回転させた際の、複数の半円が基準軸と交差する点を参照点とし、参照点の画像座標を取得する参照点測定ステップと、
   カメラ校正処理手段が、前記全ての参照点の３次元点から画像座標系の基準軸上へ射影させるときの透視投影条件から導出された、画像入力装置の内部情報と外部情報の関係式により、参照点の幾何情報と前記参照点測定ステップにより取得された前記基準軸上での参照点の画像座標から、前記画像入力装置の内部情報または外部情報を校正するステップと、
   を備えることを特徴とするカメラ校正方法。
9. コンピュータに、請求項５ないし請求項８のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴とするカメラ校正プログラム。
10. 請求項９に記載のカメラ校正プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images