JP2010273091A

JP2010273091A - 広域多視点カメラ校正方法、広域多視点カメラ校正装置、およびプログラム

Info

Publication number: JP2010273091A
Application number: JP2009123028A
Authority: JP
Inventors: 小軍 ▲ウ▼; Xiaojun Wu; Hidenori Tanaka; 秀典田中; Yoshiori Wakabayashi; 佳織若林; Yoshimitsu Otani; 佳光大谷
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2009-05-21
Filing date: 2009-05-21
Publication date: 2010-12-02

Abstract

【課題】設置視点、設置視線方向などといった設置条件に柔軟に対応でき、且つ、高精度にキャリブレーションを行う。
【解決手段】カメラ群全体を複数のグループに分けるステップと、各グループの共通視野に入るように配置されたキャリブレーションボードを、各グループのカメラで撮影するステップと、各グループのカメラについて、カメラ画像上で前記キャリブレーションボードの特徴点対応付けを行うステップと、各グループのカメラについて、前述のステップで得られた対応点付け情報をもとに、各カメラの視点座標・視線方向ベクトルを求めるステップと、グループ間の共通カメラを手がかりに、すべてのカメラ視点座標・視線方向ベクトルを共通座標系に変換するステップと、前述のステップで計算されたすべてのカメラ視点座標・視線方向ベクトルを共通座標系において、誤差が最小となるように最適化を行うステップとを有する。
【選択図】図３

Description

本発明は、広域多視点カメラ校正方法、広域多視点カメラ校正装置、およびプログラムに係わり、特に、広い空間に配置された複数台のカメラシステムにおけるカメラの校正、或いはカメラキャリブレーションに関する。

カメラの入力画像を解析し、実空間中のセマンティック情報の抽出を行う際、カメラの取り付け位置を正確に計測する必要がある。これは一般的にカメラの校正、或いはカメラキャリブレーションと呼ばれている。
従来、複数のカメラを用いる多視点カメラシステムにおけるカメラキャリブレーションでは、下記、非特許文献１に記載されているように、図１に示すような、白か黒のブロックパターン２０１を印刷した平面のキャリブレーションボード２００を使用する手法がよく使用されている。
図２は、従来の従来の広域多視点カメラ校正方法の処理手順を示すフローチャートである。以下、図２を用いて、従来の広域多視点カメラ校正方法について説明する。
（１）ステップＳ３０１
全てのカメラで、キャリブレーションボード２００の全体が撮影されるように、カメラを配置する。明らかに、カメラの視線は基本的に同じ方向に向く必要がある。
（２）ステップＳ３０２
各カメラにおいて、キャリブレーションボード２００を同時に撮影する。

（３）ステップＳ３０３
各カメラで撮影された画像上において、コーナー検出などの画像処理手法により、キャリブレーションボード２００の各ブロックパターン２０１の頂点を特徴点として検出する。理論的に、すべての特徴点が同一平面上に存在する性質を用い、対応付けを、以下のように効率的に行うことができる。なお、説明の便宜上、以下では２台のカメラから得られる画像Ａと画像Ｂについて対応付けのアルゴリズムを述べるが、２台以上の場合は、下記手法を２台ずつ繰り返し行うことで実現できる。
（３−１）画像Ａと画像Ｂについて、特徴点検出を行う。
（３−２）画像Ａ上、同一直線上にない４つの特徴点（厳密には、「４点中任意の３点が同一直線上にないような４つの特徴点」を意味する。）を選び、手動でそれらの対応する画像Ｂ上の特徴点を与える。
（３−３）得られた４対の特徴点について、平面間変換行列Η（Homography：ホモグラフィー）を求める。
（３−４）Ｐを画像Ｂ上の任意の特徴点とする。平面間変換行列Ηを用いて、Ｐの画像Ａ上の対応位置を計算し、その近傍にある特徴点を対応点とする。
（４）ステップＳ３０４
対応点付け情報をもとに、最小二乗法などの計算方法により、最適なカメラ画像間の変換行列が求める。下記の非特許文献２に記載されている方法を用いて、カメラの視点位置と視線方向を求めることができる。

Z.Zhang，" A flexible new technique for camera calibration",IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11):1330-1334,2000.

金谷健一，"画像理解−３次元認識の数理−",4.2-4.4，p.82-98,森北出版株式会社,ISBN：4-627-82140-9,1990.

カメラの校正、或いはカメラキャリブレーションとして、単独カメラの光学的計算モデルは確立されているが、複数のカメラを用いる多視点カメラシステムでは、台数によるキャリブレーション作業の煩雑さと、個々のカメラの視野の制限によるキャリブレーション結果の誤差が問題となっている。
即ち、前述した従来の手法では、すべてのカメラにおいて、同じ位置に置かれたキャリブレーションボード２００を個々のカメラ視野内に収める必要がある。しかし、現実には、以下に挙げる原因のため、すべてのカメラが同時に同じキャリブレーションボード２００を撮影するのは困難である。
（１）視野の影響
カメラの視野が有限であるため、離れた場所に設置されたカメラが存在すると、固定されたキャリブレーションボード２００が視野からはみ出る可能性がある。
（２）撮影方向の影響
カメラの配置によって、視線方向が向き合っている場合、そもそも共通のキャリブレーションボード２００を同時に撮影することが困難である。

このように、従来の手法ではカメラの配置に関して、個々のカメラを大きく離れておくことや、視線を大幅に異なる方向に向かせることなど許容しない。従って、より柔軟なカメラ配置が必要な実用場面では、キャリブレーションが困難となる。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、広い空間に配置された複数台のカメラシステムについて、設置視点、設置視線方向などといった設置条件に柔軟に対応でき、且つ、高精度にキャリブレーションを行うことが可能となる広域多視点カメラ校正方法、および広域多視点カメラ校正装置を提供することにある。
また、本発明の他の目的は、前述の広域多視点カメラ校正装置をコンピュータに実行させるプログラムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
（１）一つのカメラがどの他のカメラとも共通視野を持たないような配置を避けるように配置されたカメラ群における、各カメラの視点位置及び視線方向を同一座標系において計測する広域多視点カメラ校正方法であって、共通視野を持つカメラが一つのグループになり、かつ異なるグループ間に共通に属するカメラが存在するように、カメラ群全体を複数のグループに分ける第１のステップと、各グループの共通視野に入るように配置されたキャリブレーションボードを、各グループのカメラで撮影する第２のステップと、各グループのカメラについて、カメラ画像上で前記キャリブレーションボードの特徴点対応付けを行う第３のステップと、各グループのカメラについて、前記第３のステップで得られた対応点付け情報をもとに、各カメラの視点座標・視線方向ベクトルを求める第４のステップと、グループ間の共通カメラを手がかりに、すべてのカメラ視点座標・視線方向ベクトルを共通座標系に変換する第５のステップと、前記第５のステップで計算されたすべてのカメラ視点座標・視線方向ベクトルを共通座標系において、誤差が最小となるように最適化を行う第６のステップとを有する。

（２）共通視野を持つカメラが一つのグループになり、かつ異なるグループ間に共通に属するカメラが存在するように、複数のグループにグループ分けされたカメラ群における、各カメラの視点位置及び視線方向を同一座標系において計測する広域多視点カメラ校正装置であって、各グループの共通視野に入るように配置されたキャリブレーションボードを撮影した、各グループのカメラのカメラ画像上で前記キャリブレーションボードの特徴点対応付けを行う第１の手段と、各グループのカメラについて、前記第１の手段で得られた対応点付け情報をもとに、個々のカメラの視点座標・視線方向ベクトルを求める第２の手段と、グループ間の共通カメラを手がかりに、すべてのカメラ視点座標・視線方向ベクトルを共通座標系に変換する第３の手段と、前記第３の手段で計算されたすべてのカメラ視点座標・視線方向ベクトルを共通座標系において、誤差が最小となるように最適化を行う第４の手段とを有する。
（３）（２）において、前記第１の手段と前記第２の手段は、各グループ毎に設けられる。
（４）（２）に記載の広域多視点カメラ校正装置の各手段を、コンピュータに実行させるためのプログラムである。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、広い空間に配置された複数台のカメラシステムについて、設置視点、設置視線方向などといった設置条件に柔軟に対応でき、且つ、高精度にキャリブレーションを行うことが可能となる。

多視点カメラシステムにおけるカメラキャリブレーションに使用されるキャリブレーションボードを説明するための図である。従来の広域多視点カメラ校正方法の処理手順を示すフローチャートである。本発明の実施例の広域多視点カメラ校正方法の処理手順を示すフローチャートである。本発明の実施例の広域多視点カメラ校正装置の概略構成を示すブロック図である。本発明の実施例の広域多視点カメラ校正装置の変形例の概略構成を示すブロック図である。

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図３は、本発明の実施例の広域多視点カメラ校正方法の処理手順を示すフローチャートである。以下、図３を用いて、本実施例の広域多視点カメラ校正方法について説明する。
本実施例の広域多視点カメラ校正方法においても、白か黒のブロックパターン２０１を印刷した平面のキャリブレーションボード２００を使用する。なお、本明細書では、キャリブレーションボード２００として、図１に示すように、白か黒のパターンを均等に繰り返す正方形ブロックパターン２０１を用いたものについて説明するが、利用シーンに応じて、パターンをほかの様式、例えば、白か黒のパターンを均等に繰り返す六角形のようなパターンや、建築物の表面にある窓のパターンなどを使用してもよい。

（１）ステップＳ４０１
このステップは、前述のステップＳ３０１と同様な処理を行うが、カメラの視点・視線方向について、従来のような制限はない。ただし、どの他のカメラとも共通視野を持たないようなカメラ配置は避ける。
（２）ステップＳ４０２
共通視野を持つカメラを一つのグループにするカメラグループ分けを行う。すなわち、同一グループとなる複数カメラはキャリブレーションボード２００の全部あるいは共通の一部を視野に含む必要がある。さらに、異なるグループに同時に属するカメラが存在するように分ける。これは、配置条件の「どの他のカメラとも共通視野を持たないようなカメラ配置は避ける」によって実行可能となる。
（３）ステップＳ４０３
各グループのカメラ毎に、以下の処理を行う。
（３−１）ステップＳ４０３１
ステップＳ３０２と同様に、各グループ内のカメラで同時にキャリブレーションボード２００を撮影する。
（３−２）ステップＳ４０３２
このステップは、前述のステップＳ３０３と同様な処理を行う。
（３−１）ステップＳ４０３３
グループ内において、前述のステップＳ３０４と同様な処理を行う。
それぞれのグループ内の処理を終えると、次のステップへ進む。

（４）ステップＳ４０４
このステップでは、すべてのグループに対し、一つの共通座標系を定め、すべてのカメラ視点・方向数値を共通座標系への変換を行う。各グループ間に共通カメラが存在するため、共通カメラの異なるグループ内の座標値によって、グループ間の座標変換が可能となる。
（５）ステップＳ４０５
変換された個々のカメラ視点座標値・方向ベクトルには、変換誤差が含まれるため、各グループ毎に、対応点付け情報をもとに、共通座標系に対応点を射影し、誤差が最小となるようにカメラ視点座標・方向ベクトルの最適化を行う。

以下、前述の各ステップについて詳細に説明する。
（１）ステップＳ４０３２（ステップＳ３０３）
一般的に３次元空間において、透視投影モデルに基づき、３次元の点（Ｘ，Ｙ，Ｚ）の２次元の点（ｘ１／ｘ３，ｘ２／ｘ３）への射影は、下記（１）式のように定式化できる。

この（１）式で表される、３×４の行列が射影行列と呼ばれる。
３次元の点がある平面上に存在すると限定すれば、前記の（１）式は、下記（２）式のように変形できる。ただし、ある平面とはＺ＝０となるように、座標系が変換済みだとする。また、射影行列の表記もｐからｈに書き換える。

（２）ステップＳ４０３３（ステップＳ３０４）
実際のキャリブレーションにおいては、精度向上などのため、４対よりはるかに多い対応点対が必要となる、そこで、それぞれの画像上で独立に検出した特徴点を如何に効率よく対応付けるかが問題となる。
そこで、ステップＳ４０３２（ステップＳ３０３）において、まず最低４対の対応点付けを手動で行い、初期平面間変換行列を求める。
初期平面間変換行列がわかれば、ステップＳ３０３の（３−４）の処理が実行可能となり、これを繰り返せば、すべての特徴点について、対応付けが可能となる。
４対よりはるかに多い対応点対が得られれば、たとえば、前述の非特許文献１等に記載されている、最小二乗法などにより、より高精度な平面間変換行列Ｈを求めることができる。
このステップＳ４０３３（ステップＳ３０４）では、始めに、高精度な平面間変換行列Ｈを求めている。

以上説明したように、本実施例によれば、広い空間に配置された多視点カメラシステムのキャリブレーションを行う際、視線方向や視野の制限を緩和し、実用シーンに応じて、カメラ配置を自由に行うことが可能となる。
従来の手法では、すべてのカメラが同時にキャリブレーション物体を撮影できる前提条件があるため、カメラ配置に厳しい制限がかかっていた。それに対し、本実施例ではその前提条件に依存しない。さらに、キャリブレーションボード（平面ボード）を建築物の壁一面や、スタジアムの球場など幾何模様が絵がれる人工パターンに選べば、同様な手法でキャリブレーションが行える。すなわち、広域に配置されたカメラ群についても、高精度なキャリブレーションが行える。
したがって、カメラを視覚センサーとして用いるロボットビジョン、マシンビジョン分野において、本実施例より、効率的なカメラキャリブレーションが実現でき、システムセットアップ、メンテナンスなどのコスト削減が可能となる。
なお、前述の説明において、広域多視点カメラ校正装置１００はコンピュータに実行させることも可能であり、その場合に、広域多視点カメラ校正装置１００の各処理部は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、ＣＤ−ＲＯＭ、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

１００広域多視点カメラ校正装置
１１０−１〜１１０−ｎカメラグループ
１２０，１２０−１〜１２０−ｎ特徴点対応付け、カメラ視点・方向推定部
１２１特徴点対応付け部
１２２カメラ視点・方向推定部
１３０グループ間座標統合部
１４０共通座標系の最適化部

Claims

一つのカメラがどの他のカメラとも共通視野を持たないような配置を避けるように配置されたカメラ群における、各カメラの視点位置及び視線方向を同一座標系において計測する広域多視点カメラ校正方法であって、
共通視野を持つカメラが一つのグループになり、かつ異なるグループ間に共通に属するカメラが存在するように、カメラ群全体を複数のグループに分ける第１のステップと、
各グループの共通視野に入るように配置されたキャリブレーションボードを、各グループのカメラで撮影する第２のステップと、
各グループのカメラについて、カメラ画像上で前記キャリブレーションボードの特徴点対応付けを行う第３のステップと、
各グループのカメラについて、前記第３のステップで得られた対応点付け情報をもとに、各カメラの視点座標・視線方向ベクトルを求める第４のステップと、
グループ間の共通カメラを手がかりに、すべてのカメラ視点座標・視線方向ベクトルを共通座標系に変換する第５のステップと、
前記第５のステップで計算されたすべてのカメラ視点座標・視線方向ベクトルを共通座標系において、誤差が最小となるように最適化を行う第６のステップとを有することを特徴とする広域多視点カメラ校正方法。
共通視野を持つカメラが一つのグループになり、かつ異なるグループ間に共通に属するカメラが存在するように、複数のグループにグループ分けされたカメラ群における、各カメラの視点位置及び視線方向を同一座標系において計測する広域多視点カメラ校正装置であって、
各グループの共通視野に入るように配置されたキャリブレーションボードを撮影した、各グループのカメラのカメラ画像上で前記キャリブレーションボードの特徴点対応付けを行う第１の手段と、
各グループのカメラについて、前記第１の手段で得られた対応点付け情報をもとに、個々のカメラの視点座標・視線方向ベクトルを求める第２の手段と、
グループ間の共通カメラを手がかりに、すべてのカメラ視点座標・視線方向ベクトルを共通座標系に変換する第３の手段と、
前記第３の手段で計算されたすべてのカメラ視点座標・視線方向ベクトルを共通座標系において、誤差が最小となるように最適化を行う第４の手段とを有することを特徴とする広域多視点カメラ校正装置。
前記第１の手段と前記第２の手段は、各グループ毎に設けられることを特徴とする請求項２に記載の広域多視点カメラ校正装置。
請求項２に記載の広域多視点カメラ校正装置の各手段を、コンピュータに実行させるためのプログラム。