JP2007327750A

JP2007327750A - カメラ位置検出方法

Info

Publication number: JP2007327750A
Application number: JP2006156780A
Authority: JP
Inventors: Kenji Iwata; 健司岩田; Katsutaka Sato; 雄隆佐藤
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2006-06-06
Filing date: 2006-06-06
Publication date: 2007-12-20
Anticipated expiration: 2026-06-06
Also published as: JP4812099B2

Abstract

【課題】複数のカメラの位置を人手を介することなく自動で検出することができるカメラ位置検出方法を提供する。
【解決手段】パノラマカメラにより複数のカメラを撮影する第１ステップと、駆動機構を制御して複数のカメラを動作させる第２ステップと、パノラマカメラにより複数のカメラを動作させた後の複数のカメラを撮影する第３ステップと、複数のカメラの動作の前後のカメラを撮像した差分画像のデータにより撮影画像中の複数のカメラを特定するデータ処理を行う第４ステップと、特定された複数のカメラが撮像されている画像により前記複数のカメラの位置を算出するデータ処理を行う第５ステップとの処理を行う。
【選択図】なし

Description

本発明は、複数のカメラの位置を人手を介することなく自動で検出することができるカメラ位置検出方法に関するものである。

複数のカメラを協調させてモニタリングを行う監視装置においては、カメラの設置位置や方向などを正確に調整する必要がある（カメラ位置のキャリブレーション）。例えば、カメラＡが追跡していた人物がカメラＡの守備範囲外に出る場合、隣接する領域に守備範囲を持つカメラＢに追跡を引き継ぐことを考える。このときカメラＡとカメラＢの位置関係（およびそれぞれの設置方向）が既知であれば、それぞれが共通の座標系を持つことになり、容易にカメラ間での情報交換を行うことができる。

一方、両者間の位置関係が未知である場合、互いに共通の座標系を持たないため、情報交換を行うことができない。このため、複数のカメラを協調させて動作させる場合には、共通の座標系を設けるためにカメラ位置のキャリブレーションを行う必要がある。

しかしながら、カメラ位置のキャリブレーションには専門的な知識と、多くの時間を要する。特に、例えば、イベント会場でのセキュリティ向上のために運用する場合などにおいては、設置／撤去が頻繁に行われることになり、設置のたびに大きなコストをかけてカメラ位置のキャリブレーションを行うことになる。

このカメラ位置のキャリブレーションの手間を軽減することは、複数のカメラを協調させてモニタリングを行う監視装置における最重要課題の１つとなっている。

カメラ位置のキャリブレーションに関する公知文献として、つぎのような特許文献１および特許文献２が参照できる。例えば、特許文献１においては、ステレオカメラシステムのストレオカメラ同士のキャリブレーション方法が提案されている。このキャリブレーション方法では、第１および第２のステレオカメラがそれぞれ捉えた人物の数が同数の場合に、一方のステレオカメラが捉えた（各）人物に相関する投影人物領域の位置と他方のステレオカメラが捉えた（各）人物に相関する投影人物領域の位置とを比較し、位置がずれていた場合に、例えば投影人物領域の重心位置を一致させるようキャリブレーション補正を行う。

また、特許文献２においては、ユーザの顔を撮影するカメラの画像出力から顔の動きを計測すると同時に、背景マーカを計測することによりカメラキャリブレーションを行う顔情報計測システムが提案されている。この顔情報計測システムによれば、顔の動きの計測中にも、同時にカメラキャリブレーションを行うことで、ステレオカメラの位置の変化、ズームの変化などに対応できる。
特開２００５−２３３６３９号公報特開２００５−２６７２５８号公報

ところで、カメラ位置キャリブレーションにはいくつかの方法があるが、例えば、カメラＡとカメラＢのカメラ位置キャリブレーションを行う場合、カメラＡで撮影した画像中にカメラＢが（あるいはカメラＢで撮影した画像中にカメラＡが）写っている場合、互いの位置関係を求める上での大きな手がかりとなる。このとき、カメラＡで撮影した画像中でのカメラＢの位置を知る、すなわちカメラＡで撮影した画像の中からカメラＢの姿を見つけ出す必要があるが、一般には、その自動検出は難しい。

本発明は、上記のような問題を解決するためになされたものであり、本発明の目的は、複数のカメラの位置を人手を介することなく、自動で検出することができるカメラ位置検出方法を提供することにある。

上記のような目的を達成するため、本発明によるカメラ位置検出方法は、カメラの動作を制御する駆動機構をそれぞれに有する複数のカメラと、前記複数のカメラを撮影するパノラマカメラと、前記複数のカメラおよび前記パノラマカメラを制御すると共に各カメラの撮像画像を入力してデータ処理を行うデータ処理装置を有し、前記複数のカメラおよび前記パノラマカメラからの撮像画像によりカメラの位置関係を求めるカメラ位置検出方法であって、前記パノラマカメラにより前記複数のカメラを撮影する第１ステップと、前記駆動機構を制御して前記複数のカメラを動作させる第２ステップと、前記パノラマカメラにより前記複数のカメラを動作させた後の複数のカメラを撮影する第３ステップと、前記複数のカメラの動作の前後のカメラを撮像した差分画像のデータにより撮影画像中の複数のカメラを特定するデータ処理を行う第４ステップと、前記特定された複数のカメラが撮像されている画像により前記複数のカメラの位置を算出するデータ処理を行う第５ステップとを有することを特徴とするものである。

この場合に、カメラの動作を制御する駆動機構は、カメラのパン・チルト・ズーム機能の駆動機構であり、また、カメラにはマークを付け、第４ステップにおいては、カメラに付加されたマークを検出して複数のカメラを特定するように構成されてもよい。また、ここでのパノラマカメラとして、カメラの動作を制御する駆動機構をそれぞれに有する複数のカメラのうちの１つを用いるようにしてもよい。

本発明によるカメラ位置検出方法によれば、例えば、カメラのパン・チルト・ズーム機能の駆動機構などによるカメラの物理的な運動を行わせ、動きの前後で画像の差分をとることにより、動きのあるカメラを画像中から特定し、その特定されたカメラを検出することができる。これにより、人手を介することなく、自動的に画像中に写るカメラの位置を検出することができる。

具体的には、パン・チルト・ズームカメラ（ＰＴＺカメラ）のように、カメラの動作を制御するための駆動機構を制御し、その動きの前後におけてカメラを撮影することにより、動きのあるカメラを画像中において特定し、特定されたカメラの位置を、撮影方向が異なるカメラで撮影した複数枚の画像からカメラの位置を算出する。これにより、画像中におけるカメラ位置を自動的に検出する。従来、手動で手間をかけて行っていたカメラ位置の指定が自動化され、カメラ位置キャリブレーションの手間の軽減に大きく貢献する。

以下、図面を参照して、本発明の実施例について説明する。図１は、本発明によるカメラ位置検出方法を一態様で実施するためのシステムの構成を説明する図である。図１において、１１はカメラ位置の検出対象となる第１のカメラ、１２は同じくカメラ位置の検出対象となる第２のカメラである。第１のカメラ１１および第２のカメラ１２は、それぞれにパン・チルト・ズーム機能のための駆動機構を有しており、図示しない制御装置によりその動作が制御される。また、１３は広い視野角を有するパノラマカメラであり、パノラマカメラ１３についても、図示しない制御装置によりその動作が制御される。

また、図１において、１００はキーボードおよびマウスからの入力操作を受け付けるとともに外部から測定データを入力するための入力ポートを備えた入力部、１０１は例えば数値データ等の入力操作のためのキーボード、１０２はシステムを操作する入力操作のためのポインティングデバイスのマウスである。１０３はマイクロプロセッサ（ＣＰＵ）およびメモリなどのシステム装置から構成される演算部、１０４は例えばディスプレイ装置から構成される出力部、１０５はハードディスク装置などから構成されるデータ格納装置である。

データ格納装置１０５には、入力部１００および演算部１０３を介して、第１のカメラ１１，第２のカメラ１２、パノラマカメラ１３により撮像された画像データが一時的に格納されると共に、演算部１０３により、データ格納部１０５に格納された画像データが読み出されて、演算部１０３において、この画像データに対するデータ処理が行われて、カメラ位置を検出する計算が行われる。

システム構成において、パノラマカメラ１３としては、例えば、ＰｏｉｎｔＧｒａｙＲｅｓｅａｒｃｈ社製の「Ｌａｄｙｂｕｇ２」を用いており、第１のカメラ１１および第２のカメラ１２としては、例えば、ＳＯＮＹ株式会社製の「ＥＶＩ−Ｄ１００」を用いている。ここでの入力部１００、キーボード１０１、マウス１０２、演算部１０３、出力部１０４およびデータ格納部１０５としては、これらの機能を有するパーソナルコンピュータシステムを用いることができる。また、そのパーソナルコンピュータシステムを、第１のカメラ１１，第２のカメラ１２、パノラマカメラ１３を制御するための制御装置として機能させるようにしてもよい。

第１のカメラ１１および第２のカメラ１２であるＰＴＺカメラの位置を検出するために、基本的な動作として、（１）ＰＴＺカメラの物理的な運動を背景差分法、フレーム間差分法、オプティカルフロー、パターンマッチングなどの差分検出技術全般のいずれかを用いて検出する。

また、ここではカメラ位置を検出する精度を向上させるために、次のように工夫されてもよい。
（１）ＰＴＺカメラ運動前の差分画像のＮＯＴにはカメラと、静止領域が含まれる。
（２）ＰＴＺカメラ運動後の差分画像にはカメラと、動領域・ノイズなどが含まれる。
（３）（１）（２）のＡＮＤをとることで動物体・ノイズなどを含むカメラ領域を得る。
（４）（３）を複数回繰り返し、全てのＡＮＤをとることでカメラのみを検出する。

（５）カメラに検出しやすいマークを付ける。
（６）様々なカメラ姿勢において得た処理結果を統合し、より正確な位置検出を行う。
ようにされてもよい。

また、上記のシステム構成では、１台のパノラマカメラと複数のＰＴＺカメラを使用して、パノラマカメラ（１３）とＰＴＺカメラ（１１，１２）の位置関係を自動的に求めるようにしており、検出対象を広範囲とするためにパノラマカメラを用いたが、このパノラマカメラは、例えば、目的に応じて通常の固定カメラ、ＰＴＺカメラなどに置き換えることができる。

システムの設置を容易にするため、本発明にかかるカメラ位置検出方法による簡易キャリブレーションを自動的に行う。この場合のカメラを設置する場合の制約条件は以下の２点である。
（１）互いのカメラが見える位置に設置する。
（２）ＰＴＺカメラからパノラマカメラの方向を検出するためにカメラを地面と水平となるように設置する。

図２は、本発明にかかるカメラ位置検出方法による簡易キャリブレーション処理の処理フローを示すフローチャートである。ここでの簡易キャリプレーションのデータ処理は、図２に示すような処理フローにより行われるが、これについて概要を説明する。

簡易キャリプレーションでは、まず、パノラマカメラから見たＰＴＺカメラの位置を発見する。基本的には、ＰＴＺカメラを首振り動作させ、その動きをパノラマ画像中から検出することでＰＴＺカメラを発見する。ただしパノラマ画像は、広範囲を撮影しているため、ＰＴＺカメラ以外の動物体や、ノイズなども含まれている。そこで、差分検出技術とＰＴＺカメラの首振り動作を同期させることで、ロバストにＰＴＺカメラの位置を検出する。

画像中の任意の位置ｐにおける、背景撮影時と異なるパン・チルト角での差分検出結果をＩ_ｔ（ｐ）、同じパン・チルト角での差分検出結果をＪ_ｔ（ｐ）とする。ｔは画像の取得回数で、ｔ＝１，２，３…とする。Ｉ_ｔ（ｐ）、Ｊ_ｔ（ｐ）は２値画像で、差分のない場合は０、ある場合を１とする。

当然Ｉ_ｔ（ｐ）中にはＰＴＺカメラの領域は１になり、Ｊ_ｔ（ｐ）では０になる。このことを利用し、ＰＴＺカメラ候補領域Ｋ_ｔ（ｐ）は、

で求められる。ここで・は論理積（ａｎｄ）、￣はビット反転（ｎｏｔ）を表す。ただしこのＫ_ｔ（ｐ）には、ＰＴＺカメラ以外に、Ｊ_ｔ（ｐ）における動物体領域と、Ｉ_ｔ（ｐ）における静止領域や、照明のちらつき等によるノイズが含まれている。そこで、ＰＴＺカメラを繰り返し駆動させ、複数のＫ_ｔ（ｐ）を取得し、その論理積を取ることで、ＰＴＺカメラ以外の領域を除去する。具体的にはＬ_０（ｐ）＝１として、

を算出しラベリングを行い、Ｌ_ｔ（ｐ）に一定範囲の大きさの連結領域が１つだけになるまで繰り返す。これによりＰＴＺカメラのみを検出する。

図３は、カメラ位置検出方法により実際にカメラ位置の検出を行ったデータ処理を画像を例示して説明する図である。背景撮影時と異なるパン・チルト角での画像が図３（ａ）であり、このときの差分画像が図３（ｂ）である。ＰＴＺカメラは画像中央付近の三脚上に設置してある。このように、ＰＴＺカメラが差分領域として得られているが、それ以外に動いている人物や、ノイズが多く見られる。背景撮影時と同じパン・チルト角での画像が図３（ｃ）であり、このときの差分画像が（ｄ）である。このとき、ＰＴＺカメラは差分領域に現れないので、ビットを反転して、図３（ｂ）の画像との論理積を取ることにより、ＰＴＺカメラ領域を残したまま、図３（ｅ）のようにノイズや人物などを消すことができる。

ただし、この場合でも、図３（ａ）の時点で動いていて、図３（ｃ）の時点で静止していると判断された領域が残っている。もう一度画像を取得し、ＰＴＺカメラ候補領域の論理積をとることで、図３（ｆ）のように大部分のノイズを消すことができる。これを連結領域が一つになるまで繰り返すことで、図３（ｇ）のようにＰＴＺカメラ領域のみを得ることができる。

次に、ＰＴＺカメラより、パノラマカメラの位置を探し出し、パン・チルトの姿勢と、カメラ間の距離を求める。パノラマカメラはＰＴＺカメラのように機械的に運動させることができないため、画像内のパノラマカメラの形状および色などの画像の特徴から探し出す。ただし、パノラマカメラからＰＴＺカメラの方向は既に分かっているため、チルト角を固定にして、パン角のラインサーチで済む。ここで、利用したパノラマカメラのＬａｄｙｂｕｇ２は、赤色の円筒形状をしており、この特徴的な色と形状を検出することによって、パノラマカメラを検出する。形状や色の特徴を持たないパノラマカメラを用いる場合は、発見が容易なマーカをカメラ本体に付加する。カメラ間の距離は、ＰＴＺカメラのズーム値と撮影されたパノラマカメラの大きさの関係、およびオートフォーカス値を使用して求める。

社会的なセキュリティ意識の高まりにより監視カメラシステムの需要は急速に高まっている。従来は、単一のカメラが単独で画像を記録するレベルの製品が主流であったが、今後は複数のカメラを協調させて広範囲を同時且つ協調的に監視するためのシステムのニーズが高まることが予想されている。

このようなシステムにおける最大の難点はその設置にかかるコストである。設置のたびに専門家が時間をかけて精密にカメラ設置の調整を行うことは大きなコスト増大をもたらす。本発明はこの作業を自動化するために必要な要素技術であり、産業上の利用価値は極めて高い。

本発明にかかるカメラ位置検出方法を一態様で実施するシステム構成を説明する図である。本発明にかかるカメラ位置検出方法による簡易キャリブレーション処理の処理フローを示すフローチャートである。カメラ位置検出方法により実際にカメラ位置の検出を行ったデータ処理を画像を例示して説明する図である。

符号の説明

１１ＰＴＺカメラ
１２ＰＴＺカメラ
１３パノラマカメラ
１００入力部
１０１キーボード
１０２マウス
１０３演算部
１０４出力部
１０５データ格納部

Claims

カメラの動作を制御する駆動機構をそれぞれに有する複数のカメラと、
前記複数のカメラを撮影するパノラマカメラと、
前記複数のカメラおよび前記パノラマカメラを制御すると共に各カメラの撮像画像を入力してデータ処理を行うデータ処理装置を有し、
前記複数のカメラおよび前記パノラマカメラからの撮像画像によりカメラの位置関係を求めるカメラ位置検出方法であって、
前記パノラマカメラにより前記複数のカメラを撮影する第１ステップと、
前記駆動機構を制御して前記複数のカメラを動作させる第２ステップと、
前記パノラマカメラにより前記複数のカメラを動作させた後の複数のカメラを撮影する第３ステップと、
前記複数のカメラの動作の前後のカメラを撮像した差分画像のデータにより撮影画像中の複数のカメラを特定するデータ処理を行う第４ステップと、
前記特定された複数のカメラが撮像されている画像により前記複数のカメラの位置を算出するデータ処理を行う第５ステップと
を有することを特徴とするカメラ位置検出方法。
請求項１に記載のカメラ位置検出方法において、
前記カメラの動作を制御する駆動機構は、カメラのパン・チルト・ズーム機能の駆動機構である
ことを特徴とするカメラ位置検出方法。
請求項１に記載のカメラ位置検出方法において、
前記カメラにはマークを付け、
第４ステップにおいては、カメラに付加されたマークを検出して複数のカメラを特定する
ことを特徴とするカメラ位置検出方法。
請求項１に記載のカメラ位置検出方法において、
前記パノラマカメラとして、カメラの動作を制御する駆動機構をそれぞれに有する複数のカメラのうちの１つを用いる
ことを特徴とするカメラ位置検出方法。