JP2005233639A - ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 - Google Patents

Abstract

【課題】 ステレオカメラ同士のキャリブレーションを自動的に行うステレオカメラシステムを提供する。
【解決手段】 システム２は、ステレオカメラ６Ａ，６Ｂと、各ステレオカメラが撮像した第１および第２のステレオ画像に基づいて、ステレオ視の原理により、第１および第２のステレオ画像内に捉えられた人物の第１および第２の三次元位置を算出する三次元位置算出部１６と、第１および第２の三次元位置に基づいて、第１および第２のステレオ画像内に捉えられた人物を二次元平面に投影した投影像に相関する第１および第２の投影人物領域を含む第１および第２の画像を作成する投影人物領域算出部１８と、第１および第２の画像に含まれる投影人物領域が同数の場合、第１および第２の投影人物領域の相対位置関係に基づいて、ステレオカメラ同士のキャリブレーションの補正を行うキャリブレーション補正部２１と、を備える。
【選択図】図１

Description

本発明は、複数のステレオカメラを備えたステレオカメラシステムに関する。本発明はまた、該システムのステレオカメラ同士のキャリブレーションを行う方法に関する。

従来、所定の観察場所で人物の存在を検出する目的でステレオカメラを複数配置したステレオカメラシステムが、例えば非特許文献１において提案されている。このシステムでは、各ステレオカメラの設置時にステレオカメラ同士のキャリブレーションを行っている。
依田育士、他１名、「ユビキタスステレオビジョンによる実時間実環境ヒューマンセンシング」、画像センシングシンポジウム、Ｆ−１９、ｐ．３９７−４０２、２００３年６月

しかしながら、キャリブレーション時に設定した各ステレオカメラの三次元位置および／または姿勢が誤差を含む（あるステレオカメラの設置時の実際の三次元位置および／または姿勢が、キャリブレーション時にシステムに記憶させたステレオカメラの情報とずれている）可能性がある。また、ステレオカメラシステムを稼動中、誰かが故意にステレオカメラを動かしたり偶然にステレオカメラが動いたりして実際と記憶した値とでずれが生じる可能性がある。このような場合、再度ステレオカメラシステムの管理者などはテストパターンを用いてステレオカメラ同士のキャリブレーションを手動で行う必要がある。

そこで、本発明は、ステレオカメラ同士のキャリブレーションを自動的に行うステレオカメラシステムを提供することを目的とする。

本発明はまた、ステレオカメラの設置後にステレオカメラ同士のキャリブレーションを簡易に行うキャリブレーション方法を提供することを目的とする。

上記目的を達成するために、本発明に係るステレオカメラシステムは、
第１および第２のステレオカメラと、
第１および第２のステレオカメラが撮像した第１および第２のステレオ画像に基づいて、ステレオ視の原理により、第１および第２のステレオ画像内に捉えられた人物の第１および第２の三次元位置をそれぞれ算出する三次元位置算出部と、
三次元位置算出部により算出した第１および第２の三次元位置に基づいて、第１および第２のステレオ画像内に捉えられた人物を二次元平面に投影した投影像に相関する第１および第２の投影人物領域を含む第１および第２の画像をそれぞれ作成する投影人物領域算出部と、
第１および第２の画像にそれぞれ含まれる投影人物領域が同数の場合、第１および第２の投影人物領域の相対位置関係に基づいて、第１および第２のステレオカメラ同士のキャリブレーションの補正を行うキャリブレーション補正部と、
を備えることを特徴とする。

好適な実施形態では、
第１の画像に含まれる各第１の投影人物領域に関する隠蔽領域および第２の画像に含まれる各第２の投影人物領域に関する隠避領域を算出する隠蔽領域算出部をさらに備え、
キャリブレーション補正部は、第１および第２の画像にそれぞれ含まれる投影人物領域が同数二つ以上の場合、第１および第２の投影人物領域の相対位置関係とともに隠蔽領域に基づいて、第１および第２のステレオカメラ同士のキャリブレーションの補正を行う。
ここで、隠蔽領域とは、第１および第２のステレオカメラにとって人物により遮蔽されるために死角となる空間に相関する、第１および第２の画像上における領域である。

本発明に係るキャリブレーション方法は、
第１と第２のステレオカメラ間のキャリブレーション方法において、
第１および第２のステレオカメラが撮像した第１および第２のステレオ画像に基づいて、ステレオ視の原理により、第１および第２のステレオ画像内に捉えられた人物の第１および第２の三次元位置をそれぞれ算出する三次元位置算出工程と、
三次元位置工程で算出した第１および第２の三次元位置に基づいて、第１および第２のステレオ画像内に捉えられた人物を二次元平面に投影した投影像に相関する第１および第２の投影人物領域を含む第１および第２の画像をそれぞれ作成する投影人物領域算出工程と、
第１および第２の画像にそれぞれ含まれる投影人物領域が同数の場合、第１および第２の投影人物領域の相対位置関係に基づいて、第１および第２のステレオカメラ同士のキャリブレーションの補正を行うキャリブレーション補正工程と、
を含むことを特徴とする。

好適な実施形態では、
第１の画像に含まれる各第１の投影人物領域に関する隠蔽領域および第２の画像に含まれる各第２の投影人物領域に関する隠避領域を算出する隠蔽領域算出工程をさらに含み、
キャリブレーション補正工程は、第１および第２の画像にそれぞれ含まれる投影人物領域が同数二つ以上の場合、第１および第２の投影人物領域の相対位置関係とともに隠蔽領域に基づいて、第１および第２のステレオカメラ同士のキャリブレーションの補正を行う。

本発明によれば、第１および第２のステレオカメラがそれぞれ捉えた人物の数が同数の場合、一方のステレオカメラが捉えた（各）人物に相関する投影人物領域の位置と他方のステレオカメラが捉えた（各）人物に相関する投影人物領域の位置とを比較し、位置がずれていた場合に、例えば投影人物領域の重心位置を一致させるようキャリブレーションの補正を行う。したがって、システム稼動中に簡易にセルフキャリブレーションを実行することができる。さらに、好適な実施形態においては、投影人物領域の隠蔽領域を算出することにより、人物の陰に隠れた人が存在するために第１および第２のステレオカメラがそれぞれ捉えた人物の数が同数となる場合であっても、一方のステレオカメラが捉えた各人物に相関する投影人物領域が、他方のステレオカメラが捉えた各人物に相関する投影人物領域のどれに対応するかを判断でき、さらに高精度なキャリブレーション補正を行うことができる。

以下、添付図面を参照して本発明に係る実施の形態を説明する。

実施の形態１．
図１は、本発明に係る実施の形態１のキャリブレーション方法を行う本発明に係るステレオカメラシステム（以下、単にカメラシステムという。）を示す概略構成図である。このカメラシステム２は、概略、所定の範囲を視野内に捉える第１および第２のステレオカメラ６（６Ａ，６Ｂ）と、観察場所で各ステレオカメラ６が捉えた人物Ｐの三次元位置の計測などを行うホストコンピュータ８とを備える。各ステレオカメラ６は一対のカメラ（左右カメラ）を備えている。本願では、左右カメラ同士のキャリブレーションは正確に行われているものとする。

ホストコンピュータ８の制御部１０には、ステレオカメラ６Ａで撮像した第１のステレオ画像（左右カメラでそれぞれ撮像した一対の画像）の時系列データを記憶するための画像メモリ１２Ａ、ステレオカメラ６Ｂで撮像した第２のステレオ画像の時系列データを記憶するための画像メモリ１２Ｂ、予め決められたステレオカメラ６Ａ，６Ｂ（の左右カメラ）の三次元位置・姿勢などの情報（位置に関して３つ、姿勢に関して３つ合計６つのパラメータ）を管理するためのカメラ情報管理部１４、ステレオカメラ６Ａで撮像したステレオ画像を基に人物Ｐの第１の三次元位置を算出するとともに、ステレオカメラ６Ｂで撮像したステレオ画像を基に人物Ｐの第２の三次元位置を算出するための三次元位置算出部１６、該算出部１６で算出した第１および第２の三次元位置に基づいて、ステレオ画像内に捉えられた人物を床面（地平面）に投影した投影像に相関する第１および第２の「投影人物領域」を含む第１および第２の画像を作成する投影人物領域算出部１８、人物Ｐにより隠蔽されるステレオカメラの死角に対応する「隠蔽領域」を算出する隠蔽領域算出部２０、ステレオカメラ６Ａ，６Ｂ同士のキャリブレーションに誤差があったときに該キャリブレーションの補正を行うキャリブレーション補正部２１等が接続されている。本実施形態では、後述するように、各ステレオカメラ６Ａ，６Ｂで一人が観察されている場合に、ステレオカメラ６Ａ，６Ｂ同士のキャリブレーションの補正を行う。なお、観察場所としては、人の往来が少なく観察場所には人が存在していても一人の可能性が高い場所が選択されるのが好ましい。

図２に示すように、三次元位置算出部１６は、ブロックマッチング部２４およびステレオ視演算部２６を備えている。ブロックマッチング部２４は、各ステレオ画像を構成する一方の画像のブロックに対応する他方の画像のブロックを探索することにより、左右画像間の対応付けを行うためのものである。ステレオ視演算部２６は、ブロックマッチング部２４で対応付けられたステレオ画像上の点の座標と、カメラ情報管理部１４で管理されたステレオカメラの位置・姿勢などのデータに基づき、ステレオ視の原理を用いて、対応付けられた点の三次元位置（世界座標系での座標（Ｘ、Ｙ、Ｚ）；Ｘ，Ｙは床面に沿った座標、Ｚは高さ方向の座標）を求めるようになっている。

図１に戻って、投影人物領域算出部１８は、各ステレオカメラ６に対応して、対応付けられた各点の空間座標（Ｘ，Ｙ，Ｚ）を平面座標（Ｘ，Ｙ）に変換し、各平面座標（Ｘ，Ｙ）とＺ座標の数との関係を示すヒストグラムを算出するようになっている。但し、対応付けられた各点の空間座標（Ｘ，Ｙ，Ｚ）のＸ，Ｙ，Ｚ各方向に関するステレオ距離の測定誤差を考慮してヒストグラムを算出する。投影人物領域算出部１８はさらに、Ｚ座標の数が所定の閾値以上の（Ｘ，Ｙ）座標の画素を「１」、所定の閾値より小さい（Ｘ，Ｙ）座標の画素をノイズと見なして「０」とした第１および第２の２値化画像を作成するようになっている。本実施形態では、この画素「１」の集合が、ステレオ画像内に捉えられた人物を床面（地平面）に投影した投影像に相関する「投影人物領域」に相当する。図３は、第１および第２のステレオカメラ６Ａ，６Ｂにそれぞれ対応する第１および第２の「投影人物領域」Ｐ_Ａ，Ｐ_Ｂを含む第１および第２の２値化画像３０Ａ，３０Ｂの例である。図では簡単のため投影人物領域を円で表示してある。

隠蔽領域算出部２０は、投影人物領域算出部１８により作成した２値化画像３０Ａ，３０Ｂ上において、投影人物領域Ｐ_Ａ，Ｐ_Ｂにより隠蔽される領域Ｏ_Ａ，Ｏ_Ｂを算出するためのものである。隠蔽領域Ｏ_Ａ，Ｏ_Ｂは、ステレオカメラ６Ａ，６Ｂの姿勢情報などに基づいて算出される。

キャリブレーション補正部２１は、投影人物領域Ｐ_Ａ，Ｐ_Ｂに位置ずれが生じている場合に、ステレオカメラ６Ａ，６Ｂのキャリブレーションに誤差が生じていると判断して、カメラ情報管理部１４に管理されたステレオカメラ６Ａ，６Ｂのパラメータを修正するためのものである。

ホストコンピュータ８は、所定の時刻においてキャリブレーションが正しい状態にあるか否かの確認を行い、必要であればキャリブレーションの補正を行う。この目的のために、投影人物領域算出部１８は、投影人物領域を算出するが、さらに、上記所定時刻の直前においても投影人物領域を算出し、これにより、上記所定時刻の直前における各投影人物領域の動きの履歴（過去の位置の情報）も算出するようになっている。この履歴の情報は、上記所定時刻の投影人物領域Ｐ_Ａ，Ｐ_Ｂの位置情報とともに投影人物領域情報記憶部３２に記憶されるようになっている。

以上の構成を備えたカメラシステム２のホストコンピュータ８によるキャリブレーション補正動作を、主に図４のフローチャートを参照して説明する。まず、ステップＳ４０１で、第１および第２のステレオカメラ６Ａ，６Ｂによる撮像を行い、時系列的に並んだ第１および第２の時系列ステレオ画像データを取得してそれぞれ画像メモリ１２Ａ，１２Ｂに記憶させる。ステップＳ４０２で、三次元位置算出部１６は、カメラ６Ａ，６Ｂで撮像した第１および第２の時系列ステレオ画像データの中からそれぞれ、所定時刻の第１および第２のステレオ画像フレームを選択する。ステップＳ４０３で、三次元位置算出部１６は、各ステレオ画像フレームを構成する一対の画像の対応点検索を行い、ステレオ視の原理により、各ステレオ画像フレームの対応付けられた各点の三次元位置（第１および第２の三次元位置）を算出する。

ステップＳ４０４で、投影人物領域算出部１８は、各ステレオ画像フレームの対応各点の空間座標（Ｘ，Ｙ，Ｚ）を基に、投影人物領域を含む２値化画像３０（３０Ａ，３０Ｂ）を作成する。２値化画像３０Ａ，３０Ｂは、投影人物領域情報記憶部３２に記憶される。

ステップＳ４０５で、各２値化画像３０Ａ，３０Ｂに投影人物領域が一つずつ、すなわちＰ_Ａ，Ｐ_Ｂを含む場合、フローはステップＳ４０６に進み、それ以外の場合は、フローを終了する。ステレオカメラ６Ａ，６Ｂに対応する投影人物領域が一つずつでない場合、キャリブレーションの補正を行わず、適当な時間経過後に再度投影人物領域を算出し、ステレオカメラ６Ａ，６Ｂに対応する投影人物領域が一つずつ存在する場合に以下に示すキャリブレーションの補正が行われる。

ステップＳ４０６で、投影人物領域Ｐ_Ａ，Ｐ_Ｂ間で位置ずれがなければ、ステレオカメラ６Ａ，６Ｂ同士のキャリブレーションは正確であるとしてフローを終了する。位置ずれがあれば、ステップＳ４０７に進み、投影人物領域Ｐ_Ａ，Ｐ_Ｂの動きの履歴を演算する。具体的には、画像メモリ１２Ａ，１２Ｂに記憶された時系列的に古いステレオ画像データを用いて、ステップＳ４０３，Ｓ４０４と同様にして投影人物領域Ｐ_Ａ，Ｐ_Ｂをそれぞれ含む第１および第２の２値化画像を算出する。投影人物領域Ｐ_Ａ，Ｐ_Ｂの動きの履歴は、投影人物領域情報記憶部３２に記憶される。ステップＳ４０８で、制御部１０は、投影人物領域情報記憶部３２に記憶された投影人物領域Ｐ_Ａ，Ｐ_Ｂの動きの履歴を比較する。履歴が略一致あるいは近ければ投影人物領域Ｐ_Ａ，Ｐ_Ｂは同一の人物に関する領域であると判断し、ステップＳ４０９で、キャリブレーション補正部２１は、図５（ａ）のように投影人物領域Ｐ_Ａ，Ｐ_Ｂが一致するようにステレオカメラ６Ａ，６Ｂの位置パラメータを修正する。一例としては、投影人物領域Ｐ_Ａの重心座標と投影人物領域Ｐ_Ｂの重心座標を求め、これら重心座標が一致するよう位置パラメータを修正する。履歴が異なっていれば投影人物領域Ｐ_Ａ，Ｐ_Ｂは別人物に関する領域であると判断し、ステップＳ４１０に進み、隠蔽領域算出部２０は、投影人物領域Ｐ_Ａ，Ｐ_Ｂの隠蔽領域Ｏ_Ａ，Ｏ_Ｂを算出する。

観察場所に二人存在するのにステレオカメラ６Ａ，６Ｂともに一人のみ観察するのは、（１）投影人物領域Ｐ_Ａが投影人物領域Ｐ_Ｂの隠蔽領域Ｏ_Ｂに位置し、その結果、ステレオカメラ６Ｂでは投影人物領域Ｐ_Ｂしか観察されず、ステレオカメラ６Ａでは二人とも観察されるはずが投影人物領域Ｐ_Ｂをノイズとして２値化画像で除外された場合［図５（ｂ）参照］、（２）投影人物領域Ｐ_Ｂが投影人物領域Ｐ_Ａの隠蔽領域Ｏ_Ａに位置し、その結果、ステレオカメラ６Ａでは投影人物領域Ｐ_Ａしか観察されず、ステレオカメラで６Ｂは二人とも観察されるはずが投影人物領域Ｐ_Ａをノイズと２値化画像で除外された場合［図５（ｃ）参照］などが考えられる。ステップＳ４１１で、制御部１０は、投影人物領域Ｐ_Ａ，Ｐ_Ｂの動きの履歴を比較することにより、（１）か（２）の位置関係が妥当であるかを判定し、フローはステップＳ４１２に進む。

ステップＳ４１２で、例えば（１）の関係にあると判定した場合、図５（ｂ）に示すように投影人物領域Ｐ_Ｂの隠蔽領域Ｏ_Ｂ内に投影人物領域Ｐ_Ａが位置するよう位置パラメータを修正し、フローを終了する。（２）の関係にあると判定した場合、図５（ｃ）に示すように投影人物領域Ｐ_Ａの隠蔽領域Ｏ_Ａ内に投影人物領域Ｐ_Ｂが位置するよう位置パラメータを修正し、フローを終了する。これらの場合、キャリブレーションの補正の正確性は粗いが、ステレオカメラ６Ａ，６Ｂを設置した後であっても、自動的にステレオカメラ６Ａ，６Ｂ同士のキャリブレーションを補正できる。

投影人物領域Ｐ_Ａ，Ｐ_Ｂが異なる人物に対応する場合、ステレオカメラ６Ａ，６Ｂがともに二人を捉えるのを待ってから実施の形態２で説明する二人を観察しながらのキャリブレーション補正を行ってもよい。

なお、ステレオカメラ６Ａ，６Ｂを観察場所を挟んで両側に配置する場合、観察場所に二人存在するのにステレオカメラ６Ａ，６Ｂともに一人のみ観察する状況として、上記（１）、（２）以外に、投影人物領域Ｐ_Ａ’がＰ_Ｂ’の隠蔽領域Ｏ_Ｂ’、投影人物領域Ｐ_Ｂ’がＰ_Ａ’の隠蔽領域Ｏ_Ａ’に位置する場合もある［図５（ｄ）］。この場合、（１）〜（３）のいずれの位置関係が妥当であるかを判断するか、あるいは、ステレオカメラ６Ａ，６Ｂがともに二人を捉えるのを待ってから後述する二人を観察しながらのキャリブレーション補正を行う。

実施の形態２．
本実施形態に係るキャリブレーション方法は、上記実施形態と同様図１，２に示すカメラシステム２に適用されるが、各ステレオカメラ６Ａ，６Ｂがともに二人を観察したとき（すなわち第１および第２の２値化画像に投影人物領域がそれぞれ２つ含まれる場合）にキャリブレーションの補正を行うものである。図６の例は、ステレオカメラ６Ａに対応する投影人物領域群（Ｐ_Ａ１，Ｐ_Ａ２）を含む２値化画像４０Ａ、ステレオカメラ６Ｂに対応する投影人物領域群（Ｐ_Ｂ１，Ｐ_Ｂ２）を含む２値化画像４０Ｂを示す。

以下、主に図７のフローチャートを参照して、カメラシステム２のホストコンピュータ８による本実施形態に係るキャリブレーション方法を説明する。まず、ステップＳ７０１で、第１および第２のステレオカメラ６Ａ，６Ｂによる撮像を行い、時系列的に並んだ第１および第２の時系列ステレオ画像データを取得してそれぞれ画像メモリ１２Ａ，１２Ｂに記憶させる。ステップＳ７０２で、三次元位置算出部１６は、カメラ６Ａ，６Ｂで撮像した第１および第２の時系列ステレオ画像データの中からそれぞれ、所定時刻の第１および第２のステレオ画像フレームを選択する。ステップＳ７０３で、三次元位置算出部１６は、各ステレオ画像フレームを構成する一対の画像の対応点検索を行い、ステレオ視の原理により、各ステレオ画像フレームの対応付けられた各点の三次元位置を算出する。

ステップＳ７０４で、投影人物領域算出部１８は、各のステレオ画像フレームの対応各点の空間座標（Ｘ，Ｙ，Ｚ）を基に、投影人物領域を含む２値化画像４０（４０Ａ，４０Ｂ）を作成する。２値化画像４０Ａ，４０Ｂは、投影人物領域情報記憶部３２に記憶される。

ステップＳ７０５で、各２値化画像に投影人物領域が二つずつ、すなわち（Ｐ_Ａ１，Ｐ_Ａ２），（Ｐ_Ｂ１，Ｐ_Ｂ２）が含まれる場合、フローはステップＳ７０６に進み、それ以外の場合は、フローを終了する。ステレオカメラ６Ａ，６Ｂに対応する投影人物領域の人数が異なる場合、キャリブレーションの補正を行わず、適当な時間経過後に再度投影人物領域を算出し、ステレオカメラ６Ａ，６Ｂに対応する投影人物領域が二つ存在する場合に以下に示すキャリブレーションの補正が行われる。

ステップＳ７０６で、投影人物領域群（Ｐ_Ａ１，Ｐ_Ａ２）と投影人物領域群（Ｐ_Ｂ１，Ｐ_Ｂ２）間で位置ずれがなければ、ステレオカメラ６Ａ，６Ｂ同士のキャリブレーションは正確であるとしてフローを終了する。位置ずれがあれば、ステップＳ７０７に進み、制御部１０は、投影人物領域Ｐ_Ａ１，Ｐ_Ａ２が投影人物領域Ｐ_Ｂ１，Ｐ_Ｂ２のどちらに対応するかを判断する。具体的には、（１）図８（ａ）に示すように投影人物領域Ｐ_Ａ１とＰ_Ｂ１、投影人物領域Ｐ_Ａ２とＰ_Ｂ２を一致させるように位置および姿勢パラメータを修正するか、あるいは、（２）図８（ｂ）に示すように投影人物領域Ｐ_Ａ１とＰ_Ｂ２、投影人物領域Ｐ_Ａ２とＰ_Ｂ１を一致させるように位置および姿勢パラメータを修正する。ステップＳ７０８で、投影人物領域Ｐ_Ａ１，Ｐ_Ａ２，Ｐ_Ｂ１，Ｐ_Ｂ２の動きを演算する。具体的には、画像メモリ１２Ａ，１２Ｂに記憶された時系列的に古いステレオ画像データを用いて、ステップＳ７０３，Ｓ７０４と同様にして投影人物領域Ｐ_Ａ１，Ｐ_Ａ２，Ｐ_Ｂ１，Ｐ_Ｂ２を含む２値化画像を算出する。投影人物領域Ｐ_Ａ１，Ｐ_Ａ２，Ｐ_Ｂ１，Ｐ_Ｂ２の動きの履歴は、投影人物領域情報記憶部３２に記憶される。ステップＳ７０９で、制御部１０は、投影人物領域情報記憶部３２に記憶された投影人物領域群（Ｐ_Ａ１，Ｐ_Ａ２）および（Ｐ_Ｂ１，Ｐ_Ｂ２）の動きの履歴に基づいて、ステップＳ７０７での修正パラメータが妥当か否か、すなわち（１）か（２）の位置関係が妥当であるかを判定する。代わりに、パラメータ修正量が所定の値の範囲内にあるか否か（例えば、姿勢パラメータが大幅に修正されていないか）に基づいて、（１）か（２）の位置関係が妥当であるかを判定してもよい。

ステップＳ７０９で、（１）か（２）の位置関係が妥当であれば、フローは終了する。（１）、（２）ともに妥当でない場合（Ｐ_Ａ１＝Ｐ_Ｂ１、Ｐ_Ａ２＝Ｐ_Ｂ２またはＰ_Ａ１＝Ｐ_Ｂ２、Ｐ_Ａ２＝Ｐ_Ｂ１のいずれも満たさない場合）、観察場所には三人いるのにもかかわらず他人によりいずれかの人物が隠蔽されたため、ステレオカメラ６Ａ，６Ｂはともに二人しか観察していないと判定し、フローはステップＳ７１０に進む。

ステップＳ７１０で、各投影人物領域Ｐ_Ａ１，Ｐ_Ａ２，Ｐ_Ｂ１，Ｐ_Ｂ２の隠蔽領域Ｏ_Ａ１，Ｏ_Ａ２，Ｏ_Ｂ１，Ｏ_Ｂ２（図６）を算出し、ステップＳ７１１で、隠蔽領域の情報に基づいてパラメータを修正し、フローを終了する。

投影人物領域Ｐ_Ａ１，Ｐ_Ａ２，Ｐ_Ｂ１，Ｐ_Ｂ２同士の対応関係としては、（ａ）投影人物領域Ｐ_Ａ１，Ｐ_Ｂ２が同一人物に対応し、投影人物領域Ｐ_Ａ２とＰ_Ｂ１がそれぞれ別の人物に対応する場合［図９（ａ）］、（ｂ）投影人物領域Ｐ_Ａ１，Ｐ_Ｂ１が同一人物に対応し、投影人物領域Ｐ_Ａ２とＰ_Ｂ２がそれぞれ別の人物に対応する場合［図９（ｂ）］、（ｃ）投影人物領域Ｐ_Ａ２，Ｐ_Ｂ２が同一人物に対応し、投影人物領域Ｐ_Ａ１とＰ_Ｂ１がそれぞれ別の人物に対応する場合［図９（ｃ）］、（ｄ）投影人物領域Ｐ_Ａ２，Ｐ_Ｂ１が同一人物に対応し、投影人物領域Ｐ_Ａ１とＰ_Ｂ２がそれぞれ別の人物に対応する場合［図９（ｄ）］が考えられる。しかしながら、（ｂ），（ｃ），（ｄ）のいずれの場合も、位置パラメータおよび／または姿勢パラメータを（所定の範囲内で）どのように修正しても（図の例では位置パラメータのみを修正している。）、隠蔽されていないのに観察もされていない人物が存在することになり（（ｂ）では投影人物領域Ｐ_Ｂ２，（ｃ）では投影人物領域Ｐ_Ａ１、（ｄ）では投影人物領域Ｐ_Ａ１とＰ_Ｂ２）、位置関係として妥当でない。これに対し、（ａ）の位置関係は、ステレオカメラ６Ａに関して投影人物領域Ｐ_Ｂ１が投影人物領域Ｐ_Ａ１（Ｐ_Ｂ２）の隠蔽領域Ｏ_Ａ１で隠蔽されて投影人物領域Ｐ_Ａ１（Ｐ_Ｂ２）とＰ_Ａ２に対応する二人の人物が観察され、ステレオカメラ６Ｂに関して投影人物領域Ｐ_Ａ２が投影人物領域Ｐ_Ｂ２（Ｐ_Ａ１）の隠蔽領域Ｏ_Ｂ２で隠蔽されて投影人物領域Ｐ_Ｂ２（Ｐ_Ａ１）とＰ_Ｂ１に対応する二人の人物が観察されるため、投影人物領域の位置関係として妥当である。なお、図（ａ）の例では位置パラメータのみを修正しているが、ステレオカメラ６Ａに関して投影人物領域Ｐ_Ｂ１が隠蔽領域Ｏ_Ａ１で隠蔽されステレオカメラ６Ｂに関して投影人物領域Ｐ_Ａ２が隠蔽領域Ｏ_Ｂ２で隠蔽される範囲において姿勢パラメータも変更することも可能である。このように、投影人物領域の隠蔽領域を算出することにより、一方の２値化画像に含まれる投影人物領域が他方の２値化画像に含まれるどの投影人物領域に対応するかを判定できる。

以上、本発明の具体的な実施形態について説明したが、本発明はこれらに限らず種々改変可能である。例えば、上記キャリブレーションの補正を行った後に、同一人物に関する各ステレオカメラ６Ａ，６Ｂに対応する投影人物領域の誤差を所定の時間間隔で求め、誤差が最小となるように修正後の位置パラメータおよび／姿勢パラメータを微調整してもよい。

また、上記実施形態では、第１および第２の２値化画像内にともに一つの投影人物領域または二つの投影人物領域が存在する場合にキャリブレーション補正を行ったが、投影人物領域が同数であれば三つ以上であってもよい。図１０（ａ）の例は、第１および第２のステレオカメラ６Ａ，６Ｂがともに三人を捉えた場合であり、投影人物領域Ｒ_Ａ１，Ｒ_Ａ２，Ｒ_Ａ３を含む２値化画像５０Ａはステレオカメラ６Ａに対応し、投影人物領域群Ｒ_Ｂ１，Ｒ_Ｂ２，Ｒ_Ｂ３を含む２値化画像５０Ｂはステレオカメラ６Ｂに対応する。観察場所に三人のみ存在していれば、各投影人物領域Ｒ_Ａ１，Ｒ_Ａ２，Ｒ_Ａ３が投影人物領域Ｒ_Ｂ１，Ｒ_Ｂ２，Ｒ_Ｂ３のいずれかに対応することになり、例えば投影人物領域Ｒ_Ａ１，Ｒ_Ａ２，Ｒ_Ａ３と投影人物領域Ｒ_Ｂ１，Ｒ_Ｂ２，Ｒ_Ｂ３の重心座標が一致するようステレオカメラ６Ａ，６Ｂの位置および／または姿勢パラメータを修正することになる。観察場所に四人以上存在していてもいずれかの人物が隠蔽されていれば、ステレオカメラ６Ａ，６Ｂがともに三人のみを観察することになる。この場合、投影人物領域Ｒ_Ａ１，Ｒ_Ａ２，Ｒ_Ａ３と投影人物領域Ｒ_Ｂ１，Ｒ_Ｂ２，Ｒ_Ｂ３との間で対応しない組み合わせが存在する。そこで、各投影人物領域Ｒ_Ａ１，Ｒ_Ａ２，Ｒ_Ａ３，Ｒ_Ｂ１，Ｒ_Ｂ２，Ｒ_Ｂ３の隠蔽領域Ｓ_Ａ１，Ｓ_Ａ２，Ｓ_Ａ３，Ｓ_Ｂ１，Ｓ_Ｂ２，Ｓ_Ｂ３を算出し、二つの投影人物領域同士が対応する相対位置関係（観察領域には四人存在する）と、一つの投影人物領域同士が対応する相対位置関係（観察領域には五人存在する）とから、隠蔽されていないのに観察されていない人物が存在することのないものを選択する。図１０（ａ）の例では、投影人物領域Ｒ_Ａ１とＲ_Ｂ２、投影人物領域Ｒ_Ａ２とＲ_Ｂ１がそれぞれ同一人物に対応する図１０（ｂ）の位置関係が選択され（ステレオカメラ６Ａに関して投影人物領域Ｒ_Ｂ３が投影人物領域Ｒ_Ａ１（Ｒ_Ｂ２）の隠蔽領域Ｓ_Ａ１で隠蔽され、ステレオカメラ６Ｂに関して投影人物領域Ｐ_Ａ３が投影人物領域Ｒ_Ｂ１（Ｒ_Ａ２）の隠蔽領域Ｓ_Ｂ１で隠蔽される。）、この位置関係に基づいてキャリブレーションの補正を行う。キャリブレーションの補正に利用する人物が多いと隠蔽が多発し、ステレオカメラ６Ａ，６Ｂが観察する人数が異なりキャリブレーション補正できない可能性が高くなるが、人数が少ない場合に比べてキャリブレーションの補正の精度をさらに高めることができる。

さらに、投影人物領域を含む画像は２値化画像に限らず、また、投影人物領域を算出する方法は上記実施形態に限らない。

加えて、上記実施形態では、キャリブレーションの補正の際にステレオカメラ６Ａ，６Ｂの位置および／または姿勢パラメータを変更したが、ステレオカメラとしてパン・チルトカメラを用い、姿勢パラメータを変更する代わりにパン・チルト角を変更してもよい。

本発明に係るステレオカメラシステムの一実施形態を示す概略構成図。 図１の三次元位置算出部を示すブロック図。 図１の投影人物領域算出部により作成された、第１および第２のステレオカメラに対応する第１および第２の２値化画像の例を示す図。 本発明に係るキャリブレーション方法の実施の形態１の一例を示すフローチャート。 図３の第１および第２の２値化画像に含まれる第１および第２の投影人物領域の位置関係の候補を示す図。 本発明に係るキャリブレーション方法の実施の形態２に関し、図１の投影人物領域算出部により作成された、第１および第２のステレオカメラに対応する第１および第２の２値化画像の例を示す図。 本発明に係るキャリブレーション方法の実施の形態２の一例を示すフローチャート。 図６の第１および第２の２値化画像に含まれる第１および第２の投影人物領域の位置関係の候補を示す図。 図６の第１および第２の２値化画像に含まれる第１および第２の投影人物領域の位置関係の候補を示す図。 （ａ）第１および第２のステレオカメラがともに三人を観察している状態における、第１および第２のステレオカメラに対応する第１および第２の２値化画像の例を示す図。（ｂ）図１０（ａ）の第１および第２の２値化画像に含まれる第１および第２の投影人物領域群の妥当な位置関係を示す図。

符号の説明

２ ステレオカメラシステム
６Ａ，６Ｂ ステレオカメラ
３０Ａ，３０Ｂ ２値化画像
４０Ａ，４０Ｂ ２値化画像
Ｐ_Ａ，Ｐ_Ｂ 投影人物領域
Ｏ_Ａ，Ｏ_Ｂ 隠蔽領域
Ｐ_Ａ１，Ｐ_Ａ２，Ｐ_Ｂ１，Ｐ_Ｂ２ 投影人物領域
Ｏ_Ａ１，Ｏ_Ａ２，Ｏ_Ｂ１，Ｏ_Ｂ２ 隠蔽領域

Claims (6)

1. 第１および第２のステレオカメラと、
   第１および第２のステレオカメラが撮像した第１および第２のステレオ画像に基づいて、ステレオ視の原理により、第１および第２のステレオ画像内に捉えられた人物の第１および第２の三次元位置をそれぞれ算出する三次元位置算出部と、
   三次元位置算出部により算出した第１および第２の三次元位置に基づいて、第１および第２のステレオ画像内に捉えられた人物を二次元平面に投影した投影像に相関する第１および第２の投影人物領域を含む第１および第２の画像をそれぞれ作成する投影人物領域算出部と、
   第１および第２の画像にそれぞれ含まれる投影人物領域が同数の場合、第１および第２の投影人物領域の相対位置関係に基づいて、第１および第２のステレオカメラ同士のキャリブレーションの補正を行うキャリブレーション補正部と、
   を備えたステレオカメラシステム。
2. 第１の画像に含まれる第１の投影人物領域に関する隠蔽領域および第２の画像に含まれる第２の投影人物領域に関する隠避領域を算出する隠蔽領域算出部をさらに備え、
   キャリブレーション補正部は、第１および第２の画像にそれぞれ含まれる投影人物領域が同数二つ以上の場合、第１および第２の投影人物領域の相対位置関係とともに隠蔽領域に基づいて、第１および第２のステレオカメラ同士のキャリブレーションの補正を行うことを特徴とする請求項１のステレオカメラシステム。
3. 第１および第２のステレオ画像は時系列ステレオ画像であり、
   ステレオカメラシステムは、時系列ステレオ画像に基づいて、所定時刻の第１および第２の投影人物領域を算出するとともに、該所定時刻直前の第１および第２の投影人物領域の動きの履歴を算出し、
   キャリブレーション補正部は、上記所定時刻の第１および第２の投影人物領域の相対位置関係および隠蔽領域とともに上記所定時刻の直前の第１および第２の投影人物領域の動きの履歴に基づいて、第１および第２のステレオカメラ同士のキャリブレーションの補正を行うことを特徴とする請求項２のステレオカメラシステム。
4. 第１および第２のステレオ画像は時系列ステレオ画像であり、
   第１および第２の画像に投影人物領域が一つずつ含まれる場合、
   ステレオカメラシステムは、時系列ステレオ画像に基づいて、所定時刻の第１および第２の投影人物領域を算出するとともに、該所定時刻直前の第１および第２の投影人物領域の動きの履歴を算出し、
   キャリブレーション補正部は、上記所定時刻の第１および第２の投影人物領域とともに上記所定時刻の直前の第１および第２の投影人物領域の動きの履歴に基づいて、第１および第２のステレオカメラ同士のキャリブレーションの補正を行うことを特徴とする請求項１のステレオカメラシステム。
5. 第１と第２のステレオカメラ間のキャリブレーション方法において、
   第１および第２のステレオカメラが撮像した第１および第２のステレオ画像に基づいて、ステレオ視の原理により、第１および第２のステレオ画像内に捉えられた人物の第１および第２の三次元位置をそれぞれ算出する三次元位置算出工程と、
   三次元位置工程で算出した第１および第２の三次元位置に基づいて、第１および第２のステレオ画像内に捉えられた人物を二次元平面に投影した投影像に相関する第１および第２の投影人物領域を含む第１および第２の画像をそれぞれ作成する投影人物領域算出工程と、
   第１および第２の画像にそれぞれ含まれる投影人物領域が同数の場合、第１および第２の投影人物領域の相対位置関係に基づいて、第１および第２のステレオカメラ同士のキャリブレーションの補正を行うキャリブレーション補正工程と、
   を含むキャリブレーション方法。
6. 第１の画像に含まれる第１の投影人物領域に関する隠蔽領域および第２の画像に含まれる第２の投影人物領域に関する隠避領域を算出する隠蔽領域算出工程をさらに含み、
   キャリブレーション補正工程は、第１および第２の画像にそれぞれ含まれる投影人物領域が同数二つ以上の場合、第１および第２の投影人物領域の相対位置関係とともに隠蔽領域に基づいて、第１および第２のステレオカメラ同士のキャリブレーションの補正を行うことを特徴とする請求項５のキャリブレーション方法。
   

Images