JP2005235104A - 移動体検出システム、移動体検出装置、移動体検出方法及び移動体検出プログラム - Google Patents

Abstract

【課題】空間内の移動体位置を正確に特定するとともに、当該位置特定された移動体の時間経過に伴う移動情報を正確に取得できるようにすること。
【解決手段】ステレオ基線に配置された２台の撮影装置１０ａ、１０ｂにより時刻同期をとって撮影した複数の時系列的なステレオ静止画像に基づき、各移動体が占める空間領域を特定し、当該ステレオ静止画像の背景画像に対する差分領域を抽出し、全画像領域に対する当該差分領域の面積率を算出し、当該面積率に基づいて移動体の混雑レベルを特定し、当該混雑レベルに応じた移動体テンプレートを上記特定した移動体の空間領域に割り当てて移動体を特定し、複数の時系列的なステレオ静止画像に基づいて移動体の動きを追跡し、同一移動体の移動体テンプレートに同じ色を付して各移動体の動きを記録し、当該色に基づいて移動体の移動情報を取得する。
【選択図】図３

Description

本発明は、通行人や車両等の移動体の数や、移動方向、移動時間等の移動情報を検出するための移動体検出システム、移動体検出装置、移動体検出方法及び移動体検出プログラムに関する。

従来、道路等を通行する通行人や車両等の移動体の数や、移動方向、移動時間等の移動情報を検出するための技術が種々考案されている。

例えば、特許文献１、２には、２台の撮影装置（ビデオカメラ等。）を用い、時刻同期をとって撮影した２つの画像（以下、ステレオ画像と総称するが、動画、静止画に応じてステレオ動画像、ステレオ静止画像と区別して称する場合がある。）に基づき、車両等の移動体の３次元座標を算出し、当該３次元座標に基づいて当該移動体を特定する技術が開示されている。

特に、特許文献１に開示された移動体検出技術では、ユークリッド距離のばらつきの度合いに基づいて剛体（この場合、移動体。）が特定（剛体か否かの判定）され、また、特許文献２に開示された移動体の検出技術では、移動体が人の場合、個々の人物の身長からクラスタリング処理を行うことによって人物が特定される。

また、最近では、上記ステレオ画像に基づいて、当該画像内の３次元物体の座標（形状）を特定する技術（以下、ステレオマッチング法という。）も考案されている（例えば、特許文献３参照。）。
特開平１１−６６３１９号公報 特開平１０−４９７１８号公報 特開平３−１６７６７８号公報

しかしながら、上記従来の技術には、次のような問題点がある。
すなわち、上記特許文献１、２及び３に開示された技術では、空間内（３次元座標系）における移動体位置（移動体が占める空間領域）が特定されるのみであり、当該特定された移動体に係る時間経過に伴う移動情報の取得は困難である。

本発明の課題は、空間内の移動体位置を正確に特定するとともに、当該位置特定された移動体の時間経過に伴う移動情報を正確に取得できるようにすることである。

上記課題を解決するため、請求項１に記載の発明は、
ステレオ基線に配置された２台の撮影装置と、当該２台の撮影装置により時刻同期をとって撮影される複数の時系列的なステレオ静止画像に基づいて、該ステレオ静止画像に写される移動体の検出を行う移動体検出装置とを備えた移動体検出システムにおいて、
前記移動体検出装置は、
前記ステレオ静止画像の各々に写されている各移動体が占める空間領域を特定する移動体領域特定手段と、
前記ステレオ静止画像の背景画像に対する差分領域を抽出し、全画像領域に対する当該差分領域の面積率を算出し、当該面積率に基づいて移動体の混雑レベルを特定する混雑レベル特定手段と、
前記特定された混雑レベルに応じた形状を有する移動体テンプレートを、前記各移動体が占める空間領域の各々に割り当てて該移動体を特定する移動体特定手段と、
を備えたことを特徴とする。

更に、請求項２に記載の発明のように、請求項１に記載の発明において、
前記移動体検出装置は、
前記時系列的な複数のステレオ静止画像に基づいて、前記各移動体の動きを追跡し、該移動体の移動情報を取得する移動情報取得手段を更に備えるのが好ましい。

更に、請求項３に記載の発明のように、請求項２に記載の発明において、
前記移動情報取得手段は、
前記移動体の追跡結果に基づいて、同一の移動体に対しては当該移動体の空間領域に割り当てられた移動体テンプレートに同一の色を付して当該移動体の動きを記録するとともに、該移動体テンプレートに付した色に基づいて各移動体の移動情報を取得するのが好ましい。

また、上記課題を解決するため、請求項４に記載の発明は、
ステレオ基線に配置された２台の撮影装置により時刻同期をとって撮影される複数の時系列的なステレオ静止画像の各々に写されている各移動体が占める空間領域を特定する移動体領域特定手段と、
前記ステレオ静止画像の背景画像に対する差分領域を抽出し、全画像領域に対する当該差分領域の面積率を算出し、当該面積率に基づいて移動体の混雑レベルを特定する混雑レベル特定手段と、
前記特定された混雑レベルに応じた形状を有する移動体テンプレートを、前記各移動体が占める空間領域の各々に割り当てて該移動体を特定する移動体特定手段と、
を備えたことを特徴とする。

更に、請求項５に記載の発明のように、請求項４に記載の発明において、
前記時系列的な複数のステレオ静止画像に基づいて、前記各移動体の動きを追跡し、該移動体の移動情報を取得する移動情報取得手段を更に備えるのが好ましい。

更に、請求項６に記載の発明のように、請求項５に記載の発明において、
前記移動情報取得手段は、
前記移動体の追跡結果に基づいて、同一の移動体に対しては当該移動体の空間領域に割り当てられた移動体テンプレートに同一の色を付して当該移動体の動きを記録するとともに、該移動体テンプレートに付した色に基づいて各移動体の移動情報を取得するのが好ましい。

また、上記課題を解決するため、請求項７に記載の発明は、
ステレオ基線に配置された２台の撮影装置により時刻同期をとって撮影される複数の時系列的なステレオ静止画像の各々に写されている各移動体が占める空間領域を特定するステップと、
前記ステレオ静止画像の背景画像に対する差分領域を抽出し、全画像領域に対する当該差分領域の面積率を算出し、当該面積率に基づいて移動体の混雑レベルを特定するステップと、
前記特定された混雑レベルに応じた形状を有する移動体テンプレートを、前記各移動体が占める空間領域の各々に割り当てて該移動体を特定するステップと、
を含むことを特徴とする。

更に、請求項８に記載の発明のように、請求項７に記載の発明において、
前記時系列的な複数のステレオ静止画像に基づいて、前記各移動体の動きを追跡し、該移動体の移動情報を取得するステップを更に含むのが好ましい。

更に、請求項９に記載の発明のように、請求項８に記載の発明において、
前記移動体の追跡結果に基づいて、同一の移動体に対しては当該移動体の空間領域に割り当てられた移動体テンプレートに同一の色を付して当該移動体の動きを記録するとともに、該移動体テンプレートに付した色に基づいて各移動体の移動情報を取得するステップを更に含むのが好ましい。

また、上記課題を解決するため、請求項１０に記載の発明は、
画像解析を行うコンピュータに、
ステレオ基線に配置された２台の撮影装置により時刻同期をとって撮影される複数の時系列的なステレオ静止画像の各々に写されている各移動体が占める空間領域を特定する機能と、
前記ステレオ静止画像の背景画像に対する差分領域を抽出し、全画像領域に対する当該差分領域の面積率を算出し、当該面積率に基づいて移動体の混雑レベルを特定する機能と、
前記特定された混雑レベルに応じた形状を有する移動体テンプレートを、前記各移動体が占める空間領域の各々に割り当てて該移動体を特定する機能と、
を実現させる。

更に、請求項１１に記載の発明のように、請求項１０に記載の発明において、
前記コンピュータに、
前記時系列的な複数のステレオ静止画像に基づいて、前記各移動体の動きを追跡し、該移動体の移動情報を取得する機能を更に実現させるのが好ましい。

更に、請求項１２に記載の発明のように、請求項１１に記載の発明において、
前記コンピュータに、
前記移動体の追跡結果に基づいて、同一の移動体に対しては当該移動体の空間領域に割り当てられた移動体テンプレートに同一の色を付して当該移動体の動きを記録するとともに、該移動体テンプレートに付した色に基づいて各移動体の移動情報を取得する機能を更に実現させるのが好ましい。

また、上記課題を解決するため、請求項１３に記載の発明は、
ステレオ基線に配置された左右２台の撮影装置と、当該２台の撮影装置により時刻同期をとって撮影される時系列的な複数フレームのステレオ静止画像に基づいて、該ステレオ静止画像に写される移動体の検出を行う移動体検出装置とを備えた移動体検出システムにおいて、
前記移動体検出装置は、
前記複数フレームのステレオ静止画像のうち、左右の各静止画像に対し、２フレーム分の静止画像間の差分を表すフレーム間差分画像と、当該２フレーム分の静止画像のうちの何れか一と背景画像との差分を表す背景差分画像とを作成し、その後、当該フレーム間差分画像と背景差分画像とを合成して当該合成画像内の移動体領域を特定する移動体領域特定手段と、
前記作成された左右のフレーム間差分画像内の各差分領域に対し、左右共通の３次元座標を割り付ける３次元計測手段と、
左右の静止画像毎に、前記２フレーム分の静止画像のうちの何れか一を減色させ、当該減色後の静止画像と前記特定された移動体領域とを重ね合わせ、当該重ね合わせ後の各移動体領域に対し色毎に異なるラベルを割り付け、当該ラベル付けされた各移動体領域に対し前記３次元座標を割り付け、当該３次元座標に基づいて当該ラベル付けされた各移動体領域を分離する移動体分離手段と、
二つの異なる時間に対応する前記移動体領域の重なり合いの度合いに応じて、当該各時間に対応する移動体が同一か否かを判定し、当該判定結果に基づいて移動体を追跡する移動体追跡手段と、
前記静止画像を予め複数の計測エリアに分割し、前記追跡中の移動体が、当該複数の計測エリアのうちのどの計測エリアをどの順序で通過したかを判別して、移動体の数と移動方向とを計測する移動体計測手段と、
を備えたことを特徴とする。

また、上記課題を解決するため、請求項１４に記載の発明は、
ステレオ基線に配置された左右２台の撮影装置により時刻同期をとって撮影される時系列的な複数フレームのステレオ静止画像のうち、左右の各静止画像に対し、２フレーム分の静止画像間の差分を表すフレーム間差分画像と、当該２フレーム分の静止画像のうちの何れか一と背景画像との差分を表す背景差分画像とを作成し、その後、当該フレーム間差分画像と背景差分画像とを合成して当該合成画像内の移動体領域を特定する移動体領域特定手段と、
前記作成された左右のフレーム間差分画像内の各差分領域に対し、左右共通の３次元座標を割り付ける３次元計測手段と、
左右の静止画像毎に、前記２フレーム分の静止画像のうちの何れか一を減色させ、当該減色後の静止画像と前記特定された移動体領域とを重ね合わせ、当該重ね合わせ後の各移動体領域に対し色毎に異なるラベルを割り付け、当該ラベル付けされた各移動体領域に対し前記３次元座標を割り付け、当該３次元座標に基づいて当該ラベル付けされた各移動体領域を分離する移動体分離手段と、
二つの異なる時間に対応する前記移動体領域の重なり合いの度合いに応じて、当該各時間に対応する移動体が同一か否かを判定し、当該判定結果に基づいて移動体を追跡する移動体追跡手段と、
前記静止画像を予め複数の計測エリアに分割し、前記追跡中の移動体が、当該複数の計測エリアのうちのどの計測エリアをどの順序で通過したかを判別して、移動体の数と移動方向とを計測する移動体計測手段と、
を備えたことを特徴とする。

また、上記課題を解決するため、請求項１５に記載の発明は、
ステレオ基線に配置された左右２台の撮影装置により時刻同期をとって撮影される時系列的な複数フレームのステレオ静止画像のうち、左右の各静止画像に対し、２フレーム分の静止画像間の差分を表すフレーム間差分画像と、当該２フレーム分の静止画像のうちの何れか一と背景画像との差分を表す背景差分画像とを作成し、その後、当該フレーム間差分画像と背景差分画像とを合成して当該合成画像内の移動体領域を特定するステップと、
前記作成された左右のフレーム間差分画像内の各差分領域に対し、左右共通の３次元座標を割り付けるステップと、
左右の静止画像毎に、前記２フレーム分の静止画像のうちの何れか一を減色させ、当該減色後の静止画像と前記特定された移動体領域とを重ね合わせ、当該重ね合わせ後の各移動体領域に対し色毎に異なるラベルを割り付け、当該ラベル付けされた各移動体領域に対し前記３次元座標を割り付け、当該３次元座標に基づいて当該ラベル付けされた各移動体領域を分離するステップと、
二つの異なる時間に対応する前記移動体領域の重なり合いの度合いに応じて、当該各時間に対応する移動体が同一か否かを判定し、当該判定結果に基づいて移動体を追跡するステップと、
前記静止画像を予め複数の計測エリアに分割し、前記追跡中の移動体が、当該複数の計測エリアのうちのどの計測エリアをどの順序で通過したかを判別して、移動体の数と移動方向とを計測するステップと、
を含むことを特徴とする。

また、上記課題を解決するため、請求項１６に記載の発明は、
画像解析を行うコンピュータに、
ステレオ基線に配置された左右２台の撮影装置により時刻同期をとって撮影される時系列的な複数フレームのステレオ静止画像のうち、左右の各静止画像に対し、２フレーム分の静止画像間の差分を表すフレーム間差分画像と、当該２フレーム分の静止画像のうちの何れか一と背景画像との差分を表す背景差分画像とを作成し、その後、当該フレーム間差分画像と背景差分画像とを合成して当該合成画像内の移動体領域を特定する機能と、
前記作成された左右のフレーム間差分画像内の各差分領域に対し、左右共通の３次元座標を割り付ける機能と、
左右の静止画像毎に、前記２フレーム分の静止画像のうちの何れか一を減色させ、当該減色後の静止画像と前記特定された移動体領域とを重ね合わせ、当該重ね合わせ後の各移動体領域に対し色毎に異なるラベルを割り付け、当該ラベル付けされた各移動体領域に対し前記３次元座標を割り付け、当該３次元座標に基づいて当該ラベル付けされた各移動体領域を分離する機能と、
二つの異なる時間に対応する前記移動体領域の重なり合いの度合いに応じて、当該各時間に対応する移動体が同一か否かを判定し、当該判定結果に基づいて移動体を追跡する機能と、
前記静止画像を予め複数の計測エリアに分割し、前記追跡中の移動体が、当該複数の計測エリアのうちのどの計測エリアをどの順序で通過したかを判別して、移動体の数と移動方向とを計測する機能と、
を実現させる。

本発明によれば、空間内において通行人等の移動体位置（移動体が占める空間領域）が正確に特定できるだけでなく、当該特定した移動体に係る時間経過に伴う移動情報も正確に取得できるので、高度な移動体検出が実現できる。

以下、添付図面を参照して本発明に係る好適な第１及び第２の実施の形態を順に説明する。

（第１の実施の形態）
図面を参照して本発明を適用した第１の実施の形態の移動体検出システム１００について詳細に説明する。
移動体検出システム１００は、ステレオ基線に配置された２台の撮影装置により時刻同期をとって撮影した複数の時系列的なステレオ画像に基づき、道路等を通行する通行人等の移動体の数や、移動方向、移動時間等の移動情報を取得するためのものである。本第１の実施の形態においては、一例として、図１（ａ）、図１（ｂ）に示す所定の駅階段１を通行する通行人の移動情報を取得する場合について説明するが、これに限らず、道路を通行する車両や、駐車場に入庫・出庫する車両等に対しても適用可能である。以下、移動体とは通行人を意味する。

まず、移動体検出システム１００の構成を説明する。
移動体検出システム１００は、図２に示すように、ステレオ基線装置１０、移動体検出装置２０、データベース３０等を備えて構成される。

ステレオ基線装置１０は、ビデオカメラ等の撮影装置１０ａ、１０ｂを備える。また、ステレオ基線装置１０は、図１（ａ）、図１（ｂ）に示すような配置で駅階段１に設置され、移動体が駅階段１を通行する様子を、撮影装置１０ａ、１０ｂの時刻同期をとって撮影する。なお、ステレオ基線装置１０の配置は、図１（ａ）、図１（ｂ）に示すものに限らず、自由に設定可能である。

移動体検出装置２０は、移動体領域特定手段２１、混雑レベル特定手段２２、移動体特定手段２３、移動情報取得手段２４を備え、移動体領域特定手段２１、混雑レベル特定手段２２、移動体特定手段２３、移動情報取得手段２４を用いて図３のフローチャートに示す移動体検出処理を行う。

移動体検出装置２０は、図示しない内蔵メモリに予め格納された移動体検出プログラムを実行することにより移動体領域特定手段２１、混雑レベル特定手段２２、移動体特定手段２３、移動情報取得手段２４の各々を制御し、図３のフローチャートに示す移動体検出処理を行う。

なお、移動体領域特定手段２１、混雑レベル特定手段２２、移動体特定手段２３、移動情報取得手段２４は、移動体検出プログラムが有する各機能を表すものとしてもよいし、ハードウェアによるものとしてもよい。

データベース３０は、過去の移動体検出結果（駅階段１を通行する移動体の数や、移動方向、移動時間等の移動情報。）や、上記移動体検出処理の際に用いられる各種情報（例えば、写真測量的な標定要素として設定された３次元座標系情報、駅階段１の背景画像、移動体テンプレート等。）を格納する。

ここで、上記３次元座標系情報は、例えば、ステレオ基線装置１０が図１（ａ）、図１（ｂ）に示すような位置に設置された場合に、駅階段１を含む３次元空間に対して設定される座標系を表す情報である。ステレオ基線装置１０の設置位置が変更された場合には、この３次元座標系は、当該変更に応じて再設定される。

上記駅階段１の背景画像は、移動体が写っていない駅階段１のみの画像である。例えば、朝、昼、夕、夜等の各時間帯に撮影された複数の背景画像が用意されている。

上記移動体テンプレートは、例えば、図４に示すような、移動体検出処理の際に特定される混雑レベルに応じた複数種類の人物形状のものが用意されている。

図４に、４段階の混雑レベル１〜４に応じた４種類の移動体テンプレートを示す。移動体テンプレートＡ１は混雑レベル１（例えば、移動体と移動体との平均間隔が０〜０．１ｍ以内。）の場合に用いられ、移動体テンプレートＡ２は混雑レベル２（例えば、移動体と移動体との平均間隔が０．１〜０．５ｍ以内。）の場合に用いられ、移動体テンプレートＡ３は混雑レベル３（例えば、移動体と移動体との平均間隔が０．５〜１ｍ以内。）の場合に用いられ、移動体テンプレートＡ４は混雑レベル４（例えば、移動体と移動体との平均間隔が１ｍ以上。）の場合に用いられる。
なお、混雑レベルや混雑レベルの判定基準は、上記したものに限らず、自由に設定可能である。

次に、図３を参照して、移動体検出装置２０が行う移動体検出処理について説明する。
まず、移動体領域特定手段２１により、以下に説明するステップＳ１、Ｓ２の各処理が行われる。

すなわち、ステレオ基線装置１０により撮影されたステレオ動画像が所定時間（例えば、１秒等であり、移動体の動きが追跡可能な時間。）毎に静止画像として抽出され、複数のステレオ静止画像が時系列的に作成される。

そして、上記作成された複数のステレオ静止画像のうちの一つと、当該ステレオ静止画像に写されている所定の対象物（例えば、駅階段１の幅等。）の長さとに基づき、駅階段１を含む３次元空間に対して写真測量的な標定要素としての３次元座標系が設定される（ステップＳ１）。

ステップＳ１の後、上記作成されたステレオ静止画像の各々に対し、当該ステレオ静止画像に写されている各移動体の空間領域（移動体の３次元形状を特定するための３次元座標）が、上記設定された３次元座標系に基づき、上記ステレオマッチング法により算出される（ステップＳ２）。
更に、ステップ２の後、混雑レベル特定手段２２により、以下に説明するステップＳ３、Ｓ４の各処理が行われる。

すなわち、ステップＳ２の後、当該撮影が行われた時間帯に合致する背景画像が選択され、上記作成されたステレオ静止画像の各々に対して当該背景画像に対する差分領域（移動体が占める領域を示す。）が抽出される（ステップＳ３）。

ステップＳ３の後、当該抽出された差分領域の全画像に対する面積率が算出され、当該算出された面積率に応じて駅階段１における混雑レベル（例えば、図４に示すような４段階の混雑レベル。）が特定される（ステップＳ４）。

更に、ステップＳ４の後、移動体特定手段２３により、以下に説明するステップＳ５、Ｓ６の各処理が行われる。

すなわち、ステップＳ４の後、当該特定された混雑レベルに応じて移動体テンプレートが選択される（ステップＳ５）。

ステップＳ５の後、上記ステップＳ２の段階で算出された各通行人の空間領域に対してステップＳ５の段階で選択された移動体テンプレートが割り当てられ、移動体が特定される（ステップＳ６）。

ここで、移動体テンプレートが移動体の空間領域に割り当てられる様子を図５に示す。画像Ｂ１には、移動体の空間領域Ｂ１３を検出するため、移動体テンプレートＢ１２が移動経路Ｂ１１に沿って移動される様子が示され、画像Ｂ２には、空間領域Ｂ１３が検出され、移動体テンプレートＢ１２が空間領域Ｂ１３に割り当てられた様子が示されている。

以上説明したステップＳ１〜Ｓ５の各処理は、上記時系列的に作成された複数のステレオ静止画像の各々に対して行われる。

更に、ステップＳ６の後、移動情報取得手段２４により、上記複数の時系列的なステレオ静止画像に基づいて、各移動体の動きが追跡され、同一の移動体に対しては当該移動体の空間領域に割り当てられた移動体テンプレートに同一の色が付されて当該移動体の動きが記録されるとともに、この移動体テンプレートに付された色に基づいて各移動体の移動情報（各移動体の移動方向や移動時間等。）が算出される（ステップＳ７）。

ここで、移動体の動きを追跡する方法としては、例えば、オプティカルフローを用いた方法がある。この方法は、移動体各点のオプティカルフロー（移動ベクトル）を算出して当該移動体の動きを推定する方法であり、具体的には、マッチング法、勾配法と称する２つの方法が一般に用いられている。

上記オプティカルフローを用いて移動体の動きが追跡される様子を図６に示す。画像Ｃ１、Ｃ２は、時刻Ｌの時点でのステレオ静止画像のうち、左（Left）／右（Right）の各々に対応する静止画像であり、画像Ｃ３、Ｃ４は、時刻ＬからΔＴだけ時間経過した後のステレオ静止画像のうち、左／右の各々に対応する静止画像である。ΔＴが小さければ小さいほど、多くの処理時間が必要となるが、移動体の追跡はより正確なものとなる。

なお、画像Ｃ３、Ｃ４には、図示簡略化のため、各々二つのオプティカルフローのみが表されている。

また、移動体テンプレートに付した色に基づいて各移動体の移動情報を求める方法としては、例えば、色の識別にマンセル表色系を用いる方法がある。

以上説明したように、移動体検出システム１００は、ステレオ基線に配置された２台の撮影装置１０ａ、１０ｂにより時刻同期をとって撮影した複数の時系列的なステレオ静止画像に基づき、道路等を通行する各移動体が占める空間領域（３次元座標）を特定し、当該ステレオ静止画像の背景画像に対する差分領域を抽出し、全画像領域に対する当該差分領域の面積率を算出し、当該面積率に基づいて移動体の混雑レベルを特定し、当該混雑レベルに応じた移動体テンプレートＡ１〜Ａ４を、上記特定した移動体の空間領域に割り当てて移動体の特定を行う。

更に、複数の時系列的なステレオ静止画像に基づいて移動体の動きを追跡し、同一移動体の空間領域に割り当てられた移動体テンプレートに同じ色を付して各移動体の動きを記録し、当該色に基づいて移動体の移動情報（移動方向や移動時間等。）を取得する。

従って、３次元空間内において移動体等の移動体位置（移動体が占める空間領域）が正確に特定できるだけでなく、当該特定した移動体に係る時間経過に伴う移動情報も正確に取得できるので、高度な移動体検出が実現できる。

なお、本第１の実施の形態における記述は、本発明に係る移動体検出システム及び移動体検出装置の一例を示すものであり、これに限定されるものではない。本第１の実施の形態における移動体検出システム１００、移動体検出装置２０の細部構成および詳細動作に関しては、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

例えば、移動体領域特定手段２１が、ステレオ基線装置１０により撮影されたステレオ動画像を所定時間毎に静止画像として抽出し、複数のステレオ静止画像を時系列的に作成するとしたが、これに限らず、撮影装置１０ａ、１０ｂが連写により複数の時系列的なステレオ静止画像を撮影することも可能である。この場合、撮影装置１０ａ、１０ｂは、連写可能であれば、ビデオカメラ、デジタルカメラのうち何れであってもよい。

また、撮影装置１０ａ、１０ｂにより撮影されるステレオ画像は、ビデオテープ、ＤＶＤ（Digital Versatile Disk）等の記録媒体を介して移動体検出装置２０に入力されるようにしてもよいし、ステレオ基線装置１０と移動体検出装置２０との間にデータ回線を予め設け、当該データ回線を介してステレオ基線装置１０から移動体検出装置２０に入力されるようにしてもよい。

（第２の実施の形態）
次に、図面を参照して本発明を適用した第２の実施の形態の移動体検出システム１００ａについて詳細に説明する。
移動体検出システム１００ａは、移動体検出システム１００と同様に、ステレオ基線に配置された２台の撮影装置により時刻同期をとって撮影した複数の時系列的なステレオ画像に基づき、道路等を通行する通行人等の移動体の数や、移動方向、移動時間等の移動情報を取得するためのものである。本第２の実施の形態においては、第１の実施の形態と同様に、図１（ａ）、図１（ｂ）に示す所定の駅階段１を通行する通行人の移動情報を取得する場合について説明するが、これに限らず、道路を通行する車両や、駐車場に入庫・出庫する車両等に対しても適用可能である。以下、移動体とは通行人を意味する。

まず、移動体検出システム１００ａの構成を説明する。
移動体検出システム１００ａは、図７に示すように、ステレオ基線装置１０、データベース３０、移動体検出装置４０を備えて構成
される。ここで、ステレオ基線装置１０、データベース３０は、第１の実施の形態に記載したものと同じものであり、簡略化のため、同一符号を付して説明を省略する。

移動体検出装置４０は、移動体領域特定手段４１、３次元計測手段４２、移動体分離手段４３、移動体追跡手段４４、移動体計測手段４５を備え、これら各手段を用いて図８のフローチャートに示す移動体検出処理を行う。

移動体検出装置４０は、図示しない内蔵メモリに予め格納された移動体検出プログラムを実行することにより移動体領域特定手段４１、３次元計測手段４２、移動体分離手段４３、移動体追跡手段４４、移動体計測手段４５の各々を制御し、図８に示す移動体検出処理を行う。

なお、移動体領域特定手段４１、３次元計測手段４２、移動体分離手段４３、移動体追跡手段４４、移動体計測手段４５は、移動体検出プログラムが有する各機能を表すものとしてもよいし、ハードウェアによるものとしてもよい。

次に、図８を参照して、移動体検出装置４０が行う移動体検出処理について説明する。
まず、駅階段１の様子がステレオ画像（動画）としてステレオ基線装置１０により撮影され（ステップＳ１ａ）、また、移動体が存在しない駅階段１が、左右の背景画像（静止画像であり、左背景画像、右背景画像という。）としてステレオ基線装置１０により撮影される（ステップＳ１ｂ）。

次に、移動体領域特定処理Ｄ１の各処理（ステップＳ１０〜Ｓ１４）について説明する。移動体領域特定処理Ｄ１は移動体領域特定手段４１によって実行される。

上記ステレオ画像（動画）のうち、所定時間（例えば、０．１秒等の短時間。）だけ互いに離れた左右それぞれ２フレーム分の静止画像（時刻ｔ１、ｔ２の静止画像。）が取得される。当該取得された左右それぞれ２フレーム分の静止画像を、ｔ１左画像、ｔ２左画像（以上、左静止画像。）、ｔ１右画像、ｔ２右画像（以上、右静止画像。）という。

次に、ｔ１左画像、ｔ２左画像、ｔ１右画像、ｔ２右画像と、上記左右の背景画像とが、ＨＳＶ（Hue Saturation Value；色相、彩度、明度）処理され、ＲＧＢ表色系から色相・彩度・明度によるＨＳＶ表色系に変換される（ステップＳ１０）。

ステップＳ１０の後、ｔ１左画像とｔ２左画像とに対して、及び、ｔ１右画像とｔ２右画像とに対して、それぞれフレーム間差分画像（左フレーム間差分画像、右フレーム間差分画像）を作成する（ステップＳ１１）。ここで、フレーム間差分とは、異なる時間の画像の差分（変化領域）であり、移動体領域のエッジ部に該当する。

そして、ｔ１左画像（或いはｔ２左画像）と左背景画像とに対して、及び、ｔ１右画像（或いはｔ２右画像）と右背景画像とに対して、彩度と色相のそれぞれに基づく背景差分画像を各々作成する（ステップＳ１２）。背景差分は移動体領域の内部に該当する。

ここで、色相と彩度とでは、差分として抽出される領域が異なるため、双方を合成し、当該合成後の画像を最終的な背景差分画像（左背景差分画像、右背景差分画像）とする。

ステップＳ１１、Ｓ１２の後、左フレーム間差分画像、右フレーム間差分画像の各々が白黒による２値化処理及び膨張収縮処理される（ステップＳ１３）。

上記膨張収縮処理により、左背景差分画像、右背景差分画像の各背景差分領域（移動体領域の内部）と、左フレーム間差分画像、右フレーム間差分画像の各フレーム差分領域（移動体領域のエッジ部）とが、それぞれ良好に適合可能となる。

ステップＳ１３の後、左フレーム間差分画像と左背景差分画像とが合成されて（左合成画像という。）左画像に対する移動体領域が特定され、右フレーム間差分画像と右背景差分画像とが合成されて（右合成画像という。）右画像に対する移動体領域が特定される（ステップＳ１４）。

次に、３次元計測処理Ｄ２の各処理（ステップＳ１１、Ｓ２１〜Ｓ２３）について説明する。３次元計測処理Ｄ２は３次元計測手段４２によって実行される。

上記ステップＳ１１において作成された左右の各フレーム間差分画像が、図９（ａ）に示すような区分Ｋ１〜Ｋｎ（ｎは自然数。）までのｎ個の区分に分割され、各区分毎に、画像横方向（図中符号Ｒに示す方向。）の各画素に対する輝度値が積算される（ステップＳ２１）。

上記輝度値の積算結果の一例を、図９（ｂ）に示す。ここには、区分１に対する積算結果が示されている。横軸は、画像横方向の位置を画素座標によって表し、縦軸は、積算された輝度値を表す。ここで、画素座標とは、画像を構成する全画素に対して割り当てられた画素番号を用いて、画像内の位置を一意的に特定するための座標である。

次に、画像に３次元座標を割り付けるための計測点を特定する。
ステップＳ２１で算出された輝度値の積算結果のうち、ピーク値に該当する箇所（例えば、図中符号Ｐ１、Ｐ２等に示す箇所であり、複数存在する。）が区分Ｋ１〜Ｋｎ毎に抽出され、当該ピーク値をとる左右の各フレーム間差分画像内の位置（計測点）が画素座標によって特定される（ステップＳ２２）。

そして、当該計測点（ピーク値をとる位置）を左右の各フレーム間差分画像で厳密に一致させるため、テンプレートマッチングが行われる。例えば、図１０を参照して、左フレーム間差分画像内でピーク値をとる所定の一の位置（左ピーク点という。）に厳密に対応する、右フレーム間差分画像内の位置（右ピーク点という。）を、テンプレートマッチングを用いて特定する場合について説明する。

まず、左ピーク点Ｖ１を中心とする所定の画像近傍（左テンプレートＴ１という。）が抽出され、次に、当該左ピーク点に対応する右ピーク点Ｖ１を中心とした左テンプレートＶ１より広い（例えば、２倍程度。）所定の画像領域（右テンプレートＴ２という。）が抽出される。そして、左テンプレートＴ２内において、右テンプレートＴ１と最も相関（すなわち、画素値の相関）が高い箇所が特定され、更に、この結果に基づいて右フレーム間差分画像における左ピーク点に対応する位置が特定される（この位置は、当初の右ピーク点と異なっていてもよい。）。

ステップＳ２２の後、ステレオ計測に基づき、予め取得された標定計測結果Ｓ１ｃを用いて上記特定された計測点に対する３次元座標値の割り付けを行う（ステップＳ２３）。

ここで、標定計測とは、撮影装置１０ａ、１０ｂの傾き等の計測値を求めること、更に、当該計測値を用いて、撮影装置１０ａ、１０ｂにより各々撮影された画像上の同一点（画素座標）が指定されると、当該計測値を用いて実空間を表す３次元座標が求まるようなパラメータを算出することである。

また、上記標定計測による計測値（撮影装置１０ａ、１０ｂの傾き等。）を用いて、上記３次元座標を座標変換し、何れかの座標軸（例えば、ｚ軸等。）の向きが鉛直方向に一致するようにしておくのが好ましい。このような座標系を用いれば、後述する移動体分離処理Ｄ３が行い易くなる。

次に、移動体分離処理Ｄ３の各処理（ステップＳ３０〜Ｓ３２）について説明する。移動体分離処理Ｄ３は、移動体分離手段４３によって実行される。

上記した移動体領域特定処理Ｄ１のステップＳ１４の後、ステップＳ１４で特定された各移動体領域が、色に基づいてラベリング（番号付け）される。

まず、ｔ１左画像（或いはｔ２左画像）と、ｔ１右画像（或いはｔ２右画像）とがＲＧＢ表色系の元で減色処理及び平滑化処理される。当該減色処理及び平滑化処理により、色に基づいてラベリングされる領域の数が制限され、不必要なラベリングが回避可能となる。

上記減色処理及び平滑化処理後のｔ１左画像（或いはｔ２左画像）及びｔ１右画像（或いはｔ２右画像）と、ステップＳ１４で特定された各移動体領域とに基づき、当該各移動体領域に色が割り付けられてラベリングされる（ステップＳ３０）。

その後、ステップＳ３０でラベリングされた各移動体領域に対しステップＳ２３で特定された３次元座標が割り付けられ、当該３次元座標に基づき、クラスター分析（ウォード法）によって各移動体が分離される（ステップＳ３２）。この際、ラベル間の距離が所定の閾値（移動体分離係数）以下の場合には、当該ラベルがグループ化され、単一のラベルに改めて割り付けされる。ここで、上記移動体分離係数は、予め設定されている、或いは、操作者によりその都度設定されるものとする（ステップＳ３１）。

次に、移動体追跡処理Ｄ４（ステップＳ４０）について説明する。移動体追跡処理Ｄ４は移動体追跡手段４４によって実行される。

ここでは、ステップＳ３２で取得された各移動体が、ラップ率（以下で説明する。）を用いて時間毎に追跡される。以下、図１１を参照して、当該ラップ率を用いた追跡法について説明する。

図１１に示すように、時刻ｔでは、３つの移動体（それぞれ、Ｌ１１、Ｌ１２、Ｌ１３にラベリングされている。）が上記方法（すなわち、クラスター分析。）により分離・特定され、時刻ｔ＋Δｔでは、５つの移動体（それぞれ、Ｌ２１、Ｌ２２、Ｌ２３、Ｌ２４、Ｌ２５にラベリングされている。）がこの方法により分離・特定されているものとする。

ここで、時刻ｔにおける各移動体の移動体領域と、時刻ｔ＋Δｔにおける各移動体の移動体領域とが重ね合わされる。そして、当該重ね合わせの結果、重なり合っている面積の割合（ラップ率）が５０％以上の場合には、当該時刻ｔと時刻ｔ＋Δｔの各移動体は、同一であると判定され、時刻ｔ＋Δｔにおける移動体として、改めてラベル付けされる。

例えば、時刻ｔにおける移動体Ｌ１１が、時刻ｔ＋Δｔにおける移動体Ｌ２１、Ｌ２２と重なり合っているが、何れもラップ率が５０％以上であるため、移動体Ｌ１１と移動体Ｌ２１及びＬ２２とは同一移動体であると判定される。

また、時刻ｔにおける移動体Ｌ１２が、時刻ｔ＋Δｔにおける移動体Ｌ２３と重なり合っているが、ラップ率が５０％以上であるため、移動体Ｌ２３と移動体Ｌ１２とは同一移動体であると判定される。

また、時刻ｔにおける移動体Ｌ１３は、時刻ｔ＋Δｔにおける移動体Ｌ２４、Ｌ２５と重なり合うが、移動体Ｌ２５についてはラップ率が５０％に満たないため、移動体Ｌ１３と移動体Ｌ２５とは同一ではないと判定され、移動体Ｌ２４についてはラップ率が５０％以上であるため、移動体Ｌ１３と移動体Ｌ２４とは同一であると判定される。

更に、上記移動体の追跡処理が比較的長時間にわたって順次行われることにより、移動体の正確な計測が可能となる。以下、図１２を参照して、この移動体計測法について説明する。

図１２には、時刻ｔ１０では、３つの移動体（それぞれ、Ｌ１０１、Ｌ１０２、Ｌ１０３にラべリングされている。）が特定され、時刻ｔ１１では、３つの移動体（それぞれ、Ｌ１１１、Ｌ１１２、Ｌ１１３にラベリングされている。）が特定され、時刻ｔ１２では、３つの移動体（それぞれ、Ｌ１２１、Ｌ１２２、Ｌ１２３にラベリングされている。）が特定され、時刻ｔ１３では、４つの移動体（それぞれ、Ｌ１３１、Ｌ１３２、Ｌ１３３、Ｌ１３４にラベリングされている。）が特定され、時刻ｔ１４では、４つの移動体（それぞれ、Ｌ１４１、Ｌ１４２、Ｌ１４３、Ｌ１４４にラベリングされている。）が特定されている。

時刻ｔ１０では、２つの移動体Ｌ１０１、Ｌ１０２が異なる移動体であると判定されたが、上記ラップ率による移動体追跡処理により、時刻ｔ１１では、上記移動体Ｌ１０１、Ｌ１０２は、共に単一の移動体Ｌ１１１の一部であると判定される。以降、時刻ｔ１２、ｔ１３、ｔ１４では、当該移動体は、Ｌ１２１、Ｌ１３１、Ｌ１４１として順次ラベルリングされている。

また、時刻ｔ１１までの間に同一動体であると判定された移動体Ｌ１０３、Ｌ１１２は、時刻ｔ１２以降には消滅しているため、移動体数の計測には加えられない。

また、時刻ｔ１２では、単一の移動体であると判定された移動体Ｌ１２２は、時刻ｔ１３以降では、二つの移動体であると判定される。一つは、Ｌ１３２、Ｌ１４２にラベリングされた移動体であり、他の一つは、Ｌ１３３、Ｌ１４３にラベリングされた移動体である。

また、時刻ｔ１１では、単一の移動体であると判定された移動体Ｌ１１３は、時刻ｔ１２以降も単一の移動体（Ｌ１２３、Ｌ１３４、Ｌ１４４にラベリングされた移動体。）であると判定される。

次に、移動体計測処理Ｄ５（ステップＳ５０）について説明する。移動体計測処理Ｄ５は、移動体計測手段４５によって実行される。

ここでは、ステップＳ４０において時間毎に追跡された各移動体がどの方向に移動しているのかが判定されると共に、上り／下り等の移動方向毎の移動体数が計測される。

すなわち、図１３（ａ）に示すように、背景画像（すなわち、駅階段１を表す画像。）が３つの計測エリアＭ１〜Ｍ３に分割され、各移動体の移動体領域の各計測エリアＭ１〜Ｍ３に占める割合が時間毎（ｔ１〜ｔ１０）に算出される。当該算出結果の一例を、図１３（ｂ）、図１３（ｃ）に示す。

図１３（ｂ）には、移動体が計測エリアＭ１から計測エリアＭ３に向かう（下り方向）際に当該移動体が各計測エリアＭ１〜Ｍ３に占める割合が表示され、図１３（ｃ）には、移動体が計測エリアＭ３から計測エリアＭ１に向かう（上り方向）際に当該移動体が各計測エリアＭ１〜Ｍ３に占める割合が表示されている。

また、移動体数は、ある程度時間をかけて追跡する必要があるため、駅階段１を表す画像の略中央に位置する計測エリアＭ２内において、上り／下り等の移動方向毎に計測される。

以上説明したように、移動体検出システム１００ａは、左右それぞれ２フレーム分の画像に基づいて、フレーム間差分画像、背景差分画像を作成し、当該両差分画像から移動体領域を特定し（移動体領域特定処理Ｄ１）、更に、当該フレーム間差分画像に対して３次元座標の割り付けを行い（３次元計測処理Ｄ２）、更に、移動体領域を色毎にラベリングし、当該ラベリングした各移動体領域に３次元座標を割り付け、当該３次元座標に基づき、クラスター解析により各移動体を分離・特定し（移動体分離処理Ｄ３）、更に、ラップ率を用いて移動体を時間毎に追跡し（移動体追跡処理Ｄ４）、更に、当該追跡結果に基づいて、移動方向や移動体数の計測を行う（移動体計測処理Ｄ５）。

従って、３次元空間内において移動体等の移動体位置（移動体が占める空間領域）が正確に特定できるだけでなく、当該特定した移動体に係る時間経過に伴う移動情報も正確に取得できるので、高度な移動体検出が実現できる。

なお、本第２の実施の形態における記述は、本発明に係る移動体検出システム及び移動体検出装置の一例を示すものであり、これに限定されるものではない。本第２の実施の形態における移動体検出システム１００ａ、移動体検出装置４０の細部構成および詳細動作に関しては、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

例えば、撮影装置１０ａ、１０ｂにより撮影されるステレオ画像は、ビデオテープ、ＤＶＤ（Digital Versatile Disk）等の記録媒体を介して移動体検出装置４０に入力されるようにしてもよいし、ステレオ基線装置１０と移動体検出装置４０との間にデータ回線を予め設け、当該データ回線を介してステレオ基線装置１０から移動体検出装置４０に入力されるようにしてもよい。

本発明を適用した移動体検出システムが有するステレオ基線装置の設置例を示し、（ａ）は、ステレオ基線装置の設置場所を上方から見た図であり、（ｂ）は、（ａ）に示すステレオ基線装置の設置場所を側面か見た図である。 本発明を適用した移動体検出システムの構成を示すブロック図である。 本発明を適用した移動体検出システムによって行われる移動体検出処理を説明するフローチャートである。 図３のフローチャートに示す移動体検出処理の際に用いられる移動体テンプレートを示す図である。 図４に示す移動体テンプレートが移動体の空間領域に割り当てられる様子を示す図である。 オプティカルフローを用いて移動体の動きが追跡される様子を示す図である。 本発明を適用した他の移動体検出システムの構成を示すブロック図である。 図７に示す移動体検出システムによって行われる移動体検出処理を説明するフローチャートである。 （ａ）フレーム間差分画像における輝度値の積算対象となる区分領域を示す図であり、（ｂ）一区分における輝度値の積算値を、画像横方向の各画素座標に対して示す図である。 テンプレートマッチングを説明するための図である。 ラップ率を用いた移動体追跡法を説明するための図である。 移動体が追跡されている様子を示す図である。 （ａ）は、駅階段を示す画像に３つの計測エリアが設けられている様子を示す図であり、（ｂ）は、移動体が下り方向に移動する際に、移動体が各計測エリアに重なる割合を時間毎に示す図であり、（ｃ）は、移動体が上り方向に移動する際に、移動体が各計測エリアに重なる割合を時間毎に示す図である。

符号の説明

１ 駅階段
１０ ステレオ基線装置
１０ａ 撮影装置
１０ｂ 撮影装置
２０ 移動体検出装置
２１ 移動体領域特定手段
２２ 混雑レベル特定手段
２３ 移動体特定手段
２４ 移動情報取得手段
３０ データベース
４０ 移動体検出装置
４１ 移動体領域特定手段
４２ ３次元計測手段
４３ 移動体分離手段
４４ 移動体追跡手段
４５ 移動体計測手段
１００、１００ａ 移動体検出システム

Claims (16)

1. ステレオ基線に配置された２台の撮影装置と、当該２台の撮影装置により時刻同期をとって撮影される複数の時系列的なステレオ静止画像に基づいて、該ステレオ静止画像に写される移動体の検出を行う移動体検出装置とを備えた移動体検出システムにおいて、
   前記移動体検出装置は、
   前記ステレオ静止画像の各々に写されている各移動体が占める空間領域を特定する移動体領域特定手段と、
   前記ステレオ静止画像の背景画像に対する差分領域を抽出し、全画像領域に対する当該差分領域の面積率を算出し、当該面積率に基づいて移動体の混雑レベルを特定する混雑レベル特定手段と、
   前記特定された混雑レベルに応じた形状を有する移動体テンプレートを、前記各移動体が占める空間領域の各々に割り当てて該移動体を特定する移動体特定手段と、
   を備えたことを特徴とする移動体検出システム。
2. 前記移動体検出装置は、
   前記時系列的な複数のステレオ静止画像に基づいて、前記各移動体の動きを追跡し、該移動体の移動情報を取得する移動情報取得手段を更に備えたことを特徴とする請求項１に記載の移動体検出システム。
3. 前記移動情報取得手段は、
   前記移動体の追跡結果に基づいて、同一の移動体に対しては当該移動体の空間領域に割り当てられた移動体テンプレートに同一の色を付して当該移動体の動きを記録するとともに、該移動体テンプレートに付した色に基づいて各移動体の移動情報を取得することを特徴とする請求項２に記載の移動体検出システム。
4. ステレオ基線に配置された２台の撮影装置により時刻同期をとって撮影される複数の時系列的なステレオ静止画像の各々に写されている各移動体が占める空間領域を特定する移動体領域特定手段と、
   前記ステレオ静止画像の背景画像に対する差分領域を抽出し、全画像領域に対する当該差分領域の面積率を算出し、当該面積率に基づいて移動体の混雑レベルを特定する混雑レベル特定手段と、
   前記特定された混雑レベルに応じた形状を有する移動体テンプレートを、前記各移動体が占める空間領域の各々に割り当てて該移動体を特定する移動体特定手段と、
   を備えたことを特徴とする移動体検出装置。
5. 前記時系列的な複数のステレオ静止画像に基づいて、前記各移動体の動きを追跡し、該移動体の移動情報を取得する移動情報取得手段を更に備えたことを特徴とする請求項４に記載の移動体検出装置。
6. 前記移動情報取得手段は、
   前記移動体の追跡結果に基づいて、同一の移動体に対しては当該移動体の空間領域に割り当てられた移動体テンプレートに同一の色を付して当該移動体の動きを記録するとともに、該移動体テンプレートに付した色に基づいて各移動体の移動情報を取得することを特徴とする請求項５に記載の移動体検出装置。
7. ステレオ基線に配置された２台の撮影装置により時刻同期をとって撮影される複数の時系列的なステレオ静止画像の各々に写されている各移動体が占める空間領域を特定するステップと、
   前記ステレオ静止画像の背景画像に対する差分領域を抽出し、全画像領域に対する当該差分領域の面積率を算出し、当該面積率に基づいて移動体の混雑レベルを特定するステップと、
   前記特定された混雑レベルに応じた形状を有する移動体テンプレートを、前記各移動体が占める空間領域の各々に割り当てて該移動体を特定するステップと、
   を含むことを特徴とする移動体検出方法。
8. 前記時系列的な複数のステレオ静止画像に基づいて、前記各移動体の動きを追跡し、該移動体の移動情報を取得するステップを更に含むことを特徴とする請求項７に記載の移動体検出方法。
9. 前記移動体の追跡結果に基づいて、同一の移動体に対しては当該移動体の空間領域に割り当てられた移動体テンプレートに同一の色を付して当該移動体の動きを記録するとともに、該移動体テンプレートに付した色に基づいて各移動体の移動情報を取得するステップを更に含むことを特徴とする請求項８に記載の移動体検出方法。
10. 画像解析を行うコンピュータに、
    ステレオ基線に配置された２台の撮影装置により時刻同期をとって撮影される複数の時系列的なステレオ静止画像の各々に写されている各移動体が占める空間領域を特定する機能と、
    前記ステレオ静止画像の背景画像に対する差分領域を抽出し、全画像領域に対する当該差分領域の面積率を算出し、当該面積率に基づいて移動体の混雑レベルを特定する機能と、
    前記特定された混雑レベルに応じた形状を有する移動体テンプレートを、前記各移動体が占める空間領域の各々に割り当てて該移動体を特定する機能と、
    を実現させるための移動体検出プログラム。
11. 前記コンピュータに、
    前記時系列的な複数のステレオ静止画像に基づいて、前記各移動体の動きを追跡し、該移動体の移動情報を取得する機能を更に実現させるための請求項１０に記載の移動体検出プログラム。
12. 前記コンピュータに、
    前記移動体の追跡結果に基づいて、同一の移動体に対しては当該移動体の空間領域に割り当てられた移動体テンプレートに同一の色を付して当該移動体の動きを記録するとともに、該移動体テンプレートに付した色に基づいて各移動体の移動情報を取得する機能を更に実現させるための請求項１１に記載のプログラム。
13. ステレオ基線に配置された左右２台の撮影装置と、当該２台の撮影装置により時刻同期をとって撮影される時系列的な複数フレームのステレオ静止画像に基づいて、該ステレオ静止画像に写される移動体の検出を行う移動体検出装置とを備えた移動体検出システムにおいて、
    前記移動体検出装置は、
    前記複数フレームのステレオ静止画像のうち、左右の各静止画像に対し、２フレーム分の静止画像間の差分を表すフレーム間差分画像と、当該２フレーム分の静止画像のうちの何れか一と背景画像との差分を表す背景差分画像とを作成し、その後、当該フレーム間差分画像と背景差分画像とを合成して当該合成画像内の移動体領域を特定する移動体領域特定手段と、
    前記作成された左右のフレーム間差分画像内の各差分領域に対し、左右共通の３次元座標を割り付ける３次元計測手段と、
    左右の静止画像毎に、前記２フレーム分の静止画像のうちの何れか一を減色させ、当該減色後の静止画像と前記特定された移動体領域とを重ね合わせ、当該重ね合わせ後の各移動体領域に対し色毎に異なるラベルを割り付け、当該ラベル付けされた各移動体領域に対し前記３次元座標を割り付け、当該３次元座標に基づいて当該ラベル付けされた各移動体領域を分離する移動体分離手段と、
    二つの異なる時間に対応する前記移動体領域の重なり合いの度合いに応じて、当該各時間に対応する移動体が同一か否かを判定し、当該判定結果に基づいて移動体を追跡する移動体追跡手段と、
    前記静止画像を予め複数の計測エリアに分割し、前記追跡中の移動体が、当該複数の計測エリアのうちのどの計測エリアをどの順序で通過したかを判別して、移動体の数と移動方向とを計測する移動体計測手段と、
    を備えたことを特徴とする移動体検出システム。
14. ステレオ基線に配置された左右２台の撮影装置により時刻同期をとって撮影される時系列的な複数フレームのステレオ静止画像のうち、左右の各静止画像に対し、２フレーム分の静止画像間の差分を表すフレーム間差分画像と、当該２フレーム分の静止画像のうちの何れか一と背景画像との差分を表す背景差分画像とを作成し、その後、当該フレーム間差分画像と背景差分画像とを合成して当該合成画像内の移動体領域を特定する移動体領域特定手段と、
    前記作成された左右のフレーム間差分画像内の各差分領域に対し、左右共通の３次元座標を割り付ける３次元計測手段と、
    左右の静止画像毎に、前記２フレーム分の静止画像のうちの何れか一を減色させ、当該減色後の静止画像と前記特定された移動体領域とを重ね合わせ、当該重ね合わせ後の各移動体領域に対し色毎に異なるラベルを割り付け、当該ラベル付けされた各移動体領域に対し前記３次元座標を割り付け、当該３次元座標に基づいて当該ラベル付けされた各移動体領域を分離する移動体分離手段と、
    二つの異なる時間に対応する前記移動体領域の重なり合いの度合いに応じて、当該各時間に対応する移動体が同一か否かを判定し、当該判定結果に基づいて移動体を追跡する移動体追跡手段と、
    前記静止画像を予め複数の計測エリアに分割し、前記追跡中の移動体が、当該複数の計測エリアのうちのどの計測エリアをどの順序で通過したかを判別して、移動体の数と移動方向とを計測する移動体計測手段と、
    を備えたことを特徴とする移動体検出装置。
15. ステレオ基線に配置された左右２台の撮影装置により時刻同期をとって撮影される時系列的な複数フレームのステレオ静止画像のうち、左右の各静止画像に対し、２フレーム分の静止画像間の差分を表すフレーム間差分画像と、当該２フレーム分の静止画像のうちの何れか一と背景画像との差分を表す背景差分画像とを作成し、その後、当該フレーム間差分画像と背景差分画像とを合成して当該合成画像内の移動体領域を特定するステップと、
    前記作成された左右のフレーム間差分画像内の各差分領域に対し、左右共通の３次元座標を割り付けるステップと、
    左右の静止画像毎に、前記２フレーム分の静止画像のうちの何れか一を減色させ、当該減色後の静止画像と前記特定された移動体領域とを重ね合わせ、当該重ね合わせ後の各移動体領域に対し色毎に異なるラベルを割り付け、当該ラベル付けされた各移動体領域に対し前記３次元座標を割り付け、当該３次元座標に基づいて当該ラベル付けされた各移動体領域を分離するステップと、
    二つの異なる時間に対応する前記移動体領域の重なり合いの度合いに応じて、当該各時間に対応する移動体が同一か否かを判定し、当該判定結果に基づいて移動体を追跡するステップと、
    前記静止画像を予め複数の計測エリアに分割し、前記追跡中の移動体が、当該複数の計測エリアのうちのどの計測エリアをどの順序で通過したかを判別して、移動体の数と移動方向とを計測するステップと、
    を含むことを特徴とする移動体検出方法。
16. 画像解析を行うコンピュータに、
    ステレオ基線に配置された左右２台の撮影装置により時刻同期をとって撮影される時系列的な複数フレームのステレオ静止画像のうち、左右の各静止画像に対し、２フレーム分の静止画像間の差分を表すフレーム間差分画像と、当該２フレーム分の静止画像のうちの何れか一と背景画像との差分を表す背景差分画像とを作成し、その後、当該フレーム間差分画像と背景差分画像とを合成して当該合成画像内の移動体領域を特定する機能と、
    前記作成された左右のフレーム間差分画像内の各差分領域に対し、左右共通の３次元座標を割り付ける機能と、
    左右の静止画像毎に、前記２フレーム分の静止画像のうちの何れか一を減色させ、当該減色後の静止画像と前記特定された移動体領域とを重ね合わせ、当該重ね合わせ後の各移動体領域に対し色毎に異なるラベルを割り付け、当該ラベル付けされた各移動体領域に対し前記３次元座標を割り付け、当該３次元座標に基づいて当該ラベル付けされた各移動体領域を分離する機能と、
    二つの異なる時間に対応する前記移動体領域の重なり合いの度合いに応じて、当該各時間に対応する移動体が同一か否かを判定し、当該判定結果に基づいて移動体を追跡する機能と、
    前記静止画像を予め複数の計測エリアに分割し、前記追跡中の移動体が、当該複数の計測エリアのうちのどの計測エリアをどの順序で通過したかを判別して、移動体の数と移動方向とを計測する機能と、
    を実現させるためのプログラム。

Images