JP2009129049A - 物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】メモリに乏しく処理速度があまり速くない計算機においても監視映像からの物体位置の推定を高速、かつ効率的に行うことができる物体位置推定装置を提供する。
【解決手段】画像入力装置で取得し、時系列画像データベース１に蓄積された時系列画像から、対象物領域を画像処理的に抽出する物体領域抽出部２と、前記抽出部２により抽出された画素が、用意した３次元モデルのうちどの投影が該当するかどうかを、モデルテーブル構築部４内の参照用テーブルを使って照合し、投影される３次元モデルが存在した場合はそのモデルの空間位置にそれぞれ投票することにより、投票値が多い場所に対象物の存在の可能性が高いことを表すマップを生成する空間マップ生成部５と、前記空間マップ生成部５により生成されたマップの得票値に基づいて対象物の位置を推定する物体位置推定部６とを備える。
【選択図】図１

Description

本発明は、監視カメラなどの固定カメラで撮影した人物歩行撮影画像、車両などの移動物体や歩行者などの動きを撮影した時系列画像に利用可能で、カメラで取得した時系列画像から、対象物（被写体）の位置を推定する物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体に関する。

監視カメラで撮影された映像から混雑で込み合う状態を計測する技術として、従来では背景差分などの画像処理を使って人物領域を抽出し、人物一人を構成する画素数や空間の奥行きに応じた補正を行うことにより監視エリア内の混雑度を測定する方法がある。これに対し、ステレオカメラを使って人物の大まかな位置を３次元計測することにより混雑度算出の精度を上げる方法がある。ステレオカメラでは光軸をほぼ平行に設置することで画像間の探索を容易にしており、画素間の対応付けが正確に処理されれば三角測量の原理によりその点の奥行きが分かる。さらに、カメラからの各物体への奥行きが分かれば、オクルージョン問題を解決することも期待できる。あるいは、複数のカメラを使って監視領域を撮影し、対象画像または対象領域と３次元空間を対応付けし、物体の位置を検出する方法も公開されている（特許文献１、２参照）。

一方、監視映像における人物追跡への新たな応用としてパーティクル・フィルタ（非特許文献１参照）の有用性が報告されている。パーティクル・フィルタは、追跡対象を状態量と尤度を持つ多数の仮説群により離散的な確率密度として表現し、状態遷移モデルを用いて伝播させることで動きの変動や観測の雑音に対して頑健に追跡を実現するために使われている。

尚、本発明に関連する技術として、ガウス混合分布を利用して画像から物体領域を抽出することは、例えば非特許文献２に記載されている。
特開２００３−３３１２６３号公報 特開２００４−４６４６４号公報 樋口知之，"粒子フィルタ"，電子情報通信学会誌，Ｖｏｌ．８８，Ｎｏ．１２，ｐｐ．９８９−９９４，２００５． Ｃ．Ｓｔａｕｆｆｅｒ ＆ Ｗ．Ｅ．Ｌ Ｇｒｉｍｓｏｎ，"Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ"，Ｐｒｏｃｅｅｄｉｎｇ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｖｏｌ．２，ｐｐ．２４６−２５２，１９９９．

単眼カメラでは奥行き方向に不定性があるため、画素数に応じた混雑度計測は必ずしも的確である保証はない。その奥行き不定性を解消するためにステレオカメラなどのマルチカメラ撮影が考えられるが、公共広場、駅、デパート構内などの監視カメラで撮像されるエリアは多数の人物監視の上で広域撮影である場合が多い。つまり、やや遠方のエリアを低角度で監視する状況では画面中において人物は小さく撮像されるためステレオ視に十分な精度の特徴点が観測できるかどうかは曖昧であり、遠方なだけに両眼での対応点が正確でないと推定された奥行き値は信頼性が低いものとなる。また、カメラ画像と３次元空間の対応付けにより物体位置を検出するには画像（２Ｄ）のボクセル空間（３Ｄ）への逆投影法（特許文献２）が提案されているが、計算コストが高く、かつ、複数カメラでは物体位置がボクセル空間において分散する恐れがある。

一方、広域エリアの監視映像ではパーティクル・フィルタを使った３次元追跡は有望な手法であると考えられるが、計算機パワーに依存する処理が多く、監視映像を処理する計算機の資源が乏しい場合は負荷が大きい。

本発明は上記課題を解決するものであり、その目的は、メモリに乏しく処理速度があまり速くない計算機においても監視映像からの物体位置の推定を高速、かつ効率的に行うことができる物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体を提供することにある。

上記課題を解決するための請求項１に記載の物体位置推定装置は、カメラなどの画像入力装置を１台または複数台使って取得した映像において対象物領域を抽出し、その対象物領域から空間中の位置を推定する物体位置推定装置であって、前記各画像入力装置で取得した各時系列画像から、それぞれ対象物領域を画像処理的に抽出する物体領域抽出手段と、前記物体領域抽出手段により抽出された、前記各画像入力装置に対応する各画素が、用意した３次元モデルのうちどの投影が該当するかどうかを、前記画像入力装置から得られる画像の各画素がどの空間位置に配置した３次元モデルから投影されるかを示す参照用テーブルを使って照合し、投影される３次元モデルが存在した場合はそのモデルの空間位置にそれぞれ投票することにより、投票値が多い場所に対象物の存在の可能性が高いことを表すマップを生成する空間マップ生成手段と、前記空間マップ生成手段により生成されたマップの得票値に基づいて対象物の位置を推定する物体位置推定手段とを備えることを特徴としている。

また請求項２に記載の物体位置推定装置は、請求項１において、前記参照用テーブルは、ある基準座標系上の空間位置に複数個の３次元モデルを配置し、画像入力装置の位置と姿勢及びその画像入力装置固有の内部パラメータを使って生成した３次元形状の透視投影像の各画像座標と、前記３次元モデルの配置位置との関係を示すテーブルとして構築されていることを特徴としている。

また、請求項７に記載の物体位置推定方法は、カメラなどの画像入力装置を１台または複数台使って取得した映像において対象物領域を抽出し、その対象物領域から空間中の位置を推定する物体位置推定方法であって、物体領域抽出手段が、前記各画像入力装置で取得した各時系列画像から、それぞれ対象物の領域を画像処理的に抽出する物体領域抽出ステップと、参照用テーブル構築手段が、前記各画像入力装置から得られる画像の各画素がどの空間位置に配置した３次元モデルから投影されるかを示す参照用テーブルを構築する参照用テーブル構築ステップと、空間マップ生成手段が、前記物体領域抽出ステップにより抽出された、前記各画像入力装置に対応する各画素が、用意した３次元モデルのうちどの投影が該当するかどうかを、前記参照用テーブルを使って照合し、投影される３次元モデルが存在した場合はそのモデルの空間位置にそれぞれ投票することにより、投票値が多い場所に対象物の存在の可能性が高いことを表すマップを生成する空間マップ生成ステップと、物体位置推定手段が、前記空間マップ生成ステップにより生成されたマップの得票値に基づいて対象物の位置を推定する物体位置推定ステップとを備えることを特徴としている。

また請求項８に記載の物体位置推定方法は請求項７において、前記参照用テーブル構築ステップは、ある基準座標系上の空間位置に複数個の３次元モデルを配置し、画像入力装置の位置と姿勢及びその画像入力装置固有の内部パラメータを使ってその３次元形状の透視投影像を生成し、その透視投影像の各画像座標と、前記３次元モデルの配置位置とを対応づけることを特徴としている。

上記構成によれば、従来のように画素数に応じた奥行き補正を行うことなく、画像入力装置、例えばカメラを使って取得した時系列画像全般から、車両などの移動物体や人物の位置を推定することができる。

また複数台のカメラを用いた場合、対象物位置を示す空間マップ分布がより確からしくなるとともに、雑音による影響の低減が可能となり、物体位置の推定精度を向上させることができる。

また、各画像から物体領域を抽出し、参照用テーブルの参照による投票処理だけで済むため、市販のパーソナルコンピュータによるリアルタイム処理が可能であるとともに、処理コストを低減することができる。

また請求項３に記載の物体位置推定装置は、請求項１または２において、前記物体位置推定手段は、前記生成された空間マップにおいて極大点となる位置を検出して対象物の位置とし、さらに、既に対象物の位置として決定した位置には１つの物体のみ占有する第１の排他的領域を設定し、該第１の排他的領域外の空間マップにおいて第２〜第ｎ（ｎは３以上の正数）の排他的領域を設定し、該第２〜第ｎの排他的領域において、空間マップの得票値の和または積算量が所定の値以上であるとき、その領域の中心を対象物の位置とすることを特徴としている。

また請求項９に記載の物体位置推定方法は、請求項７または８において、前記物体位置推定ステップは、前記生成された空間マップにおいて極大点となる位置を検出して対象物の位置とし、さらに、既に対象物の位置として決定した位置には１つの物体のみ占有する第１の排他的領域を設定し、該第１の排他的領域外の空間マップにおいて第２〜第ｎ（ｎは３以上の正数）の排他的領域を設定し、該第２〜第ｎの排他的領域において、空間マップの得票値の和または積算量が所定の値以上であるとき、その領域の中心を対象物の位置とすることを特徴としている。

上記構成によれば、例えばカメラの配置が悪い場合や対象物の密集等の物体位置推定精度が落ちる状況であっても、重複した複数の対象物の集まりに対して正確に物体位置を推定することができる。

また請求項４に記載の物体位置推定装置は、請求項１または２において、前記物体位置推定手段は、前記生成された空間マップを格子状に量子化し、該量子化された範囲における各得票値が所定の値以上である場合に、当該量子化された範囲を対象物の存在する場所とすることを特徴としている。

また請求項１０に記載の物体位置推定方法は、請求項７または８において、前記物体位置推定ステップは、前記生成された空間マップを格子状に量子化し、該量子化された範囲における各得票値が所定の値以上である場合に、当該量子化された範囲を対象物の存在する場所とすることを特徴としている。

上記構成によれば、例えば物体領域抽出時に生じる、背景画像との差分をとる処理の誤差（雑音）による影響を低減することができる。

また請求項５に記載の物体位置推定装置は、請求項４において、前記空間マップにおける格子状の量子化は、前記各画像入力装置が向く方向と当該装置の設置面とのなす角度が、所定角度よりも小さい場合、前記画像入力装置が向く方向の量子化を粗く設定することを特徴としている。

また請求項１１に記載の物体位置推定方法は、請求項１０において、前記空間マップにおける格子状の量子化は、前記各画像入力装置が向く方向と当該装置の設置面とのなす角度が、所定角度よりも小さい場合、前記画像入力装置が向く方向の量子化を粗く設定することを特徴としている。

上記構成によれば、カメラの設置面に対する角度が小さいときは、奥行き方向に空間マップの分布が流れる可能性があるが、その場合に、不要に推定位置の数が増加してしまうことを防止することができ、処理コストが低減される。

また請求項６に記載の物体位置推定装置は、請求項１ないし５のいずれか１項において、用意した３次元モデルの画像上での投影結果について、画像に投影された領域を投影有効画素として設定する有効画素設定手段をさらに備え、前記参照用テーブルは、前記有効画素設定手段により設定された投影有効画素を用いて構築され、前記物体領域抽出手段は、前記有効画素設定手段により設定された投影有効画素の領域のみを抽出することを特徴としている。

また請求項１２に記載の物体位置推定方法は、請求項７ないし１１のいずれか１項において、用意した３次元モデルの画像上での投影結果について、画像に投影された領域を投影有効画素として設定する有効画素設定ステップをさらに備え、前記参照用テーブル構築ステップは、前記有効画素設定ステップにより設定された投影有効画素を用いて構築し、前記物体領域抽出ステップは、前記有効画素設定ステップにより設定された投影有効画素の領域のみを抽出することを特徴としている。

上記構成によれば、投影されない画素領域を処理対象から外すことができ、一連の処理を効率的に実行することができる。

また請求項１３に記載の物体位置推定プログラムは、コンピュータに、請求項７ないし１２のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴としている。

また請求項１４に記載の記録媒体は、請求項１３に記載の物体位置推定プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。

（１）請求項１〜１４に記載の発明によれば、画像入力装置、例えばカメラを使って取得した時系列画像全般から、車両などの移動物体や人物の位置を推定することができる。単眼カメラを使う場合には奥行き方向に不定性があるため従来技術では画素数に応じた奥行きを補正する必要があったが、本発明ではそのような補正を一切必要とせず、対象物の位置を表す空間マップとして推定することができる。

また、複数カメラの場合では、従来では光軸をそろえたステレオタイプや基線長を既知とし多眼カメラが多く使われていたが、本発明では適当に配置された複数カメラでも容易に適用することができる。

なお、複数カメラでは従来、ボクセル空間への逆投影法が使われていたが、その手法では計算コストが高く、多くのカメラを扱うことでボクセル空間が発散するという問題があった。これに対して、本発明での多視点カメラ投票では、対象物位置を示す空間マップ分布がより確からしくなるとともに、雑音による影響を低減できるため、物体位置の推定精度を向上させることができる。

さらに、従来のパーティクル・フィルタを使った３次元追跡は演算コストが高く計算機パワーに頼っていたが、本発明はモデルテーブルを予め生成し具備しておくことで、各画像から物体領域が抽出されれば空間マップの生成にはテーブル参照による投票処理だけで済む。すなわち、市販のパーソナルコンピュータであってもビデオレートでのリアルタイム処理が可能であり、さらに計算機の資源が不十分な場合でも照合処理における処理コストを低減して物体位置推定の処理を行うことができる。
（２）請求項３、９に記載の発明によれば、例えばカメラの配置が悪い場合や対象物の密集等の物体位置推定精度が落ちる状況であっても、重複した複数の対象物の集まりに対して正確に物体位置を推定することができる。
（３）請求項４、１０に記載の発明によれば、例えば物体領域抽出時に生じる、背景画像との差分をとる処理の誤差（雑音）による影響を低減することができる。
（４）請求項５、１１に記載の発明によれば、カメラの設置面に対する角度が小さいときは、奥行き方向に空間マップの分布が流れる可能性があるが、その場合に、不要に推定位置の数が増加してしまうことを防止することができ、処理コストが低減される。
（５）請求項６、１２に記載の発明によれば、投影されない画素領域を処理対象から外すことができ、一連の処理を効率的に実行することができる。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
（実施例１）
まず最初にカメラ（画像入力装置）と３次元モデルを配置する座標系と使用する数式や表記について説明する。図１１はカメラと３次元モデルの位置関係を表している。カメラは事前に校正されているものとし、空間中の点Ｏを原点とした基準座標系ＸＹＺからの位置（Ｘ_i，Ｙ_i，Ｚ_i）と姿勢（Ｘ軸周りの回転Ｒｘ，Ｙ軸周りの回転Ｒｙ，Ｚ軸周りの回転Ｒｚ）、および内部パラメータ（有効焦点距離ｆ，画像中心（Ｃｘ，Ｃｙ），アスペクト比α，スキューγなど）を既知とする。ＸＹ平面を監視エリアの底辺（床，地面など）と位置付け、人物や物体はこの平面上を移動すると仮定する。監視エリアをＷｘ[ｍ]×Ｗｙ[ｍ]とし、その中心が原点Ｏとする。このＷｘ×ＷｙエリアをＸ軸方向にΔＸの間隔でＭ等分、Ｙ軸方向にΔＹの間隔でＮ等分に分割する。この平面において３次元モデルを式（１）に従って位置（Ｘ_m，Ｙ_n），ｍ＝１，２，・・・，Ｍ，ｎ＝１，２，・・・，Ｎ（Ｍ，Ｎは便宜上奇数とする）の位置に配置する。

３次元モデルは式（２）に従い、中心（Ｘ_m，Ｙ_n，Ｃ）、半径Ａ、Ｂ、Ｃとした３次元楕円体とする。

ここで、例えばＣは人の平均身長の１／２としておく。一方、半径Ａ、ＢはΔＸ、ΔＹと同じ、またはそれ以下の値にし、必ずしも人の大きさである必要はない。本発明では、例えば、量子化数Ｍ、Ｎを十分に大きくして３次元モデルのＡ、Ｂを小さく設定し、細かく量子化した空間位置（Ｘ_m，Ｙ_n）での微細な３次元モデルを扱う。

図１は請求項１、２の発明において、画像入力装置が１台の場合の基本構成図である。図１において１は、時系列画像を蓄積した時系列画像データベース、２は前記データベース１内の各画像における物体または人物領域を抽出する物体領域抽出部（物体領域抽出手段）である。３はカメラの内部・外部パラメータを与えるカメラ情報データ入力部であり、４はそのカメラ情報データから前記ＸＹＺ座標系において式（１）に従った空間位置に３次元モデルを配置し、その透視投影像を計算して参照するためのモデルテーブル（参照用テーブル）を構築するモデルテーブル構築部である。５は前記テーブルを使って物体領域の各画素から照合処理を行い物体の空間位置を得る空間マップ生成部（空間マップ生成手段）であり、６はその空間マップから物体位置を推定する物体位置推定部（物体位置推定手段）である。図１の各部は、例えばコンピュータにより構成される。

この構成において、時系列画像データベース１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。

さらに、図２はリアルタイムで処理する場合の処理構成図であり、本発明は必ずしも各データベース部（時系列画像データベース１）などの記憶装置を必要としない。図２において図１と異なる点は、時系列画像データベース１の代わりに、カメラからの画像を取り込む画像入力部７を設けた点にあり、その他は図１と同一に構成されている。

図３は本実施例の処理フローであり、この図に従って図１、図２の装置の動作を説明する。まず、カメラ情報データを与えて予めモデルテーブルを生成することについて説明する。カメラは予め校正されているので、図１、図２のカメラ情報データ入力部３では、基準座標系に対する外部パラメータ（位置と姿勢）とカメラ特有の内部パラメータ（焦点距離，レンズ歪，画像中心など）を保有しており、また、３次元モデル入力においてもパラメータＡ、Ｂ、Ｃを与えておく（ステップＳ１，Ｓ２）。

次にステップＳ３において、インデックスｍ、ｎをそれぞれ１から順番にあげていき、式（１）に従った位置（Ｘ_m，Ｙ_n）での３次元モデルとして、式（２）の３次元楕円体表面の標本点（Ｘ_j，Ｙ_j，Ｚ_j），ｊ＝１，２，・・・，Ｑを計算する（ステップＳ２，Ｓ３）。この標本点数Ｑは十分に大きな値に設定しておく（例えば、透視投影像へ変換したとき、画像上にて楕円体内にスペースが生じない程度に密に設定する）。

次にステップＳ４の透視投影像生成では、各標本点（Ｘ_j，Ｙ_j，Ｚ_j）からカメラ情報データを使って式（３）〜（５）の計算式により画像座標（ｘ_j，ｙ_j），ｊ＝１，２，・・・，Ｑを生成する。なお、上式にレンズ歪を考慮した透視投影計算により画像座標を算出してもよい。

次にステップＳ５において、前記画像座標とモデルを結びつけるための図４に示すモデルテーブルを構築する。図４は画像サイズを６４０×４８０画素とした場合のモデルテーブルの例である。縦方向に画素（１，１）から（６４０，４８０）画素に対応する欄が順番に用意され、横方向にＸ方向の量子化数ｍが１からＭに対応する欄が順番に用意され、モデルテーブルの大きさは（６４０×４８０）×Ｍになる。

まず、テーブル構築の前に予め全ての配列の欄を０に初期化しておく。次に、式（３）〜（５）に従った計算で得られる画像座標（ｘ_j，ｙ_j）をｊ＝１，２，・・・，Ｑの順番でこのテーブルに書き込む。つまり、位置（Ｘ_m，Ｙ_n）に置いた３次元モデル上の点からの透視投影像（ｘ_j，ｙ_j）について、縦方向の行番号（ｘ_j，ｙ_j）と横方向の列番号ｍで指定する欄に”ｎ”を書き込む。これを全ての画素（ｘ_j，ｙ_j），ｊ＝１，２，・・・，Ｑに対して行い、それが済むと次の位置（Ｘ_m，Ｙ_n）に３次元モデルを置いて、同様の透視投影計算により画像座標（ｘ_j，ｙ_j），ｊ＝１，２，・・・，Ｑを得て、同じテーブルに書き込む。こうして得られたテーブルは各画素がどのモデルと結びついているかを示したモデルテーブルになる。

図４の例では、画素（１，１）は（Ｘ₂，Ｙ₁）に置いた３次元モデル上のある点から投影され、画素（１，２）は（Ｘ₃，Ｙ₁₀）と（Ｘ_m，Ｙ₂₅）に置いた３次元モデル上のある点からそれぞれ投影されることを示している。各画素には１つだけのモデルが紐付くわけではなく、複数のモデルが同じ画素を形成することもある。配列の値が０であるときは位置（Ｘ_m，Ｙ_n）に置いた３次元モデル上の点が全く投影されないことを意味し、全て０の場合はその画素に対して、量子化数ｍ、ｎを使って用意した３次元モデル上の点からその画素に何一つ投影されないことを意味する。以上のテーブル構築を全ての位置（Ｘ_m，Ｙ_n）において行い、モデルテーブル構築を完了する。

なお、本発明では図４の配列形式である必要は無く、図５に示すように各画素に投影されたモデルの数（すなわち物体位置の数）とそのモデルのＸＹ平面上での位置を示すインデックス（ｍ，ｎ）を横方向に逐次書き込む形式としてもよい。この形式では横方向には投影されたモデル数だけが書き込まれ、何も投影されない画素の場合は何の値を書き込む必要がないため、メモリ資源を有効に利用する場合に適している。さらに、これらのモデルテーブルを別の処理装置によって予め構築し、そのテーブルを他の処理装置でも保持していれば、以降の処理だけで物体位置推定を同様に行うことができる。

一方、図１において、対象物の時間的な動きはカメラにより撮影され、その時系列画像が時系列画像データベース１に取り込まれる（ステップＳ６）。図１の物体領域抽出部２では、時系列画像データベース１から画像を逐次取り出し、その画像から移動物体領域または人物領域（これ以降の説明では物体領域と総称する）を抽出する（ステップＳ７）。

尚図２において、前記同様にカメラにより撮影された画像は、画像入力部７から取り込まれ（ステップＳ６）、物体領域抽出部２に入力される。

ここで図６に示すように、事前に背景画像が得られているならば、各画像からこの背景画像との差分処理（背景差分）により物体領域を抽出することができる。または非特許文献２に記載されたガウス混合分布を利用した方法を使えば、背景画像を必要とせずフレーム間差分だけで移動物体領域を抽出することができる。以上の処理により、物体領域を形成する各画素（ｘ_j，ｙ_j），ｊ＝１，２，・・・，Ｐ（抽出した領域の総画素数がＰ個）が得られる。

次にステップＳ８において、物体領域抽出部２から得られた各画素（ｘ_j，ｙ_j），ｊ＝１，２，・・・，Ｐを前記モデルテーブルと照合する。照合処理は、まずＸＹ空間を量子化数ＭとＮによる大きさのＭ×Ｎの２次元バッファを用意しておき、各画素（ｘ_j，ｙ_j）に対応する欄を横方向に参照して０以外の値があれば、そのｍとｎで決定されるバッファの位置（ｍ，ｎ）に１票を入れる（ステップＳ９）。これを抽出した画素全て（ｘ_j，ｙ_j），ｊ＝１，２，・・・，Ｐに対して行う（ステップＳ１１）。その結果、抽出した物体領域と３次元モデルの透視投影像とのパターン照合を行ったことになり、投票数が多い位置ほど物体位置である可能性が高いという空間マップが得られる（ステップＳ１０）。

このマップはＭ×Ｎの大きさのバッファであるが、式（１）により実世界のスケールと対応付けられているので、配列（ｍ，ｎ）は空間位置（Ｘ_m，Ｙ_n）に対応している。上記の投票結果により生成される空間マップは（Ｘ_m，Ｙ_n）を座標とし、その座標の値が得票値に対応している。その３次元分布は対象物が存在する場所を中心に山型の形状となり、そのマップを等高線図として表現すると図７になる。

図７の例ではＹ_n軸方向にカメラがあり、その方向を向くように分布する特徴がある。また、手前の分布（ＡとＢ）は比較的まとまっているが、奥側の分布（ＣとＤ）はやや伸びるような傾向になる。これはカメラから遠くなるに従って投票による精度が劣化することを表しており、この傾向は床面に対するカメラの傾きが浅くなると、さらに奥行きに長く伸びる分布となる。

次にステップＳ１２において、図１、図２の物体位置推定部６では、図７の空間マップから対象物の位置を推定する。その処理フローを図８に示す。まず、物体領域抽出での雑音の影響などにより孤立点などが存在することが考えられるため、全ての格子点（ｍ＝１，２，・・・，Ｍ，ｎ＝１，２，・・・，Ｎ）に対して適当な窓の標準偏差σの２次元ガウシアンを使って投票値を暈す（ステップＳ２１，Ｓ２２）。次に、その暈した値を得票値とする空間マップにおいて図９の×で示したように極大となる点を検出し、その点を対象物の位置とする（ステップＳ２３，Ｓ２４）。

ただし、カメラの配置状況や対象物の密集によっては極大点の箇所に必ずしも単独の対象物があるとは限らない。特に、奥側に位置する分布（図９のＣまたはＤ）において奥行き方向に長く伸びている場合、重複して複数の対象物の集まりを一つの分布として形成していることも考えられる。図８の処理フローはこのような重複するような対象物を考慮して複数の物体位置を算出する。

すなわちステップＳ２３により各分布から極大点を検出した後に、その位置を中心に物体を包含する程度の半径Ｒの円で囲み（図１０の太い実線の円）、その内部を排他的領域（第１の排他的領域）として設定する（ステップＳ２５）。つまり、その排他的領域に物体は一つとする。さらに、前記設定した排他的領域を共有しない箇所に半径Ｒの円領域（円領域は排他的領域と共有しない）を別の排他的領域（第２〜第ｎの排他的領域）として設定し（図１０の破線の円）、その範囲において得票値を集計し（ステップＳ２６）、その集計値が所定の値を超えている場合（ステップＳ２７）には、その箇所に物体が存在するとして、当該領域（第２〜第ｎの排他的領域）の中心を対象物の位置とする（ステップＳ２４）。なお、前記第１、第２〜第ｎの排他的領域は半径Ｒの円の他に矩形や多角形などの図形としてもよい。この処理を空間マップ全体に対して行うことで、空間マップから物体位置を得、該物体位置を出力する（ステップＳ１３）。

以上の一連の処理は対象とする画像全てに対して繰り返され、本発明の実施例により各画像における物体の位置を推定することができる。また、画像系列を長くすることで長時間での物体位置の推定も可能となる。

（実施例２）
図１２は請求項１，２の発明において、画像入力装置が複数台の場合の基本構成図であり、図１の構成と比べてカメラ台数分のカメラ情報データ入力部３ａ〜３ｎと対応するモデルテーブル構築部４ａ〜４ｎが付け加わる。また、図１３はリアルタイムで処理する場合の処理構成図であり、本発明は必ずしも各データベース部（時系列画像データベース１）などの記憶装置を必要としない。

図１３において図１２と異なる点は、時系列画像データベース１の代わりに、複数のカメラからの画像を取り込む画像入力部７を設けた点にあり、その他は図１２と同一に構成されている。

尚、図１２、図１３において、前記実施例１と同一部分の説明は省略し、以下では、前掲の実施例１と異なる箇所を中心に説明する。

この実施例２ではＣ（Ｃ≧２）台の複数カメラを使った場合を説明する。各カメラは必ずしも同じ種類のカメラである必要はなく、事前にカメラ校正作業により各カメラの内部・外部パラメータを得ておればよく、図１２の各カメラ情報データ入力部３ａ〜３ｎにそれらの情報を保持しておく。全てのカメラは時間的に同期がとれており各フレームでの画像が取得され、図１２の場合は時系列画像データベース１に格納されることを前提に以下の説明を進める。

モデルテーブル構築部４ａ〜４ｎで行われる透視投影像生成（図３のステップＳ４）では、インデックスｍとｎの値をそれぞれ順番にあげていき、式（１）に従った空間位置（Ｘ_m，Ｙ_n）と、その位置での式（２）の３次元モデル上の点（Ｘ_j，Ｙ_j，Ｚ_j）を、各カメラｉ情報データ入力部３ａ〜３ｎから与えられるカメラパラメータを使って式（３）〜（５）の計算により画像座標（ｘ_ij，ｙ_ij），ｉ＝１，２，・・・，Ｃ，ｊ＝１，２，・・・，Ｑを得る。

実施例１と異なるのは画像座標（ｘ_ij，ｙ_ij）を各カメラの分だけ求めることだけであり、空間位置（Ｘ_m，Ｙ_n）とその位置での３次元モデルの配置は前掲の実施例１と同じである。モデルテーブル構築部４ａ〜４ｎでは、実施例１と同様の手続き（図３のステップＳ１〜Ｓ５）により各カメラに応じてＣ種類のモデルテーブルが生成される。

次に、物体領域抽出部２では時系列画像データベース１から画像が取り出され、実施例１と同様に背景差分やフレーム間差分により物体領域が抽出される（図３のステップＳ６，Ｓ７）。物体領域が得られれば、各画素（ｘ_ij，ｙ_ij），ｉ＝１，２，・・・，Ｃ，ｊ＝１，２，・・・，ＰをＣ種類のモデルテーブルに従いＭ×Ｎの２次元マップ空間へ投票する。このとき、各カメラは事前のカメラ校正によりＸＹ平面、すなわち、インデックスｍとｎにより示される位置（Ｘ_m，Ｙ_n）と幾何的に対応付けられているため、各テーブルによる照合処理を逐次実行し、同じＭ×Ｎの２次元マップ空間へ投票することができる。その結果、抽出した物体領域と３次元モデルの全カメラによる透視投影像とのパターン照合を行ったことになる（図３のステップＳ８〜Ｓ１１）。

実施例２では、実施例１の単眼カメラと比べて複数カメラを使用するため、単眼カメラに付随する曖昧性が大幅に低減された信頼性の高い空間マップが得られる。実施例１では、カメラの配置状況や複数の対象物の集まりなどによって図７の分布Ｃまたは分布Ｄに示すように奥行き方向に長く伸びる場合もある。これに対して、上記実施例２の複数のカメラに基づく投票では、それぞれのカメラによる分布が長く伸びても、複数カメラに基づく各分布を同一の空間マップにおいて交差させることができるため、得票値の多い箇所が物体位置であることを反映した信頼性の高い空間マップを得ることができる。これ以降は、実施例１と同様に、空間マップから物体位置を推定する（図３のステップＳ１２，Ｓ１３）。

（実施例３）
次に請求項４、５に関する実施例を説明する。本実施例３は図１、図２と同じ処理構成であり、同一部分の説明は省略する。本実施例３では物体位置推定部６における処理フローが前記図８と異なっているため、以下ではこの箇所のみを説明する。

図１４は本実施例３における物体位置推定部６での処理フローである。物体領域抽出から得られる空間位置マップは背景処理による雑音の影響を受けており、カメラの傾きによって分布が流れたりする場合がある。したがって、空間位置マップでは必ずしも物体数に応じた忠実な極大点が得られるとは限らない。そこで、まず図１４のステップＳ３１では、（Ｘ_m，Ｙ_n）空間において格子状に量子化（セル化）を行う（図１５の図示破線部分）。このセルの大きさは、カメラの設置状況を考慮して決めてよい。例えば、カメラと床面との角度が大きい場合は、図１５に示すように人が一人占有する大きさとし、またその角度が、例えば所定角度より小さい場合は奥行き方向に分布が流れている可能性があるので、図１６のようにＹ_n方向の量子化を粗くしたセルを設定する。

次にステップＳ３２，Ｓ３３において、空間マップ上の最大の得票値が１となるように各得票値を予め正規化しておき、そのときの（Ｘ_m，Ｙ_n）での値（得票率）が０．５未満の場合は削除するという処理（ステップＳ３４，Ｓ３５）を施す。これは背景差分処理時の誤差などを含めて空間マップが生成されているため、極力、この雑音からの得票を除去して、得票率が半分以上のものを物体位置の候補として残すためである。

続いて、前記設定されたセル内での新たな得票率を集計して得票率マップを生成する（ステップＳ３６）。そしてこのセル座標空間での得票率が所定値より大きい場合はそのセル位置を物体の位置とする（ステップＳ３７〜Ｓ３９）。図１７の黒で塗ったセルは物体位置と決定した処理例である。図１５のようにＹ_n方向のセル量子化をＸ_m方向のセル量子化と同じにすると、奥側の物体位置として検出されるセルが図１７のように多くなる場合がある。その場合はＹ_n方向の量子化をやや粗くした図１６のセル空間において物体位置を検出することで、図１８に示すように、位置として検出するセルの数を極力抑えることができる。

（実施例４）
次に請求項６に関する実施例を説明する。本実施例４の基本構成図は図１９のとおりであり、複数カメラへも容易に拡張できるためその説明および図示は省略する。

図１９において図１と異なる点は、用意した３次元モデルの画像上での投影結果について、画像に投影された領域を投影有効画素として設定する有効画素設定部８をさらに設けた点にあり、その他は図１と同一に構成されている。

また、図２０はリアルタイムで処理する場合の処理構成図であり、本発明は必ずしも各データベース部（時系列画像データベース１）などの記憶装置を必要としない。

図２０において図１９と異なる点は、時系列画像データベース１の代わりに、複数のカメラからの画像を取り込む画像入力部７を設けた点にあり、その他は図１９と同一に構成されている。

通常の監視カメラの場合、例えば図２１に示すように、監視エリアを撮影する際に床面（または地面）を向くように傾けて配置されることが多い。上記で説明した実施例１〜３のモデルテーブル構築では、位置（Ｘ_m，Ｙ_n）を変えて３次元モデルとし、その投影される座標に基づいてテーブルを構築した。ところが、図２１でカメラの画角をΦとすると、位置（Ｘ_m，Ｙ_n）で指定する有限なエリアにしか３次元モデルを配置しないので、図２１の破線で示した部分より上側には何も投影されないことが明らかであり、画像として図２２のように投影される（白部分が投影された画素、黒部分が投影されない画素）。

つまり、全ての画素に対してモデルテーブルを構築しても、画角とカメラ配置の状況によって”疎な”テーブル（図４，図５にて空欄の多いテーブル）を構築することになる。そこで、本実施例では、配置する３次元モデルを事前に把握し、処理の対象をその投影される画素のみに行う。以下では、これまでの実施例１〜３と比べて図１９の有効画素設定部８の処理が異なるため、この処理を中心に説明する。

前記実施例１の図３のステップＳ４（透視投影像生成ステップ）で説明したように、位置（Ｘ_m，Ｙ_n）での３次元モデル上の点（Ｘ_j，Ｙ_j，Ｚ_j）から画像座標（ｘ_j，ｙ_j），ｊ＝１，２，・・・，Ｑを得る。次に、図２２で示したように何も投影されない画素が存在するので、モデルテーブル構築において投影されない画素領域の該当する欄を削除しておく。この削除処理の後に残った画素が投影有効画素であり、この投影有効画素が物体領域抽出部２と空間マップ生成部５において使われる。この画素削除処理として大まかに二通りあり、一つは投影されないと分かった画像座標の欄を削除する方法で、図４の例では、ある画素（ｘ_j，ｙ_j）の横方向の欄が全て０となる場合はその（ｘ_j，ｙ_j）の行を全て削除する。

あるいは、図５の例では投影数が０の場合にその行を削除する。もう一つは、図２３に示すように投影されないと分かった画素領域を矩形などでフィルタリングし、このフィルタリングされた画素領域に該当する画像座標の欄をモデルテーブルから削除する処理である。以降は後者の削除処理の場合についてである。

このモデルテーブル構築の際に、投影される画像領域を投影有効画素として有効画素設定部８に設定しておく。続いて、物体領域抽出部２では実施例１と同様に背景差分やフレーム間差分により時系列画像から物体領域を抽出するとき、前記投影有効画素として設定されている画素領域のみ物体領域の画素（ｘ_j，ｙ_j）として抽出する。次に、この抽出した各画素についてモデルテーブルを参照し投票処理を行い空間マップを生成する。その後の処理は実施例１と同様である。本実施例は、投影されない画素領域を処理対象から外すため、物体領域抽出、モデルテーブル構築、空間マップ生成の一連の処理を効率的に実行することができる。

尚、本発明の物体位置推定方法は、前記実施例１〜４で述べた各処理を実行するものである。

また前記物体位置推定方法をコンピュータに実行させるためのプログラムを構築するものである。

また、本実施形態の物体位置推定装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の物体位置推定方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ，、ＣＤ−ＲＷ，ＨＤＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

本発明の一実施形態例の物体位置推定装置の画像蓄積型の基本構成図である。 本発明の一実施形態例の物体位置推定装置のリアルタイム処理型の基本構成図である。 本発明の実施例１の処理フロー図である。 本発明のモデルテーブルの一例を示す説明図である。 本発明のモデルテーブルの他の例を示す説明図である。 本発明において背景画像と各フレーム画像との背景差分により物体領域を抽出する例を示す説明図である。 本発明における空間マップの例を示す説明図である。 本発明における物体位置推定の一例を示す処理フロー図である。 図８の処理フローによる物体位置推定の処理結果の例を示す説明図である。 図８の処理フローによる物体位置推定の処理結果の例を示す説明図である。 本発明におけるカメラと物体の位置関係、並びに３次元モデルを配置する格子マップの説明図である。 本発明の他の実施形態例の物体位置推定装置の画像蓄積型の基本構成図である。 本発明の他の実施形態例の物体位置推定装置のリアルタイム処理型の基本構成図である。 本発明における物体位置推定の他の例を示す処理フロー図である。 本発明の実施例３の物体位置推定処理のようすを示す説明図である。 本発明の実施例３の物体位置推定処理のようすを示す説明図である。 図１５の処理結果を示す説明図である。 図１６の処理結果を示す説明図である。 本発明の実施例４の物体位置推定装置の画像蓄積型の基本構成図である。 本発明の実施例４の物体位置推定装置のリアルタイム処理型の基本構成図である。 カメラと３次元モデルの配置例を示す説明図。 ３次元モデルの投影結果の例を示す説明図である。 本発明の実施例４の、背景差分による物体領域における投影有効画素からの抽出例を示す説明図である。

符号の説明

１…時系列画像データベース、２…物体領域抽出部、３、３ａ〜３ｎ…カメラ情報データ入力部、４，４ａ〜４ｎ…モデルテーブル構築部、５…空間マップ生成部、６…物体位置推定部、７…画像入力部、８…有効画素設定部。

Claims (14)

1. カメラなどの画像入力装置を１台または複数台使って取得した映像において対象物領域を抽出し、その対象物領域から空間中の位置を推定する物体位置推定装置であって、
   前記各画像入力装置で取得した各時系列画像から、それぞれ対象物領域を画像処理的に抽出する物体領域抽出手段と、
   前記物体領域抽出手段により抽出された、前記各画像入力装置に対応する各画素が、用意した３次元モデルのうちどの投影が該当するかどうかを、前記画像入力装置から得られる画像の各画素がどの空間位置に配置した３次元モデルから投影されるかを示す参照用テーブルを使って照合し、投影される３次元モデルが存在した場合はそのモデルの空間位置にそれぞれ投票することにより、投票値が多い場所に対象物の存在の可能性が高いことを表すマップを生成する空間マップ生成手段と、
   前記空間マップ生成手段により生成されたマップの得票値に基づいて対象物の位置を推定する物体位置推定手段と
   を備えることを特徴とする物体位置推定装置。
2. 前記参照用テーブルは、
   ある基準座標系上の空間位置に複数個の３次元モデルを配置し、画像入力装置の位置と姿勢及びその画像入力装置固有の内部パラメータを使って生成した３次元形状の透視投影像の各画像座標と、前記３次元モデルの配置位置との関係を示すテーブルとして構築されている
   ことを特徴とする請求項１に記載の物体位置推定装置。
3. 前記物体位置推定手段は、
   前記生成された空間マップにおいて極大点となる位置を検出して対象物の位置とし、さらに、既に対象物の位置として決定した位置には１つの物体のみ占有する第１の排他的領域を設定し、該第１の排他的領域外の空間マップにおいて第２〜第ｎ（ｎは３以上の正数）の排他的領域を設定し、該第２〜第ｎの排他的領域において、空間マップの得票値の和または積算量が所定の値以上であるとき、その領域の中心を対象物の位置とする
   ことを特徴とする請求項１または２に記載の物体位置推定装置。
4. 前記物体位置推定手段は、
   前記生成された空間マップを格子状に量子化し、該量子化された範囲における各得票値が所定の値以上である場合に、当該量子化された範囲を対象物の存在する場所とする
   ことを特徴とする請求項１または２に記載の物体位置推定装置。
5. 前記空間マップにおける格子状の量子化は、前記各画像入力装置が向く方向と当該装置の設置面とのなす角度が、所定角度よりも小さい場合、前記画像入力装置が向く方向の量子化を粗く設定する
   ことを特徴とする請求項４に記載の物体位置推定装置。
6. 用意した３次元モデルの画像上での投影結果について、画像に投影された領域を投影有効画素として設定する有効画素設定手段をさらに備え、
   前記参照用テーブルは、前記有効画素設定手段により設定された投影有効画素を用いて構築され、
   前記物体領域抽出手段は、前記有効画素設定手段により設定された投影有効画素の領域のみを抽出する
   ことを特徴とする請求項１ないし５のいずれか１項に記載の物体位置推定装置。
7. カメラなどの画像入力装置を１台または複数台使って取得した映像において対象物領域を抽出し、その対象物領域から空間中の位置を推定する物体位置推定方法であって、
   物体領域抽出手段が、前記各画像入力装置で取得した各時系列画像から、それぞれ対象物の領域を画像処理的に抽出する物体領域抽出ステップと、
   参照用テーブル構築手段が、前記各画像入力装置から得られる画像の各画素がどの空間位置に配置した３次元モデルから投影されるかを示す参照用テーブルを構築する参照用テーブル構築ステップと、
   空間マップ生成手段が、前記物体領域抽出ステップにより抽出された、前記各画像入力装置に対応する各画素が、用意した３次元モデルのうちどの投影が該当するかどうかを、前記参照用テーブルを使って照合し、投影される３次元モデルが存在した場合はそのモデルの空間位置にそれぞれ投票することにより、投票値が多い場所に対象物の存在の可能性が高いことを表すマップを生成する空間マップ生成ステップと、
   物体位置推定手段が、前記空間マップ生成ステップにより生成されたマップの得票値に基づいて対象物の位置を推定する物体位置推定ステップと
   を備えることを特徴とする物体位置推定方法。
8. 前記参照用テーブル構築ステップは、
   ある基準座標系上の空間位置に複数個の３次元モデルを配置し、画像入力装置の位置と姿勢及びその画像入力装置固有の内部パラメータを使ってその３次元形状の透視投影像を生成し、その透視投影像の各画像座標と、前記３次元モデルの配置位置とを対応づける
   ことを特徴とする請求項７に記載の物体位置推定方法。
9. 前記物体位置推定ステップは、前記生成された空間マップにおいて極大点となる位置を検出して対象物の位置とし、さらに、既に対象物の位置として決定した位置には１つの物体のみ占有する第１の排他的領域を設定し、該第１の排他的領域外の空間マップにおいて第２〜第ｎ（ｎは３以上の正数）の排他的領域を設定し、該第２〜第ｎの排他的領域において、空間マップの得票値の和または積算量が所定の値以上であるとき、その領域の中心を対象物の位置とする
   ことを特徴とする請求項７または８に記載の物体位置推定方法。
10. 前記物体位置推定ステップは、
    前記生成された空間マップを格子状に量子化し、該量子化された範囲における各得票値が所定の値以上である場合に、当該量子化された範囲を対象物の存在する場所とする
    ことを特徴とする請求項７または８に記載の物体位置推定方法。
11. 前記空間マップにおける格子状の量子化は、前記各画像入力装置が向く方向と当該装置の設置面とのなす角度が、所定角度よりも小さい場合、前記画像入力装置が向く方向の量子化を粗く設定する
    ことを特徴とする請求項１０に記載の物体位置推定方法。
12. 用意した３次元モデルの画像上での投影結果について、画像に投影された領域を投影有効画素として設定する有効画素設定ステップをさらに備え、
    前記参照用テーブル構築ステップは、前記有効画素設定ステップにより設定された投影有効画素を用いて構築し、
    前記物体領域抽出ステップは、前記有効画素設定ステップにより設定された投影有効画素の領域のみを抽出する
    ことを特徴とする請求項７ないし１１のいずれか１項に記載の物体位置推定方法。
13. コンピュータに、請求項７ないし１２のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴とする物体位置推定プログラム。
14. 請求項１３に記載の物体位置推定プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images