JP2007328479A - 動体追跡装置，動体追跡方法およびその方法を記述したプログラムを格納した記録媒体 - Google Patents

Abstract

【課題】複数の動体を撮像する複数の撮像装置から送られる画像を統合し、各動体の動きを安定して追跡する。
【解決手段】１又は複数の撮像装置を用いて動体を撮像した複数画像データに基づき、各時刻に複数の前記動体の対象状態を予測する手段１１と、前記画像データを取得する手段１２と、前記動体を写した領域を抽出したシルエット画像を作成する手段１３と、シルエット画像と、実世界の三次元構造と、前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定する手段１４と、現時刻において最大確率になる対象状態と前時刻において最大確率になる対象状態に基づいて変化ベクトルを計算する手段１５と、実世界の三次元構造と前記内部パラメータ及び外部パラメータを保存する手段２１と、対象状態の確率的分布を記憶する手段２２と、前記変化ベクトルを記憶する手段２３と、を用いて、動体を追跡する。
【選択図】図１

Description

本発明は、１又は複数の画像入力装置（例えば、カメラ等）を用いて、動体（物体、動物、人間を含む動体）の三次元位置や大きさなどの状態を追跡する技術に関するものである。

コンピュータビジョン分野では、複数のカメラの情報を利用して人物などの動く対象の追跡に関する研究が多く行われている。例えば、次のような研究成果が、実現されている。

複数の視点から対象を観測し、画像上における対象の領域（即ち、シルエット）を抽出したシルエット画像を用意する。さらに、予め追跡を行う空間の三次元構造（以下、三次元環境情報と呼ぶ）と、追跡に利用する全てのカメラの内部パラメータ及び外部パラメータ（カメラパラメータともいう）と、を予め計測して求めておく。

なお、シルエット画像とは、撮影した画像に対して背景差分法やフレーム間差分法を施し、撮影した画像の対象が写っている領域の輝度値を「１」、他の領域の輝度値を「０」で表現した２値画像である（即ち、実差分画像である）。また、カメラの内部パラメータの校正，三次元位置と姿勢を求めるためのカメラキャリブレーション方法も広く知られている（例えば、非特許文献１参照）。

そして、その三次元環境中に人物モデルを配置し、先に算出したカメラの内部パラメータと外部パラメータを有する仮想カメラ（例えば、ソフトウェアで構築された仮想撮像装置）で、その人物モデルが配置されたシーンを撮影することによって、シルエット画像のシミュレーションを行うことができる。

また、人物モデルに楕円体を用いて、生成したシミュレーション画像とシルエット画像を比較することで一般的な環境の下でも人物の追跡を行う方法（以下、楕円体モデル追跡方法と呼ぶ）が提案されている（例えば、非特許文献２参照）。
Ｚ．Ｚｈａｎｇ，"Ａｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ"，ＩＥＥＥ，Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０００（平成１２年），ｖｏｌ．２２，Ｎｏ．１１，ｐ．１３３０−１３３４． 加藤博一、中澤篤志、井口征史，「楕円体モデルを用いたリアルタイム人物追跡」，情報処理学会論文誌，１９９９（平成１１年）１１月，ｖｏｌ．４０，Ｎｏ１１，ｐ．４０８７−４０９６。

前述のように、カメラによって取得した情報に基づいて対象を追跡する方法において、複数の人物を追跡する場合、人物同士の接近などによって、カメラで撮影された画像上で人物同士が重なってしまう現象（即ち、オクルージョン）が問題にされている。

そのオクルージョン問題は、複数の視点から得られた情報を統合することによって、軽減できる。しかし、前記の楕円体モデル追跡方法では、複数のカメラが独立に追跡を行っているため、複数カメラの情報統合が行われておらず、人物同士が接近すると追跡が不可能となる問題を有している。

また、前記の楕円体モデル追跡方法では、追跡する人数を初めから固定しているため、追跡空間からの人物の退出、出現に対応することができないという問題を有している。

さらに、追跡人数に比例した処理量が必要であるため、一度に追跡する人数が増えると処理コストが増大し、追跡処理の実時間性が失われるといった問題を有している。

そして、シミュレーション画像生成に用いる楕円体モデルに固定の高さ，固定の半径を与えているため、人物の大きさの個人差に対応することが不可能である。即ち、この楕円体モデルの大きさと著しく異なる大きさの体を持つ人物を追跡する際には、測定値に大きな誤差を発生し、結果として追跡にも失敗してしまうという問題をも有している。

本発明は、上述のような従来技術の問題点を解決するためになされたものであって、複数の動体を撮像する複数の撮像装置から送られる画像から、三次元空間中に存在する複数の動体の各時刻における位置、大きさを表す対象状態を逐次的に推定し、各動体の動きを安定して追跡する動体追跡装置，動体追跡方法およびその方法を記述したプログラムを格納した記録媒体を提供することにある。

本発明は、前記課題の解決を図るために、請求項１記載の発明は、動体の三次元位置及び大きさを該動体の対象状態と見做し、１又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する動体追跡装置であって、各時刻に複数の前記動体の対象状態を予測する対象状態予測手段と、前記画像データを取得する画像取得手段と、前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成手段と、対象状態予測手段よって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定手段と、対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて、最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算手段と、予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理手段と、各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶手段と、各時刻の前記変化ベクトルを記憶する対象状態記憶手段と、を備えることを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記対象状態分布推定手段が、予め用意された変化タイプから任意の確率に従って変化タイプを選択する手段と、前記変化タイプを適応して変化させる動体を選択する手段と、前記選択された変化タイプに基づいて、選択された動体の対象状態を変化させる手段と、前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做す手段と、前記三次元構造に関する事前知識の条件に基づいた対象状態の確率的な第１条件尤度と、動体同士の重なりに関する事前知識の条件に基づいた対象状態の確率的な第２条件尤度と、前記シルエット画像とシミュレーション画像の比較による第３条件尤度と、を計算し、その第１乃至第３条件尤度の積を、前記変化させた対象状態の尤度と見做す手段と、前記変化させた対象状態の尤度を対象状態分布と見做すか否かを判断する手段と、を有することを特徴とする。

請求項３記載の発明は、請求項１または２記載の発明において、前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置（ｘ，ｙ）、動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを複数記憶する、ことを特徴とする。

請求項４記載の発明は、動体の三次元位置及び大きさを該動体の対象状態と見做し、１又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する動体追跡方法であって、各時刻に複数の前記動体の対象状態を予測する対象状態予測ステップと、前記画像データを取得する画像取得ステップと、前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成ステップと、対象状態予測手段よって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定ステップと、対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算ステップと、予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理ステップと、各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶ステップと、各時刻の前記変化ベクトルを記憶する対象状態記憶ステップと、を有することを特徴とする。

請求項５記載の発明は、請求項４記載の発明において、前記対象状態分布推定ステップが、予め用意された変化タイプから任意の確率に従って変化タイプを選択するステップと、前記変化タイプを適応して変化させる動体を選択するステップと、前記選択された変化タイプに基づいて、選択された動体の対象状態を変化させるステップと、前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做すステップと、前記三次元構造に関する事前知識に基づいた対象状態の確率的な第１条件尤度と、動体同士の重なりに関する事前知識に基づいた対象状態の確率的な第２条件尤度と、前記シルエット画像とシミュレーション画像の比較による第３条件尤度と、を計算し、その第１乃至第３条件尤度の積を、前記変化させた対象状態の尤度と見做すステップと、前記変化させた対象状態の尤度を対象状態分布と見做すか否かを判断するステップと、を有することを特徴とする。

請求項６記載の発明は、請求項４または５記載の発明において、前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置（ｘ，ｙ）、動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを複数記憶する、ことを特徴とする。

請求項７記載の発明は、記録媒体であって、請求項４乃至６のいずれかに記載の動体追跡方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする。

前記の請求項１，４の発明によれば、複数の動体の対象状態分布を取得し、さらに、それら対象状態分布に基づいて、動体の変化ベクトルを取得できる。

前記の請求項２，５の発明によれば、三次元構造に関する事前知識に基づいた対象状態の確率的尤度，動体同士の重なりに関する事前知識に基づいた対象状態の確率的尤度，前記シルエット画像とシミュレーション画像の比較による尤度を取得できる。

前記の請求項３，６の発明によれば、各動体の位置を任意の平面上の位置（ｘ，ｙ）、動体の大きさを該楕円体モデルの半径ｒと高さｈを記憶できる。

前記の請求項７の発明によれば、請求項４乃至６のいずれかに記載の動体追跡方法をコンピュータプログラムとして記載できる。

以上示したように請求項１，４の発明によれば、複数の撮像装置から取得した画像に基づいて動体の変化ベクトルを計算し、その動体の変化ベクトルに基づいて複数の動物体の動きを安定に追跡できる。

請求項２，５の発明によれば、確率的尤度とシルエット画像とシミュレーション画像の比較による尤度（即ち、複数の撮像装置からの画像情報を統合した結果）を用いて、動体同士が非常に接近するような状況下においても、動体を安定して追跡できる。

請求項３，６の発明によれば、ｘ，ｙ，ｒ，ｈを記憶できるため、大きさの異なる複数の動体や動的に追跡する動体数の変化に応じた追跡を行うことができる。また、大きさの異なる複数の動体や動的に追跡する動体数の変化に応じた追跡を行っても、処理時間を一定に保ち実時間性を確保できる。

請求項７の発明によれば、動体追跡方法を実装したコンピュータプログラムを記録した記録媒体を提供できる。

これらを以ってコンピュータビジョン分野に貢献できる。

本実施形態における動体追跡装置を図１に基づいて説明する。

動体追跡装置は、対象状態予測手段１１，画像取得手段１２，シルエット画像作成手段１３，対象状態分布推定手段１４，対象状態計算手段１５，三次元環境情報管理手段（例えば、三次元環境情報を管理するデータベース）２１，対象状態分布記憶手段２２，対象状態記憶手段２３から構成される。

対象状態予測手段１１は、前時刻に得られた追跡対象の状態（以後、単に対象状態という；追跡対象の三次元位置、大きさ）および対象状態の変化ベクトルを用いて現時刻の対象状態を予測する。

画像取得手段１２は、各時刻に撮影された画像データを取得する手段であり、例えば、デジタルカメラやビデオカメラ等の撮像装置などを備えている。本実施形態における動体追跡装置は、１又は複数の撮像装置を備えていても良い。また、画像データは、各時刻に撮影された画像データを格納した情報管理手段（例えば、データベース）から取得しても良い。

シルエット画像作成手段１３は、前記取得された画像データから対象を写した領域のみを抽出したシルエット画像を作成する。

対象状態分布推定手段１４は、対象状態予測手段１１によって得られた対象状態を初期状態と見做し、シルエット画像作成手段１３によって作成されたシルエット画像と三次元環境情報管理手段２１を用いて対象状態の確率的分布を推定し、対象状態分布記憶手段２２に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する。

対象状態計算手段１５は、現時刻の対象状態分布が保存された対象状態分布記憶手段２２を用いて、最大確率となる対象状態を計算するとともに、前時刻の対象状態からの変化ベクトルを計算し、対象状態記憶手段２３に保存されている対象状態からの変化ベクトルを更新する。

三次元環境情報管理手段２１は、予め計測しておいた実世界の三次元構造情報と、設置されている画像取得手段１２（例えば、デジタルカメラ、以下、単にカメラという）の内部パラメータ（例えば、焦点距離，画像中心などのパラメータ）と、その画像取得手段１１の外部パラメータ（例えば、カメラ自体の三次元位置及び姿勢情報）と、を保存する。例えば、三次元環境情報管理手段２１は、三次元構造情報，内部パラメータ，外部パラメータを保存するデータベースを含んでいても良い。また、三次元環境情報管理手段２１は、記憶部（例えば、ハードディスク装置や不揮発性メモリ）に三次元構造情報，内部パラメータ，外部パラメータを記憶してよい。

対象状態分布記憶手段２２は、対象状態分布推定手段１４によって推定された対象状態の確率的分布を記憶する。例えば、対象状態分布記憶手段２２に含まれるメモリ（または、記憶領域）やハードディスク装置に推定された対象状態の確率的分布を記憶しても良い。

対象状態記憶手段２３は、対象状態計算手段１５によって計算された最大確率を取る対象状態および前時刻の対象状態との変化ベクトルを記憶する。例えば、対象状態記憶手段２３に含まれるメモリ（または、記憶領域）やハードディスク装置に前記変化ベクトルを記憶しても良い。

本実施形態における動体追跡装置に関する条件を図２に基づいて説明する。なお、以下の説明で図１中の符号と同じものの説明は省略する。

図２は、平面上を歩行する複数の人物（図２中では、人物Ｈ１，Ｈ２…Ｈｋ；ｋは自然数）を追跡対象（即ち、動体）とし、ｐ（ｐは自然数）台の位置と姿勢を固定されたビデオカメラ（即ち、カメラＣ１，Ｃ２…Ｃｐ）を用いて追跡を行う例について示すものである。また、カメラＣ１〜Ｃｐは、同じ撮影間隔で同期して画像の取得を行うものとする。なお、同じ撮影間隔で同期して画像の取得を行う際に、例えば、カメラＣ１〜Ｃｐに同期装置を接続または搭載しても良い。

一般に、空間中には追跡対象でない非対象物体（図２中では、非対象物体Ｂ）が存在しており、この非対象物体の三次元構造データは、手作業によるＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）データの作成やレンジファインダの利用し、または、カメラ映像からの三次元復元などを利用して、予め計測して取得できる。この三次元構造データは、ＸＹ平面を床面と一致させ、高さ方向をＺ軸と一致させる座標系に変換するものとする。

また、配置された全て（ｐ台）のカメラの内部パラメータの校正と三次元位置(ｘ，ｙ，ｚ)と姿勢（φ，θ，γ）とを前記取得した三次元構造データと同じ座標系で求める（例えば、非特許文献１参照）。これら三次元構造データと全てのカメラの三次元位置および姿勢を、三次元環境情報管理手段２１に予め記憶しておくことにする。

本実施形態における人物（動体）の形状モデルを図３に基づいて説明する。

なお、以下の説明における時刻は、特定のサンプリング間隔Δｔでサンプリングした回数（または順序数）を示す。そして、初期時刻ｔ₀は、動体追跡を開始した時刻（即ち、時刻ｔが「０」の時点）を示す。前時刻は、初期時刻ｔ₀から現在時刻（即ち現時刻）間の時刻であって、現時刻（即ち、処理中の時刻；例えば、ｔ）の直前に動体追跡を行った時刻（即ち、ｔ−１）となる。

図３では、楕円体ｅを人物の形状を近似したモデルと考え、人物の位置を床平面上の二次元座標値(ｘ，ｙ)、人物の大きさを楕円体ｅの半径ｒと高さｈで表す。さらに、対象状態分布推定手段１４には、確率統計的状態分布推定法の一種であるＭＣＭＣ（Ｍａｒｋｏｖ Ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ）法を用いる。

複数の人物の状態を表す対象状態Ｓは、各人物の位置，大きさを表すベクトルＭ（即ち、人物モデル）を並べたものによって表される。対象状態Ｓの次元数は、最大追跡可能人数Ｋによって定まる。すなわち、ベクトルＭが四次元ベクトルであるため、４Ｋ次元ベクトルとなる。例えば、時刻ｔにおける状態Ｓ_tは以下の式で表される。

また、状態分布Ｓを構成する人物ｉの位置、大きさ、形を表す人物モデルＭ_iは、以下の式で表される四次元ベクトルである。

ただし、ここでｘ_iおよびｙ_iは床平面状での人物ｉの位置を示す二次元座標値(ｘ，ｙ)であり、ｒ_iおよびｈ_iは人物を楕円体で近似した際の楕円体のパラメータ半径ｒおよび高さｈを表す。なお、ｘ_i，ｙ_i，ｒ_i，ｈ_iは、例えば、動体追跡装置に備えられた記憶部（例えば、メモリや外部記憶装置）に保存され、アクセスされても良い。

以上のように、本実施形態は、各時刻ｔにおける対象状態Ｓ_tを推定することによって、複数人物の状態を逐次推定し、追跡を行うものである。

本実施形態の動体追跡方法の処理手順を図４中のフローチャートに基づいて説明する。なお、以下の説明で、図１中の符号と同じものの説明は省略する。

まず、処理が開始されると、対象状態予測手段１１により、現時刻での対象状態の予測が行われる（Ｓ３０１）。これは前時刻で計算された対象状態と対象状態の変化ベクトルを用いて行われる線形予測処理である。前時刻で求められた対象状態をＳ_t-1、変化ベクトルを４Ｋ次元のベクトルＶ_t-1とすると、現時刻の対象状態の予測値Ｓ’_t,0は、次の式によって表すことができる。

ただし、Ｓ’のインデックスのｔは時刻ｔを表す。「０」の部分は、予測値の更新回数が「０」であることを示す。後述する対象状態分布の推定（Ｓ３０４）においては、予測値をＳ’_t,0を初期値と見做して、その後、複数回の更新を行って対象状態の分布を求める。
すなわち、インデックスの「０」は更新回数が「０」である初期値であることを示す。

なお、動体追跡の開始（初期時刻ｔ₀）直後には前時刻の対象状態、対象状態の変化ベクトルは未知であるため、全てのＭ_iの要素を「０」にしてＳ₀の初期化を行う。

次に、画像取得手段１２を用いて、同期撮影された画像データＩｍ₁，Ｉｍ₂，…Ｉｍ_pをカメラＣ１，Ｃ２…Ｃｐから取得する（Ｓ３０２）。

次に、シルエット画像作成手段１３を用いて、前記カメラＣ１，Ｃ２…Ｃｐから取得した画像データＩｍ₁，Ｉｍ₂，…Ｉｍ_pに対し、それぞれのシルエット画像Ｓｉｌ₁，Ｓｉｌ₂，…Ｓｉｌ_pを作成する（Ｓ３０３）。なお、シルエット画像とは、図５のように撮影した画像の対象を写した領域の輝度値が「１」、他の領域が「０」である２値画像のことであって、画像５０１は入力画像、画像５０２が作成されたシルエット画像の一例である。このような画像は、背景差分法やフレーム間差分法などのよく知られた方法を利用することによって簡単に生成できる。

次に、ステップＳ３０１で予測された対象状態Ｓ’_t,0を対象状態の初期値とし、Ｓ’を逐次更新していくことによって、対象状態の確率的分布を推定する（Ｓ３０４）。

ここで、図６に基づいて対象状態の確率的分布を推定する処理手順を説明する。

対象状態の確率分布の推定は複数回（即ち、（Ｂ＋Ｎ）回）の状態更新処理によって行われる。最初のＢ回の更新によって得られた対象状態を捨て、最後のＮ回に得られた対象状態を状態分布として保存する。このＮ個の状態は全て等確率で起こりうると考える。

まず、更新回数ｎを「０」に初期設定して処理が開始される。

ステップＳ４０１では変化タイプの選択を行う。なお、変化タイプとは、状態を変化させる処理のタイプを表すものであって、４種類（第１タイプは人物の追加，第２タイプは人物の消去，第３タイプは人物の位置変更，第４タイプは人物の大きさ変更）から成る。

変化タイプの選択の方法は次の通りである。まず、現在の状態として誰も人物を追跡していない場合（全てのＭが「０」ベクトル）には、必ず第１タイプが選択される。そして、それ以外の場合には、各タイプが選ばれる確率を予め任意に設定しておき、確率的に４つのタイプから選択を行う。

次に、ステップＳ４０２では、変化させる対象を選択する。いま、更新回数をｎ回目とすると、ｎ−１回目に更新された対象状態Ｓ’_t,n-1を用いて、暫定的な変化状態Ｓ^*を計算する。

このときに、一度の更新処理で全ての対象の状態を変化させずに、毎回の更新処理で一つの対象の状態のみを変化させる。まず、変化タイプが人物の追加である場合には、現在「０」ベクトルとなっているＭ_i（即ち、追跡されていないＭ_i）の中からランダムに選択を行う。それ以外の場合には「０」ベクトルとなっていないＭ_i（即ち、追跡されているＭ_i）の中からランダムに選択を行う。

次に、ステップＳ４０３では、選択された人物モデルＭ_iから選択された第１〜第４タイプの各処理に従って暫定的な人物モデルＭ’_iを計算する。以下に、タイプ別の処理を説明する。

第１タイプ（人物の追加）では、次のような処理を行う。

人物モデルＭ_iが「０」ベクトルのため、人物モデルＭ_iに新たに値の設定を行う必要がある。例えば、以下のようにして値を設定できる。

三次元環境情報管理手段２１によって、人物の空間上で取り得る位置の範囲が既知であるものと仮定し、この範囲を次のように定義する。

また、人物を近似する楕円体の大きさを表すパラメータｒおよびｈに関しては、人物の大きさに関する経験的な事前知識（例えば、３ｍ（メートル）を超える身長の人はいない、など）に基づいて、取り得る値の範囲を同様に制限することができる。ここでは、この範囲を次のように定義する。

以上のような条件下で、楕円体に関するｘ，ｙ，ｒ，ｈのそれぞれのパラメータに関して一様乱数を発生させることによって、Ｍ’_iを生成することができる。

なお、第１タイプ（人物の追加）の処理は、人物が新たに追跡範囲に入ってきたことを表している。また、追跡範囲内において、予め入退室する場所（例えば、ドアの場所など）の情報が得られていれば、その近辺だけを入退室エリアと見做すことも同様に可能である。

第２タイプ（人物の消去）では、次のような処理を行う。

全ての要素を「０」と考え、Ｍ’_iを「０」ベクトルとする。即ち、第２タイプ（人物の消去）は、追跡していた人物が追跡範囲から消えたことを表している。

第３タイプ（人物の位置変更）では、次のような処理を行う。

選択されたＭ_iの要素の内、人物の二次元平面上での位置(ｘ_i，ｙ_i)から以下の式に従って変化させた暫定的な位置(ｘ’_i，ｙ’_i)を計算する。

ただし、δ_x，δ_yはそれぞれ一次元のガウスノイズであり、そのδ_x，δ_yは実験的に任意の値に決めることができる。この暫定的な位置(ｘ’_i，ｙ’_i)を用いて、以下の式のようにＭ’_iを定義する。

第４タイプ（人物の大きさ変更）では、次のような処理を行う。

選択されたＭ_iの要素の内、人物を近似する楕円体の半径ｒおよび高さｈを表す(ｒ_i，ｈ_i)から次の式に従って変化させた楕円体の暫定的な形、大きさパラメータ(ｒ’_i，ｈ’_i)を計算する。

ただし、δ_r，δ_hはそれぞれ一次元のガウスノイズであり、そのδ_r，δ_hは実験的に任意の値に決めることができる。この楕円体の暫定的な形、大きさパラメータ(ｒ’_i，ｈ’_i)を用いて、次の式によってＭ’_iを定義する。

以上の各タイプで生成されたＭ’_iを用いて、暫定的に変化させた対象状態Ｓ^*を生成する。例えば、Ｓ^*は、現在時刻ｔで更新回数をｎ回目とすれば、ｎ−１回目の更新で得られた状態Ｓ’_t,n-1のうち選択された人物モデルＭ_iを変化させて生成したＭ’_iに置き換えたものになる。

次に、暫定的に変化させた対象状態Ｓ^*を用いて、シルエット画像の作成（Ｓ３０３）で作成されたシルエット画像Ｓｉｌ₁，Ｓｉｌ₂，…Ｓｉｌ_pをシミュレートした画像（即ち、シミュレーション画像Ｓｉｍ₁，Ｓｉｍ₂，…Ｓｉｍ_p）を作成する（Ｓ４０４）。そのシミュレーション画像の作成（Ｓ４０４）方法は、次の通りである。

まず、三次元環境情報管理手段２１と対象状態を組み合わせることによって、実世界をシミュレートした仮想シーンを構築する。なお、三次元環境情報管理手段２１には、実世界の三次元構造の情報が、床面がＸＹ平面、高さ方向がＺ軸となるような座標系を有する三次元の点群（もしくは、ポリゴンデータ）として保存されているものとする。この三次元構造内にステップＳ４０３で計算された暫定的な対象状態Ｓ^*に基づいた楕円体の三次元モデルを複数配置できる。

次に、実世界上に配置されたカメラの内部パラメータ（例えば、焦点距離，画像中心など）と外部パラメータ（カメラの三次元位置と姿勢）を用いて、仮想シーンを仮想カメラで投影する（例えば、非特許文献２）ことによって、シミュレーション画像を作成する。なお、前記内部パラメータと外部パラメータは、三次元環境情報管理手段２１に保存されているものとする。

なお、投影の際、画像上の楕円体領域の値を「１」、それ以外の領域の値を「０」とする２値画像とすることによって、シルエット画像Ｓｉｌ₁，Ｓｉｌ₂，…Ｓｉｌ_pをシミュレートしたシミュレーション画像Ｓｉｍ₁，Ｓｉｍ₂，…Ｓｉｍ_pを作成できる。

以上が、シミュレーション画像の作成方法である。

次に、この暫定的な対象状態Ｓ^*が、どのくらい尤もらしいかを判断するために、尤度を計算する（Ｓ４０５）。尤度の計算は、事前知識による対象状態自体の確からしさの判定及びステップＳ３０３で作成されたシルエット画像Ｓｉｌ₁，Ｓｉｌ₂，…Ｓｉｌ_pとステップＳ４０４で生成されたシミュレーション画像Ｓｉｍ₁，Ｓｉｍ₂，…Ｓｉｍ_pの比較に基づいて計算する。

事前知識の条件による対象状態自体の尤もらしさの判定（即ち、条件に基づく確率的な尤度（即ち、条件尤度）の計算）には、次の２種類の判定が考えられる。

第１判定は、三次元環境に基づく制限を用いた判定である。三次元環境情報管理手段２１を用いて、人物状態の位置(ｘ，ｙ)に応じて、存在確率に重みをつけることができる。なお、本実施形態では、人物は床平面上に存在していることを仮定しており、空間中で対象以外に存在している静止物体の上によじ昇ったりすることはない、という条件を仮定している。その仮定の下に、例えば、人物の存在している位置(ｘ，ｙ)における三次元構造の高さに反比例する以下の式で表されるペナルティ関数Ｐ（Ｓ^*）を用意することで、存在確率に重みを付けることが可能である。

ただし、ｈ（Ｍ_i）はＭ_iの要素中の位置(ｘ_i，ｙ_i)における三次元構造のＺ値、αは定数であって実験的に任意に設定可能な値である。

第２判定は、追跡している人物同士が三次元空間上で重なることがない、という条件に基づいた判定である。即ち、人物を楕円体で近似しているため、個々の楕円体が重ならない条件（すなわち、異なる二つの楕円体の中心間の距離）が、二つの楕円体の半径の和より大きいことを満たす必要がある。

二人の人物同士が三次元空間上で重ならないようにするために、次の式で表された距離Ｒ、二人の人物を表す楕円体の中心同士の距離に応じたペナルティ関数Ｅ（Ｓ^*）を設定する。

ただし、ｘ_n，ｙ_nは人物ｎの位置ｘ座標、ｙ座標を示す。

楕円体の距離が近くなるとペナルティを与える関数Ｅは、例えば、以下の式のように設定できる。

ただし、βは定数で、実験的に任意に設定可能である。

次に、シルエット画像の作成（Ｓ３０３）によって作成されたシルエット画像Ｓｉｌ₁，Ｓｉｌ₂，…Ｓｉｌ_pとシミュレーション画像Ｓｉｍ₁，Ｓｉｍ₂，…Ｓｉｍ_pの比較について説明する。例えば、以下の評価式によって計算できる（即ち、条件尤度を計算する）。

ただし、（ｋ，ｌ）は、画像のｋ行ｌ列成分（画素）を示す。

上記の式では、ｐ台のカメラ全ての情報統合を行っており、複数の視点の情報を使って評価を行っている。

最終的に、暫定状態Ｓ^*の尤度Ｌは、以下の式のような積演算によって計算される。

以上の処理が、尤度の計算（Ｓ４０５）である。

次に、ステップＳ４０６では、ステップＳ４０５で計算された尤度を用いて、暫定状態Ｓ^*を受け入れて更新するか、もしくは拒否するかを判定する。この判定は、受け入れ拒否判断確率Ａの計算に基づいて判定する。受け入れ拒否判断確率Ａは、例えば、以下の式により計算できる。

ここで、現在ｎ回目の更新とすると、尤度Ｌ’はｎ−１回目に更新されたＳ’_t,n-1の尤度を表す。つまり、前回の状態よりも今回の状態の方が尤度が高ければ必ず受け入れ、そうでなければ、Ｌ／Ｌ’の確率（即ち、受け入れ拒否判断確率Ａ）で暫定状態Ｓ^*を採用する。

さらに、暫定状態Ｓ^*が採用されれば、Ｓ’_t,nがＳ^*と等しい（Ｓ’_t,n＝Ｓ^*）ものと見做し、採用が拒否されれば、Ｓ’_t,nがＳ’_t,n-1と等しい（Ｓ’_t,n＝Ｓ’_t,n-1）ものと見做して、ステップＳ４０７の条件判断ステップへ進む。

ステップＳ４０７では、更新処理が規定の回数行われたか否かの判断を行う。更新回数ｎが、任意に決定できる定数ＢとＮの和で表されるＢ＋Ｎ回を超えていれば処理を終了する。

また、ｎがＢ回を超えていれば、得られた状態Ｓ’_t,nを対象状態分布記憶手段２２に保存しておく。すなわち、Ｎ個の状態が対象状態分布記憶手段２２に保存されることになり、このＮ個の状態全てが等確率に起こりうると考え、このＮ個の状態を対象状態分布とする。

以上、述べた処理がステップＳ３０４である。

次に、ステップＳ３０５では、ステップＳ３０４で得られた対象状態分布から最大確率を持つ対象状態の計算を行う。対象状態分布を構成するＮ個の対象状態は全て等確率で起こると仮定しているため、最大確率を持つ対象状態Ｓ_tは以下の式によって計算することができる。

また、対象状態予測手段１１により、次の時刻の対象状態を予測するために、４Ｋ次元の変化ベクトルＶを以下の式によって求める。

ただし、初期時刻ｔ₀においては、上式を計算できないので、Ｖの全ての要素を「０」とする。このようにして計算したＳ_tおよびＶを対象状態記憶手段２３に保存する。

そして、ステップＳ３０６では追跡を終了するか否かをチェックする。追跡が終了なら処理を終了とし、まだ追跡を続けるのならば、次の時刻の状態の予測（Ｓ３０１）の処理を行う。例えば、追跡を終了するか否かをチェックするために、追跡停止指示手段（例えば、動体追跡装置に備えられたキーボード装置）を備え、その追跡停止指示手段からの追跡停止指示があった場合に、追跡を停止しても良い。

以上のように、本実施形態における処理を繰り返すことによって、動的に人数の変化する複数の人物の状態を逐次推定できる。

なお、図１で示した装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、図４、図６で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

さらに、上述の動体追跡装置に関する方法を記述したコンピュータプログラムを、動体追跡装置に関する方法に必要とされる入出力データを格納したメモリや外部記憶装置等にアクセスするように実装してもよい。

なお、本実施形態では、ステップＳ４０５の処理において、一例としてシルエット画像とシミュレーション画像の比較に関して対象状態予測手段１１を用いたが、画像間の類似度を取る評価関数（例えば、単純な積演算）を利用しても同様に実現できる。

また、本実施形態では、ステップＳ４０５の処理において、一例として環境のペナルティ関数として高さ方向で重みを付けた式８を用いたが、人物の存在位置の重みを表現できる関数を別途に利用できることは当然である。

そして、本実施形態では、ステップＳ４０５の処理において、一例として人物の接近に関するペナルティ関数として式１０を用いたが、人物が重なった際にペナルティを与えられる関数を別途に利用できることは当然である。

［実施例］
本実施例では、上述の動体追跡装置を用いて、二台のビデオカメラ（カメラＣ１およびカメラＣ２）から得られた映像を処理して、追跡範囲に一人ずつ侵入してくる２人の人物を追跡した結果を図４に示した処理フローに基づいて説明する。

まず、処理が開始されると、対象状態を線形予測する（Ｓ３０１）。

次に、カメラから画像を取得する（Ｓ３０２）。なお、図７は、二台のカメラから取得した画像列の一部であり、上段がカメラＣ１から取得した画像７０１〜７０６、下段がカメラＣ２から取得した画像７０７〜７１２である。

次に、得られた画像からシルエット画像を作成する（Ｓ３０３）。背景差分法を用いて作成したシルエット画像を図８に示す。図７と同じように、上段がカメラＣ１から取得した画像から作成したシルエット画像８０１〜８０６、下段がカメラＣ２から取得した画像から作成したシルエット８０７〜８１２である。なお、図８の各シルエット画像は、図７において同じ位置に示されている各画像と対応している。

次に、ステップＳ３０４にて対象状態分布の推定を行う。即ち、ステップＳ３０４では、状態を逐次更新させながらその状態をシミュレートしたシミュレーション画像の作成を行って、そのシミュレーション画像の評価を行う。

図９において、上段はシルエット画像９０１、下段は上段のシルエット画像をシミュレートしたシミュレーション画像の一部（符号９０２から９０４で示されるシミュレーション画像）である。このように様々な状態に変化させながらシミュレーション画像を作成し、尤度の計算、受け入れ拒否演算により対象状態分布を作成する。

ステップＳ３０５では、ステップＳ３０４で計算された対象状態分布より、現在、最大確率を取る対象状態を求め、これを現時刻での対象状態として出力する。また、同時に、前時刻と現時刻での対象状態の変化ベクトルを求める。

図１０に計算された最大確率を取る対象状態を表現した画像を示す。図１０は、それぞれ上段がカメラからの画像１００１〜１００６、中段が最大確率を取る対象状態をシミュレートした画像１００７〜１０１２、下段が俯瞰図として天井にカメラが設置されているとして最大確率を取る対象状態をシミュレートした画像１０１３〜１０１８である。

人物Ｈ１と人物Ｈ２が少し時間を置いて追跡範囲に侵入した後に、すれ違い、最後にまた追跡範囲から退出する様子を明確に追跡できていることを示している。また、追跡する人数が０人→１人→２人→０人のように動的に変化しているが人物の出現と消失を行いながら安定して追跡していることが確認できる。

ステップＳ３０６では、現時刻までで、追跡を終了とする場合には、処理を終了とし、そうでない場合には、ステップＳ３０１の対象状態の予測へ戻る。

以上の実施例における処理を繰り返すことによって、２人の人物が接近してすれ違うシーンにおいても安定した追跡を行うことができる。即ち、これは複数のカメラの情報が統合されていることを示している。

また、追跡する人数が動的に変化しているが、人物の出現と消失に対応し、追跡が行えていることを示している。

さらに、このように動的に追跡する人物の人数が変化しても全体の処理量が増えるといった問題がなく、実時間性を確保している。

そして、２人の体型の違う人物に対しても、予めパラメータを与えることなく、安定した追跡を可能にしている。

これらの特徴は、複数のカメラの情報を統合し、体の大きさまで推定できるためである。

以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。

例えば、本実施形態の変形として、実験的に任意に設定可能な値（例えば、上述のδ_x，δ_y，δ_r，δ_h，α，βの値）を入力できる入力手段を備え、その入力手段からの入力値に基づいて、上述の動体追跡に関する処理を行っても良い。即ち、キーボード装置などを含む入力手段によって、値を動体追跡装置に入力し、その入力された値に基づいて、上述の動体追跡に関する処理を行うものである。

本実施形態における動体追跡装置の構成図。 本実施形態における動体追跡装置に関する条件を示す図。 本実施形態における動体追跡装置で用いる三次元モデル図。 本実施形態における動体追跡方法の処理手順を示すフローチャート。 本実施形態における入力画像に対応するシルエット画像を示す図。 本実施形態における対象状態分布の推定に関する処理手順を示すフローチャート。 本実施例におけるカメラから取得した画像列の一部を示した図。 本実施例におけるカメラから取得した画像列の一部から作成したシルエット画像を示した図。 本実施例においてシルエット画像および予測結果に基づいてシルエット画像をシミュレートした画像の一部を示した図。 本実施例において入力画像の一部および入力画像から計算した対象状態をシミュレートした画像とそれを俯瞰した画像を示した図。

符号の説明

１１…対象状態予測手段
１２…画像取得手段
１３…シルエット画像作成手段
１４…対象状態分布推定手段
１５…対象状態計算手段
２１…三次元環境情報管理手段
２２…対象状態分布記憶手段
２３…対象状態記憶手段
５０１…入力画像
５０２，８０１〜８１２，９０１…シルエット画像
７０１〜７１２，１００１〜１００６…カメラからの画像
９０２〜９０４…シミュレーション画像
１００７〜１０１８…対象状態をシミュレートした画像
Ｂ…非対象物体
Ｃ１，Ｃ２，Ｃｐ…カメラ
Ｈ１，Ｈ２，Ｈｋ…人物
ｅ…楕円体

Claims (7)

1. 動体の三次元位置及び大きさを該動体の対象状態と見做し、１又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する動体追跡装置であって、
   各時刻に複数の前記動体の対象状態を予測する対象状態予測手段と、
   前記画像データを取得する画像取得手段と、
   前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成手段と、
   対象状態予測手段よって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定手段と、
   対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて、最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算手段と、
   予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理手段と、
   各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶手段と、
   各時刻の前記変化ベクトルを記憶する対象状態記憶手段と、
   を備えることを特徴とする動体追跡装置。
2. 請求項１記載の動体追跡装置において、前記対象状態分布推定手段が、
   予め用意された変化タイプから任意の確率に従って変化タイプを選択する手段と、
   前記変化タイプを適応して変化させる動体を選択する手段と、
   前記選択された変化タイプに基づいて、選択された動体の対象状態を変化させる手段と、
   前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做す手段と、
   前記三次元構造に関する事前知識の条件に基づいた対象状態の確率的な第１条件尤度と、動体同士の重なりに関する事前知識の条件に基づいた対象状態の確率的な第２条件尤度と、
   前記シルエット画像とシミュレーション画像の比較による第３条件尤度と、を計算し、その第１乃至第３条件尤度の積を、前記変化させた対象状態の尤度と見做す手段と、
   前記変化させた対象状態の尤度を対象状態分布と見做すか否かを判断する手段と、
   を有することを特徴とする動体追跡装置。
3. 請求項１または２記載の動体追跡装置において、
   前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置（ｘ，ｙ）、動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、
   それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを複数記憶する、
   ことを特徴とする動体追跡装置。
4. 動体の三次元位置及び大きさを該動体の対象状態と見做し、１又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する動体追跡方法であって、
   各時刻に複数の前記動体の対象状態を予測する対象状態予測ステップと、
   前記画像データを取得する画像取得ステップと、
   前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成ステップと、
   対象状態予測手段よって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定ステップと、
   対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算ステップと、
   予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理ステップと、
   各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶ステップと、
   各時刻の前記変化ベクトルを記憶する対象状態記憶ステップと、
   を有することを特徴とする動体追跡方法。
5. 請求項４記載の動体追跡方法において、前記対象状態分布推定ステップが、
   予め用意された変化タイプから任意の確率に従って変化タイプを選択するステップと、
   前記変化タイプを適応して変化させる動体を選択するステップと、
   前記選択された変化タイプに基づいて、選択された動体の対象状態を変化させるステップと、
   前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做すステップと、
   前記三次元構造に関する事前知識に基づいた対象状態の確率的な第１条件尤度と、動体同士の重なりに関する事前知識に基づいた対象状態の確率的な第２条件尤度と、
   前記シルエット画像とシミュレーション画像の比較による第３条件尤度と、を計算し、その第１乃至第３条件尤度の積を、前記変化させた対象状態の尤度と見做すステップと、
   前記変化させた対象状態の尤度を対象状態分布と見做すか否かを判断するステップと、
   を有することを特徴とする動体追跡方法。
6. 請求項４または５記載の動体追跡方法において、
   前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置（ｘ，ｙ）、動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、
   それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを複数記憶する、
   ことを特徴とする動体追跡方法。
7. 請求項４乃至６のいずれかに記載の動体追跡方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする記録媒体。