JP2009251990A - 物体運動推定装置、物体運動推定方法、物体運動推定プログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】１台以上のカメラで得た映像から空間中での速度を推定し、複数の被写体あるいは人物の動き表す速度場を生成できる物体運動推定装置を提供する。
【解決手段】 空間中のある位置Ｘに用意した被写体上の３次元点を前記カメラで取得した画像中に投影したときの、当該３次元点の座標の変化に対する画像座標上での座標の変化量を得る勾配係数処理部３と、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔ＋Δｔでの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理部２と、前記空間勾配、時間勾配、画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を満たす場合に、投票空間としての速度マップ中のその速度の場所に投票を行い、その得票値が極大となる速度を位置Ｘでの被写体の速度と決定する物体速度推定部４とを備える。
【選択図】図３

Description

本発明は、監視カメラなどの固定カメラで車両や歩行者などの動きを撮影した時系列画像に利用可能で、カメラで取得した時系列画像から被写体の動きまたは速度、並びに映像中の群衆全体の動きを推定する物体運動推定装置、物体運動推定方法、物体運動推定プログラムおよびそのプログラムを記録した記録媒体に関する。

時系列画像中において被写体の動きを把握するには、オプティカルフローと呼ばれる手法が一般的に利用される。この手法を簡単に説明しておく。時刻ｔでの画像座標（ｘ，ｙ）での濃淡値をＩ（ｘ，ｙ，ｔ）とすると、時刻ｔ＋Δｔでの画像はＩ（ｘ，ｙ，ｔ＋Δｔ）と表現される。ここで、時間間隔Δｔの濃淡変化に対して、式（１）に示すように時刻ｔでの画像の濃淡値が、時刻ｔ＋Δｔでの画像上でのｘｙ座標を（ｘ＋Δｘ，ｙ＋Δｙ）と平行移動したとき近似的に同じ濃淡値になると仮定する。

式（１）右辺をＴａｙｌｏｒ展開して第一次項まで求めると式（２）が得られ、Δｔが十分に小さいと仮定すると式（３）にまとめることができる。式（３）は非特許文献１に記載のオプティカルフローとして知られている拘束条件であり、時間ｔの画像と時刻ｔ＋Δｔでの画像の間において時間勾配：ｄＩ／ｄｔと画像座標に対する空間勾配：∂Ｉ／∂ｘ，∂Ｉ／∂ｙが得られれば、画像座標上での時間的変化量（ｄｘ／ｄｔ，ｄｙ／ｄｔ）が求まる。この原理に基づき、オプティカルフローは時系列画像間の特徴点追跡や被写体の動線追跡などに応用されている。

一方、空間中での時間的変化量、すなわち、被写体の運動を推定するためにコンピュータビジョンではＳｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎと呼ばれている基本原理があり、被写体に対してカメラが相対的に運動することにより被写体の３次元形状と運動を復元する方法がある。例えば、被写体が複数の剛体から構成されており、各剛体がカメラに対して相対的に運動すれば非特許文献２に記載の方法の応用が考えられる。あるいは、運動する被写体に対してカメラが時間線形に運動するならば非特許文献３に記載の方法も有効と考えられる。

最近では、監視映像における人物追跡への新たな応用としてパーティクル・フィルタ（非特許文献４に記載）の有効性が報告されている。パーティクル・フィルタとは、追跡対象を状態量と尤度を持つ多数の仮説群により離散的な確率密度として表現し、状態遷移モデルを用いて伝播させることで動きの変動や観測の雑音に対して頑健に追跡を実現する手法である。
また非特許文献５には、ガウス混合分布を利用して物体領域を抽出する手法が記載されている。
Ｈｏｒｎ，"ロボットビジョン"，朝倉書店，ｐｐ．３０５−３１２，１９９３． Ｊ．Ｐ．Ｃｏｓｔｅｉｒａ ＆ Ｔ．Ｋａｎａｄｅ，"Ａ Ｍｕｌｔｉｂｏｄｙ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｄｅｐｅｎｄｅｎｔｌｙ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔｓ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．２９，Ｎｏ．３，ｐｐ．１５９−１７９，１９９８． Ｍ．Ｈａｎ ＆ Ｔ．Ｋａｎａｄｅ，"Ｍｕｌｔｉｐｌｅ Ｍｏｔｉｏｎ Ｓｃｅｎｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ Ｕｎｃａｌｉｂｒａｔｅｄ Ｃａｍｅｒａｓ，"ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２５，Ｎｏ．７，ｐｐ．８８４−８９４，２００３． 樋口知之，"粒子フィルタ"，電子情報通信学会誌，Ｖｏｌ．８８，Ｎｏ．１２，ｐｐ．９８９−９９４，２００５． Ｃ．Ｓｔａｕｆｆｅｒ ＆ Ｗ．Ｅ．Ｌ Ｇｒｉｍｓｏｎ，"Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ"，Ｐｒｏｃｅｅｄｉｎｇ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｖｏｌ．２，ｐｐ．２４６−２５２，１９９９．

オプティカルフローは画像座標の時間的変化量を求めるだけであり、空間中の被写体の運動状態が把握できるわけではなく、あくまでカメラ上での“見え”としての被写体の時間的変化が把握できるだけである。このとき、カメラの設置状況によっては、カメラからの遠近においてオプティカルフローに偏りが発生する。したがって、オプティカルフローでは複数の被写体の空間中の運動を把握することはできない。

また、非特許文献３、４などのＳｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ原理に基づく３次元復元手法は、画像中の特徴点をいかに精度良く測定できるかによって復元精度が左右される。また、特徴点として明確な代表点を時系列画像において追跡しなければならないため、監視カメラなどの大規模な空間において複数の被写体の運動状態を一度に把握することには適さない。

一方、パーティクル・フィルタを使った３次元追跡は有効な手法の一つと考えられるが、数人程度の人物を追跡するレベルなら有効だと言えるが、駅・空港・公共広場などの広域空間では群衆としての動きが多く、逐次、人物を識別して追跡することは計算機パワーに依存する処理が多くなり、処理する計算機の資源が乏しい場合には処理負荷が大きいという問題がある。

本発明は、上記課題を解決するものであり、その目的は、１台または複数台のカメラで得た映像から空間中での速度を推定し、複数の被写体あるいは人物の動き、あるいは群衆としての全体の動きを表す速度場を生成することができる、物体運動推定装置、物体運動推定方法、物体運動推定プログラムおよびそのプログラムを記録した記録媒体を提供することにある。

本発明の基本原理を式（３）のオプティカルフローを用いて説明する。本発明では、画像座標（ｘ，ｙ）は時間ｔの関数とするだけでなく、その投影の元となる３次元点（Ｘ，Ｙ，Ｚ）の関数と考える。以降では簡単のため、式（４）の関数形について述べるが、式（５）の関数形の場合も原理は同じであり、本発明の実施例を容易に拡張することができる。

画像座標（ｘ，ｙ）が式（４）に示す３次元点の成分（Ｘ，Ｙ）の関数とすると、式（３）から式（６）に展開することができ、式（７）に示すような関係に表現することができる。ここで、便宜上、式（８）に示すように置換する。

（Ｖｘ，Ｖｙ）は空間中の３次元点の各成分の時間的変化量、すなわち時間に関する一回微分なので３次元点の速度を意味する。したがって、式（７）の拘束式を満たす（Ｖｘ，Ｖｙ）を求めれば、被写体の空間中の動きまたは速度を推定することができる。

本発明は、式（７）の関係に基づいた処理構成となっている。空間勾配∂Ｉ／∂ｘ，∂Ｉ／∂ｙと時間勾配ｄＩ／ｄｔは、時系列画像から取り出した時間ｔの画像と時刻ｔ＋Δｔの画像から求めることができる。これに対して、３次元点の成分に対する画像座標上での変化量∂ｘ／∂Ｘ，∂ｙ／∂Ｘ，∂ｘ／∂Ｙ，∂ｙ／∂Ｙは、カメラパラメータと３次元点から構成される式（４）の具体的な関係式が与えられれば、事前に計算することができる。

上記課題を解決するための請求項１に記載の物体運動推定装置は、画像入力装置を１台または複数台使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における複数の被写体の運動状態を推定する装置であって、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該３次元点の座標の変化に対する画像座標上での座標の変化量を得る勾配係数処理手段と、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔ＋Δｔでの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段より得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、空間中での被写体の速度をパラメータとする投票空間としての速度マップにおいて、その拘束条件を満たす場合に速度マップ中のその速度の場所に投票を行い、全ての投票処理の後に、速度マップにおいてその得票値が極大となる速度を位置Ｘでの被写体の速度と決定する物体速度推定手段と、を備えることを特徴としている。

また請求項２に記載の物体運動推定装置は、請求項１において、前記勾配係数処理手段は、画像入力装置の位置と姿勢のパラメータとその画像入力装置固有の内部パラメータからなるカメラパラメータに従って、空間中のある位置Ｘに用意した被写体上の３次元点を画像中の画像座標に投影したときの、当該３次元点の座標の変化に対する画像座標の変化量を得る、ことを特徴としている。

また請求項３に記載の物体運動推定装置は、請求項１又は２において、前記勾配係数処理手段は、空間中の位置Ｘが異なる被写体上の複数の３次元点の座標を算出し、各位置Ｘでの各３次元点の座標の変化に対する投影画像座標の変化量を得て、前記物体速度推定手段は、前記空間中の複数の位置Ｘについて速度を推定し、複数の被写体または群集の運動状態を表す速度場を生成する、ことを特徴としている。

また請求項４に記載の物体運動推定装置は、請求項１ないし３のいずれか１項において、空間中の位置Ｘを変えて被写体上の複数の３次元点の座標を算出し、各位置Ｘでの各３次元点の投影画像座標が時刻ｔの画像から抽出した物体領域の画素の座標と一致しているか否かを判定し、一致したと判定された画素数が所定の値未満の場合は位置Ｘでの運動がないと判定し、一致したと判定された画素数が所定の値以上の場合は位置Ｘでの運動があると判定するための物体位置に関する情報を得る物体位置推定手段をさらに備え、前記物体速度推定手段は、前記物体位置推定手段により得られた物体位置に関する情報に基づいて、位置Ｘでの運動があると判定された場合に限り、被写体の速度を推定する、ことを特徴としている。

また請求項５に記載の物体運動推定方法は、画像入力装置を１台または複数台使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における複数の被写体の運動状態を推定する方法であって、勾配計数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該３次元点の座標の変化分に対する画像座標上での座標の変化量を得る勾配係数処理ステップと、時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔ＋Δｔでの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、物体速度推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、空間中での被写体の速度をパラメータとする投票空間としての速度マップにおいて、その拘束条件を満たす場合に速度マップ中のその速度の場所に投票を行い、全ての投票処理の後に、速度マップにおいてその得票値が極大となる速度を位置Ｘでの被写体の速度と決定する物体速度推定ステップと、を備えることを特徴としている。

また請求項６に記載の物体運動推定方法は、請求項５において、前記勾配係数処理ステップは、画像入力装置の位置と姿勢のパラメータとその画像入力装置固有の内部パラメータからなるカメラパラメータに従って、空間中のある位置Ｘに用意した被写体上の３次元点を画像中の画像座標に投影したときの、当該３次元点の座標の変化に対する画像座標の変化量を得る、ことを特徴としている。

また請求項７に記載の物体運動推定方法は、請求項５または６において、前記勾配計数処理ステップは、空間中の位置Ｘが異なる被写体上の複数の３次元点の座標を算出し、各位置Ｘでの各３次元点の座標の変化に対する投影画像座標の変化量を得て、前記物体速度推定ステップは、前記空間中の複数の位置Ｘについて速度を推定し、複数の被写体または群集の運動状態を表す速度場を生成する、ことを特徴としている。

また請求項８に記載の物体運動推定方法は、請求項５ないし７のいずれか１項において、物体位置推定手段が、空間中の位置Ｘを変えて被写体上の複数の３次元点の座標を算出し、各位置Ｘでの各３次元点の投影画像座標が時刻ｔの画像から抽出した物体領域の画素の座標と一致しているか否かを判定し、一致したと判定された画素数が所定の値未満の場合は位置Ｘでの運動がないと判定し、一致したと判定された画素数が所定の値以上の場合は位置Ｘでの運動があると判定するための物体位置に関する情報を得る物体位置推定ステップをさらに備え、前記物体速度推定ステップは、前記物体位置推定ステップにより得られた物体位置に関する情報に基づいて、位置Ｘでの運動があると判定された場合に限り、被写体の速度を推定する、ことを特徴としている。

また請求項９に記載の物体運動推定プログラムは、コンピュータに、請求項５ないし請求項８のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴としている。

また請求項１０に記載の記録媒体は、請求項９に記載の物体運動推定プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。

請求項１〜１０に記載の発明によれば次のような優れた効果が得られる。
（１）従来のオプティカルフローでは、画像上（２次元）の時間的変化量として被写体の運動を推定するため、被写体の遠近において画像上でのフローに偏りが発生する問題に対し、本発明によれば、空間中の速度、すなわち空間位置での動き成分としてとらえることができ、これによって３次元空間における被写体の運動を推定することができる。
（２）また空間中に格子点を設け、その位置での速度を求めることにより、空間中の群衆の動きを速度場として表現することができる。このため駅・空港・公共広場などの大規模な空間における監視映像においても複数の被写体の運動状態を一度に把握することができる。
（３）また本発明は複数台のカメラで得た映像にも容易に拡張できるので、複数台のカメラで同じ被写体の運動を推定することにより、精度、信頼性の高い複数の被写体の動き、あるいは、群集の動きを推定することができる。
（４）本発明は時系列画像間の特徴点座標に依存しない方法であるため、非特許文献３、４に記載のＳｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ原理に基づく３次元復元手法のように、時系列画像での特徴点の正確な画像座標を測定する必要がない。
（５）また請求項４、８に記載の発明によれば、被写体位置に関する情報を事前に把握しておくことにより、その位置での速度を推定することに処理を集中させることができるため、計算機資源を効率的に活用して速度を推定することができる。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。

（実施例１）
図３は請求項１、並びに請求項２に記載の物体速度を推定する発明に関する基本構成図であり、本実施例を図３に沿って説明する。本発明は、時系列画像を蓄積した時系列画像データベース１、各画像上での各画像座標点（ｘ_j，ｙ_j）における時間勾配：ｄＩ／ｄｔと空間勾配：∂Ｉ／∂ｘ_j，∂Ｉ／∂ｙ_jを計算する時空間勾配処理手段としての時空間勾配処理部２、空間中の３次元位置（Ｘ_j，Ｙ_j，Ｚ_j）をパラメータとした各画像上での各画像座標点（ｘ_j，ｙ_j）の偏微分係数：∂ｘ_j／∂Ｘ_j，∂ｘ_j／∂Ｙ_j，∂ｙ_j／∂Ｘ_j，∂ｙ_j／∂Ｙ_jを計算する勾配係数処理手段としての勾配係数処理部３、並びに、時空間勾配処理部２からの時間勾配と空間勾配と、勾配係数処理部３からの各偏微分係数から位置（Ｘ_j，Ｙ_j）での速度を推定する物体速度推定手段としての物体速度推定部４から構成される。前記時空間勾配処理部２、勾配係数処理部３および物体速度推定部４が行う各処理は例えばコンピュータが実行する。

上記構成において、時系列画像データベース１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートのデータ資源を利用する形態でもどちらでも構わない。

さらに、図４はリアルタイムで処理する場合の処理構成図であり、本発明は必ずしも各データベース部などの記憶装置を必要としない。図４において図３と異なる点は、時系列画像データベース１の代わりに画像入力部１１を設けた点にあり、その他の部分は図３と同一に構成されている。

ここで、以降の説明または数式において使用する記号、変数を、世界座標系とカメラ視点の関係を示す図１および各時系列画像を示す図２により補足説明する。図１では世界座標系をＸｗＹｗＺｗとし、カメラ視点の位置を（Ｔｘ，Ｔｙ，Ｔｚ）として、この視点を原点としたカメラ座標系ＸＹＺを設ける。外部パラメータとは、このＸＹＺ軸周りの回転角とカメラ位置（Ｔｘ，Ｔｙ，Ｔｚ）であり、物体はＸＹ平面上において任意に運動すると仮定する。

本実施例では、空間中の３次元点を獲得するために、図１の位置（Ｘ_m，Ｙ_n）に３次元モデルを設置する。３次元モデルとは楕円体（立方体や円柱を設定しても構わない）のことであり、楕円体パラメータとしてＸｗＹｗＺｗ軸方向の半径をそれぞれＡ，Ｂ，Ｃとすると、位置（Ｘ_m，Ｙ_n，Ｃ）を中心とした楕円体は式（９）と表現できる。

Ａ，Ｂ，Ｃは平均的な人の大きさを包含する程度の大きさを設定しておく。この楕円体上の標本点を適当にサンプリングしてＱ個の３次元点を（Ｘ_j，Ｙ_j，Ｚ_j），ｊ＝１，２，…，Ｑとして抽出する。これらの３次元点はカメラパラメータを通して、カメラで取得した画像上へ投影される。図１のカメラは事前の校正作業が行われているものとし、本実施例の処理中はカメラパラメータが不変として、内部パラメータとして焦点距離α、アスペクト比β／α、画像中心（ｕ₀，ｖ₀）、外部パラメータとして、原点からカメラ視点までの並進（Ｔｘ，Ｔｙ，Ｔｚ）とＸＹＺ軸周りの回転角Ｒｘ，Ｒｙ，Ｒｚを保持しておく。カメラパラメータと３次元点が与えられれば、画像上への投影は式（１０）〜式（１２）に従って計算することができ、投影されたＱ個の画像座標（ｘ_j，ｙ_j），ｊ＝１，２，…，Ｑが得られる。

この各画像座標点（ｘ_j，ｙ_j）に対する偏微分係数：∂ｘ_j／∂Ｘ_j，∂ｘ_j／∂Ｙ_j，∂ｙ_j／∂Ｘ_j，∂ｙ_j／∂Ｙ_jはカメラパラメータと用意した３次元点によって決定される物理量であり時系列画像とは独立に計算することができる。したがって、図２の各時系列画像を処理する前に、予め図３の勾配係数処理部３においてこれらの偏微分係数を計算しておき勾配係数データとして格納しておく。

この勾配係数処理部３の動作を図５の処理フローに従って説明する。勾配係数データは、例えば、図６のような形式のテーブルで保持する。このテーブルの第１列目に３次元モデル上の３次元点が投影された点の画像座標（ｘ_j，ｙ_j）が並べられ、その画像座標に対する偏微分係数の値が第２列目から第５列目の欄に並ぶ形式になっている。図５の処理フローでは、計算によって得た偏微分係数値がこのテーブルに逐次書き込まれる。

まず、図６の第２列目から第５列目の欄を０にセットする（ステップＳ１；テーブルの初期化）。３次元モデルは各位置で同じ形状であり、中心位置（Ｘ_m，Ｙ_n，Ｃ）がインデックスｍとｎに沿って変更されるだけである。インデックスｍ，ｎと位置（Ｘ_m，Ｙ_n，Ｃ）の関係は式（１３）であり、インデックスｍ，ｎは、図２における物体が運動するＸｗＹｗ平面においてＷｘ×Ｗｙのエリアを撮影領域の対象とした場合、そのエリアをＸｗ軸、Ｙｗ軸にそれぞれＭ，Ｎに等分割（処理の便宜上、Ｍ，Ｎは奇数とする）したときの空間位置を示す目盛り（指標）である。

処理を開始したとき、ｍ＝１、ｎ＝１にセットし、３次元モデルの中心位置（Ｘ_m，Ｙ_n，Ｃ）が設定される（ステップＳ２）。次に、位置（Ｘ_m，Ｙ_n，Ｃ）を中心とした３次元楕円体を用意し（ステップＳ３）、その楕円体上のＱ個の３次元点を標本化して３次元データを得る（ステップＳ４）。

この３次元点をカメラの内部・外部パラメータを使ってカメラの撮像系へ透視投影する。カメラ外部パラメータとして、原点からカメラ視点までの並進を（Ｔｘ，Ｔｙ，Ｔｚ）、ＸＹＺ軸周りの回転角Ｒｘ，Ｒｙ，Ｒｚを保有しているので、その値を使って式（１１）、（１２）に従い各３次元点（Ｘ_j，Ｙ_j，Ｚ_j）から座標（ｘ’_j，ｙ’_j）を計算し、内部パラメータを使って式（１０）に従い透視投影での画像座標（ｘ_j，ｙ_j）を得る（ステップＳ５，Ｓ６）。

図５の投影座標とは計算で得た画像座標（ｘ_j，ｙ_j）であり、この座標値が６４０×４８０画素（本実施例ではこの画像サイズを例にする）の内部、すなわち、ｘ_j＞＝１かつｘ_j＜＝６４０かつｙ_j＞＝１かつｙ_j＜＝４８０のときにだけ、偏微分係数を求める（ステップＳ７）。もし、画像外、すなわち、ｘ_j＜＝１またはｘ_j＞＝６４０またはｙ_j＜＝１またはｙ_j＞＝４８０のときは偏微分係数を求めない。偏微分係数∂ｘ_j／∂Ｘ_j，∂ｘ_j／∂Ｙ_j，∂ｙ_j／∂Ｘ_j，並びに、∂ｙ_j／∂Ｙ_jは、それぞれ式（１４）、式（１５）、式（１６）、並びに、式（１７）から計算する。

尚式（１４）〜式（１７）におけるＴ₁，Ｔ₂，Ｔ₃は、式（１８）のように定義される。

これらの計算値を図６のテーブルの第２列目から第５列目の該当欄に書き込む（ステップＳ８）。一連の更新が終わると（ステップＳ９）、インデックスｍ→ｍ＋１あるいはｎ→ｎ＋１と増分して（ステップＳ２）、同様の処理（ステップＳ３〜Ｓ９）を行いテーブル更新を続ける。この処理フローは全ての位置（Ｘ_m，Ｙ_n，Ｃ）に対して行うため、３次元モデルを設置した位置（ＭＮ箇所）に応じてテーブルを生成する。

なお、図６のテーブルの列方向に用意した全ての画像座標の偏微分係数が更新されるわけではなく、標本点から透視投影計算によって得た投影座標が画像内部と判断された点に対してのみ偏微分係数を計算する。また、３次元点を設定しても画像内に投影されない点は更新されず値０のままである。

次に、図３に戻り、時空間勾配処理部２において、時系列画像を逐次的に取り出し、各画像上での時間勾配：ｄＩ（ｘ，ｙ）／ｄｔと空間勾配：∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙを求める。ここでは、必要に応じて各画像座標（ｘ_j，ｙ_j）に対して時間勾配と空間勾配を求めるか、あるいは画像全体に対して求め、後の物体速度推定部の処理において各画像座標（ｘ_j，ｙ_j）に該当するところだけを取り出して使うかどちらでもよい（以降では、便宜上、時間勾配をｄＩ（ｘ，ｙ）／ｄｔ、空間勾配を∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙと表記する）。

時間勾配は、図２に示すように対象とする時刻ｔの画像と時刻ｔ＋Δｔの画像を取り出し、それらの画像間で差分画像ΔＩ（ｘ，ｙ）＝Ｉ（ｘ，ｙ，ｔ＋Δｔ）−Ｉ（ｘ，ｙ，ｔ）を求める。次に、差分画像ΔＩ（ｘ，ｙ）の各画素（ｘ，ｙ）に対して図７に示す３×３のマスクを使ってフィルタ処理を行う（各画素での平均化処理に相当する）。この処理によって得た値をΔｔで除算して各画像座標での時間勾配ｄＩ（ｘ，ｙ）／ｄｔを得る。

一方、空間勾配は、図２に示すように各時刻ｔでの画像上での各画素に対して、図８または図９に示す３×３のマスクを使ってフィルタ処理を行う。ｘ方向の空間勾配には図８（ａ）のマスク、ｙ方向の空間勾配には図８（ｂ）のマスクをそれぞれ使う（図９でもｘ方向、ｙ方向の空間勾配には（ａ），（ｂ）のマスクをそれぞれ使う）。このフィルタ処理により、図２に示す時刻ｔの画像における各画像座標（ｘ，ｙ）での空間勾配：∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙを得る。このように、時空間勾配処理部２では、各時系列画像から画像処理によって時空間勾配を得る。

この時空間勾配処理部２の動作を図１０の処理フローを使って説明する。図１０のステップＳ１０，Ｓ１１ａ〜Ｓ１１ｆは各画像座標での時間勾配を得る処理を示し、ステップＳ１０，Ｓ１２ａ〜Ｓ１２ｆは各画像座標での空間勾配を得る処理を示している。

まず処理対象が有ると判断された（ステップＳ１０）場合、ステップＳ１１ａにおいて、図２の時刻ｔ＋Δｔの画像を取出し、時刻ｔの画像との間で差分画像ΔＩを求める（ステップＳ１１ｂ）。次に前記画像中の各画素を指定し（ステップＳ１１ｃ）、図７の３×３マスクを使ってフィルタ処理し（ステップＳ１１ｄ）、それによって得た値をΔｔで除算して時間勾配ｄＩ（ｘ，ｙ）／ｄｔを求める（ステップＳ１１ｅ）。これらステップＳ１１ｃ〜Ｓ１１ｅの処理は差分画像の各画素に対して行う（ステップＳ１１ｆ）。

また空間勾配を得る処理は、ステップＳ１０，Ｓ１２ａにおいて、図２の時刻ｔの画像Ｉ（ｔ）を取出す。次に前記画像中の各画素を指定し（ステップＳ１２ｃ）、図８、図９の３×３マスクを使ってフィルタ処理し（ステップＳ１２ｄ）、各画像座標（ｘ，ｙ）での空間勾配∂Ｉ（ｘ，ｙ）／∂ｘ，∂Ｉ（ｘ，ｙ）／∂ｙを求める（ステップＳ１２ｅ）。これらステップＳ１２ｃ〜Ｓ１２ｅの処理は各画素に対して行う（ステップＳ１２ｆ）。

続いて図３の物体速度推定部４では、最初に、３次元点が投影された画像座標（ｘ_j，ｙ_j）に対して、その画像座標での時間勾配値ｄＩ（ｘ_j，ｙ_j）／ｄｔ、空間勾配値：∂Ｉ（ｘ_j，ｙ_j）／∂ｘ_j，∂Ｉ（ｘ_j，ｙ_j）／∂ｙ_j，並びに、勾配係数データとして保持したテーブル（図６のテーブル）からその画像座標に該当する勾配係数データ：∂ｘ_j／∂Ｘ_j，∂ｙ_j／∂Ｘ_j，∂ｘ_j／∂Ｙ_j，∂ｙ_j／∂Ｙ_jをそれぞれ取り出す。次に、式（１９）に従って、値Ａ_jと値Ｂ_jをそれぞれ求める（値Ｃ_jは時空間勾配処理で得た時間勾配ｄＩ（ｘ_j，ｙ_j）／ｄｔを代入する）。

ここで、３次元モデルの平面運動の速度ベクトルを（Ｖｘ，Ｖｙ）とすると、Ａ_j，Ｂ_j、並びに、Ｃ_jは式（７）に示す時空間勾配拘束を満たさなければならないので、式（２０）の拘束条件で制約できる。

つまり、位置（Ｘ_m，Ｙ_n）上の３次元モデルの速度ベクトル（Ｖｘ，Ｖｙ）はＱ個の透視投影像（ｘ_j，ｙ_j）に対する式（２０）の拘束条件を満たす解を求めればよい。

図１１は、式（２０）の拘束条件を満たす速度ベクトル（Ｖｘ，Ｖｙ）を算出する処理フローである。この処理フローでは、図１２に示すように、物体速度として取り得る範囲の（Ｖｘ，Ｖｙ）空間を用意し、この範囲を格子状に分割した空間（速度マップ）において式（２０）の拘束条件を満たす妥当な速度ベクトル（Ｖｘ，Ｖｙ）を算出する。

まず、図１２に示すような値０に初期化した速度マップを用意する（ステップＳ２０）。このマップへ式（２０）の拘束条件を満たす速度ベクトル（Ｖｘ，Ｖｙ）を投票していく。すなわち、速度マップ上の各格子点（Ｖｘ，Ｖｙ）の値を式（２０）左辺に代入しΔＥ（＝Ａ_jＶｘ＋Ｂ_jＶｙ＋Ｃ_j）を得る（ステップＳ２１，Ｓ２２）。このとき、ΔＥの値の二乗（拘束値）が所定の許容値以下であればその格子点に１票を加える（ステップＳ２３，Ｓ２４）。

これは、図１３に示すように、速度マップ上に直線：Ａ_jＶｘ＋Ｂ_jＶｙ＋Ｃ_j＝０を描くことに相当する。つまり、Ｑ個の画像座標に相当する拘束条件式に対して、この投票処理を全ての格子点（Ｖｘ，Ｖｙ）において行うことは、速度マップ上に、直線群：Ａ_jＶｘ＋Ｂ_jＶｙ＋Ｃ_j＝０，ｊ＝１，２，…，Ｑを逐次描いていくことになる。これにより、図１４に示す速度マップが得られる。この図では、同じ得票値が等高線で表されており、その頂点（×で示した箇所）が式（２０）の拘束条件を満たす適切な解ということになる。

また、複数台のカメラを使った場合では、一つの速度マップ上において多視点での投票処理を行うことができるため、より信頼性の高く正確な速度マップを得ることできる。図１１のステップＳ２５における極大点検出は、図１４の速度マップにおいて極大点となる箇所を検出する処理であり、その箇所を速度（Ｖｘ，Ｖｙ）として決定し、その速度（Ｖｘ，Ｖｙ）を位置（Ｘ_m，Ｙ_n）での物体速度とする（ステップＳ２６の速度ベクトル算出）。

なお、図１１の処理を全ての位置（Ｘ_m，Ｙ_n）において実行することにより、図１５に示すような速度場を生成することができる（請求項３の実施例）。この図１５は、上記の実施例によって、各格子位置（Ｘ_m，Ｙ_n）で推定した各速度（Ｖｘ，Ｖｙ）がベクトル量として描かれている。

次に上記のように構成された実施例１全体の動作を図１６の処理フローとともに説明する。図１６において、ステップＳ３０〜Ｓ３２は時空間勾配処理部２の処理を示し、ステップＳ３３〜Ｓ３７は勾配係数処理部３の処理を示し、ステップＳ３８〜Ｓ４１は物体速度推定部４の処理を示している。

まずステップＳ３０では、図２に示す時刻ｔの画像および時刻ｔ＋Δｔの画像を取出し、それらの間の差分画像を求める（図１０のステップＳ１１ａ，Ｓ１１ｂ，Ｓ１２ａ）。

次にステップＳ３１において、図１０のステップＳ１１ｃ〜Ｓ１１ｆで述べた時間勾配を求める処理を行い、ステップＳ３２において、図１０のステップＳ１２ｃ〜Ｓ１２ｆで述べた空間勾配を求める処理を行う。

勾配係数処理部３では、まずステップＳ３３において、図１の３次元モデルの中心位置を設定し、その位置を中心とした３次元楕円体を用意し、その楕円体上のＱ個の３次元点を標本化して３次元データを得る（図５のステップＳ２〜Ｓ４）。

次にステップＳ３４，Ｓ３５において、前記３次元点をカメラの内部・外部パラメータを用いてカメラの撮像系へ透視投影し、該透視投影での画像座標を求める（図５のステップＳ５，Ｓ６）。

次にステップＳ３６，Ｓ３７において、前記透視投影での画像座標に対する偏微分係数を求め、それをテーブルに書き込んで図６の勾配係数テーブルを生成する（図５のステップＳ７，Ｓ８）。

次に物体速度推定部４では、ステップＳ３８において、図１１のステップＳ２０〜Ｓ２２で述べたように、速度マップ上の各格子点（Ｖｘ，Ｖｙ）の値を式（２０）の左辺に代入して拘束値を求める。

次にステップＳ３９において、前記拘束値が許容値以下であれば速度マップへ投票を行って図１４に示す速度マップを生成する（図１１のステップＳ２３，Ｓ２４）。

次にステップＳ４０，Ｓ４１において、前記生成した速度マップの極大点を検出し（図１１のステップＳ２５）、その箇所を速度（Ｖｘ，Ｖｙ）として決定し、その速度（Ｖｘ，Ｖｙ）を位置（Ｘｍ，Ｙｎ）での物体速度とする（図１１のステップＳ２６）。

（実施例２）
前記の実施例１ではインデックスｍ＝１，２，…，Ｍ，ｎ＝１，２，…，Ｎと変化させ、式（１３）に従って位置（Ｘ_m，Ｙ_n）を得てその位置に配置した３次元モデルに関する速度を推定するのに対し、本実施例２は請求項４，８で記載しているように、処理対象とする時刻ｔの画像において、勾配係数処理部３で計算しておいた勾配係数データのうち、どの勾配係数データを使用するかを事前に把握し、その情報を使って効率的に物体の速度を生成するものである。

図１７は本実施例の画像蓄積型の基本構成図であり、図３と異なる点は物体位置推定手段としての物体位置推定部５を追加した点にあり、その他の部分は図３と同一に構成されている。この構成において、時系列画像データベース１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートのデータ資源を利用する形態でもどちらでも構わない。

さらに、図１８はリアルタイムで処理する場合の処理構成図であり、本発明は必ずしも各データベース部などの記憶装置を必要としない。図１８において図１７と異なる点は、時系列画像データベース１の代わりに画像入力部１１を設けた点にあり、その他の部分は図１７と同一に構成されている。

図１７、図１８に示すように、本実施例は、物体位置推定部５を追加することにより、物体速度推定部４における処理の簡略化を図る。本実施例２ではこの物体位置推定部５および物体速度推定部４の処理部分が前記実施例１と異なるため、以降ではこの箇所を中心に説明する。

図１９は、物体位置推定部５の主な処理フローであり、図２０に示す参照用のテーブルを生成する。図２０のテーブルの例では、縦方向がインデックスｍとｎを表し、横方向が時系列画像の各時刻を表す形式になっている。まず、図２０のテーブルにおいて各欄を初期化する（欄の値を０とする；ステップＳ５１）。ステップＳ５２のモデル位置入力では、テーブルの上から順番に従ってインデックスｍとｎを準備し、その指標が示す位置（Ｘ_m，Ｙ_n）に楕円体の３次元モデルを設置し（ステップＳ５３）、適当な標本により３次元データを得る（ステップＳ５４）。この３次元データは式（９）上の点である。

次に、カメラパラメータ入力によりカメラ内部、外部パラメータが与えられ（ステップＳ５５）、式（１０）〜式（１２）に従って透視投影座標（ｘ_j，ｙ_j），ｊ＝１，２，…，Ｑが計算される（ステップＳ５６）。

一方、時系列画像データベース１から時刻ｔでの画像を逐次取り出し（ステップＳ５７）、その画像から移動物体領域または人物領域（これ以降の説明では物体領域と総称する）を抽出する（ステップＳ５８）。ここで、事前に背景画像が得られているならば、時刻ｔでの画像と背景画像との差分処理（背景差分）により物体領域を抽出することができる。または、ガウス混合分布を利用した非特許文献５の方法を使えば、背景画像を必要とせずフレーム間差分により物体領域を抽出することができる。以上の処理により、

を得る。

次に、前記ステップＳ５６の透視投影計算により得た座標値（ｘ_j，ｙ_j），ｊ＝１，２，…，Ｑを順番に取り出し（ステップＳ５９）、時刻ｔ（＝ｔ₁）の画像から抽出した物体領域の

と照合し（ステップＳ６０）、一致する画素がある場合は図２０のテーブルにおいて（ｍ，ｎ）と時刻ｔ＝ｔ₁で指定される欄に一致した画素数を書き込む（ステップＳ６１）。指標（ｍ，ｎ）すなわち各位置（Ｘ_m，Ｙ_n）に対してこの投票処理が終わると、次の指標（ｍ，ｎ）に移り、新たな位置（Ｘ_m，Ｙ_n）に３次元モデルを配置して同様の処理を繰り返す（ステップＳ５２〜Ｓ６２）。

以上の投票処理を、対象とする時系列画像ｔ＝ｔ₁，ｔ₂，…，ｔ_Mに対して、３次元モデルの位置（Ｘ_m，Ｙ_n）を変えながら行い、図２０のテーブルの各欄を更新する。このテーブルは、位置（Ｘ_m，Ｙ_n）に立てた３次元モデル上の３次元点が、時系列画像から抽出した物体領域の画素へどれだけ投影されているかを表しており、言い換えれば、図１９の物体位置推定部５の処理では、３次元モデルからの投影像と画像上での物体領域との照合により得た物体位置（Ｘ_m，Ｙ_n）を表すテーブルを生成することになる。

次に図１９の物体位置推定部５の処理において生成したテーブルを使って物体速度を推定する処理について説明する。前記実施例１では、すべての位置（Ｘ_m，Ｙ_n），ｍ＝１，２，…，Ｍ，ｎ＝１，２，…，Ｎに対して勾配係数データを使って係数Ａ_j，Ｂ_jを算出していた。これに対して、本実施例２は図２１に示す処理フローにより係数Ａ_j，Ｂ_jを算出する。物体速度を推定する処理は前記実施例１の図１１の処理フローに従うが、速度マップ生成に使う係数Ａ_j，Ｂ_jの算出方法が異なるため、以下ではこの箇所のみを記述する。

説明の都合上、時刻ｔ（＝ｔ₁）の画像を処理対象とする。図２１の処理フローは、３次元モデルを立てる位置（Ｘ_m，Ｙ_n）に対して逐次処理が行なわれる（ステップＳ７１〜Ｓ８１を繰り返す）。まず、先の図１９の処理で得た図２０のテーブルを参照し（ステップＳ７１，Ｓ７２）、指標（ｍ，ｎ）と時刻ｔ₁で指定する欄において得票値がε（閾値）以上かどうかを判定する。ここでは、物体領域抽出の画像処理において雑音の影響を受けている可能性もあるので、それらの影響を抑えるために閾値εを設定し３次元モデル位置の信頼性を判断する（ステップＳ７３，Ｓ７４）。

もし、得票値がε未満の場合は位置（Ｘ_m，Ｙ_n）での速度を（Ｖｘ，Ｖｙ）＝（０，０）とし、次の位置（Ｘ_m，Ｙ_n）に移る（ステップＳ８１，Ｓ７１）。得票値がε以上の場合のみ、以降の処理を続ける。これは、得票値が閾値ε以上の場合、位置（Ｘ_m，Ｙ_n）に物体が存在する（位置での運動がある）確率が高いと判定したことになり、閾値ε未満の得票値の場合、位置（Ｘ_m，Ｙ_n）には物体は存在しない（位置での運動がない）と判定したことになる。

次に、得票値がε以上の場合、位置（Ｘ_m，Ｙ_n）に３次元モデルを設置し（ステップＳ７５，Ｓ７６；図１９のステップＳ５３，Ｓ５４と同様の処理）、標本化により得た３次元点からカメラパラメータを使って透視投影座標を得る（ステップＳ７７，Ｓ７８；図１９のステップＳ５５，Ｓ５６と同様の処理）。

次に、勾配係数処理部３で求めておいた図６のテーブルにおいて、透視投影計算によって得た画像座標の欄が示す欄の勾配係数データを参照して、式（１９）に従って係数Ａ_j，Ｂ_jを算出する（ステップＳ７９，Ｓ８０）。この係数が得られれば、図１１の処理フローにより、位置（Ｘ_m，Ｙ_n）での速度（Ｖｘ，Ｖｙ）を算出する。

次に上記のように構成された実施例２全体の動作を図２２の処理フローとともに説明する。図２２において、ステップＳ９０〜Ｓ９２は時空間勾配処理部２の処理を示し、ステップＳ９３〜Ｓ９７は勾配係数処理部３の処理を示し、ステップＳ９８は図１７、図１８の物体位置推定部５の処理を示し、ステップＳ９９〜Ｓ１０２は図１７、図１８の物体速度推定部４の処理を示している。

まずステップＳ９０では、図２に示す時刻ｔの画像および時刻ｔ＋Δｔの画像を取出し、それらの間の差分画像を求める（図１０のステップＳ１１ａ，Ｓ１１ｂ，Ｓ１２ａ）。

次にステップＳ９１において、図１０のステップＳ１１ｃ〜Ｓ１１ｆで述べた時間勾配を求める処理を行い、ステップＳ９２において、図１０のステップＳ１２ｃ〜Ｓ１２ｆで述べた空間勾配を求める処理を行う。

勾配係数処理部３では、まずステップＳ９３において、図１の３次元モデルの中心位置を設定し、その位置を中心とした３次元楕円体を用意し、その楕円体上のＱ個の３次元点を標本化して３次元データを得る（図５のステップＳ２〜Ｓ４）。

次にステップＳ９４，Ｓ９５において、前記３次元点をカメラの内部・外部パラメータを用いてカメラの撮像系へ透視投影し、該透視投影での画像座標を求める（図５のステップＳ５，Ｓ６）。

次にステップＳ９６，Ｓ９７において、前記透視投影での画像座標に対する偏微分係数を求め、それをテーブルに書き込んで図６の勾配係数テーブルを生成する（図５のステップＳ７，Ｓ８）。

次に物体位置推定部５は、ステップＳ９８において、前記図１９のステップＳ５８〜Ｓ６２で述べたように、時系列入力画像から、物体領域を抽出し、該抽出した画像上での物体領域と３次元モデルからの投影像とを照合して物体位置（Ｘｍ，Ｙｎ）を表すテーブル（図２０の参照用テーブル）を生成する。

次に物体速度推定部４は、まずステップＳ９９において、図２１の処理フローで述べたように、前記生成された図２０のテーブルを参照し物体が存在する確率が高いと判定したときに、ステップＳ９７において生成された図６の勾配係数データを使って式（１９）の係数Ａ_j，Ｂ_jを算出する。

次にステップＳ１００〜Ｓ１０２において、図１１のステップＳ２４〜Ｓ２６で述べたように、式（２０）の拘束条件を満たす速度ベクトル（Ｖｘ，Ｖｙ）を速度マップへ投票し、得られた図１４に示す速度マップの極大点を検出し、その極大点となる箇所を位置（Ｘｍ，Ｙｎ）での物体速度（Ｖｘ，Ｖｙ）とする。

以上の実施例を、全ての位置（Ｘ_m，Ｙ_n）、並びに、処理対象とする時系列画像ｔ＝ｔ₁，ｔ₂，…，ｔ_Mに対して行う。図６のテーブルを事前に求めておけば、そのテーブルを時系列画像に対して共通的に利用でき、全ての位置（Ｘ_m，Ｙ_n）に対して必ずしも係数Ａ_j，Ｂ_jを求めて速度（Ｖｘ，Ｖｙ）を算出する必要はなく、本実施例のように、図２０のテーブルに従い処理の簡略化を図ることができる。

本実施例は、物体位置推定部５において事前に各位置（Ｘ_m，Ｙ_n）での３次元モデルの位置に関する事前情報を求めておき、物体速度推定部４においてその情報に基づいて位置（Ｘ_m，Ｙ_n）に物体が存在しないと判定したときは、図６の勾配係数データを使用せず速度（Ｖｘ，Ｖｙ）＝（０，０）とし、物体が存在した位置に対して勾配係数データを使って係数Ａ_j，Ｂ_jを求め速度（Ｖｘ，Ｖｙ）を推定する。これにより、計算コストの点で効率的に各時系列画像に対して物体速度の推定、並びに、群集の速度場生成が可能となる。

また、本実施形態の物体運動推定装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の物体運動推定方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ，、ＣＤ−ＲＷ，ＨＤＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

本発明の実施形態例における空間中の点と固定カメラの位置関係を示す説明図である。 本発明の実施形態例における時間勾配と空間勾配の例を示す説明図である。 本発明の実施例１の画像蓄積型の基本構成を示すブロック図である。 本発明の実施例１のリアルタイム処理型の基本構成を示すブロック図である。 本発明の実施例１における勾配係数処理部でのテーブル生成の処理を示すフローチャートである。 本発明の実施形態例における勾配係数処理部でのテーブルの例を示す説明図である。 本発明の実施形態例において、時間勾配を求めるときに用いる３×３マスクの例を示す説明図である。 本発明の実施形態例において、空間勾配を求めるときに用いる３×３マスクの一例を示す説明図である。 本発明の実施形態例において、空間勾配を求めるときに用いる３×３マスクの他の例を示す説明図である。 本発明の実施形態例における時空間勾配処理部の処理を示すフローチャートである。 本発明の実施形態例において、時空間勾配拘束を満たす速度パラメータを投票処理により求める処理を示すフローチャートである。 本発明の実施形態例において、用意する速度マップの例を示す説明図である。 本発明の実施形態例において、速度マップ上での投票処理の例を示す説明図である。 本発明の実施形態例における速度マップの生成結果の例を示す説明図である。 本発明の実施形態例において、全ての位置（Ｘ_m，Ｙ_n）における速度場生成の例を示す説明図である。 本発明の実施例１の全体の処理を示すフローチャートである。 本発明の実施例２の画像蓄積型の基本構成を示すブロック図である。 本発明の実施例２のリアルタイム処理型の基本構成を示すブロック図である。 本発明の実施例２における参照用テーブル生成の処理を示すフローチャートである。 本発明の実施例２における３次元モデルの位置に関する情報を表すテーブルの例を示す説明図である。 本発明の実施例２において、図２０のテーブルの照合を併用した係数Ａ_j，Ｂ_jの算出処理フローチャートである。 本発明の実施例２の全体の処理を示すフローチャートである。

符号の説明

１…時系列画像データベース、２…時空間勾配処理部、３…勾配係数処理部、４…物体速度推定部、５…物体位置推定部、１１…画像入力部。

Claims (10)

1. 画像入力装置を１台または複数台使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における複数の被写体の運動状態を推定する装置であって、
   空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該３次元点の座標の変化に対する画像座標上での座標の変化量を得る勾配係数処理手段と、
   時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔ＋Δｔでの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理手段と、
   前記時空間勾配処理手段により得られた空間勾配と時間勾配、並びに、前記勾配係数処理手段より得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、空間中での被写体の速度をパラメータとする投票空間としての速度マップにおいて、その拘束条件を満たす場合に速度マップ中のその速度の場所に投票を行い、全ての投票処理の後に、速度マップにおいてその得票値が極大となる速度を位置Ｘでの被写体の速度と決定する物体速度推定手段と、
   を備えることを特徴とする物体運動推定装置。
2. 請求項１において、前記勾配係数処理手段は、
   画像入力装置の位置と姿勢のパラメータとその画像入力装置固有の内部パラメータからなるカメラパラメータに従って、空間中のある位置Ｘに用意した被写体上の３次元点を画像中の画像座標に投影したときの、当該３次元点の座標の変化に対する画像座標の変化量を得る、
   ことを特徴とする物体運動推定装置。
3. 請求項１又は２において、
   前記勾配係数処理手段は、空間中の位置Ｘが異なる被写体上の複数の３次元点の座標を算出し、各位置Ｘでの各３次元点の座標の変化に対する投影画像座標の変化量を得て、
   前記物体速度推定手段は、前記空間中の複数の位置Ｘについて速度を推定し、複数の被写体または群集の運動状態を表す速度場を生成する、
   ことを特徴とする物体運動推定装置。
4. 請求項１ないし３のいずれか１項において、
   空間中の位置Ｘを変えて被写体上の複数の３次元点の座標を算出し、各位置Ｘでの各３次元点の投影画像座標が時刻ｔの画像から抽出した物体領域の画素の座標と一致しているか否かを判定し、一致したと判定された画素数が所定の値未満の場合は位置Ｘでの運動がないと判定し、一致したと判定された画素数が所定の値以上の場合は位置Ｘでの運動があると判定するための物体位置に関する情報を得る物体位置推定手段をさらに備え、
   前記物体速度推定手段は、前記物体位置推定手段により得られた物体位置に関する情報に基づいて、位置Ｘでの運動があると判定された場合に限り、被写体の速度を推定する、
   ことを特徴とする物体運動推定装置。
5. 画像入力装置を１台または複数台使って取得した映像において、ある時刻ｔでの画像から時刻ｔ＋Δｔでの画像までの時間変化における複数の被写体の運動状態を推定する方法であって、
   勾配計数処理手段が、空間中のある位置Ｘに用意した被写体上の３次元点を前記画像入力装置で取得した画像中に投影したときの、当該３次元点の座標の変化分に対する画像座標上での座標の変化量を得る勾配係数処理ステップと、
   時空間勾配処理手段が、時系列中のある時刻ｔでの画像上における水平方向と垂直方向の濃淡変化を反映した空間勾配と、時間間隔Δｔとして時刻ｔ＋Δｔでの画像との間の時間的濃淡変化を反映した時間勾配を得る時空間勾配処理ステップと、
   物体速度推定手段が、前記時空間勾配処理ステップにより得られた空間勾配と時間勾配、並びに、前記勾配係数処理ステップにより得られた画像座標上での変化量が満たす時間間隔Δｔの間の拘束条件を使って、空間中での被写体の速度をパラメータとする投票空間としての速度マップにおいて、その拘束条件を満たす場合に速度マップ中のその速度の場所に投票を行い、全ての投票処理の後に、速度マップにおいてその得票値が極大となる速度を位置Ｘでの被写体の速度と決定する物体速度推定ステップと、
   を備えることを特徴とする物体運動推定方法。
6. 請求項５において、
   前記勾配係数処理ステップは、
   画像入力装置の位置と姿勢のパラメータとその画像入力装置固有の内部パラメータからなるカメラパラメータに従って、空間中のある位置Ｘに用意した被写体上の３次元点を画像中の画像座標に投影したときの、当該３次元点の座標の変化に対する画像座標の変化量を得る、
   ことを特徴とする物体運動推定方法。
7. 請求項５または６において、前記勾配計数処理ステップは、空間中の位置Ｘが異なる被写体上の複数の３次元点の座標を算出し、各位置Ｘでの各３次元点の座標の変化に対する投影画像座標の変化量を得て、
   前記物体速度推定ステップは、前記空間中の複数の位置Ｘについて速度を推定し、複数の被写体または群集の運動状態を表す速度場を生成する、
   ことを特徴とする物体運動推定方法。
8. 請求項５ないし７のいずれか１項において、
   物体位置推定手段が、空間中の位置Ｘを変えて被写体上の複数の３次元点の座標を算出し、各位置Ｘでの各３次元点の投影画像座標が時刻ｔの画像から抽出した物体領域の画素の座標と一致しているか否かを判定し、一致したと判定された画素数が所定の値未満の場合は位置Ｘでの運動がないと判定し、一致したと判定された画素数が所定の値以上の場合は位置Ｘでの運動があると判定するための物体位置に関する情報を得る物体位置推定ステップをさらに備え、
   前記物体速度推定ステップは、前記物体位置推定ステップにより得られた物体位置に関する情報に基づいて、位置Ｘでの運動があると判定された場合に限り、被写体の速度を推定する、
   ことを特徴とする物体運動推定方法。
9. コンピュータに、請求項５ないし請求項８のいずれか１項に記載の各ステップを実行させるプログラムとしたことを特徴とする物体運動推定プログラム。
10. 請求項９に記載の物体運動推定プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images