JP2016206795A - 実空間情報によって学習する識別器を用いて物体を追跡する装置、プログラム及び方法 - Google Patents

Abstract

【課題】取得される画像群を用いて、実空間における高い位置精度を維持しつつ物体を追跡することができる装置を提供する。【解決手段】追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な本装置は、取得された画像に係る画像情報と、当該物体の実空間での位置に係る位置情報を含む物体動き情報であって正解とされる情報とを含むデータセットによって学習する識別器であって、物体追跡対象の画像毎に、当該画像に係る画像情報を入力することによって少なくとも当該物体の実空間での正解とされる位置情報を出力する識別器によって、当該物体の実空間での刻々の位置情報を取得する物体追跡手段を有する。ここで、この物体追跡手段の識別器は、構造化ＳＶＭ（Structured Support Vector Machine）のアルゴリズムによって構築されることも好ましい。【選択図】図３

Description

本発明は、物体を撮影可能なカメラから取得される時系列画像群を解析して当該物体を追跡する物体追跡技術に関する。

監視やマーケティング等の目的をもって、カメラで撮影され生成された時系列の画像群を用いて、移動する物体の実空間での位置を追跡する技術が開発されている。追跡する物体としては、人物や乗り物等、撮影可能な様々なものが対象となる。

このような物体追跡技術では、一般に、追跡対象物体の映っている画像における対象となる画像領域を追跡し、この画像領域を実空間での位置に変換することにより、実空間での物体の位置追跡を実現する。ここで、２次元の画像領域内の１つの点を３次元の実空間に投影する場合、この点に対応する実空間での点については、その高さ、即ちｚ座標値を所定値に固定する必要がある。

例えば、画像内での領域の追跡結果からして、足元位置のように画像内で物体が床や地面に接していることが明らかな箇所は、高さをゼロとして実空間の床面の位置に投影することができる。しかしながら、実際には、画像内で物体が床や地面に接している箇所を特定し続けることは容易ではない。一般に、撮影画像において、物体が床や地面に接している箇所は、例えば、机、テーブル、人物や車といった他の物体の背後に回り隠れてしまうことも少なくない。

このような実空間への投影の問題に対し、例えば特許文献１には、人物の頭部が足元に比べて画像内で隠れ難い事情を利用し、人物の足元位置が画像内で不明な場合に頭部の検出を行って、画像内の頭部の位置を示す点を、高さとして予め設定した平均身長値を当てはめて実空間に投影する技術が開示されている。

また、特許文献２には、複数の視点から物体を撮影し、視点の異なる複数の画像に基づいて、物体が路面に接する箇所を推定する技術が開示されている。

特開２０１４−２２９０６８号公報 特開２０１４−１９４３６１号公報

しかしながら、特許文献１及び特許文献２に記載されたような従来技術では、実空間における高い位置精度を維持しつつ物体を追跡し続けることは困難であるという問題が生じていた。

例えば、特許文献１に記載されたような物体の平均的な高さを予め設定して用いる手法では、追跡対象物体の高さと平均的な高さとの乖離が大きい場合や、当該物体の形状が変化する場合、実空間での推定位置が正しい位置から大きくずれてしまう。例えば、子供を追跡する場合、この子供の実際の身長と予め設定された平均身長との差が大きくなって、画像内の頭部位置を実空間に投影した際に、本来の頭部位置から見て大きなずれが生じてしまう。さらに、高さを平均身長に設定することは、追跡する人物が直立している場合のみを想定していることになる。その結果、追跡対象人物において座る、お辞儀する等の形状変化が生じた場合、推定位置に大きなズレが生じてしまう。

また、特許文献２に記載されたような複数視点による画像を用いた手法では、確かに、単眼カメラに比べて床や地面に接した箇所がいずれかの画像に映っている可能性は高くなる。しかしながら、例えば、他の移動物体に囲まれてしまっていずれのカメラからも当該箇所が撮影されなくなる状況は容易に発生し得る。即ち、複数視点によっても床や地面に接した箇所がいずれかのカメラに映ることは何ら保証されない。また、カメラを必ず複数台使用しなければならないので、導入・運用コストが単眼カメラに比べて高くなってしまうとの問題も生じる。

さらに、特許文献１及び特許文献２に記載された技術はいずれも、画像内での物体相当の領域の移動量を考慮して追跡を行っており、従って、実空間における移動量は考慮していない。その結果、画像内で推定位置に誤差が生じた場合に、画像内での移動量が僅かであったとしても、実空間での移動量が、現実にはほとんどあり得ないような急激な変化を示すものになってしまうという問題が生じ得る。

そこで、本発明は、取得される画像群を用いて、実空間における高い位置精度を維持しつつ物体を追跡することができる装置、プログラム及び方法を提供することを目的とする。

本発明によれば、追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置であって、
取得された画像に係る画像情報と、当該物体の実空間での位置に係る位置情報を含む物体動き情報であって正解とされる情報とを含むデータセットによって学習する識別器であって、物体追跡対象の画像毎に、当該画像に係る画像情報を入力することによって少なくとも当該物体の実空間での正解とされる位置情報を出力する識別器によって、当該物体の実空間での刻々の位置情報を取得する物体追跡手段を有する物体追跡装置が提供される。

この本発明による物体追跡装置の一実施形態として、１つの時刻での当該物体動き情報として、少なくとも当該物体の実空間での位置における前時刻からの変化分を採用し、当該１つの時刻における互いに変化分の異なる複数の候補物体動き情報を算出する候補情報算出手段を更に有し、
物体追跡手段の識別器は、
（ａ）当該物体の実空間での位置の変化分を変数とする確率密度関数に係る項と、
（ｂ）当該物体に係る画像領域に対する当該候補物体動き情報から算出される画像領域の見かけ（appearance）の近さを評価する項と
を有する評価関数に対し、入力された当該複数の候補物体動き情報及び当該１つの時刻での画像に係る画像情報を適用し、当該評価関数のスコアを最大にする候補物体動き情報を、当該１つの時刻における当該物体の実空間での位置に係る正解の位置情報として出力することも好ましい。

また、本発明による物体追跡装置の他の実施形態として、候補情報算出手段は、当該１つの時刻での当該物体動き情報として、当該物体の実空間での位置における前時刻からの変化分と、当該物体の高さにおける前時刻からの変化分とを採用して、当該１つの時刻における少なくとも変化分の１つが異なる複数の候補物体動き情報を算出し、
物体追跡手段の識別器は、
（ａ）当該物体の実空間での位置の変化分を変数とする確率密度関数に係る項と、
（ｂ）当該物体の高さの変化分を変数とする確率密度関数に係る項と、
（ｃ）当該物体に係る画像領域に対する当該候補物体動き情報から算出される画像領域の見かけの近さを評価する項と
を有する評価関数に対し、入力された当該複数の候補物体動き情報及び当該１つの時刻での画像に係る画像情報を適用し、当該評価関数のスコアを最大にする候補物体動き情報を、当該１つの時刻における当該物体の実空間での位置及び当該物体の高さに係る正解の情報として出力することも好ましい。

さらに、本発明による物体追跡装置の更なる他の実施形態として、候補情報算出手段は、当該１つの時刻での当該物体動き情報として、当該物体の実空間での位置における前時刻からの変化分と、当該物体の高さにおける前時刻からの変化分とを採用して、当該１つの時刻における少なくとも変化分の１つが異なる複数の候補物体動き情報を算出し、
物体追跡手段の識別器は、
（ａ）当該物体の実空間での位置の変化分を変数とする確率密度関数に係る項と、
（ｂ）当該物体の高さの変化分を変数とする確率密度関数に係る項と、
（ｃ）当該物体に係る画像領域における当該物体の動き（motion）による変化と当該物体動き情報に係る変化分とが合致する度合いを評価する項と、
（ｄ）当該物体に係る画像領域に対する当該候補物体動き情報から算出される画像領域の見かけの近さを評価する項と
を有する評価関数に対し、入力された当該複数の候補物体動き情報及び当該１つの時刻での画像に係る画像情報を適用し、当該評価関数のスコアを最大にする候補物体動き情報を、当該１つの時刻における当該物体の実空間での位置及び当該物体の高さに係る正解の情報として出力することも好ましい。

また、以上に述べた各実施形態において、候補情報算出手段は、当該１つの時刻での当該物体動き情報として、当該物体の傾きにおける前時刻からの変化分を更に採用し、
物体追跡手段の識別器は、当該評価関数のスコアを最大にする候補物体動き情報を、当該１つの時刻における当該物体の傾きに係る正解の情報をも含む情報として出力することも好ましい。

さらに、以上に述べた各実施形態において、取得された画像に基づいて当該物体を検出し、検出された当該物体に係る画像領域の最下位置に基づいて、当該物体の実空間での位置としての当該物体の接地位置を算出し、検出された当該物体に係る画像領域の最上位置に基づいて算出された実空間での位置と、算出された設置位置とに基づいて、当該物体の高さを算出する物体検出部を更に有することも好ましい。

さらに、以上に述べた各実施形態において、物体追跡手段の識別器は、学習によって当該評価関数の各項の重み係数を決定し、決定された重み係数を有する評価関数を用いて、入力した当該画像に係る画像情報を処理して、出力する物体動き情報を算出することも好ましい。

また、本発明による物体追跡装置において、物体追跡手段の識別器は、１つの時刻の前時刻において、正解として出力された物体動き情報を用いて生成されたデータセットによって学習を行い、当該１つの時刻における当該画像に係る画像情報を入力して、当該画像情報を、当該学習によって決定されたパラメータを用いて処理し、当該１つの時刻における正解となる物体動き情報を出力することも好ましい。
さらに、本発明による物体追跡装置において、物体追跡手段の識別器は、当該物体に係る画像領域として、実空間における当該物体の上端から当該物体の高さの所定割合だけ下方となる位置までの物体部分を座標変換して算出された画像領域を採用することも好ましい。

さらにまた、本発明による物体追跡装置において、物体追跡手段の識別器は、構造化ＳＶＭ（Structured Support Vector Machine）のアルゴリズムによって構築されることも好ましい。

本発明によれば、さらに、追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置に搭載されたコンピュータを機能させるプログラムであって、
取得された画像に係る画像情報と、当該物体の実空間での位置に係る位置情報を含む物体動き情報であって正解とされる情報とを含むデータセットによって学習する識別器であって、物体追跡対象の画像毎に、当該画像に係る画像情報を入力することによって少なくとも当該物体の実空間での正解とされる位置情報を出力する識別器によって、当該物体の実空間での刻々の位置情報を取得する物体追跡手段
としてコンピュータを機能させる物体追跡プログラムが提供される。

本発明によれば、さらにまた、追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用い、機械学習の識別器によって当該物体を追跡する方法であって、
取得された画像に係る画像情報と、当該物体の実空間での位置に係る位置情報を含む物体動き情報であって正解とされる情報とを含むデータセットによって識別器に学習させるステップと、
識別器に対し、物体追跡対象の画像に係る画像情報を入力することによって少なくとも当該物体の実空間での正解とされる位置情報を出力させるステップと
を繰り返し、当該物体の実空間での刻々の位置情報を取得する物体追跡方法が提供される。

本発明の物体追跡装置、プログラム及び方法によれば、取得される画像群を用いて、実空間における高い位置精度を維持しつつ物体を追跡することができる。

本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。 本発明による物体追跡装置の一実施形態における処理の流れを概略的に示すフローチャートである。 本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。 高さ算出部における物体の高さを算出する方法の一実施形態を示す模式図である。 取得される時系列の画像と追跡用識別器での識別機能との関係を概略的に示す模式図である。 追跡対象物体を画像座標系へ投影する一実施形態を説明するための模式図である。 物体動き情報における実空間での変化分に係る要素と物体モデルとの関係を示す模式図である。 実空間での位置に係るサンプリングによる候補物体動き情報の取得の一実施形態を示す模式図である。 実空間での高さに係るサンプリングによる候補物体動き情報の取得の一実施形態を示す模式図である。 画像座標系での傾きに係るサンプリングによる候補物体動き情報の取得の一実施形態を示す模式図である。 評価関数における位置変化分の確率密度関数の一実施例を示すグラフである。 評価関数における高さ変化分の確率密度関数の一実施例を示すグラフである。 差分画像の一実施例を示すイメージ図である。 画像領域x^t|_ytの見かけの特徴ベクトル化の一実施例を示す模式図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［物体追跡システム］
図１は、本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。

図１に示した本実施形態の物体追跡システムは、
（ａ）追跡対象の物体を撮影可能であり、撮影した画像の情報を、通信ネットワークを介して時系列で送信可能な１つ又は複数のカメラ２と、
（ｂ）カメラ２から通信ネットワークを介して取得される時系列の画像群を用いて当該物体を追跡可能な物体追跡装置１と
を備えている。

ここで、追跡対象となる物体には、人物、動物、乗り物や、その他移動可能な物理対象等、撮影可能であれば様々なものが該当する。特に、本実施形態では、立ったり座ったり屈んだりしてその全体の形状が変化し得る人物や動物等であってもよい。さらに、撮影される場所も、特に限定されるものではなく、例えば、観客、通勤者、買い物客、歩行者や、ランナー等が映り得る屋外であってもよいが、着席したりお辞儀をしたりする場面が想定されるような会社、学校、家庭や、店舗の内部といった屋内であることも好ましい。

また、画像情報の伝送路である通信ネットワークは、例えばＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮ(Local Area Network)とすることができる。または、ＬＴＥ(Long Term Evolution)、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は３Ｇ（3rd Generation）等の無線系アクセスネットワークを介し、インターネットを経由してカメラ２と物体追跡装置１とを通信接続させるものであってもよい。

さらに、光ファイバ網若しくはＡＤＳＬ（Asymmetric Digital Subscriber Line）等の固定系アクセスネットワークを介しインターネットを経由して、又はプライベートネットワークを介してカメラ２と物体追跡装置１とが通信接続されてもよい。また、変更態様として、カメラ２と物体追跡装置１とは直接有線で接続されてもよい。さらに、複数のカメラ２から出力される画像情報を取りまとめて物体追跡装置１に送信可能な（図示していない）カメラ制御装置が設けられていてもよい。

同じく図１に示すように、物体追跡装置１は、刻々と取得される物体追跡対象の画像毎に、
（Ａ１）この画像に係る画像情報を入力することによって少なくとも追跡対象物体の実空間での正解とされる位置情報を出力する追跡用識別器１１４ａによって、少なくとも追跡対象物体の実空間での刻々の位置情報を取得する物体追跡部１１４
を有する。

ここで、この追跡用識別器１１４ａは、
（Ａ２）取得された画像に係る画像情報と、追跡対象物体の実空間での位置に係る位置情報を含む正解とされる「物体動き情報」とを含むデータセットによって学習する
ことによって構築され更新される。この「物体動き情報」は、後に詳細に説明するが、少なくとも追跡対象物体の実空間での位置における前時刻からの変化分Δp_x ^t及びΔp_y ^tを要素として含む量である。

このように、物体追跡装置１は、取得された画像に係る画像情報のみならず、実空間（観測対象空間）での追跡対象物体の位置情報を含む「物体動き情報」をも考慮して追跡を行っている。例えば、画像内での物体相当の画像領域の変化だけではなく、実空間における物体相当領域の変化をも考慮して、即ち実空間上での制約も取り入れて、追跡対象物体の実空間での刻々の位置情報を推定しているのである。その結果、画像内で推定位置に誤差が生じた場合に、画像内での移動量が僅かであったとしても、実空間での移動量が、現実にはほとんどあり得ないような急激な変化を示すものになってしまうといった事態を回避することができる。即ち、実空間を考慮した「物体動き情報」を取り入れることによって、取得される画像群を用いながらも、実空間における高い位置精度を維持しつつ物体を追跡することが可能となるのである。

因みに、「物体動き情報」における追跡対象物体の実空間での位置の前時刻からの変化分Δp_x ^t及びΔp_y ^t等を算出するには、画像での位置情報を実空間での位置情報に変換しなければならない。物体追跡装置１では、画像内に張られた画像座標系u-vでの位置座標(u, v)を、実空間に張られた世界座標系G_x-G_y-G_zでの位置座標(g_x, g_y, g_z)へ変換する座標変換操作を用いて、追跡対象物体の映った画像情報から、実空間での位置の変化分等の位置情報を算出している。

例えば、追跡対象物体の画像内における前時刻（t−1）での位置(u, v)が、現時刻ｔでの位置(u', v')へ変化した場合、この物体は、実空間（観測対象空間）において前時刻（t−1）での位置(g_x, g_y, g_z)から現時刻ｔでの位置(g_x', g_y', g_z')へ移動したことが推定され、実空間での位置の前時刻（t−1）からの変化分を取得することができる。

ここで、使用する時刻は、単位時間を１としてこの単位時間経過毎に設定される時刻であり、時刻tの1つ前となる前時刻はt-1となる。また、上記のような画像座標系から世界座標系への座標変換は、予めキャリブレーションにより各カメラ２についての設置位置及び撮影向きに係る外部パラメータを設定しておくことによって決定することが可能である。尚、複数のカメラ２のそれぞれから画像が取得される場合でも、これらの画像を統合して１つの画像空間を構築し、この画像空間に画像座標系を適用することができる。

さらに、物体追跡装置１では、追跡用識別器１１４ａに対し、カメラ２から取得した時系列の各画像を用いて即座に、即ちオンラインで学習させることができる。その結果、追跡対象物体の位置を即座に把握して追跡を行うことが可能となるのである。さらに、刻々と学習する追跡用識別器１１４ａを用いて追跡を行うので、対象物体の見え方が刻々と変化しても、同一の物体であると認識することができ、例えば当該物体に固有の識別子IDを付与し続けながら、適切な追跡を続行することが容易になる。

因みに、上記（Ａ１）に示したように、物体追跡部１１４の追跡用識別器１１４ａが入出力する画像情報、及び実空間での位置情報（「物体動き情報」）は、共に内部に構造をもったデータである。即ち、追跡用識別器１１４ａは構造学習に基づいて実空間での正解とされる情報を出力可能となっている。このように、物体追跡装置１は、実空間とカメラ画像との間の構造関係を考慮した構造学習に基づき物体の識別を行うことによって、例えば後に詳述するように追跡対象物体における高さや形状の変化が起こった場合にも、例えば固有の識別子IDを付与し続けながら、正確な実空間での位置をもって追跡することを可能にするのである。

［装置機能概要］
図２は、本発明による物体追跡装置の一実施形態における処理の流れを概略的に示すフローチャートである。

図２によれば、本実施形態の物体追跡装置１は、カメラ２から解析対象の画像を取得した際、追跡対象の物体に対応した学習済みの追跡用識別器１１４ａ（図１）に対して当該画像を入力し、正解としての「物体動き情報」を出力させて当該物体を追跡する。ここで、追跡対象物体の数だけの追跡用識別器１１４ａが使用される。この際、各物体には当該物体固有の識別子IDが継続して付与されることになる。

さらに、物体追跡装置１は、追跡用識別器１１４ａから出力された正解の「物体動き情報」と、取得した画像とを教師データセットとして用い、追跡用識別器１１４ａにオンライン学習を行わせる。

また、物体追跡装置１は、上記の追跡処理と並行して、検出処理を行う。具体的には、新規の又は追跡されていない可能性のある物体が、取得された画像上に写っていないか否かを学習済みの検出用識別器を用いて判定し、このような物体の領域が当該画像上に出現した際に当該物体を検出したとする。

物体が検出された際、物体追跡装置１は、新規に追跡を開始する前に、検出された物体と過去に追跡していた物体との類似度を算出し、この類似度が所定値以上である場合に、一旦追跡が終了した物体が撮影可能な空間内に復帰したとみなす。この場合、類似度の高い過去の物体と同一の識別子IDを検出物体に付与して、即ち識別子IDを統合して追跡を再開する。一方、算出した類似度が所定値よりも小さい場合、新規の物体が撮影可能な空間内に出現したとみなし、新規の識別子IDを検出物体に付与する。

物体追跡装置１は、次いで、時系列で再び新たな画像を取得して、図２に示したような処理のサイクルを繰り返す。

以上に説明したように、物体追跡装置１は、１つ以上のカメラ２からの時系列画像群を用いて追跡と同時に検出処理も行っているので、物体における様々の状況に合わせて、的確な且つ統合的な追跡を実施することができる。

［装置構成、物体追跡方法］
図３は、本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。

図３によれば、物体追跡装置１は、１つ又は複数のカメラ２と通信接続可能な通信インタフェース１０１と、画像蓄積部１０２と、ＩＤ蓄積部１０３と、追跡物体管理部１０４と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、物体追跡装置１のコンピュータを機能させるプログラムを実行することによって、物体追跡機能を実現させる。

さらに、プロセッサ・メモリは、機能構成部として、物体検出部１１１と、ＩＤ（識別子）管理部１１２と、候補情報算出部１１３と、物体追跡部１１４と、物体位置・形状推定部１１５と、通信制御部１２１とを有する。ここで、物体検出部１１１は、検出用識別器１１１ａと、高さ算出部１１１ｂとを有することも好ましい。さらに、ＩＤ管理部１１２は、物体統合部１１２ａと、物体登録部１１２ｂとを有することも好ましい。さらにまた、物体追跡部１１４は、追跡用識別器１１４ａと、教師データセット生成部１１４ｂとを有することも好ましい。尚、図３における物体追跡装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による物体追跡方法の一実施形態としても理解される。

カメラ２は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスである。また、カメラ２又は（図示していない）カメラ制御装置は、カメラ２で撮影された物体の画像を含む撮影画像データを生成し、当該データを時系列に又はバッチで物体追跡装置１に送信する機能を有する。また、カメラ２は、可動であって設置位置、撮影向きや高さを変更することができ、この変更のための制御信号を受信し処理する機能を有していることも好ましい。

通信インタフェース１０１は、カメラ２又はカメラ制御装置から時系列の画像群である撮影画像データを、通信ネットワークを介して受信する。通信インタフェース１０１を使用した送受信及び通信データ処理の制御は、通信制御部１２１によって行われ、取得された撮影画像データは、画像蓄積部１０２に蓄積される。ここで、この撮影画像データは、カメラ２又はカメラ制御装置から時系列順に呼び出されて取得されたものであってもよく、リアルタイムに一定時間間隔でキャプチャされた画像を順に取得したものであってもよい。

物体検出部１１１は、所定の特徴量を用いて学習を行った検出用識別器１１１ａによって、物体識別対象の画像における出現した又は追跡されていない物体を検出可能な機能部である。具体的には、画像蓄積部１０２に蓄積された画像において、追跡対象となる物体に対応する画像領域を検出する。ここで、人物を追跡対象とする場合、学習には人物検出に適した特徴量を用いる。物体検出のための特徴量としては、例えばＨＯＧ特徴量を使用することも好ましい。ＨＯＧ特徴量は、画像の局所領域における輝度の勾配方向をヒストグラム化し、各度数を成分としたベクトル量である。ＨＯＧ特徴量を用いた人物検出技術については、例えば、非特許文献であるDalal. N及びTriggs. B、「Histograms of Oriented Gradients for Human Detection」、proceedings of IEEE Computer Vision and Pattern Recognition (CVPR)、pp.886-893、2005年に記載されている。

物体検出部１１１は、また、画像蓄積部１０２から入力した画像から物体を検出した際、新規登録の可能性がある検出した物体の情報をＩＤ管理部１１２へ通知し、登録を依頼する。

さらに、物体検出部１１１は高さ算出部１１１ｂを有する。高さ算出部１１１ｂは、検出された追跡対象物体に係る画像領域の最下位置（例えば最下ピクセル位置）に基づいて、この物体の実空間での位置としての接地位置を算出し、検出された物体に係る画像領域の最上位置（例えば最上ピクセル位置）に基づいて算出された実空間での位置と、算出された設置位置とに基づいて、この物体の高さh₀を算出する。次に、高さh₀の算出の一実施形態を詳しく説明する。

図４は、高さ算出部１１１ｂにおける物体の高さh₀を算出する方法の一実施形態を示す模式図である。尚、本実施形態では、最初に、物体の検出は、物体が標準的な形状であり、且つ画像内において床や地面に接している箇所（設置位置）が明らかな場合に行われる。例えば、人物であれば直立していて足元が映っている人物のみを検出する。画像内で物体を検出した際、実空間における標準形状でのこの物体の高さを推定する。

ここで、図１に示したような画像に張られた画像座標系での座標(u, v)と、実空間（観察対象空間）に張られた世界座標系での座標(g_x, g_y, g_z)との間には、次式

の関係が成立する。上式（１）において、行列Ｐは予め決定された透視投影行列であり、sは未知のスカラ変数である。この際、各カメラ２の内部パラメータ及び外部パラメータをキャリブレーションによって予め設定しておけば、カメラ２の位置・姿勢が変わらない限り、透視投影行列Ｐは当初設定された値をとり続ける。

上式（１）を用いて、２次元の画像座標系での座標から３次元の世界座標系での座標を求める際、画像座標系での座標(u, v)及び透視投影行列Ｐが定まっているだけでは、未知パラメータの数（４つ）が観測方程式の数（３つ）よりも多いので、世界座標系での座標(g_x, g_y, g_z)を一意に決定することはできない。

しかしながら、本実施形態では、図４に示したように、検出された物体について画像内で床や地面に接している接地位置(u_b ⁰, v_b ⁰)が取得される。従って、この接地位置(u_b ⁰, v_b ⁰)及びg_z＝０を式（１）に代入することによって、接地位置(u_b ⁰, v_b ⁰)に対応する実空間上の位置(g_x ⁰, g_y ⁰, 0)を一意に取得することができる。ここで、実空間での物体の高さをh₀とすると、取得された実空間の床面又は地面での位置座標g_x ⁰及びg_y ⁰と、画面座標系での物体の最上部の点(u_h ⁰, v_h ⁰)との間に、次式の関係が成立する。

上式（２）において、未知のパラメータはs及びh₀の２つのみであり、一方、観測方程式の数は３つであることから、この式を用いて実空間での高さh₀を求めることが可能となる。尚、この際、s及びh₀の値を、最終的に最小二乗法を用いて決定することも好ましい。

以上説明したように、物体検出部１１１の高さ算出部１１１ｂは、例えば、１．人物を画像内で検出（抽出）した際、２．人物モデルを実空間に投影して足元の世界座標系での座標を決定し、３．人物の身長、即ち標準的な形状での高さh₀を算出することができるのである。

図３に戻って、ＩＤ管理部１１２は、物体統合部１１２ａと、物体登録部１１２ｂとを有する。このうち物体統合部１１２ａは、物体検出部１１１から通知のあった検出された物体と、過去に識別子IDを付与された既知物体とを比較し、検出された物体に対し、同一物体であると判定された既知物体に付与された識別子IDを付与する旨を決定する。

物体統合部１１２ａは、具体的に、
（ａ）（例えば複数のカメラ２から取得された）物体識別対象の画像から算出される両物体間の実空間での距離ｄが、既知物体の移動速度ｖを考慮した現時点での両物体間の推定距離未満であって、且つ検出された物体の領域と既知物体の領域とから決定される類似度が所定閾値よりも大きい場合、この既知物体が現在追跡されていないならば、検出された物体に対し、既知物体に付与されたものと同一の識別子IDを付与することを決定する。
（ｂ）一方、上記（ａ）において、この既知物体が現在追跡されているならば、物体検出部１１１からの通知を無視し、新規登録は行わない。
（ｃ）上記（ａ）及び（ｂ）以外の場合、検出された物体に対し、新たな識別子IDを付与することを決定する。

一方、物体登録部１１２ｂは、識別子ID付与の決定された物体に識別子IDを付与し、当該物体を登録し管理する。ここで、検出された物体の画像領域に係る情報と、付与された識別子IDとが対応付けられてＩＤ蓄積部１０３に保存されることも好ましい。尚、上記（ａ）における類似度は、追跡中に学習された各物体に対応する識別器を用いて算出されてもよい。また、後に詳細に説明するものではあるが、各物体に対応する評価関数Ｆのうち見かけ（appearance）の近さをスコア化する関数Ψ(x^t|_yt)の値を用いて算出されることも好ましい。

候補情報算出部１１３は、１つの時刻tでの「物体動き情報」として、少なくとも
（ａ）追跡対象物体の実空間での位置における前時刻(t−1)からの変化分Δp_x ^t及びΔp_y ^t
を採用し、この１つの時刻tにおける互いに変化分の異なる複数の「候補物体動き情報」を算出する。ここで、追跡用識別器１１４ａを用いてこの複数の「候補物体動き情報」の中から最適な１つを決定することによって、当該１つの時刻tでの追跡対象物体の位置を推定することができるのである。

また、変更態様として、候補情報算出部１１３は、１つの時刻tでの「物体動き情報」として、
（ｂ）上記（ａ）の変化分Δp_x ^t及びΔp_y ^tと、追跡対象物体の高さにおける前時刻(t−1)からの変化分Δh^tと
を採用して、この１つの時刻tにおける少なくとも変化分の１つが異なる複数の「候補物体動き情報」を算出してもよい。さらに、
（ｃ）上記（ａ）の変化分Δp_x ^t及びΔp_y ^tと、上記（ｂ）の変化分Δh^tと、追跡対象物体の傾きにおける前時刻(t−1)からの変化分Δa^tとからの変化分と
を採用して、この１つの時刻tにおける少なくとも変化分の１つが異なる複数の「候補物体動き情報」を算出することも好ましい。尚、「物体動き情報」及び「候補物体動き情報」の具体例については、後に図８〜１０を用いて詳細に説明する。

同じく図３において、物体追跡部１１４は、追跡用識別器１１４ａを用いて、追跡対象物体の実空間での刻々の位置情報を取得する。具体的には、取得された画像中のある領域に追跡対象物体が映っているか否かを例えば２値判定する追跡用識別器１１４ａを用い、未知の画像中に追跡対象物体が映っていると認識される領域を推定していくことで物体追跡を行う。

ここで、追跡用識別器１１４ａは、
（ａ）取得された画像に係る画像情報と、当該物体の実空間での位置に係る位置情報を含む物体動き情報であって正解とされる情報とを含む教師データセットによってオンライン学習を行い、
（ｂ）物体追跡対象の画像毎に、当該画像に係る画像情報を入力することによって少なくとも追跡対象物体の実空間での正解とされる位置情報を出力する。
尚、上記（ａ）の教師データセットは、教師データセット生成部１１４ｂによって生成される。

このように、追跡用識別器１１４ａは、上記（ａ）及び（ｂ）を繰り返し実行することによって、新たに画像が読み込まれる毎に、オンラインで学習しつつこの読み込み時刻での物体の位置情報を出力することを可能にする。

図５は、取得される時系列の画像と追跡用識別器１１４ａでの識別機能との関係を概略的に示す模式図である。

図５によれば、追跡用識別器１１４ａは、取得される時系列の各画像を用いて刻々に学習を行う。追跡用識別器は、構造データの取り扱いが可能な教師あり機械学習であれば種々のもので構築可能であるが、例えば構造化サポートベクタマシン（ＳＶＭ，Structured Support Vector Machine）のアルゴリズムによって構築されていることも好ましい。

具体的に学習の内容としては、追跡対象物体の領域に対応付けられる特徴量としての「物体動き情報」に正のラベルを付与し、それ以外の領域に対応付けられる「物体動き情報」に負のラベルを付与して、これらの特徴量を特徴空間内に配置する。次いで、特徴空間内においてラベルの正負を区分けする識別超平面を算出する。このように学習によって取得した識別超平面を基準として、以後、判定を実施することができる。例えば、時刻tにおける画像領域の判定は、時刻ゼロから時刻(t-1)までの間オンライン学習を行ってきた追跡用識別器１１４ａを用いて実施される。

ここで、特徴空間内における当該特徴量と識別超平面との距離ｄは、後に詳細に説明する評価関数Ｆの値（スコア）に相当する。次に、上記の「物体動き情報」yについて説明する。

最初に、推定関数y＝f(x)として、
（３） f(x)＝argmax_y∈YF(x, y)
を採用する。これにより、画像xが与えられると、推定関数fはyを出力する。ここで、F(x, y)は、上述した評価関数であるが、本実施形態におけるその具体的な形は、後に式（６）に示す。

本実施形態では、時刻tにおける画像をx^tとした際に、この時刻tでの物体動き情報y^tを、
（４） y^t＝(Δp_x ^t, Δp_y ^t, Δh^t, Δa^t)
と定義する。上式（４）において、パラメータΔp_x ^tは、追跡対象物体における世界座標系のG_x軸方向での前時刻(t−1)からの位置の変化分であり、パラメータΔp_y ^tは、追跡対象物体における世界座標系のG_y軸方向での前時刻(t−1)からの位置の変化分である。また、パラメータΔh^tは、追跡対象物体における（世界座標系のG_z軸方向での）高さの変化分である。さらに、パラメータΔa^tは、追跡対象物体の傾きの角度における前時刻(t−1)からの変化分である。この傾きの角度は、例えば人物でいえばお辞儀の際の傾き角に相当し、世界座標系で言えばG_z軸を含む面内での角度となる。

尚、パラメータΔa^tについても、他のパラメータと同じく実空間（世界座標系）での値を用いてもよいが、以下の実施形態では、画像内（画像座標系）での値を用いるものとする。即ち、Δa^tは、追跡対象物体が画像座標系に投影された際の角度値の変化分となる。このように、Δa^tとして画像内（画像座標系）での値を採用することによって、角度変化分を１次元で考えることができるので、物体動き情報y^tの推定の際の候補数が極端に増大するのを回避し、計算量を抑えることが可能となる。また、パラメータΔh^tも、Δa^tと同じく、追跡対象物体が画像座標系に投影された際の画像上での高さの変化分とすることも可能である。

次に、これらのパラメータ（物体動き情報）と画像座標系での対応する画像領域との関係について説明する。

図６は、追跡対象物体を画像座標系へ投影する一実施形態を説明するための模式図である。

ある時刻tにおける候補となるパラメータベクトルである候補物体動き情報y^tと、取得された画像x^tとは、図６に示したような関係を有する。ここで、前時刻(t−1)において決定（出力）された物体動き情報の最適解をy^t-1*＝(Δp_x ^t-1*, Δp_y ^t-1*, Δh^t-1*, Δa^t-1*)とする。

図６に示すように、最初に、追跡対象物体については、床又は地面への設置位置である物体位置に、対応する３次元の物体モデルが存在するものとしている。この物体モデルは、予め定められた標準的なおおよその物体の形を表したものであり、モデル表面を表す３次元空間内の点の集合となっている。この物体モデルの初期の（時刻ゼロでの）高さはh₀であり、この物体の時刻(t−1)における高さh^t-1*は、
（５） h^t-1*＝h₀＋ΣΔh^k*
となる。ここで、Σはkについての1からt−2までの総和である。時刻tにおける物体モデルの高さh^tは、h^t-1*からΔh^tだけ変化した値（h^t-1*−Δh^t）となっている。

本実施形態では、この物体モデルのうち、上端から長さαh₀の範囲となる上部を画像座標系へ投影する。αは予め定められた１以下の正の（(0, 1]の範囲内の）定数である。ここで、物体モデル（部分）を画像座標系へ投影するとは、物体モデル（の部分）の表面に相当する点集合を画像座標系へ変換することである。さらに、物体モデル（部分）を画像座標系へ投影した結果の画像領域とは、物体モデル（の部分）の表面の点集合に対応する変換された画面上の点集合によって囲われる画像内の領域のことである。

即ち、追跡用識別器１１４ａ（図３）は、学習及び判定の際の追跡対象物体に係る画像領域として、実空間における当該物体の上端から高さh₀の所定割合αだけ下方となる位置までの物体部分を座標変換して算出された画像領域を採用するのである。一般に、撮影画像においては、物体が床や地面に接している箇所は、例えば、机、テーブル、人物や車といった他の物体の背後に回り隠れてしまうことも少なくない。しかしながら、本実施形態によれば、設置位置が隠れて見えない状況でも追跡対象物体の上部を追跡するので、当該物体の位置や高さを継続して認識し続けることが可能となる。

ここで、物体モデルにおける画像座標系へ投影された上部に相当する時刻(t−1)での画像領域を、ある基準点を中心にΔa^tだけ画像上で回転させた領域を、以下、x^t|_ytと表す。即ち、x^t|_ytは、画像x^tにおいて物体動き情報がy^t＝(Δp_x ^t, Δp_y ^t, Δh^t, Δa^t)である場合に、画像内に映る物体モデルの上部に相当する画像領域である。

次に、複数の候補物体動き情報を生成して時刻tにおける最適解y^t*を決定するための探索方法について説明する。

図７は、物体動き情報における実空間での変化分に係る要素と物体モデルとの関係を示す模式図である。

物体動き情報y^tにおけるΔp_x ^t、Δp_y ^t及びΔh^tは、既に説明したように、前時刻(t−1)から時刻tまでの間における物体位置及び高さの変化分であるが、図７に示すように、それぞれ床又は地面上のG_x軸方向での変化分、床又は地面上のG_y軸方向での変化分、G_z軸方向での変化分に相当する。

図８は、実空間での位置に係るサンプリングによる候補物体動き情報の取得の一実施形態を示す模式図である。因みに、以下に（図８〜１０で）示す複数の候補物体動き情報のうち、上式（３）f(x)＝argmax_y∈YF(x, y)を満たすものが最適解（正解）となる。

図８によれば、実空間での位置変化分Δp_x ^t及びΔp_y ^tの互いに異なる複数の候補物体動き情報y^tが、円形状のグリッドサンプリングによって取得されている。

具体的に、Δp_x ^t及びΔp_y ^tの組は、前時刻(t−1)での床又は地面上の位置を中心に構成された円形グリッドにおいて、所定範囲内にある格子点に相当する値の組として複数決定される。例えば、半径rが3、4又は5（所定単位）であって方位角θが0から10°刻みで350°までの値をとるとした場合の円形グリッド格子点(r, θ)に相当する値の組(Δp_x ^t, Δp_y ^t)を有するy^tを候補物体動き情報としてもよい。因みに変更態様として、候補物体動き情報y^tにおける実空間での位置変化分を極座標表示で、即ちΔr^t及びΔθ^tとして表示してもよい。尚、半径rについてどのような範囲の値をとるかについては、前時刻(t−1)での物体モデルの移動速度を算出し、この値に基づいて時刻tであり得る値範囲を設定して決定することも好ましい。例えば、移動速度がゼロであったならば、半径rはゼロから始まる値の組をとるものとする。

以上説明したように、候補となる位置変化分の決定した人物モデルは、図８に示すように、上部αh₀の部分のみが画像座標系に投影される。このように投影された複数の画像領域が、画像x^tでの複数の候補領域となる。

図９は、実空間での高さに係るサンプリングによる候補物体動き情報の取得の一実施形態を示す模式図である。

図９によれば、実空間での高さ変化分Δh^tの互いに異なる複数の候補物体動き情報y^tが取得されている。

具体的に、Δh^tは、前時刻(t−1)での高さh^t-1*からの高さ変化分であり、複数のバリエーションの高さ変化分として複数の候補値をとる。例えば、固定変化分Δhを予め設定しておき、Δhのプラス・マイナス係数倍を高さ変化分の複数候補とすることができる。この際、係数値も所定範囲内で変化させる。尚、候補となる高さ変化分の決定した人物モデルは、図９に示すように、上部αh₀の部分のみが画像座標系に投影される。このように投影された複数の画像領域が、画像x^tでの複数の候補領域となる。

図１０は、画像座標系での傾きに係るサンプリングによる候補物体動き情報の取得の一実施形態を示す模式図である。

図１０によれば、画像座標系に投影された物体モデルの上部の画像領域x^t|_ytについて、傾きの変化分Δa^tの互いに異なる複数の候補物体動き情報y^tが取得されている。このような候補物体動き情報を考慮することにより、例えば、追跡対象物体が人物である場合に、体を腰から傾けるような形状変化にも対応して追跡を行うことができる。

具体的に、Δa^tは、前時刻(t−1)での画像領域x^t|_ytの向きからの傾き変化分であり、複数のバリエーションの傾き変化分として複数の候補値をとる。例えば、固定変化分Δaを予め設定しておき、Δaのプラス・マイナス係数倍を傾き変化分の複数候補とすることができる。この際、係数値も所定範囲内で変化させる。尚、候補となる傾き変化分の決定した人物モデルは、上部αh₀の部分のみが画像座標系に投影される。このように投影された複数の画像領域が、画像x^tでの複数の候補領域となる。

以上、図８〜１０を用いて候補物体動き情報y^tの生成を説明したが、上式（３）f(x)＝argmax_y∈YF(x, y)を満たす最適解y^t*を得るための探索では、上述したような変化分Δp_x ^t, Δp_y ^t, Δh^t及びΔa^tの候補値における全ての組合せであるy（∈Y）に関して評価関数Fの値、即ちスコアを算出し、算出されたスコアのうち最大のものを導出するyを最適解y^t*とすることになる。

尚、このスコア算出においては、候補が多数になると計算コストが増大するため、予め所定の前提を設けて変化分の組合せ数を限定し、計算コストを軽減させることも好ましい。例えば、観察対象空間での状況から人物の形状変化は着席によるものであると前提することができる場合、着席する際には歩行を停止するとの事前知識に基づき、着席に伴う高さ変化分や傾き変化分の候補を設定するのは、床や地面における位置に変化がない場合に限定することができる。即ち、この場合、(Δp_x ^t, Δp_y ^t)の候補に限って、Δh^t及びΔa^tに複数の候補値を設定するので、候補y（∈Y）の全数を減少させることができる。

以下、評価関数Fを用いた追跡対象物体の追跡について説明する。

図３に戻って、物体追跡部１１４の追跡用識別器１１４ａは、１つの実施形態として、
（ａ）追跡対象物体の実空間での位置の変化分Δp_x ^t及びΔp_y ^tを変数とする確率密度関数P_pに係る項と、
（ｂ）追跡対象物体に係る画像領域に対する候補物体動き情報から算出される画像領域x^t|_ytの見かけ（appearance）の近さを評価する項と
を有する評価関数Fに対し、入力された複数の候補物体動き情報(Δp_x ^t, Δp_y ^t)及び時刻tでの画像に係る画像情報を適用し、評価関数Fのスコアを最大にする候補物体動き情報を、時刻tにおける当該物体の実空間での位置に係る正解の位置情報Δp_x ^t*及びΔp_y ^t*として出力してもよい。

また、変更態様として、評価関数Fに適用される候補物体動き情報を(Δp_x ^t, Δp_y ^t, Δa^t)とし、追跡用識別器１１４ａが、時刻tにおける追跡対象物体の傾きに係る正解の情報Δa^t*をも含む情報を出力することも好ましい。

さらに、追跡用識別器１１４ａは、他の実施形態として、上記（ａ）の項と、上記（ｂ）の項と、さらに、
（ｃ）追跡対象物体の高さの変化分Δh^tを変数とする確率密度関数P_hに係る項と
を有する評価関数Fに対し、入力された複数の候補物体動き情報(Δp_x ^t, Δp_y ^t, Δh^t)及び時刻tでの画像に係る画像情報を適用し、評価関数Fのスコアを最大にする候補物体動き情報を、時刻tにおける当該物体の実空間での位置及び高さに係る正解の情報Δp_x ^t*、Δp_y ^t*及びΔh^t*として出力してもよい。

また、変更態様として、評価関数Fに適用される候補物体動き情報を(Δp_x ^t, Δp_y ^t, Δh^t, Δa^t)とし、追跡用識別器１１４ａが、時刻tにおける追跡対象物体の傾きに係る正解の情報Δa^t*をも含む情報を出力することも好ましい。

さらに、追跡用識別器１１４ａは、更なる他の実施形態として、上記（ａ）の項と、上記（ｂ）の項と、上記（ｃ）の項と、さらに、
（ｄ）追跡対象物体に係る画像領域における当該物体の動き（motion）による変化と物体動き情報に係る変化分とが合致する度合いを評価する項と
を有する評価関数Fに対し、入力された複数の候補物体動き情報(Δp_x ^t, Δp_y ^t, Δh^t)及び時刻tでの画像に係る画像情報を適用し、評価関数Fのスコアを最大にする候補物体動き情報を、時刻tにおける当該物体の実空間での位置及び高さsに係る正解の情報Δp_x ^t*、Δp_y ^t*及びΔh^t*として出力してもよい。

また、変更態様として、評価関数Fに適用される候補物体動き情報を(Δp_x ^t, Δp_y ^t, Δh^t, Δa^t)とし、追跡用識別器１１４ａが、時刻tにおける追跡対象物体の傾きに係る正解の情報Δa^t*をも含む情報を出力することも好ましい。

ここで、以下に説明する実施形態では、評価関数Fとして、上記（ａ）〜（ｄ）の全ての項を備えた次式
（６） F(x^t, y^t)＝w_pP_p(Δp^t-1*, Δp_x ^t, Δp_y ^t)＋w_hP_h(Δh^t-1*, Δh^t)
＋w_bΦ(x^t-1|_yt-1, x^t|_yt)＋w_sΨ(x^t|_yt)
を採用する。係数w_p、w_h、w_b及びw_sは学習によって決定される重みパラメータである。この関数値（スコア）が大きいほど、y^tはより適した解（より正解に近い解）となる。次に、上式（６）右辺の各項を順次説明する。

図１１は、評価関数Fにおける位置変化分の確率密度関数P_pの一実施例を示すグラフである。

上式（６）の評価関数Fの第１項におけるP_p(Δp^t-1*, Δp_x ^t, Δp_y ^t)は、図１１に示すように、前時刻(t−1)での位置の変化分Δp^t-1*＝(Δp_x ^t-1*, Δp_y ^t-1*)から算出された時刻tでの位置変化分Δp_x ^t及びΔp_y ^tに関する確率密度関数である。具体的には、予め定められた分散共分散行列Σを用いてΔp_x ^t-1*を平均とした２変量正規分布N(Δp_x ^t-1*, Σ)として確率密度関数P_pを定義することができる。

このような所定の確率モデルに基づく確率密度関数P_pを評価関数Fに採用することによって、前時刻(t−1)での移動量から見て、起こり得る確率の十分に高い時刻tでの移動量を推測することが可能となっている。

図１２は、評価関数Fにおける高さ変化分の確率密度関数P_hの一実施例を示すグラフである。

上式（６）の評価関数Fの第２項におけるP_h(Δh^t-1*, Δh^t)は、図１２に示すように、前時刻(t−1)での高さの変化分Δh^t-1*から算出された時刻tでの高さ変化分Δh^tに関する確率密度関数である。具体的には、予め定められた分散σを用いてΔh^t-1*を平均とした２変量正規分布N(Δh^t-1*, σ)として確率密度関数P_hを定義することができる。

このような所定の確率モデルに基づく確率密度関数P_hを評価関数Fに採用することによって、前時刻(t−1)での高さ変化量から見て、起こり得る確率の十分に高い時刻tでの高さ変化量を推測することが可能となっている。

次に、上式（６）の評価関数Fの第３項におけるΦ(x^t-1|_yt-1, x^t|_yt)は、パラメータΔp_x ^t、Δp_y ^t及びΔh^tで定義される３次元の物体モデルを画像座標系に投影した結果としての領域をΔa^tだけ回転させた画像領域x^t|_ytに対し、評価を行う関数であり、差分画像を用いて画像内での移動を評価する関数である。

ここで、差分画像とは、画像x^t-1上の点と画像x^t上の対応する点との間の輝度値の差に相当する輝度値を有する点から構成される画像である。時刻tでの画像x^tにおける点(u, v)の輝度値をx^t(u, v)とすると、画像x^t-1と画像x^tの差分画像における各点(u, v)の輝度値x_bg ^t-1,tは、次式
（７） x_bg ^t-1,t(u, v)＝|x^t-1(u, v)−x^t(u, v)|
で定義される。多くの場合に画像の輝度値はゼロから255までの範囲（[0,255]）内の値をとるように定義されることから、差分画像の各点の輝度値を、255で割り算することによってゼロから1までの範囲（[0,1]）に正規化した値としてもよい。

図１３は、差分画像の一実施例を示すイメージ図である。図１３に示したように、差分画像では、取得される画像上での物体の動きが反映された輝度分布が観察される。

このような差分画像に関係するΦ(x^t-1|_yt-1, x^t|_yt)は、次式

で定義される。式（８）においては、画像領域Aから画像領域Bでもある点を除いた領域をA−Bとし、領域Cの面積（ピクセル数）を|C|としている。Φ(x^t-1|_yt-1, x^t|_yt)は、領域x^t-1|_yt-1であって領域x^t|_ytではない面積|x^t-1|_yt-1−x^t|_yt|がゼロでない場合、この面積部分の合計輝度値をこの面積（ピクセル数）で割り算した値、即ち差分画像における平均輝度値をとる。ここで、一般に、輝度値の差分は動きのあった領域で大きくなることから、領域x^t|_ytが実際に時刻tにおける物体相当の画像領域に近いほど、関数Φの値は大きくなる。その結果、関数Φによって、画像内での物体の移動に対し実空間での物体の移動が合致している度合いを評価することができる。

最後に、上式（６）の評価関数Fの第４項におけるΨ(x^t|_yt)は、パラメータΔp_x ^t、Δp_y ^t及びΔh^tで定義される３次元の物体モデルを画像座標系に投影した結果としての領域をΔa^tだけ回転させた画像領域x^t|_ytに対し、評価を行う関数であり、追跡対象物体に係る画像領域に対する画像領域x^t|_ytの見かけ（appearance）の近さを評価する関数である。

画像領域x^t|_ytから算出される見かけのモデル化には、例えば領域内の色ヒストグラムやHaar-Like特徴を用いることができる。この際、領域内の見かけを特徴ベクトル化し、その近さを評価する。尚、Haar-Like特徴については、例えば非特許文献であるViola, P及びJones, M、「Rapid object detection using a boosted cascade of simple features」、proceedings of IEEE Computer Vision and Pattern Recognition (CVPR)、vol.1、pp.511-518、2001年に記載されている。

図１４は、画像領域x^t|_ytの見かけの特徴ベクトル化の一実施例を示す模式図である。

図１４によれば、画像領域x^t|_ytに対し、当該領域内のピクセルについての輝度ヒストグラムが生成されている。本実施例において生成された輝度ヒストグラムは、輝度値0〜255の範囲を複数の区間に分け、各区間に属する輝度値を有するピクセルの数（度数）を柱状グラフで示したものである。図１４には、輝度範囲を６つの区間に分けた場合の例を示している。

ここで、特徴ベクトルは、各輝度区間の度数（ピクセル数）を成分としたベクトルで表される。図１４の例では、６次元の特徴量ベクトルが生成される。尚、当然に、特徴ベクトルの内容及び次元は、この例に限定されるものではない。画像領域x^t|_ytの特徴を表す量ならば、種々のものが特徴ベクトルの成分として採用可能である。

次に、物体追跡部１１４の追跡用識別器１１４ａにおける学習処理について説明する。

図３に戻って、物体追跡部１１４の追跡用識別器１１４ａは、教師データセット生成部１１４ｂで生成される教師データセットを用いて、オンラインで学習する。具体的に、追跡用識別器１１４ａは、検出時刻をゼロとした場合、物体追跡対象の画像x^tを取得した時刻tにおいて、それ以前の時刻1、2、・・・及びt-1での正解データを時刻毎に毎回用いて学習を行って更新を繰り返した状態となっている。

具体的に、学習には構造学習のアプローチを用いる。構造学習とは、機械学習の一種であり、未知の入力から適切な構造関係（依存関係）を有するデータを出力する関数について学習を行う。追跡用識別器１１４ａは、追跡対象物体について、実空間での位置・高さ情報と当該物体を画像内に投影した際の画像領域との構造関係を学習するものとなっている。本実施形態では、上式（３）f(x)＝argmax_y∈YF(x, y)の評価関数F(x, y)による変換F：X→Yを学習するアルゴリズムとして構造化（Structured）ＳＶＭを用いる。尚、構造化ＳＶＭについては、例えば非特許文献であるIoannis Tsochantaridis、Thorsten Joachims、Thomas Hofmann及びYasemin Altun、「Large Margin Methods for Structured and Interdependent Output Variables」、Journal of Machine Learning Research 6、pp.1453-1484、2005年に記載されている。

学習用の教師データセットとしては、例えば、
（ａ）画像x^jと、評価関数Fの値を最大とする正解物体動き情報y^j*と、正解としての正のラベルである1との組（x^j, y^j*, 1）、及び
（ｂ）画像x^kと、評価関数Fの値を最小とする正解ではない物体動き情報y^kと、正解ではない解としての負のラベルである−1との組（x^k, y^k, −1）
を用いることができる。ここで、組（x^j, y^j*, 1）及び組（x^k, y^k, −1）の総数、即ち、教師データセットの数はｎ個とし、以下、（x^j, y^j*）及び（x^k, y^k）を通して(xⁱ, yⁱ)（i＝1, 2,・・・, n）と表現する。尚、上記（ｂ）において、正解ではない物体動き情報y^kとして、F値を最大にはしないy^kを用いることも可能である。

ここで、評価関数Fの重みパラメータw＝(w_p, w_h, w_b, w_s)は、次式

の形で定義される目的関数の最適化によって導出される。上式（９）においてL(y)は損失関数であって、次式

によって定義される。上式（１０）においてy^*は入力xに対する正解データである。この損失関数L(y)は、y＝y^*の場合のみゼロ値をとり、それ以外の場合、yと正解y*とのズレが大きいほど大きな正値をとるものであり、yの構造関係を反映した形となっている。

このように、追跡用識別器１１４ａは、オンラインでの構造学習によって評価関数Fの各項の重みパラメータw＝(w_p, w_h, w_b, w_s)を決定し、決定された重みパラメータwを有する評価関数Fを用いて、入力した画像x^tを処理して、出力する物体動き情報y^t*を算出する。因みに、学習によって決定された重みパラメータwが、図５に示した識別超平面を規定する。

以上説明した学習及び判定をまとめると、本実施形態の追跡用識別器１１４ａは、前時刻(t−1)において、正解として出力された物体動き情報y^t-1*を用いて生成されたデータセットによって学習を行い、時刻tにおいて取得した画像x^tを入力して、この画像x^tを、評価関数Fの構造学習によって決定されたパラメータw＝(w_p, w_h, w_b, w_s)を用いて処理し、時刻tにおける正解となる物体動き情報y^t*を出力する。これにより、画像内で追跡対象物体が床や地面に接する箇所が特定できない場合や、物体の形状が変化したり物体の高さが変化したりする場合でも、取得される画像群を用いて、実空間における高い位置精度を維持しつつ、固有の識別子IDを付与し続けながら物体を追跡することができるのである。

物体位置・形状推定部１１５は、物体追跡部１１４から入力した物体動き情報y^t*、又は追跡対象物体の実空間での刻々の位置、高さ及び／又は傾き情報に基づいて、所定の時間範囲における追跡対象物体の実空間での位置、高さ及び／又は傾きの変化を決定する。これらの情報や、追跡対象物体の動線、さらには動線上での着席、お辞儀等のイベントを決定して追跡物体管理部１０４に保存することも好ましい。また、このような物体位置・形状推定結果は、例えば外部の情報処理装置からの要求に応じ、通信制御部１２１及び通信インタフェース１０１を介して、当該外部の情報処理装置宛てに送信されることも好ましい。

以上詳細に説明したように、本発明によれば、取得された画像に係る画像情報のみならず、実空間での制約を含む「物体動き情報」をも考慮して追跡を行う。その結果、取得される画像群を用いながらも、実空間における高い位置精度を維持しつつ物体を追跡することができる。

また、「物体動き情報」に追跡対象物体の位置変化分のみならず高さ変化分や傾き変化分を取り入れることによって、物体の形状が変化したり物体の高さが変化したりする場合でも、実空間における高い位置精度を維持しつつ物体を追跡することができる。さらに、物体の刻々の位置だけでなく、刻々の高さや形状を推定することも可能となる。

また、本発明の構成及び方法は、例えば、人物が移動したり座ったり屈んだりする場を監視する監視システム、及び商店街や商業・サービス施設内での人物の入店、休憩、観戦・イベント参加や、移動の状況を調査するためのマーケティング調査システム等、様々な系に適用可能である。

以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 物体追跡装置
１０１ 通信インタフェース
１０２ 画像蓄積部
１０３ ＩＤ蓄積部
１０４ 追跡物体管理部
１１１ 物体検出部
１１１ａ 検出用識別器
１１１ｂ 高さ算出部
１１２ ＩＤ管理部
１１２ａ 物体統合部
１１２ｂ 物体登録部
１１３ 候補情報算出部
１１４ 物体追跡部
１１４ａ 追跡用識別器
１１４ｂ 教師データセット生成部
１１５ 物体位置・形状推定部
１２１ 通信制御部
２ カメラ

Claims (12)

1. 追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置であって、
   取得された画像に係る画像情報と、当該物体の実空間での位置に係る位置情報を含む物体動き情報であって正解とされる情報とを含むデータセットによって学習する識別器であって、物体追跡対象の画像毎に、当該画像に係る画像情報を入力することによって少なくとも当該物体の実空間での正解とされる位置情報を出力する識別器によって、当該物体の実空間での刻々の位置情報を取得する物体追跡手段
   を有することを特徴とする物体追跡装置。
2. １つの時刻での当該物体動き情報として、少なくとも当該物体の実空間での位置における前時刻からの変化分を採用し、当該１つの時刻における互いに変化分の異なる複数の候補物体動き情報を算出する候補情報算出手段を更に有し、
   前記物体追跡手段の識別器は、当該物体の実空間での位置の変化分を変数とする確率密度関数に係る項と、当該物体に係る画像領域に対する当該候補物体動き情報から算出される画像領域の見かけ（appearance）の近さを評価する項とを有する評価関数に対し、入力された当該複数の候補物体動き情報及び当該１つの時刻での画像に係る画像情報を適用し、当該評価関数のスコアを最大にする候補物体動き情報を、当該１つの時刻における当該物体の実空間での位置に係る正解の位置情報として出力する
   ことを特徴とする請求項１に記載の物体追跡装置。
3. 前記候補情報算出手段は、当該１つの時刻での当該物体動き情報として、当該物体の実空間での位置における前時刻からの変化分と、当該物体の高さにおける前時刻からの変化分とを採用して、当該１つの時刻における少なくとも変化分の１つが異なる複数の候補物体動き情報を算出し、
   前記物体追跡手段の識別器は、当該物体の実空間での位置の変化分を変数とする確率密度関数に係る項と、当該物体の高さの変化分を変数とする確率密度関数に係る項と、当該物体に係る画像領域に対する当該候補物体動き情報から算出される画像領域の見かけの近さを評価する項とを有する評価関数に対し、入力された当該複数の候補物体動き情報及び当該１つの時刻での画像に係る画像情報を適用し、当該評価関数のスコアを最大にする候補物体動き情報を、当該１つの時刻における当該物体の実空間での位置及び当該物体の高さに係る正解の情報として出力する
   ことを特徴とする請求項２に記載の物体追跡装置。
4. 前記候補情報算出手段は、当該１つの時刻での当該物体動き情報として、当該物体の実空間での位置における前時刻からの変化分と、当該物体の高さにおける前時刻からの変化分とを採用して、当該１つの時刻における少なくとも変化分の１つが異なる複数の候補物体動き情報を算出し、
   前記物体追跡手段の識別器は、当該物体の実空間での位置の変化分を変数とする確率密度関数に係る項と、当該物体の高さの変化分を変数とする確率密度関数に係る項と、当該物体に係る画像領域における当該物体の動き（motion）による変化と当該物体動き情報に係る変化分とが合致する度合いを評価する項と、当該物体に係る画像領域に対する当該候補物体動き情報から算出される画像領域の見かけの近さを評価する項とを有する評価関数に対し、入力された当該複数の候補物体動き情報及び当該１つの時刻での画像に係る画像情報を適用し、当該評価関数のスコアを最大にする候補物体動き情報を、当該１つの時刻における当該物体の実空間での位置及び当該物体の高さに係る正解の情報として出力する
   ことを特徴とする請求項２又は３に記載の物体追跡装置。
5. 前記候補情報算出手段は、当該１つの時刻での当該物体動き情報として、当該物体の傾きにおける前時刻からの変化分を更に採用し、
   前記物体追跡手段の識別器は、当該評価関数のスコアを最大にする候補物体動き情報を、当該１つの時刻における当該物体の傾きに係る正解の情報をも含む情報として出力する
   ことを特徴とする請求項２から４のいずれか１項に記載の物体追跡装置。
6. 取得された画像に基づいて当該物体を検出し、検出された当該物体に係る画像領域の最下位置に基づいて、当該物体の実空間での位置としての当該物体の接地位置を算出し、検出された当該物体に係る画像領域の最上位置に基づいて算出された実空間での位置と、算出された設置位置とに基づいて、当該物体の高さを算出する物体検出部を更に有することを特徴とする請求項２から５のいずれか１項に記載の物体追跡装置。
7. 前記物体追跡手段の識別器は、学習によって当該評価関数の各項の重み係数を決定し、決定された重み係数を有する評価関数を用いて、入力した当該画像に係る画像情報を処理して、出力する物体動き情報を算出することを特徴とする請求項２から６のいずれか１項に記載の物体追跡装置。
8. 前記物体追跡手段の識別器は、１つの時刻の前時刻において、正解として出力された物体動き情報を用いて生成されたデータセットによって学習を行い、当該１つの時刻における当該画像に係る画像情報を入力して、当該画像情報を、当該学習によって決定されたパラメータを用いて処理し、当該１つの時刻における正解となる物体動き情報を出力することを特徴とする請求項１から７のいずれか１項に記載の物体追跡装置。
9. 前記物体追跡手段の識別器は、当該物体に係る画像領域として、実空間における当該物体の上端から当該物体の高さの所定割合だけ下方となる位置までの物体部分を座標変換して算出された画像領域を採用することを特徴とする請求項１から８のいずれか１項に記載の物体追跡装置。
10. 前記物体追跡手段の識別器は、構造化ＳＶＭ（Structured Support Vector Machine）のアルゴリズムによって構築されることを特徴とする請求項１から９のいずれか１項に記載の物体追跡装置。
11. 追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用いて当該物体を追跡可能な装置に搭載されたコンピュータを機能させるプログラムであって、
    取得された画像に係る画像情報と、当該物体の実空間での位置に係る位置情報を含む物体動き情報であって正解とされる情報とを含むデータセットによって学習する識別器であって、物体追跡対象の画像毎に、当該画像に係る画像情報を入力することによって少なくとも当該物体の実空間での正解とされる位置情報を出力する識別器によって、当該物体の実空間での刻々の位置情報を取得する物体追跡手段
    としてコンピュータを機能させることを特徴とする物体追跡プログラム。
12. 追跡対象の物体を撮影可能な１つ以上のカメラから取得される時系列の画像群を用い、機械学習の識別器によって当該物体を追跡する方法であって、
    取得された画像に係る画像情報と、当該物体の実空間での位置に係る位置情報を含む物体動き情報であって正解とされる情報とを含むデータセットによって前記識別器に学習させるステップと、
    前記識別器に対し、物体追跡対象の画像に係る画像情報を入力することによって少なくとも当該物体の実空間での正解とされる位置情報を出力させるステップと
    を繰り返し、当該物体の実空間での刻々の位置情報を取得する
    ことを特徴とする物体追跡方法。

Images