JP2005515529A

JP2005515529A - ビデオ中の追跡されたオブジェクトの軌跡を効果的に記憶する方法

Info

Publication number: JP2005515529A
Application number: JP2003560590A
Authority: JP
Inventors: エイコーエン，ロバート; ブロドスキー，トマス
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-12-27
Filing date: 2002-12-10
Publication date: 2005-05-26
Also published as: EP1461636A2; CN1613017A; US20030126622A1; KR20040068987A; WO2003060548A3; WO2003060548A2; AU2002353331A1

Abstract

軌跡を記憶するためのプロセスとシステムによって、従来の方法とシステムにより必要とされた記憶容量を減少する。ビデオコンテント分析モジュールは、自動的にビデオフレーム中のオブジェクトを特定し、各オブジェクトiの座標(x_i, y_i)を決定する。オブジェクトを最初に特定されたとき、各オブジェクトiの基準座標(xref_i, yref_i)が(x_i, y_i)に設定される。後続のフレームについて、新しい座標(xnew_i, ynew_i)が基準座標から所与の距離より近いとき、すなわち、|(xnew_i, ynew_i)-(xref_i, yref_i)|²<εであるとき、現在の座標は無視される。しかし、オブジェクトが距離εより大きく動いたとき、現在の座標(xnew_i, ynew_i)がオブジェクトの軌跡リストに記憶され、基準座標(xref_i, yref_i)をオブジェクトの現在の位置とする。このプロセスが後続する全てのビデオフレームに対して繰り返される。結果として得られるコンパクトな軌跡リストは、軌跡リストを生成中に、または生成が完了してから、メモリまたはディスクに書き込まれる。

Description

発明の詳細な説明

本発明はビデオシーケンス中のオブジェクトの追跡に関する。特に、オブジェクトの軌跡を追跡するために使用された座標の記憶に関する。

従来技術では、オブジェクトをビデオシーケンス中で追跡するとき、ビデオの各フレームについて軌跡座標を生成する。例えば、毎秒３０フレームを生成するNTSC規格の下では、ビデオシーケンス中の各オブジェクトの新しい位置または座標を各フレームごとに生成し記憶しなければならない。

このプロセスは非常に非効率的であり、莫大な記憶容量を必要とする。例えば、ビデオシーケンス中の５つのオブジェクトが追跡されているとき、1時間の軌跡データを記憶するために２メガバイト以上の記憶容量が必要となる。このように、全ての軌跡を記憶することは、非現実的ではないかもしれないが、高くつく。

従来技術の非効率性を克服するため、数々の試みがなされてきた。例えば、スペースを省くため、各ビデオフレームの座標を圧縮する。この方法の１つの欠点は、軌跡の圧縮がプロセスを遅らせてしまうことである。圧縮するしないにかかわらず、各フレームについて座標が生成される。また、ビデオフレームをグリッドベースで分解することに基づいて各フレームの動きの位置を記憶するデバイスによって、軌跡の生成を避ける試みもなされている。このデバイスは各フレームについてデータを記憶し、動きの位置の精度は、軌跡の生成とは比較にならない。

したがって、本発明の目的は、従来技術の欠点を解消する方法とシステムを提供することである。

本発明の第1の態様において、毎フレームごとにオブジェクトの動きを記憶するのではなく、オブジェクトが所定量より動いたときに座標を記憶する。

この特徴により、従来の方法と比較してメモリまたはディスクを大幅に節約することができる。また、座標を生成する必要性が、従来行われていたフレームごとの生成の数分の一に大幅に減少する。ビデオコンテント分析モジュールは、ビデオフレーム中のオブジェクトを特定し、各オブジェクトiの座標(x_i, y_i)を決定する。オブジェクトを最初に特定されたとき、各オブジェクトiの基準座標(xref_i, yref_i)が(x_i, y_i)に設定される。後続のフレームについて、新しい座標(xnew_i, ynew_i)が基準座標から所与の距離より近いとき、すなわち

であるとき、現在の座標は無視される。しかし、オブジェクトが距離εより大きく動いたとき、現在の座標(xnew_i, ynew_i)がオブジェクトの軌跡リストに記憶され、基準座標(xref_i, yref_i)をオブジェクトの現在の位置とする。このプロセスが後続する全てのビデオフレームに対して繰り返される。結果として得られるコンパクトな軌跡リストは、軌跡リストを生成中に、または生成が完了してから、メモリまたはディスクに書き込まれる。

本発明は多くの分野で使用することが可能であり、例えばショッピングモールなどの特定エリアで動きを追跡するビデオサーベイランスセキュリティシステムとしても使用することができる。VCR等の標準的なビデオカメラが従来必要とする記憶容量は、時として莫大なテープを消費する。また、テープを保管するのに場所をとらないようにするため、テープをすぐに再使用したり、どこかに送ったりする傾向がある。本発明によると、記憶容量が少なくて済むので、安全管理されたエリアの永続的な記憶をより現実的にすることができ、特定の場所が不法行為者によって事前に「下見」（例えば、不法行為者が不法行為を実行する観察すること）されたかどうかを調査員が調べることができる
また、商業分野において、本発明により客を追跡して、例えば客が小売店の精算の列でどのくらい待ったかを調べることができる。

したがって、本発明によるビデオ中の追跡されたオブジェクトの軌跡を記憶する方法は、
（ａ）第1のビデオフレーム中のオブジェクトを特定するステップと、
（ｂ）前記第1のビデオフレーム中のステップ（ａ）で特定された前記オブジェクトの各々について、第1の基準座標(xref_i, yref_i)を決定するステップと、
（ｃ）前記第1の基準座標(xref_i, yref_i)を記憶するステップと、
（ｄ）第2のビデオフレーム中の前記オブジェクトを特定するステップと、
（ｅ）前記第2のビデオフレーム中の前記オブジェクトの現在の基準座標(xnew_i, ynew_i)を決定するステップと、
（ｆ）オブジェクトについて条件

であって、εは所定の閾値であるもの、が満たされたとき、オブジェクト軌跡リスト中の前記オブジェクトの前記現在の基準座標を記憶し、前記第1の基準座標(xref_i, yref_i)を前記現在の基準座標(xnew_i, ynew_i)で置き換え、前記条件が満たされないとき、後続のビデオフレームと比較するために前記第1の基準座標(xref_i, yref_i)を保持するステップとを含むことを特徴とする。

本発明による方法は、さらに、
（ｇ）ステップ（ｆ）の前記条件が満たされるたびに、前記記憶エリアを追加の座標で更新し、前記現在の基準座標を新しい値で更新するように、ビデオシーケンス中の前記第2のビデオフレームに後続する全てのビデオフレームについてステップ（ｅ）と（ｆ）を繰り返すステップを含んでもよい。

オプションとして、本発明による方法は、ステップ（ｆ）の前記条件が満たされないときであっても、前記オブジェクトの前記現在の座標を前記ビデオシーケンス中の前記後続ビデオフレームの最後のフレームの前記オブジェクト（すなわち、オブジェクトが消え、軌跡が終わる直前の座標）の最後の座標として記憶することを特徴とする方法。

ステップ（ｆ）で記憶された前記オブジェクトの前記オブジェクト軌跡リストは、プロセッサの一時メモリを含み、
（ｈ）前記ビデオシーケンスの全てのフレームがステップ（ａ）から（ｇ）で処理された後、前記一時メモリに記憶された全ての座標から永続的記憶に前記オブジェクト軌跡リストを書き込むステップを含んでもよい。

ステップ（ｈ）において参照された永続的記憶は、磁気ディスク、光ディスク、光磁気ディスク、またはテープの少なくとも１つを含んでもよい。代替的に、永続的記憶はネットワークサーバ上に用意されてもよい。

ステップ（ｅ）における前記現在の基準座標(xnew_i, ynew_i)の決定は、ボックスバウンディング法を用いて、前記オブジェクトが実質的にかつ直接的に（ｉ）カメラに近づく方向に動く、および（ｉｉ）カメラから離れる方向に動くときのうち一方において前記オブジェクトのサイズを追跡することを含んでもよい。前記ボックスバウンディング法は、
（ｉ）前記オブジェクトの基準バウンディングボックス(w_refi, h_refi)を決定するステップであって、ｗは前記オブジェクトの幅を表し、ｈは前記オブジェクトの高さを表すステップと、
（ｉｉ）サブステップ（ｉｉ）（ａ）と（ｉｉ）（ｂ）の２つの条件

のうちいずれかが満たされるとき、現在のバウンディングボックス(w_i, h_i)を記憶するステップとを含んでもよい。

あるいは、前記ボックスバウンディング法は、
（ｉ）前記オブジェクトの基準バウンディングボックス(wref_i, href_i)の面積a=wref_i*href_iを決定するステップであって、ｗは前記オブジェクトの幅を表し、ｈは前記オブジェクトの高さを表すステップと、
（ｉｉ）前記現在のバウンディングボックスの面積変化δ_a=|aref_I-w_i*h_i|が所定の値より大きいとき、現在のバウンディングボックス(w_i, h_i)を記憶するステップと
を含んでもよい。

図１Ａ−１Ｃは本発明の第１の態様を示す図である。図１Ａに示したように、フレーム１０５はオブジェクト１００（この場合、人を表現する棒線画）を含んでいる。理解を助けるため、フレームにはＸ方向とＹ方向に両方とも数値スケールを示した。例えば、ｘ、ｙ座標は、オブジェクトピクセルの重心を使用して取得することができるし、またバウンディングボックス法（以下に説明する）の場合は、オブジェクトバウンディングボックスの中心を用いて取得することができることに注意する。

当業者は、スケールは一例として示したものであり、そこのスペースや数値は特許請求の範囲に記載した発明をこのスケールに限定するものではないことを理解すべきである。オブジェクト１００は、このオブジェクトのｘ、ｙ座標の基準点として使用される位置(xref_i, yref_i)にあるものとする。

オブジェクトとして特定されるものは人物とは限らず、例えばテーブル、椅子、机などの室内の静物を含んでもよいことに注意する。本技術分野において知られているように、これらのオブジェクトは、例えば色、形、サイズなどにより特定することができる。好ましくは、背景から動くオブジェクトを分離するために、背景減算法（background subtraction technique）を使用してもよい。この方法は、背景シーンの外観を学習し、学習した背景とは異なる画像ピクセルを特定することにより使用される。背景とは異なる画像ピクセルは、通常、前景オブジェクトに対応する。本出願人は、オブジェクトを特定する方法が提供されている以下の文献を、背景資料としてここに引用により援用(incorporate by reference)する：
A. Elgammal, D. Harwood, and L. Davis, “Non-parametric Model for Background Subtraction”, Proc. European Conf. on Computer vision, pp. II: 751-767, 2000、
C. Stauffer, W.E.L. Grimson, “Adaptive Background Mixture Models for Real-time Tracking”, Proc. Computer Vision and Pattern Recognition, pp. 246-252, 1999。
Staufferの文献では、簡単な追跡により、新しいフレーム内の各オブジェクトを先行するフレーム内の最も近いオブジェクトと同じ数字でマーキングすることにより、連続するフレーム内のオブジェクトが距離に基づきリンクされる。また、例えば、接続コンポーネント(connected-components)アルゴリズムにより、前景ピクセルをグループ化することにより、オブジェクトを特定することができる。接続コンポーネントアルゴリズムについては、以下の文献に説明されており、背景資料としてここに参照により援用する。
T. Cormen, C. Leiserson, R. Rivest, “Introduction to Algorithms”, MIT Press, 1990, chapter 22.1。
最後に、以下の米国特許出願に説明されているように、オブジェクトを追跡できる。その内容はここに参照により援用する。
“Computer Vision Method and System for Blob-Based Analysis Using a Probabilistic Network”, U.S. serial 09/988,946 filed November 19, 2001。

代替的に、オブジェクトを手動で特定することもできる。図１Ｂに示したとおり、オブジェクト１００は、第１のフレーム１０５の(xref_i, yref_i)から離れた座標(xnew_i, ynew_i)を有する、第２のフレーム１１０で捉えられた新しい位置に動いている。

オブジェクトを特定し追跡する方法はたくさんあるが、本発明は、オブジェクトを特定し追跡する方法にはかかわりなく適用可能であることが分かる。オブジェクトを特定し追跡する方法にはかかわりなく、かなりの記憶容量を削減することができる。

本発明の一態様によると、各オブジェクトと各フレームについて新しい座標を記憶するのではなく、アルゴリズムにより第２のフレーム中のオブジェクト１００の動きは、所定量より大きいかどうかを判断する。動きが所定量より小さい場合、図１Ｂの座標は記憶されない。第１のフレーム１０５中で特定された基準座標は、後続フレームに対して引き続き使用される。

図２Ａは、（読者の便宜のため）再びフレーム１０５を示し、フレーム１０５の座標が第３のフレーム２１０中の動きを追跡するために使用される。第３のフレームにおけるオブジェクト１００の動き量は、第１のフレーム１０５中の位置と対比して、所定の閾値よりも大きい。したがって、図２Ｂ中のオブジェクト１００の座標は、古い(xref_i, yref_i)に対して、新しい基準座標（図中、新しい(xref_i, yref_i)と示されている）になる。したがって、オブジェクト１００の軌跡は、フレーム２中の座標を保存する必要はなく、フレーム１、３中の座標を含む。例えば、NTSC等の標準は毎秒３０フレームを生成するので、かなりの量の座標を記憶する必要がないように、動きの所定量を設定できる。このプロセスは、今まで知られていない圧縮効率を許容できる。

所定の閾値として使用する動き量は、アプリケーションに応じて決めることができ、閾値は動的に計算し、または分析プロセスの間に変更することもできる。平均オブジェクト速度、オブジェクトの一般的なサイズ、オブジェクトの重要性、その他のビデオの統計等の要因に基づき、動的計算を行うことができる。

例えば、警備フィルムにおいて、閾値をより大きくすると情報の記憶が効率的になるのとは逆に、追跡しているアイテムが非常に高価なものであるとき、動き量を非常に小さくすることができる。これは記憶容量とコストに基づく重要な考察である。また、座標の軌跡が実際の動きに望むだけ近くなるように、閾値をアプリケーションごとに決めることができる。換言すると、閾値が大きすぎると、記憶されているのとは異なる方向に動くことがある。したがって、動きの軌跡は、保存された座標だけの間にあり、各個別のフレームについて従来の方法で追跡され記憶された厳密な経路から必ずしもなるわけではない。多くの圧縮の形式にともなって、オブジェクトの表現は通常ある程度削除される。

図３Ａ−３Ｃは、ボックスバウンディング法に関する本発明の他の態様を示す図である。カメラを示したが、当業者は、ビデオ画像はビデオサーバ、DVD、ビデオテープ等から取ってもよいことが分かるであろう。オブジェクトがカメラに近づく、またはカメラから遠ざかるとき、そのオブジェクトの座標は、新しい軌跡座標を生成して記憶するほどには変化しないであろう。ボックスバウンディング法は、この問題を解決する１つの方法である。例えば、１つのオブジェクトがカメラに向かって、またはカメラから遠ざかっている場合、オブジェクトのサイズは動きの方向により大きくなったり小さくなったりする。

図３Ａから３Ｃは、サイズ追跡を用いたボックスバウンディング法を示す図である。図３Ａに示したように、バウンディングボックス３０５は、第1のフレーム３１０中のオブジェクト３０７の幅と高さを表している。

図３Ｂの第2のフレーム３１２中に示したように、オブジェクト３０７の３１０におけるバウンディングボックスが変化している（これらの図は説明のためのものであり、必ずしもスケールは正確ではない）。

図３Ｃに示したとおり、ボックスバウンディング法によると、後続フレーム中のバウンディングボックスの幅または高さが先行フレームの基準ボックスの幅または高さと所定閾値以上異なるとき、第2のフレーム３１２中のオブジェクトの座標が記憶される。あるいは、バウンディングボックスの面積（幅×高さ）を使ってもよい。バウンディングボックス３１０の面積が基準バウンディングボックス３０５の面積より所定量異なるとき、第2のフレームの座標を記憶する。

図４は、本発明によるシステムの一実施形態を示す図である。要素間の接続は有線、無線、光ファイバ等のいかなる組み合わせでもよい。また、これら要素の一部は、ネットワークを介して接続されいてもよく、ネットワークはインターネットでもよいが、これに限定されない。図４に示したとおり、カメラ４０５は画像を捉え、その情報をプロセッサ４１０に送る。プロセッサ４１０は、ビデオフレーム中のオブジェクトを特定し、各オブジェクトの座標を決定するビデオコンテント分析モジュール４１５を含む。各オブジェクトの現在の基準座標を、例えばＲＡＭ４２０に記憶する。他のタイプのメモリを用いてもよい。軌跡は経路なので、特定されたオブジェクトの最初の基準座標が永続的記憶エリア４２５に記憶される。この永続的記憶エリアは、磁気ディスク、光ディスク、光磁気ディスク、ディスケット、テープ、その他タイプの記憶媒体であっても良い。この記憶エリアはプロセッサ４１０と同一ユニットであってもよく、離れていてもよい。この記憶エリアはサーバ４３０の一部であっても、またはサーバ４３０にアクセスされるものであってもよい。ビデオコンテントモジュールが、フレーム中のオブジェクトの動きが基準座標の値を所定閾値を超えるたびに、ＲＡＭ４２０中の現在の基準座標が永続的記憶される（４２５）のと同様に、更新される。このシステムは閾値を超えた動きを記憶するだけなので、すべてのフレームを記録する必要も、そのための記憶容量を持つ必要も減少し、多くの場合なくなる。記憶はビデオテープでもよいことにも注意すべきである。

図５Ａと５Ｂは、本発明のプロセスの概要を示すフローチャートである。

ステップ５００において、第1のビデオフレーム中のオブジェクトを特定する。

ステップ５１０において、第1のビデオフレーム中に特定されたオブジェクトの各々の基準座標を決定する。基準座標は既知の方法により決定すればよく、例えば、オブジェクトバウンディングボックスの中心やオブジェクトピクセルの重心を用いてもよい。

ステップ５２０において、ステップ１０で決定された第1の基準座標を記憶する。通常、この座標は、オブジェクトの軌跡を記録する、不揮発性のメモリに記憶することができる。しかし、座標を各ステップの後に記憶する必要はないことは理解すべきである。言い換えると、座標はテーブルを用いて追跡しておき、すべてのフレームを処理してから、その時に軌跡を記憶するようにしてもよい。

ステップ５３０において、第2のビデオフレームのオブジェクトを特定する。

ステップ５４０において、第2のビデオフレーム中のオブジェクトの現在の基準座標を決定する。この座標は、第1のフレームと同一であってもなくてもよい。図５Ｂに示したように、ステップ５５０において、オブジェクトについて以下の条件

が満たされたとき、オブジェクト軌跡リストにオブジェクトの現在の基準座標を記憶し、そのオブジェクトの第1の基準座標を置き換えるために使用される。しかし、上記条件が満たされないとき、後続のビデオフレームと比較するため、第1の基準座標を保持する。プロセスは全てのビデオフレームを処理するまで続けられる。前述したとおり、オブジェクト軌跡リストはテーブルであっても、プロセッサ内の一時記憶エリアであってもよく、後でハードディスクドライブ、書き込み可能ＣＤ−ＲＯＭ、テープ、不揮発性メモリ等に記憶される。当業者は、本発明の精神と特許請求の範囲から逸脱することなく、本発明を様々に変更することができるであろう。例えば、ビデオフレーム中のオブジェクトを特定するのに用いる方法のタイプや、追加の座標を記憶するかどうかを決める閾値は、特許請求の範囲に記載した発明の精神において変更できるであろう。また、プロセスに時間期間を導入して、例えば、たとえ動きが所定の閾値に達していなくても、所定時間の後、座標を記憶してもよい。また、ｘ、ｙ以外の座標（例えば、ｚ）を用いてもよいし、ｘｙ座標を他の空間、平面、あるいは座標系に変換して、新しい空間で測定してもよい。これは本発明の精神と、特許請求の範囲に含まれ、当業者は理解していることである。例えば、測定前に画像を射影変換してもよい。また、距離はユークリッド距離でなくてもよく、例えば、

のように、より計算が容易なものであっても良い。

図１Ａ−１Ｃは本発明の第１の態様を示す図であり、図１Ａに対する図１Ｂ中の動きは図１Ｃの数式を満たしていない。図２Ａ−２Ｃは本発明の第２の態様を示す図であり、図２Ａに対する図２Ｂ中の動きは図２Ｃの数式を満たしている。図３Ａ−３Ｃはボックスバウンディング法に関する本発明の他の態様を示す図である。本発明によるシステムの概要を示す図である。本発明の一態様を示すフローチャートである。本発明の一態様を示すフローチャートである。

Claims

ビデオ中の追跡されたオブジェクトの軌跡を記憶する方法であって、
（ａ）第1のビデオフレーム中のオブジェクトを特定するステップと、
（ｂ）前記第1のビデオフレーム中のステップ（ａ）で特定された前記オブジェクトの各々について、第1の基準座標(xref_i, yref_i)を決定するステップと、
（ｃ）前記第1の基準座標(xref_i, yref_i)を記憶するステップと、
（ｄ）第2のビデオフレーム中の前記オブジェクトを特定するステップと、
（ｅ）前記第2のビデオフレーム中の前記オブジェクトの現在の基準座標(xnew_i, ynew_i)を決定するステップと、
（ｆ）オブジェクトについての条件

であって、εは所定の閾値であるものが満たされたとき、オブジェクト軌跡リスト中の前記オブジェクトの前記現在の基準座標を記憶し、前記第1の基準座標(xref_i, yref_i)を前記現在の基準座標(xnew_i, ynew_i)で置き換え、前記条件が満たされないとき、後続のビデオフレームと比較するために前記第1の基準座標(xref_i, yref_i)を保持するステップと
を含むことを特徴とする方法。
請求項１に記載の方法であって、さらに、
（ｇ）ステップ（ｆ）の前記条件が満たされるたびに、前記記憶エリアを追加の座標で更新し、前記現在の基準座標を新しい値で更新するように、ビデオシーケンス中の前記第2のビデオフレームに後続する全てのビデオフレームについてステップ（ｅ）と（ｆ）を繰り返すステップ
を含むことを特徴とする方法。
請求項１に記載の方法であって、ステップ（ｆ）の前記条件が満たされないとき、前記オブジェクトの前記現在の座標を前記ビデオシーケンス中の前記後続ビデオフレームの最後のフレームの最後の座標として記憶することを特徴とする方法。
請求項１に記載の方法であって、さらに、
ステップ（ｆ）の前記条件が満たされなくとも、前記ビデオシーケンス中の前記後続ビデオフレームから前記オブジェクトが消え軌跡が終わる前に、前記現在の座標を最後の座標として記憶するステップ
を含むことを特徴とする方法。
請求項１記載の方法であって、
ステップ（ｆ）で記憶された前記オブジェクトの前記オブジェクト軌跡リストは、プロセッサの一時メモリを含み、
（ｈ）前記ビデオシーケンスの全てのフレームがステップ（ａ）から（ｇ）で処理された後、前記一時メモリに記憶された全ての座標から永続的記憶に前記オブジェクト軌跡リストを書き込むステップ
を含むことを特徴とする方法。
請求項１に記載の方法であって、ステップ（ｅ）における前記現在の基準座標(xnew_i, ynew_i)の決定は、ボックスバウンディング法を用いて、前記オブジェクトが実質的にかつ直接的に（ｉ）カメラに近づく方向に動く、および（ｉｉ）カメラから離れる方向に動くときのうち一方において前記オブジェクトのサイズを追跡することを含むことを特徴とする方法。
請求項２に記載の方法であって、ステップ（ｅ）における前記現在の基準座標(xnew_i, ynew_i)の決定は、ボックスバウンディング法を用いて、前記オブジェクトが実質的にかつ直接的に（ｉ）カメラに近づく方向に動く、および（ｉｉ）カメラから離れる方向に動くときのうち一方において前記オブジェクトのサイズを追跡することを含むことを特徴とする方法。
請求項５に記載の方法であって、ステップ（ｅ）における前記現在の基準座標(xnew_i, ynew_i)の決定は、ボックスバウンディング法を用いて、前記オブジェクトが実質的にかつ直接的に（ｉ）カメラに近づく方向に動く、および（ｉｉ）カメラから離れる方向に動くときのうち一方において前記オブジェクトのサイズを追跡することを含むことを特徴とする方法。
請求項６に記載の方法であって、前記ボックスバウンディング法は、
（ｉ）前記オブジェクトの基準バウンディングボックス(w_ref, h_ref)を決定するステップであって、ｗは前記オブジェクトの幅を表し、ｈは前記オブジェクトの高さを表すステップと、
（ｉｉ）サブステップ（ｉｉ）（ａ）と（ｉｉ）（ｂ）の２つの条件

のうちいずれかが満たされるとき、現在のバウンディングボックス(w_i, h_i)を記憶するステップと
を含むことを特徴とする方法。
請求項６に記載の方法であって、現在の基準座標が閾値εに達したかどうかの前記決定は、前記ボックスバウンディング法と(xnew_i, ynew_i)と(xref_i, yref_i)の差の組み合わせを含むことを特徴とする方法。
請求項８に記載の方法であって、前記ボックスバウンディング法は、
（ｉ）前記オブジェクトの基準バウンディングボックス(w_ref, h_ref)を決定するステップであって、ｗは前記オブジェクトの幅を表し、ｈは前記オブジェクトの高さを表すステップと、
（ｉｉ）サブステップ（ｉｉ）（ａ）と（ｉｉ）（ｂ）の２つの条件

のうちいずれかが満たされるとき、現在のバウンディングボックス(w_i, h_i)を記憶するステップと
を含むことを特徴とする方法。
請求項９に記載の方法であって、前記ボックスバウンディング法は、
（ｉ）前記オブジェクトの基準バウンディングボックス(w_ref, h_ref)を決定するステップであって、ｗは前記オブジェクトの幅を表し、ｈは前記オブジェクトの高さを表すステップと、
（ｉｉ）サブステップ（ｉｉ）（ａ）と（ｉｉ）（ｂ）の２つの条件

のうちいずれかが満たされるとき、現在のバウンディングボックス(w_i, h_i)を記憶するステップと
を含むことを特徴とする方法。
請求項７に記載の方法であって、前記ボックスバウンディング法は、
（ｉ）前記オブジェクトの基準バウンディングボックス(wref_i, href_i)の面積a=wref_i*href_iを決定するステップであって、ｗは前記オブジェクトの幅を表し、ｈは前記オブジェクトの高さを表すステップと、
（ｉｉ）前記現在のバウンディングボックスの面積変化δ_aが所定の値より大きいとき、現在のバウンディングボックス(w_i, h_i)を記憶するステップと
を含むことを特徴とする方法。
請求項８に記載の方法であって、前記ボックスバウンディング法は、
（ｉ）前記オブジェクトの基準バウンディングボックス(wref_i, href_i)の面積a=wref_i*href_iを決定するステップであって、ｗは前記オブジェクトの幅を表し、ｈは前記オブジェクトの高さを表すステップと、
（ｉｉ）前記現在のバウンディングボックスの面積変化δ_aが所定の値より大きいとき、現在のバウンディングボックス(w_i, h_i)を記憶するステップと
を含むことを特徴とする方法。
請求項９に記載の方法であって、前記ボックスバウンディング法は、
（ｉ）前記オブジェクトの基準バウンディングボックス(wref_i, href_i)の面積a=wref_i*href_iを決定するステップであって、ｗは前記オブジェクトの幅を表し、ｈは前記オブジェクトの高さを表すステップと、
（ｉｉ）前記現在のバウンディングボックスの面積変化δ_aが所定の値より大きいとき、現在のバウンディングボックス(w_i, h_i)を記憶するステップと
を含むことを特徴とする方法。
請求項１に記載の方法であって、前記オブジェクトの前記所定の閾値εは、平均オブジェクト速度、前記オブジェクトのサイズ、前記オブジェクトの重要性の指定のうち１つにより動的に算出されることを特徴とする方法。
ビデオ中の追跡されたオブジェクトの軌跡を記憶するシステムであって、
プロセッサと、
前記プロセッサに画像を供給するビデオ入力と、
前記プロセッサに供給された前記画像中のオブジェクトの座標を追跡するビデオコンテント分析モジュールと、
オブジェクト軌跡を記憶する手段と
を備えたシステムであって、
前記ビデオコンテントモジュールは、第1のフレームに係る後続フレーム中の前記オブジェクトの動き量が基準座標値から閾値を越えたときにのみ、前記基準座標を前記画像の前記第1の基準フレーム中の特定された各オブジェクトに割当て、前記基準座標値を前記後続フレームの値に更新することを特徴とするシステム。
ビデオ中の追跡されたオブジェクトの軌跡を記憶する方法であって、
（ａ）第1のビデオフレーム中のオブジェクトを特定するステップと、
（ｂ）前記第1のビデオフレーム中のステップ（ａ）で特定された前記オブジェクトの各々について、第1の基準座標(xref_i, yref_i)を決定するステップと、
（ｃ）前記第1の基準座標(xref_i, yref_i)を記憶するステップと、
（ｄ）第2のビデオフレーム中の前記オブジェクトを特定するステップと、
（ｅ）前記第2のビデオフレーム中の前記オブジェクトの現在の基準座標(xnew_i, ynew_i)を決定するステップと、
（ｆ）オブジェクトについて条件

であって、εは所定の閾値であるもの、が満たされたとき、オブジェクト軌跡リスト中の前記オブジェクトの前記現在の基準座標を記憶し、前記第1の基準座標(xref_i, yref_i)を前記現在の基準座標(xnew_i, ynew_i)で置き換え、前記条件が満たされないとき、後続のビデオフレームと比較するために前記第1の基準座標(xref_i, yref_i)を保持するステップと
を含むことを特徴とする方法。