JP2009230759A - ビデオ・ストリーム内での放置対象および除去済み対象の検出方法およびコンピュータ・プログラム、コンピュータ・システム - Google Patents

Abstract

【課題】ビデオ・フレームの時間順シーケンスを処理する方法を提供する。
【解決手段】本方法は、コンピュータ・システムのプロセッサ上でプログラム・コードを実行することにより実施される。各フレームは、画素の２次元配列と、各画素における、フレーム依存の色強度とを含む。現在のフレームと、シーケンス内で現在のフレームより前に生じている少なくとも１つのフレームとが、該少なくとも１つのフレームに対する背景除去によって分析され、背景画像と、静止領域に関連する静止領域マスクとが決定される。背景除去により、静止領域に関して静止対象の存在が決定される。静止対象の状態が決定される。この状態とは、静止対象は放置対象か、または除去済み対象であり得る。決定された状態は、コンピュータ・システムのデータ記憶媒体に格納される。
【選択図】図１

Description

本発明は、全般的にビデオ・ストリームのビデオ・フレーム処理に関し、特に、ビデオ・ストリーム内の放置対象（オブジェクト、物体）および除去済み対象の検出に関する。

ビデオ・ストリーム内の放置対象および除去済み対象を検出する現在の方法は、特に、複雑な環境または混雑した環境、あるいはその両方において効果的でない。

したがって、関連技術に現在存在するよりも効果的な、ビデオ・ストリーム内の放置対象および除去済み対象の検出方法およびシステムが必要とされている。

本発明は、ビデオ・フレームの時間順シーケンスを処理する方法を提供する。各フレームは、２次元の画素配列と、各画素における、フレーム依存の色強度とを含む。前記方法は、コンピュータ・システムのプロセッサ上でプログラム・コードを実行することにより実施される。前記方法は、
現在のフレームと、シーケンス内で現在のフレームより前に生じている少なくとも１つのフレームとを分析するステップであって、前記分析するステップは、背景画像と、静止領域に関連する静止領域マスクとを決定するために、該少なくとも１つのフレームに対して背景除去（ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ）を行うステップであって、前記背景画像は、画素配列と、該少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象も含まず、前記静止領域は、画素配列のうちの複数画素の連続的な分布から成る、ステップと、静止対象の存在を決定するステップであって、前記静止対象は、現在のフレームの静止領域内に存在し背景画像の静止領域内には存在しない放置対象から成るか、または背景画像の静止領域内に存在し現在のフレームの静止領域内には存在しない除去済み対象から成る、ステップとを含む、該分析するステップと、
前記分析するステップの後に、静止対象の状態を決定するステップであって、前記状態は、静止対象が前記放置対象であれば放置状態であり、または静止対象が前記除去済み対象であれば除去済み状態であり、状態の前記決定するステップは、Ａ／Ｒ（ａｂａｎｄｏｎｅｄ／ｒｅｍｏｖｅｄ）アルゴリズムを実行するステップを含み、Ａ／Ｒアルゴリズムは、現在のフレーム、背景画像、および静止領域マスクを入力として使用し、背景除去から得られる他のいかなる情報も入力として使用しない、該決定するステップと、
決定された状態を、コンピュータ・システムのデータ記憶媒体に格納するステップと
を含む。

本発明は、コンピュータ可読プログラム・コードが格納されているコンピュータ使用可能記憶媒体を含むコンピュータ・プログラムを提供する。前記コンピュータ可読プログラム・コードは、ビデオ・フレームの時間順シーケンスを処理する方法を実施するようになっているアルゴリズムを含む。各フレームは、２次元の画素配列と、各画素における、フレーム依存の色強度とを含む。前記方法は、コンピュータ・システムのプロセッサ上でプログラム・コードを実行することにより実施される。前記方法は、
現在のフレームと、シーケンス内で現在のフレームより前に生じている少なくとも１つのフレームとを分析するステップであって、前記分析するステップは、背景画像と、静止領域に関連する静止領域マスクとを決定するために、該少なくとも１つのフレームに対して背景除去を行うステップであって、前記背景画像は、画素配列と、該少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象も含まず、前記静止領域は、画素配列のうちの複数画素の連続的な分布から成る、ステップと、静止対象の存在を決定するステップであって、前記静止対象は、現在のフレームの静止領域内に存在し背景画像の静止領域内には存在しない放置対象から成るか、または背景画像の静止領域内に存在し現在のフレームの静止領域内には存在しない除去済み対象から成る、ステップとを含む、該分析するステップと、
前記分析するステップの後に、静止対象の状態を決定するステップであって、前記状態は、静止対象が前記放置対象であれば放置状態であり、または静止対象が前記除去済み対象であれば除去済み状態であり、状態の前記決定するステップは、Ａ／Ｒアルゴリズムを実行するステップを含み、Ａ／Ｒアルゴリズムは、現在のフレーム、背景画像、および静止領域マスクを入力として使用し、背景除去から得られる他のいかなる情報も入力として使用しない、該決定するステップと、
決定された状態を、コンピュータ・システムのデータ記憶媒体に格納するステップと
を含む。

本発明は、プロセッサと、プロセッサに接続されたコンピュータ可読メモリ・ユニットとを含むコンピュータ・システムを提供する。前記メモリ・ユニットは命令を含み、この命令は、プロセッサにより実行されると、ビデオ・フレームの時間順シーケンスを処理する方法を実施させる。各フレームは、２次元の画素配列と、各画素における、フレーム依存の色強度とを含む。前記方法は、コンピュータ・システムのプロセッサ上でプログラム・コードを実行することにより実施される。前記方法は、
現在のフレームと、シーケンス内で現在のフレームより前に生じている少なくとも１つのフレームとを分析するステップであって、前記分析するステップは、背景画像と、静止領域に関連する静止領域マスクとを決定するために、該少なくとも１つのフレームに対して背景除去を行うステップであって、前記背景画像は、画素配列と、該少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象も含まず、前記静止領域は、画素配列のうちの複数画素の連続的な分布から成る、ステップと、静止対象の存在を決定するステップであって、前記静止対象は、現在のフレームの静止領域内に存在し背景画像の静止領域内には存在しない放置対象から成るか、または背景画像の静止領域内に存在し現在のフレームの静止領域内には存在しない除去済み対象から成る、ステップとを含む、該分析するステップと、
前記分析するステップの後に、静止対象の状態を決定するステップであって、前記状態は、静止対象が前記放置対象であれば放置状態であり、または静止対象が前記除去済み対象であれば除去済み状態であり、状態の前記決定は、Ａ／Ｒアルゴリズムを実行するステップを含み、Ａ／Ｒアルゴリズムは、現在のフレーム、背景画像、および静止領域マスクを入力として使用し、背景除去から得られる他のいかなる情報も入力として使用しない、該決定するステップと、
決定された状態を、コンピュータ・システムのデータ記憶媒体に格納するステップと
を含む。

本発明は、コンピュータ・インフラストラクチャをサポートするプロセスを提供する。前記プロセスは、コンピューティング・システムにおけるコンピュータ可読プログラム・コードの作成、統合、ホスティング、維持および展開のうち少なくとも１つのために少なくとも１つのサポート・サービスを提供することを含む。プログラム・コードは、コンピューティング・システムと共同して、ビデオ・フレームの時間順シーケンスを処理する方法を実施するよう構成されている。各フレームは、２次元の画素配列と、各画素における、フレーム依存の色強度とを含む。前記方法は、コンピュータ・システムのプロセッサ上でプログラム・コードを実行することにより実施される。前記方法は、
現在のフレームと、シーケンス内で現在のフレームより前に生じている少なくとも１つのフレームとを分析するステップであって、前記分析するステップは、背景画像と、静止領域に関連する静止領域マスクとを決定するために、該少なくとも１つのフレームに対して背景除去を行うステップであって、前記背景画像は、画素配列と、該少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象も含まず、前記静止領域は、画素配列のうちの複数画素の連続的な分布から成る、ステップと、静止対象の存在を決定するステップであって、前記静止対象は、現在のフレームの静止領域内に存在し背景画像の静止領域内には存在しない放置対象から成るか、または背景画像の静止領域内に存在し現在のフレームの静止領域内には存在しない除去済み対象から成る、ステップとを含む、該分析するステップと、
前記分析するステップの後に、静止対象の状態を決定するステップであって、前記状態は、静止対象が前記放置対象であれば放置状態であり、または静止対象が前記除去済み対象であれば除去済み状態であり、状態の前記決定は、Ａ／Ｒアルゴリズムを実行するステップを含み、Ａ／Ｒアルゴリズムは、現在のフレーム、背景画像、および静止領域マスクを入力として使用し、背景除去から得られる他のいかなる情報も入力として使用しない、該決定するステップと、
決定された状態を、コンピュータ・システムのデータ記憶媒体に格納するステップと
を含む。

本発明は、ビデオ・ストリーム内の放置対象および除去済み対象を検出するための、現在関連技術において存在するよりも効果的な方法およびシステムを提供する。

図１は、本発明の実施形態に従った、ビデオ・ストリームのビデオ・フレームの時間順シーケンスを処理する方法を描いた流れ図である。方法は、図１４に描かれており以下で説明する、コンピュータ・システム９０などのコンピュータ・システムのプロセッサ上でプログラム・コードを実行することによって実施され得る。図１に、ステップ１１〜１４を示す。

ステップ１１は、ビデオ・フレームの時間順シーケンスを含むビデオ・ストリームを提供する。一実施形態では、ビデオ・ストリームは実時間のビデオ・ストリームである。一実施形態では、ビデオ・ストリームは、マルチメディア・フォーマット（例えば、ａｖｉ、ｍｐｅｇ、ｗｍｖなど）でマルチメディア・ファイルとしてネットワーク（例えばインターネット）を通じて提供されて、標準的な最新式のコンピュータまたはパーソナル・コンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）上のビデオ・アダプタに接続されたビデオ・カメラから受信されればよい。ビデオ・ストリームの各フレームは、２次元の画素配列を含む。

各フレームの２次元配列の画素それぞれが色強度を有する。一実施形態では、色強度が赤の色強度、緑の色強度、および青の色強度の組み合わせとなるよう、色強度はＲＧＢに基づく。一実施形態では、色強度はグレーの色合い（ｓｈａｄｅ ｏｆ ｇｒａｙ）に基づく。グレーの色合いのスペクトルは、ＲＧＢのスペクトルのサブセットであるため、「色」、「色強度」などは、ＲＧＢおよびグレーの色合いのどちらに対して使用しても適切である。

ステップ１２は、現在のフレームを処理する。現在のフレームは、ビデオ・ストリームのうち、第１のフレームの後のフレームであればどれでもよい。ステップ１２は、ビデオ・シーケンス内で現在のフレームに先行する一連のフレームに対して背景除去アルゴリズムを使用して、現在のフレームと、一連のフレームとを分析し、特に、背景画像と、前景（ｆｏｒｅｇｒｏｕｎｄ）マスクと、１つ以上の静止領域と、１つ以上の静止領域のうちの各静止領域に関連する静止領域マスクとを決定する。一連のフレームは、現在のフレームより前に生じている１つ以上のフレームから成る。

背景画像は、２次元の画素配列と、現在のフレームより前の少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象（オブジェクト）も含まない。したがって、背景画像は、或る期間にわたり静止している、画像の一部を表す。例えば、背景画像は、駐車場と、或る期間にわたって駐車場内にある車とを含むこともある。この、或る期間は、ユーザにより定義されていてもよい。

前景とは、その期間に変化する画像の部分を指し、したがって１つ以上の移動対象を含む。例えば、前景は駐車場内に入ってくる車を含み得る。前景マスクは、前景の２進表現（例えば０または１）であり、「１」は移動対象コンテンツ（ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｃｏｎｔｅｎｔ）から成る前景コンテンツ（ｆｏｒｅｇｒｏｕｎｄ ｃｏｎｔｅｎｔ）を含む、フレーム上の画素を示し、「０」は、前景コンテンツを含まないフレームの画素を示す。

静止領域は、フレームの空間的に固定された領域にある、複数画素の連続的な分布を含む。静止領域により表される静止対象は、放置対象（ａｂａｎｄｏｎｅｄ ｏｂｊｅｃｔ）または除去済み対象（ｒｅｍｏｖｅｄ ｏｂｊｅｃｔ）である。 SEQ CHAPTER \h \r 1特定のフレーム内の静止領域により表される放置対象は、この特定のフレーム内の静止領域内には物理的に存在するが、この特定のフレームに先行する複数のフレーム内の静止領域内には物理的に存在しない対象（例えば、駐車場に最近駐車された車）である。特定のフレーム内の静止領域により表される除去済み対象は、この特定のフレーム内の静止領域内には物理的に存在しないが、この特定のフレームに先行する複数のフレーム内の静止領域内には物理的に存在する対象（例えば、駐車場から最近出た車）である。

各静止領域の静止領域マスクは２進表現（例えば０または１）であり、「１」を含む画素はその画素が静止領域内にあることを示し、「０」を含む画素は静止領域外の画素を示す。したがって、フレーム上に重ねられた静止領域マスクはフレーム内の複数画素を特定し、これが、その静止マスクに関連付けられたフレーム内の静止領域を定義する。

ステップ１２の背景除去で行われる分析により、静止対象の存在が決定（判断）される。静止対象は、（１）現在のフレームの静止領域内には存在し、背景画像の静止領域内には存在しない放置対象、または（２）背景画像内の静止領域内には存在し、現在のフレームの静止領域内には存在しない除去済み対象のうちいずれかである。

種々の背景除去処理が当該技術分野で既知となっており、現在既知であるかまたはこれから知られる任意の背景除去処理が、ステップ１２を実施するために使用されればよい。有益に用いられ得るこのような背景除去処理の１つには、背景モデル、前景画像および静止領域を生成する「混合ガウス（ｍｉｘｔｕｒｅ ｏｆ Ｇａｕｓｓｉａｎｓ）」アルゴリズムがある（論文Ｙｉｎｇ−Ｌｉ Ｔｉａｎ、Ｍａｘ Ｌｕ、およびＡｒｕｎ Ｈａｍｐａｐｕｒ、「Ｒｏｂｕｓｔ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｆｏｒｅｇｒｏｕｎｄ Ａｎａｌｙｓｉｓ ｆｏｒ Ｒｅａｌ−ｔｉｍｅ Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ」、ＩＥＥＥ ＣＶＰＲ、Ｓａｎ Ｄｉｅｇｏ、２００５年６月を参照のこと）。

混合ガウス・アルゴリズムは、ガウス重み係数による線形結合において結合されるＫ個のガウス関数を利用し、画素の色強度の確率関数を定義する。一実施形態では、Ｋは３〜５の範囲である。従来の混合ガウス・アルゴリズムは、前景および静止領域を特定するために、ガウス重み係数の合計の下限を規定する単一の重み閾値を用いる。閾値の値が高いと、その分類（カテゴリ）化により、断片化された前景または静止領域が生じることになる。

したがって、本発明は、前景を特定するための高い値の重み閾値と、静止領域を特定するための低い値の重み閾値との、２つの重み閾値を使用することで、従来の混合ガウス・アルゴリズムに新規の改良を与える。２つの重み閾値により、高い閾値の値が原因で静止領域が不必要に断片化することが確実になくなる。具体的には、背景除去において、前景画像を特定するために、ガウス重み係数の合計は高重み閾値を上回ることを制限され、静止領域を特定するために、ガウス結合係数の合計は低重み閾値を上回ることを制限される。前景画像が的確に特定されて静止領域が過度に断片化しないことが保証されるよう、高重み閾値は十分に高く、低重み閾値は十分に低い。

背景除去への適用における本発明の新規な改良点は、現在のフレームより前に生じている一連のフレームを選択するためにタイムスタンプを使用することである。従来の背景除去法は、規定の複数フレームの入力と、所定の更新レート（率）・パラメータとに基づき、背景画像を更新する。本発明では、更新レート・パラメータが一定であっても、背景画像は、フレーム・レートが異なる複数のビデオ・ストリームについて別々の速度で更新され得る。実時間の監視システムでは、１つの機械で実行されている複数のエンジンおよびシナリオの複雑性が原因で、同じカメラ・ビューでもビデオ・フレーム・レートが著しく変化することがよくある。したがって、一実施形態において、本発明に適用する中で混合ガウス法を使用することは、少なくとも１つのタイムスタンプを指示する時間データの入力を受信することと、この少なくとも１つのタイムスタンプの各タイムスタンプについて、フレーム時間が各タイムスタンプの時間に最も近いフレームを選択して、現在のフレームより前に生じている少なくとも１つのフレームを決定することとを含む。この少なくとも１つのタイムスタンプは、１つまたは複数のタイムスタンプから成ればよい。前述の方法で決定された、現在のフレームより前に生じている少なくとも１つのフレームは、背景画像の生成または更新に使用される。

ステップ１３は、ステップ１２で特定された静止領域に関連する静止対象の状態を決定する。静止対象の状態は、静止対象が放置対象であれば放置状態であり、または静止対象が除去済み対象であれば除去済み状態である。ステップ１３は静止対象の状態を決定するが、これは、現在のフレーム、背景画像および静止領域を入力として使用し、背景除去から得られるその他のいかなる情報も入力として使用しない、放置／除去済みアルゴリズム（以下「Ａ／Ｒアルゴリズム」）を実行することによる。Ａ／Ｒアルゴリズムの実装は、以下、図２において詳細に説明する。

ステップ１４は、ステップ１３で決定された静止対象の状態を、コンピュータ・システム（例えば、図１４内に描かれているコンピュータ・システム９０）のデータ記憶媒体に格納するか、または決定された静止対象の状態を、データ記憶デバイス、表示デバイスなど、コンピュータ・システムの出力デバイスに提供するか、あるいはこの両方を行う。

図２は、本発明の実施形態に従った、図１のステップ１３のＡ／Ｒアルゴリズム実装を示す流れ図である。図２はステップ２１〜２５を示す。

ステップ２１は、図１のステップ１２の背景除去から生じる静止領域マスクを特定する。

ステップ２２は、ステップ２１で特定された静止領域マスクの外側の複数画素を収縮（ｅｒｏｄｅ、侵食）し、静止領域マスクの残りの非収縮画素（ｎｏｎ−ｅｒｏｄｅｄ ｐｉｘｅｌｓ）が複数残る。非収縮画素の境界画素は、少なくとも１つの収縮画素に直接接する（ｄｉｒｅｃｔｌｙ ｅｘｐｏｓｅｄ）非収縮画素すべてから成る。境界画素は、境界画素と収縮画素との間の境界面として機能する輪郭により境界を付けられる。

ステップ２３は、領域拡張手順を実行することによって、現在のフレーム内に拡張面積（Ａ_ＣＦ）を生成する。領域拡張手順は、以下で図３と関連して説明されるが、ステップ２２の結果生じる非収縮画素を利用するものである。

ステップ２４は、図３の領域拡張手順を実行することによって、背景画像内に拡張面積（Ａ_ＢＩ）を生成する。領域拡張手順は、ステップ２２の結果生じる非収縮画素を利用するものである。

ステップ２５は、静止対象の状態を、Ａ_ＢＩ−Ａ_ＣＦに基づき決定する。

δＡ_ｔｈ≧０が規定の面積差閾値（ａｒｅａ ｄｉｆｆｅｒｅｎｃｅ ｔｈｒｅｓｈｏｌｄ）を示す一実施形態では、ステップ２３は、（１）状態が放置状態であることを意味するＡ_ＢＩ−Ａ_ＣＦ＞δＡ_ｔｈ、（２）状態が除去済み状態であることを意味するＡ_ＣＦ−Ａ_ＢＩ＞δＡ_ｔｈ、または（３）状態が不明確であることを意味する｜Ａ_ＢＩ−Ａ_ＣＦ｜≦δＡ_ｔｈを決定する。

一実施形態では、面積差閾値を使用する前述のテストが、分数の閾値ε≧０を使用するテストに置き換えられ、ステップ２３は、（１）状態が放置状態であることを意味する（Ａ_ＢＩ−Ａ_ＣＦ）／（Ａ_ＢＩ＋Ａ_ＣＦ）＞ε、（２）状態が除去済み状態であることを意味する（Ａ_ＣＦ−Ａ_ＢＩ）／（Ａ_ＢＩ＋Ａ_ＣＦ）＞ε、または（３）状態が不明確であることを意味する｜（Ａ_ＢＩ−Ａ_ＣＦ）｜／（Ａ_ＢＩ＋Ａ_ＣＦ）≦εを決定する。

当然ながら、以下、本発明の考察においてδＡ_ｔｈを伴うテストについて論じるときは、常に、εを伴う上記テストが代わりに利用され得る。

図３は、本発明の実施形態に従った、図２のステップ２３および２４において使用される領域拡張手順の実施を示す流れ図である。図３は、領域拡張手順を呼び出すステップにより提供される入力フレーム内に拡張面積を生成および出力する。具体的には、図２のステップ２１は、領域拡張手順によって入力フレームとして使用されるべき現在のフレームを提供し、図２のステップ２２は、領域拡張手順により入力フレームとして使用されるべき背景画像を提供する。静止領域は、領域拡張手順に対する追加入力である。さらに、領域拡張手順には、規定の画素収縮深度（ｐｉｘｅｌ ｅｒｏｓｉｏｎ ｄｅｐｔｈ）およびシード選択パラメータを利用してもよい。

図３はステップ３１〜３３を示しており、これは、図４〜１３内に示されている例に対して領域拡張手順を適用するという状況で説明される。

ステップ３１は、ステップ２２で決定された非収縮画素と、フレームの対応する画素とをそろえるべく、ステップ２２から生じる境界をつける輪郭および境界画素がフレーム上に重ねられた後に、図２のステップ２２から生じる非収縮画素の境界画素から複数の第１シード画素を選択する。この実施形態では、第１シード画素は、現在のフレームと背景画像とについて独立して選択される。これによって、現在のフレームおよび背景画像が異なる第１画素シードを選択し、現在のフレームおよび背景画像内の異なる色強度の空間的パターン（ｓｐａｔｉａｌ ｐａｔｔｅｒｎ）を有益に利用することができるようになる。この実施形態では、第１シード画素は、まず現在のフレームに関して、次に背景画像について選択されてもよく、まず背景画像に関して、次に現在のフレームに関して選択されてもよく、または、現在のフレームおよび背景画像について同時に選択されてもよい（たとえば、並列処理ハードウェアが使用されている場合）。

あるいは、現在処理中のフレーム（例えば背景画像）の第１シード画素は、現在処理中のフレームに対するステップ３１の実行で使用されているのと同じ境界画素および輪郭を用いる、別のフレーム（例えば現在のフレーム）に対するステップ３１の前の実行から既に選択されている第１シード画素から成るように、ステップ３１で選択されてもよい。この実施形態では、選択された第１シード画素は、現在のフレームと背景画像とについて同じ第１シード画素であり、これによって、現在のフレームと背景画像とについて第１画素シードを選択する計算コストが削減される。この実施形態では、第１シード画素は、まず現在のフレームに関して、次に背景画像に関して選択されてもよく、またはまず背景画像に関して、その次に現在のフレームに関して選択されてもよいが、現在のフレームおよび背景画像に関して同時に選択することはできない。

ステップ３２は、特定の色マッチング（あわせ）基準に従って、第１シード画素の色強度と色強度が一致する隣接画素にて非収縮画素の外に第１シード画素を反復して拡張し、第１シード画素の隣接画素にて新たなシード画素を生成する。前記反復して拡張するステップは、追加の新たなシード画素が生成できなくなるまで、新たなシード画素生成の一連の生成において、隣接画素にて新たなシード画素を生成する。

ステップ３３は、新たなシード画素の複合面積として出力拡張面積を決定する。

図４〜８および９〜１３は、本発明の実施形態に従った、図３の領域拡張手順と関連しての、第１入力フレームおよび第２入力フレームそれぞれに対する図２の静止領域マスク収縮ステップ２２の適用を示している。

検出される静止対象が放置対象である以下の例では、図４〜８内の第１入力フレームが現在のフレーム４０であり、図９〜１３内の第２入力フレームが背景画像５０である。

図４では、現在のフレーム４０内の、外側境界４２Ａを有する静止領域４１が、図２のステップ２１から特定される。

図５は、図２のステップ２２により実施される収縮プロセスの結果を示しており、静止領域４１の残りの非収縮画素４５を残して、図４の静止領域４１の外側画素が収縮されており、収縮画素４４と呼ばれる。収縮プロセスは静止領域４１を変更するのではなく、図４の外側境界４２Ａを、静止領域４１内に完全に配置され非収縮画素４５の境界をつける輪郭４２Ｂとなるよう、静止領域４１内で内側に向けて移動させる。非収縮画素４５の境界画素４６（図６を参照のこと）は、少なくとも１つの収縮画素４４に直接接するすべての非収縮画素から成る。

一実施形態では、輪郭４２Ｂとなるように静止領域４１内で図４の境界４２Ａを内側へ向けて移動させるプロセスは、収縮されるいくつかの画素層として表される画素収縮深度Ｄまで静止領域４１の外側画素を外周に沿って収縮することにより達成されるとよい。本例では、２の画素収縮深度Ｄが使用され、境界４２Ａが２画素、内側へ移動することによって輪郭４２Ｂが生成される。

一実施形態では、画素収縮深度の値は、図３のステップ３２で十分な数の境界画素を確保するよう制限される。言い換えれば、静止対象の画素数が少なすぎる場合、画素収縮深度が過度に大きいと、第１シード画素が少なくなりすぎ、｜Ａ_ＢＩ−Ａ_ＣＦ｜＞δＡ_ｔｈ、および上で論じた同様の閾値テストを満たすために十分正確にＡ_ＣＦを計算するよう、十分反復して拡張することができない。

図６は、明確に印をつけられた、非収縮画素４５の２８個の境界画素４６を有する図５を示している。

図７は、図３のステップ３１で境界画素４６から選択された第１シード画素４７を示している。一実施形態では、選択された第１シード画素はすべての境界画素から成る（例えば、図６に描かれている２８個の境界画素４６すべて）。一実施形態では、選択された第１シードは、２８個の境界画素４６から選択された８個の第１シード画素４７を示している図７にあるように、境界画素の総数よりも少ない画素から成る。一実施形態では、第１シード画素４７は、図７にあるように、境界画素４６内でほぼ均一に分布しているとよい。一実施形態では、第１シード画素４７は、境界画素内に不均一に分布しているとよい。

一実施形態では、第１シード画素４７は、その隣接画素である少なくとも１つの境界画素と色が一致しないように選択されるとよい。色の一致（または不一致）は、色マッチング基準に従う。特定の画素の「隣接画素」は、特定の画素の一点だけにおいてでもその特定の画素のどこかでこの特定の画素に直接接する画素である。

前述の実施形態は、無作為に選択された境界画素にて、または明確に選択された境界画素にて、１つの境界画素を第１シード画素として選択することによって実装されてもよい。手順は、この１つの境界画素から連続して規則的に（例えば時計回りまたは反時計回りに）、この１つの境界画素の隣接境界画素へ移動し、色の不一致が検出されるまで、各隣接境界画素との色の不一致をテストする。隣接境界画素と色が一致すると、色が一致した隣接境界画素は、第１シード画素として選択されない。隣接境界画素と色が一致しなければ、色が一致しなかった隣接境界画素は、次の第１シード画素として選択される。この、次の第１シード画素から手順は連続して規則的に次の隣接境界画素へと移動し、すべての境界画素が前述の方法で処理されるまで前述の色の不一致のテストを行う。例えば、境界画素が連続する境界画素Ｐ１（青）、Ｐ２（青）、Ｐ３（赤）、Ｐ４（赤）、Ｐ５（赤）、Ｐ６（赤）、Ｐ７（緑）、Ｐ８（緑）から成り、選択された第１シード画素がＰ１であれば、選択される第１シード画素はＰ１、Ｐ３、Ｐ７およびＰ８となる。この実施形態は、計算コストを削減するよう第１シード画素を選択するのに効率的である。

一実施形態において色マッチング基準は、第１画素および第２画素は、それぞれの色強度が「色クラス」として規定されている同じ範囲の色強度に入れば色が一致しているというものである。色クラスは、別々の色の規定セットから成る。色クラス全体は、使用されている色スペクトル内の可能な色強度すべてを包含し、各色クラスは、前記可能な色強度全体のサブセットから成る。したがって、前述の色マッチング基準によれば、第１画素および第２画素は、それぞれの色強度が同じ色クラスに入れば色が一致している。第１画素および第２画素は、それぞれの色強度が同じ色クラスに入らなければ、色が一致していない。したがって、２つの画素はどれでも、色が一致しているかまたは色が一致していないかである。別の観点からすると、前述の色マッチング基準によれば、第１画素および第２画素は、それぞれの色強度が同じ色クラスに入れば色が一致している。

図８は、新たなシード画素を生成するために、複数の第１シード画素４７の隣接画素にて、第１シード画素４７を非収縮画素４５の外で反復して拡張する図３のステップ３２の結果を示している。この隣接画素の色強度は、規定の色マッチング基準によると、第１シード画素の色強度と一致する。第１シード画素と色が一致する隣接画素それぞれが新たなシード画素となり、その後にその隣接画素との色照合が、規定の色マッチング基準に従って行われる。このプロセスは追加の新たなシード画素が生成できなくなるまで継続し、反復して新たなシード画素が生成されて、拡張領域４８がもたらされる。この拡張領域４８に関連する拡張面積Ａ_ＣＦは、図３のステップ３３において、個々の新たなシード画素の面積を足すことによって計算される。各画素の面積が１であれば、図７の拡張領域４８については、Ａ_ＣＦ＝８０である。

図９では、背景画像５０内の、外側境界５２Ａを有する静止領域５１が、図２のステップ２１から特定される。

図１０は、図２のステップ２２により実施される収縮プロセスの結果を示しており、静止領域５１の残りの非収縮画素５５を残して、図４の静止領域５１の外側の画素が収縮されており、収縮画素５４と呼ばれる。収縮プロセスは、静止領域５１を変更せず、静止領域５１内に完全に配置され非収縮画素５５の境界をつける輪郭５２Ｂとなるよう、図９の外側境界５２Ａを静止領域５１内で内側に向けて移動させる。輪郭４２Ｂおよび輪郭５２Ｂのどちらに対しても使用される輪郭を生成するために図２の同じステップ２２が使用されたため、図１０の輪郭５２Ｂおよび図５の輪郭４２Ｂは互いに幾何学的に合致し、それぞれ現在のフレーム１０および背景画像４０において、相対的に同じ空間的位置に配置されている。非収縮画素５５の境界画素５６（図１１を参照のこと）は、少なくとも１つの収縮画素５４に直接接するすべての非収縮画素から成る。

一実施形態では、輪郭５２Ｂになるように静止領域５１内で図９の境界５２Ａを内側へ向けて移動させるプロセスは、収縮されるいくつかの画素層として表される画素収縮深度Ｄまで静止領域５１の外側画素を外周に沿って収縮することにより達成される。本例では、２の画素収縮深度Ｄが使用され、境界５２Ａが２画素、内側へ移動することによって輪郭５２Ｂが生成される。

一実施形態では、Ａ／Ｒアルゴリズムが、静止領域により表される静止対象の放置／除去済み状態の明確な決定へと導くよう、画素収縮深度は、｜Ａ_ＢＩ−Ａ_ＣＦ｜が規定の面積差閾値δＡ_ｔｈを上回るという条件を保証するのに十分大きくあるように制限される。例えば、｜Ａ_ＢＩ−Ａ_ＣＦ｜＞δＡ_ｔｈという前述の条件は、静止対象が、現在の入力フレームの面積の非常に大きな部分を含むことに起因することもある。

一実施形態では、画素収縮深度は、シード画素を反復して拡張する間の色拡張阻害の誘発を回避するべく、図３のステップ３２で十分な数の境界画素を確保するために十分小さくあるよう制限される。言い換えれば、静止対象の画素数が少なすぎる場合、画素収縮深度が過度に大きいと、第１シード画素が少なくなりすぎ、｜Ａ_ＢＩ−Ａ_ＣＦ｜＞δＡ_ｔｈ、および上で論じた同様の閾値テストを満たすために十分正確にＡ_ＢＩを計算するよう、十分反復して拡張することができない。

図１１は、明確に印をつけられた、非収縮画素５５の２８個の境界画素５６を有する図１０を示している。

図１２は、図３のステップ３１で境界画素５６から選択された第１シード画素５７、または、図４〜８について説明したように、現在のフレームに対する図３の領域拡張手順の前の実行からすでに第１境界シード４７として（図７を参照のこと）選択されていた第１シード画素５７を示している。一実施形態では、選択された第１シード画素はすべての境界画素から成る（例えば、図１１に描かれている２８個の境界画素５６すべて）。一実施形態では、選択された第１シードは、２８個の境界画素５６から選択された８個の第１シード画素５７を示している図１２にあるように、境界画素の総数よりも少ない画素から成る。一実施形態では、第１シード画素５７は、図１２にあるように、境界画素５６内でほぼ均一に分布しているとよい。一実施形態では、第１シード画素５７は、境界画素内で不均一に分布しているとよい。

一実施形態では、第１シード画素５７は、その隣接画素である少なくとも１つの境界画素と色が一致しないように選択されるとよい。色の一致（または不一致）は、色マッチング基準に従う。特定の画素の「隣接画素」は、特定の画素の一点だけにおいてでもその特定の画素のどこかでこの特定の画素に直接接している画素である。

前述の実施形態は、無作為に選択された境界画素にて、または明確に選択された境界画素にて、１つの境界画素を第１シード画素として選択することによって実装されてもよい。手順は、この１つの境界画素から、連続して規則的に（例えば時計回りまたは反時計回りに）、この１つの境界画素の隣接境界画素へ移動し、色の不一致が検出されるまで、各隣接境界画素との色の不一致をテストする。隣接境界画素と色が一致すると、色が一致した隣接境界画素は、第１シード画素として選択されない。隣接境界画素と色が一致しなければ、色が一致しなかった隣接境界画素は、次の第１シード画素として選択される。この、次の第１シード画素から手順は連続して規則的に次の隣接境界画素へと移動し、すべての境界画素が前述の方法で処理されるまで前述の色の不一致のテストを行う。例えば、境界画素が連続する境界画素Ｐ１（青）、Ｐ２（青）、Ｐ３（赤）、Ｐ４（赤）、Ｐ５（赤）、Ｐ６（赤）、Ｐ７（緑）、Ｐ８（緑）から成り、選択された第１シード画素がＰ１であれば、選択される第１シード画素はＰ１、Ｐ３、Ｐ７およびＰ８となる。境界画素と、近くの隣接シード画素との色の一致が実現しても、Ａ_ＢＩの計算の精度は増さず、したがって第１シード画素選択という結果になる必要がないため、この実施形態は、第１シード画素を選択するのに効率的である。

上で図５に関連して論じたように、一実施形態において色マッチング基準は、第１画素および第２画素は、それぞれの色強度が「色クラス」として規定されている同じ範囲の色強度に入れば色が一致しているというものである。

図１３は、新たなシード画素を生成するために、複数の第１シード画素５７の隣接画素にて、第１シード画素５７を非収縮画素５５の外で反復して拡張する、図３のステップ３２の結果を示している。この隣接画素の色強度は、規定の色マッチング基準によると、第１シード画素の色強度と一致する。第１シード画素と色が一致する隣接画素それぞれが新たなシード画素となり、その後にその隣接画素との色照合が、規定の色マッチング基準に従って行われる。このプロセスは追加の新たなシード画素が生成できなくなるまで継続し、反復して新たなシード画素が生成されて、拡張領域５８がもたらされる。この拡張領域５８に関連する拡張面積Ａ_ＢＩは、図３のステップ３３において、個々の新たなシード画素の面積を足すことによって計算される。各画素の面積が１であれば、図７の拡張領域５８については、Ａ_ＢＩ＝２６０である。

図４〜８が現在のフレームを表し、図９〜１３が背景画像を表すと仮定して、図４〜１３に図示された前述の例は、Ａ_ＣＦ＝８０およびＡ_ＢＩ＝２６０という結果になった。Ａ_ＢＩ−Ａ_ＣＦ＝１６０であるため（さらに、合理的にδＡ_ｔｈ＜１６０と仮定して）、Ａ／Ｒアルゴリズムは、静止対象が放置対象であると決定した。

あるいは、図４〜８が背景画像を表し、図９〜１３が現在のフレームを表す場合、図４〜１３の同様の分析は、Ａ_ＢＩ＝８０およびＡ_ＣＦ＝２６０を生じることとなり、静止対象は除去済み対象であるという結論につながる。

本発明のＡ／Ｒアルゴリズムは、実時間の高性能ビデオ監視システムにおいて使用された。種々の環境において、放置／除去済み対象を検出するためのＡ／Ｒアルゴリズムの有効性を明示する例および結果を、次に示す。

Ａ／Ｒアルゴリズムは、公共空間において放置対象検出アルゴリズムをテストするために設計されたＰｅｔｓ２００６データセット（ＰＥＴＳ ２００６ Ｂｅｎｃｈｍａｒｋ Ｄａｔａ、ｈｔｔｐ：／／ｗｗｗ．ｃｖｇ．ｒｄｇ．ａｃ．ｕｋ／ＰＥＴＳ２００６／ｄａｔａ．ｈｔｍｌを参照のこと）と共に使用された。テスト用シーケンスのグラウンド・トルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）は、イベントに関与する人物と、手荷物との数を含み、さらに手荷物と人との空間的関係も含む（手荷物に付き添いがいるか否かを確認するために）。持続的な前景対象は、対象に人が付き添っているか否かを考慮せずに放置アイテムに分類される。

Ｐｅｔｓデータセットは、場面の複雑性が高まっていく、放置された手荷物シナリオを含むマルチセンサ・シーケンスから成る。４台のカメラによって異なる地点からとらえられる、７つの異なるシナリオがある。Ａ／Ｒアルゴリズムは単一のカメラに基づき使用され、各シナリオでカメラ・ビューのうち１つだけが使用され、合計７つの試験用シーケンスとなる。ビデオ内で対象がより大きく見えるところのカメラが選ばれた。画像領域全体が放置対象の検出に使用される。表１は、７つのシーケンスについて得られた結果を示す。シナリオは比較的簡素であり、閉鎖および群集は多くない。Ａ／Ｒアルゴリズムは放置アイテムをすべて検出し、誤認警報はゼロであった。シーケンスＳ３では、静止した人物が放置アイテムとして検出されている。静止した人物は、人物分類器（ｐｅｒｓｏｎ ｃｌａｓｓｉｆｉｅｒ）を組み込むことで除去することができた。

ｉ−ＬＩＤＳビデオ・ライブラリは、ビデオ検出システムの開発および選択を促進するためのベンチマークを提供する（ＬＩＤＳ Ｄａｔａｓｅｔ ｆｏｒ ＡＶＳＳ ２００７、ｆｔｐ：／／ｍｏｔｉｎａｓ．ｅｌｅｃ．ｑｍｕｌ．ａｃ．ｕｋ／ｐｕｂ／ｉＬｉｄｓを参照のこと）。本発明の方法およびシステムの評価は、放置された携行品および駐車車両という２つのシナリオに基づく。放置された携行品シナリオは、地下鉄の駅のプラットフォーム上の付き添いのいないバッグの警報イベントを含む。駐車車両シナリオは、都会の設定で駐車されている不審車両の警報イベントを含む。表２および表３は、検出結果の詳細を示す。イベント検出に小さな領域だけが選択された先の作業と異なり、全部のカメラ・ビューが放置イベントを検出するために使用された。どちらのシナリオでも、放置イベント（携行品および駐車車両）はすべて低い偽陽性（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）で検出された。人物分類器が組み込まれて使用されていなかったため、静止した数人の人物が放置アイテムとして検出された。なお、非常に小さな、水を入れる静止した瓶が検出されている。

ＰｅｔｓおよびｉＬｉｄｓデータセットはどちらも放置対象検出用であるため、種々の大きさおよび種類の除去済み対象（瓶入りの水、書物、ラップトップ型コンピュータ、車など）を伴う、種々の状況（小売店、駐車場、研究室、会議室など）における除去済み対象イベントを含むデータセットが改めて集められた。表４に検出結果を示す。合計１２の除去済み対象に対し、１１の対象が検出された。１つの対象は、その領域の画素が無作為に背景モデルに更新され、従って対象が除去された後の領域が静止領域として検出されないため欠けている。除去済み対象は、駐車していた車およびラップトップ型コンピュータを含む。

図１４は、本発明の実施形態に従った、ビデオ・フレームの時間順シーケンスを処理するために使用されるコンピュータ・システム９０を示している。コンピュータ・システム９０は、プロセッサ９１と、プロセッサ９１に接続された入力デバイス９２と、プロセッサ９１に接続された出力デバイス９３と、プロセッサ９１にそれぞれ接続されているメモリ・デバイス９４および９５を含む。入力デバイス９２は、特に、キーボード、マウスなどであればよい。出力デバイス９３は、特に、プリンタ、プロッタ、コンピュータのディスプレイまたはスクリーン、磁気テープ、リムーバブル・ハード・ディスク、フレキシブル・ディスクなどであればよい。メモリ・デバイス９４および９５は、特に、ハード・ディスク、フレキシブル・ディスク、磁気テープ、コンパクト・ディスク（ＣＤ：ｃｏｍｐａｃｔ ｄｉｓｃ）またはデジタル・ビデオ・ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ）などの光学式記憶装置、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ：ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読出し専用メモリ（ＲＯＭ：ｒｅａｄ‐ｏｎｌｙ ｍｅｍｏｒｙ）など、データ記憶媒体であればよい。メモリ・デバイス９５は、プログラム・コード（すなわち、コンピュータ実行可能命令）を含むコンピュータ・プログラムであるコンピュータ・コード９７を含む。コンピュータ・コード９７は、ビデオ・フレームの時間順シーケンスを処理するためのアルゴリズムを含む。プロセッサ９１はコンピュータ・コード９７を実行する。メモリ・デバイス９４は入力データ９６を含む。入力データ９６は、コンピュータ・コード９７により必要とされる入力を含む。出力デバイス９３はコンピュータ・コード９７からの出力を表示する。メモリ・デバイス９４および９５のいずれか、または両方（または図１４に示されていない１つ以上の追加のメモリ・デバイス）が、コンピュータ使用可能記憶媒体（またはプログラム記憶デバイス）として使用されてもよい。このコンピュータ使用可能記憶媒体には、コンピュータ可読プログラムが具現化されているか、またはその他のデータが格納されているか、あるいはその両方であり、このコンピュータ可読プログラムはコンピュータ・コード９７を含む。一般に、コンピュータ・システム９０のコンピュータ・プログラムは、前述の、コンピュータ使用可能記憶媒体（または前述のプログラム記憶デバイス）に格納される。

したがって、本発明は、コンピュータ・インフラストラクチャのサポート、コンピュータ・システム９０の統合、ホスティング、維持、およびコンピュータ可読プログラム・コードのコンピュータ・システム９０への展開のためのプロセスを開示している。コードは、コンピュータ・システム９０と共同して、ビデオ・フレームの時間順シーケンスを処理する方法を行うことができる。

本発明の構成要素はいずれも、ビデオ・フレームの時間順シーケンスの処理を容易にすることを提案するサービス・プロバイダによって、作成、統合、ホスト、維持、展開、管理、サービス提供、サポートなどを行われ得る。このように、本発明は、コンピュータ・インフラストラクチャの展開または統合のためのプロセスを開示しており、これは、コンピュータ可読コードを、コンピュータ・システム９０に統合することを含み、このコードは、コンピュータ・システム９０と共同して、ビデオ・フレームの時間順シーケンスを処理する方法を行うことができる。

別の実施形態では、本発明は、加入、宣伝または手数料ベース、あるいはそのすべてで本発明のプロセス・ステップを行うビジネス方法を提供する。すなわち、ソリューション・インテグレータなどのサービス・プロバイダは、ビデオ・フレームの時間順シーケンスの処理を容易にすることを提案することができるであろう。この場合、サービス・プロバイダは、１件以上の顧客に対して、本発明のプロセス・ステップを実行するコンピュータ・インフラストラクチャの作成、統合、ホスト、維持、展開、管理、サービス提供、サポートなどをすることができる。見返りとして、サービス・プロバイダは、加入もしくは手数料契約あるいはその両方に基づき、顧客（単数または複数）から報酬を受け取ること、または、１件以上のサード・パーティに対する宣伝コンテンツの販売の報酬を受け取ること、あるいはその両方を行うことができる。

図１４は、ハードウェアおよびソフトウェアの詳細な構成としてコンピュータ・システム９０を示しているが、当業者には既知であると思われるハードウェアおよびソフトウェアの任意の構成が、図１４の特定のコンピュータ・システム９０に関連して上に記載された目的のために利用されてよい。例えば、メモリ・デバイス９４および９５は、別々のメモリ・デバイスではなく単一のメモリ・デバイスの複数部分であってもよい。

本願明細書には、本発明の特定の実施形態が、説明を目的として記載されたが、当業者には多数の修正および変更が明らかであろう。したがって、添付の特許請求の範囲は、本発明の真の意図および範囲に入るそのような修正および変更すべてを包含するものとする。

本発明の実施形態に従った、ビデオ・ストリームのビデオ・フレームの時間順シーケンスを処理する方法を示す流れ図であり、静止対象の放置／除去済み状態を決定するために、放置／除去済み対象検出アルゴリズム（Ａ／Ｒアルゴリズム）を実行することが含まれる。 本発明の実施形態に従った、図１のＡ／Ｒアルゴリズムの実装を描いた流れ図であり、現在のフレームと、ビデオ・ストリームの背景画像との両方に対して領域拡張手順を行うことが含まれる。 本発明の実施形態に従った、図２の領域拡張手順の実施を描いた流れ図である。 本発明の実施形態に従った、図３の領域拡張手順の第１入力フレームへの適用を示している。 本発明の実施形態に従った、図３の領域拡張手順の第１入力フレームへの適用を示している。 本発明の実施形態に従った、図３の領域拡張手順の第１入力フレームへの適用を示している。 本発明の実施形態に従った、図３の領域拡張手順の第１入力フレームへの適用を示している。 本発明の実施形態に従った、図３の領域拡張手順の第１入力フレームへの適用を示している。 本発明の実施形態に従った、図３の領域拡張手順の第２入力フレームへの適用を示している。 本発明の実施形態に従った、図３の領域拡張手順の第２入力フレームへの適用を示している。 本発明の実施形態に従った、図３の領域拡張手順の第２入力フレームへの適用を示している。 本発明の実施形態に従った、図３の領域拡張手順の第２入力フレームへの適用を示している。 本発明の実施形態に従った、図３の領域拡張手順の第２入力フレームへの適用を示している。 本発明の実施形態に従った、ビデオ・フレームの時間順シーケンスを処理するために使用されるコンピュータ・システムを示している。

Claims (12)

1. ビデオ・フレームの時間順シーケンスを処理する方法であって、各フレームは、２次元の画素配列と、各画素における、フレーム依存の色強度とを含み、前記方法は、
   現在のフレームと、前記シーケンス内で前記現在のフレームより前に生じている少なくとも１つのフレームとを分析するステップであって、前記分析するステップは、背景画像と、静止領域に関連する静止領域マスクとを決定するために、前記少なくとも１つのフレームに対して背景除去を行うステップであって、前記背景画像は、前記画素配列と、前記少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象も含まず、前記静止領域は、前記画素配列のうちの複数画素の連続的な分布から成る、ステップと、静止対象の存在を決定するステップであって、前記静止対象は、前記現在のフレームの前記静止領域内に存在し前記背景画像の前記静止領域内には存在しない放置対象から成るか、または前記背景画像の前記静止領域内に存在し前記現在のフレームの前記静止領域内には存在しない除去済み対象から成る、ステップとを含む、前記分析するステップと、
   前記分析するステップの後に、前記静止対象の状態を決定するステップであって、前記状態は、前記静止対象が前記放置対象であれば放置状態であり、または前記静止対象が前記除去済み対象であれば除去済み状態であり、前記状態を決定するステップは、Ａ／Ｒアルゴリズムを実行するステップを含み、前記Ａ／Ｒアルゴリズムは、前記現在のフレーム、前記背景画像、および前記静止領域マスクを入力として使用し、前記背景除去から得られる他のいかなる情報も入力として使用しない、前記決定するステップと、
   前記決定された状態を、コンピュータ・システムのデータ記憶媒体に格納するステップと
   を含む、方法。
2. 前記Ａ／Ｒアルゴリズムを前記実行するステップは、
   前記静止領域マスクの複数の外側画素を収縮するステップであって、前記収縮は、複数の収縮画素をもたらし、かつ前記静止領域マスクの残りの非収縮画素を複数残し、前記非収縮画素の境界画素が、少なくとも１つの収縮画素に直接接する非収縮画素すべてから成り、前記非収縮画素と、前記収縮画素との間の境界面から成る輪郭によって境界を付けられる、前記収縮するステップと、
   前記現在のフレームに対して領域拡張手順を実行するステップであって、前記領域拡張手順は、使用される入力フレームが前記現在のフレームであると示すステップと、その後に、出力拡張面積として拡張面積Ａ_ＣＦを受け取るステップとを含む、前記ステップと、
   前記背景画像に対して前記領域拡張手順を実行するステップであって、前記領域拡張手順は、使用される前記入力フレームが前記背景画像であると示すステップと、その後に、前記出力拡張面積として拡張面積Ａ_ＢＩを受け取るステップとを含む、前記ステップと、
   前記静止対象の前記状態を、Ａ_ＢＩ−Ａ_ＣＦに基づいて決定するステップと
   を含み、前記領域拡張手順の前記実行するステップは、
   前記入力フレームに重ねられた前記境界画素から複数の第１シード画素を選択するステップ、または別の入力フレームに対する前記領域拡張手順の前の実行において選択された複数の第１シード画素から成るように複数の第１シード画素を選択するステップと、
   前記選択された第１シード画素を前記非収縮画素の外に反復して拡張して、前記選択された第１シード画素の複数の隣接画素にて、新たな複数のシード画素を生成するステップであって、前記隣接画素の色強度は、規定の色マッチング基準に従って、隣接する前記第１シード画素の前記色強度と一致し、前記反復して拡張するステップは、新たなシード画素の一連の生成において、追加の新たなシード画素を生成できなくなるまで前記隣接画素にて新たなシード画素を生成する、前記ステップと、
   前記新たなシード画素の複合面積として、前記出力拡張面積を決定するステップと
   を含む、請求項１に記載の方法。
3. 前記選択するステップは、
   前記現在のフレームに対して前記領域拡張手順を前記実行している間に、前記第１シード画素を、前記現在のフレーム上に重ねられた前記境界画素から、
   前記背景画像に対して前記領域拡張手順を前記実行している間に、前記第１シード画素を、前記背景画像上に重ねられた前記境界画素から
   独立して選択するステップを含む、請求項２に記載の方法。
4. 前記現在のフレームに対して前記領域拡張手順を前記実行している間に前記選択するステップは、前記現在のフレーム上に重ねられた前記境界画素から前記第１シード画素を選択する第１選択ステップを含み、前記背景画像に対して前記領域拡張手順を前記実行している間に前記選択するステップは、前記第１選択ステップの間に前記現在のフレームに関して選択された前記第１シード画素から成るように前記背景画像に関して前記第１シード画素を選択する第２選択ステップを含むか、または、
   前記背景画像に対して前記領域拡張手順を前記実行している間に前記選択するステップは、前記背景画像上に重ねられた前記境界画素から前記第１シード画素を選択する第３選択ステップを含み、前記現在のフレームに対して前記領域拡張手順を前記実行している間に前記選択するステップは、前記第３選択ステップの間に前記背景画像に関して選択された前記第１シード画素から成るように前記現在のフレームに関して前記第１シード画素を選択する第４選択ステップを含む、
   請求項２に記載の方法。
5. 前記状態を前記決定するステップは、
   Ａ_ＢＩ−Ａ_ＣＦ＞δＡ_ｔｈの場合、前記状態が前記放置状態であると決定するステップであって、δＡ_ｔｈは、δＡ_ｔｈ≧０を条件とする規定の面積差閾値である、前記ステップ、または、
   Ａ_ＣＦ−Ａ_ＢＩ＞δＡ_ｔｈの場合、前記状態が前記除去済み状態であると決定するステップ、のうちいずれかを含む、請求項２に記載の方法。
6. 前記収縮ステップは、収縮されるべきいくつかの画素層として表される画素収縮深度まで、前記静止領域の前記外側画素を、外周に沿って収縮するステップを含む、請求項２に記載の方法。
7. 第１シード画素の前記選択するステップにおいて、前記第１シード画素の総数が前記境界画素の総数よりも少ない、請求項２に記載の方法。
8. 第１シード画素の前記選択するステップにおいて、前記第１シード画素が、前記境界画素内にほぼ均一に分布する、請求項７に記載の方法。
9. 第１シード画素の前記選択するステップにおいて、前記第１シード画素が、前記境界画素内に不均一に分布する、請求項７に記載の方法。
10. 第１シード画素の前記選択するステップにおいて、選択された第１シード画素それぞれと、その隣接画素である少なくとも１つの境界画素との色が一致しない、請求項２に記載の方法。
11. 請求項１乃至１０のいずれかに記載の方法ステップをコンピュータに実行させるためのコンピュータ・プログラム。
12. プロセッサと、前記プロセッサに結合する記憶デバイスとを含むコンピュータ・システムであって、前記記憶デバイスは、請求項１乃至１０のいずれかに記載の方法ステップをコンピュータに実行させるためのコンピュータ・プログラムを含む、コンピュータ・システム。

Images