JP2007510322A - 監視ビデオの変化をサーチするためのシステム及び方法 - Google Patents

Abstract

画像領域に含まれる関心領域内でいつ変化が生じたかを判定するためのシステム及び方法が開示される。システム及び方法は、特別に修正されたバックグランド除去法を実行することができる。システム及び方法は、背景画像領域を初期化し、第２のフレームからの第１の画像領域を背景画像領域と比較して、ピクセルを前景ピクセルまたは背景ピクセルとして分類することができる。次に、前景ピクセルが所定の特徴に基づいて分類される。次に、その所定の特徴を有していなかった前景ピクセルを含むように背景画像領域を更新することができる。システム及び方法は、背景の更新があった箇所のサーチを可能にし、それによって、いつ関心領域で変化が生じたかを判定することができる。

Description

本発明は、一般的にはビデオ監視に関連し、特に、関心領域（ＡＯＩ:area-of-interest）の変化をサーチ（探索）するための改良されたシステム及び方法に関連する。

昨今の安全性に対する関心の高まりと、カメラ装置の価格の低下によって、閉回路テレビジョン（CCTV。または有線テレビ）監視システムが多く使用されるようになってきている。そのようなシステムは、犯罪を少なくし、事故を防止し、一般的に、さまざまな環境において安全性を高める可能性を有している。

簡単な閉回路テレビジョンシステムは、表示装置に接続された１つのカメラを使用する。より複雑なシステムは、複数のカメラ及び／または複数の表示装置を有している場合がある。１つの既知のタイプのシステムは、小売店のセキュリティディスプレイであり、これは、店のそれぞれの部分を見ることができるようにするためにそれぞれのカメラを定期的に切り換える。刑務所や軍事施設などのより高度なセキュリティ施設では、関連するカメラの出力を各々が表示する一揃いのビデオディスプレイを使用する。不審な行動を探すために、警備員や係員が常にそれらの種々の画面を見ている。

最近では、安価なデジタルカメラの人気がセキュリティや他の用途において高まってきている。さらに、今では、離れた位置をウェブカメラを使用してモニタすることが可能である。典型的には、ウェブカメラのフレームレートは比較的低いが、いくつかのセキュリティ用途には十分である。離れたところにあるコンピュータや他の表示装置に無線で信号を送信する安価なカメラは、また、監視ビデオ（テレビ）装置を提供するために使用される。

カメラの数が増えるにつれ、処理及び分析すべき生の情報の量もまた増加する。コンピュータ技術を使用してこの生データの処理タスクを軽減することができ、この結果として、新しいタイプの情報技術装置、すなわち、コンピュータを使った監視（ＣＡＳ：computer-aided surveillance）システム（以下、コンピュータ支援監視システムという）が開発されている。コンピュータ支援監視システム技術はさまざまな用途のために開発されている。たとえば、軍は、自動ターゲティング機能や戦闘機のパイロット及び他の人員へのその他の支援を提供するために、コンピュータ支援画像処理を使用している。さらに、コンピュータ支援監視システムは、スイミングプール内の活動をモニタするために利用されている。たとえば、ＡＯＩが特に価値のある物を含む場合には、ＣＡＳシステムを使用して、その特定のＡＯＩをモニタすることができる。

ＣＡＳシステムは、典型的には、個々のビデオフレームについて処理を行う。一般的には、ビデオフレームは、人々や物が移動し相互作用をしているシーンの画像を表現する。各々のビデオフレームは、格子状に配列されることが多い複数のピクセル（画素）から構成される。ビデオフレーム内のピクセルの数は、カメラの解像度、ディスプレイ、ビデオフレームが格納される記憶装置の容量を含むいくつかの要因に依存する。処理能力及び所望の精度のレベルに依存して、ピクセルのレベルまたは（ピクセル）グループのレベルのいずれかのレベルでビデオフレームの分析を実施することができる。分析されるピクセルまたはピクセルのグループを、本明細書では「画像領域」と呼ぶ。

シーンの背景（バックグランド）の一部を表すものとして、または、前景の物体を表すものとして、画像領域を分類することができる。一般的には、背景は、各ビデオフレームにおいて比較的動かない（変化がない）状態を維持する。しかしながら、異なるフレーム内の異なる画像領域に物体が現れる場合がある。ビデオフレーム内の物体をそのフレームの背景から分離するためのいくつかの方法（物体抽出と呼ばれる）が当該技術分野で知られている。一般的なアプローチは、「バックグランド除去法」と呼ばれる技法を使用することである。もちろん、他の技法を使用することもできる。

現在の監視システムは、領域変化探査を実施するための初歩的な技術を提供するものである。そのようなシステムによれば、ユーザは、ビデオフレーム（このフレーム内で変化をサーチする）内の特定のＡＯＩを指定することが可能である。この場合、システムは、各々のビデオフレームをサーチして、ＡＯＩ内の変化したピクセルの数を測定する。特定のフレーム中のＡＯＩ内の変化したピクセルの数が、指定されたパーセンテージを超えると、そのフレームは、そのサーチにおいて肯定的な結果として戻される。このアプローチを、フレーム毎の差分方式と呼ぶことができる。

フレーム毎の差分方式は、しかしながら、多くの欠点を有する。具体的には、それは、あまりに多くの誤った肯定的結果を返すことがある。これらの誤った肯定的結果は、ＡＯＩの前で動いている障害物に起因する場合がある。たとえば、ユーザが、机の上に置かれていたラップトップコンピュータが盗まれた瞬間をサーチすることに興味がある場合には、このサーチ技法を使用することによって、ある人が机の前を歩き、ラップトップコンピュータを（カメラの）視野から除外することとなったすべての場面に戻ることができるだろう（もちろん、机の前を歩いている人に起因して変化したピクセルの数が、指定されたパーセンテージを超えることが想定されている）。ほとんどの場合、その人は、その後、机から離れ、盗まれていないラップトップコンピュータが現れるが、その時点で、そのサーチは、間違った肯定的結果を返したことになる。

別のアプローチは、バックグランド除去法を使用して分析を実施することである。典型的なバックグランド除去アルゴリズムでは、「背景画像（バックグランド画像）」からビデオフレームを差し引くことによって、前景のピクセル（前景ピクセル）を背景のピクセル（背景ピクセル）から分離する。この背景画像は、背景に対するゆっくりとした変化（たとえば、照明の変化）を追跡するために、新しいデータで定期的に更新される。典型的には、背景の更新は、既存の背景画像とともに（またはそれによって）新しく分類された背景ピクセルを平均化することによって実施される。背景画像の「汚染」を防止するために、前景ピクセルは背景画像とともには（またはそれによっては）平均化されない。このようにして、背景画像はゆっくりとした、または小さな色の変化に適合し、全てのすばやい、または大きな色の変化は前景のものであるとみなされる。しかしながら、実際には、この単純なバックグランド除去アルゴリズムは、上述のフレーム毎の差分化技法に対してほとんど利点を有さない。すなわち、このアルゴリズムも、依然として、ＡＯＩに関連するサーチについて誤った肯定的結果を提供する場合がある。これは、この技術を利用するシステムでサーチ（探索）を実施するやり方に起因する。具体的には、単純なバックグランド除去法を利用するシステムで実施されるサーチでは、ＡＯＩにおける変化をサーチすることによって、ピクセルが変化し、その変化が小さくないか、ゆっくりしたものではないところの全ての事象が返されることになる（すなわち、ピクセルは、前景ピクセルとして分離されることになる）。しかしながら、これは、たとえば、人がＡＯＩの前を歩いているときに全ての事象を返す可能性があるが、これらの事象の全てについて関心があるわけではない場合があるのである。

本明細書で説明するシステム及び方法の種々の実施形態は、上述の問題並びにその他の問題を解決するものである。具体的には、いくつかの実施形態は、ＡＯＩにおける変化をサーチする際に生じうる誤った肯定的結果の数を低減することによって上述のアプローチを改善することができる。いくつかの実施形態では、フレーム毎の差分方式または単純なバックグランド除去法の代わりに、修正されたバックグランド除去アルゴリズムを使用して、いつＡＯＩにおいて重要な変化が生じたか（たとえば、いつ特定の物体が盗まれたか）を判定する。基本的なアイデアは、ＡＯＩの全ての変化を返すことではなく、ＡＯＩの背景の変化のみを返すことである。ほとんどの場合、ＡＯＩ内の関心のある対象は背景にある（すなわち、静止している）物体であるとみなすことができるというのは直感的事実である。前景にある物体（たとえば、人々や他の移動している事物）は、一時的に関心のある対象を遮る場合があるが、関心のある対象が実際に消えてなくなるときのみ、背景はその変化を反映すべきである。

１実施形態では、画像領域に含まれる関心領域内でいつ変化が生じたか（または、生じたこと）を判定するコンピュータを利用した（または、コンピュータ処理による）方法が開示される。この実施形態は、第１のフレームの少なくとも一部分の背景画像領域を初期化するステップ、第２のフレームからの第１の画像領域を背景画像領域と比較して、ピクセルを前景ピクセルまたは背景ピクセルとして分類するステップ、所定の特徴に基づいて前景ピクセルを分類するステップ、及び、所定の特徴を具現化していない（含んでいない）少なくとも１つの前景ピクセルを含むように背景画像領域を更新するステップを含むことができる。

この実施形態の１つの側面は、背景画像領域がいつ更新されたか（または更新されたこと）を記録するステップを含むことができる。具体的には、この側面は、第２のフレームの位置をデータベースに保存するステップを含むことができる。

この実施形態の別の側面では、この方法は、背景画像がいつ更新されたか（または更新されたこと）を判定するために記録されたビデオをサーチするステップを含むこともできる。この側面は、全ての関心領域が処理されたか否かを判定するステップを含むことができる。

別の側面では、背景を更新するステップは、上記少なくとも１つのピクセルを背景に組み込むステップを含むことができ、サーチするステップは、関心領域内の背景に組み込まれたピクセル数を判定するステップを含むことができる。この側面はさらに、関心領域内にある背景に組み込まれたピクセル数を閾値と比較して、その閾値を超えているかどうかを判定するステップを含むことができる。この側面はまた、閾値を超えた場合に肯定的サーチ結果を返すステップを含むことができる。さらに、この側面はまた、あるフレーム（このフレームで、背景に組み込まれたピクセルが最初に前景ピクセルとして分類された）まで後戻りするステップを含むことができる。

この実施形態の別の側面は、静止した特性（または特徴物）に基づいて前景ピクセルを分類するステップを含むことができる。この側面では、静止した特性を、色、サイズ（大きさ）、テクスチャ（表面状態、表面形状、質感など）、形状のうちの少なくとも１つとすることができる。

この実施形態の別の側面では、動的な特性に基づいて前景ピクセルを分類することができる。この側面では、動的な特性は、速度、加速度、サイズの変化、面積（または領域）の変化、色の変化、動きがないこと（または動かなくなったこと）のうちの少なくとも１つとすることができる。

この実施形態のさらに別の側面では、背景画像を更新するステップは、所定の特徴を背景画像中へ具現化（または統合）しない少なくも１つの前景ピクセルを組み込むステップを含む。この側面は、その少なくとも１つの前景ピクセルを背景画像上に上書きするステップを含むことができる。

別の実施形態では、関心領域内でいつ変化が生じたか（または生じたこと）を判定するためにビデオ情報をサーチするコンピュータを利用した（または、コンピュータ処理による）方法が開示される。この実施形態の方法は、前景ピクセルを第１のタイプと第２のタイプに分類するステップ、第１のタイプの前景ピクセルを背景画像に組み込むステップ、第１のタイプの前景ピクセルが背景に組み込まれたときに、背景の更新が生じたものとしてデータベースに記録するステップ、及び、背景更新の発生についてデータベースをサーチするステップを含むことができる。

以上の説明は、添付の図面並びに以下の本発明の詳細な説明からより容易に理解されるであろう。

「発明の詳細な説明」
一般的に、本明細書で開示する本発明によるシステム及び方法によれば、監視ビデオの自動検査によってＡＯＩが変化した瞬間を検出することができる。１実施形態では、システム及び方法は、ＡＯＩ内の背景が変化したことが判定されたときに、「リアルタイム」ビデオ中の特定のフレームをマークする（なんらかの印を付ける）ことができる。このシステム及び方法を記録されたビデオ（映像情報ともいう）についても利用することができる。そのような場合には、いつＡＯＩに変化が生じたか（または生じたこと）を検出するために、記録されたビデオに対してサーチ機能を使用することができる。そのようなＡＯＩの変化を検出することによって、ユーザは、たとえば、いつ高価な物が盗まれたか、いつ物が床に落ちたか、いつドアが閉められたか、いつ車が駐車場に駐車したか、または、突然変化が生じてある時間の間その変化した状態のままとなっているビデオのある領域の任意の変化を判別することができる。このような様相に関係なく、本明細書で開示するシステム及び方法は、特別に修正されたバックグランド除去アルゴリズムを実施することによって検査を実行することができる。一般的なバックグランド除去法と特別に修正されたバックグランド除去法についてはより詳細に後述する。

本明細書で開示するシステム及び方法は、コンピュータ支援監視システム（ＣＡＳ）において実施することができる。典型的な監視システムでは、カメラが、監視されている環境内での人間と物との相互作用を示す画像データを補足する。カメラの種類には、アナログビデオカメラ、デジタルビデオカメラ、まは、画像データを生成することができる任意の装置が含まれる。「カメラ」という用語は、ビデオデータを出力することができる任意のセンサを含む包括的な用語として使用される。１実施形態では、ＣＡＳシステムは、多くの入力センサを用いて監視されている環境を観察するが、情報の主要なソースはビデオカメラである。CCTV設備の大部分は、一般的な可視光ビデオカメラを使用する。そのような設備では、ＣＡＳシステムは、アナログＮＴＳＣまたはＰＡＬビデオから情報を抽出するために高度なビデオ解析アルゴリズムを使用する。しかしながら、それらのアルゴリズムは、可視光スペクトルに限定されない。すなわち、それらのアルゴリズムは、赤外光ビデオにも適用でき、あるいはまた、（利用可能であれば）レーダやソナー装置からの画像データにも適用できる。

図１は、本発明のいくつかの側面を実施するために使用可能な例示的な（「ＣＡＳ」）システム１００を示す。もちろん、他のＣＡＳシステムを使用することもでき、図１に示す特定のシステムは、そのようなシステムの一例に過ぎない。複数のカメラまたは他の画像入力装置１０２が、画像分析を行うようにプログラムされたＣＡＳコンピュータ１０４に画像を入力する。ＣＡＳコンピュータ１０４は、セットアップ、制御及び表示のためのグラフィカルユーザインターフェース（GUI）を提供するディスプレイ（表示装置）１０６を備えることができる。ＣＡＳコンピュータ１０４は、また、ユーザが制御信号を入力できるようにするために、キーボード、マウスなどの１つ以上のユーザ入力デバイス（不図示）を備えることができる。

ＣＡＳコンピュータ１０４は、画像特徴抽出、背景除去（一般的なアルゴリズム、及び、本明細書で教示する特別に修正されたアルゴリズム）、動的な分類及び追跡を含む高度な画像処理を実行することができる。ＣＡＳコンピュータ１０４は、物体と動作状態を自動的に検出することができ、及び、デジタル通信ネットワークまたは他のインターフェース１０８を介して伝送可能な警告及び他の情報を生成することができる。ＣＡＳコンピュータ１０４は、また、インターフェース１０８を使用して、レコーダ１１２に保存されている以前に記録されたビデオ、または、他のコンピュータに格納されている情報などのデータを取り出すことができる。ＣＡＳコンピュータ１０４は、レコーダ１１２により、典型的には連続的なフレームまたは停止フレーム（ストップフレーム）を記録するために、及び、スイッチャ１１６を介して１つ以上のディスプレイ１１４に表示するために、種々のカメラ１０２の出力をマルチプレクサ１１０に提供する。（別のコンピュータ１１８や、たとえば、ジョイスティック１２０などのユーザ入力によって提供される）追加のユーザインターフェースを使用して、オペレータが、スイッチャ１１６を制御して、見る画像を選択し、及び、ＣＡＳコンピュータ１０４を含むシステム１００の他の部分を制御できるようにすることが可能である。マルチプレクサ１１０及び／またはスイッチャ１１６は、特定のタイプの活動状態（アクティビティ）が自動的に検出されたときに発生する外部アラーム（たとえば、モーションセンサによって生成されたアラーム）に応答して、ビデオを適宜記録しまたは表示することができる。特定のＡＯＩが変化したときなどのように、ビデオストリームにおいて活動状態が検出されたことに基づいて、ＣＡＳコンピュータ１０４によってこれらのアラームを生成することもできる。

例示的なＣＡＳコンピュータ１０４システムは、既存のセキュリティインフラストラクチャ（セキュリティシステム）にシームレスに統合化する。例示的な実施形態のＣＡＳシステム１００は、たとえば、ＵＳＢ、ファイヤーワイヤー（Fire Wire）、または、有線または無線ネットワーク上のＩＰカメラなどの最近のデジタルビデオソースに加えて、従来のアナログビデオソースと互換性がある。ＣＡＳコンピュータ１０４は、いくつかの実施形態では、入力信号の受動性のリピータとして機能することができ、これによって、ＣＡＳコンピュータ１０４が故障した場合には、セキュリティインフラストラクチャの残りの部分が機能し続けることができる。

ビデオカメラ１０２が典型的にはＣＡＳシステム１００の主要なセンサであるが、ＣＡＳシステムは、モーションデテクタ（動き検出器）、煙検出器、液体流出検出器、マイクロホン、売り場での（POS）記録、電子商品監視（EAS）システム、及び、アクセス制御システムなどの、他の一般的に使用されているセンサを利用することもできる。例示的なＣＡＳシステム１００は、これらのセンサからの情報をビデオ分析結果と組み合わせて、外界における活動状態のより良質な説明を提供する。たとえば、POS情報をビデオ画像とともに使用して、顧客が特定の製品を購入したことを確認することができる。

図２は、例示的なＣＡＳコンピュータ１０４の高レベルのブロック図である。説明の便宜上、コンピュータのコンポーネントは、２つの主要な部類である、シングルビュー処理ブロック２０２（SVS）とマルチビュー処理ブロック２０４（MVP）にグループ分けされている。各画像入力ソースはSVP２０２に取り付けられている。画像入力ソースは、カメラ１０２並びに、たとえばコンピュータディスク、VHSテープ及びデジタルビデオテープを含む種々の記憶装置を備える。データ分析に関しては、ビデオ記憶装置によって出力された画像データは、カメラによって生成された画像データと等価である。各SVP２０２は、典型的には、単一のビデオストリームだけを要求するビデオ処理タスクを実行する。SVP２０２の出力は、一度に複数のビデオストリームを処理するMVP２０４に接続される。実施形態に依存して、処理モジュールは、MVP２０４、または、１つ以上のSVP２０２と１つ以上のMVP２０４の組合せを備える。ＣＡＳコンピュータは、また、入力画像データを受信して記憶するためのメモリモジュール（不図示）を備える。メモリモジュールは、処理モジュールの一部であってもよいが、処理モジュールとは別個のものであってもよい。

シングルビュー処理コンポーネント２０２、及び、マルチビュー処理コンポーネント２０４は、典型的には、あるシーンを表す一連のビデオフレームとしてデータを分析する。１実施形態では、画像データは、カメラからのものが直接分析される。別の実施形態では、分析された画像データは、記憶装置にもともとあったものとすることができる。いくつかのカメラ及びビデオ記憶装置は、フレーム毎に画像データを生成して記録する。データベースなどの他の記録システムは、ビデオフレームの更新、すなわち、シーンの検出された変化を記録することができるだけである。画像データの分析を実行するために、ＣＡＳコンピュータ１０４は、種々の装置に種々のフォーマットで記録されうる記録された画像データからビデオフレームを組み立てる。

図３には、いわゆる単純なバックグランド除去法がフローチャートの形態で示されている。この方法を使用して、第１の事例において、ピクセルが背景ピクセルであるか、前景ピクセルであるかに分類することができる。

処理はステップ３０２で開始し、このステップで、背景フレームが初期化される。背景の初期化は、たとえば、ＡＯＩを含む少なくとも１つのフレームを記録することによって行うことができる。いくつかの実施形態では、これには、各ピクセルの輝度、色または特徴を記録することを含めることができる。背景フレームが初期化されると、このフレームと次のフレームとがステップ３０４で比較される。もちろん、すべてのフレームを分析せずに、たとえば、ｎ番目のフレーム毎に背景フレームと比較するように、この処理を使用することができる。いくつかの実施形態では、現在のフレームと背景との差分による比較には、現在のフレームと背景フレームとの対応するピクセルの各々を比較するステップを含めることができる。以下の説明では、フレーム全体を分析するものとするが、フレームの一部分のみを分析すればよいことは容易に理解されよう。したがって、そのような状況において適切に実行するべくこの処理を変更することは容易に可能であろう。ともかく、この比較結果は、対応するピクセル間の「ピクセルレベル」の差を表す。次に、判定ステップ３０６において、全てのピクセルが閾値と比較されたか否かが判定される（すなわち、フレーム全体または画像領域を、背景フレームまたはそれの一部と比較し終わったか、または、分析し終わったかが判定される）。フレーム全体または画像領域の分析が完了していない場合には、判定ブロック３０８で、各ピクセル間の差がその閾値より大きいか否かがが判定される。その差が閾値より大きくない場合には、ステップ３１０で、その特定のピクセルを背景に組み込むことができる。ピクセルを背景に組み込むことによって、現在のシーンの状態を反映するように背景を絶えず更新することが可能になる。背景へのピクセルの組み込みは、たとえば、新しく分類された背景ピクセルを既存の背景画像とともに（またはそれにより）平均化することによって、または、当該技術分野における既知の他の方法で行うことができる。しかしながら、差が閾値より大きい場合は、ピクセルは前景ピクセルとして分類され、背景には組み込まれない。

ここで判定ブロック３０６に戻り、全てのピクセルが閾値と比較されている場合には、この方法は、ステップ３１２で、新しいフレームまたは画像領域を取得し、現在のフレーム／画像領域と背景フレームとの差を計算する処理が繰り返される。しかしながら、この一般的な処理は、閾値より大きい差を有する全てのピクセルが前景ピクセルとみなされる点でいくつかの欠点を有しうる。前景ピクセルをサーチして、変化がいつ生じたかを判定することは、あまりに多くの誤った肯定的結果を生じてしまう。たとえば、システムは、壁に掛けられた特別に高価な１つの芸術作品が取り外されたかどうかをモニタすることができる。この芸術作品は、それが静止したままの状態であるために、または、それが、もとの背景フレームの一部であるために、背景とみなされる。もちろん、そのような芸術作品の前を人々が歩き、それによって、その芸術作品に対するカメラの視界が遮られる場合がある。図３の方法では、この芸術作品の前に人が突然現れると、その芸術作品は前景になった（すなわち、その芸術作品が置かれている場所のいくつかのピクセルが大きく変化した）と判定される可能性がある。しかしながら、その人が歩き去ると、背景は通常の状態に戻るが、システムは、既に、その芸術作品が消えた（すなわち、それらのピクセルが前景になった）と判定しているだろう。したがって、いつＡＯＩの前景が変化したかを探すサーチ法は、芸術作品の前を人が歩くたびに、誤った肯定的結果を返すであろう。

図４は、図３と似ているが、ステップ４０２を追加したことにより、図３で開示した単純なバックグランド除去法に関して上述したいくつかの問題を軽減することができる。

具体的には、ステップ４０２は、前景ピクセルをさらに分類するものである。現在のピクセルと背景ピクセルとの差が閾値より大きいか否かを単に判定して、あるフレームまたは画像領域における変化が前景にあるか背景にあるかを決定するのではなく、処理ステップ４０２は前景ピクセルをさらに分類する。具体的には、（従来のバックグランド除去法を使用して）ピクセルが前景または背景として分類された後、それらのピクセルは、より高度の処理ステップ４０２に渡されて、その前景ピクセルが「対象とされている」もの（すなわち、関心のあるもの）であるか否かが判定される。

図４の破線のボックス４０１は、図３に示す全てのステップを含んでいる。この破線のボックス４０１（これは一般的なバックグランド除去ブロックと呼ばれるべきものである）は、第１のフレームと背景フレームを比較して、フレームのどの部分が前景であり、どの部分が背景であるかを判定するための処理と考えることができる。図示のように、バックグランド除去ブロック４０１は、図３に示す全てのステップを含んでいる。しかしながら、フレームまたは画像領域を前景物と背景に分類することが可能な任意のバックグランド除去法または他の方法でもよいことが理解されよう。さらに、次のフレームを取得するステップ３１２は、前景物と背景の差を判定するためには必要ではないことも理解されよう。このステップは、図３の処理の進行を単に維持するだけである。したがって、ブロック３１２は、図４に示すように、ブロック４０１には含まれていない。フレームが、前景物と背景に分離されると、それらの前景物は、ステップ４０２でさらに分類される。以下でより詳細に説明するように、この分類処理は、前景ピクセルとして分類されたあるピクセルグループが「対象とされている」ものであるか否かを判定することができる。ピクセルグループが対象とされているものであるとみなされると、これらのグループは背景に組み込まれない。後述するように、物体が背景に組み込まれるとき、その事象を記録して、後でサーチすることができる。いくつかの実施形態では、背景更新の記録を使用して、アラームまたは他の通知をトリガすることもできる。

図５は、図４に示す前景物分類ステップ４０２をさらに詳細に示すものである。このステップへの入力は、上述したように前に実行されたバックグランド除去処理の結果である。具体的には、この入力は、前景ピクセルとみなされたピクセルを含む。ステップ５０２で、前景ピクセルは、近傍の前景ピクセルに結合されて整合性のあるグループを形成する。前景ピクセルをそのような整合性のあるグループに結合する方法は、当該技術分野において周知である。もちろん、ピクセルを整合性のあるグループに結合することは必ずしも必要ではないが、そのような結合は、必要とされる計算を低減しうる。そこで、図５の残りの部分では、前景ピクセルが結合されていることが想定されているが、このことは例示に過ぎない。

次のステップの５０４では、全てのグループが分類されたか否かが判定される。もちろん、１つのグループだけが存在するか、または、ユーザが、１つのグループだけを分類することを望んでいる場合には、このステップを省くことができる（分類については後述する）。グループが生成された（ステップ５０２）後に、処理すべきグループが依然として存在する（オプションのステップ５０４）と、ステップ５０６で、第１のグループが選択され、追跡され、分類される。もちろん、１つのグループしかない場合には、ステップ５０６において選択する必要はない。

ステップ５０６で実行されるグループの追跡及び分類は、多くの異なるやり方で実施することができるが、いずれも当該技術分野において既知である。

１実施形態では、ステップ５０６においてあるピクセルのグループについて実施される分類を、静的分類と動的分類という２つの異なるタイプとすることができる。より詳細に後述するように、これら２つのタイプの分類の結果として、あるピクセルのグループが「対象としている」ものであるか否かが判定される。この場合、対象とされていないピクセルのグループは、背景フレームまたは背景画像領域に組み込まれ、これによって、背景を、高レベルの分類ルーチンによって対象とされていないとみなされた大きな変化に適応させることができる。対象とされているピクセルのグループを、さらなる処理のために、他の処理段階に渡すことができる。

静的分類とは、単一の非常に短い時間から（すなわち、ビデオの１フレームから）のピクセルのグループについて作用する分類手順を指す。このタイプの分類は、たとえば、サイズ、色、テクスチャ、または形状といったピクセルグループの瞬間的な特性を使用して、ピクセルのグループが対象とされているものであるか否かを判定する。たとえば、ピクセルのあるグループが非常に小さい場合（たとえば、ビデオノイズの場合）や、非常に大きい場合（たとえば、不慮にカメラが動いた場合）は、そのピクセルのグループは対象とされているものではないとみなすことができる。分類のために使用される特定の特性及び閾値は、システムが動作している特定の環境に依存して変わりうることを理解されたい。このことは、動的分類についても当てはまる。

動的分類とは、ある時間期間にわたってピクセルグループを検査して分類を行う分類規則を指す。このタイプの分類を実行するために、ある種のピクセルグループ追跡処理が必要となりうる。従来技術において多くの追跡アルゴリズムが存在するが、いずれも利用可能である。すなわち、必要なことは、ある時間期間にわたってピクセルグループの対応関係をとることだけである。

動的分類特性の例には、速度、加速度、サイズの変化、面積（または領域）の変化、色の変化、動きがないこと（または動きがなくなったこと）、または、なんらかの時間依存性を含む任意の特性が含まれる。これらの特性及び他の特性を、ピクセルグループが対象とされているものであるか否かを判定するために後で使用される前景ピクセルの所定の特徴とみなすことができる。たとえば、システムは、ピクセルグループが、ある時間期間（たとえば、２秒）において移動していない場合、または、その外見が変わっていない場合に、そのピクセルグループは対象とされているものではないと判定することができる。

対象とされているものであるか、対象とされていないものであるかの区別を行うための１つの手段は、マルチパス分類モデルを利用することである。上述したように、任意の分類装置を本発明で使用することができる。特に有効な分類装置は後述のように動作することができる。この分類装置は、ノイズの多いピクセル及び他のアーティファクトまたは外部変数（または外的変化）を除去するために使用される第１パス分類装置を備える。第２パス分類装置は、追跡装置の出力と相互に関連して使用される。この相互作用には、空間的なもの、時間的なもの、画像の特徴、及び、追跡システムからの動き出力のうちの任意の組合せが含まれるが、それらに限定されるものではない。物体のこの分類をフレーム毎に適用することができる。より詳しくは、第１パス分類装置は、明らかにノイズまたは断片とわかる画像内のピクセルグループをフィルタリングして除去するために使用され、したがって、それらのピクセルグループが対象とされているものではないと判定する。これは、基本的には、従来のノイズ分類装置によるアプローチに類似している。この場合、分類装置は、追跡装置を利用して、各ビデオフレームについて、残りの全てのピクセルグループとある物体との照合結果を生成する。第２パス分類装置は、追跡装置からのデータを調べて、それを他のフレームからのデータと比較する。追跡された物体の特徴が、その特定の物体の状態履歴とともに分析される。いくつかの実施形態では、分類装置は、所与の物体（今やピクセルグループと相互に関連付けられている）がどのようにして生成されたかについてのアクティブな記憶を維持することができる。その特定の物体が、これまで追跡装置または他のカメラで観察されていた場合には、それの全ての履歴が記憶されている。ある物体が新たなものである場合には、それについての知識はほとんどなく、したがって、分類装置が行う決定は、数フレームにわたって追跡されている物体についてのものよりも正しい確率が低いであろう。いくつかの実施形態では、ピクセルグループの種々の所定の特徴が分類処理において役立ちうる。この例には、たとえば、動き情報（物体が動いたか、及び、そうであれば、どれくらいの速さで動いたか？）、グループ分け情報、及び、出現（または外観）／シグネチャ（または署名）情報を含めることができる。

ここで、図５を参照すると、ステップ５０８で、後で使用するために分類の結果を記録することができる。しかしながら、いくつかの実施形態では、このステップは不要であって省くことができる。記録の後（但し、記録が実施された場合）、次のステップ５１０で、そのグループが対象とされているものか否かが判定される。上述のように、対象とされているグループは、とどまっている物体、または、画面から消えた移動物体などを表すピクセルであるとみなすことができる。グループが対象とされているものでなければ、ステップ５１２において、それは、背景に組み込まれる。背景へのグループの組み込みは、背景フレームまたは背景画像領域に存在する古いピクセルの上にその新しいピクセルを複写することによって簡単に実施することができる。これらのタイプの変化は大きなものになる傾向があるので、それらの差を平均化することは影響を小さくするのに役立つ。追跡情報及び分類情報と同じように、ステップ５１２において、後で参照するために、ピクセルのグループが背景に組み込まれたという事実もまた記録することができる。背景へのピクセルの組み込みは、フレームが変化した（たとえば、物品が盗まれた）フレームを表し、この場合、そのフレームの変化は、たとえば、ＡＯＩの前を歩いている人によって生じた動きに起因するものではない。

グループが対象とされているものであると判定されたか（ステップ５１６）、または、グループが、背景に組み込まれたか（ステップ５１２）に関係なく、制御は、判定ステップ５０４に戻り、全てのグループが分類されるまでこの処理を続行する。全てのグループが分類されると、制御は、たとえば、ステップ３１２（図３）に戻る。

以上の開示は、背景の更新を行うことが可能な特定の方法を詳述するものである。上述したように、背景が更新されたときにアラームまたは他のイベントをトリガ（起動）することが有益である場合がある。しかしながら、所定の動作がＡＯＩ内でいつ起こったかを判定するために記録されたビデオをサーチすることがさらに必要になる場合がある。このサーチの１つの方法を以下で説明する。

図６は、ＡＯＩ内の変化をサーチするために使用することができるサーチ処理の高レベルのフローチャートである。処理は、ステップ６０２から開始し、そこで、サーチする必要があるＡＯＩが存在するか否かが判定される。存在すれば、サーチすべきＡＯＩの１つをステップ６０４で選択することができる。図６に示すサーチ法は、ステップ６０２で示されるように全てのＡＯＩがサーチされるまで続行することができる。このサーチは、背景が更新された事象を探すものであることに留意されたい。背景が更新されたという事実は、前景として最初に分類されたあるものが対象とされているものではない（すなわち、おそらく、人が視界を遮った場合ではない）と判定されたことを示している。ステップ６０４で、まだ処理されていないＡＯＩが選択される。次に、このサーチは、ステップ６０６で、ＡＯＩの背景に組み込まれた（図５のステップ５１２）ピクセルグループの各々を比較する。組み込まれたピクセルグループの指定された一部分がＡＯＩ内部にある場合（たとえば、１００％は、そのグループ全体がＡＯＩ内部にあることを意味する）には、ステップ６１０で、そのピクセルグループは、肯定的なサーチ結果として返されることになる。

グループが組み込まれたフレームは、サーチ結果として返されるべき最も関連するフレームに対応しない場合がある。なぜなら、いくつかの動的な分類装置は、決定をなすのに時間がかかる場合があるからである。記録された追跡情報が利用可能であれば、オプションのステップ６０８で、これを使用して、より関連する位置に「後戻り（バックトラック）」することができる。たとえば、物体がフレーム１００においてＡＯＩ中に現れて、フレーム１１０において背景に組み込まれる場合は、サーチ結果は、可能であればフレーム１００を返すべきである。

そのようなサーチは、（生のビデオではない）前もって記録されたビデオの場合にも有用である。背景更新情報は、たとえば、データベースに記録されているので、アーカイブ（保管）されているビデオを再処理する必要はない。記録されている最小限の情報は、位置と、物体が背景モデルに組み込まれた時間だけである。ＡＯＩが、記録されたビデオに関して定義されているときには、記録された背景更新事象（背景更新の発生箇所）をスキャンする（調べる）ことによって肯定的なサーチ結果を見つけることができる。

当業者には、本発明の思想または本質的な特徴から逸脱することなく、他の特定の形態で本発明を具現化できることが理解されよう。たとえば、上記説明は、ソフトウエアで実施可能な方法について焦点を合わせたものである。もちろん、これらの方法を、ハードウエア、ファームウエア、ソフトウエア、または、それらの任意の組合せで実施することが可能である。したがって、上記実施形態は、本発明を限定するものではなく、全ての点で例示とみなされるべきであり、本発明の範囲は、上記説明したものだけに限定されるものではない。

本発明の１側面を利用する、例示的なコンピュータ支援監視（ＣＡＳ）システムの全体を示すブロック図である。 本発明の１実施形態に従う例示的なＣＡＳコンピュータの高レベルのブロック図である。 １つの可能性のあるバックグランド除去処理の詳細なフローチャートである。 修正されたバックグランド除去処理を示すフローチャートである。 図４に示すフローチャートの１つの部分を展開したフローチャートである。 本発明の１側面による、利用可能な１つのサーチ方法を示すフローチャートである。

Claims (17)

1. 画像領域に含まれる関心領域内でいつ変化が生じたかを判定するコンピュータ処理による方法であって、
   第１のフレームの少なくとも一部分の背景画像領域を初期化するステップと、
   第２のフレームからの第１の画像領域を前記背景画像領域と比較して、ピクセルを前景ピクセルまたは背景ピクセルとして分類するステップと、
   所定の特徴に基づいて前景ピクセルを分類するステップと、
   前記所定の特徴を具現化していない少なくとも１つの前景ピクセルを含むように前記背景画像領域を更新するステップ
   を含む、方法。
2. 前記背景画像領域がいつ更新されたかを記録するステップをさらに含む、請求項１の方法。
3. 前記記録するステップが、前記第２のフレームの位置をデータベースに保存するステップを含む、請求項２の方法。
4. 記録されたビデオをサーチして、前記背景画像がいつ更新されたかを判定するステップをさらに含む、請求項２の方法。
5. 前記サーチするステップは、関心領域の全てが処理されたか否かを判定するステップを含む、請求項４の方法。
6. 背景を更新する前記ステップが、前記少なくとも１つのピクセルを前記背景に組み込むステップを含み、前記サーチするステップが、前記関心領域内にある背景を更新する前記ステップにおいて前記背景に組み込まれたピクセル数を判定するステップを含むことからなる、請求項４の方法。
7. 前記関心領域内の背景を更新する前記ステップにおいて前記背景に組み込まれたピクセル数をある閾値と比較し、その閾値を超えているか否かを判定するステップをさらに含む、請求項６の方法。
8. 前記閾値を超えている場合に肯定的サーチ結果を返すステップをさらに含む、請求項７の方法。
9. 前記背景に組み込まれたピクセルが最初に前景ピクセルとして分類されたところのフレームまで後戻りするステップをさらに含む、請求項７の方法。
10. 前記分類するステップは、静的な特性に基づいて前記前景ピクセルを分類するステップを含む、請求項１の方法。
11. 前記静的な特性は、色、サイズ、テクスチャ、または形状のうちの少なくとも１つである、請求項１０の方法。
12. 前記分類するステップは、動的特性に基づいて前記前景ピクセルを分類するステップを含む、請求項１の方法。
13. 前記動的特性は、速度、加速度、サイズの変化、領域の変化、色の変化、動きがないことのうちの少なくとも１つである、請求項１２の方法。
14. 背景画像を更新する前記ステップは、前記所定の特徴を具現化していない前記少なくとも１つの前景ピクセルを前記背景画像に組み込むステップを含む、請求項１の方法。
15. 前記組み込むステップは、前記少なくとも１つの前景ピクセルを前記背景画像上に上書きするステップを含む、請求項１４の方法。
16. ビデオ情報をサーチして関心領域において変化がいつ生じたかを判定するコンピュータ処理による方法であって、
    前景ピクセルを第１のタイプと第２のタイプに分類するステップと、
    前記第１のタイプの前景ピクセルを背景画像に組み込むステップと、
    前記第１のタイプの前景ピクセルが前記背景に組み込まれたときに、背景更新の発生として、データベースに記録するステップと、
    背景更新の発生について前記データベースをサーチするステップ
    を含む、方法。
17. ピクセルを前景ピクセルまたは背景ピクセルとして分類するステップをさらに含む、請求項１６の方法。

Images