JP2019067369A - 画像処理装置および方法並びに監視システム - Google Patents

Abstract

【課題】動画のある画像において背景が動きを含む場合や、低い確度のグラフ分割アルゴリズムを用いて前景検出に用いる場合であっても、前景の誤検出を効果的に取り除き、前景検出の確度を高めることができる画像処理装置および方法並びに監視システムを提供する。【解決手段】画像処理装置において、入力された動画からの現在画像と背景モデルとを取得するよう構成され、背景モデルが背景画像と視覚要素の前景／背景分類情報とを含む取得部と、現在画像の視覚要素と背景モデルの視覚要素との間の第１類似度を決定するよう構成された類似度決定部と、現在画像、背景モデルの背景画像と第１類似度にしたがって、現在画像の視覚要素を前景または背景として分類するよう構成された分類部とを備える。背景モデルの視覚要素は、その分類情報が背景であり、現在画像の視覚要素の対応部分に隣接する視覚要素から構成する。【選択図】図２

Description

本発明は画像処理に関し、特に例えば前景検出および監視に関する。

画像処理において、ある側面では、画像（例えば、動画のなかのひとつの画像）は一般に、その画像の外観に寄与する視覚的特性であるところの視覚要素からなる。ここで、例えば、ひとつの視覚要素はひとつのピクセルであってもよく、ピクセルのグループを表す離散コサイン変換（ＤＣＴ）ブロックであってもよく、または同様の属性（例えば、同様のテクスチャ、同様の色、同様の輝度）を備えるピクセルのグループを表すスーパーピクセルであってもよい。他の側面では、特に前景検出において、一般に既存の背景差分技術を用いることで、動画の現在画像の視覚要素を「前景」または「背景」として分類することができ、これは現在画像より前の所定の持続期間内の動画の画像に基づいて得られる背景画像と比較することで行われる。ここで、「前景」は、動画に撮られたシーンに表れる一時的なオブジェクトを指す。そのような一時的なオブジェクトは、例えば、移動する人や移動する車を含んでもよい。シーンの残りの部分は「背景」とされる。

しかしながら、ある状況では、前景の誤検出が生じる。例えば、ある状況では、水面の波や風に揺れる葉は実際は背景であるが、背景画像の対応する視覚要素と比べることにより現在画像中のそのような水面の波や葉の視覚要素がある変化を有する場合には、前景として誤検出されるであろう。例えば、他の状況では、低い確度のグラフ分割アルゴリズムを用いてスーパーピクセル（すなわち、視覚要素）を得る場合、現在画像から得られる視覚要素が現在画像の前の画像から得られた対応する視覚要素と定値を維持することができない場合があり、したがって、背景画像の対応する視覚要素と比べることにより現在画像の視覚要素がある変化を有するであろう。これはまた、前景の誤検出を生じさせるであろう。

したがって、上述の前景の誤検出をできる限り取り除くために、「Moving Objects Detection and Segmentation Based on Background Subtraction and Image Over-Segmentation」（Yun-fang Zhu, <Journal of Software> VOL 6, NO 7, ７月, 2011）に例示的な技術が開示されている。現在画像のひとつの視覚要素について、この例示的な技術は、当該視覚要素の背景信頼度にしたがって、当該視覚要素を前景または背景として検出する。より具体的には、当該視覚要素の背景信頼度がしきい値より大きい場合、当該視覚要素は背景として検出されるであろう。ここで、当該視覚要素の背景信頼度は、第１の数と第２の数との比である。第１の数は、現在画像中の視覚要素のうち、当該視覚要素に隣接し、かつ、当該視覚要素と同じ色を有する視覚要素の数を表す。第２の数は、現在画像中の視覚要素のうち、当該視覚要素に隣接し、かつ、前景として検出された視覚要素の数を表す。

しかしながら、検出対象のある視覚要素に隣接する視覚要素のグループが前景として誤検出された場合、上述の第１の数および上述の第２の数の両方が大きくなり、これは、検出対象の当該視覚要素の背景信頼度を小さくし、しきい値よりも小さくするであろう。したがって、上述の前景の誤検出をできる限り取り除くことはできず、前景検出をできる限り改善することができない。

したがって、従来技術の説明の上記記載に照らし、本開示は、上述の課題のうちの少なくともひとつを解決することを目的とする。

本発明のある態様によると、以下を備える画像処理装置が提供される。入力された動画からの現在画像と背景モデルとを取得するよう構成された取得部であって、前記背景モデルが背景画像と視覚要素の分類情報とを含み、前記視覚要素の前記分類情報が前景および背景を含む、取得部と、現在画像の視覚要素と背景モデルの視覚要素との間の第１類似度を決定するよう構成された類似度決定部と、前記現在画像と、前記背景モデルの前記背景画像と、前記類似度決定部によって決定された前記第１類似度と、にしたがって、前記現在画像の前記視覚要素を前記前景または前記背景として分類するよう構成された分類部と、前記背景モデルの前記視覚要素がその分類情報が前記背景である前記視覚要素であり、前記背景モデルの前記視覚要素が前記現在画像の当該視覚要素の前記対応部分に隣接する前記視覚要素である。

前記背景モデルの前記背景画像が前記現在画像の少なくともひとつの以前の画像にしたがって取得される。前記背景モデルの前記視覚要素の前記分類情報が、前記現在画像の少なくともひとつの以前の画像における前記前景または前記背景として分類された前記視覚要素にしたがって取得される。

本発明を利用すると、前景検出の確度を高めることができる。

本発明のさらなる特徴および利点は、図面を参照した以下の説明から明らかになるであろう。

添付の図面は本明細書に組み入れられ本明細書の一部を形成する。添付の図面は本発明の実施の形態を説明し、詳細な説明と共に本発明の原理を説明する役割を有する。
本発明の実施の形態に係る技術を実装可能なハードウエア構成を模式的に示すブロック図である。 本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図３Ａから３Ｈは、現在画像の前の画像の視覚要素の前景／背景分類結果と、本発明に係る背景モデルの視覚要素の前景／背景分類情報と、を模式的に示す。 図３Ａから３Ｈは、現在画像の前の画像の視覚要素の前景／背景分類結果と、本発明に係る背景モデルの視覚要素の前景／背景分類情報と、を模式的に示す。 図３Ａから３Ｈは、現在画像の前の画像の視覚要素の前景／背景分類結果と、本発明に係る背景モデルの視覚要素の前景／背景分類情報と、を模式的に示す。 図３Ａから３Ｈは、現在画像の前の画像の視覚要素の前景／背景分類結果と、本発明に係る背景モデルの視覚要素の前景／背景分類情報と、を模式的に示す。 図３Ａから３Ｈは、現在画像の前の画像の視覚要素の前景／背景分類結果と、本発明に係る背景モデルの視覚要素の前景／背景分類情報と、を模式的に示す。 図３Ａから３Ｈは、現在画像の前の画像の視覚要素の前景／背景分類結果と、本発明に係る背景モデルの視覚要素の前景／背景分類情報と、を模式的に示す。 図３Ａから３Ｈは、現在画像の前の画像の視覚要素の前景／背景分類結果と、本発明に係る背景モデルの視覚要素の前景／背景分類情報と、を模式的に示す。 図３Ａから３Ｈは、現在画像の前の画像の視覚要素の前景／背景分類結果と、本発明に係る背景モデルの視覚要素の前景／背景分類情報と、を模式的に示す。 本発明の実施の形態に係る画像処理のフローチャートを模式的に示す。 図５Ａから５Ｂは、現在画像と、本発明に係る背景モデルの視覚要素の前景／背景分類情報と、を模式的に示す。 図５Ａから５Ｂは、現在画像と、本発明に係る背景モデルの視覚要素の前景／背景分類情報と、を模式的に示す。 本発明に係る図２に示される分類部２３０のサブユニットを模式的に示す。 本発明に係る図４に示されるステップＳ４３０のフローチャートを模式的に示す。 本発明に係る例示的な監視器の構成を示す。

本発明の例示的な実施の形態が、以下に、図面を参照して詳述されるであろう。以下の記載は単に説明のためのものであって例示的なものであり、本発明、その応用および利用を限定することを意図するものでは決してない。実施の形態における部材およびステップの相対的な配置構成や数式や数値は、そうでないと特記されていない限り、本発明の範囲を限定しない。加えて、当業者に知られている技術、方法およびデバイスは詳述されず、それらは適宜、本明細書の一部であることが意図されている。

図面において、同様の参照番号および文字は同様のアイテムを指し、したがって、ある図面においてあるアイテムが定義されると、以降の図面でそれを議論する必要はない。

一般に、動画で撮られたシーンにおいて、現実のオブジェクト（すなわち、前景）が動画に突然現われたり消えたりすることはあり得ない。すなわち、現実のオブジェクトは動画内に動線（moving trajectory）を有するであろう。したがって、動画の現在画像内のある視覚要素が背景である場合、一般に、当該視覚要素の対応部分に隣接する、現在画像の少なくともひとつ前の画像内の視覚要素もまた背景であろう。したがって、本発明者らは、前景検出において、動画の現在画像内のある視覚要素について、現在画像の前の画像において背景として分類された視覚要素であって現在画像の前の画像内の当該視覚要素の対応部分に隣接する視覚要素、を当該視覚要素を前景または背景として分類するための判定基準と見なしうることを見出した。

したがって、本発明において、動画の現在画像内のある視覚要素について、当該視覚要素と前の画像における対応する視覚要素との間の差分（すなわち、変化）を除いて、当該視覚要素と、前の画像において背景として分類された視覚要素であって前の画像において当該視覚要素の対応部分に隣接する視覚要素と、の間の類似性をも考慮に入れるであろう。例えば、当該視覚要素が、前の画像において背景として分類された視覚要素であって前の画像において当該視覚要素の対応部分に隣接する視覚要素と似ている、例えばこれらの視覚要素のテクスチャ／色／輝度が似ている、場合、当該視覚要素が背景である蓋然性は高い。

したがって、本発明によると、動画のある画像において背景が動き（例えば、水面の波や風に揺れる葉）を含む場合であっても、また、低い確度のグラフ分割アルゴリズムを用いて前景検出に用いる視覚要素を取得する場合であっても、以前の処理で取得された前景／背景分類結果を後の処理の基準として用いるので、前景の誤検出を効果的に取り除くことができる。したがって、前景検出の確度を高めることができる。

（ハードウエア構成）
まず、図１を参照して、以下に説明される技術を実装可能なハードウエア構成を説明する。

ハードウエア構成１００は、例えば、中央演算ユニット（ＣＰＵ）１１０と、ランダムアクセスメモリ（ＲＡＭ）１２０と、リードオンリメモリ（ＲＯＭ）１３０と、ハードディスク１４０と、入力デバイス１５０と、出力デバイス１６０と、ネットワークインタフェース１７０と、システムバス１８０と、を備える。さらに、ある実施の形態では、ハードウエア構成１００は、タブレットコンピュータやラップトップやデスクトップや他の適切な電子デバイスなどのコンピュータによって実装されうる。他の実装では、ハードウエア構成１００は、デジタルカメラやビデオカメラやネットワークカメラや他の適切な電子デバイスなどの監視器によって実装されうる。ここで、ハードウエア構成１００が監視器によって実装される場合、ハードウエア構成１００はさらに例えば光学システム１９０を含む。

ある実装では、本発明に係る画像処理はハードウエアまたはファームウエアによって構成され、ハードウエア構成１００のモジュールや部材として機能する。例えば、図２を参照して以下に詳述されるであろう画像処理装置２００は、ハードウエア構成１００のモジュールまたは部材として機能する。他の実装では、本発明に係る画像処理は、ＲＯＭ１３０またはハードディスク１４０に保持され、ＣＰＵ１１０によって実行されるソフトウエアによって構成される。例えば、図４を参照して以下に詳述されるであろう手順４００は、ＲＯＭ１３０またはハードディスク１４０に保持されるプログラムとして機能する。

ＣＰＵ１１０は任意の適切なプログラム可能制御デバイス（例えば、プロセッサ）であり、ＲＯＭ１３０やハードディスク１４０（例えば、メモリ）に保持される各種アプリケーションプログラムを実行することにより、後述されるような各種機能を実行することができる。ＲＡＭ１２０はプログラムやＲＯＭ１３０またはハードディスク１４０からロードされたデータを一時的に保持するために用いられ、また、ＣＰＵ１１０が各種手順、例えば図４を参照して以下に詳述されるであろう技術の実行、や他の利用可能な機能を実行するときのスペースとして用いられる。ハードディスク１４０は、オペレーティングシステム（ＯＳ）、種々のアプリケーション、制御プログラム、動画や動画の各画像の処理結果および／または所定のデータ（例えば、しきい値（ＴＨ））などの多くの種類の情報を保持する。

ある実装では、入力デバイス１５０は、ユーザがハードウエア構成１００とやりとりすることを可能とするために用いられる。ある例では、ユーザは入力デバイス１５０を通じて画像／動画／データを入力することができる。他の例では、ユーザは入力デバイス１５０を通じて本発明の対応する処理をトリガすることができる。さらに、入力デバイス１５０は、ボタンやキーパッドやタッチスクリーンなど、様々な形態をとることができる。別の実装では、入力デバイス１５０は、デジタルカメラ、ビデオカメラおよび／またはネットワークカメラなどの専用電子デバイスから出力された画像／動画を受けるために用いられる。加えて、ハードウエア構成１００が監視器によって実装される場合、ハードウエア構成１００の光学システム１９０は監視場所の画像／動画を直接取得するであろう。

ある実装では、出力デバイス１６０は、ユーザに処理結果（例えば、前景）を表示するために用いられる。また、出力デバイス１６０は、陰極線管（ＣＲＴ）や液晶ディスプレイなど、様々な形態をとることができる。別の実装では、出力デバイス１６０は、ユーザに警告を与えるか否かなどの監視解析などの後続の処理へと処理結果を出力するために用いられる。

ネットワークインタフェース１７０は、ハードウエア構成１００をネットワークに接続するためのインタフェースを提供する。例えば、ハードウエア構成１００は、ネットワークインタフェース１７０を介して、ネットワークを介して接続された他の電子デバイスとのデータ通信を行うことができる。あるいはまた、ハードウエア構成１００が無線データ通信を行えるように、無線インタフェースを設けてもよい。システムバス１８０は、ＣＰＵ１１０、ＲＡＭ１２０、ＲＯＭ１３０、ハードディスク１４０、入力デバイス１５０、出力デバイス１６０、およびネットワークインタフェース１７０等へとまたはそれらからまたはそれらの間でデータを互いに移送するためのデータ移送経路を提供してもよい。バスと称されるが、システムバス１８０はある特定のデータ移送技術に限定されるわけではない。

上述のハードウエア構成１００は単なる例であって、本発明やそのアプリケーションやその利用を限定する意図は全くない。また、簡単化のため、図１にはただひとつのハードウエア構成が示される。しかしながら、複数のハードウエア構成を必要に応じて用いてもよい。

（画像処理）
次に、図２から図７を参照して、本発明に係る画像処理を説明する。

図２は、本発明の実施の形態に係る画像処理装置２００の構成を示すブロック図である。ここで、図２に示されるブロックの全てまたはいくつかは、専用ハードウエアによって実装されてもよい。図２に示されるように、画像処理装置２００は取得部２１０と類似度決定部２２０と分類部２３０とを備える。

加えて、図２に示されるストレージデバイス２４０は、動画と、動画の各画像についての処理結果（すなわち、視覚要素の前景／背景分類結果）と、を保持する。例えば、図１に示されるように、動画はユーザによって入力され、または専用電子デバイス（例えば、カメラ）から出力され、または光学システムによって取得される。あるいはまた、動画および処理結果は、異なるストレージデバイスに保持されうる。ある実装では、ストレージデバイス２４０は、図１に示されるＲＯＭ１３０またはハードディスク１４０である。別の実装では、ストレージデバイス２４０は、ネットワーク（不図示）を介して画像処理装置２００と接続されているサーバまたは外部ストレージデバイスである。

まず、ある実装では、例えば、図１に示されるハードウエア構成１００がコンピュータによって実装される場合、入力デバイス１５０は専用電子デバイス（例えば、カメラ）から出力されたかまたはユーザによって入力された動画を受ける。次に、入力デバイス１５０は、システムバス１８０を介して、受信した動画を画像処理装置２００に移送する。別の実装では、例えば、ハードウエア構成１００が監視器によって実装される場合、画像処理装置２００は光学システム１９０によって取得された動画を直接受ける。

そして、図２に示されるように、ある態様では、取得部２１０は受信した動画（すなわち、入力された動画）から現在画像を取得する。例えば、現在画像はｔ番目の画像であり、ここで、ｔは自然数であって２≦ｔ≦Ｔであり、Ｔは入力された動画の画像の総数である。他の態様では、取得部２１０はストレージデバイス２４０から背景モデルを取得する。ここで、背景モデルは、背景画像と、視覚要素の分類情報と、を有する。ここで、視覚要素の分類情報は、前景および背景を備える。以後、「視覚要素の分類情報」は「視覚要素の前景／背景分類情報」とみなされる。

背景モデルの背景画像がｔ番目の現在画像の少なくともひとつの以前の画像にしたがって取得される。すなわち、背景画像は、ｔ番目の画像より前の所定の持続期間内の動画の少なくともひとつの画像にしたがって得られ、所定の持続期間は限定されず、実験統計および／または経験に基づいて設定される。ある例では、背景画像はｔ番目の画像の前の画像の平均画像である。他の例では、背景画像はｔ番目の画像の前の画像のうちのいずれかである。他の例では、背景画像は、例えばガウシアンモデルに基づいて各ピクセルについて生成されたモデルにしたがって適時取得される。しかしながら、それに限定される必要はないことは容易に分かるであろう。

背景モデルの視覚要素の前景／背景分類情報が、ｔ番目の画像の少なくともひとつの以前の画像において前景または背景として分類された視覚要素にしたがって取得される。ある例では、ｔ番目の画像の以前の画像内の視覚要素の前景／背景分類結果を平均することによって、視覚要素の前景／背景分類情報が得られる。他の例では、視覚要素の前景／背景分類情報は、ｔ番目の画像の以前の画像のうちのいずれかの視覚要素の前景／背景分類結果である。他の例では、視覚要素の前景／背景分類情報は、例えばガウシアンモデルに基づいて各視覚要素について生成されたモデルにしたがって適時取得される。しかしながら、それに限定される必要はないことは容易に分かるであろう。

例えば、視覚要素はスーパーピクセルであるとする。また、背景モデルの視覚要素の前景／背景分類情報はｔ番目の画像の前三つの画像における視覚要素の前景／背景分類結果にしたがって得られるとする。ここで、ｔ番目の画像の前三つの画像は、例えば、図３Ａに示される（ｔ−３）番目の画像と、図３Ｂに示される（ｔ−２）番目の画像と、図３Ｃに示される（ｔ−１）番目の画像と、である。図３Ａから図３Ｃに示される画像内のひとつのブロックはひとつの視覚要素を表し、各ブロック内の「Ｂ」や「Ｆ」は、この視覚要素が「背景」や「前景」に分類されることを表し、したがって、平均化動作が実行された場合、背景モデルの視覚要素の得られる前景／背景分類情報は例えば図３Ｄに示される。同様に、例えば、視覚要素がＤＣＴブロックである場合、図３Ｅから図３Ｇはｔ番目の画像の前三つの画像を示し、図３Ｈは、平均化動作が実行された場合の、背景モデルの視覚要素の得られる前景／背景分類情報を示す。加えて、視覚要素がピクセルである場合、背景モデルの視覚要素の前景／背景分類情報は同じように得られうる。

加えて、ｔ番目の画像の前の画像のうちのひとつが背景モデルにおける背景画像として選択あれた場合、かつ、ｔ番目の画像の前の画像のうちのひとつの視覚要素の前景／背景分類結果が背景モデルにおける視覚要素の前景／背景分類情報として選択された場合、これら二つの前の画像は同じ画像であるか、または異なる画像でありうる。

図２に戻ると、取得部２１０がｔ番目の画像および背景モデルを取得した後、類似度決定部２２０は第１類似度を決定し、第１類似度は、ｔ番目の画像の視覚要素と背景モデルの視覚要素との間の類似度である。背景モデルの視覚要素がその分類情報が背景である視覚要素であり、背景モデルの視覚要素がｔ番目の画像の視覚要素の対応部分に隣接する視覚要素である。ｔ番目の画像の視覚要素のうちのいずれかについて、当該視覚要素の対応部分が、背景モデルにおけるその位置がｔ番目の画像における当該視覚要素の位置と同じである部分である。ｔ番目の画像の視覚要素のうちのいずれかについて、当該視覚要素に対応する第１類似度が大きいほど、当該視覚要素が背景である蓋然性は高い。

そして、分類部２３０は、現在画像と、背景モデルの背景画像と、決定された第１類似度と、にしたがって、ｔ番目の画像の視覚要素を前景または背景として分類する。

最後に、ｔ番目の画像の視覚要素が分類部２３０によって分類された後、ある態様では、分類部２３０は、ｔ番目の画像の視覚要素の前景／背景分類結果をストレージデバイス２４０へと移送する。その結果、ストレージデバイス２４０に保持される対応する情報が更新され、次の画像（例えば、（ｔ＋１）番目の画像）のために用いられるであろう背景モデルは更新された情報にしたがって取得されうる。別の態様では、分類部２３０は、ｔ番目の画像の視覚要素の前景／背景分類結果を、図１に示される出力デバイス１６０へ、システムバス１８０を介して、移送する。これは、ｔ番目の画像の前景をユーザに表示するため、または、t番目の画像の前景を監視分析などの後続の処理に出力するためである。

加えて、一般に、前景検出において黙認的に、入力された動画の１番目の画像の視覚要素が背景とみなされるであろう。

図４に示されるフローチャート４００は、図２に示される画像処理装置２００の対応する手順である。

図４に示されるように、取得ステップＳ４１０において、取得部２１０は入力動画からｔ番目の画像を取得し、かつ、ストレージデバイス２４０から背景画像と、視覚要素の前景／背景分類情報と、を含む背景モデルを取得する。ここで、２≦ｔ≦Ｔである。

類似度決定ステップＳ４２０において、類似度決定部２２０はｔ番目の画像の視覚要素に対応する第１類似度を決定する。

例えば、図５Ａに示されるｔ番目の画像をとり、図５Ｂに示される背景モデルにおける視覚要素の前景／背景分類情報をとり、視覚要素がスーパーピクセルであり、ｔ番目の画像の視覚要素５１０をとると、類似度決定部２２０は、以下のように、視覚要素５１０に対応する第１類似度を決定する。ｔ番目の画像の視覚要素５１０について、例えば、視覚要素５１０の対応部分は図５Ｂに示される視覚要素５２０であり、その分類情報が背景モデルの背景である視覚要素であって、背景モデルの視覚要素５２０に隣接する視覚要素は、図５Ｂに示される視覚要素５３０−５８０である。

したがって、まず、視覚要素５３０−５８０のそれぞれについて、例えば視覚要素５３０をとると、類似度決定部２２０は、視覚要素５１０と視覚要素５３０との間の類似度を、これら二つの視覚要素の特性値にしたがって、決定する。例えば、これら二つの視覚要素の特性値の間の差の絶対値が対応する類似度として扱われる。それに限定される必要はないことは容易に分かるであろう。ある画像のある視覚要素の特性値は、この画像の当該視覚要素のチャネル特徴にしたがって決定されうる。例えば、画像がＹＣｂＣｒ色空間のものである場合、ある視覚要素は、Ｙ（輝度）チャネル特徴と、Ｃｂ（青）チャネル特徴と、Ｃｒ（赤）チャネル特徴と、を含む。画像がＲＧＢ色空間のものである場合、ある視覚要素は、赤チャネル特徴と、緑チャネル特徴と、青チャネル特徴と、を含む。したがって、視覚要素５１０の特性値はｔ番目の画像のチャネル特徴にしたがって決定される。視覚要素５３０の特性値はｔ番目の画像の前の画像の視覚要素の特性値にしたがって決定され、前の画像におけるこれらの視覚要素の位置は視覚要素５３０の位置と同じであり、これらの視覚要素の前景／背景分類結果は視覚要素５３０の前景／背景分類情報を決定するために用いられる。

そして、類似度決定部２２０が視覚要素５１０と視覚要素５３０との間の類似度（例えば、Ｓｉｍ１と見なされる）、視覚要素５１０と視覚要素５４０との間の類似度（例えば、Ｓｉｍ２と見なされる）、…、視覚要素５１０と視覚要素５８０との間の類似度（例えば、Ｓｉｍ６と見なされる）を決定した後、類似度決定部２２０は視覚要素５１０に対応する第１類似度を、決定された類似度（すなわち、Ｓｉｍ１、Ｓｉｍ２、…、Ｓｉｍ６）にしたがって決定する。ある例では、Ｓｉｍ１からＳｉｍ６の平均値を、視覚要素５１０に対応する第１類似度として決定する。別の例では、Ｓｉｍ１からＳｉｍ６のうち値が最大である類似度を、視覚要素５１０に対応する第１類似度として決定する。しかしながら、それに限定される必要はないことは容易に分かるであろう。

図４に戻り、分類ステップＳ４３０において、分類部２３０は、ｔ番目の画像と、背景モデルの背景画像と、ステップＳ４２０で決定された第１類似度と、にしたがって、ｔ番目の画像の視覚要素を前景または背景として分類する。ある実装では、分類部２３０は、ステップＳ４２０で決定された第１類似度にしたがい調整された第２類似度にしたがって、ｔ番目の画像の視覚要素を前景または背景として分類する。第２類似度は、ｔ番目の画像の視覚要素と背景画像の対応する視覚要素との間の類似度である。以下、ｔ番目の画像の視覚要素と背景画像の対応する視覚要素との間の類似度（すなわち、第２類似度）は、「ｔ番目の画像の視覚要素と背景画像の対応する視覚要素との間の視覚距離」と見なされる。ｔ番目の画像の視覚要素のいずれかについて、対応する視覚距離が大きいほど、当該視覚要素と背景画像の対応する視覚要素との間に含まれる差（すなわち、変化）がより多くなる、すなわち、当該視覚要素が前景である蓋然性がより高い。

より具体的には、分類部２３０は、図６および図７を参照して、ｔ番目の画像の視覚要素を前景または背景として分類する。ある態様では、図６に示されるように、分類部２３０は計算部２３１と調整部２３２と決定部２３３とを備える。他の態様では、図７に示されるように、図６に示される対応するユニットは、以下の対応する動作を実行する。

ステップＳ４３１では、ｔ番目の画像の視覚要素のそれぞれについて、計算部２３１は、当該視覚要素と背景画像の対応する視覚要素との間の視覚距離を算出する。対応する視覚要素は、背景モデルにおけるその位置がｔ番目の画像における当該視覚要素の位置と同じである視覚要素である。ある実装では、当該視覚要素と背景画像の対応する視覚要素との間の視覚距離は、これら二つの視覚要素の特性値にしたがって算出される。例えば、これら二つの視覚要素の特性値の間の差の絶対値が対応する視覚距離として扱われる。しかしながら、それに限定される必要はないことは容易に分かるであろう。

ステップＳ４３２において、調整部２３２は、図４に示される類似度決定ステップＳ４２０で決定された第１類似度にしたがって、Ｓ４３１で算出された視覚距離を調整する。

ある実装では、ｔ番目の画像の視覚要素のそれぞれは処理部分と見なされてもよい。したがって、ｔ番目の画像の視覚要素のそれぞれについて、調整部２３２は、所定の第１しきい値（例えば、ＴＨ１）と、類似度決定ステップＳ４２０において決定された当該視覚要素に対応する第１類似度と、にしたがって、ステップＳ４３１において算出された対応する視覚距離を調整する。上述の通り、ｔ番目の画像の視覚要素のうちのいずれかについて、当該視覚要素に対応する第１類似度が大きいほど、当該視覚要素が背景である蓋然性は高い。また、ｔ番目の画像の視覚要素のうちのいずれかについて、対応する視覚距離が大きいほど、当該視覚要素が前景である蓋然性は高い。したがって、例えば、当該視覚要素に対応する第１類似度がＴＨ１よりも大きく、したがって当該視覚要素が背景である蓋然性が高いことを意味する場合、調整部２３２は、ある値を減算することにより、または、［０、１］の間の係数を乗算することにより、または、対応する視覚距離を直接０に設定することにより、対応する視覚距離を減じる。言い換えると、ｔ番目の画像の視覚要素のそれぞれについて、調整部２３２は以下のように対応する視覚距離を調整する。

別の実装では、確度を高めるために、ｔ番目の画像の視覚要素のグループのそれぞれは処理部分と見なされてもよい。ｔ番目の画像内のグループは、ユーザによる設定や視覚要素をクラスタ化することによる決定など任意の態様で決定されうる。したがって、ｔ番目の画像内のグループのそれぞれの視覚要素について、調整部２３２は、所定の第２しきい値（例えば、ＴＨ２）と、当該グループの可能度と、にしたがって、ステップＳ４３１において算出された対応する視覚距離を調整する。当該グループに対する可能度は、当該グループの視覚要素を背景として分類する蓋然性を表す。例えば、ｔ番目の画像内のあるグループをとると、調整部２３２は以下のように対応する視覚距離を調整する。

まず、当該グループの視覚要素のそれぞれについて、調整部２３２は、当該視覚要素の可能度を、類似度決定ステップＳ４２０において決定された当該視覚要素に対応する第１類似度にしたがって、例えばガウス分布やベイジアン分布を用いることにより、決定する。当該視覚要素に対する可能度は、当該視覚要素を背景として分類する蓋然性を表す。

次いで、調整部２３２は、当該グループに対する可能度を、当該グループ内の視覚要素に対する可能度にしたがって、数値計算を用いることで、決定する。例えば、当該グループに対する可能度は、当該グループ内の視覚要素に対する可能度の積である。

そして、当該グループに対する可能度が大きいほど、当該グループ内の視覚要素が背景である蓋然性は高い。したがって、例えば、当該グループに対する可能度がＴＨ２よりも大きく、したがって当該グループ内の視覚要素が背景である蓋然性が高いことを意味する場合、当該グループ内の視覚要素のそれぞれについて、調整部２３２は、ある値を減算することにより、または、［０、１］の間の係数を乗算することにより、または、対応する視覚距離を直接０に設定することにより、ステップＳ４３１において算出された対応する視覚距離を減じる。言い換えると、当該グループの視覚要素のそれぞれについて、調整部２３２は以下のように対応する視覚距離を調整する。

図７に戻り、ステップＳ４３３において、決定部２３３は、所定のしきい値（例えば、ＴＨ３）と、ステップＳ４３２から得られた調整された視覚距離と、にしたがって、ｔ番目の画像の視覚要素を前景または背景として決定する。例えば、ｔ番目の画像のある視覚要素をとると、ステップＳ４３２において調整された対応する視覚距離がＴＨ３よりも大きい場合、決定部２３３は当該視覚要素を前景として決定する。そうでなければ、当該視覚要素は背景として決定されるであろう。

図４に戻り、ｔ番目の画像の視覚要素が分類ステップＳ４３０において分類部２３０によって分類された後、ある態様では、分類部２３０はｔ番目の画像の視覚要素の前景／背景分類結果を、図２に示されるストレージデバイス２４０へ、または図１に示される出力デバイス１６０へ、移送する。別の態様では、ステップＳ４４０において、画像処理装置２００は入力された動画内の画像の全てが処理されたか否かを判定する。すなわち、ｔがＴより大きいか否かが判定される。そうでなければ、ステップＳ４５０において、画像処理装置２００はt=t+１と設定し、上述のステップＳ４１０−Ｓ４４０を繰り返す。そうでなければ、図４に示される手順は終了する。

本発明によると、以前の処理で取得された前景／背景分類結果を後の処理の基準として用いるので、前景の誤検出を効果的に取り除くことができる。したがって、前景検出の確度を高めることができる。

（監視システム）
上述の通り、本発明はコンピュータ（例えば、タブレットコンピュータ、ラップトップまたはデスクトップ）によって実装されてもよいし、監視器（例えば、デジタルカメラ、ビデオカメラまたはネットワークカメラ）によって実装されてもよい。例えば本発明がネットワークカメラによって実装されたとすると、ネットワークカメラが本発明の対応する処理をトリガした後、ネットワークカメラは、ユーザに警告を与えるか否かなどの監視解析などの後続の処理へと対応処理結果（すなわち、前景）を出力することができる。したがって、本発明の例示的アプリケーションとして、図８を参照して次に、例示的な監視器（例えば、ネットワークカメラ）が説明される。図８は、本発明に係る例示的な監視器８００の構成を示す。図８に示されるように、監視器８００は、光学システム８１０と、上述の画像処理装置２００と、を備える。

加えて、図８に示されるストレージデバイス８２０は、撮られた動画と、撮られた動画の各画像についての処理結果（すなわち、視覚要素の前景／背景分類結果）と、を保持する。ある実装では、ストレージデバイス８２０は、監視器８００の内部ストレージデバイスである。別の実装では、ストレージデバイス８２０は、ネットワーク（不図示）を介して監視器８００と接続されているサーバまたは外部ストレージデバイスである。

図８に示されるように、まず、光学システム８１０は監視場所（例えば、駐車禁止エリア）の動画を連続的に取得し、撮られた動画をストレージデバイス８２０に格納する。

そして、画像処理装置２００は、図２から図７を参照して、撮られた動画の画像における視覚要素を前景または背景として分類し、視覚要素の前景／背景分類結果をストレージデバイス８２０に格納する。

例えば、監視器８００が検出された前景をプロセッサに出力し、該プロセッサが監視解析を実行するために用いられる場合、監視場所が駐車禁止エリアであり、予め設定された警告ルールが駐車禁止エリアに車や他のオブジェクトが駐車された場合にユーザに警告するものであるとすると、駐車禁止エリアは背景であり、駐車禁止エリアに現われる車または他のオブジェクトは前景である。したがって、監視器８００は、駐車禁止エリアの動画を連続的に取得し、図８を参照して撮られた動画に対して前景検出を実行する。そして、車が検出されると、監視器８００は、その車をプロセッサに出力し、その結果プロセッサはユーザに警告を与えることができる。上述の通り、駐車禁止エリアに木があり、葉が所定の周期で風に揺れる場合、監視器８００は揺れる葉を前景として誤検出することはないであろう。したがって、プロセッサはユーザに誤った警告を与えることはないであろう。

上述のユニットの全ては本開示で説明される処理を実装するための例示および／または好適なモジュールである。これらのユニットは、ハードウエアユニット（フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ、特定用途向け集積回路など）および／またはソフトウエアモジュール（コンピュータ可読プログラムなど）であってもよい。上では網羅的に種々のステップを実装するためのユニットを説明したわけではない。しかしながら、所定の処理を実行するステップがある場合には、同じ処理を実装するための対応する機能モジュールまたはユニット（ハードウエアおよび／またはソフトウエアにより実装される）が存在してもよい。説明されたステップの組み合わせおよびこれらのステップに対応するユニットは、それらを構成要素とする技術的解が完全で適用可能である限り、本発明の開示に含まれる。

本発明の方法および装置はいろいろなやり方で実施可能である。例えば、本発明の方法および装置は、ソフトウエア、ハードウエア、ファームウエア、またはそれらの任意の組み合わせを通じて実施可能である。方法のステップの上述の順番は単に説明を意図したものであって、本発明の方法のステップは、そうでないと特記されていない限り、上述の特定の順番に限定されない。加えて、ある実施の形態では、本発明はまた、本発明に係る方法を実装するための機械可読インストラクションを含む、記録媒体に記録されたプログラムとして実現されてもよい。したがって、本発明はまた、本発明に係る方法を実装するためのプログラムを保持する記録媒体をカバーする。

本発明の特定の実施の形態が例と共に詳述されたが、上述の例は単に説明を意図したものであって、本発明の範囲を限定するものではないことは、当業者に理解されるべきである。本発明の範囲および精神から逸脱することなく、上述の実施の形態を変形できることは、当業者に理解されるべきである。本発明の範囲は添付の請求項によって定義される。

Claims (12)

1. 入力された動画からの現在画像と背景モデルとを取得するよう構成された取得部であって、前記背景モデルが背景画像と視覚要素の分類情報とを含み、前記視覚要素の前記分類情報が前景および背景を含む、取得部と、
   前記現在画像の視覚要素と前記背景モデルの前記視覚要素との間の第１類似度を決定するよう構成された類似度決定部であって、前記背景モデルの前記視覚要素がその分類情報が前記背景である前記視覚要素であり、前記背景モデルの前記視覚要素が前記現在画像の前記視覚要素の対応部分に隣接する前記視覚要素である、類似度決定部と、
   前記現在画像と、前記背景モデルの前記背景画像と、前記類似度決定部によって決定された前記第１類似度と、にしたがって、前記現在画像の前記視覚要素を前記前景または前記背景として分類するよう構成された分類部と、を備える画像処理装置。
2. 前記背景モデルの前記背景画像が前記現在画像の少なくともひとつの以前の画像にしたがって取得され、
   前記背景モデルの前記視覚要素の前記分類情報が、前記現在画像の少なくともひとつの以前の画像における前記前景または前記背景として分類された前記視覚要素にしたがって取得される請求項１に記載の画像処理装置。
3. 前記現在画像の前記視覚要素のうちのいずれかについて、前記類似度決定部が、当該視覚要素と前記背景モデルの前記視覚要素の一部との間の類似度を決定することによって、当該視覚要素に対応する前記第１類似度を決定し、
   前記背景モデルの前記視覚要素の前記一部がその分類情報が前記背景である前記視覚要素であり、前記背景モデルの前記視覚要素の前記一部が前記現在画像の当該視覚要素の前記対応部分に隣接する前記視覚要素である請求項１に記載の画像処理装置。
4. 前記現在画像の前記視覚要素のうちのいずれかについて、当該視覚要素の前記対応部分が、前記背景モデルにおけるその位置が前記現在画像における当該視覚要素の位置と同じである部分である請求項３に記載の画像処理装置。
5. 前記分類部が、前記類似度決定部によって決定された前記第１類似度にしたがって調整された第２類似度にしたがって、前記現在画像の前記視覚要素を前記前景または前記背景として分類し、
   前記第２類似度が、前記現在画像の前記視覚要素と前記背景画像の対応する視覚要素との間の類似度である請求項１に記載の画像処理装置。
6. 前記分類部は、
   前記現在画像の前記視覚要素のそれぞれについて、当該視覚要素に対応する前記第２類似度を算出するよう構成された計算部と、
   前記類似度決定部によって決定された前記第１類似度にしたがって、前記計算部によって算出された前記第２類似度を調整するよう構成された調整部と、
   前記調整部によって調整された前記第２類似度にしたがって、前記現在画像の前記視覚要素を前記前景または前記背景として決定するよう構成された決定部と、を含む請求項５に記載の画像処理装置。
7. 前記現在画像の前記視覚要素のそれぞれについて、前記調整部が、所定の第１しきい値と、前記類似度決定部によって決定された当該視覚要素に対応する前記第１類似度と、にしたがって、前記計算部によって算出された当該視覚要素に対応する前記第２類似度を調整する請求項６に記載の画像処理装置。
8. 前記現在画像内の各グループ内の前記視覚要素について、前記調整部が、所定の第２しきい値と、このグループについての可能度と、にしたがって、前記計算部によって算出された当該グループの前記視覚要素に対応する前記第２類似度を調整し、
   当該グループに対する前記可能度は、当該グループの前記視覚要素を前記背景として分類する蓋然性を表す請求項６に記載の画像処理装置。
9. 前記現在画像内の各グループ内の前記視覚要素について、当該グループに対する前記可能度が当該グループの前記視覚要素の可能度にしたがって決定され、
   当該グループの前記視覚要素のそれぞれについて、当該視覚要素の前記可能度が前記類似度決定部によって決定された当該視覚要素に対応する前記第１類似度にしたがって決定される請求項８に記載の画像処理装置。
10. 入力された動画からの現在画像と背景モデルとを取得する取得ステップであって、前記背景モデルが背景画像と視覚要素の分類情報とを含み、前記視覚要素の前記分類情報が前景および背景を含む、取得ステップと、
    前記現在画像の視覚要素と前記背景モデルの前記視覚要素との間の第１類似度を決定する類似度決定ステップであって、前記背景モデルの前記視覚要素がその分類情報が前記背景である前記視覚要素であり、前記背景モデルの前記視覚要素が前記現在画像の前記視覚要素の対応部分に隣接する前記視覚要素である、類似度決定ステップと、
    前記現在画像と、前記背景モデルの前記背景画像と、前記類似度決定ステップによって決定された前記第１類似度と、にしたがって、前記現在画像の前記視覚要素を前記前景または前記背景として分類する分類ステップと、を含む画像処理方法。
11. 前記分類ステップにおいて、前記類似度決定ステップによって決定された前記第１類似度によって調整された第２類似度にしたがって、前記現在画像の前記視覚要素が前記前景または前記背景として分類され、
    前記第２類似度が、前記現在画像の前記視覚要素と前記背景画像の対応する視覚要素との間の類似度である請求項１０に記載の画像処理方法。
12. 動画を取得するよう構成された取得デバイスと、
    請求項１から９のいずれか一項に記載の画像処理装置であって、取得された前記動画の画像の視覚要素を前景または背景として分類するよう構成された画像処理装置と、
    取得された前記動画と、前記画像処理装置によって決定された処理結果と、を保持するよう構成されたストレージデバイスと、備える監視システム。

Images