JP2018010621A - 画像の背景差分に用いられる背景モデルを更新する方法及び装置 - Google Patents

Abstract

【課題】画像の背景差分に用いられる背景モデルを更新する際の時間計算量を改善する。【解決手段】画像２２０と背景モデル２４０を用いた背景差分により、画像中の領域２２６を前景に分類する。背景モデルは、画像中の各画素２２８についての背景サンプル２４８ａ、２４８ｂ、２４８ｃ、２４８ｄのコレクションを含む。背景サンプルのコレクションは、背景画像２４２ａ、２４２ｂ、２４２ｃ、２４２ｄのリスト状に並べられている。更に、前景に分類された画像の領域２２６内の画像内容を、リスト内の背景画像中の対応する領域２４６の画像内容で置き換え、リスト内の背景画像のうちの１つをそれぞれ指しているポインタ２４４ａ、２４４ｂ、２４４ｃ、２４４ｄのコレクションを、ポインタのうちの１つが当該画像を指すように並べ替えることにより、当該画像を背景画像のリストに加える。【選択図】図２

Description

本発明は、画像の背景差分の分野に関する。具体的には、画像の背景差分に用いる背景モデルの更新に関する。

ビデオでの監視においては、ビデオシーケンスで捕捉したシーン中で動くオブジェクトを検出できることが重要である。ビデオでの動き検出ツールは数多く存在する。ビデオストリーム中の特徴を追うことでオブジェクトをフレームごとに追跡するものもある。現在のフレームを画素ごとに、静止した背景フレームと比較するものもある。後者は、有意な変化が生じた区域を検出することで動くオブジェクトを抽出しようとする、背景差分によるものである。静止しているオブジェクトが背景の一部であるのに対し、動いているオブジェクトは前景と称される。

動いているオブジェクトを背景から分離することは複雑な課題である。背景が動的である場合、例えば揺れている樹や水の波が背景に存在する場合、又は光が変化している場合には更に難しくなる。特に、背景が動的であることによって、動くオブジェクトが誤って検出されることが多くなり得る。

教本「Background Modeling and Foreground Detection for Video Surveillance」(Thierry Bouwmans、Fatih Porikli、Benjamin Hoferlin、Antoine Vacavant編)、CRC Press, Taylor & Francis Group, Boca Raton,２０１５年刊には、背景差分法のレビューが記載されている（例えば第１章及び第７章を参照）。

背景差分法は一般に、ビデオストリームの現在のフレームを、動くオブジェクトを含まない参照の背景フレーム又はモデルと比較することを含む。画像を背景フレーム又はモデルと比較することにより、画像中の各画素が前景に属するか背景に属するかが決定され得る。この方式で、画像が、２つの相補的な画素の組、すなわち前景と背景に区分され得る。

背景差分は、土台となる背景モデルと、経時的に変化する背景に適応する更新のストラテジーの定義を要する。当該文献では多数の背景モデルが提案されている。これにはパラメトリックモデルと非パラメトリックモデルが含まれている。

パラメトリックなモデルの一例は、ガウス分布によって背景を画像中の画素位置でモデリングすることである。これは静止したシーンではうまくいくものの、背景画素がマルチモーダルに分布している場合、例えば背景に揺れる樹が存在する場合には失敗することがある。

マルチモーダルに分布した背景に対処すべく、ガウス分布の混合によって、背景を画像中の画素位置でモデリングすることが提案されている。そのようなモデルはマルチモーダル分布の背景のモデリングには有効であるものの、その他の欠点を有する。例えば、現実世界のノイズに満ちた環境ではパラメータの推定が困難となり得、自然画像がガウス挙動を呈するかどうかが疑問視されている。

これらの欠点により、当該文献では非パラメトリックモデルが考察されている。例えば、過去の画素値の確率密度関数の、非パラメトリックなカーネル密度推定が提案されている。これらのモデルの強みは、背景中の高頻度イベントに、より迅速に適合し得ることである。欠点は、背景中の、異なる速度で進行しているイベントのハンドリングが困難であり得ることである。

別のタイプの非パラメトリックモデルは、サンプルベースのモデルと称される。そのようなモデルでは、各画素の背景が過去の背景サンプルのコレクションを用いてモデリングされる。経時的に変化する背景に適応するために、現在のフレーム中の画素が背景に属すると分類されると過去の背景サンプルのコレクションが更新される。Wang and Suter(「A consensus-based method for tracking: Modelling background scenario and foreground appearance」Pattern Recognition, 40(3),2007)は、過去の背景サンプルのコレクションを、先入れ先出しの原則に従って更新することを提案している。これは、最も旧い背景サンプルがコレクションから取り除かれ、現在のフレームの画素値がコレクションに加えられるように、過去の背景サンプルのコレクションが更新されることを意味する。ＵＳ８００９９１８Ｂ２では、現在のフレームの画素値が、背景サンプルのコレクション中の、ランダムに選択された背景サンプルに置き換わるという代替的な更新手法が記載されている。

これらの背景更新方法の欠点は、メモリ内で実際の背景サンプルを移動することが要求されるということである。例えば、順序づけられたＮ個の背景サンプルコレクションを先入れ先出し原則に則って更新する際、新しい背景サンプルをコレクションのポジション１に書き込む前に、コレクションのサンプル１から（Ｎ−１）を、コレクションのポジション２からＮへと移動することが必要となる。これが、背景に属すると分類されたすべての画素位置について繰り返される必要がある。従って、サンプルベースの背景モデルの更新の時間計算量（ｔｉｍｅ ｃｏｍｐｌｅｘｉｔｙ）を改善する必要がある。

上記に鑑み、本発明は、サンプルベースの背景モデルを更新する際の時間計算量の改善を目的とする。

本発明の第一の態様によれば、上記の目的が、装置で実施される下記の方法によって達成される。画像の背景差分に用いる背景モデルを更新する方法であって、
画像を受け取ること、
当該画像中の各画素についての背景サンプルのコレクションを含む背景モデルを用いた背景差分を実施することによって、当該画像の領域を前景に分類することであって、背景サンプルのコレクションは、当該画像の各画素が、各背景画像において当該画像中の画素位置に対応する画素位置における背景サンプルを有するように、背景画像のリスト状に並べられている、分類すること、
当該画像の、前景に分類された領域内の画像内容を、リスト中の背景画像の対応する領域内の画像内容で置き換えること、及び
リスト内の背景画像のうちの１つをそれぞれ指しているポインタのコレクションを並べ替えることによって、ポインタのうちの１つが当該画像を指すように、当該画像を背景画像のリストに加えること
を含む、方法。

すなわち、提案する方法は、サンプルベースの背景モデルを更新する方法である。時間ｔで新しい画像が受け取られると、時間ｔ−１にビルドされた背景モデルを使用して、新しい画像中の画素を背景又は前景として分類する。その後、背景モデルが新しい画像の背景サンプルで更新される。

背景モデルは背景画像のリストとして並べられている。背景画像は、画像のシーケンス中の新しい画像に先行する画像の背景サンプルを含む。背景画像中の背景サンプルは、必ずしも画像シーケンス中の同じ画像に由来しない。背景画像のリストは更に、ポインタのコレクションに関連付けられており、各ポインタは、リスト中の背景画像のうちの１つを指している。

本発明は、背景モデル即ち背景画像のリストの更新が、上記のようにメモリ内の背景サンプルを移動するのではなく、背景画像へのポインタを並べ替えることでなされれば、計算上の複雑さが低減し得ることが分かったことに端を発したものである。具体的には、ポインタのうちの１つが新しい画像を指すようにポインタを並べ替えることによって、新しい画像のすべての背景サンプルが一工程で背景モデルに加えられ得る。言い換えれば、更新が画素ごとに実施される必要がなく、メモリ内で移動を要する背景サンプルは存在しなくなる。

ポインタが並べ替えられると、新しい画像のすべてのサンプルが背景モデルに加えられる。保守的な（ｃｏｎｓｅｒｖａｔｉｖｅ）更新を保証するために、即ち前景ではないと分類されたサンプルのみが背景モデルに加えられるために、本方法は更に、前景に分類された画素において、画像内容、即ち前景に分類された画素内の輝度（ｉｎｔｅｎｓｉｔｙ）値（可能な場合は幾つかの色チャンネルについて）を置き換えることを提案する。より具体的には、新しい画像中の、前景オブジェクトが存在すると判定された画素位置では、画像内容がリストの背景画像のうちの１つからコピーされる。これにより、保守的更新が求められる場合にも、計算上の複雑さが抑えられる。

背景モデルとは一般に、画像中の背景を画素レベルで表すモデルを意味する。

背景差分とは一般に、画像の、背景モデルとの比較を意味する。画像を背景モデルと比較することにより、画像中の各画素が前景に属するか背景に属するかが決定され得る。

背景サンプルとは一般に、画像のサンプル、即ち、背景に属すると分類された画素中の、観測（ｏｂｓｅｒｖａｔｉｏｎ）又は輝度値（可能ならば幾つかの色チャンネルの）を意味する。

背景画像とは一般に、２次元データ構造に並べられた背景サンプルのコレクションを意味する。背景画像のサイズは、受け取った画像のサイズと同じである。従って、背景画像中の各画素は、受け取った画像中の画素に対応する。背景画像は、画像シーケンス中の先行する画像の背景サンプルを含む。しかし、背景画像中の背景サンプルは、必ずしも画像シーケンス中の同じ画像に由来しない。

背景画像のリストとは一般に、背景画像の順序づけられたコレクションを意味する。

ポインタとは一般に、プログラミング言語オブジェクトを意味し、その値は、コンピュータメモリ内の別のどこかに記憶されている別の値をそのアドレスを用いて参照、即ち指している。従ってポインタはメモリ内の位置を参照する。

背景モデルは、先入れ先出し原則に則って更新され得る。この方式で、最も新しい背景サンプルが典型的にはリストの最初に来て、最も旧い背景サンプルがリストの最後に来るという、リスト内の背景画像の時間的順序が存在する。より詳細には、画像の前景に分類された領域内の画像内容が、リスト内の最後の背景画像中の、対応する領域の画像内容で、置き換えられ得る。更に、当該画像が、背景画像のリストの最初に加えられ得る。これは、背景モデルに加えられるべき画像の前景画素が、リスト内の最後の背景画像からの背景サンプルによって置き換えられ得ることを意味する。

具体的には、リストの最初の背景画像を指しているポインタが当該画像を指し、残りの各ポインタが、ポインタが現在指しているリストの背景画像に先行するリストの背景画像を指すよう、並べ替えられるように、ポインタのコレクションを並べ替えることによって、画像が背景画像のリストの最初に加えられ得る。この方式で、画像がリストの最初に加えられ、ポインタを並べ替えることによって、リストの背景画像がリストの１つ下のレベルに移動される。結果として、リスト内の背景画像の数が一定に保たれるので、リスト内の最後の背景画像が背景モデルから取り除かれる。

最後の背景画像をリストからを取り除く前に、リスト内の最後の背景画像の画像内容が、前景に分類された領域内の新しい画像にコピーされることに留意されたい。この方式で、背景モデルから取り除かれたであろう背景サンプルが再利用される。背景モデル中の複製の背景サンプルの数を最小限に抑える。

前景又は背景に属する画像の画素を分類するために、一般的には画素の輝度値が、当該画素に関連付けられた背景サンプルのコレクションと比較され得る。画素中の輝度値が所定の数の背景サンプルと同様である場合、当該画素は背景に属する可能性がある。そうでない場合、前景に属する可能性がある。より具体的には、画像中の、前景である領域を分類するステップは、画像中の各画素について、当該画素の輝度値を当該画素に関連付けられた各背景サンプルと比較すること、及び、閾値よりも少ないぶんだけ当該画素の輝度値と異なる背景サンプルの数が、所定の数よりも少ない場合に、当該画素が画像中の前景である領域に属することを判定すること、を含む。この方式で、画像中の画素の分類に背景モデルがより効率的に使用され得る。

閾値よりも少ないぶんだけ当該画素の輝度値とは異なる背景サンプルの数は、画素閾値よりも少ないぶんだけ輝度値と異なる背景サンプルの数を、カウントすることにより計算され得る。

しかしながら、所定の数が１に等しい場合、計算上特に効率的な実装形態が存在する。そのような場合、背景サンプルコレクション中に、該画素中の輝度値と同様の（閾値より少ないぶんだけ異なる、と定義される）背景サンプルが存在しない場合、画素は前景に属する。「同様の背景サンプルがない」イベントは、「少なくとも１つでない背景サンプルが同様である（ｎｏｔ ａｔ ｌｅａｓｔ ｏｎｅ ｂａｃｋｇｒｏｕｎｄ ｓａｍｐｌｅ ｉｓ ｓｉｍｉｌａｒ）」イベントに等しい。コレクション中にＮ個の背景サンプルが存在すると仮定する。そして「少なくとも１つの背景サンプルが同様である」イベントは、「（背景サンプル１が同様である）又は（背景サンプル２が同様である、又は、…又は（背景サンプルＮが同様である）」イベントとして表され得る。これは、和集合

として表され得る。結論として、「同様の背景サンプルがない」イベントは「

でない」イベントに等しい。

このため、画素が画像中の前景である領域に属すると判定するステップは、画素に関連付けられた背景サンプルのうちの少なくとも１つが、閾値よりも少ないぶんだけ、当該画素の輝度値と異なるかどうかを、論理和演算を実施することによりチェックし、そうでない場合、閾値よりも少ないぶんだけ当該画素の輝度値と異なる背景サンプルの数が所定の数よりも少ないと判定し、それにより、当該画素が画像中の前景である領域に属すると判定すること、を含み得る。

典型的に、論理演算は、総和及びそれに続く閾値の数との比較よりも処理電力及びメモリ使用の必要が少ないので、これは計算上効率的であろう。

閾値（輝度値が背景サンプルにどの程度似ているかを判定するのに用いる）は、画像中の画素の位置によって変化し得る。具体的には、閾値は、画素の位置における背景が、画像シーケンスにおいて後続する画像間で値が変化する傾向に応じて変化し得る。一般に、値が変化する傾向が高いほど、より高い値の閾値が与えられ得る。このことは、前景分類が、揺れる樹々、水の波などの動的な背景に適合し得る点で有利である。例えば、分類の感度が動的な領域に比べて非動的な領域において向上し得る。

画素の位置における背景サンプルの、画像シーケンスにおいて後続する画像間で輝度値が変化する傾向は、インジケータマップによって与えられ得る。これにより、迅速かつ効率的な実装態様がもたらされる。具体的には、画像が画像シーケンスの部分を形成している場合、閾値は、インジケータマップに基づいて、画像中の各画素について計算され得る。インジケータマップは、画素の位置における背景サンプルの、画像シーケンスにおいて後続する画像間で輝度値が変化する傾向を画像中の各画素について示している。

背景の動態の変化に対応するために、インジケータマップは、現在受け取っている画像と画像シーケンスにおいて先行する画像を考慮して更新されるのが好ましい。インジケータマップは典型的に、現在の及び先行する画像中の、背景に属すると分類された画素についてのみ更新される。具体的には、方法は、下記によってインジケータマップを更新することを含み得る。当該画像中の前景と分類された領域にも、画像シーケンスにおいて先行する画像中の前景と分類された領域にも、属さない画素について、当該画素の位置における、当該画像と先行する画像との差が、所定量よりも大きいかどうかをチェックし、そうである場合には、当該画素についてインジケータマップの値を所定のインクリメント値ぶん増大させること、そうでない場合、当該画素についてインジケータマップの値を、所定のインクリメント値よりも小さい所定のデクリメント値ぶん減少させる。

インクリメント値はデクリメント値よりも大きいので、本方法は、シーン中で例えば風の条件が変わったことに起因し得る背景の新しい動態に素早く応答することが可能となる。同時に、インジケータマップ中に蓄積された値の減少は遅くなるであろう。このことは、動的な背景の運動が再び起こる可能性があるので有利である。

時間枠が異なる背景における動態を捉えるために、本方法は更に、１つよりも多い背景モデルを使用し得る。異なる対象期間（ｔｉｍｅ ｈｏｒｉｚｏｎ）を有する異なる背景モデルがデザインされ得る。例えば、短い対象期間を有する第１の背景モデルと、より長い対象期間を有する第２の背景モデルとが存在してもよい。具体的には、背景モデルが第１の背景モデルであり得、画像の領域を前景に分類するステップは、第１の背景モデルに加えて第２の背景モデルを用いて、背景差分を実施することを含み得、第１の背景モデルにおいては、各画素についての背景サンプルのコレクションが第１の時間間隔からサンプリングされた（即ち、受け取られた）画像に基づいており、第２の背景モデルにおいては、各画素についての背景サンプルのコレクションが第２の時間間隔からサンプリングされた画像に基づいており、第１の時間間隔は第２の時間間隔の部分である。

従って、第２の背景モデルは第１の背景モデルと同じタイプであり、違いは、第２の背景モデルがより長い対象期間を有していることである。ここで、対象期間とは、背景モデル中の背景サンプルが収集される時間間隔によって定められる。例示として、第１の背景モデルは、最後の２秒間でサンプリングされた画像からの背景サンプルを含み得、一方第２の背景モデルは、最後の３０秒間でサンプリングされた画像からの背景サンプルを含み得る。

本方法は、第２の背景モデルを更新することを更に含み得る。従って、第１の背景モデルと第２の背景モデルの両方が更新され得る。好ましくは、背景モデル中の冗長な情報を避けるため、画像シーケンス中の受け取った各画像に対して、背景モデルのうちの１つのみが更新される。より具体的には、画像が画像シーケンスの部分を形成し、本方法が、シーケンス中の各画像について、第１の背景モデル及び第２の背景モデルのうちの一方を更新することを含み、第１の背景モデルは第２の背景モデルよりも高頻度で更新される。第１の背景モデルを第２の背景モデルよりも高頻度で更新することにより、異なる対象期間が達成され得る。

例示として、第１の背景モデルと第２の背景モデルとがそれぞれ１０の背景画像を含み、画像シーケンスの画像が毎秒５回受け取られると仮定する。次いで、第２の背景モデルが１５番目の画像ごとに更新され、受け取った他のすべての画像に対して、第１の背景モデルが更新され得る。このようにして、第１の背景モデルは２秒の対象期間を有し、第２の背景モデルは３０秒の対象期間を有するであろう。

本発明の第２の態様によれば、上記の目的は、処理能力を有するデバイスによって実行されると第１態様の方法を実施するコンピュータコード指令を記憶したコンピュータ可読媒体を備える、コンピュータプログラム製品によって達成される。

本発明の第３の態様によれば、上記の目的は、画像の背景差分に用いる背景モデルを更新する装置によって達成される。装置は、
画像を受け取るように構成された受信器、
当該画像中の各画素についての背景サンプルのコレクションを含む背景モデルを用いて背景差分を実施することによって、当該画像の領域を前景に分類するように構成された、前景分類器であって、背景サンプルのコレクションは、当該画像の各画素が、各背景画像において当該画像中の画素位置に対応する画素位置における背景サンプルを有するように、背景画像のリスト状に並べられている、前景分類器、
前景に分類された、画像の領域内の画像内容を、リスト内の背景画像中の対応する領域の画像内容で置き換えるように構成された、前景置換コンポーネント、及び
リスト内の背景画像のうちの１つをそれぞれ指しているポインタのコレクションを、ポインタのうちの１つが当該画像を指すよう並べ替えることにより、当該画像を背景画像のリストに加えるように構成された、背景更新コンポーネント
を含む。

前景置換コンポーネントは更に、前景に分類された画像の領域内の画像内容を、リスト内の最後の背景画像中の対応する領域の画像内容で置き換えるように構成され得、背景更新コンポーネントは、当該画像を背景画像のリストの最初に加えるように構成され得る。

背景更新コンポーネントは、リストの最初の背景画像を指しているポインタが当該画像を指し、残りの各ポインタが、ポインタが現在指しているリスト内の背景画像に先行する、リスト内の背景画像を指すよう並べ替えられるよう、ポインタのコレクションを並べ替えることにより、当該画像を背景画像のリストの最初に加えるように構成され得る。

第２及び第３の態様は、一般的に、第１態様と同じ特徴及び利点を有し得る。本発明は、別途明記されない限り、起こり得る特徴の組み合わせ全てに関することに更に留意されたい。

本発明の上記及び更なる目的、特徴、利点は、添付図面を参照しつつ、本発明の実施形態の以下の例示的かつ非限定的な詳細説明を通じて、より明確に理解されるであろう。図面では類似要素に対して同じ参照番号が使用されている。

画像の背景差分に用いる背景モデルを更新する装置を含むカメラシステムを概略的に示す。 第１の実施形態による、画像の背景差分に用いる背景モデルを更新するために行われるステップのシーケンスを概略的に示す。 第２の実施形態による、画像の背景差分に用いる背景モデルを更新するために行われるステップのシーケンスを概略的に示す。 第３の実施形態による、画像の背景差分に用いる背景モデルを更新するために行われるステップのシーケンスを概略的に示す。 実施形態による、画像の背景差分に用いる背景モデルを更新する方法のフロー図である。 実施形態による、インジケータマップを更新するのに用いられる現在の画像及び先行する画像を概略的に示す。

これより、本発明の実施形態を示す添付図面を参照して、本発明をより網羅的に説明する。本明細書において開示されるシステム及びデバイスは、動作中のものが説明されることになる。

図１は、カメラ１０２と、カメラ１０２が捕捉した画像の背景差分に用いる背景モデルを更新する装置１１０とを含む、カメラシステム１００を示す。カメラ１０２は例えば、有線又は無線ネットワーク１０４を介して装置１１０に動作可能に接続されている。

カメラ１０２は、シーン１２０の画像シーケンスを捕捉し、捕捉した画像シーケンスを装置１１０に送信するように構成されている。具体的には、カメラ１０２は、例えば、シーン１２０中の動くオブジェクトを追うために用いられ得る監視カメラであり得る。シーン１２０は、種々のオブジェクトを含み得る。例えば、画像シーケンス中で追跡されるべき、ゆえに前景に属する動くオブジェクト１２２（ここでは走行中の人物で示す）が存在し得る。また、背景オブジェクト１２４及び１２６（ここでは樹の枝１２４及び小道１２６で示す）が存在し得る。背景オブジェクトは小道１２６などの静止したものであってもよく、或いは、風が吹くと前後に揺れる枝１２４などの動くものであってもよい。

装置１１０は、受信器１１２、前景分類器１１４、前景置換コンポーネント１１６、及び背景更新コンポーネント１１８を含む。装置１１０の内部コンポーネント１１２、１１４、１１６、及び１１８は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実装されてよい。例えば、装置１１０は、プロセッサと、プロセッサで実行すると本明細書に記載の何れかの方法を実行するソフトウェア指令を記憶し得る非一時的コンピュータ可読媒体（即ち、メモリ）を含み得る。

図１−４、及び図５のフロー図を参照して、装置１１０の動作について記載する。

ステップＳ０２で、受信器１１２が、カメラ１０２から、シーン１２０を示す画像２２０を、例えばネットワーク１０４を介して受け取る。画像２２０ は、カメラ１０２から装置１１０へ送られた画像シーケンスの部分である。画像２２０中、前景オブジェクト１２２と背景オブジェクト１２４，１２６が示されている。

ステップＳ０４で、前景分類器１１４が、各画素２２８を背景又は前景に属するとして分類する。この目的の為、前景分類器１１４は背景モデル２４０を利用する。背景モデルは、複数の背景画像２４２ａ、２４２ｂ、２４２ｃ、２４２ｄを含む。図示のため、４つの背景画像を示してある。しかしながら、典型的には約２０の背景画像が存在する。各背景画像２４２ａ、２４２ｂ、２４２ｃ、２４２ｄは、カメラ１０２から受け取った画像２２０と同じ数の画素を有している。より具体的には、背景画像２４２ａ、２４２ｂ、２４２ｃ、２４２ｄ中の各画素が、画像２２０中の対応する画素の背景サンプルを含む。例えば、背景画像２４２ａの画素２４８ａは、画像２２０の画素２２８に関連付けられた背景サンプルを含む。同様に、背景画像２４２ｂ、２４２ｃ、２４２ｄの画素２４８ｂ、２４８ｃ、２４８ｄそれぞれ、画像２２０の画素２２８に関連付けられた背景サンプルを含む。言い換えれば、画素２４８ａ、２４８ｂ、２４８ｃ、２４８ｄ背景サンプルは、画像２２０の画素２２８についての背景サンプルのコレクションである。

背景画像２４２ａ、２４２ｂ、２４２ｃ、２４２ｄは、リストとして並べられている。このことは、これらの背景画像が背景画像の順序づけられたコレクションであることを意味する。従って、リスト最初の背景画像、この場合背景画像２４２ａと、リスト内の最後の背景画像、この場合背景画像２４２ｄとが存在する。

背景モデルは更に、ポインタ２４４ａ、２４４ｂ、２４４ｃ、２４４ｄのコレクションを含む。ポインタはそれぞれ、リスト内の背景画像２４２ａ、２４２ｂ、２４２ｃ、２４２ｄのうちの１つを指す。ここで、コレクション中の最初のポインタであるポインタ２４４ａは、リスト内の第１の背景画像２４２ａを指す。同様に、コレクション中の２つめのポインタ２４４ｂはリスト内の第２の背景画像２４２ｂを指す、等となる。

画像２２０中の各画素２２８を背景又は前景に分類する際、前景分類器１１４は、例えばWang and Suter(「A consensus-based method for tracking: Modelling background scenario and foreground appearance」. Pattern Recognition, 40(3),2007)に記載のような背景差分を適用し得る。図２の例で、前景分類器１１４は、背景差分を適用することにより、オブジェクト１２２の内側にあたる画素を前景に属するとして分類するであろう。言い換えれば、画像２２０の、前景に分類された領域２２６が存在する。

より詳細には、画像シーケンスの時間ｔにおける画素ｍ中の観測をｘ_ｔ（ｍ）で表し、画素ｍの背景サンプルのコレクションを｛ｘ_ｉ（ｍ）｜ｉ＝１，・・・，Ｎ｝で表す。各観測

は、ｋチャンネル（例えば、ＲＧＢ色空間で、各観測が３つのチャンネルＲ，Ｇ，Ｂで表現される）を有する。前景分類器１１４は、画像２２０中の各画素２２８について、（該当する場合には各チャンネルについて）輝度値を、画素２２８に関連付けられた各背景サンプル２４８ａ、２４８ｂ、２４８ｃ、２４８ｄと比較して、輝度値が各背景サンプルと閾値Ｔ_ｒよりも少ないぶんだけ異なるかどうかを確認し得る。例えば、前景分類器１１４は、下記に従って、画素の輝度値と閾値Ｔ_ｒよりも少ないぶんだけ異なる背景サンプルを値「１」と関連づけ、その他の背景サンプルは値「ゼロ」に関連づけられ得る。

コレクション２４８ａ、２４８ｂ、２４８ｃ、２４８ｄ中の、画素の輝度値とは閾値Ｔ_ｒよりも少ないぶんだけ異なる背景サンプルの数が所定の数Ｔ_Ｎ以上である場合、前景分類器１１４は、当該画素が背景に属すると判定し得る。そうでない場合は前景に属する。

これは、時間ｔにおいて背景画素では値「１」をとり前景画素では「ゼロ」をとるバイナリマスクＢ_ｔを下記に従い計算することによって実施され得る。

別の表現をすると、前景分類器１１４は、コレクション２４８ａ、２４８ｂ、２４８ｃ、２４８ｄ中の、画素２２８の輝度値とは閾値Ｔ_ｒよりも少ないぶんだけ異なる背景サンプルの数をカウントし得る。その数が所定の数Ｔ_Ｎ以上である場合、前景分類器は当該画素が背景に属すると判定し、そうでない場合は前景に属すると判定する。従って、前景分類器が、コレクション２４８ａ、２４８ｂ、２４８ｃ、２４８ｄ中に、画素２２８中の輝度値と（方程式１の意味において）同様の少なくともＴ_Ｎ背景サンプルを見出す場合、画素２２８は背景に属すると分類され、そうでない場合は前景に属すると分類されるであろう。

画素２２８中の輝度値が１つの背景サンプル２４８ａ、２４８ｂ、２４８ｃ、２４８ｄと同様であれば、即ち、Ｔ_Ｎ＝１であれば十分であり得ることが見出された。そのような場合、方程式２が論理和演算を用いて効率的な方式で実施され得る。具体的には、方程式２が下記のように書き換えられ得る。

従って、前景分類器１１４は、論理和演算（即ち、背景サンプル２４８ａ、又は背景サンプル２４８ｂ、又は背景サンプル２４８ｃ、又は背景サンプル２４８ｄが画素２２８の輝度値と閾値Ｔ_ｒよりも少ないぶんだけ異なるか）を実施することにより、画素に関連付けられた背景サンプルのうちの少なくとも１つが、画素の輝度値と閾値よりも少ないぶんだけ異なるかどうかをチェックし得る。そうでない場合、前景分類器１１４は当該画素を前景に属すると分類するであろう。この方式で、論理演算が必要とする処理電力及びメモリ使用はより少ないので、計算上の複雑さが節減され得る。

閾値Ｔ_ｒは画像２２０中のすべての画素について同じであってもよい。しかしながら、ある実施形態では画像中の画素の位置により閾値Ｔ_ｒが異なっていてもよい。従って、異なる画素は閾値Ｔ_ｒの異なる値を有し得る。更に、閾値Ｔ_ｒが時間とともに変化してもよい。一般に、前景分類器１１４は、画像シーケンス中の連続する画像間で、画素の位置における背景サンプルがどのくらいの頻度で値を変化させる傾向があるかに応じて、閾値Ｔ_ｒを設定し得る。具体的には、閾値Ｔ_ｒは、背景が頻繁に値を変化させる傾向にある画素においては、背景が常に多かれ少なかれ同じである画素に比べて、より大きく設定され得る。この方式で、分類を、背景が頻繁に値を変化させる領域、即ち、例えばシーン中の揺れる枝などに起因する１つのモダリティから別のモダリティへの移行では、感度がより低いように設定できる。

このことは図６で更に例示されている。閾値Ｔ_ｒを設定するために、前景分類器１１４は、画素の蓄積されたモダリティ移行レベルの２次元マップ６００を保持し得る。このマップをインジケータマップと称す。従って、インジケータマップの値は、背景の、画像シーケンス中の後続する画像間で輝度値が変化する傾向を示す。従って、インジケータマップは、背景の動態の指標又は尺度を提供する。インジケータマップの値に応じて、前景分類器１１４は、インジケータマップの値と閾値との間の所定の関係に従って、各画素の閾値Ｔ_ｒを設定し得る。この関係は典型的に、インジケータマップのより大きな値について、インジケータマップのより低い値に比べて、閾値Ｔ_ｒのより大きな値をもたらす。例示として、閾値Ｔ_ｒは、Ｔ_ｒ−Ｔ_Ｃ＋ａｖ（ｍ）に従って選択され得る。式中、Ｔ_Ｃは定数であり、ａは、インジケータマップによってもたらされる、Ｔ_ｒが背景の動態にどの程度影響されるかを調整する係数である。

前景分類器１１４は、シーン中の新しい条件、例えば風の変化という条件に適応するために、インジケータマップ６００を更に更新し得る。具体的には、前景分類器１１４は、画像シーケンス中の現在の画像２２０と先行する画像６２０とに基づいて、インジケータマップ６００を更新し得る。この目的の為、前景分類器１１４は、現在の画像ｘ_ｔ２２０と先行する画像ｘ_ｔ-１６２０との間の差が所定量Ｔ_ｍよりも大きいかどうかをチェックし、大きい場合、そのような画素についてのインジケータマップ６００中の値をインクリメント値ぶん増大させ、そうでない場合、インジケータマップ６００中の値をデクリメント値ぶん減少させ得る。画素ｍ中のインジケータマップの値をｖ（ｍ）で表すと、前景分類器は、インジケータマップ６００を下記ように更新し得る。

典型的に、ｖ_ｉｎｃｒはｖ_ｄｅｃｒよりも大きい。背景中の新しい動的な変化に素早く対応し、背景の動きが発生したばかりである場合はすぐに再度発生する可能性があるので、ゆっくりと減少するためである。

インジケータマップ６００は背景画素についてのみ更新される。具体的には、インジケータマップは、現在の画像ｘ_ｔ２２０及び先行する画像ｘ_ｔ-１６２０中の、背景に属すると分類された画素についてのみ更新される（即ち、現在の画像２２０中の前景領域２２６及び先行する画像６２０の前景領域６２６の外側にあたる画素）。更に、前景分類器１１４は、インジケータマップの更新に背景画素のみが用いられることを保証するために、安全マージンを適用する。より詳細には、前景分類器１１４は、前景と分類された領域２２６，６２６に空間的に近い背景画素を無視し得る。これは例えば、分類結果に対してモルフォロジー演算を適用することにより実施され得る。例えば、前景領域２２６，６２６にモルフォロジーの「膨張（ｄｉｌａｔｅ）」演算を適用することで空間的に成長させ、それにより安全マージンを付加して潜在的な分類エラーを補償する。

次にステップＳ０６で、前景置換コンポーネント１１６が、画像２２０の前景に分類された領域２２６内の画像内容、即ち輝度値を、リスト内の背景画像中の対応する領域２４６の画像内容で置き換える。領域２２６の画素が領域２４６の画素に対応している、即ち、これらの画素が画像中で同じ位置を有しているという点で、領域２４６は領域２２６に対応する。図２の例では、リスト内の最後である背景画像２４２ｄがこの目的のために選択される。しかしながら、背景モデル２４０中の背景画像２４２ａ、２４２ｂ、２４２ｃ、及び２４２のうちの任意の１つが選択されていてもよい。例えば、背景画像がリストからランダムに選択されてもよい。図３及び４の例がそのような場合であり、ランダム選択工程の後に第２の背景画像２４２ｂが選択された。

前景画素の領域２２６中の画像内容を、背景画像中の領域２４６からの画像内容で置き換えることにより、得られた画像２３０は、これらの背景サンプルは同じオリジナル画像からのものでないものの、背景サンプルのみを含む。この方式で、背景モデル２４０の更新に背景サンプルのみが用いられる。
前景置換コンポーネント１１６は、背景モデルの更新に背景画素のみが用いられることを保証するために、安全マージンを適用し得る。より詳細には、前景置換コンポーネント１１６もまた、前景と分類された領域２２６に空間的に近い画像２２０中の画素の画像内容を置き換え得る。これは例えば、画像内容を置き換える前に分類結果に対してモルフォロジー演算を適用することによって実施され得る。例えば、前景領域２２６にモルフォロジーの「膨張（ｄｉｌａｔｅ）」演算を適用することで空間的に成長させ、それにより安全マージンを付加して潜在的な分類エラーを補償する。

次いで、装置１１０はステップＳ０８に進む。背景更新コンポーネント１１８が背景モデル２４０を更新する。より具体的には、背景更新コンポーネント１１８が画像２３０を背景画像のリストに加える。これは、ポインタのコレクションが背景画像を指しているという背景モデル２４０の構造により、ごく効率的な方式で行われ得る。画像２３０をリストに加えることは、以前背景画像２４２ａ、２４２ｂ、２４２ｃ、２４２ｄのうちの１つを指していたポインタのうちの１つが画像２３０を指すように、ポインタのコレクションを並べ替えることにすぎない。背景サンプルが装置１１０のメモリ内で移動される必要がなく、画像２３０の背景サンプルが背景モデル２４０に一工程で加えられ得る（画素についての更新が必要ない）ことに留意されたい。

ポインタの並べ替えが別の方式で行われてもよい。図２の例では、画像２３０が背景画像のリストの最初に加えられる。具体的には、ポインタ２４４ａが画像２３０を指すように並べ替えられ、ポインタ２４４ｂが背景画像２４２ａを指すように並べ替えられ、ポインタ２４４ｃが背景画像２４２ｂを指すように並べ替えられ、ポインタ２４４ｄが背景画像２４２ｃを指すように並べ替えられる。結果として、リスト内の最後の背景画像２４２ｄ（これが画像２２０中の画像内容の置き換えに用いられた背景画像であること留意されたい）が背景モデルから取り除かれるであろう。得られた更新済みの背景モデル２４０’が図２の下部に示されている。

図３の例では、やや異なる手法がとられている。画像２３０を背景画像のリストの最初に加えるかわりに、画像２２０の前景領域２２６内の画像内容の置き換えに用いられた背景画像を置き換える。この例では、領域２２６内の画像内容を置き換えるのに、背景モデル中の第２の背景画像２４２ｂが用いられた。従って、背景更新コンポーネント１１８は、第２の背景画像２４４ｂを指していたポインタ２４４ｂが画像２３０を指すよう、ポインタのコレクション２４４ａ、２４４ｂ、２４４ｃ、２４４ｄを並べ替えるであろう。結果として、第２の背景画像２４４ｂ（これが画像２２０中の画像内容の置き換えに用いられた背景画像である）が背景モデルから取り除かれる。得られた背景モデル３４０が図３の下部に示されている。

図４の例では、更に別の手法がとられている。画像２３０が背景画像のリストの最初に加えられ、画像２２０の前景領域２２６内の画像内容の置き換えに用いられた、ランダムに選択された背景画像２４２ｂが、背景画像のリストから取り除かれる。従って、背景更新コンポーネント１１８は、第１のポインタ２４４ａが画像２３０を指し、第２のポインタ２４４ｂが第１の背景画像２４２ａを指すよう並べ替えられるよう、ポインタのコレクション２４４ａ、２４４ｂ、２４４ｃ、２４４ｄを並べ替えるであろう。一般に、取り除かれる、ランダムに選択された背景画像を指すポインタに先行し且つ含むすべてのポインタはシフトされ、リストの前の背景画像を指す。新しい画像を指すであろうリスト内の第１のポインタは例外である。結果として、第２の背景画像２４４ｂ（これが画像２２０中の画像内容の置き換えに用いられた背景画像である）が背景モデルから取り除かれる。得られた背景モデル４４０が図３の下部に示されている。

実施形態によれば、前景分類器コンポーネント１１４は更に、異なる対象期間を有する幾つかの背景モデルで動作してもよい。この方式で、長期間の変動と短期間の変動との両方に対応し得る。例えば、上記のようなタイプの（各画素についての背景サンプルのコレクションを有する）第１の背景モデルと、上記のようなタイプの第２の背景モデルとが存在し得る。第１の背景モデルの背景サンプルが、最後の２秒などの第１の時間間隔に対応する画像シーケンス中の画像から収集され得る。第２の背景モデルの背景サンプルが、最後の３０秒などの第２の時間間隔に対応する画像シーケンス中の画像から収集され得る。

前景分類器コンポーネント１１４は、幾つかの背景モデルで動作する場合、例えば方程式（１）との関連で上記した方式で、画素の輝度値を各背景モデル中の背景サンプルと比較するであろう。次いで、画素の輝度値と閾値よりも少ないぶんだけ異なる背景サンプルの数が（まとめて見たときにすべての背景モデルで）所定の数よりも少ない場合に、画素が画像中の前景である領域に属すると判定する。言い換えれば、方程式（２）における和、又は方程式（３）における和集合が、すべての背景モデルにおける背景サンプルを超える。

上記で述べたことに従い、すべての背景モデルが更新されてもよい。具体的には、画像シーケンスが受け取られると、装置１１０は種々の背景モデルを交換可能に更新し得る。言い換えれば、装置１１０が、受け取った画像ごとに背景モデルのうちの（最大で）１つを更新し得る。背景モデルが異なる対象期間を有することを可能にするために、それらの異なる背景モデルが異なる頻度で（対象期間が長いほど更新頻度が低い）更新され得る。上記の例で、２つの背景モデルにより、第２の背景モデルの対象期間は第１の背景モデルの対象期間の１５倍長い。従って、第２の背景モデルの更新頻度は、第１の背景モデルの更新頻度の、１５よりも少ない倍数であるべきである。ある特定の例では、第１の背景モデルと第２の背景モデルがそれぞれ１０の背景画像を有し得る。画像シーケンスの画像が毎秒５回受け取られ得る。第２の背景モデルは１５番目の画像ごとに更新され得る。第１の背景モデルは、他のすべての画像に対して更新され得る。

当業者は、上記の実施形態を様々な方法で変更することができ、その上でなお上記の実施形態に示される本発明の利点を使用することができると理解するであろう。
従って、本発明は、図示した実施形態に限定されるべきではなく添付の特許請求の範囲によってのみ限定されるべきである。更に、示された実施形態は組み合わされ得ることが当業者には理解されよう。

Claims (15)

1. 装置（１１０）において実施される、画像（２２０）の背景差分に用いる背景モデル（２４０）を更新する方法であって、
   画像シーケンスの部分を形成している画像（２２０）を受け取ること（Ｓ０２）、
   前記画像中の各画素（２２８）についての背景サンプル（２４８ａ、２４８ｂ、２４８ｃ、２４８ｄ）のコレクションを含む背景モデル（２４０）を用いた背景差分を実施することにより、前記画像の領域（２２６）を前景に分類すること（Ｓ０４）であって、前記背景サンプルのコレクションは、前記画像の各画素が、前記背景画像の各々において前記画像中の画素位置に対応する画素位置における背景サンプルを有するように、背景画像（２４２ａ、２４２ｂ、２４２ｃ、２４２ｄ）のリスト状に並べられており、前記背景画像は、前記画像シーケンス中の前記受け取った画像に先行する画像の背景サンプルを含む、分類すること（Ｓ０４）、
   前記画像の、前景に分類された前記領域（２２６）内の画像内容を、前記リスト内の背景画像中の対応する領域（２４６）の画像内容で置き換えること（Ｓ０６）、並びに
   前記リスト内の前記背景画像のうちの１つをそれぞれ指しているポインタ（２４４ａ、２４４ｂ、２４４ｃ、２４４ｄ）のコレクションを、前記ポインタのうちの１つが前記画像を指すよう、並び替えることによって、前記画像を背景画像の前記リストに加えること（Ｓ０８）
   を含む、方法。
2. 前記画像の、前景に分類された前記領域（２２６）内の画像内容が、前記リスト内の最後の背景画像（２４２ｄ）中の対応する領域（２４６）の画像内容で置き換えられ、前記画像が背景画像の前記リストの最初に加えられる、請求項１に記載の方法。
3. 前記リストの最初の背景画像（２４２ａ）を指しているポインタ（２４２ａ）が前記画像を指し、残りの各ポインタ（２４２ｂ、２４２ｃ、２４２ｄ）が、前記ポインタが現在指している前記リストの背景画像に先行する前記リストの背景画像を指すように並べ替えられるように、前記ポインタの前記コレクションを並べ替えることによって、前記画像が背景画像の前記リストの最初に加えられる、請求項２に記載の方法。
4. 前記画像中の前景である領域を分類するステップ（Ｓ０４）が、前記画像中の各画素について、
   前記画素（２２８）の輝度値を前記画素に関連付けられた各背景サンプル（２４８ａ、２４８ｂ、２４８ｃ、２４８ｄ）と比較すること、及び
   閾値よりも少ないぶんだけ前記画素の前記輝度値と異なる背景サンプルの数が、所定の数よりも少ない場合に、前記画素（２２８）が前記画像中の前景である前記領域（２２６）に属すると判定すること
   を含む、請求項１から３の何れか一項に記載の方法。
5. 閾値よりも少ないぶんだけ前記画素（２２８）の前記輝度値と異なる背景サンプル（２４８ａ、２４８ｂ、２４８ｃ、２４８ｄ）の数が、閾値よりも少ないぶんだけ前記画素の前記輝度値と異なる背景サンプルの数をカウントすることによって計算される、請求項４に記載の方法。
6. 前記所定の数が１に等しく、前記画素が前記画像中の前景である前記領域に属すると判定するステップが、
   前記画素に関連付けられた前記背景サンプルのうちの少なくとも１つが、閾値よりも少ないぶんだけ前記画素の前記輝度値と異なるかどうかを、論理和演算を実施することによりチェックし、そうでない場合、前記閾値よりも少ないぶんだけ前記画素の前記輝度値と異なる前記背景サンプルの数が前記所定の数よりも少ないと判定し、それにより、前記画素が前記画像中の前景である領域に属すると判定すること
   を含む、請求項４に記載の方法。
7. 前記閾値が、前記画像中の前記画素の位置により異なる、請求項４から６の何れか一項に記載の方法。
8. 前記閾値は、インジケータマップ（６００）に基づいて、前記画像中の各画素について計算され、前記インジケータマップは、前記画素の前記位置における背景サンプルが、前記画像シーケンスにおいて後続する画像間で輝度値が変化する傾向を、前記画像（２２０）中の各画素について示している、請求項７に記載の方法。
9. 前記画像（２２０）中の前景と分類された前記領域（２２６）にも、前記画像シーケンスにおいて先行する画像（６２０）中の前景と分類された領域（６２６）にも、属さない画素について、
   前記画素の位置における、前記画像（２２０）と前記先行する画像（６２０）との差が、所定量よりも大きいかどうかをチェックし、そうである場合には、前記画素について前記インジケータマップ（６００）の値を所定のインクリメント値ぶん増大させ、そうでない場合、前記画素について前記インジケータマップの前記値を、前記所定のインクリメント値よりも小さい所定のデクリメント値ぶん減少させることによって、前記インジケータマップ（６００）を更新することを更に含む、請求項８に記載の方法。
10. 前記背景モデルが第１の背景モデルであり、前記画像の領域を前景に分類するステップが、前記第１の背景モデルに加えて第２の背景モデルを用いて背景差分を実施することを含み、
    前記第１の背景モデルにおいて、各画素についての前記背景サンプルのコレクションが第１の時間間隔からサンプリングされた画像に基づいており、
    前記第２の背景モデルにおいて、各画素についての背景サンプルのコレクションが第２の時間間隔からサンプリングされた画像に基づいており、前記第１の時間間隔は前記第２の時間間隔の部分である、請求項１から９の何れか一項に記載の方法。
11. 前記画像シーケンス中の各画像について、前記第１の背景モデル及び前記第２の背景モデルのうちの一方を更新することを更に含み、前記第１の背景モデルは前記第２の背景モデルよりも高頻度で更新される、請求項１０に記載の方法。
12. 処理能力を有するデバイスにより実行する際に請求項１から１１のいずれか一項に記載の方法を実行するためのコンピュータコード命令を記憶したコンピュータ可読媒体を含む、コンピュータプログラム製品。
13. 画像（２２０）の背景差分に用いられる背景モデル（２４０）を更新する装置（１１０）であって、
    画像シーケンスの部分を形成している画像（２２０）を受け取るように構成された、受信器（１１２）、
    前記画像中の各画素（２２８）についての背景サンプル（２４８ａ、２４８ｂ、２４８ｃ、２４８ｄ）のコレクションを含む背景モデル（２４０）を用いた背景差分を実施することにより、前記画像の領域（２２６）を前景に分類するように構成された前景分類器（１１４）であって、前記背景サンプルのコレクションは、前記画像の各画素が、前記画像中の画素位置に対応する画素位置における前記背景画像の各々の背景サンプルを有するように、背景画像（２４２ａ、２４２ｂ、２４２ｃ、２４２ｄ）のリスト状に並べられており、前記背景画像は、前記画像シーケンス中の前記画像に先行する画像の背景サンプルを含む、前景分類器（１１４）、
    前記画像の、前景に分類された前記領域（２２６）内の画像内容を、前記リスト内の背景画像中の対応する領域（２４６）の画像内容で置き換えるように構成された、前景置換コンポーネント（１１６）、並びに
    前記リスト内の前記背景画像のうちの１つをそれぞれ指しているポインタ（２４４ａ、２４４ｂ、２４４ｃ、２４４ｄ）のコレクションを、前記ポインタのうちの１つが前記画像を指すよう、並び替えることによって、前記画像を前記背景画像のリストに加えるように構成された、背景更新コンポーネント（１１８）
    を含む、装置（１１０）。
14. 前記前景置換コンポーネント（１１６）は更に、前記画像の、前景に分類された前記領域（２２６）内の画像内容を、前記リスト内の最後の背景画像中の対応する領域（２４６）の画像内容で置き換えるように構成されており、前記背景更新コンポーネント（１１８）は、前記画像を背景画像の前記リストの最初に加えるように構成されている、請求項１３に記載の装置（１１０）。
15. 前記背景更新コンポーネント（１１８）は、前記リストの最初の背景画像（２４２ａ）を指しているポインタ（２４４ａ）が前記画像を指し、残りの各ポインタ（２４４ｂ、２４４ｃ、２４４ｄ）が、前記ポインタが現在指している前記リストの背景画像に先行する前記リストの背景画像を指すように並べ替えられるように、前記ポインタ（２４４ａ、２４４ｂ、２４４ｃ、２４４ｄ）の前記コレクションを並べ替えることによって、前記画像を背景画像の前記リストの最初に加えるように構成されている、請求項１４に記載の装置。
    

Images