JP2004348732A - シーンの背景を表現する背景画像を適応的に更新する方法 - Google Patents

Abstract

【課題】一般に、従来技術の背景画像更新には三つの主要な問題が存在する。第一に、全ての入力画像によって背景更新が生ずる。こらは時間を浪費する。第二に、各画像内の全ての画素が更新中に考慮される。これはよりいっそう時間を浪費する。第三に、背景画像を更新する仕方が固定されている。これは最適とはいえない。三つの全ての問題に対処する。
【解決手段】方法は、背景画像を入力画像と比較して、各入力画像に対する、類似スコアλを求めるようにする。次に、特定の画像に対する類似スコアが所定のしきい値未満である場合に限って、背景画像を更新する。カラーが変化しない任意の画素は静止背景の一部であり、実際に変化する任意の画素は移動オブジェクトの一部であると推定される。類似スコアは、入力画像が得点をつけられる時および背景画像が更新される仕方を制御する。
【選択図】図１

Description

本発明は、一般的には画像処理方法に関し、より詳細にはシーン内で変化する背景を表現する背景画像を更新する方法に関する。

ビジョンシステムにおいては、ビデオ信号から移動オブジェクトを抽出することは、基本的で重要な問題である。オブジェクト抽出が必要になる典型的な用途としては監視、交通モニター、遠隔会議、マン−マシンインタフェース、およびビデオ編集がある。静止画素から移動画素を区別することが重要な画像処理の用途は他にも多数存在する。移動オブジェクトは通常「前景」オブジェクトとも呼ばれている。しかしながら、オブジェクトが「背景」に対して移動する相対的な奥行きが評価要素ではないことを理解しておく必要がある。

背景減算は、移動オブジェクト抽出のための最も一般的な技法である。このアイデアは、一つのシーンで「背景」を表現する静止画から現在画像を減算することである。この減算により移動オブジェクトのシルエットが現れるはずである。背景減算は通常、オブジェクト認識と追跡に対する前処理ステップとして実行される。従来技術のほとんどの背景減算法は、２つの画像間の画素の強度値の差を求めることに基づいている。

従来技術の方法はうまく働くが、広域および局所のカラー強度の影響を受け易い。画像の背景部分のカラーが変化すると、それに従って画素強度レベルが変化し、背景部分は前景すなわち移動オブジェクトに関連するものとして誤って分類される可能性がある。このような変化によって、後続の処理、例えば認識および追跡処理が、うまくいかなくなってしまう。それはこれらのタスクには、精度および効率が重要だからである。

従来技術において、計算上の限界が、リアルタイムビデオ処理用途の複雑さを制限してきた。したがって、従来技術のほとんどのシステムは、あまりに遅くて実用的でないか、または制御された状況に限定された。

最近、より高速のコンピュータが、ビデオをリアルタイムに解析するより複雑でロバストなシステムを使用可能にした。こうしたシステムは、変動する条件下で実世界のプロセスを明らかにすることが可能である。実用的なシステムはカメラの配置、シーンの内容、または照明効果に依存すべきではない。システムは、古いオブジェクトがシーンを去り新しいオブジェクトが入る際、背景が移動し、オブジェクトが重なる、すなわち遮られ、オブジェクトが影になったり照明変動により影響を受けたりする複雑なシーンにおいて緩慢な移動オブジェクトを追跡できなければならない。

非適応背景減算法は、静止背景画像を取得するのに手動による初期化処理が必要になり、望ましくない。初期化処理がないと、背景の誤差が所定期間にわたって蓄積して、シーンの背景に著しい変化が存在する、監督されない長期の追跡用途には、非適応法は役に立たなくなる。

適応背景減算は、所定期間にわたって画素強度を平均して、背景画像を生成するようにし、その背景画像が任意の時刻での背景の近似である。適応背景減算はオブジェクトが連続して移動し、かつ、背景がその期間のかなりの期間見えている状況で有効であるが、移動オブジェクトが多い時、特に移動オブジェクトが緩慢に移動する場合にはうまくいかない。適応法はまた、マルチモーダル、すなわち複数の交互の背景を処理することができず、背景が覆われていず、全シーンに対して単一の所定のしきい値が用いられるときにはゆっくりと回復する。

照明の変化によって多くの背景減算法がうまくいかなくなる。Ridder等は「Adaptive background estimation and foreground detection using Kalman-filtering」（ICRAM(International Conference on Recent Advances in Mechatronics),1995）ではカルマンフィルタによって各画素をモデル化した。このモデル化によって著者等のシステムは照明の変化にあまり敏感でなくなった。この方法は、確かに画素単位の自動しきい値を有しているが、やはりゆっくりと回復する。

Koller等は、「Towards robust automatic traffic scene analysis in real-time」（Proceedings of the International Conference on Pattern Recognition,1994）において、自動交通モニター用途にカルマンフィルタリングを適用した。

各画素に単一のガウスフィルタを適用することによってオブジェクトを追跡するのに、マルチクラス統計モデルを使用することもできる。静止屋内シーンについて、適切な初期化を行うと、妥当な結果を得ることができる。屋外シーンに対する結果は得られていない。

Friedman等は、「Image segmentation in video sequences: A probabilistic approach」（Proc. of the Thirteenth Conf. on Uncertainty in Artificial Intelligence, 1997）において、移動車両を検出する、画素単位期待値最大化(ＥＭ)法を述べた。著者等の方法は、画素値を道路、影、および車両を表す三つの種類に明示的に分布させる。他の分類を用いると、著者等のシステムが画素に対してどう振舞うかは不明である。

所定の分布を用いる代わりに、Stauffer等は、「Adaptive background mixture models for real-time tracking」（Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol.2, 1999）において、各画素をガウスフィルタを混合したものとしてモデル化した。各混合物の残像（persistence）と分散に基づいて、著者等は背景分布に対応すると考えられるガウスフィルタを求めた。背景分類を裏付けるのに十分で一貫性のある証拠を有するガウスフィルタが存在しない限り、背景分布に適合しない画素は前景であると考えられる。著者等の更新には四つの問題がある。著者等の更新は画像の全ての画素を考慮する。画素は独立に処理される。著者等の更新は、一定の学習係数を用い、背景画像は、更新を実際に必要としているか否かに関わらず、すべての入力画像に対して常に更新される。これは、更新がフレームレートで行われる場合非常に時間がかかる可能性がある。

Bowden等は、「An improved adaptive background mixture model for real-time tracking with shadow detection」（Proc. 2nd European Workshop on Advanced Video Based Surveillance Systems, AVBS01, Sept 2001）において、Grimson等の方法に基づくモデルを述べた。著者等は初期化過程での更新式にガウス混合モデルを合せるのに、ＥＭプロセスを使用した。

Horprasert等は、「A statistical approach for real-time robust background subtraction and shadow detection」（IEEE ICCV'99 FRAME-RATE WORKSHOP,1999）において、影つき背景を、通常の背景または移動前景オブジェクトから区別するために、輝度歪および色度歪を考慮する計算を使用したカラーモデルを述べた。著者等はまた、画素分類およびしきい値選択のプロセスを述べた。

一般に、従来技術の背景画像更新には三つの主要な問題が存在する。第一に、全ての入力画像によって背景更新が生ずる。これは時間を浪費する。第二に、各画像内の全ての画素が更新中に考慮される。これはよりいっそう時間を浪費する。第三に、背景画像を更新する仕方が固定されている。これは最適とは言えない。本発明はこの三つの全ての問題に対処する。

本発明は、背景画像を入力画像と比較して、各入力画像に対する、類似スコアλを求める方法を提供する。次に、特定の画像に対する類似スコアが所定のしきい値未満である場合に限って、背景画像を更新する。そのカラーが変化しない画素は静止背景画像の一部であり、実際に変化する任意の画素は移動オブジェクトの一部であると推定される。類似スコアは、入力画像が得点をつけられる時および背景画像が更新される仕方を制御する。

序論
本発明による適応背景画像更新において、背景画像を入力画像と比較して、各入力画像に対する類似スコアλが求められる。次に、背景画像を、特定の画像に対する類似スコアが所定のしきい値未満である場合に限って更新する。そのカラーが変化しない任意の画素は静止背景の一部であり、実際に変化する任意の画素は移動オブジェクトの一部と推定される。類似スコアは、入力画像が得点をつけられる時および背景画像が更新される仕方を制御する。

したがって、第一の問題は背景画像を求めることである。長期の追跡において、背景画像は、シーンの照明条件の変化に従って更新されなければならない。したがって、第二の問題は類似スコアに従ってどの程度背景画像を更新するかである。

画像の差は移動オブジェクトがシーンの中に入って、次に止まることによる場合があることに留意しなければならない。こうした場合、背景の止まったオブジェクト部分を作ることが必要である。こうした場合、止まったオブジェクトのカラー値が隠れている、背景であったもののカラー値と単純に置き換わる可能性がある。光の方向および強度、例えば太陽の移動または太陽がないことによる多くのカラーの微妙な変化に対して、ある種の混合がよく用いられる。第三および第四の問題は、得点づけおよび考えられる更新のレート、ならびに、更新すべき必要画素の最小数を求めることである。

適応更新法
図１は、本発明に従って、シーンの背景を表現する背景画像Ｂ１０８を適応的に更新する方法を示す。方法に対する入力はシーンより得られた画像Ｉ１０１すなわちビデオ信号である。図２Ａを参照。

背景生成ユニットは、以下により詳細に説明するように、背景画像１０８を初期化する（１１０）。図２Ｂを参照。本発明による背景画像１０８は、従来技術の背景画像とは下記の点で異なる。従来技術において用いられる場合、背景画像は、通常、背景シーンの一回限りの静止画である。これに対して、本発明に従って適応的に更新された背景画像は、期間中を通して、カラー変化を受ける背景部分のみが、必要な時にのみ、所定期間にわたって更新される（１７０）。背景画像１０８は、本明細書に記載するコンピュータにより実施される方法が背景画像を処理する間にコンピュータシステムのメモリ１０５内に保存されることができる。

背景画像の初期化
初期背景画像１０８は、ビデオ１０１の最初のフレームまたは最初の２、３フレームで構成されることができる。例えば、背景画像は最初の画像または最初の２、３枚の画像の平均である。あるいは、背景画像は空白またはランダム画像として初期化される。この場合、本明細書に示す更新によって、最初の入力画像が処理される時に初期背景画像が、自動的に置き換わるであろう。

基準モデル
好ましい実施形態では、背景画像１０８はメモリ１０５内に同様に保存される中間基準モデル(ＲＭ)１０９により導出される。本基準モデルは、本発明の基本操作には必要でないことを理解すべきである。

基準モデル１０９は、マルチモデル背景に対応する、画素単位で確率分布関数を混合したものの形態である。本発明者等は、ガウス分布の混合物によって各画素を表現することにより、カラーチャネルの履歴をモデル化する。

現在入力画像Ｉ１０１の画素のカラー値をＩ(ｐ)で示す。フレ−ムｔにおける単一チャネルで現在画素のカラー値を観察する確率は、

であり、ここで、Ｎは分布の数であり、ω_ｎ(ｔ)は混合物のｎ番目のガウス分布の重みであり、μ_ｎ(ｔ)およびσ^２ _ｎ(ｔ)はそれぞれフレームｔにおける混合物のｎ番目のガウス分布の平均値および分散であり、ｇはガウス確率密度関数

である。

上式において、カラーチャネルは互いに独立であると仮定している。共分散行列を用いることも考えられる。しかしながら、本行列によって、計算上の複雑さが大幅に増加して、最小の改善がもたらされるだけである。

オブジェクト追跡器
オブジェクト追跡器１２０は、各入力画像Ｉ１０１を背景画像Ｂ１０８と比較する。オブジェクト追跡器の目的は、移動オブジェクトに関連する画素を特定することである。計算負荷を減らすために、これらの画素は更新１７０の間には考慮してはならない。オブジェクト追跡器はバイナリマスクＭ２０２を生成する。図２Ｃを参照。本オブジェクト追跡器１２０は、移動オブジェクトに関連する画素を追跡するために、前と現在の画像に対して既知の平均値シフト操作を使用することができる。オブジェクト追跡器の目的は、更新のために、移動オブジェクトの一部である画素を考慮しないことである。

現在入力画像１０１の画素と背景画像１０８の対応する画素との間の距離ｄ(ｐ)は、

で定義される。ここで、ｗ_ｎ ^＊(ｔ,ｐ)は画素ｐに対応する最良分布の重みを表す。この距離が、ある距離しきい値より大きい場合、画素は、可能性のある前景画素として、バイナリ１でマーキングされ、そうでない場合は０としてマーキングされる。マスク２０２を求めるのに、現在ではなく前の画像を用いることは有利である場合があることに留意しなければならない。さらに、オブジェクト追跡器は本発明の基本操作には必要とされないことを理解しなければならない。例えば、シーンに移動オブジェクトが存在するかどうかを判断するのに、他の検知手段を用いることもできる。

サンプリング
サンプラ１３０も入力画像１０１と背景画像１０８からの入力を取得する。サンプラ１３０は、比較すべき画素の所定数（Ｓ)を選択する。選択される画素は現在画像の移動オブジェクトに対応しない。選択はランダムであることができる。あるいは、サンプリングは画素の所定数Ｓに達するまで一様であることができる。移動オブジェクトに対応する画素はサンプリングプロセス１３０にて無視される。したがって、前景または移動オブジェクトの画素は更新１７０には影響しない。サンプリングプロセスによって得られた画素集合をＱで示す。

サンプリング周波数Ｃ_１ｓ，Ｃ_２ｓでの一様選択によって、

である集合Ｑが生成され、ここで、Ｂ(ｘ,ｙ,ｃ,ｔ)は背景画像１０８であり、Ｉ(ｘ,ｙ,ｃ,ｔ)は現在画像１０１であり、Ｍ(ｘ,ｙ,ｔ)は、画素(ｘ,ｙ,ｔ)がオブジェクトに対応する場合Ｍが１となるような、オブジェクト追跡器１２０から得られるオブジェクトマスク２０２であり、ｃはカラーチャネルであり、ｔはフレーム番号であり、集合Ｑにて選択された画素数はｓ＝１，・・・，Ｓである。出力サンプリング（１３０）すなわち集合Ｑは類似スコアλを求める（１４０）のに使用される。サンプラ１３０は類似スコアを求める（１４０）ための計算負荷を軽減する。サンプラ１３０は本発明の基本操作には必要ないことに留意しなければならない。

類似スコアを求める
類似スコアλは、入力画像が得点をつけられる時および背景画像１０８が更新される仕方を制御する。既に述べたように、更新は類似スコアが所定のしきい値未満である場合に限って起こる。さらに、分散が既に非常に小さい基準モデルの画素を更新する必要は存在しない。従来技術と同様に、所定または固定のレートで背景画像および基準モデルを更新する代わりに、本発明等は画像類似スコアλを求め、それに従って得点づけ（１４０）および更新（１７０）を制御する。

この目的のために、本発明者等は、移動オブジェクトに対応しない選択された画素集合Ｑに対して類似スコアλ(ｔ)を求める。これらの画素は上述したサンプラ１３０によって選択された。類似スコアは画素のカラー属性から計算される。

得点づけプロセスを理解するために、生物によって認識されるカラー属性について短く述べる。いくつかのカラーモデルが知られている。人間指向モデルは、色相と色差と強度を用いる。色相は色の支配的波長であり、色差または彩度は例えば白のような中性色からの色の逸脱の程度であり、強度は色の放射エネルギーに関連する。

赤−緑−青(ＲＧＢ)は三つの基本カラーの強度を加算混色したものである。ＹＩＱモデルはＲＧＢモデルの変形である。これらの二つのモデルは通常、表示装置において使用される。シアン−マゼンタ−黄色−黒(ＣＭＹ(Ｋ））モデルは印刷で多く使用されている減法混色モデルである。

ＹＵＶモデルでは、Ｙは強度を表し、ＵＶは色相および彩度を表す。ここでＵＶは更に色差とも呼ばれる。ＨＩＳモデルは、ＹＵＶモデルを極座標化したもので、色相Ｈは角度、彩度Ｓは半径方向成分を表し、強度はＵＶ面に対して直交する。他のカラーモデル、ＨＩＳ、ＨＳＶ、ＣＩＥ、ＬＡＢ、およびＸＹＺモデル等も使用することができる。本発明による得点づけはこれらカラー属性またはカラー属性の組合せのいずれをも考慮することができる。

例えば、ＲＧＢモデルに対して図３に示すように、求めること（１４０）は集合Ｑの選択された画素のカラー値(Ｒ,Ｇ,Ｂ)を評価し、類似スコアを比

として表現する。ここでθ３０１は、画素ｓの入力カラーベクトルＩ（．）３０２と背景カラーベクトルＢ（．）３０３の間の角度である。

あるいは、カラーベクトルをＹＵＶカラー領域に変換して、Ｙチャネル対ＵおよびＶチャネルの類似度を、

として評価することもできる。

他の方法として、

によって選択された画素に対する類似スコアが求められる。

図４に示す機械学習を用いて、

に従ってニューラルネットワークに学習させ、カラー変化パラメータを求めることもできる。

類似度学習データ４０１、相違点学習データ４０２、オブジェクト移動学習データ４０３、およびカラーモデル４２０により、ニューラルネットワーク４１０は学習し、推定カラーモデルパラメータα_ｃ４３１が得られ（４３０）、選択された画素４５０と比較して、類似スコアλが求められる（４４０）。

更新制御器
更新制御器の目的は、更新モジュール１７０にパラメータ１６０すなわち、学習係数または混合重みα、集合Ｑ、および更新モードＭを提供することである。更新制御器はまた、入力画像が得点づけされるべき時を求めて、考えられる更新をもたらす。シーンの照度が急に変わる場合、得点づけレートはフレームレートに近くなければならない。逆に、シーンが比較的安定であれば得点づけは頻繁には起こらない可能性がある。

類似スコアλを解釈する一つの方法は下記の通りである。正規化スコアが［０,１］の範囲にある場合、スコア１は入力画像と背景画像は同一であることを意味し、スコア０は画像は全く異なることを意味する。しきい値は所望の感度に合うように［０,１］の範囲内の任意値に設定されることができる。

本発明者等は、三つのレート、すなわち、画像を取得するフレームレートｒ_ｆ、入力画像の類似度を求める時を決める得点づけレートｒ_ｓ、背景画像を実際に更新する頻度を反映する更新レートｒ_ｕを考える。本発明によれば、これらのレート間の関係は、ｒ_ｕ≦ｒ_ｆ≦ｒ_ｓで表され、一方、従来技術では、この関係は、ｒ_ｕ＝ｒ_ｆ／ｋとするのが普通である。フレームレートが比較的高く、背景が安定であり、ｋ＝１である場合、本発明ではｒ_ｕが０に近づくため、従来技術の方法に比べて大幅な時間の節約が可能である。

図５Ａは更新制御器１５０のプロセスを示す。最初に、既に述べたように類似スコアλを求める（１４０）。得点づけには、オブジェクト追跡ステップ１２０とサンプリングステップ１３０が含まれるものと想定する。実際には、得点づけレートは、

となるような時間間隔Δｔ_ｍとして表される。ここで、ｍは初期化後の更新総数であり、τ_１＜τ_０であり、Δｔ_ｍａｘは次回に画像が得点づけされる前に処理される最大画像数である。しきい値τ_１は経験的に決めることができる。しきい値は更新プロセスの感度を制御する。このパラメータは画像中のノイズ量によって決まる可能性がある。

ステップ５０２にて、時刻ｔで類似スコアλ(ｔ)の値が所定のしきい値τ_１未満である場合、学習または混合パラメータαは、

として調整される。ここでｓは集合Ｑ内の画素数である。

学習係数または混合重みαは更新の仕方、すなわち、現在画像１０１のカラー値によって、基準モデルの画素のカラー値のどれだけが影響を受けるかを制御するパラメータとして役立つ。基準モデルと現在フレームの間のカラー類似スコアが比較的高い場合、学習係数には小さな値が割り当てられる。したがって、基準モデルは現在画像による影響をあまり受けない。学習係数が例えばα＝１のように高くなると、オブジェクトが移動を止めると、移動オブジェクトが背景に「混合」される。

更新モード
図５Ｂに示すように、入力画像は可変および／または一定レートで連続して得点づけられる。例えば、画像は常に少なくともより低い「背景」レートで得点づけされ（５１０）、他の場合にはより高いレートで得点づけされる（５１１）。例えば、相違が比較的大きくなると得点づけはより頻繁に起こらなければならない。

図５Ｃに示すように、得点づけは必要であれば、可変レート５２１または一定レート５２２で間欠的に行われる。

基準モデル全体を更新する代わりに、更新プロセスは背景画像の特定の領域に適用することもできる。図６〜図８に示すように背景画像の部分的な更新のためのいくつかの方法を提供する。

インターレースされたビデオ６０１の場合、偶数フィールド６１１と奇数フィールド６１２は各々の更新サイクル６２１および６２２の間に更新されることができる。

インターレースされてないビデオ７０１の場合、画像をＪ個の同じサイズの領域７１０に分割し（７０２）、領域７１０をＪ個の更新サイクルの間に交互に更新することができる（７２０）。

代替プロセスは、インターレースされてないビデオ８０１をＪ個の非重複の画素集合８０２に分割して（８１０）、その後交互に更新する（８２０）。ここで、画素集合は背景画像のランダムサンプリングで得ることができる。

モデルおよび背景画像の更新
実際の現在背景に対して、信頼性のある予想を行うのに十分な統計量を有する画素は存在しないため、最初は、モデル中の全ての画素についてその分散は大きな値に、その重みは小さな値に設定される。本基準モデルは、現在画素を既存のＫ個のガウス分布と比較することにより更新される。

現在画素のカラー値が分布の平均値に等しい場合、合致としてマーキングされる。距離しきい値は、モデルを形成するカラー値の９５％を含むように２.５σに設定される。Ｋ＜ＮであるＫ個の分布のいずれもが現在画素値に合致しない場合、新しい分布が初期化される。

Ｋ＝Ｎである場合、最大の分散、すなわち最低の信頼度を有する分布は、現在画素値を平均値とし、大きな初期分散を持つ分布に置き換えられる。

合致した分布の平均値および分散は、学習係数αを用いて、

のように定量的に更新され（１７０）、既存のＫ個の分布の重みω_ｎ(ｔ)、ｎ＝１，・・・，Ｋは、

として調整される。ここで、Ｉ(ｐ)は現在画素のカラー値である。このタイプの更新は、α‐混合としても知られていることがある。

基準モデル１０９における対応する画素から、カラーチャネルに対して、背景画像１０８の画素のカラー値を求めるために、最小の分散すなわち最大の信頼度を有し、かつ最大の重みを有するガウス分布が選択される。画素の平均が背景画像１０８内の対応する画素のカラー値として用いられる。

背景画像１０８は類似度がしきい値未満である場合に限って更新されるため、ガウス混合モデル手法をやはり利用しながら、計算全体が大幅に軽減される。

本発明を好ましい実施の形態の例として述べてきたが、その他の適応および変更が、本発明の精神と範囲内で行うことができることを理解するべきである。したがって、本発明の真の精神と範囲に入る変形および変更全てを網羅することが、添付の特許請求項の目的である。

一つのシーンでの変化する背景を表す背景画像を、本発明に従って適応的に更新する方法のブロック図である。 背景画像のブロック図である。 入力画像のブロック図である。 オブジェクトマスクのブロック図である。 本発明に従う、ＲＧＢカラー領域でのカラー評価のグラフである。 本発明に従う、カラーモデルのパラメータを予測するプロセスのブロック図である。 更新制御器のブロック図である。 本発明に従う、連続した更新のためのタイミング図である。 本発明に従う、間欠的更新のためのタイミング図である。 インターレースされたビデオを使用する更新制御器のブロック図である。 同サイズの領域に対する更新制御器のブロック図である。 画素のランダム集合を使用する更新制御器のブロック図である。

Claims (21)

1. シーンの複数画像の各々に対して類似スコアを求めること、および
   特定の画像に対する類似スコアが所定のしきい値未満である場合に限って前記背景画像を更新すること
   を含むシーンの背景を表現する背景画像を適応的に更新する方法。
2. 前記類似スコアを求めるレートは、前記類似スコアに基づく
   請求項１に記載の方法。
3. 前記背景を更新する仕方は、前記類似スコアに基づく
   請求項１に記載の方法。
4. 前記背景画像を前記複数画像中の最初の画像に初期化することをさらに含む
   請求項１に記載の方法。
5. 前記背景画像を空白の画像に初期化することをさらに含む
   請求項１に記載の方法。
6. 前記背景画像は、画素単位で確率分布関数を混合したものの形態で基準モデルにより導出される
   請求項１に記載の方法。
7. 画像中で移動オブジェクトに関連する画素を特定すること、および
   該特定された画素を前記求めることおよび前記更新することより除外することをさらに含む
   請求項１に記載の方法。
8. 前記特定された画素は、バイナリマスクで表現される
   請求項７に記載の方法。
9. 各画像においてｓ個の画素の集合Ｑを選択すること、および
   該選択された画素集合に対してのみ前記求めることを実行することをさらに含む
   請求項１に記載の方法。
10. 前記集合における画素は、ランダムに選択される
    請求項９に記載の方法。
11. 前記集合Ｑにおける画素は、一様に選択される
    請求項９に記載の方法。
12. 前記集合Ｑは、
    

    

    であり、ここで、Ｂ(ｘ,ｙ,ｃ,ｔ)は背景画像であり、Ｉ(ｘ,ｙ,ｃ,ｔ)は特定の画像であり、Ｍ(ｘ,ｙ,ｔ)はオブジェクトマスクであり、ｃ_１ｓ、ｃ_２ｓはサンプリング周波数であり、ｃはカラーチャネルであり、ｔは前記特定の画像に関連するフレーム番号であり、ｓは前記集合Ｑ内の画素数である
    請求項１１に記載の方法。
13. 前記類似スコアは、比
    

    

    として表され、ここで、λは時刻ｔの画像に対する類似スコアであり、Ｂは前記背景画像であり、Ｉは前記特定の画像であり、θは位置(ｘ,ｙ)における画素のカラーベクトル間の角度であり、ｃはカラーチャネルである
    請求項１に記載の方法。
14. 前記類似スコアは、比
    

    

    として表され、ここで、λは時刻ｔの画像に対する類似スコアであり、Ｂは前記背景画像であり、Ｉは前記特定の画像であり、(ｘ,ｙ）は画素位置であり、ｃはカラーチャネルである
    請求項１に記載の方法。
15. 前記類似スコアは、比
    

    

    として表され、ここで、λは時刻ｔの画像に対する類似スコアであり、Ｂは前記背景画像であり、Ｉは前記特定の画像であり、(ｘ,ｙ)は画素位置であり、ｃはカラーチャネルである
    請求項１に記載の方法。
16. 前記類似スコアは、学習型ニューラルネットワークで求められる
    請求項１に記載の方法。
17. 前記レートは、時間間隔
    

    

    として表され、ここで、ｍは更新総数であり、τ_１はしきい値で、τ_１＜τ_０とし、Δｔ_ｍａｘは次の類似スコアが求まる以前に処理する画像の最大数である
    請求項２に記載の方法。
18. 混合（blending）パラメータを、
    

    

    として決めることをさらに含み、ここで、ｓは前記集合Ｑ内の画素数であり、λは時刻ｔでの類似スコアであり、τ_１は前記所定のしきい値である
    請求項１２に記載の方法。
19. 前記背景画像の特定の画素ｐは、
    

    

    に従って更新される
    請求項１８に記載の方法。
20. 類似スコアが可変および一定のレートで求められる
    請求項１に記載の方法。
21. 前記背景画像の特定領域のみが更新される
    請求項１に記載の方法。

Images