JP2009217835A - 非動作検出方法 - Google Patents

Abstract

【課題】顕著な動作を含む可能性のある画像シーケンスの背景の変化を検出する。
【解決手段】領域監視から得られた画像シーケンスは、各時系列が、画像の小さな近傍を要約する画像フィーチャを表す、互いに独立した時系列の集合とみなされる。これらの時系列は、ある基本をなす分布から得たサンプルとみなされ、統計的な技術を用いてこの分布の密度関数が識別される。次いで、背景がこの分布のフィーチャとして識別され、さらに、その後の画像フレーム内の各フィーチャの分布を監視し、その分布が、背景の変化を示すほど現在の分布から逸脱しているかどうかを確認する。
【選択図】図１

Description

分野
本明細書では、顕著な動作を含む可能性のある画像シーケンスの背景の変化を検出する技術について説明する。

背景
特定のシーンに新しいオブジェクトを追加するか、または静的なオブジェクトを除去することによる、背景の変化を検出する、領域および位置の電子監視は、様々な用途を有する。これには以下のような例が挙げられる。
（a）空港またはその他の運送ターミナルにおける不審な包みまたは置去りにされた荷物の検出
（b）博物館、美術館、または監視が必要なその他の領域における貴重品の監視
（c）交通量の多い交差点における交通の流れの監視、または遮断されたトンネルおよび橋梁の検出
（d）駐車場の監視

現在の監視方法には、人間のオペレータが、閉回路テレビジョンを用いることによって様々な領域を監視することが含まれる。この場合、特にオペレータが繁華な空港ターミナルのような動的なシーンに対処するとき、人間のオペレータには常に誤りまたは疲労が生じる。このようなシーンは通常、常に背景を見えなくする何人かの移動する人（または乗物）を含む。その結果、特定のシーンにおける静止した物体は、移動する物体によってある有意の期間にわたって、見えなくなる場合がある。

さらに、特定のシーンにおける一時的な物体は、立ち止まって飲み物を買ったり飲んだりする人や、空港に入るための順番待ちで停車している車のように、短期間の間停止することも少なくない。このような一時的な停止はもちろん、背景に対する真正の変化ではない。

自動画像検出システムは理想的には、リアルタイムで動作し、擬似アラームをほとんど発生させず、既存のハードウェア、通常現在のカメラおよび計算プラットフォームを用いて動作することができる。

上記のことを考慮すると、少なくとも視覚動作監視システムの欠点に対処する画像分析技術が必要であることは明らかである。

概要
画像シーケンスを時系列の集合とみなす。最も簡単なケースでは、各時系列は単に、画素の8ビットグレーレベルの変化を記録する。より一般的には、画像全体にわたって各近傍に簡単な演算子を適用して一連の処理済み画像を生成する。この場合、時系列は、各近傍に対するこの演算子の出力である。背景のあらゆる変化を、背景に対応するこの分布の関数の識別とみなすことができる。この分布を監視し、フィーチャが変化するかどうかを判定することができる。統計技術を用いて、背景が確実に識別されているかどうか、または変化が有意であるかどうかを判定することができる。

簡単な例として、少量の動作または動きのみを含む画像シーケンス内の背景シーンを推定する問題を考える。通常、カメラは静止しており、環境は一定である。照明レベルは不変である。経時的な単一画素におけるグレーレベルの分布は、2つの分布、すなわち、（i）本質的に静的な背景を反映する一方の分布、および（ii）通過する人のような一時的な物体を反映する他方の分布の混合物とみなすことができる。

背景が本質的に不変である間一時的なもののグレーレベルの分布が概ね一様である場合、その分布はほぼデルタ衝撃関数である。すなわち、一時的なものはフレーム間ではそれほど異ならない。したがって、背景は、各時系列内で最も頻繁に現れる値である。言い換えれば、背景は分布のモードである。したがって、背景の変化はこのモードの変化で示される。

したがって、入力フィーチャの分布を経時的に分析することによって、まずフィーチャ値の分布から背景を識別し、次いで分布の変化によってこの背景の変化を検出することができる。

この問題は、一連の既存の統計技術を利用できるようにする言語で書き直すと有用である。特に、シーン内の点pで、瞬間tに、検出システムがフィーチャO_p,tを観察すると仮定する。このフィーチャは、人または物体が、シーンにおいて静止した背景を通り越すときに変化すると共に、背景が変化した場合にも変化する。この振舞いはランダムプロセスとしてモデル化され、分布すると仮定されるO_p,tは、以下の数式［1］によって定義される。

上記の数式［1］では、b_pはpにおける背景フィーチャを表し、f_p,tは、分布関数D_p(f)によって他の確率変数としてモデル化することのできるある非背景フィーチャ（一時的な物体など）を表す。項∈_ｔは雑音を表す。

次に、背景推定と非動作検出の2つの問題を形式的に、以下のように推定理論および仮説試験の問題とみなすことができる。
・T_E個の観察O_p,tのシーケンスからb_pを推論する。
・b_pおよびT_D個の観察O_p,tのシーケンスが与えられた場合、b_pが変化したという仮説を試験する。

上記のモデルは、各点pおよび時間tにおけるフィーチャ観察が互いに独立していると仮定している。しかし、このモデルは、空間および時間の相関を組み込むように容易に拡張することができる。同様に、複数のフィーチャを用いることができる。

このモデルは様々なシーン内の非動作検出という実際的に問題については過度に形式的であると思われるが、確率が事前に分かる可能性は低く、実際確率は恐らく時間と共に変化する。さらに、問題を形式化すると、非動作検出器を構成する際の問題が明確になる。形式化によって、問題が統計推定手順に関する大部分の既存の理論および結果とリンクされる。

発明の開示
検出システム
図1は、本明細書で説明する動作検出システムの工程を全体的に表している。広義には、カメラ110によって取り込まれた入力画像はまず、図示されていない画像改善段を通過する。次いで、動作フィルタリング工程120およびフィーチャ抽出工程130が実行される。これらの工程120、130が実行される順序は重要ではない。

フィーチャアレイは次いで、背景推定器140に渡される。このプロセスは、信頼できる背景推定が得られ、その点で検出モジュール150がアクティブになるまで引き続き反復的に実行される。検出モジュール150は、背景推定器140および残りのモジュール150、160、170を循環するアラーム状態のアレイにあらゆる変化を出力する。

1組のアラーム状態が与えられたと仮定すると、形状フィルタモジュール160は、必要な形状または形態（スーツケースなど）の検出を取り込み、明らかな誤検出（擬アラーム）を除去するようになっている。形状フィルタ160によって指定される基準を満たさない検出アラームは、そのアラーム状態を変更される。アラーム状態は最後に、ユーザインタフェース170に渡される。

検出アルゴリズム
図2のフローチャートを参照して、非動作検出システム用のアルゴリズムについて概略的に説明する。以下に、技術的な問題および特定のアルゴリズム段階について詳しく説明する。表1は、図2のフローチャートに対応する擬似コード実現態様を示している。対応する段階は、図2および表1に示されている。

以下に、提案された検出システムの基本的な擬似コードを示す。検出サイクル全体のアルゴリズムは、表1に示されている擬似コードで概略的に表すことができる。

図2および表1では、段階205で画像が取得される。段階210でフィーチャが抽出され、段階215で画像から動きが除外される。段階220で背景画像が作成または更新される。段階225で、適切な背景画像が存在することが判明した場合、段階230で静止物体が検出される。段階225で適切な背景画像が存在しない場合、処理は段階205に戻り、したがって、他の画像を取得し、フィーチャを抽出し、動きを除外することができる。

段階235で検出が行われた場合、擬似検出が除外される。段階245で形状が検査される場合、段階250で、検出物の形状が所定の形状基準と突き合わされる。所定の基準が満たされている場合、ユーザインタフェースが適切に変更または更新される。以下に概略的に説明する特定の段階については、後でアルゴリズムに関して詳しく説明する。

概略的に説明すると、各入力フレームごとに、画像がNxMの小領域に分割される。測定されるあるフィーチャ（たとえば、テクスチャ）を表す各小領域から値が抽出される。画像の小領域ごとに、測定値を用いて、ヒストグラムまたはその他の好都合な表現を作成することによって、測定値の確率密度（pdf）関数の表現が作成される。

必要に応じて、前のフレーム同士を比較して、明らかな動きに関連するフィーチャ値を無くすことができる。背景は、一定の間隔で再推定される各pdfにおける最も頻繁に現れるフィーチャ値として推定される。この推定およびその更新は、望ましくは長い画像シーケンスで構成される。

背景推定が得られた後、各小領域ごとに、入力フィーチャ値が推定された背景に対応するものでないときはいつでも第2のpdfが作成される。

第2のpdfは、背景が再び現れた場合（すなわち、第2のpdfにおいて有意になる）にリセットされる。第2のpdfを作成するのに十分な時間の後、pdfのピークが調べられ、これらのピークが背景と比較される。有意のシフト／変化が起こった場合、その領域を、変化を示す可能性があるものとして登録する。変化を示す可能性のあるものが依然として臨界検出時間に存在する場合、その領域を変化した領域としてマーク付けする。臨界検出時間からある時間が経過した後に背景が見えなくなったが、pdfに有意のピークが存在しない場合、その領域をアラームまたは人間の判定を必要とするものとして登録する。

変化が検出された場合、この変化が孤立しているか、それとも変化のクラスタの一部であるかを判定する。必要に応じて、クラスタのサイズおよび形状を検出しようとしているサイズおよび形状（たとえば、「スーツケース」形状）と比較する。領域がこの制約を満たした場合はアラームを登録する。

画像改善
図の都合上図1には表されていない画像改善モジュールは、特定のフィーチャを抽出する前に入力画像に作用し、一般にエッジなどのフィーチャの検出を向上させる。さらに、実際には、カメラ110からの最初の入力画像の画質のために画像を改善することが望ましい。画像を改善するには、ヒストグラム平坦化のような様々な画像改善技術のうちの1つまたは複数を用いることができる。

画像改善によって、フィーチャの識別および判定を顕著に向上させることができる。ヒストグラム平坦化はシーンの変化の影響を受けやすいので、プロセスを代表的な画像に周期的に適用し、次いで、このような平坦化によって判定された参照テーブルを介在する入力画像に適用するだけでよい。このような方式では、画像内の他の場所の変化によって、連続するシーンにおける同じオブジェクトのフィーチャベクトルが変動することが無くなる。

また、過剰な平坦化が起こらないように留意すべきである。というのは、過剰な平坦化はいくつかのフィーチャの抽出に対して望ましくない効果を有することがあるからである。平坦化の前にヒストグラムを平滑化してもこの効果が低減するとは限らない。他の方法として、平坦化がヒストグラムの平方根に基づいて行われる。

動作フィルタリング
背景と非移動物体は定義上、静止している。したがって、背景推定および非動作検出では静止フィーチャのみが用いられる。この場合、フィルタを用いて、最近変化したフィーチャO_p,tにマーク付けし、繁華なシーンにおける背景推定と目標検出の両方を向上させることができる。次いで簡単な動作フィルタを実現することができ、現在のフレームと前のフレームが比較される。有意の変化を有する領域は、動きを含む可能性が高い領域としてマーク付けされ、そのような領域はさらなる検討から除外される。

この形態の動作フィルタリングは、フィーチャ前プロセスとして実現しても、フィーチャ後プロセスとして実現してもよい。フィーチャ前プロセスとして適用されるとき、各画素にグレースケール識別手順を適用することができる。したがって、たとえば、フィーチャ領域の60%よりも広い領域に変化が含まれている場合、その領域は動きを含む領域としてマーク付けされる。フィーチャ後処理の場合、単に現在のフィーチャが前のフィーチャと比較される。

フィーチャ抽出
フィーチャ抽出は、最初の画像の個々の各画素の変化を追跡することができる。実際には、検出システムに過度の計算負荷が課されるのでこれは不可能である。したがって、画素のpの部分集合においてフィーチャO_p,tを追跡することを選択することができる。これによって計算負荷が低減するだけでなく、pに関する窓内のすべての画素の関数としてフィーチャを算出できるという他の利点ももたらされる。したがって、結果として得られるフィーチャを雑音または、その他の外部からの影響に対してよりロバストになるように構成することができ、推定および検出手順の性能を最適化するように調整することもできる。

フィーチャ定義
様々なフィーチャを定義する前に、以下の表記を導入する。Iは、画像を構成する画素強度のLxW行列を示し、したがって、I_I,jは(i,j)番目の画素の強度を示している。N_i,jは、以下の数式［2］に従って（i.j）番目の画素を中心とする近傍を示す。

上記の数式［2］では、Kは近傍のサイズを定義している。通常、画像は互いに重なり合う近傍の集合

によってタイル化される。これらの近傍のそれぞれに関して、単一のフィーチャまたはフィーチャベクトルが算出される。この計算によって、近傍の画像の振舞いが概略的に示され、後の段階で検討する必要のあるデータの量が少なくなる。近傍同士が重なり合うことによって、フィーチャサンプリング格子に揃っていない画像内の有意の物体は、依然として取り込まれる。

次に、N_i,jは近傍N_i,jの画素値の集合を示している。すなわち、

である。次に、平滑化フィルタおよびエッジフィルタが以下のように定義される。係数kおよびcと関数

が与えられたと仮定すると、近傍N_i,jに対する平滑化カーネルG_i,jは以下の数式［3］によって定義される。

関連するエッジフィルタGxおよびGyと零交差フィルタG_Δは、以下の数式［4］から［6］で定義される。

説明を簡単にするために、添え字(i,j)は必要でないかぎり省略され、したがって、NおよびNは、一般的な近傍

およびこの近傍に関する画素値の集合Ni,jを示している。

システムの例では、係数kおよびcは通常、それぞれ8.0および0.3K²程度である。これらの値としては、近傍Nの満足いく範囲と、演算子を離散値のアレイに換算する際の合理的な近似との両方を実現する値が選択される。

フィーチャを定義するのに用いられる近傍に対する基本的な演算は以下のとおりである。まず、

は、以下の数式［7］によって定義される近傍Nの平均強度値を示している。

は、以下の数式［8］によって定義される、近傍Nに関する積の和を示している。

は以下の数式［9］によって定義される差の和を示している。

以下に概略的に示されているように、いくつかのフィーチャ演算子を用いることができる。

平均化

この演算子は計算が簡単であり、適切に分布し、雑音に対して比較的不変である。わずかな変動は、以下の数式［10］で定義されるガウスの公式による平均の重み付けである。

上の数式［10］では、

である。

勾配
勾配は以下の数式［11］を用いて算出することができる。

第2のモーメント
第2モーメントフィーチャ抽出は、以下の数式［12］を用いて算出される。

組合せ
このフィーチャは、以下の数式［13］によって定義される、平均明るさと画像分散の重み付き組合せである。

上記の数式［13］で、var(N)は近傍Nに関する画素値の分散である。

フィーチャO_p,tを作成するより体系的な手法は、各フィーチャをある変化に対して比較的不変にすることであり、このうちで実際的に最も重要なのは、全体的な光レベルの変化に対して不変であることである。強度値の線形設計し直しに対して不変なフィーチャの例を以下に概略的に示す。
エッジ角度

パターン

不変勾配

上記の数式［16］では、G⁺ _xおよびG⁺ _yは、ガウスの公式の第1の導関数G_xおよびG_yの正の値で構成されたフィルタに対応する。同様に、G^- _xおよびG^- _yは、負の値で構成されたフィルタに対応する。

不変第2モーメント

上記の数式［17］のG*は、ガウスの公式のラプラシアンの代わりに、以下の数式［18］によって定義される。

上記の数式［18］では、

である。このより複雑な演算子は、振舞いがラプラシアンに類似するようになっているが、零交差の近くで出力に深刻な影響を与える恐れがあるカメラジッターなどの係数の影響を受けにくい。

不変グレースケール
G^*を平滑化カーネルとする。N^*は、以下の数式［19］における近傍N^*に関する画素値を表す。

上記の数式［19］では、K^*>>Kである。この場合、フィーチャは以下の数式［20］によって定義される。

本質的に、これらの演算子のうちの1つを除くすべてが総エネルギーを用いてより簡単な演算子の結果を設計し直すことに留意されたい。

フィーチャは、雑音が存在してもロバストであるという特性も有している。実際には、上記の照明不変フィーチャは、低レベルの雑音の影響を受け、したがって、このようなフィーチャは、上記の数式中の分子に適切な定数δを足算してこのような状況において安定化することによって調整することができる（たとえば、調整されたパターンフィーチャは以下の数式［21］によって与えられる）。

調整フィーチャはもはや厳密に不変ではないが、このようなフィーチャの、弱い光での値はいずれにしても信頼できない値なので、δを小さな値に維持できる場合、不変とロバストネスとの兼ね合せが許容される。

最後に、後述の背景推定および非動作検出に関するヒストグラムベースの技術は、フィーチャ演算子の出力が可能な値の範囲にわたって均等に分布する場合に最も適切に作用する。この場合、ヒストグラムベースの検出方式の識別力は最大になる。

フィーチャ定義の例
図3は、上述のフィーチャ演算子の出力を示している。図3は、入力画像310、不変パターン320、不変第2モーメント330、平均と分散の組合せ340、不変勾配350、ならびに不変グレースケール360を表している。それぞれの場合に、演算子はサイズが8x8画素の近傍に適用される。図4と図5はどちらも、図3に表されているのと同様の100個の画像フレームに基づくフィーチャ値のヒストグラムである。

一般に、フィーチャ値は一様には分布しない。これは、パターンフィーチャの平方根をとることなどによって、出力を適切に設計し直すことによって改善することができる。ただし、これは常に完全な解決策になるとは限らない。

簡単な手法ではあるが、一様な重み付けまたはガウスの重み付けを含む簡単な平均化フィーチャによって一般に、計算面の要件が比較的厳しくなく、雑音の影響をそれほど受けない振舞いの良好なターゲット検出が行われる。しかし、可変照明を用いた場合、フレーム同士の間のグレーレベル値は非常に不安定で、背景推定および検出に用いられるほど信頼できる値ではない。同様に、複合グレーレベルおよび画像分散演算子は同様の特性を有する傾向があった。

パターン演算子は良好な結果をもたらし、エッジ検出器と同様に作用する。一方、勾配法および第2モーメント法に関するフィーチャ分布は不満足なものになる場合があり、一方、出力を設計し直すと分布が改善されるが、許容できない量の雑音が導入される可能性がある。

不変グレースケール法は、満足行く結果をもたらし、簡単な平均化法の特性のうちのいくつかを有する。より大きな平滑化カーネルを選択すると、計算面の負荷が増大するため、問題が生じる可能性がある。視覚的には、この演算子は、最初の画素を平坦化し、「ハロー」効果または「ゴースティング」効果を生じさせる傾向がある。エッジ角度フィーチャ演算子の出力は、間隔［0, 2π］にわたって一様に分布する。しかし、出力は、フレーム同士の間、特にエッジがほとんどない平滑な領域で大幅に変動し、正確な推定が困難になった。以下に説明する検出アルゴリズムにおいてこのことを考慮すると、ヒストグラムに「フィーチャなし」ビンが含まれる。近傍のエッジエネルギー

が特定の閾値εよりも低い場合、このビンは増分される。

しかし、「フィーチャなし」ビンを追加することによる解像度の向上が付加的なオーバヘッドに勝るかどうかが問題であった。たとえば、中間的な「エッジの可能性あり」の概念は、エッジが閾値レベルを囲んでいる状況をカバーする必要がある。他のより有望な方法は、ヒストグラム内のビンを単純な単位ではなくエッジエネルギーの分だけ増分するか、またはエッジエネルギーに比例する重みおよびその逆数に比例する広がりによってビンの重み付き広がりを増分する方法である。これらの方法は、低エッジエネルギーで観察される推定エッジ角度の大きな変動の影響を弱める。

非不変方式が照明の25%の低下に対処するのは困難である。しかし、照明不変方式では、照明が低下する前と後とのフレーム同士の間に観察可能な違いは生じず、検出振舞いは変化しない。さらに、エッジ角度演算子だけでなく、不変フィーチャ演算子の出力も、図4および5に示されているように指数関数的に分布する傾向があった。

不変勾配演算子および不変第2モーメント演算子は、雑音を増幅する傾向があった。分子のスカラの追加による調整によって雑音の影響は軽減されたが、それに対応して分解能が失われた。

平均化フィーチャおよびそれに関連する不変量のみが、ある物体の全体にわたって満足行く判定結果を与える傾向があった。残りのフィーチャの出力は、物体が強力な内部フィーチャを含んでいないかぎり物体の周囲に集合する傾向があった。さらに、不変量および勾配ベースの他のフィーチャは、ある一様なカラーパッチを他のカラーパッチと区別するのが困難である場合がある。

不変フィーチャ演算子における調整項は部分的に成功し、雑音レベルが低いときに最も満足行く結果をもたらす。雑音が多くなると、画像のより暗い領域のフィーチャ値が大きく変動する。この雑音感度は主として、演算子の総エネルギーが小さいときに起こる出力値の急激な遷移によるものである。調整値を大きくして付加的な雑音に対処すると、演算子の不変特性も低下する。

全般的に見て、演算子間に優劣の差はない。一般に、平均化演算子は一定レベルの照明に適している。常に一様な照明を確保することはできないので、不変パターン、第2モーメント、またはグレースケール演算子が適切な代替策となる場合もある。様々な演算子を同じ形状に適用したときにそれぞれの異なる出力が生成されることにも留意されたい。この点は、形状フィルタリングを用いて、孤立したアラームを除去するように検出を後処理する場合に考慮すべきである。

背景推定
上述のように、振舞いのモデル化は2つの数式によって表すことができる。これらのうちの第1の数式では、観察されるフィーチャは、b_p、すなわち背景フィーチャと何らかの雑音との和に等しいO_p,tである。

ナイーブ推定
背景を推定するにはいくつかの手法を利用することができる。これらのうちの第1の手法はナイーブ推定すなわち累積法である。この方法は、背景フィーチャをタイム露光写真のように扱うことによって背景を推定する。したがって、背景推定は、ある方法で合計された多数のフレームの集合である。動きが疎である場合、簡単な方法を用いて背景を推定することができる。一例を以下の数式［22］に与える。

上記の数式［22］では、f_p,tは背景の合理的な推定を行ううえで十分な点pおよび時間tで見られるフィーチャである。動きがより頻繁に行われるとき、簡単な方法では、動きのぶれが起こり、背景推定の精度に深刻な影響を与える恐れがある。動作検出が利用可能である場合、そのような動くフィーチャを背景推定プロセスから除外することができる。しかし、信頼できる検出フィルタリング方法がない場合、そのような技術は失敗し、シーンは多数の動く物体を含む。

この方法の性能は、現在のフィーチャをある少ない一定の量だけ調整することによって改善することができる。これは、重み付き和手法の収束特性はかなり不十分になる傾向があるからである。さらに、背景推定において新しいフィーチャが現れる率はより一貫したものになる傾向がある。たとえば、黒い背景上の白いブロックは、同じ黒い背景上のダークグレーのブロックよりも急速に背景推定に現れる。

分布ベースの推定
他の好ましい方法では分布ベースの推定が行われる。観察されるフィーチャは、2つの分布、すなわち背景フィーチャと一時的なフィーチャの混合物としてモデル化することができる。いずれかのフィーチャが任意の特定の値をとることが予期される理由はなく、事前に予期されるのは、背景フィーチャ分布がある値の周りに顕著なピークを有する可能性が高いことだけである。全般的に見て、一時的なものに適用されたときに値の比較的一様な分布を有する可能性が高いフィーチャを用い、フィーチャ値の全体的な分布の最大値の位置になる背景フィーチャの値を得るのが好ましい。これはもちろん、分布のモードである。

この手法は以下の段階を含む。観察O_p,tのシーケンスが与えられた場合、それらの値の分布を推定する。ある十分な数T_Eの画像フレームの後、推定される分布のモードに対応するフィーチャとなる未知の背景b_pの推定b_p ^*を得る。

通過する物体による遮断または干渉がまれである場合、背景が最も頻繁に見られるシーンであることは明らかである。したがって、この方法は、遮断回数が増えても推定器が同じ値を生成するという点でロバストである。しかし、この方法は、遮断が、ある新しい値がヒストグラムのモードになるのに十分な頻度になると失敗する。この失敗点は、遮断率と一時的なフィーチャ値の分布との両方に依存する。一時的なフィーチャが一様に分布する場合、一時的なものが背景よりもずっと頻繁に起こるにもかかわらず推定は依然として作用する。

静止フィーチャが背景フィーチャである可能性が最も高いため、性能は、動き検出を用いて、最近変更されたフィーチャを除外することによって改善される可能性が最も高いことも認識されたい。この手法は、背景がほとんどいつも見えなくなるほど多くの動きがシーン内にない場合に作用する。しかし、動きが頻繁に行われる場合、動きフィルタはほぼすべての観察を削除し、背景が依然として断続的に見えるにもかかわらず、本質的に検出システムから入力を無くすことができる。

ヒストグラム法
基本的な分布を推定する他の手法は、入力フィーチャ値の大きなサンプルからヒストグラムを作成する手法である。この場合、未知の背景の推定は、最大数のカウンタを有するヒストグラムビンのアドレスに過ぎない。この態様は、計算が簡単であり、正しい条件の下で合理的な結果をもたらす。しかし、ヒストグラムは、かなり粗な分布推定器であり、真の分布の正確な近似を作成するのに多数のサンプルおよびビンを必要とする。

より精密な分布推定器はカーネル法である。カーネル関数は通常、平滑化パラメータによって調節される幅を有するデルタ関数に対するある種の平滑な近似である。どの平滑化パラメータを選択するかは、得られるサンプルの数に依存する。カーネル法は、以下の数式［23］に表されている一般的な形式を有する。

上記の数式［23］では、K(f)は、カーネル関数と呼ばれ、通常、平滑化パラメータλによって調節される幅を有するデルタ関数へのある種の滑らかな近似である。λの選択は、収集されたサンプルO_p,tの数T_Eに依存する。この場合、b^* _pはD^* _p(f)のモードである。

カーネル手法を直接適用するには、背景推定の前に多数のフレームを記憶する必要がある。または、カーネルを用いて、簡単なヒストグラムのビンと同等な一連のビンに値を加えることができる。各ビンは、真の分布に沿った互いに離散した点における推定に等しくすることができる。この精度は、得られるサンプルの数、ヒストグラムスロットの数、および使用されるカーネルに依存する。

1つのパラメータ手法は、少数のビンと一緒に用いられる、各ビンの幅の少なくとも1.5倍の分散を有する小さなガウスカーネルを得る手法である。これによって、モードの推定時に、サンプル点同士の間に位置するピークが失われることがなくなり、一方、基本的なヒストグラム手法の相対的な単純性が維持される。

背景の連続的に更新される推定は、b_pが検出閾値よりもずっと遅い速度で経時的に変化する場合に必要である。これは、ヒストグラムを断続的に設計し直すことによって行うことができ、設計し直すことは、ヒストグラムの、古いフィーチャに関連するピークを減衰させる効果を有する。

したがって、基本的な手法を以下のように修正することができる。引き続きヒストグラムデータを収集する。背景推定を断続的に更新する。データがある規定の閾値を超えた後、ヒストグラムを縮小する。

設計し直すことは、シーンの漸進的な変化が予期される速度に依存する。これは外部パラメータとして指定しなければならない。しかし、更新同士の間のタイムスケールは、指定された検出タイムスケールよりもずっと大きくなければならず、そうでない場合、背景の漸進的な全体的な変化が特定の背景フィーチャにおける動きの検出と混同される。

断続的な設計し直しおよび更新に代わる方法として連続的な設計し直しおよび更新がある。カーネル推定器の場合、これはあらゆる段階で行われる。計算の例を以下の数式［24］に与える。

上記の数式［24］で、「半減期」パラメータρは、背景の変化が予期されるタイムスケールを反映し、この場合、平滑化パラメータλはρに依存する。b_pの更新推定b^* _p,tをあらゆる段階で再計算することもできる。

より一般的には、様々なパラメータは、背景の変化が予期されるタイムスケールを反映し、この場合、平滑化パラメータはそのタイムスケールに依存する。さらに、あらゆる段階で更新推定を再計算することができる。

級数推定
背景推定を計算する他の方法は、級数法を介して行われる。級数はフーリエ関数を近似する。これは、ビンの大きな集合を用いて基礎的な分布を求めることに代わる方法である。分布は、［0, 2π］の範囲内で変化する適切なフーリエ級数によって近似することができる。適切な級数近似を以下に数式［25］として与える。

上記の数式［25］では、fは［0, 2π］のある小範囲内で変化する。このような級数近似の1つの有用な特性は以下の数式［26］で表される。

他の有用な特性は、以下にある一定のシフトcに関する数式［27］として表される式である。

したがって、カーネル法に基づく分布の推定は、適切な変換の下でカーネルの係数の和を求めることによって各フレームごとに再計算することができる。この手法は、以下の数式［28］および［29］で概略的に表すことができる。

上記の数式［28］および［29］では、fⁿ _pは、点pにおけるn番目のフィーチャであり、α^*(k)およびβ^*(k)は、原点を中心とするカーネルへの近似のk番目の係数である。

このような級数近似の多数の有用な特性がある。カーネル法に基づく分布の推定は、適切な変換の下でカーネルの係数の和を求めることによって各フレームごとに再計算することができる。

次いで、級数近似をサンプリングし、最大値に注目することによって、分布のモードの推定を算出することができる。したがって、使用される係数の数を適切に選択するには、精度要件とメモリ要件との釣り合いを求めることができ、それによって、このような方法を実際的なものにすることができる。

この手法の利点の1つは、背景推定が、値の全範囲にわたって変化することができ、ヒストグラム手法とは異なり互いに離散した段階に制限されないことである。さらに、このような級数近似の周期性のために、フィーチャ値を［0,2TT］範囲上にどのように写像するかに応じてフィーチャ値を循環させてもさせなくてもよい。

適切なカーネルサイズおよび形状の評価は、級数法の場合の主要な因子である。フィーチャ推定誤りはガウスの法則の性質を有すると仮定することができる。この場合、推定理論と画像データに存在する可能性の高い雑音の量とに基づいて行われる。大部分の分散が、雑音によって生じるフィーチャ推定誤りによるものであると仮定すると、推定される分散の平方根は、データ中に存在する雑音の振舞いに関係するようになる。

最適なサイズは、以下の数式［30］に従って予想される。

上記の数式［30］では、σ²は推定される分散であり、nはサンプルの数である。大部分の分散が、雑音σによって生じるフィーチャ推定誤りによるものであるという仮定は、データ中に存在する雑音の振舞いに関係するようになる。

更新は、以下の数式［31］に従って係数を設計し直すことによってこのモデルに容易に組み込むことができる。

したがって、数式［32］および［33］が得られる。

上記の数式［32］および［33］では、λは、好適には0に近い定数である。フィーチャ値は分布に足算され、分布の現在の状態（経時的に変化することができる）に対するフィーチャ値の重要性が変化するにつれて経時的に徐々に減衰する。

検出によって誘導される更新
考慮する必要のある他の点は、背景の信頼できる推定を維持することである。この場合、検出された物体を背景推定にどのように組み込むか、それとも組み込まなくてよいかを考慮する必要がある。この場合、以下の4つを含むがそれらに限らないいくつかの方法を使用することができる。

第1に、単に検出器をリセットする。この場合、背景更新がアクティブであると仮定すると、物体が、背景に組み込まれるまで繰り返しアラームを発生させることができる。

第2に、単に、動く人などの物体が消えるまで待つことができる。この間、時間に関連するフィーチャが背景更新に用いられることはない。

第3に、検出された領域に関する背景推定を再作成することができる。ヒストグラム検出技術を用いる場合、収集されたヒストグラムを初期データとして用いることができる。

第4に、背景推定を、検出のフィーチャが分かっている場合にそれに一致するように、関連するデータ収集と一緒に修正することができる。第2および第3の方法を用いる場合、画像の小領域が見えなくなる時間がある。

完全な運用システムでは、ユーザ制御を有さないデフォルト決定を採用するか、または制御をできるだけ簡単にすることが望ましい場合がある。ユーザ制御がないときは、あらゆる検出を、ユーザがそれらの検出に気付くのに十分であると判定される時間間隔の後で自動的にリセットすることができる。ユーザ入力が許容できる場合、ユーザは検出を無視するか、または背景に組み込むべきであることを示すことができる。

背景推定で考慮すべき点の1つは、適切な収集時間である。一般に、初期推定を収集するのに用いられるフレームの数は、半静止物体が意図せずに背景推定に含まれることのないように検出時間の何倍にも相当する数であってよい。

性能
背景推定方式の性能は好ましいものである。十分なフレームが与えられたとすると、ヒストグラム背景推定法は信頼できると共に安定した方法である。これは主として、用いられるフィーチャタイプには依存しない。予想されるように、級数ベースの手法は、ヒストグラムベースのより離散した手法よりも正確な背景推定を生成する。もちろん、このような精度は、計算およびメモリの追加を犠牲にして得られる。これに対して、ナイーブ重み付き加算（累積）法と比較すると、このような方式は、良好な動作フィルタリングが利用可能であり、かつ動くターゲットがほとんど存在しないのでないかぎり、一般に適していないことが分かる。

適切な収集時間を設定することが正確な推定を行ううえで重要であることは確かである。初期推定を収集するのに用いられるフレームの数は望ましくは、半静止物体が意図せずに背景推定に含まれることのないように検出時間の何倍にも相当する数である。背景フィーチャについて異なる2つ（またはそれ以上）の候補があるときにもいくつかの問題が残る。このような状況は、静止した物体が背景推定からある程度削除された場合に生じる。ただし、経験的な観察によれば、この問題はめったに起こらない。さらに、複数のピークが有意の誤り源になった場合、推定は恐らく検出時間を延長することによって解決することができる。

背景更新も適切な振舞いをする。付加的な更新は、小さな誤検出を減衰させる傾向がある。しかし、更新およびスケーリングは、一時的なものが含まれることも、背景の実際の変化が背景推定に現れるのに時間がかかり過ぎることもないように、ヒストグラム点の数を合理的なレベルに維持しなければならない。4種類の検出誘導更新についても検討する。「リセット」手法は背景更新に影響を与えないので、この手法は最も悪影響が少ない。「リセットに対する待機（wait on reset）」手法の主として悪影響が少ない。この手法の使用に伴う唯一の問題は、背景推定の維持に関する。物体が長期間にわたって静止している場合、その領域の前の背景推定は、照明の変化などの要因のためにもはや有効ではない場合がある。

「再作成」手法は、それによって新しい背景フィーチャがより確実に推定されるので、恐らくより望ましい手法である。しかし、再作成が完了する前に物体が動かないという保証はなく、したがって、背景推定は不確かな状態になる。「リセットに対する待機」法と「再作成」法のどちらでもシステムにブラインドスポットが導入されることに留意されたい。「リセットに対する待機」の場合、これは、検出された物体の動きが短時間であることが予想される場合には許容される。最後に、「修正」手法は、ただちに更新を行いかつ引き続き検出を行うのを可能にするが、場合によっては正しい背景フィーチャの誤推定を犯す。したがって、ヒストグラムにピークを挿入すること（または何らかの同様の「手段」）は推奨されない。検出ヒストグラムが利用可能である場合、これを用いて背景ヒストグラムを置き換えることができる。設計し直しを行わない場合、初期ヒストグラムの収差を次の背景更新時に補正することができる。

非動作検出
背景検出では、観察されるフィーチャが背景フィーチャと何らかの雑音との和に等しいが、考慮すべき第2の問題は、観察されるフィーチャが画像シーケンス内で変化したかどうかである。ここでは、4つの特定の技術について論じる。これらの4つの方法のうちの2つは、フィーチャ分布の条件付き推定を含む。

カウンタ法
第1の方法は単なるカウンタ法である。したがって、背景が見えない場合、非背景カウンタを増分し、そうでない場合は背景カウンタを増分する。背景カウンタがある閾値を超えたときには両方のカウンタがリセットされる。そうでない場合、非背景カウンタが他のある閾値を超えた場合に検出が登録される。

この方法は、ある期間にわたって見えない画像領域をかなり容易に検出する。しかし、この方法は、一時的な物体によって生成されたフィーチャのいずれかが背景のフィーチャと同じである場合には失敗する。さらに、この方法は、関心対象の特定の発生の超集合を検出する。これは、この方法が動きと共に、背景の変化にも応答するからである。

したがって、この簡単な方法は繁華なシーンでは失敗する。なぜなら、複数の動くターゲットが静止したターゲットと混同されるからである。この問題に対処する1つの方法は、動作検出を用いて動きを除外することである。

ヒストグラム法
第2の方法はヒストグラム法である。この場合、背景が見えない間、各画像領域でヒストグラムデータが収集される。背景が再び現れた場合、データはリセットされる。十分な点が収集された後、ある所定のレベルを超えるピークを探す。この手法は、非背景フィーチャを迅速に識別するべきであり、背景が見えなくなることが少ないときは、複数のターゲットの影響を容易に受けることはない。

この方法は、さらに背景推定手順と統合することができ、擬似検出を犯す可能性はカウンタベースの方法よりも低い。しかし、この方法は、簡単な方法よりも多くのメモリおよび計算力を必要とする。さらに、この方法の性能は、多数の一時的な物体が存在するときには低下する。検出時間は一般に長くなる。最後に、この方法は、最初の背景のフィーチャに一致する十分に多くのフィーチャを一時的な物体から検出することができない。

フレームバッファ法を用いたヒストグラム
第3の方法は、ヒストグラム法を拡張したものであり、簡単なタイムアウトを伴う。検出が報告されないにもかかわらずヒストグラムサイズが特定の限界に達した場合（すなわち、多数のフレームが検されたにもかかわらず決定に至らない場合）、その領域は検出の可能性ありとして報告される。これは、背景がある期間にわたって見えず、かつ頻繁に見えなくなる物体がある場合に起こる。

可能な変形態様には検出時間推定が含まれ、この場合、最初の検出時間および最後の検出時間が各ヒストグラムビンに関連付けされる。フィーチャが十分に頻繁に起こり、かつ関連する時間が規定の検出時間よりも長い場合、検出が登録される。この手法を利用する理由は、繁華なシーンでは一般に、検出時間の方がヒストグラムサイズよりも正確であるからである。一般に、時間は早期検出の側で誤りを犯す傾向がある。頻度試験を用いる場合、検出時間は動きが増えるにつれて顕著に長くなる。この方法の欠点は、検出段階でより多くのメモリが必要であることである。

級数法
第3の方法は、級数ベースの方法であり、入力フィーチャに対する分布の級数表現の作成を含む。分布が背景に関連する顕著な近点になった場合、分布はリセットされる。収集時間が長すぎる場合、タイムアウトが登録され、正確なタイミング情報が必要である場合には、時間情報が時間級数として表され、フィーチャ分布と一緒に収集される。

第3の方法は、級数ベースの方法であり、入力フィーチャに対する分布の級数表現の作成を含む。分布が背景に関連する顕著な近点になった場合、分布はリセットされる。収集時間が長すぎる場合、タイムアウトが登録される。正確なタイミング情報が必要である場合には、時間情報が時間級数として表され、フィーチャ分布と一緒に収集される。

重ね合せヒストグラムビン方を用いるとさらに性能を向上させることができる。フィーチャが特定のビンに入るとき、そのビンとそのすぐ隣のビンが更新される。これによってヒストグラムが平滑になり、したがって、互いに隣接するビンの境界をまたぐピークがより適切に対処され、雑音の影響が軽減される。

明確な1組のターゲットフィーチャを有する信頼できる背景推定を仮定すると、上記のすべての方法は、動きを含むシーン内の静止した物体の出現を検出することができる。非常に繁華なシーンの場合、ヒストグラム法にタイムアウト試験を含めると、フィーチャがまれにしか現れないものであるために検出に失敗することはなくなる。しかし、物体が見えなくなる頻度が増すにつれて検出時間が（限界まで）長くなる。ヒストグラムにタイミング情報を含めることによって、検出時間の信頼性が向上する。しかし、ヒストグラム頻度も総収集時間もそれだけでは十分に正確ではない。頻度検出だけでは繁華なシーンにおける検出が失敗し、総収集時間では他の擬似検出および早期検出が起こる。

形状フィルタリングおよびユーザインタフェース
この段階は、アラーム状態がユーザインタフェースに到着する前にアラーム状態の後フィルタリングを収納することを目的としている。フィルタリングは、ここで行われる特定のサイズまたは形状検出を助けるのに用いられる。

簡単に言えば、ある領域が検出を示すと、システムは、近傍のうちのどれかも検出を登録したかどうかを検査する。登録していない場合、システムは新しい検出を示すようにリセットされる。または、画像の非常に広い領域が検出を登録した場合、照明レベルがかなり変化したかどうかの検査が行われる。かなり変化した場合、これらの領域はリセットされる。

上記のことは、有効な検出が少なくともN個の互いに隣接するアラーム点を含むことに気付いた場合に理解することができ、それによって局所的な誤りがアラームを発生させる機会が少なくなる。この前提条件を満たさないアラームは中間段階に設定され、次のシーケンスで再発行することができる。近傍の点が1フレームまたは2フレーム分遅れている場合、領域全体が同時に検出になる傾向がある。そのため、この種の誤り率フィルタリングを検出段階に組み込み、この段階を完全に無くすことができる。いくつかの領域が検出を登録した場合、照明レベルが十分に変化したかどうかが検査される。この例には、雲に隠れた太陽を含めることができる。

形状フィルタリングは、フィーチャタイプの選択に関係するように構成することができる。検出画像の近似的な形状によってスーツケースや自動車のような様々な物体を認識することができる。認識できない場合、検出領域の入力画像を処理することができる。

アルゴリズム
上述の表1のアルゴリズムでは、「画像取得」段階は単に、用途に適した監視カメラを用いて行われる。以下の表2は、「フィルタ抽出」段階の擬似コードを示している。

表2のアルゴリズムでは、算出されるフィーチャは、整数結果上に写像できるあらゆるフィーチャであってよい。このフィーチャは、望ましくは照明の小さな変化に対して不変である。さらに、互いに類似したフィーチャは互いに類似した整数値上に写像される。すなわち、互いに類似したフィーチャは、整数に変換された後にまとめるべきである。たとえば、以下の数式［34］に適切なフィーチャ値が示されている。

上記の数式［34］では、cは小さな定数であり、加算は画像の小さな近傍にわたって行われる。この出力は次いで、設計し直され、整数範囲内に丸められる（たとえば、0...255）。

以下の表3は、表1のアルゴリズム中の「動き除外」段階の擬似コードを示している。

フィーチャ値が滑らかに変化する場合、フレーム同士の顕著な差は、動く物体または急激なシーンの変化に関連している可能性が最も高いかなり異なるフィーチャの存在を示すはずである。フィーチャ同士がそれほど異なっていない場合、フィーチャは同じ静止した物体に関連している可能性が最も高い。

表4は、表1のアルゴリズムの「フィーチャに基づく背景推定の作成または更新」段階の擬似コードを示している。

「分布を更新」し、「最も確率の高いフィーチャ（分布内のピーク）を見つける」のに用いられる技術は、経時的なフィーチャ値の分布を推定するのに用いられる技術に依存する。使用できる2つの手法は、ヒストグラム、またはフーリエ級数ベースのカーネル法が含まれる。

表5および6はそれぞれ、ヒストグラム手法を用いて、「分布を更新」するアルゴリズムと、「最も確率の高いフィーチャ（分布内のピーク）を見つける」アルゴリズムとを示している。カーネル法を用いた他のアルゴリズムは、以下の表7および8に示されている。

カーネル法は、密度に対するカーネル手法に基づく方法である。多数の離散値を用いて分布を表すのではなく、フーリエ近似によって分布を表すことができる。

分布を作成する際に用いられるカーネルは、このように表すこともできる。したがって、分布の更新は、（入力フィーチャ値に対してシフトさせられた）カーネルの係数のうちのある割合を現在の密度推定の係数に足すという更新になる。

背景推定を作成する場合、単にフーリエ近似を用いて最大確率を有するフィーチャを見つける。

上記の表7および8の擬似コードには、各画像領域の状態空間が組み込まれている。背景推定モジュール、検出モジュール、およびフィルタリングモジュールはこれらを用いてモジュールの振舞いを変更することができる。たとえば、変化として検出された画像領域のフィーチャは、状態が変化するまでその領域の分布には送られない（そうでない場合、更新によって、検出された物体が早過ぎる時期に背景推定の一部になる可能性がある）。さらに、画像のそれぞれの異なる領域で様々な動作が行われる可能性がある。ここで使用される状態を以下に列挙する。
1．待機−背景推定に対する待機
2．アクティブ
3．検出の可能性あり−不審な領域の出現
4．検出−ある領域が背景の変化して検出される。
5．リセットに対する待機−ユーザリセットまたは物体が去るのを待つ（選択的）
6．リセット−検出のリセットを強制的に行う。
7．ユーザの決定−ユーザの決定を強制する（選択的）。

表9は、表1のアルゴリズム中の「静止物体検出」段階の擬似コードを示している。

背景の変化は背景と同じフィーチャ値を有さない。したがって、第2の分布を作成し、これを背景推定と比較することによって、このような変化をそれが起こった直後に検出することができる。たとえば、第2の分布のピークは背景分布のピークと異なるものになる可能性が高い。

上記では、背景が（分布のサイズによって示される）十分に長い期間にわたって見えなくなったときはまず、変化した可能性がある領域が登録される。背景が依然として存在する場合、分布は連続的にリセットされ、そうでない場合、分布は、変化が起こった（たとえば、ピークが移動した）ことが十分に明確になるまで作成される。

この場合も、分布の様々な表現を用いることができる。

表10は、表1のアルゴリズム中の「擬似検出除外」段階の擬似コードを示している。

第1の段階は、孤立した検出から擬似アラームレートを削減することを目的としている。これは、早期検出を1フレームまたは2フレーム分遅延させ、早期検出に明確なクラスタを形成させるという利点も有している。後者の試験は、検出が関心対象の物体に関連付けるには大きすぎるかどうかを確認するものである。たとえば、カメラが妨害されるかまたは誤動作するか、あるいは照明が大きく変化した場合にこの試験が行われる。

以下の表11は、表1のアルゴリズム中の「必要な検出形状を探す」段階の擬似コードを示している。

この概念は、スーツケースなどの形状が画像内にどのように現れるかのバイナリ表現が「テンプレート」であることである。

以下の表12は、表1のアルゴリズム中の「ユーザインタフェース」段階の擬似コードを示している。

上述の技術は、場合によっては人間のオペレータでは観察できない背景シーンの変化を示すことができる。ただし、実際のシステム要件を特定の用途に適合させることが必要になることがある。

たとえば、システムが戸外の直射日光の下で用いられる場合にシステムの適合が必要になることは明らかであり、記録された個々の画素が飽和しないようにビデオカメラにオートアイリス機能を組み込む必要がある。オートアイリス機能は、この高くなった光度を補償するように明るさを自動的に調整する。ただし、個々の値の測定された分布全体が影響を受ける可能性は依然として高い。さらに、画素のオーダーの、カメラのあらゆる動きによって、個々の画素の強度の経時的な分布の推定を妨害する恐れがある。

実施例
以下の実施例は、プロトタイプ背景変化検出システムの出力を表している。本明細書で説明する技術は、実際の監視カメラ画像の200秒シーケンスを用いて示されている。

画像レイアウト
図6.1から6.11は、画像シーケンスの例を示している。シーケンス内の各画像は、3つの異なるフレームを有する窓600に表されている。検出プロセスにおける特定の処理段階を示す3つのフレームの各々の内容について以下に説明する。

入力フレーム610は、窓の左側のメインスクリーンに表されており、600は、監視カメラからの入力画像を示している。これには、背景が算出されるかどうか（「青」）、検出の可能性のある領域が見つかったかどうか（「緑」）、検出イベントが起こったかどうか（「赤」）を示すカラーコードが重ね合わせられている。この文献では、単色複写のため、青は黒として表され、緑は濃い灰色として表され、赤は明るい灰色として表されている。

処理済の画像フレーム620は、右上の画面に洗わされており、システムが実際に分析する処理済の画像を示している。本明細書で説明するように、この画像は、最初の画像のサブサンプリングされた表現である（この場合、サブサンプリングは約4対1である）。この場合、テクスチャフレーム手段が用いられる。このテクスチャフィーチャは、エッジおよびテクスチャ化されたサーフェスを強調表示する傾向がある。このことは以下の図7に示されている。この「フィーチャ」画像内のあらゆる青色領域は、あるフレーム内のフィーチャ値と次のフレーム内のフィーチャ値を比較することによって検出される、システムが動きを含む領域として検出する領域を示している。

背景推定フレーム630は、右下の画像に表されており、右上の画像620に示されている形式の画像入力に基づく現在の背景推定である。この場合、ランダムノイズパターンは、システムがまだ、観察されているシーンの背景推定を決定していないことを示している。

図7は、入力画像のフィーチャ推定への変換を表している。この場合、最初の画像710内のNxN画素の領域は、「フィーチャ」画像720内の単一の値に変換される。使用できるフィーチャタイプについては上記に記載されている。

最初に検出プロセスを開始する際、背景の推定を作成する必要がある。入力フィーチャ画像（フレームの例の右上の画像620）の各領域について、入力値のヒストグラムを作成する。

背景が画像の各領域で最も頻繁に見られるパターンである場合、この現象によって、フィーチャの各ヒストグラム内のピークが形成される。このことは図8に示されている。この推定を作成するうえで、シーンから活動を無くす必要はない。

図8は、経時的な値のシーケンスに基づくシーン内の特定の位置の背景の推定を表している。このプロセスは、シーン内の他のあらゆる領域にわたって同時に動作する。領域の例810が表されている。背景の推定は、通常不審な包みを識別するための検出時間の数倍に相当する十分な数の測定値が得られた後にヒストグラム分布820を用いて作成される。背景の推定は、自明の動きに関連するフィーチャ測定値を除外することによって向上させることができる。これらの領域は、フレーム620内の入力画像では青色にマークされている。

さらに、経時的な漸進的なシーンの変化を補償するために、初期背景推定が作成された後、背景ヒストグラムが引き続き更新され、背景推定が必要に応じて変更される。これは、所望の検出期間よりもずっと長いタイムスケールで行わなければならない。

フレーム1から3は初期推定プロセスを示している。フレーム3の右下の画像は、上記の処理段階に基づく結果として得られる背景推定である。メインビューの色が青いのは、システムが現在、処理の検出部分を活動化する前に背景を判定していることを示している。

フレーム1
検出システムが第1の画像を見る（T=0s）。

フレーム2
検出システムが後の画像を見る（T=30s）。シーン内に数人の歩行者が存在することと、右上の画像の結果として得られた動作領域に留意されたい。

フレーム3
初期背景推定が作成された直後のシステム（T=75s）。右下の背景推定が、歩行者ではなく通路に関する情報を取り込んでいることに留意されたい。

フレーム4から6
「不審な包み」の挿入。この時点では、シーンの背景推定が作成されており、この推定が右上の画像内の入力フィーチャと比較されている。詳細な説明で説明したように、この比較は、各領域についての入力フィーチャの第2のヒストグラムを連続的に作成し、現在の背景推定に関連する値が十分な回数だけ観察された場合にはこのヒストグラムをリセットすることによって行われる。

図9は、背景が見えるときの検出サイクルの図である。最初、シーン内には動く歩行者のみが存在しており、検出ヒストグラムは、支配的なフィーチャ値が現在の背景推定に一致すると周期的にリセットされる。このサイクルは、連続的なヒストグラム分布910、920、および930によって示されている。しかし、フレーム6では、包みがカメラの視野、この場合はシーンの左上隅に配置されている。

フレーム4
不審な包みが挿入される直前のシステム（T=100s）。

フレーム5
不審な包みが左上に挿入される（T=102s）。

フレーム6
挿入直後の画像シーン（T=104s）。システムがシーンの変化を識別する時間がなかったことに留意されたい。

フレーム7から8
包みの初期検出。

前述のように、画像の各領域において、最後のわずかな瞬間にわたるフィーチャを表すヒストグラムが作成される。シーンの静的な変化を含まない領域では、これらのヒストグラムは引き続きリセットされる。しかし、「不審な」包みとの関連を有さない領域では、新しい支配的なフィーチャがもはや背景推定と同じではないため、これらのヒストグラムが周期的にリセットされることはない。

以下のフレームの例では、背景が数フレームにわたってリセットされない領域が緑色に強調表示されている。このような領域は検出領域の候補を示している。歩行者のような一時的な物体が、短時間の間背景の一部を見えなくする可能性があるので、常に上記のようになるわけではないことに留意されたい。

フレーム7
しばらくしてからの検出ステータス（T=128s）。この時点で、包みは数秒にわたって存在しており、今や新しいシーンの変化とみなすことができる。システムは、包みを強調表示し、それが所望の検出期間の少なくとも2分の1の時間にわたって存在していることを示している。

フレーム8 少ししてからの検出ステータス（T=142s）。包みがシーン変化を示す可能性があるものとして完全に表されていることに留意されたい。

フレーム9から10
検出。シーン変化（この場合は不審な包み）がシーン内に持続している場合、検出ヒストグラムが引き続き作成され、背景の値とは異なる新しい支配的な値が現れる。この時点で、変化が起こってから所望の検出期間よりも長い時間が経過しており（このことは、作成されたヒストグラム内の要素の数によって判定することができる）、かつ新しい支配的な値が生じている（すなわち、分布のモード）場合、この領域は背景変化としてマークされる。

図10は、不審な包みが存在するときのように背景変化が存在するときの検出プロセスを表している。これは、フレームの例9から10では赤色に強調表示されている。3つの連続するヒストグラム分布は1010、1020、および1030である。フレーム10では、不審な包みがシーン変化して識別されていることは明らかである。

フレーム9
しばらくして（T=158s）、包みのいくつかの部分（赤色に強調表示される）が検出時間を超える。

フレーム10
しばらくして（T=168s）、包みは今や明らかにシーン変化として検出されている。

フレーム11から13
検出および一時的な変化。この例の残りのフレームは、不審な物体が引き続き検出されることを示している。さらに、左上隅の歩行者は、最初フレームの例9に現れているが、関心対象領域である可能性のあるものとして示されている（緑色）。たとえば、フレーム13では、歩行者が動き始めている。

ここで2つの点に注目する表示がある。すなわち、歩行者が比較的静止した状態にあった時間は長いが、ここで用いられている検出期間以下である（約50秒）。

歩行者が動き始めた後、背景シーンが再び見えるようになり、歩行者に関連する関心対象領域である可能性のあるものは、検出ヒストグラムがリセットされた（すなわち、背景推定に等しい十分な値がヒストグラムに現れた）ときに消え始める。

フレーム11
左上の静止した歩行者は今や、シーン変化を示す可能性のあるものとして識別されている（T=185s）。歩行者はこれまでに約30秒静止している。

フレーム12
歩行者がシーンを離れた直後（T=196s）。

フレーム13
しばらくして（T=200s）、すなわち、歩行者が動き始めてから数秒後。歩行者に関連する検出領域である可能性のあるものがすでに消え始めている。付加的な注意：生検出出力の後処理

本明細書に示されている例では、生検出出力を簡単なクリーニングアップ段階を通過させ、孤立した検出を削除した。というのは、これらは小さなシーン収差やカメラジッタなどに関連する可能性が高いからである。ここで利用したプロセスは単に、少なくとも1つのすぐ隣の検出を有さない検出を削除することであった。

図11は、簡単なクリーニングアッププロセスの前後のこの生検出段階を表している。生検出はフレーム1110に表されており、クリーニングアッププロセス後の処理済検出はフレーム1120に示されている。

コンピュータハードウェアおよびソフトウェア
図12は、本明細書で説明する技術を実現するのに用いることのできるコンピュータシステム1200の概略図である。コンピュータソフトウェアは、コンピュータシステム1200上にインストールされた適切なオペレーティングシステムの下で実行され、前述の技術の実行を助ける。このコンピュータソフトウェアは、任意の適切なコンピュータプログラミング言語を用いてプログラムされ、特定の段階を実行する様々なソフトウェアコード手段を含むとみなすことができる。

コンピュータシステム1200の構成要素には、コンピュータ1220、キーボード1210およびマウス1215、ならびにビデオディスプレイ1290が含まれる。コンピュータ1220は、プロセッサ1240、メモリ1250、入出力（I/O）インタフェース1260、1265、ビデオインタフェース1245、および記憶装置1255を含んでいる。

プロセッサ1240は、オペレーティングシステムを実行する中央演算処理装置（CPU）であり、コンピュータソフトウェアはオペレーティングシステムの下で実行される。メモリ1250は、ランダムアクセスメモリ（RAM）および読取り専用メモリ（ROM）を含み、プロセッサ1240の指示の下で使用される。

ビデオインタフェース1245は、ビデオディスプレイ1290に連結されており、ビデオディスプレイ1290上に表示されるビデオ信号を供給する。コンピュータ1220を動作させるユーザ入力は、キーボード1210およびマウス1215から供給される。記憶装置1255は、ディスクドライブまたは任意の他の記憶媒体を含んでよい。

コンピュータ1220の各構成要素は、コンピュータ1220の各構成要素がバス1230を介して互いに通信するのを可能にするようにデータバス、アドレスバス、および制御バスを含む内部バス1230に接続されている。

コンピュータシステム1200は、インタネット1280として表されているネットワークへの通信チャネル1285を用いて入出力（I/O）インタフェース1265を介して１つまたは複数の他の同様のコンピュータに接続することができる。

コンピュータソフトウェアは携帯可能な記憶媒体上に記録することができ、その場合、コンピュータソフトウェアプログラムは、コンピュータシステム1200によって記憶装置1255からアクセスされる。または、コンピュータソフトウェアには、コンピュータ1220によってインタネット1280から直接アクセスすることができる。いずれの場合も、ユーザは、キーボード1210およびマウス1215を用いてコンピュータシステム1200と相互作用し、コンピュータ1220上で実行されるプログラムされたコンピュータソフトウェアを動作させることができる。

他の構成または種類のコンピュータシステムでも前述の技術をうまく実現することができる。上述のコンピュータシステム1200は、上述の技術を実現するのに適した特定の種類のシステムの例としてのみ記載されている。

結論
方法、コンピュータソフトウェア、およびコンピュータシステムはそれぞれ、本明細書では動作検出に関して記載されている。当業者には明らかなように、本明細書に記載された技術および構成には様々な変更および修正を施すことができる。

本明細書で説明する非動作検出システムのシステム全体のブロック図である。 本明細書で説明する非動作検出システムによって使用されるアルゴリズムのフローチャートである。 システムの様々なフィーチャ演算子の出力を示す図である。 図3の画像フレームと同様な100個の画像フレームに基づくフィーチャ値のヒストグラムである。 図3の画像フレームと同様な100個の画像フレームに基づくフィーチャ値の他のヒストグラムである。 それぞれ、13個の順次フレームのスクリーンショットと、動作検出システムで用いられる対応する処理済み画像を示す図である。 入力画像の、フィーチャ推定画像への変換を表す図である。 最確値がシーンの分析からどのように得られるかを表す概略図である。 物体がシーンを通過する際に生成される3つのヒストグラムの例の概略図である。 静止した物体が見えるようになったときに生成される連続ヒストグラムの例を表す図である。 孤立した検出をさらなる検討から削除する処理手順の結果を表す図である。 図1から11を参照して説明した技術を実行するのに適したコンピュータシステムの概略図である。

Claims (14)

1. 以下の段階を含む、視覚的シーンの背景変化を検出する方法：
   物体が入りかつ物体が去るシーンの画像を取り込む段階；
   シーンの比較的静的な背景を示すシーンの第１の確率的測度を生成する段階；
   シーンに入りかつシーンから去る比較的動的で一時的な物体を示すシーンの第2の確率的測度を生成する段階；および
   シーンに入った物体が、シーンから去っていないことを示す、第２の確率的測度が、第1の確率的測度から逸脱しているかどうかを検出する段階。
2. それぞれの第1および第2の確率的測度が、シーンの複数の領域のために生成される、請求項1記載の方法。
3. 第1の確率的測度が、画素値の確率密度関数のモードを含む、請求項1記載の方法。
4. 確率密度関数が、画素値のヒストグラムとして作成される、請求項3記載の方法。
5. 第2の確率的測度が、画素値の確率密度関数のモードを含む、請求項1記載の方法。
6. 確率密度関数が、画素値のヒストグラムとして作成される、請求項5記載の方法。
7. 第1の確率的測度が、シーンの背景の静的性質を示す第1の比較的長い期間に基づいている、請求項1記載の方法。
8. 第2の確率的測度が、シーンに入りかつシーンから去る一時的な物体の動的性質を示す第2の比較的短い期間に基づいている、請求項1記載の方法。
9. オペレータに検出された物体を警告する段階をさらに含む、請求項1から8のいずれか一項に記載の方法。
10. 物体の検出を改善するため、取り込まれた画像を前処理する段階をさらに含む、請求項1から9のいずれか一項に記載の方法。
11. シーン内の動作領域を検出し、かつさらなる検討からそのような領域を除外する段階をさらに含む、請求項1から10のいずれか一項に記載の方法。
12. 検出された物体が、所定の物体認識基準を満たしているかどうかを検査する段階をさらに含む、請求項1から11のいずれか一項に記載の方法。
13. 視覚的シーンの背景変化を検出するため、媒体上に記録され、かつコンピュータシステム上で動作できるコンピュータソフトウェアであって、以下の手段を含むコンピュータソフトウェア：
    物体が入りかつ物体が去るシーン用の画像データを受信するソフトウェアコード手段；
    シーンの比較的静的な背景を示すシーンの第１の確率的測度を生成するソフトウェアコード手段；
    シーンに入りかつシーンから去る比較的動的で一時的な物体を示すシーンの第2の確率的測度を生成するソフトウェアコード手段；および
    シーンに入った物体が、シーンから去っていないことを示す、第２の確率的測度が、第1の確率的測度から逸脱しているかどうかを検出するソフトウェアコード手段。
14. 視覚的シーンの背景変化を検出するコンピュータシステムであって、以下を含む装置：
    物体が入りかつ物体が去るシーンの画像を受け入れる入力ポート；
    （i）シーンの比較的静的な背景を示すシーンの第１の確率的測度を生成し、
    （ii）シーンに入りかつシーンから去る比較的動的で一時的な物体を示すシーンの第2の確率的測度を生成し、および
    （iii）シーンに入った物体が、シーンから出ていないことを示す、第２の確率的測度が、第1の確率的測度から逸脱しているかどうかを検出するプロセッサ手段；ならびに
    オペレータに、検出された物体を警告するインタフェース。

Images