JP2009282975A

JP2009282975A - 物体検出方法

Info

Publication number: JP2009282975A
Application number: JP2009119673A
Authority: JP
Inventors: Vitaly Lopota; ラポータヴィタリー; Alexander Kondratyev; コンドラテフアレキサンダー; Victor Yudin; ユージンヴィクター; Sergey Polovko; ポロヴコセルゲイ; Ekaterina Smirnova; スミノワエカテリーナ; Kirill Stupin; ストゥーピンキリル; Lev Kogan; コーガンレフ; Dmitry Stepanov; ステファノフドミトリー
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2008-05-19
Filing date: 2009-05-18
Publication date: 2009-12-03
Anticipated expiration: 2029-05-18
Also published as: EP2124194B1; KR101021994B1; JP5135284B2; RU2395787C2; RU2008119711A; ATE528730T1; US20090284660A1; KR20090120411A; EP2124194A1; US8462211B2

Abstract

【課題】人や車、置き去られた物体を検出する方法を提供する。
【解決手段】最初のフレームでは、所定の最小の閾値からなる定数画像の背景を、検出の閾値として記憶しておき、以降のフレームでは、数式を用いて検出物体の存否に応じたピクセル毎の更新定数の適応を行いながら背景と閾値を修正し、現在のフレームとバックグラウンドとの間の差分を計算し、閾値と比較し、別のある閾値を越えたエレメントを検出ゾーンへと結合し、検出ゾーンを篩い、影を分離するためにそのゾーンを分割し、追跡ゾーンを形成し、既に見つかっている物体のセグメントを探し、追跡ゾーンのクラスターを形成する。得られた長方形の箱の座標は、フレーム中に存在した物体の座標とみなされる。
【選択図】図４

Description

本発明は、オプトエレクトロニックシステム、情報処理の分野に関連し、明るさの定常的或いは一時的な変化や、葉や水面の動き、雨や雪による減衰等、複雑な外乱の下での複合的な警備システムや交通解析に好適に用いられるものである。

フレームを取得し、フレーム間の差分を計算し、閾値により２値化し、モルフォロジカル演算をし、物体の境界を決定するためにＳｏｂｅｌ演算子による計算をして、動く車を検出する方法（Dailey D.J.1999年）が知られる（例えば、非特許文献１参照。）。

その方法の欠点は、ノイズに対する耐性が弱いこと、及びそれによる検出精度の低さであり、一日の内の時刻、天候の状態、及び新たな静止物体が監視エリアに出現することによる、作動場所の領域内の変化の影響を顕著に受けることが原因している。

技術的基礎において最も関係のあるものとして、移動車両検出方法［露国特許第２２６２６６１号明細書（Eremin S. N.2005年）］がある（例えば、特許文献１参照。）。その方法は、フレームの取得、フレーム間の差分の計算、閾値による２値化、モルフォロジカル演算、Ｓｏｂｅｌ演算子の計算、初期フレームの保存、特別な式に基づく背景の更新、フレームと背景との間の差分の検出、イメージのヒストグラムの算出、最大輝度の検出、存在する物体との比較による検証、混ざった物体の分離、車両の位置およびそのフレーム手段中でその車両が位置すると考えられる座標を表現する矩形の生成を含んでいる。

露国特許第２２６２６６１号明細書

Dailey D. J., Li L. Video image processing to create a speed sensor. Washington: University of Washingon,1999

上記方法の欠点は、影を物体−つまり車両として誤って検出すること、及び物体の実際のサイズを判断できないことである。その他の欠点は、視界に持ってこられ置き去られた物体或いはその位置を誤って検出した場合に、適切なピクセルにおける背景モデルの更新が完全に停止してしまい、結果的に、静止物体を背景へ自動的に統合できなくなることである。したがって、この方法は、車両の検出に関して十分高い品質を有していない。

本発明の目的は、誤った応答の数を減らし、動く物体の境界の検出精度を向上させることで、複雑な気象条件および変化する背景のもとで、テレビ監視セキュリティシステムの品質の向上させ、さらに機能性を拡張することである。

物体検出方法を提案する。その方法は、フレームの取得と、背景更新定数ρを用いて引き続き修正される背景の設定と、を有し、背景更新定数ρは、下記の規則に従い物体の検出に応じてピクセル毎に順次選ばれる。

ここで、０＜ρ_１＜１，ｋはファクターで０＜＝ｋ＜＝１である。更に、現在のフレームと背景との間の差分の絶対値を計算し、閾値に基づく２値化が行われる。閾値は、ピクセル毎に式ｐ_ｉ＝ｋ_１ ^２σ_ｉ ^２で計算され、ここでｋ_１は定数であり、分散σ_ｉは移動平均の式σ_ｉ ^２＝（１−ρ）σ_ｉ−１ ^２＋ρ（μ_ｉ−Ｉ_ｉ−１）^２で計算され、ここでＩ_ｉ−１は前回のフレーム、μ_ｉは現在の背景フレームである。２値化には、下記の規則が用いられる。

ここで、Ｉ_ｉは現在のフレームである。更に、２値化フレーム中で予検出ゾーンを生成しながら、空間フィルタリングを行う。

物体の位置を表す予検出ゾーンは選別され（ふるいに掛けられ）、選ばれたものは複数のセクションへと分割される。そして、物体として独立の部分である、追跡ゾーンを形成する。いくつかの追跡ゾーンは選別され、残ったゾーンがクラスタとして統合される。その後クラスタの選別を行う。それらゾーンやクラスタの選別は、メートル単位のサイズおよび座標系を考慮して行われる。選別で残ったクラスタの座標は、その物体の座標としてみなされる。

規則１（式１）で与えられる小さな値の更新定数を用いた背景フレームの更新は、長時間定常的に検出ゾーンに存在する物体を、背景フレームに自動的に含ませることを可能にする。

それらの占有度、メートル単位のサイズおよび座標に基づく、多階層での対応するゾーン及びクラスタの選別という特殊な手法による空間（３次元）フィルタリングの実装は、誤った応答の数を減らし、また物体により検出ゾーンに投げかけられる影を分離することを可能にし、それによって本方法の品質及び正確性が改善される。物体のメートル単位によるサイズの判断は、物体の動きの軌跡の解析を可能にし、本方法の実装であるシステムの機能性を拡張する。従って、これらの顕著な特徴は、現状の問題の解決に本質的かつ必要なものである。

本発明によれば、輝度の変化を伴う動的なノイズにかかわらず、誤報の数を減らすことができる。

本発明の他の目的、特徴及び利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。

予検出ゾーンが矩形で表現されることを示す図。予検出ゾーンが均一の幅のセクションに分割されることを示す図。複数のセクションから、１つの新たな追跡ゾーンが形成されることを示す図。セクションの、追跡ゾーンへの取り込みを示す図。

本発明で実装される装置は、少なくとも１台のビデオカメラと、オペレータに通知をしオペレータからコントロールコマンドを得るために用いる１台の監視端末と、メモリを有し同軸ケーブルまたはＬＡＮで接続された１台のコンピュータと、を備える。

本方法の実装は、例えば、カラーもしくは白黒の固定テレビカメラで撮影されたフレームの系列に用いることができる。コンピュータのメモリー中には、複数の要素からなる配列がフレーム毎に割り当てられる。画像は、ピクセル毎に輝度値の配列の中に保存され、例えば各ピクセルは、赤、緑および青のチャネルに分離されたり（ＲＧＢ表現）、ＹＵＶ形式に分離されたり、或いは１チャネルの輝度値（L. Shapiro 2006(L. Shapiro, J. Stokman. Computer vision. Moscow: BINOM. Knowledge Lab, 2006), 249-259）であってもよい。
処理を開始する前に、本方法を実現する装置のパラメータについての初期タスクが、例えば操作員のいるサイトにおける下記のような操作を用いて行われる：

−カメラ校正パラメータ（焦点距離、俯瞰の角度、軸周りの回転角度、カメラの設置高さ、センサの大きさ、センサの解像度）−これらのパラメータは、直接的な測定、カメラの仕様書、或いは公知の校正方法（Shapiro 2006, 567-578）による自動決定により知ることができる。

−セクションや追跡ゾーン（後述する）の幅ｗおよび高さｈ、物体の幅および高さの最大値及び最小値（W_CMin,W_Cmax,H_CMin,H_CMax）、マスクゾーン（画像の一部であり、そのなかで検出された物体は無視される）の座標の設定。

−更新定数ρ_１、その更新定数を変更する係数ｋ、およびその初期値ｋ₁。

−背景との類似さの係数Ｃ_Bkg、セクションと追跡ゾーンとの重なりの係数、背景との近さ（近似度）の係数、及び直前のフレームから追跡ゾーンを探すために用いる類似度Ｃ_TrCorr。

−追跡ゾーンが現在のフレームで見つからなくなるまで存続する間のフレーム数、クラスターを形成する際に用いる追跡ゾーン間の距離（例えば、ピクセル数で指定する）、クラスタの生存時間の閾値ＬＴ。

−追跡ゾーンの幅および高さＷ_Merge、Ｈ_Merge。

−セクションを追跡ゾーンに取り込む際の重なり合いの百分率Ｃ_Ovr、追跡ゾーンを選別するための面積比の百分率Ｃ_ARatio。

次に、本装置は、最初のフレームを取得し、背景フレームの初期化を行う。初期化は例えば、ゼロ値、或いは処理への復帰時間を短縮するために初期フレームそのもので行う。また、閾値フレームの初期化も所定の定数を用いて行い、その定数は例えば、閾値フレームの各ピクセルが１バイトに対応する場合、２５５である。

次に、本装置は、次のフレームを取得し、新たなフレーム毎に、下記のステップを行う。
［ステップ１］
それぞれのピクセルに対して、その場所で何らかの検出物体が存在するか否かに応じて規則１に基づき、更新定数がセットされる。更新定数は、例えばρ_１＝０．００１に選ばれ、ファクターｋ＝０．１とする。更新定数は、検出の目的となる物体が背景フレームに溶け込まないように、且つ背景（草、水、その他）の動揺や緩やかな影の動きが除外されるように選ばれる。ファクタ（係数）は、停止した対象物が検出され続けるべき時間τに基づいて、ｋ≒５／（ρ_１τ）のように定められる。

［ステップ２］
背景フレームと標準偏差の更新を、下記の指数減衰移動平均の式によって行う。

μ_ｉ＝（１−ρ）μ_ｉ−１＋ρ Ｉ_ｉ−１（式３）

σ_ｉ ^２＝（１−ρ）σ_ｉ−１ ^２＋ρ（μ_ｉ−１−Ｉ_ｉ−１）^２（式４）

ここで、Ｉ_iは現在のフレーム、Ｉ_i-1は前のフレーム、μ_iは現在の背景フレーム、μ_i-1は前の背景フレーム、σ_i ²は現在の標準偏差、σ_i-1 ²は前の標準偏差、ｉは現在のフレームの番号（インデックス）である。

［ステップ３］
ピクセル毎に、現在のフレームと背景フレームとの絶対差分を計算する（L. Shapiro 2006, 329-331）。すなわち差分フレームＤを形成する。

Ｄ_ｉ＝｜Ｉ_ｉ − μ_ｉ｜（式５）

［ステップ４］
下記式によって、閾値フレームを形成する。

ｐ_ｉ＝ｋ_１σ_ｉ，（式６）

ここで、ｋ_１は定数の係数で３〜５である。ノイズの激しいフレームに対してはより大きな重みが選ばれ、静的なフレームに対しては小さな重みが選ばれる。

［ステップ５］
２値化を行う。２値化とは、規則２（式２）に基づき差分フレームを閾値フレームと比較し、２値化フレームｒを形成することである。

［ステップ６］
もしカラーのフレームを使っている場合、カラーチャネルを１色に統合する。例えば、赤、緑、青の形式のピクセル値（ＲＧＢ形式（L. Shapiro 2006, 249-252)）の場合、統合は以下の規則で行われる。

ｍ＝ｒ^ＲＯＲｒ^ＧＯＲｒ^Ｂ，（式７）

ここで、ｍは結果の値、ｒ^Ｒ，ｒ^Ｇ及びｒ^Ｂはそれぞれ青、緑、赤のチャネルの値、“ＯＲ”はブーリアンのＯＲ演算であり、もしいずれかの引数がゼロ以外であれば結果は１に等しく、それ以外は０となるものである。

空間フィルタリングは、下記の方法で達成される。
［ステップ７］
公知の方法（L. Shapiro 2006, 84-92）を用いて、二値化フレーム中で非ゼロ値を持つピクセルからなる全ての結合されたエリアにしるしを付け、それらエリアから矩形記述によって予検出ゾーンを形成する。その矩形の境界の座標は、ゾーンの座標を表すものとして扱われる。矩形は、公知の方法によって、各エリアの最も右、最も上、最も下、及び最も左の点を選び、それらを矩形の右辺、上辺、下辺、及び左辺に継承させることによって作られる（図１）。

［ステップ８］
予検出ゾーンのメートルサイズを、例えば校正されたカメラを用いることで計算し、またクラスターの幅ｗ_ｍｉｎ，ｗ_ｍａｘや高さｈ_ｍｉｎ，ｈ_ｍａｘに基づいて選別（選り抜き）を行う。

［ステップ９］
２値化フレーム中にある複数の予検出ゾーンを、予検出ゾーンごとに均一の幅のセクションに分割する（図２）。幅ｗは、システムチューニングの段階で、想定される検出物体のサイズに基づいて設定され、例えば人や車に対しては、ｗ＝０．２ｍが選ばれる。ゾーンが整数個のセクションに分割されるように、セクションの幅はピクセル単位で定義される。即ち、ゾーンの中に収まり得る幅ｗのセクション全ての数を計算し、その数でゾーンの幅を除算することにより、セクションにふさわしい幅が各予検出ゾーンに対して得られる。

［ステップ１０］
複数のセクションから、１つの新たな追跡ゾーンを形成する（図３）。そのために、まず、フレームの下端の中心点に最も近いセクションのある場所に、所定のメートルサイズの高さｈ（例えば、人に対しては、たとえその人の半分が、木で隠れていたり、背景と溶け込んでいたり、或いはその他の理由で検出されなかったりしても、その人が検出されるように、ｈ＝０．８ｍとする。）及び幅ｗを持つ１つの追跡ゾーンを創設する。次に、各セクションについて、創設した追跡ゾーンと重なっている面積（図４の斜線部分）を算出する。もし重なっている面積のセクション自体の面積に対する比が、特定の閾値（例えば６０％）を超えた場合、そのセクションはその追跡ゾーンに取り込まれる（図４の斜線部分はそれを満たさないので取り込まれず、追跡ゾーン自体も破棄される）。その後は、未処理のセクションが残っている間、同様の処理を繰り返す（追跡ゾーンに、２番目に近いセクションの場所における所定の高さｈの領域を暫定的に追加して、追跡ゾーンを拡張する。セクションが１つも取り込まれていないときは、追跡ゾーンは都度創設しなおされる。）。これにより、影のように横に細長く横たわる像は、（その部分のセクションが上記比の閾値を満たせずつ追跡ゾーンに取り込まれないので、）除外できることになる。

［ステップ１１］
各追跡ゾーン毎に、そのゾーンに取り込まれたセクションの面積の総和と、セクションと当該ゾーンとが重複する面積の総和とを計算する。その重複面積総和のセクション面積総和との比が特定の閾値例えば５０％を越えるような追跡ゾーンは、信頼できるものとし、そのゾーンに属したセクションは（別のゾーンに重複して属しないよう）本ステップの以後の処理から除外する。反対に、閾値を超えなかったゾーンは却下される。

［ステップ１２］
各追跡ゾーンと背景フレームとを、例えば相関関数を計算することによって比較し、その相関関数の値が特定の閾値（６０％）を超えたゾーンについては、ふるいで取り除かれる。次に、現在のフレームの中から、これまで前回フレームの中で扱われていた追跡ゾーンを検索（例えば、相関検出による）をする。とり得る任意の位置での類似度（相関）関数の値が特定の閾値、例えば７０％を超える（即ち相関が認められる）ようなゾーンは、新たな追跡ゾーンのリストに追加される。連続するＮ_ｍｉｓｓ＝５フレーム以上に亘り、相関が見つからないようなゾーンは、リストから除去される（L. Shapiro 2006, 219-225）。

［ステップ１３］
新たな追跡ゾーンであって互いの位置が近いものを、クラスターに合体させる。例えば、境界間の距離が所定の値、例えば５ピクセル又は１０ｃｍより小さいような複数の追跡ゾーンは、１つのクラスターに統合される。

［ステップ１４］
クラスタのメートルサイズ（実空間サイズ）を、例えば校正されたカメラを用いることで計算し、幅Ｗ_ＣＭｉｎ，Ｗ_ＣＭａ、高さＨ_ＣＭｉｎ，Ｈ_ＣＭａｘおよび所定の無視ゾーンとの相対位置に基づいてフィルタリングを行う（L. Shapiro 2006, 578-580）。例えば、もしクラスターの下寄りの中央部分（「足」）がその無視ゾーンに入っている場合、そのクラスターはフィルタリングにより除外される。

［ステップ１５］
クラスタの生存時間を、そのクラスタが現れているフレームの数として決定する。そのために、（現在フレーム中に）残っているクラスターと前回フレームにおいて保存されたクラスターとの比較が行われる。互いの座標およびサイズが近く対を成しているクラスターについては、現在および前回のクラスターが対になっている間のフレーム数を、１づつ増加させながら記録する。ライフタイムが所定の閾値、例えば４０に満たないクラスターは保持され、それ以外は、以降のこのステップでの処理から除外される。閾値は、生存時間の短いものが誤って物体として検出されるのを防ぐように、経験的に選ばれる。前回フレーム中にペアの相手が見つからないクラスターについては、後続フレームに対して初期値となるような、生存時間＝１の値を設定する。

［ステップ１６］
上記除外をくぐりぬけたクラスターの座標を、フレーム中に存在する物体の座標として採用する。

以下、動作の一例を、順を追って説明する。

ビデオ監視カメラから、モノクロのテレビフレームの系列を取得し、それを次から次へと、本発明を実現する装置の入力部へ入力する。校正方法を用いて、任意のフレームおよびカメラのスペック値の観点で、カメラパラメータを以下のように決定する。カメラの（光軸の地面に対する）傾き角の正弦及び余弦sin(α)＝0.997564, cos(α)＝0.069756、カメラの設置高さＨ＝４ｍ、カメラの（鉛直軸周りの）回転角の正弦及び余弦sin (β)＝0, cos (β)＝1、（カメラの撮像素子の）ピクセルのサイズＷ_px＝0.0003, Ｗ_px＝0.0003、カメラの焦点距離ｆ＝0.24、フレーム上での１水平ラインの高さＨ_hor＝55。

更新定数ρ₁＝0.005、ファクターｋ＝0.2、ファクターｋ₁＝３を設定する。

予検出ゾーンの大きさについての制限を、メートル単位で下記のように設定する：ｗ_min＝0.1, ｗ_max＝2, ｈ_min＝0.1,ｈ_max＝3。

背景との類似度の閾値Ｃ_Bkg＝70%、追跡ゾーンの検索領域を形成するためのゾーン拡張係数（横および縦方向）С_TrWExp＝1 ，С_TrHExp＝1を設定する。即ちこのゾーン拡張係数は、追跡ゾーンを右及び左方向にそれぞれ追跡ゾーンの半分の幅だけ、高さ方向にも同様に拡張して得られる領域内で、検索が行われるように規定する。

前回フレームから追跡ゾーンを検索する際に用いる類似度Ｃ_TrCorr＝60％を設定する。
追跡ゾーンの充足率Ｃ_TrFill＝30%を設定する。
ゾーンの重複率Ｃ_ZOver＝5%を設定する。
もし現在フレームにおいて見つからなくても、そのゾーンを保持する期間のフレーム数Ｎ_mf＝１を設定する。

クラスターを形成する際に用いる追跡ゾーン間の距離ＣＦ＝５ピクセルを設定する。
クラスターの生存時間の（上側の）閾値ＬＴ＝４０フレームを設定する。
クラスターに許容される幅および高さＷ_CMin＝0, Ｗ_CMax＝2ｍ，Ｈ_CMin＝0, Ｈ_CMax＝4 mを設定する。

（併合されるべき）追跡ゾーンの幅及び高さＷ_Merge＝0.2ｍ，Ｈ_Merge＝0.8 mを設定する。
追跡ゾーンにセクションを割り当てる（取り込む）ための基準となる重複率Ｃ_Over = 10%と、追跡ゾーンをフィルタで除去する際に用いる面積比の百分率Ｃ_ARatio = 50%を設定する。

値I₁ ^0,0,R = 4, I₁ ^0,0,G = 0, I₁ ^0,2,B= 0, ..., I₁ ^319,239,R = 176を持つ最初のフレームを取得し、背景フレームを初期化するのに用いる（В₁=I₁）。これ以降、上付き文字はフレーム中でのピクセル座標を意味し、最初のインデックスは列（カラム）、２番目は行、３番目はＲ，Ｇ又はＢのカラーチャネルである。
カラーチャネル毎に閾値フレームのピクセル値を設定する：p₁ ^0,0,R = 255, p₁ ^0,1,G = 255, p₁ ^0,2,B = 255,..., p₁ ^319,239,B = 255。

次に、以下の値を持つ２番目のフレームを取得する。
I₂ ^0,0,R= 6, I₂ ^0,0,G = 0, I₂ ^0,2,B= 6, ..., I₂ ^319,239,B = 178。
背景フレームと閾値フレームを式（３、４、６）を用いて更新する。
B₂ ^0,0,R= 4, B₂ ^0,0,G = 0, B₂ ^0,0,B= 0, ... , B₂ ^319,239,B = 176,
P₂ ^0,0,R = 255, p₂ ^0,0,R = 255, p₂ ^0,0,B = 255,..., p₂ ^319,239,B = 255。

差分フレームＤを式（５）を用いて計算して、
D₂ ^0,0,R= 2, D₂ ^0,0,G = 0, D₂ ^0,0,B= 6, ... , D₂ ^319,239,B = 2
を得、閾値フレームP₂を用いて２値化すると、
γ₂ ^0,0,R = 0, γ₂ ^0,0,G = 0, γ₂ ^0,0,B = 0,..., γ₂ ^319,239,B = 0
となる。
カラーチャネルを論理和のルールに基づいて統合し、
m₂ ^0,0= 0, m₂ ^1,0 = 0, m₂ ^2,0= 0, ... , m₂ ^319,239 = 0
を得る。非ゼロ値の領域（互いに隣接するピクセルが結合されてなる）にラベルを付け、領域数＝０を得る。
２番目のフレームに対しては、処理はここで終わりである。

３番目から９７５０番目のフレームについても、同様の処理を繰り返す。

次に、以下の値を持つ９７５１番目のフレームを取得する。
I₉₇₅₁ ^0,0,R= 2, I₉₇₅₁ ^0,0,G= 0, I₉₇₅₁ ^0,0,B = 5, I₉₇₅₁ ^1,0,R = 0, I₉₇₅₁ ^1,0,G= 0, I₉₇₅₁ ^1,0,B = 1, I₉₇₅₁ ^2,0,R = 4, I₉₇₅₁ ^2,0,G= 3, I₉₇₅₁ ^2,0,B = 5, ..., I₉₇₅₁ ^319,239,B= 177。
背景フレームと閾値フレームの更新を、式（３、４、６）を用いて行う。
B₉₇₅₁ ^0,0,R= 2, B₉₇₅₁ ^0,0,G= 0, B₉₇₅₁ ^0,0,B = 2, B₉₇₅₁ ^1,0,R = 2, B₉₇₅₁ ^1,0,G= 0, B₉₇₅₁ ^1,0,B = 2, B₉₇₅₁ ^2,0,R = 8, B₉₇₅₁ ^2,0,G= 5, B₉₇₅₁ ^2,0,B = 9, ..., B₉₇₅₁ ^319,239,B= 176；
p₉₇₅₁ ^0,0,R= 6, p₉₇₅₁ ^0,0,G= 6, p₉₇₅₁ ^0,0,B = 6, p₉₇₅₁ ^1,0,R = 7, p₉₇₅₁ ^1,0,G= 6, p₉₇₅₁ ^1,0,B = 6, p₉₇₅₁ ^2,0,R = 5, p₉₇₅₁ ^2,0,G= 9, p₉₇₅₁ ^2,0,B = 11, ..., p₉₇₅₁ ^319,239,B= 6。

差分フレームＤを式（５）を用いて計算して、下記を得る。
D₉₇₅₁ ^0,0,R= 6, D₉₇₅₁ ^0,0,G= 0, D₉₇₅₁ ^0,0,B = 3, D₉₇₅₁ ^1,0,R = 2, D₉₇₅₁ ^1,0,G= 0, D₉₇₅₁ ^1,0,B = 1, D₉₇₅₁ ^2,0,R = 6, D₉₇₅₁ ^2,0,G= 2, D₉₇₅₁ ^2,0,B = 4, ..., D₉₇₅₁ ^319,239,B= 1。
閾値フレームP₉₇₅₁を用いて２値化を行う。
γ₉₇₅₁ ^0,0,R= 0, γ₉₇₅₁ ^0,0,G= 0, γ₉₇₅₁ ^0,0,B = 0, γ₉₇₅₁ ^1,0,R = 0, γ₉₇₅₁ ^1,0,G= 0, γ₉₇₅₁ ^1,0,B = 0, γ₉₇₅₁ ^2,0,R = 0 γ₉₇₅₁ ^2,0,G= 0, γ₉₇₅₁ ^2,0,B = 0, ..., γ₉₇₅₁ ^319,239,B= 0。

カラーチャネルを論理和のルールに基づいて統合し、下記を得る。
m₉₇₅₁ ^0,0= 6, m₉₇₅₁ ^1,0 = 0, m₉₇₅₁ ^2,0= 3, m₉₇₅₁ ^3,0 = 2, m₉₇₅₁ ^4,0 = 0, m₉₇₅₁ ^5,0= 1, m₉₇₅₁ ^6,0 = 255, m₉₇₅₁ ^7,0 = 2, m₉₇₅₁ ^8,0= 4, ..., m₉₇₅₁ ^319,239 = 0。
非ゼロ値からなる結合された領域にラベルを付け、領域数＝９２８を得る。

予検出ゾーンを、それを記述する矩形を生成することにより、以下の様に形成する。
Dz₀= {62,14,62,15}, ... , Dz₉₂₇={200,238,203,239}。
ここで、矩形の座標は（水平方向の左境界、上下方向の上境界、水平方向の右境界、上下方向の下境界）の順で与えられる。
メートル単位（実空間）による各サイズの大きさを計算し、Ｄz₀の幅＝1.38ｍ，Ｄz₀の高さ＝2.66ｍ，…, Dz₉₂₇の幅＝0.11ｍ， Dz₉₂₇の高さ＝0.10 mを得る。

メートルサイズに基づいて予検出ゾーンのフィルタリング（スクリーニング、ふるい）をし、１１９個のゾーンを得る。
２値化フレームから得られたものであるその予検出ゾーンは、セクションに分割される。そして、Ｓz₀ = (11,14,11,14 },..., Ｓz₉₂₇= (200,238,203,239)の１４９個のセクションを得る。

複数のセクションから、新たな追跡ゾーンを形成する。まず最初に、全てのセクションの中でフレームの下端中央に最も近いセクション（即ち、(118,128,121,163)のセクション）のある場所に、所定のメートル高さ0.8ｍ及び幅0.2ｍを満たす追跡ゾーンを創設する。その追跡ゾーンの座標(117, 150, 121, 163)を得る。対応するセクション（追跡ゾーンの位置を与えたセクション）は、このステップの以降の処理から除外される。

次に、残っているセクションそれぞれについて、追跡ゾーンとの重複面積を計算する。
座標（113, 126, 117, 165）を持つセクションについては、重複面積は１４となる。セクション自体の面積は１６９である。その面積に対する重複面積の比が１０％を超えないので、そのセクションは追跡ゾーンには組み入れられない。同様の処理が、残りのセクションについても繰り返される。

追跡ゾーン形成の処理は、未処理のセクションが残っている限り繰り返される。

各追跡ゾーンについて、その追跡ゾーンとセクションとの重複面積の和と、セクションの面積の和との比を計算する。座標{1,18,1,18}を持つ追跡ゾーンに対して、値０．９７を得る。この値は所定の閾値より大きいので、その追跡ゾーンは信頼できると考えられる。
現在のフレームからは、座標{1,18,1,18}を持つ１個の追跡ゾーンのみを得る。

それらの境界の間の距離が５ピクセル未満であるような複数の追跡ゾーンを、１つのクラスタに統合する。本例では、１つのクラスタCl₀＝{1,18,1,18}を形成する。
校正カメラを用いるなどして、クラスタのメートルサイズを計算する。クラスターの幅0.83ｍ、高さ0.81ｍを得る。

クラスタの幅Ｗ_CMin, Ｗ_CMax,、及び高さＨ_CMin, Ｈ_Cmaxに基づいて、スクリーニングを行う。クラスタがスクリーニングを通過すると、以降の処理が続けられる。

特に無視ゾーンが定義されていないので、無視ゾーンとの位置比較によるスクリーニングは行われない。

現在のクラスタそれぞれについて、生存時間を、そのクラスタがその間見出されていたフレーム数として定義する。それを行うために、前回フレームにおいて保存されていたクラスタと、残っているクラスタとを、（対応しているかどうか）比較する。
一致する前回のクラスタが見つからないので、クラスタCl₀に対して１の生存時間がセットされる。
また、その値は所定の閾値４０を超えていないので、現在のフレームではこれ以上の処理（判断）は行わないが、後続フレームでの処理のためそのクラスタの情報は保存される。

同様の処理を、次のフレームから９８１９番目のフレームまで繰り返す。

以下の値を持つ９８２０番目のフレームを取得する。
I₉₈₂₀ ^0,0,R= 3, I₉₈₂₀ ^0,0,G= 2, I₉₈₂₀ ^0,0,B = 0, I₉₈₂₀ ^1,0,R = 2, I₉₈₂₀ ^1,0,G= 1, I₉₈₂₀ ^1,0,B = 0, I₉₈₂₀ ^2,0,R = 9, I₉₈₂₀ ^2,0,G= 8, I₉₈₂₀ ^2,0,B = 13, ..., I₉₈₂₀ ^319,239,B= 176。
背景フレームと閾値フレームの更新を、式（３、４、６）を用いて行い、下記を得る。
B₉₈₂₀ ^0,0,R= 2, B₉₈₂₀ ^0,0,G= 0, B₉₈₂₀ ^0,0,B = 2, B₉₈₂₀ ^1,0,R = 2, B₉₈₂₀ ^1,0,G= 0, B₉₈₂₀ ^1,0,B = 2, B₉₈₂₀ ^2,0,R = 8, B₉₈₂₀ ^2,0,G= 5, B₉₈₂₀ ^2,0,B = 9, ..., B₉₈₂₀ ^319,239,B= 176；
p₉₈₂₀ ^0,0,R = 6, p₉₈₂₀ ^0,0,G= 6, p₉₈₂₀ ^0,0,B = 6, p₉₈₂₀ ^1,0,R = 7, p₉₈₂₀ ^1,0,G= 6, p₉₈₂₀ ^1,0,B = 6, p₉₈₂₀ ^2,0,R =12, p₉₈₂₀ ^2,0,G = 8, p₉₈₂₀ ^2,0,B= 11, ..., p₉₈₂₀ ^319,239,B= 6。

差分フレームＤを式（５）を用いて計算して、下記を得る。
D₉₈₂₀ ^0,0,R= 1, D₉₈₂₀ ^0,0,G= 2, D₉₈₂₀ ^0,0,B = 2, D₉₈₂₀ ^1,0,R= 0, D₉₈₂₀ ^1,0,G = 1, D₉₈₂₀ ^1,0,B = 2, D₉₈₂₀ ^2,0,R= 1, D₉₈₂₀ ^2,0,G = 2, D₉₈₂₀ ^2,0,B = 3, ..., D₉₈₂₀ ^319,239,B= 0。
閾値フレームＰ₉₈₂₀を用いて２値化を行う。
γ₉₈₂₀ ^0,0,R= 0, γ₉₈₂₀ ^0,0,G= 0, γ₉₈₂₀ ^0,0,B = 0, γ₉₈₂₀ ^1,0,R = 0, γ₉₈₂₀ ^1,0,G= 0, γ₉₈₂₀ ^1,0,B = 0, γ₉₈₂₀ ^2,0,R = 0 γ₉₈₂₀ ^2,0,G= 0, γ₉₈₂₀ ^2,0,B = 0, ..., γ₉₈₂₀ ^319,239,B= 0。

カラーチャネルを論理和のルールに基づいて統合し、下記を得る。
m₉₈₂₀ ^0,0= 0, m₉₈₂₀ ^1,0 = 0, m₉₈₂₀ ^2,0= 0, m₉₈₂₀ ^3,0 = 0, m₉₈₂₀ ^4,0 = 0, m₉₈₂₀ ^5,0= 0, m₉₈₂₀ ^6,0 = 0, m₉₈₂₀ ^7,0 = 0, m₉₈₂₀ ^8,0= 0, ..., m₉₈₂₀ ^319,239 = 0。
非ゼロ値からなる結合された領域にラベルを付け、領域数＝８３７を得る。

予検出ゾーンを、それを記述する矩形を生成することにより、以下の様に形成する。
Dz₀= {115,19,116,22}, ... , Dz₈₃₆={4,163,12,167}。
メートル単位（実空間）による各サイズの大きさを計算し、Ｄz₀の幅＝1.38ｍ，Ｄz₀の高さ＝2.66ｍ，…, Dz₈₃₆の幅＝0.36ｍ, Dz₈₃₆の高さ＝0.29ｍを得る。

メートルサイズに基づいて予検出ゾーンのフィルタリングをし、７８個のゾーンを得る。
２値化フレームから得られたものであるその予検出ゾーンは、セクションに分割される。そして、Ｓz₀ =｛115,21,115,21｝,..., Ｓz₁₀₈ =｛4,163,12,167｝の１０９個のセクションを得る。

複数のセクションから、新たな追跡ゾーンを形成する。まず最初に、全てのセクションの中でフレームの下端中央に最も近いセクション（即ち、(100,135,104,165)のセクション）のある場所に、所定のメートル高さ0.8ｍ及び幅0.2ｍを満たす追跡ゾーンを創設する。その追跡ゾーンの座標(100, 152, 104, 165)を得る。対応するセクションは、このステップの以降の処理から除外される。

次に、残っているセクションそれぞれについて、追跡ゾーンとの重複面積を計算する。
座標｛100,135,104,165｝を持つセクションについては、重複面積は１５５となる。セクション自体の面積は１５５である。その面積に対する重複面積の比が１０％を超えるので、そのセクションは追跡ゾーンには組み入れられる。同様の処理が、残りのセクションについても繰り返される。

残りのセクションは、重複（共通部分）がないので併合されない。
追跡ゾーン形成の処理は、未処理のセクションが残っている限り繰り返される。

各追跡ゾーンについて、その追跡ゾーンとセクションとの重複面積の和と、セクションの面積の和との比を計算する。座標｛100, 152, 104, 165｝を持つ追跡ゾーンに対して、値１を得る。この値は所定の閾値より大きいので、その追跡ゾーンは信頼できると考えられる。
結果的に、座標｛108, 149, 112, 162｝、｛139, 69, 140, 76｝、…、｛2, 26, 2, 27｝を持つ３７個の追跡ゾーンを得る。

正規化相関の計算により、追跡ゾーンを背景フレームと比較し、類似度（正規化相関）が閾値６０％を超えなかった、座標｛116, 21, 116, 22｝を持つゾーン１つを得る。そのゾーンは保持するが、それ以外の閾値を超えたゾーンは破棄する。

新たな追跡ゾーンの形成後、座標｛116, 21, 116, 22｝を持つ１つのゾーンを得る。

前回フレーム上で形成（定義）されていた上記追跡ゾーンを、現在フレームの中で検索する。そして、任意の位置で類似度関数の値が所定の閾値７０％を超える（即ち、対応が認められる）ようなゾーンがあれば、それらゾーンを新たな追跡ゾーンのリストに加える。対応が認められなかったゾーンは、破棄される。
その後、２４個の追跡ゾーンについて対応を発見し、それらを新たな追跡ゾーンのリストに加える。従って、Ｔr₀＝｛35, 132, 39, 145｝、Ｔr₁＝｛35, 125, 39, 138｝、…、Ｔr₂₄＝｛116, 21, 116, 22｝の２５個の追跡ゾーンを得る。

追跡ゾーンの境界の間の距離が５ピクセル未満であるような複数の追跡ゾーンを、１つのクラスタに統合する。本例では、４つのクラスタＣl₀{1,18,1,18}を形成する。
校正カメラを用いて、クラスタのメートルサイズを計算する。Ｃl₀に対しクラスターの幅0.21ｍ、高さ0.79ｍ、Ｃl₁に対し幅0.20ｍ、高さ0.78ｍ、Ｃl₂に対し幅0.38ｍ、高さ1.89ｍ、Ｃl₃に対し幅0.54ｍ、高さ1.06ｍを得る。

クラスタの幅ｗ_min, ｗ_mMax,、高さｈ_min, ｈ_maxに基づいて、スクリーニングを行う。クラスタがスクリーニングを通過すると、以降の処理が続けられる。

特に無視ゾーンが設定されていないので、無視ゾーンとの位置比較によるスクリーニングは行われない。

現在のクラスタそれぞれについて、生存時間を、そのクラスタがその間見出されていたフレーム数として定義する。それを行うために、前回フレームにおいて保存されていたクラスタと、残っているクラスタとを、比較する。

クラスタＣl₀に関して、座標の位置において近く且つ既に発見済みでもない、１つのクラスタを発見する。従って、そのクラスタには生存時間＝１がセットされる。このフレームでの処理は終えるが、次のフレームでの処理のため、そのクラスタの情報は保存される。

クラスタＣl₁に関して、既に発見済みのクラスタ｛95,126,108,166｝を発見し、同じクラスタであると判断する。保存されていたクラスタのライフタイムをコピーし、１をインクリメントし、２６を得る。この値は所定の閾値４０を超えないので、このフレームでの処理は終えるが、一方で次のフレームでの処理のため、そのクラスタの情報は保存される。

クラスタＣl₂に関して、既に発見済みのクラスタ｛53,116,63,157｝を発見し、同じクラスタであると判断する。保存されていたクラスタのライフタイムをコピーし、１をインクリメントし、４１を得る。この値は所定の閾値４０を超えるので、このクラスタの座標を、このフレーム中に存在する物体の座標であると推定する。

クラスタＣl₃に関して、座標の位置において近く且つ既に発見済みでもない、１つのクラスタを発見する。従って、そのクラスタには生存時間＝１がセットされる。このフレームでの処理は終えるが、次のフレームでの処理のため、そのクラスタの情報は保存される。

以上から、現在フレームにおける物体は、スクリーン座標｛63,116,63,157｝および0.38ｍ（幅）と1.89ｍ（高さ）のメートルサイズを有すると判断する。

以降のフレームそれぞれについても、同様の計算を行う。

上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の精神と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。

Claims

ビデオのフレームの受け取り、後続の修正を伴う背景の初期化、現在のフレームと前記背景との間の差の計算、閾値フレームを用いた２値化、空間フィルタリング、ゾーンの形成、物体の位置の特定、を含む物体検出方法であって、
背景更新定数ρが、ルール

（ここで、０＜ρ₁＜１，ｋはファクターで０＜＝ｋ＜＝１である）のもとに、物体の検出に依存してピクセル毎に定義され、閾値フレームは式ｐ_i＝ｋ₁ ²σ_i ²（ここでｋ₁はファクター）で計算され、分散σ_iは式σ_i ²＝（１−ρ）σ_i-1 ²＋ρ（μ_i−Ｉ_i）²（ここでＩ_iは現在のフレーム、μ_iは現在の背景フレーム、ｉはフレームナンバー）で更新され、２値化画像の中から検出されたゾーンを事前に整形することにより空間フィルタリングを行う物体検出方法。
請求項１記載の物体検出方法において、前記空間フィルタリングの後に、一部のゾーンが除去され、残りのゾーンがセクションに分割され、該セクションの一部を除去して追跡ゾーンが形成され、互いに近くにある追跡ゾーンを結合することで該追跡ゾーンのクラスターが形成され、メトリックサイズと、座標系と、クラスタの生存時間を計算し、クラスタのろ過が行われ、かつ、前記ろ過で残ったクラスタの座標がフレーム内における物体の座標として受け入れられること特徴とする物体検出方法。