JP2003506908A - シーン変化の識別方法およびそのための監視装置 - Google Patents

Abstract

(57)【要約】 固定配置された画像記録ユニットにより観察される視野領域における変化を識別するための方法が提案される。この方法では、エッジ画像が計算され、基準記録のエッジ画像と比較され、被観察視野領域内の、画像明度に依存する静的変化が識別される。

Description

【発明の詳細な説明】

【０００１】 従来の技術 本発明は、独立請求項の上位概念による方法ないし監視装置から出発する。刊
行物「Gefahrenmeldesysteme, Tchnik und Strukture」Harald Fuhrman, Huetti
ng-Verlag Heidelberg , 1992, ISBN 3-7785-2185-3, pp.82-83 から、視野領域
の基準画像を瞬時画像と比較することが公知である。これにより瞬時画像におけ
る基準画像に対する変化によって警報が発生される。相違を識別するためにグレ
ー値比較が行われる。

【０００２】 発明の利点 これに対して独立請求項の特徴部分の構成を有する本発明の方法ないし本発明
の監視装置は、所定のシーンにおいてそこに非常に長く滞在する人物を検知する
際に、または所定のシーンに配置される対象物の識別の際に、または所定のシー
ンからの対象物の盗難の際に、すなわち所定の視野領域において静的変化を検知
する際に、意識的にノイズ量を許容することができるという利点を有する。

【０００３】 画像信号を直接評価するのではなく、すなわちカメラ画像のグレー値または色
値を直接評価するのではなく、カメラ画像に含まれる構造情報を評価することに
よって、明度変化およびシーンの照明の相違を検知結果において実質的に考慮し
なくても良い。

【０００４】 従属請求項に記載された手段によって独立請求項記載の方法ないし監視装置の
有利な改善形態が可能である。特に有利には興味対象となる地域の変化の時間的
経過を、全体画像の変化の時間的経過と比較するのである。これにより地域の長
期間の変化が確実に識別され、変化の所要の時間フェーズを個々の適用事例に依
存して設定することができる。一時的変化、例えば人物によりカメラが短期間覆
われたり、または監視カメラのレンズに虫等が張り付いたりする場合に、これら
を確実に識別することができ、これにより警報がトリガされることがない。

【０００５】 さらなる所定時間を考慮することにより、例えば布によりカメラが異常的に覆
われることがシーンでの他の変化から区別され、警報がトリガされる。

【０００６】 瞬時画像の平均二乗偏差を使用することは簡単な手段として有利であることが
判明した。とりわけ画像ノイズを考慮して統計的有意検査を実行すること、およ
び同時に、実際には許容される特徴を変化の検知のために作成するのに有利であ
る。これにより、相関を考慮するだけでは地域分類に対して未だ変化した地域と
はならないような変化も記録される。有意検査をさらに改善するために、シーン
が変化しない場合に連続的に、検知のための閾値を瞬時の画像ノイズの測定によ
って適合的に追従制御する。この特質によって一方では画像記録のために種々異
なるカメラを使用することができる。このことは検知に重要なカメラの特質を自
動的にひいては自立的に識別し測定することにより行う。他方ではカメラの変化
が動作時に種々異なる照明条件および老化条件の下で考慮され、相応の補償され
る。

【０００７】 図面 本発明の実施例が図面に示されており、以下詳細に説明する。

【０００８】 図１は、監視装置を示す。

【０００９】 図２は、フローチャートを示す。

【００１０】 図３は、別のフローチャートを示す。

【００１１】 図４は、第３のフローチャートを示す。

【００１２】 実施例の説明 図１は、カメラ１，計算器２，入力装置３，記憶装置４，信号指示器５および
モニタ６を有する監視装置を示す。ここでカメラ１，入力装置３，記憶装置４，
モニタ６および信号指示器５は計算器２と接続線路７を介して接続されている。

【００１３】 カメラ１は所定の視野領域に配向されており、この視野領域が監視される。定
常的にモニタされるカメラは画像データを計算器２に送出し、計算器は静的なシ
ーン変化をビデオに基づいて識別する。これについては図２，図３および図４に
示されている。記憶装置は基準画像の記憶に使用される。これにより瞬時画像デ
ータを、ファイルされた基準画像と比較することができる。モニタ６は、カメラ
１により記録された視野領域を表示する。信号指示器５は例えば音響的または光
学的警報過程を介して視野領域におけるシーンの静的変化を通知する。ここで信
号指示器はモニタに組み込むことができる。すなわち光学的表示をモニタの部分
領域で行うことができ、このとき付加的にスピーカまたは別個のモニタ用ススピ
ーカを介して警報音を出力することができる。入力装置３は、興味対象となる地
域を視野領域内で選択するために用いられる。この地域は統計的変化について特
別に検査される。さらに入力装置を介して時間Ｔ１とＴ２を入力することができ
る。これらの時間は適用事例に応じて、警報発生すべき変化の持続時間を定める
。ここで比較的長い時間Ｔ２は異常的な比較的長い変化を識別するのに用いられ
る。これは例えば、カメラが覆われている場合、または長時間にわたり視野領域
で人物が不当に行動した場合である。これに対して時間Ｔ１は視野領域の比較的
に大きな部分での短期間の変化を興味対象地域での変化から区別するために用い
る。時間Ｔ１とＴ２並びに地域の選択は、基準画像と同じようにメモリ４にファ
イルされる。

【００１４】 図２は、画像処理経過のフローチャートを示す。固定カメラは所定の視野領域
の連続画像を記録する。この連続画像において変化を検知するのである。システ
ムを作動する前に、シーンの基準画像が記録され、メモリにファイルされる。連
続的に監視する場合、視野領域の瞬時画像が基準画像と比較される。このために
方法ステップ１１で、基準画像に対しても瞬時画像に対しても構造情報が計算さ
れる。このことは、明度値および／またはグレー値の勾配を二次元結像の水平方
向および垂直方向において検出し、ひいてはエッジ情報またはグレー値変化ない
しは色値変化についての情報を視野領域で検出することにより行われる。引き続
き方法ステップ２１で、以下エッジ画像と称される、瞬時画像と基準画像との勾
配の相関が計算される。ここで相関係数はｒは、Bronstein-Semendjajew, Tasch
enbuch der Mathematiku, Verlag Harri Deutsch, Thun, 24. Aufl. 1989, Form
el (5.92), pp.692 に従い計算される。

【００１５】

【数１】

【００１６】 ここでｘｎは基準画像における位置ｎの勾配、ｙｎは瞬時画像における位置ｎの
勾配、ｘは基準画像における勾配の平均値、ｙは瞬時画像における勾配の平均値
、そしてｎは画素位置の順序番号であり、例えば自然数である。加算は勾配ｘｎ
ないしはｙｎを介して、評価すべき地域の２つの空間次元で連続して行われる。
相関係数は−１から１までの値領域を有する。ここで値１は同じ構造が存在する
ことを意味し、値０は相関の存在しないことを意味する。すなわち、瞬時画像が
基準画像と比較して完全に変化している。値＜０は反対の関係を意味し、同様に
完全な変化として評価される。ステップ２６で、このようにして検出された相関
値が閾値Ｓ３（例えばＳ３＝０．３）と比較される。相関値が閾値より上にあれ
ば、ステップ８１でこの画像は変化していないと識別される（Ｂ＝０）。それ以
外の場合、画像は基準画像に対して変化していると識別される（方法ステップ７
１，Ｂ＝１）。

【００１７】 この評価の際に画像信号は検知されず、画像から計算された構造情報が類似性
について検査される。構造特徴の相関を使用することにより、基準画像と瞬時画
像（これは画像明度とコントラストにより惹起される）との変化を考慮すること
ができる。すなわちたとえ、２つの画像がこれらのパラメータにおいて異なって
いても、同じ画像位置で類似の構造を有していれば、相関の評価により大きな類
似性尺度が得られる。

【００１８】 監視の前に興味対象領域が監視される画像領域内で設定される。画像の、以下
地域と称されるこの部分に対しては、新たな画像が処理されるとき、全体画像と
同じように相関分析が行われる。

【００１９】 このために方法ステップ１０で、図２の方法ステップ１１で得られたエッジ画
像から、この地域に所属するエッジ画像が分離され、方法ステップ２０で地域エ
ッジ画像と基準画像のエッジ画像の相応する部分画像との相関値が計算される。

【００２０】 ステップ２５で、分析された地域の相関値と閾値Ｓ１（例えばＳ１＝０．５）
とが比較される。相関値が閾値より下にあれば、ステップ７０で該当する地域ｉ
が変化したと識別される（Ｒ（ｉ）＝１）。これに対して相関値が閾値Ｓ１を上
回れば、地域と基準画像の相応の部分領域との類似性が検査される。

【００２１】 このためにまず方法ステップ３０で、瞬時画像におけるこの地域の画像明度と
画像コントラストの変化が基準画像との比較で計算される。続いて方法ステップ
４０で、構造偏差が計算される。このために画素ごとに、瞬時画像のエッジ画像
と基準画像のエッジ画像との平均二乗偏差が地域で検出される。このとき、得ら
れた数値は画像明度と画像コントラストを基準にして補正される。

【００２２】 統計的有意検査４５で、残った変化が画像ノイズによるものであったか否かが
検査される。ここでは変化を画像ノイズとの比較で評価する数値が検出される。
数値１は、変化が画像ノイズに基づき評価すべきものにちょうど相当することを
意味する。値＞１は、変化が画像ノイズにより予期すべきものより強いことを意
味する。検出された数値は閾値Ｓ２（例えばＳ２＝５）と比較される。数値が閾
値Ｓ２より大きければ、この地域は変化したと識別される（ステップ７０）。そ
れ以外の場合は変化は識別されない（ステップ８０）：Ｒ（ｉ）＝０ ステップ８０の前でここでは、この地域での画像ノイズの推定が実行される（
方法ステップ６０）。これにより時間的に続く評価の際に瞬時の推定値をこのた
めに使用することができる。ここでは、変化していないと識別された地域で画像
ノイズに対する値が測定される。後続の有意検査で使用すべき値は再帰フィルタ
で検出される：Ａ（ｔ＋１）＝ＲＥ＊Ａ（ｔ）＋（１−ＲＥ）＊Ｂ（ｔ）。ここ
でＡ（ｔ）は時点ｔで記録された、有意検査に使用された画像ノイズの値であり
、Ａ（ｔ＋１）は時点ｔ＋１で記録された、次の画像に対する新たな推定値とし
て使用すべき画像ノイズの値であり、Ｂ（ｔ）は時点ｔで測定された画像ノイズ
の値である。ＲＥは再帰係数（０＜ＲＥ＜１）であり、例えばＲＥ＝０．９であ
る。値Ａ（０）は監視方法の開始時に方法的に選択された初期値である。

【００２３】 図３に示した地域指向の構造情報分析は、監視過程の各開始ごとに実行され、
各選択された地域に対して２進状態情報「地域が変化した」ないしは「地域は変
化しない」を送出する。方法ステップ３０，４０，４５および６０は変化の確実
な識別を保証する。これはたとえ、明度変動に実質的に依存しないグローバルな
構造比較が未だ変化の識別に至っていない場合にも当てはまる。ＢとＲ（ｉ）に
対する値は後続の評価（図４参照）で警報発生のためさらに送られる。

【００２４】 図４は、図２および図３の経過で得られた情報を評価するための方法経過を示
す。ここでは各地域Ｒ（ｉ）ごとに、値＝１であるか否かが検査される（ステッ
プ９１）；否定であれば、カウンタＮ（ｉ）がゼロにセットされる（方法ステッ
プ９３）。さらにカウンタＴ（ｉ）がゼロにセットされる。肯定の場合、方法の
スタート時に値０を有するカウンタＮ（ｉ）が１だけカウンタアップされる（方
法ステップ９２）。方法ステップ９２に続いて、Ｂ＝１であるか否か（方法ステ
ップ９４）が検査される。Ｂ＝１であれば、カウンタＴ（ｉ）は１だけカウント
アップされる（方法ステップ９５）。カウンタＴ（ｉ）は方法の開始時には０で
ある。否定であれば方法ステップ９４の後、ないし方法ステップ９５の後、ない
し方法ステップ９３の後、Ｎ（ｉ）がＴ（ｉ）＋Ｔ１より大きいか否か、または
Ｎ（ｉ）がＴ２より大きいか否かが問い合わされる（問い合わせ９６）。否定の
場合、警報はトリガされない。肯定の場合、Ｎ（ｉ）およびＴ（ｉ）がゼロにセ
ットされ、警報発生が実行される１１０。

【００２５】 前記評価方法の目的は、一方では地域における変化をできるだけ早期に識別す
ることであり、他方では視野領域でのグローバルな変化を比較的に大きな時間間
隔の間、許容することである。このために２つの時間閾値Ｔ１とＴ２が導入され
る。ここでＴ２は、警報がトリガされることなしに地域が最大で変化しても良い
時間間隔を表す。Ｔ２は例えば１５ｍｉｎである。Ｔ１は、地域を基準にしてこ
の時間の後でもっとも早期に警報を発生することのできる時間間隔を表す。すな
わち正確には、全体画像のこの時間の間に連続的に変化していないと識別される
。このために地域ごとに２つのカウンタが使用される：Ｎ（ｉ）は、どれだけ頻
繁に地域が時間的に直接連続して変化したと識別されたかを表す。Ｔ（ｉ）は、
地域が「全体画像が変化した」場合に対して「地域が変化した」といつ識別され
たかを表す。全体画像が変化した時間を考慮することによって、地域だけでなく
全体画像に関与する変化により警報が発生することがなくなる。ただしこれは、
全体画像が長さＴ２の関連する時間にわたって変化する場合である（これについ
てはＴ２＝１５ｍｉｎを参照。この時間は例えば２０ｓであるＴ１より大きく選
択されている）。

【図面の簡単な説明】

【図１】 図１は、監視装置を示す。

【図２】 図２は、フローチャートを示す。

【図３】 図３は、別のフローチャートを示す。

【図４】 図４は、第３のフローチャートを示す。

【手続補正書】特許協力条約第３４条補正の翻訳文提出書

【提出日】平成１３年７月２５日（２００１．７．２５）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】請求項１

【補正方法】変更

【補正の内容】

───────────────────────────────────────────────────── フロントページの続き (72)発明者 イェンス ドレフェス ドイツ連邦共和国 ハノーファー アイヒ ェンフェルトシュトラーセ 56ツェー Ｆターム(参考） 5B057 AA19 BA02 DA15 DB02 DB09 DC16 DC22 DC34 DC39 5C054 CC05 CD07 CG02 FA09 FC01 FC14 FC15 FE28 GB12 HA19 5C084 AA02 AA07 AA08 BB33 CC17 DD12 EE01 EE02 GG43 GG56 GG57 GG78 HH01 HH13 5L096 AA06 BA02 CA04 DA03 FA06 FA34 GA41 GA51 HA02 KA15

Claims (12)

【特許請求の範囲】
1. 【請求項１】 固定配置された画像記録ユニット（１）により観察される視
   野領域における変化を識別するための方法であって、 視野領域の基準画像を、視野領域の少なくとも１つの瞬時画像と比較する方法
   において、 基準画像および瞬時画像から基準エッジ画像ないしはエッジ画像を検出し（１
   ０，１１）、 エッジ画像の少なくとも１つの地域と、基準エッジ画像の相応する部分画像と
   の相関を検出し（２０，２１）、 該相関が閾値を下回る際に、前記地域が変化したと識別する（７０）、 ことを特徴とする方法。
2. 【請求項２】 エッジ画像と基準エッジ画像との相関を検出し（２１）、 少なくとも１つの地域が所定時間（Ｔ１）だけ、エッジ画像が変化したと識別
   されるよりも長く変化したと識別される場合、警報を出力する（１１０）、請求
   項１記載の方法。
3. 【請求項３】 エッジ画像の少なくとも１つの地域が、別の所定時間（Ｔ１
   ）より長く、変化したと識別される場合、警報を出力する（１１０）、 ただし前記別の所定時間（Ｔ２）は前記所定時間（Ｔ１）よりも大きい、請求
   項２記載の方法。
4. 【請求項４】 閾値を下回る場合、エッジ画像の地域と基準エッジ画像の相
   応する部分画像との平均二乗偏差を検出し（４０）、 ここでは基準エッジ画像とエッジ画像との生じうる明度差を計算し、 これにより画像ノイズを推定して、画像ノイズによるものではなく明度差によ
   り生じた、エッジ画像の地域と基準エッジ画像の部分画像との偏差が存在するか
   否かを検出することができる、請求項１から３までのいずれか１項記載の方法。
5. 【請求項５】 偏差が存在しない場合、瞬時画像ノイズを推定し、後続の画
   像比較で使用するために記憶する、請求項４記載の方法。
6. 【請求項６】 視野領域は監視すべき対象物を含み、請求項１から５までの
   いずれか１項記載の方法。
7. 【請求項７】 対象物は、とりわけ博物館の展示対象物または現金自動支払
   機であり、 少なくとも１つの地域は、キーボードおよび／または現金払い出しスリットお
   よび／または現金自動支払機のカードスリットにより形成される、請求項６記載
   の方法。
8. 【請求項８】 計算器（２）と接続され（７）、所定の視野領域に配向され
   た固定画像記録ユニット（１）と、当該画像記録ユニットの画像データを処理す
   るための前記計算器（２）とを有する監視装置において、 前記計算器（２）は、視野領域の基準画像と画像領域の瞬時画像とから、基準
   エッジ画像ないしはエッジ画像を検出し、 計算器は、エッジ画像の少なくとも１つの地域と基準エッジ画像の相応する部
   分画像との相関を検出し、 相関が閾値を下回る場合、前記地域は計算器により変化したと登録される、 ことを特徴とする監視装置。
9. 【請求項９】 計算器はエッジ画像と基準エッジ画像との相関を検出し、 計算器は信号表示器（５）と接続されており、 少なくとも１つの地域が所定時間（Ｔ１）の間、エッジ画像が変化したと識別
   されるよりも長く変化したと識別される場合、警報が信号表示器（５）を介して
   出力される、請求項８記載の監視装置。
10. 【請求項１０】 エッジ画像の少なくとも１つの地域が別の所定時間（Ｔ２
    ）よりも長く変化したと識別される場合、信号表示器（５）を介して警報が出力
    され、 前記別の所定時間（Ｔ２）は所定時間（Ｔ１）よりも大きい、請求項９記載の
    監視装置。
11. 【請求項１１】 計算器は、閾値を上回るとき、エッジ画像の地域と基準エ
    ッジ画像の相応する部分画像との差を検出し、 基準エッジ画像とエッジ画像のと間の生じうる明度差が算出され、 これにより画像ノイズを推定して、画像ノイズによるものではなく傾度差によ
    り生じた、エッジ画像の地域と基準エッジ画像の部分画像との間の偏差が存在す
    るか否かが検出される、請求項８から１０までのいずれか１項記載の監視装置。
12. 【請求項１２】 画像記録ユニットはビデオカメラである、請求項８から１
    １までのいずれか１項記載の監視装置。