JP2012084009A - 画像センサ - Google Patents

画像センサ Download PDF

Info

Publication number
JP2012084009A
JP2012084009A JP2010230668A JP2010230668A JP2012084009A JP 2012084009 A JP2012084009 A JP 2012084009A JP 2010230668 A JP2010230668 A JP 2010230668A JP 2010230668 A JP2010230668 A JP 2010230668A JP 2012084009 A JP2012084009 A JP 2012084009A
Authority
JP
Japan
Prior art keywords
disturbance
area
attribute value
image
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010230668A
Other languages
English (en)
Other versions
JP5761954B2 (ja
Inventor
Nobuaki Shimizu
信昭 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2010230668A priority Critical patent/JP5761954B2/ja
Publication of JP2012084009A publication Critical patent/JP2012084009A/ja
Application granted granted Critical
Publication of JP5761954B2 publication Critical patent/JP5761954B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】侵入物体よりも撮像部に近い位置に発生する外乱を侵入物体と誤判定することを抑制できる画像センサを提供する。
【解決手段】画像センサ100は、監視領域を撮影した監視画像を順次取得する撮像部10と、監視画像と背景画像から変化領域を抽出する変化領域抽出手段31と、変化領域が侵入物体の性質を持つ度合いを侵入物体属性値として算出する侵入物体属性値算出手段32と、変化領域が侵入物体以外の外乱である特定外乱の性質を持つ度合いを外乱属性値として算出する外乱属性値算出手段33と、外乱属性値の高い変化領域が所定時間内に所定頻度で重なって現れる領域を外乱領域として設定する外乱領域抽出手段35と、変化領域毎に変化領域が侵入物体か特定外乱かを判定する判定手段36を有し、判定手段36は、変化領域が外乱領域に重なる割合が大きいほど侵入物体と判定し難くする。
【選択図】図1

Description

本発明は、監視領域を撮像した画像から侵入物体を検出する画像センサに関する。
近年、監視領域内に侵入した侵入者等を検出する、画像センサを用いたセキュリティシステムが広く使用されている(例えば、特許文献1を参照)。一般に、このようなセキュリティシステムは、監視領域を撮影する撮像部と、処理に利用される画像データが格納される記憶部と、画像データを処理して監視領域内を移動する検出対象を検出する画像処理部と、を備える。そして画像処理部は、撮像部によって監視領域が撮像された入力画像と監視領域に検出対象が存在しない状況において監視領域を撮影した背景画像との差分を表す差分画像を用いて画像内の輝度値が変化した変化領域を抽出する。そして画像処理部は、その変化領域に対応する入力画像の領域の属性値が検出対象に特有の性質を有する場合に、検出対象が監視領域内に存在するものとして処理を行う。例えば検出対象が侵入者である場合、画像処理部は、変化領域の大きさ、形状、輝度情報等による人らしさの度合いを表す属性値が所定の条件を満たすときに侵入者が存在すると判定し、警報を発する等の処理を行う。
しかしながら、上述した従来のセキュリティシステムは、変化領域の検出対象らしさの度合いを表す属性値が所定の条件を満たすか否かで検出対象の存在を判定するため、変化領域が検出対象に起因しない場合でも所定の条件が満たされるときには検出対象が存在すると誤判定し、誤報を発する。このような誤報は、侵入者を検出するセキュリティシステムでは特に問題となる。
上記の誤報の原因の一つとして、撮像部の近傍に位置するクモの糸がある。撮像部の近傍に位置するクモの糸は、入力画像において比較的大きな領域を占めるため、撮像部の遠方に存在する人と同じような大きさ及び形状の特徴を備えることがある。そのため、このようなクモの糸が揺れたとき、変化領域の大きさや形状が人らしさの条件を満たしてしまい、セキュリティシステムが、侵入者が存在すると誤判定して誤報を発することがあった。
これに対して、クモの糸に起因する誤報を防止するための技術が知られている(例えば、特許文献2を参照)。特許文献2に開示された画像センシング装置は、変化領域において人らしさに加えてクモの糸らしさを算出し、それらを比較することにより、その変化領域が人によるものかクモの糸によるものかを判定する。そして画像センシング装置は、変化領域が人によるものであると判定した場合に侵入者が存在するとして警報を発する。
具体的には、画像センシング装置は、変化領域の大きさ、入力画像と背景画像の変化領域に対応する領域における輝度の正規化相関、入力画像と背景画像の変化領域に対応する領域におけるエッジの抽出位置などの特徴量に基づいて人属性値を算出する。また画像センシング装置は、入力画像の変化領域に対応する領域における輝度の空間周波数、入力画像の変化領域に対応する領域において背景画像よりも輝度が増加している領域の割合、入力画像の変化領域に対応する領域を楕円近似した場合の短軸の長さなどの特徴量に基づいてクモの糸属性値を算出する。例えばクモの糸は細長いため、画像センシング装置は楕円近似時の短軸が短いほどクモの糸属性値を大きくしている。またクモの糸は照明光が当てられると輝度が高くなるため、画像センシング装置は入力画像の変化領域において背景画像よりも輝度が増加している領域の割合が高いほどクモの糸属性値を大きくしている。そして画像センシング装置は、人属性値とクモの糸属性値を比較し、人属性値がクモの糸属性値以上である場合にはその変化領域は人によるものと判定し、人属性値がクモの糸属性値よりも小さい場合にはその変化領域はクモの糸によるものと判定する。
特開平05−284501号公報 特開2006−185310号公報
しかしながら、特許文献2に記載の技術では、クモの糸が揺れた場合、クモの糸が直線性を失い、楕円近似時の短軸が長くなることがある。またクモの糸が揺れと停止を繰り返す場合、クモの糸が撮影された画像が背景画像として用いられ、その結果、背景画像の輝度が高くなることにより、入力画像が背景画像よりも輝度が増加している領域の割合が低くなることもある。このような場合、変化領域がクモの糸によるものであるにも関わらず、クモの糸属性値が人属性値より小さくなり、その変化領域が人によるものと誤判定されることがあった。
例えば、外乱が発生する領域を侵入物体の判定を行わないようにマスクすることにより誤判定を抑制する方法がある。しかし、クモの糸のように侵入物体よりも撮像部に近い位置に発生する外乱は入力画像の広範囲を占めることが多く、その外乱が発生する領域をマスクするとクモの糸の向こう側にいる侵入者を検出できない可能性が高くなるため、このような対策は行うことができず、誤判定を適切に抑制するのが困難な場合があった。
そこで、本発明の目的は、侵入物体よりも撮像部に近い位置に発生する外乱を侵入物体と誤判定することを抑制できる画像センサを提供することにある。
かかる課題を解決するための本発明は、監視領域内に侵入した侵入物体を検出する画像センサを提供する。係る画像センサは、監視領域を撮影した監視画像を順次取得する撮像部と、監視領域に侵入物体が存在しない状況において監視領域を撮影した画像である背景画像を記憶する記憶部と、監視画像と背景画像を用いて、監視画像中の変化が侵入物体に起因するものであり侵入物体以外の外乱である特定外乱に起因するものではないことを画像処理によって判定する画像処理部を有し、画像処理部は、監視画像と背景画像の差分によって、輝度値が変化した変化領域を抽出する変化領域抽出手段と、変化領域が侵入物体の性質を持つ度合いを侵入物体属性値として算出する侵入物体属性値算出手段と、変化領域が特定外乱の性質を持つ度合いを外乱属性値として算出する外乱属性値算出手段と、外乱属性値の高い変化領域が所定時間内に所定頻度で重なって現れる領域を抽出し、抽出した領域を外乱領域として設定する外乱領域抽出手段と、変化領域毎に侵入物体属性値および外乱属性値を比較し、変化領域が侵入物体か特定外乱かを判定する判定手段を有し、判定手段は、変化領域が外乱領域に重なる割合が大きいほど侵入物体と判定し難くする。
また、本発明に係る画像センサにおいて、外乱属性値算出手段は、監視画像の変化領域に占めるエッジ画素の割合であるエッジ画素比率および/または監視画像の変化領域中の画素の輝度値が対応する背景画像の画素の輝度値よりも高い画素の割合である輝度増加比率を算出し、エッジ画素比率および輝度増加比率が大きいほど変化領域が持つ特定外乱の性質が強いものとして、エッジ画素比率および輝度増加比率のうち少なくとも一つを用いて、外乱属性値を算出することが好ましい。
さらに、本発明に係る画像センサにおいて、外乱属性値算出手段は、さらに変化領域を楕円近似したときの短軸長を算出し、短軸長が短いほど変化領域が持つ特定外乱の性質が強いものとして、短軸長を用いて外乱属性値を算出することが好ましい。
さらに、本発明に係る画像センサにおいて、外乱領域抽出手段は、外乱領域の総面積を算出し、総面積が所定値以上となるときは新たに外乱領域の設定を行わないことが好ましい。
さらに、本発明に係る画像センサにおいて、画像処理部は、さらに、監視領域が降雨または降雪の発生しているノイズ状態であるか否かを判定するノイズ判定手段を有し、外乱領域抽出手段は、ノイズ判定手段によってノイズ状態であると判定されたときは外乱領域の設定を行わないことが好ましい。
さらに、本発明に係る画像センサにおいて、外乱領域抽出手段は、さらに、外乱領域として新たに追加した領域毎に当該領域の追加時から第2の所定時間を計時し、第2の所定時間が経過するまでは、当該領域が、外乱属性値の高い変化領域が所定時間内に所定頻度で重なって現れる領域でなくても外乱領域としての設定を保持することが好ましい。
本発明に係る画像センサは、監視領域中の同位置において、継続的に発生する外乱を侵入物体と誤判定することを抑制できる。特に、揺れるクモの糸のように侵入物体よりも撮像部に近い位置に発生する外乱を侵入物体と誤判定することを抑制できるという効果を奏する。
本発明の一実施形態である画像センサの概略構成図である。 (a)はエッジ画素比率T1を正規化する関数S1の一例を示す図であり、(b)は輝度増加比率T2を正規化する関数S2の一例を示す図であり、(c)は短軸長T3を正規化する関数S3の一例を示す図である。 (a)はエッジ画素比率T1を正規化する関数S1'の一例を示す図であり、(b)は輝度増加比率T2を正規化する関数S2'の一例を示す図であり、(c)は短軸長T3を正規化する関数S3'の一例を示す図である。 外乱属性値算出手段による外乱属性値算出処理の動作を示すフローチャートである。 外乱領域抽出手段による外乱領域抽出処理の動作を示すフローチャートである。 変化領域から外乱領域を抽出する例を示す図である。 入力画像と背景画像と変化領域と外乱領域の関係の例を示す図である。 画像処理部による侵入物体検出動作を示すフローチャートである。
以下、本発明の一実施形態である画像センサについて図を参照しつつ説明する。
この画像センサは、監視領域を撮影した監視画像から、監視領域内に侵入した侵入物体を検出するものである。特に、この画像センサは、例えば、照明光を反射するクモの糸のように侵入物体よりも撮像部に近い位置に発生し、侵入物体と誤判定されるおそれのある外乱について、その外乱の特徴量に基づいて外乱らしさの度合いを算出する。そして画像センサは、外乱らしさの度合いと、侵入物体の特徴量に基づいて算出した侵入物体らしさの度合いを比較することにより侵入物体の存在を判定する。また画像センサは、クモの糸のような外乱は一度発生すると人の手によって除去されるまで同じ位置に存在し続ける可能性が高いという特徴を利用して、過去に外乱が発生した位置において外乱らしさの度合いを高めることにより、外乱の検出精度を向上させ、これにより外乱を侵入物体と誤判定することを抑制させる。
なお、画像センサが検出する侵入物体は、人、車などどのようなものでもよいが、本実施形態では、侵入物体として人を検出する場合を例に説明する。また、画像センサが検出する外乱は、同じ位置に継続的に発生する外乱であればどのようなものでもよいが、本実施形態では、特に、そのような外乱が発生しやすい、侵入物体よりも撮像部に近い位置に発生する外乱を例に説明し、その中でもクモの糸を検出する場合を例に説明する。
図1は、本発明の一実施形態である画像センサ100の概略構成を示す図である。図1に示すように、画像センサ100は、撮像部10と、照明部20と、画像処理部30と、記憶部40と、出力部50を有する。
撮像部10は、CCD素子またはC−MOS素子など、近赤外光または可視光に感度を有する光電変換器で構成された2次元検出器と、その2次元検出器上に監視領域の像を結像する結像光学系と、2次元検出器から出力された電気信号を増幅し、アナログ/デジタル(A/D)変換する電気回路などで構成される。
撮像部10は、一定の時間間隔(例えば1/5秒)ごとに撮影を行う。そして撮像部10は、監視領域を撮影した監視画像を、例えば、横320画素×縦240画素を持ち、各画素が0〜255の輝度値を有するデジタル画像データとして生成する。そして撮像部10は、生成したデジタル画像データ(以降、入力画像と称する)を画像処理部30へ送信する。
照明部20は、監視領域を一定以上の照度に保つために監視領域を照射する照明光源であり、撮像部10の2次元検出器が感度を持つ近赤外領域または可視光領域の波長に十分な輝度を持つ光源(例えば、複数のLEDや電球など)で構成される。
記憶部40は、フラッシュメモリ(登録商標)などの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク(HDD)などの記憶装置を有する。そして記憶部40には、画像センサ100で使用される各種のプログラム及びデータが記憶される。また記憶部40には、例えば、画像センサ100が起動したときなどに撮像部10が生成した、侵入者の写っていない監視領域の画像が背景画像として記憶される。また記憶部40には、後述する外乱領域が記憶される。
画像処理部30は、組み込み型のマイクロプロセッサユニットとその周辺回路を有し、画像センサ100全体を制御する。また画像処理部30は、撮像部10から受け取った入力画像から、監視領域内に侵入した侵入物体を検出する。そのために、画像処理部30は、変化領域抽出手段31と、侵入物体属性値算出手段32と、外乱属性値算出手段33と、ノイズ判定手段34と、外乱領域抽出手段35と、判定手段36と、背景画像更新手段37を有する。画像処理部30が有するこれらの各部は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。
変化領域抽出手段31は、最新の入力画像において移動物体が写っている可能性のある領域を抽出する。そのために、変化領域抽出手段31は、最新の入力画像と背景画像との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を作成する。そして変化領域抽出手段31は、差分画像の各画素について、その画素値が所定の閾値Th1以上となる画素を変動画素とし、閾値Th1未満となる画素を背景画素とするように2値化した差分2値化画像を作成する。例えば、閾値Th1は、差分画像の各画素値の平均値とすることができる。
さらに変化領域抽出手段31は、作成した差分2値化画像について、公知のラベリング手法などを用いることにより、変動画素同士が一つに連結された領域を一つの変化領域として抽出する(以降、差分画像の変化領域に対応する、入力画像の領域と背景画像の領域も変化領域と称する)。なお、同時に抽出される変化領域の数は一つに限られず、複数の変化領域が抽出されてもよい。
変化領域抽出手段31は、抽出した変化領域毎にラベル番号を付し、差分2値化画像と同サイズであり、画素値を対応する変化領域のラベル番号とするラベル画像を作成する。そして変化領域抽出手段31は、作成したラベル画像を侵入物体属性値算出手段32及び外乱属性値算出手段33へ送信する。
侵入物体属性値算出手段32は、変化領域抽出手段31からラベル画像を受け取ると、変化領域毎に、その変化領域の侵入物体らしさの度合い、すなわち侵入物体の性質を持つ度合いを表す侵入物体属性値を算出し、算出した侵入物体属性値と、変化領域抽出手段31から受け取ったラベル画像を判定手段36へ通知する。
本実施形態の侵入物体属性値は、変化領域が人特有の特徴を備えるか否かに基づいて算出される。例えば、侵入物体属性値は、変化領域の大きさによる特徴量a1、入力画像と背景画像の変化領域における正規化相関による特徴量a2、または入力画像の変化領域において背景画像と比較したエッジの変化率による特徴量a3のうちの少なくとも一つに基づいて算出される。
変化領域の大きさによる特徴量a1は、変化領域の大きさが人の大きさに対応する所定範囲に含まれるか否かを判定するための指標である。例えば侵入物体属性値算出手段32は、変化領域の大きさが所定範囲に含まれる場合、特徴量a1を1とし、所定範囲から外れる場合、特徴量a1を0とする。あるいは侵入物体属性値算出手段32は、変化領域の大きさが所定範囲の中央値との差が小さいほど1に近く、所定範囲の中央値との差が大きいほど0に近くなるように正規化した値を特徴量a1としてもよい。なお、この所定範囲は、撮像部10と監視空間の位置関係と、人の身長及び体格とに基づいて定められるものであり、人と、猫、ねずみ、虫などの小動物とを区別できるように実験または経験的に定められる。
入力画像と背景画像の変化領域における正規化相関による特徴量a2は、変化領域内の変動が人によるものか、または光や影によるものかを判定するための指標である。変化領域内の変動が光や影によるものである場合、その変化領域内のテクスチャは変化しないため、正規化相関は高くなる。一方、変化領域内の変動が人によるものである場合、その変化領域において背景画像には監視領域の背景のテクスチャが表され、入力画像には人のテクスチャが表されるため、正規化相関は低くなる。侵入物体属性値算出手段32は、例えば次式により、変化領域における入力画像と背景画像の正規化相関を算出する。
Figure 2012084009
ここで、Sは変化領域を表し、f(i,j)は入力画像内の座標(i,j)における画素の輝度値を表し、g(i,j)は背景画像内の座標(i,j)における画素の輝度値を表す。そして侵入物体属性値算出手段32は、入力画像と背景画像の正規化相関が低いほど1に近く、正規化相関が高いほど0に近くなるように正規化した値を特徴量a2とする。
入力画像の変化領域において背景画像と比較したエッジの変化率による特徴量a3も、変化領域内の変動が人によるものか、または光や影によるものかを判定するための指標である。変化領域内の変動が光や影によるものである場合、その変化領域内のテクスチャは変化しないため、エッジの分布はおおよそ変化しない。一方、変化領域内の変動が人によるものである場合、その変化領域において背景画像には監視領域の背景のテクスチャが表され、入力画像には人のテクスチャが表されるため、エッジの分布が大きく変化する。そこで、侵入物体属性値算出手段32は、入力画像と背景画像に対して、sobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを用いた近傍画素間演算を実行する。そして侵入物体属性値算出手段32は、近傍画素間演算の結果得られた差分値の絶対値であるエッジ強度が所定の閾値よりも大きい画素をエッジ画素とする。なお、この閾値は、例えば、近傍画素間演算を実行した画像の各画素について得られた差分絶対値の平均値とすることができる。そして侵入物体属性値算出手段32は、例えば次式により、入力画像の変化領域において背景画像と比較したエッジの変化率を算出する。
(エッジの変化率)=(変化領域における入力画像の画素と背景画像の対応する画素とでエッジ画素であるか否かの判定が一致しない画素数)/(変化領域内の全画素数) (2)
なお、閾値Th2は、人による変動と、光や影による変動とを区別できるように実験または経験的に定められる。そして侵入物体属性値算出手段32は、エッジの変化率が大きいほど1に近く、エッジの変化率が小さいほど0に近くなるように正規化した値を特徴量a3とする。
侵入物体属性値は、例えば特徴量a1、a2、a3を用いて次式で表される。
(侵入物体属性値)=a1×b1+a2×b2+a3×b3 (3)
ただし、b1〜b3は、特徴量a1〜a3のいずれを重視するかによって決定される重み係数であり、その合計(Σbi(i=1,2,3))は1である。例えば、各特徴量a1〜a3の重みを等しくする場合、各重み係数は全て同一の値に定められ、各特徴量a1〜a3のうちの一部の特徴量を用いない場合、対応する重み係数は0に定められる。各重み係数の具体的な値をどのように設定するかは、画像センサ100が設置される環境や人を検出する目的などに応じて適宜最適化される。
外乱属性値算出手段33は、変化領域抽出手段31からラベル画像を受け取ると、変化領域毎に、その変化領域のうち、所定時間Tm1内に高頻度で侵入物体よりも撮像部10に近い位置に発生する外乱(以降、近傍外乱と称する)が存在していたと判定された領域の割合を表す外乱領域包含率を算出する。後述するように、外乱領域抽出手段35は、近傍外乱によるものと判定された変化領域を記憶部40に記憶しておき、所定時間Tm1内に所定回数以上記憶部40に変化領域として記憶された画素の集合を外乱領域として抽出する。すなわち外乱領域は、所定時間Tm1内に高頻度で近傍外乱が存在していた領域を表す。そして外乱属性値算出手段33は、外乱領域を用いて、次式により、外乱領域包含率を算出する。
(外乱領域包含率)=(変化領域のうち外乱領域と重なる画素数)/(変化領域内の全画素数) (4)
すなわち外乱領域包含率が高いほど、最近その変化領域に近傍外乱が発生していた可能性が高く、その変化領域は近傍外乱によるものである可能性が高い。
また外乱属性値算出手段33は、変化領域毎に、近傍外乱らしさの度合い、すなわち近傍外乱の性質を持つ度合いを表す外乱属性値を算出し、算出した外乱属性値と、変化領域抽出手段31から受け取ったラベル画像を判定手段36と外乱領域抽出手段35へ通知する。
本実施形態の外乱属性値は、変化領域がクモの糸特有の特徴を備えるか否かに基づいて算出される。例えば、外乱属性値は、エッジ画素比率T1、輝度増加比率T2、または短軸長T3のうちの少なくとも一つに基づいて算出される。
エッジ画素比率T1は、入力画像の変化領域におけるエッジ画素の割合である。外乱属性値算出手段33は、入力画像に対して、sobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを用いた近傍画素間演算を実行する。そして外乱属性値算出手段33は、エッジ強度が所定の閾値よりも大きい画素をエッジ画素とする。なお、この閾値は、例えば、近傍画素間演算を実行した画像の各画素について得られた差分絶対値の平均値とすることができる。そして外乱属性値算出手段33は、例えば次式により、エッジ画素比率T1を算出する。
T1=(入力画像の変化領域内のエッジ画素数)/(変化領域内の全画素数) (5)
クモの糸は細長い形状を有するため、クモの糸が撮像されている変化領域のうち背景部分と隣接する部分が多い。そのため、物体自体の大きさに対するエッジ画素の比率は、人のような幅の広い物体と比較して大きくなる。また、クモの糸には粘着球と呼ばれる液体の玉が適当な間隔で付着しているため、クモの糸は光を乱反射する。そのため、照明部20から照射された光を反射するクモの糸は、輝度が一様ではなく、エッジが生じやすいという特徴を有する。従って、エッジ画素比率T1が大きいほど、クモの糸らしいと判定され、エッジ画素比率T1が小さいほど、クモの糸らしくないと判定される。
輝度増加比率T2は、入力画像の変化領域内の画素の輝度値が対応する背景画像の画素の輝度値よりも高い画素数の割合を表し、例えば次式により算出される。
T2=(入力画像の変化領域内の画素の輝度値が対応する背景画像の画素の輝度値よりも高い画素数)/(変化領域内の全画素数) (6)
撮像部10の近傍に存在するクモの糸は、照明部20からの照明の影響を受けて、特に輝度が高くなるという特徴を有する。従って、輝度増加比率T2が大きいほど、クモの糸らしいと判定され、輝度増加比率T2が小さいほど、クモの糸らしくないと判定される。
短軸長T3は、例えば変化領域を楕円近似したときの短軸の長さで表される。クモの糸は細長いため、短軸長が短いほど、クモの糸らしいと判定され、短軸長が長いほど、クモの糸らしくないと判定される。
外乱属性値は、所定の関数を用いてエッジ画素比率T1、輝度増加比率T2及び短軸長T3をそれぞれ正規化した値の乗算によって算出される。また本実施形態では、外乱属性値は、外乱領域包含率が所定の閾値Th3以上である場合、すなわち所定時間Tm1内に変化領域にクモの糸が存在していた可能性が高い場合、より大きい値となるように調整される。
なお、閾値Th3は、クモの糸が揺れた場合にも、そのクモの糸による変化領域がそのクモの糸による外乱領域に対応すると判定できるように、クモの糸が揺れたときの揺れ幅を考慮して定められることが好ましい。例えば、クモの糸が外乱領域として抽出された後にそのクモの糸が揺れたとき、その揺れにより抽出される変化領域が外乱領域にどの程度重なるかを計測することにより閾値Th3の適切な値を決定できる。閾値Th3として、例えば40%が好ましい。
図2(a)〜(c)に、外乱領域包含率が閾値Th3未満である場合にエッジ画素比率T1、輝度増加比率T2及び短軸長T3をそれぞれ正規化する関数S1、S2及びS3の一例を示す。図2(a)において、横軸はエッジ画素比率T1であり、縦軸は関数S1の出力値を表す。そしてグラフ201は関数S1の入力値と出力値の関係を表す。この例では、関数S1の出力値は、0≦T1<d1のとき0となり、d1≦T1<e1のとき0から1まで線形に増加し、e1≦T1のとき1となる。また図2(b)において、横軸は輝度増加比率T2であり、縦軸は関数S2の出力値を表す。そしてグラフ202は関数S2の入力値と出力値の関係を表す。この例では、関数S2の出力値は、0≦T2<d2のとき0となり、d2≦T2<e2のとき0から1まで線形に増加し、e2≦T2のとき1となる。また図2(c)において、横軸は短軸長T3であり、縦軸は関数S3の出力値を表す。そしてグラフ203は関数S3の入力値と出力値の関係を表す。この例では、関数S3の出力値は、0≦T3<d3のとき1となり、d3≦T3<e3のとき1から0まで線形に減少し、e3≦T3のとき0となる。
図2(a)〜(c)に示すように、関数S1、S2及びS3は、変化領域がクモの糸らしいほど、出力値が1に近くなり、変化領域がクモの糸らしくないほど、出力値が0に近くなる関数である。このとき、外乱属性値は、関数S1、S2及びS3を用いて、例えば次式により算出される。
(外乱属性値)=S1×S2×S3 (7)
図3(a)〜(c)に、外乱領域包含率が閾値Th3以上である場合にエッジ画素比率T1、輝度増加比率T2及び短軸長T3をそれぞれ正規化する関数S1'、S2'及びS3'の一例を示す。図3(a)において、横軸はエッジ画素比率T1であり、縦軸は関数S1'の出力値を表す。そしてグラフ204は関数S1'の入力値と出力値の関係を表す。この例では、関数S1'の出力値は、0≦T1<d1’のとき0なり、d1'≦T1<e1'のとき0から1まで線形に増加し、e1'≦T1のとき1となる。また図3(b)において、横軸は輝度増加比率T2であり、縦軸は関数S2'の出力値を表す。そしてグラフ205は関数S2'の入力値と出力値の関係を表す。この例では、関数S2'の出力値は、0≦T2<d2’のとき0なり、d2'≦T2<e2'のとき0から1まで線形に増加し、e2'≦T2のとき1となる。また図2(c)において、横軸は短軸長T3であり、縦軸は関数S3'の出力値を表す。そしてグラフ206は関数S3'の入力値と出力値の関係を表す。この例では、関数S3'の出力値は、0≦T3<d3’のとき1となり、d3'≦T3<e3'のとき1から0まで線形に減少し、e3'≦T3のとき0となる。
図3(a)〜(c)に示すように、関数S1'、S2'及びS3'も、関数S1、S2及びS3と同様に、変化領域がクモの糸らしいほど、出力値が1近くなり、変化領域がクモの糸らしくないほど、出力値が0近くなる関数である。このとき、外乱属性値は、関数S1'、S2'及びS3'を用いて、例えば次式により算出される。
(外乱属性値)=S1'×S2'×S3' (8)
但し、図2(a)〜(c)及び図3(a)〜(c)において、d1>d1'、e1>e1'、d2>d2'、e2>e2'、d3<d3'、e3<e3'という関係が成立している。すなわち、入力値(T1、T2またはT3)が同一である場合、関数S1'、S2'またはS3'の出力値は、関数S1、S2またはS3の出力値以上となる。例えば、図2(a)、図3(a)に示すように、T1の値がx1(d1<x1<e1、かつe1'<x1)である場合、関数S1’の出力値は1となるが、関数S1の出力値は0から1の間の値となる。また図2(b)、図3(b)に示すように、T2の値がx2(d2<x2<e2、かつe2'<x2)である場合、関数S2'の出力値は1となるが、関数S2の出力値は0から1の間の値となる。また図2(c)、図3(c)に示すように、T3の値がx3(d3<x3<e3、かつx3<d3')である場合、関数S3'の出力値は1となるが、関数S3の出力値は0から1の間の値となる。
従って、式(8)により算出された外乱属性値の方が、式(7)により算出された外乱属性値より大きい値になりやすい。
なお、d1〜d3、d1'〜d3'、e1〜e3、e1'〜e3'の具体的な値をどのように設定するかは、画像センサ100が設置される環境や人を検出する目的などに応じて適宜最適化される。
また上記では、外乱属性値算出手段33が、外乱領域包含率が閾値Th3未満である場合、式(7)を用いて外乱属性値を算出し、外乱領域包含率が閾値Th3以上である場合、式(8)を用いて外乱属性値を算出する例を示したが、外乱属性値算出手段33が3つ以上の式を用いて外乱属性値を算出するようにしてもよい。例えば、3つの式を用いて外乱属性値を算出する場合、閾値Th3より大きい閾値Th3'と、T1、T2及びT3をそれぞれ正規化し、同一の入力値に対して関数S1'、S2'及びS3'の出力値以上の値を出力する関数S1''、S2''及びS3''とを予め定めておけばよい。そして外乱属性値算出手段33は、外乱領域包含率が閾値Th3未満である場合、式(7)を用いて外乱属性値を算出し、外乱領域包含率が閾値Th3以上であり、閾値Th3'未満である場合、式(8)を用いて外乱属性値を算出し、外乱領域包含率が閾値Th3'以上である場合、次式を用いて外乱属性値を算出すればよい。
(外乱属性値)=S1''×S2''×S3'' (9)
このように、外乱属性値算出手段33は、外乱領域包含率が大きいほど外乱属性値が大きくなるように外乱属性値を算出する。
また外乱領域包含率が閾値Th3以上である場合、外乱属性値は、式(8)に代えて、次式により算出してもよい。
(外乱属性値)=S1×S2×S3×α (10)
但し、αは、1より大きい定数であり(α>1)、実験または経験的に定められる。αの値として、例えば1.5が好ましい。
また外乱属性値は、S1、S2、S3またはS1'、S2'、S3'の加算、またはそれぞれを重み付けした値の加算によって算出するようにしてもよい。その場合、外乱属性値は、外乱領域包含率が閾値Th3未満であるとき、関数S1、S2、S3を用いて式(11)により算出し、外乱領域包含率が閾値Th3以上であるとき、関数S1'、S2'、S3'を用いて式(12)により算出する。
(外乱属性値)=S1×c1+S2×c2+S3×c3 (11)
(外乱属性値)=S1'×c1+S2'×c2+S3'×c3 (12)
ただし、c1〜c3は、T1〜T3のいずれを重視するかによって決定される重み係数であり、その合計(Σci(i=1,2,3))は1である。例えば、T1〜T3の重みを等しくする場合、各重み係数は全て同一の値に定められ、T1〜T3のうちの一部の特徴量を用いない場合、対応する重み係数は0に定められる。各重み係数の具体的な値をどのように設定するかは、画像センサ100が設置される環境や人を検出する目的などに応じて適宜最適化される。
図4のフローチャートを参照しつつ、外乱属性値算出手段33によって制御される外乱属性値算出処理について説明する。
まず、外乱属性値算出手段33は、変化領域毎に外乱領域包含率を算出する(ステップS11)。外乱領域包含率を算出すると、外乱属性値算出手段33は、変化領域毎に、エッジ画素比率T1、輝度増加比率T2、または短軸長T3等のクモの糸特有の特徴量を算出する(ステップS12)。次に外乱属性値算出手段33は、外乱領域包含率が閾値Th3以上であるか否かを算出する(ステップS13)。そして外乱属性値算出手段33は、クモの糸特有の特徴量と外乱領域包含率が閾値Th3以上であるか否かに基づいて外乱属性値を算出する(ステップS14)。
ノイズ判定手段34は、ノイズの有無、すなわち監視領域が降雨または降雪等が発生しているノイズ状態であるか否かを判定する手段である。近傍外乱の発生の判定を妨げるノイズが存在する場合、変化領域に近傍外乱が存在しないにも関わらず、外乱属性値が大きい値となる変化領域が発生することがある。そこで、ノイズ判定手段34は、近傍外乱がない場合でも外乱領域抽出手段35によって近傍外乱によるものと判定される変化領域を生じさせるノイズが存在するか否かを判定し、ノイズが存在するか否か、すなわち監視領域がノイズ状態であるか否かを示すノイズ情報を外乱領域抽出手段35に通知する。
クモの糸を近傍外乱とした場合のノイズには、例えば、降雨・降雪、入力画像内に撮像された光源、その光源の点滅または照明変動がある。
例えば、降雨・降雪があると、画像センサ100付近の雨や雪の軌跡が白い線として撮像される。この雨や雪の軌跡は、外見上クモの糸の像と類似するため、外乱属性値が大きくなる。
降雨・降雪の判定方法は、例えば、特開2007−226604に開示されている。具体的には、雨や雪は明るい線分状の形状で入力画像に表示され、次の入力画像では消える(または入力画像内の別の場所に移動する)という特性を利用する。すなわちノイズ判定手段34は、フレーム間差分処理により、明るく変化した後、次のフレームで暗く変化する領域を抽出する。そしてノイズ判定手段34は、形状が細長くない部分を除去した領域が画像全体に分布し、かつ出現頻度が所定の閾値以上であるとき、降雨・降雪があると判定する。
あるいはノイズ判定手段34は、周知の降雨センサ、降雪センサから降雨・降雪情報を取得するようにしてもよいし、周知の気象情報通知システムから気象情報を取得するようにしてもよい。その場合、画像センサ100に外部のセンサまたはシステムと通信するための通信インターフェース及びその制御回路を備えておき、ノイズ判定手段34は、その通信インターフェースを介して外部のセンサまたはシステムと通信すればよい。
また、入力画像内に撮像された光源が存在する場合も、その光源からの光が細く白い線として撮像されることがある。このような光による線も、外見上クモの糸の像と類似するため、外乱属性値が大きくなる。
そこでノイズ判定手段34は、例えば、入力画像毎に所定の閾値Th4(例えば、230)以上の輝度値を有する画素数を算出し、算出した画素数が所定の閾値Th5以上であれば、入力画像内に光源が存在していると判定する。なお、閾値Th4は、入力画像内の画素が光源からの照明に相当するほど十分に高い輝度値をもつか否かを判定するための閾値であり、閾値Th5は、輝度値の高い領域が光源からの照明に相当する大きさをもつか否かを判定するための閾値である。これらの閾値は、例えば実際に光源を撮影したときの入力画像の輝度値を測定することにより、適切な値を決定できる。
また、入力画像内に撮像された光源が点滅すると、入力画像と背景画像の各画素の輝度値の差が大きくなるため、背景差分処理及びラベリング処理で多くの変化領域が抽出され、その結果、外乱属性値の大きい変化領域が生じる可能性が高くなる。
そこでノイズ判定手段34は、例えば、入力画像毎に閾値Th4以上の輝度値を有する画素数を算出し、算出した画素数の入力画像毎の変化数が所定の閾値Th6以上であれば、入力画像内に撮像された光源が点滅していると判定する。なお、閾値Th6は、光源からの照明が変化しているか否かを判定するための閾値である。閾値Th6は、例えば実際に光源を点滅させたときの入力画像の輝度値の変化を測定することにより、適切な値を決定できる。
また、照明変動がある場合も、入力画像と背景画像の各画素の輝度値の差が大きくなるため、背景差分処理及びラベリング処理で多くの変化領域が抽出され、その結果、外乱属性値の大きい変化領域が生じる可能性が高くなる。
そこでノイズ判定手段34は、例えば、定期的に入力画像の平均輝度を算出し、その平均輝度が所定の閾値以上に変化するか否かを判定することにより、照明変動の有無を判定する。なお、この閾値は、例えば実際に照明変動を発生させたときの入力画像の平均輝度値を測定することにより、適切な値を決定できる。
あるいはノイズ判定手段34は、定期的に撮像部10からAGC(Automatic Gain Control)制御で用いられるゲイン値またはシャッタ制御で用いられるシャッタスピード値を取得し、取得したゲイン値またはシャッタスピード値が所定の閾値以上に変化するか否かを判定することにより、照明変動の有無を判定するようにしてもよい。なお、これらの閾値は、例えば実際に照明変動を発生させたときのゲイン値またはシャッタスピード値を測定することにより、適切な値を決定できる。
外乱領域抽出手段35は、外乱属性値算出手段33が算出した外乱属性値が所定の閾値Th7以上である変化領域を特定変化領域として抽出し、記憶部40に記憶させる。なお、閾値Th7は、変化領域が近傍外乱によるものであることを示す値に設定される。例えば閾値Th7は、実験により求められた確実にクモの糸であると判断できる外乱属性値に設定される。あるいは、クモの糸が揺れたり、クモの糸が撮影された画像が背景画像として用いられたりしたことによって、外乱属性値がそれほど高くない変化領域が抽出されたときに、その変化領域も特定変化領域として抽出したい場合、閾値Th7は、実験により求められた外乱属性値にマージンを加えた値としてもよい。
なお、特定変化領域を抽出するために用いられる外乱属性値として、外乱領域包含率の大きさに関わらず、式(7)で算出されるものを常に用いるようにしてもよい。
そして外乱領域抽出手段35は、所定時間Tm1内に抽出された複数の特定変化領域のうち所定数以上が重なった領域を外乱領域候補として抽出する。具体的には、外乱領域抽出手段35は、所定時間Tm1内に所定回数以上、記憶部40に特定変化領域として記憶された画素の集合を外乱領域候補として抽出する。記憶部40に記憶された回数は、記憶される毎に1回としてもよいし、複数回連続して記憶された場合にまとめて1回としてもよい。複数回連続して記憶された場合にまとめて1回とすることにより、外乱領域抽出手段35は、1回の連続した揺れによって出現した変化領域を外乱領域候補として抽出せず、揺れと停止を所定回数以上繰り返したクモの糸による変化領域のみを外乱領域候補として抽出することができる。なお、上記の所定時間Tm1及び所定回数として、高頻度で同じ位置に出現する特定変化領域を外乱領域候補として抽出するために適切な値が定められる。例えば実験により揺れたクモの糸が同じ位置を通る回数及び時間を計測することにより、所定時間Tm1及び所定回数の適切な値を決定できる。所定時間Tm1及び所定回数として、例えば60秒間に5回以上が好ましい。
入力画像の相当部分が外乱領域になると、侵入物体の検出処理を適切に実施できなくなるおそれがある。そこで外乱領域抽出手段35は、外乱領域候補として抽出された画素を外乱領域に含めたときに外乱領域全体の面積が所定の閾値Th8以上となる場合、その外乱領域候補として抽出された画素は外乱領域に加えない。一方、外乱領域抽出手段35は、外乱領域候補として抽出された画素を外乱領域に含めたときに外乱領域全体の面積が閾値Th8未満となる場合、その外乱領域候補として抽出された画素をすでに記憶部40に記憶された外乱領域に加える。なお、閾値Th8は、侵入物体を適切に検出することが可能な外乱領域の面積の最大値に設定される。閾値Th8として、例えば入力画像全体の8%に相当する面積の値が好ましい。
そして外乱領域抽出手段35は、新たに外乱領域に加えた画素について外乱領域に加えたときから所定時間Tm2を計時するタイマーを用いて計時を行い、所定時間Tm2が経過するとその画素を外乱領域から削除する。なお、所定時間Tm2は、揺れていたクモの糸が停止した後、再び風等の影響により揺れて変化領域として抽出されると想定される時間間隔の最大値に設定される。このとき、背景画像の更新間隔を考慮して設定されることが好ましい。つまり、クモの糸がしばらく停止していた結果、クモの糸が撮影された画像が背景画像として用いられ、そのクモの糸が変化領域として抽出されなくなることによって、特定変化領域の抽出頻度が低くなっても、クモの糸が、同じ場所に存在している可能性が高い間は外乱領域として保持されるようにする。これにより、停止後、再び揺れ始めたクモの糸についても精度よく誤判定を抑制できる。所定時間Tm2として、例えば7分間が好ましい。
また、外乱領域抽出手段35は、ノイズ判定手段34から取得したノイズ情報がノイズが存在することを示しているか否かを判定する。そして外乱領域抽出手段35は、ノイズが存在する場合、外乱属性値が閾値Th7以上である変化領域を特定変化領域として記憶部40に記憶させない。これにより、外乱領域抽出手段35は、クモの糸の発生の判定を妨げるノイズが存在する変化領域を外乱領域に加えないようにすることで、入力画像の相当部分が外乱領域になることを抑制できる。
図5のフローチャートを参照しつつ、外乱領域抽出手段35によって制御される外乱領域抽出処理について説明する。
まず、外乱領域抽出手段35は、ノイズ判定手段34から取得したノイズ情報がノイズが存在することを示しているか否かを判定する(ステップS21)。外乱領域抽出手段35は、ノイズが存在する場合、今回抽出された変化領域を外乱領域に加えるべきでないと判定して、外乱領域抽出処理を終了する。一方、外乱領域抽出手段35は、ノイズが存在しない場合、外乱属性値算出手段33が算出した外乱属性値が閾値Th7以上である変化領域を特定変化領域として記憶部40に記憶させる(ステップS22)。
特定変化領域を記憶部40に記憶させると、外乱領域抽出手段35は、所定時間Tm1内に所定回数以上、記憶部40に特定変化領域として記憶された画素の集合を外乱領域候補として抽出する(ステップS23)。
外乱領域候補を抽出すると、外乱領域抽出手段35は、外乱領域候補として抽出された画素を外乱領域に含めたときに外乱領域全体の面積が閾値Th8以上となるか否かを判定する(ステップS24)。外乱領域抽出手段35は、外乱領域全体の面積が閾値Th8以上となると判定すると、侵入物体の検出処理を適切に実施できなくなるおそれがあるため、外乱領域候補として抽出された画素を外乱領域に加えずに外乱領域抽出処理を終了する。一方、外乱領域抽出手段35は、外乱領域全体の面積が閾値Th8以上にならないと判定すると、外乱領域候補として抽出された画素を外乱領域に加え、新たに外乱領域に加えた画素を保持しておく所定時間Tm2の計時を開始する(ステップS25)。そして所定時間Tm2が経過すると、外乱領域抽出手段35は、対応する画素を外乱領域から削除する。
図6に、変化領域から外乱領域を抽出する例を画像で示す。図6において、画像300、310、320は、時間的に連続して撮影された入力画像であり、それぞれクモの糸301、311、321と、壁302、312、322が撮像されている。クモの糸301、311、312は、揺れることにより、異なる位置、形状で撮像されている。
画像330、340、350は、それぞれ画像300、310、320から抽出された変化領域を示す。画像330、340、350では、それぞれクモの糸301、311、321に対応する領域331、341、351が変化領域として抽出されている。なお、画像330、340、350に示す例では、変化領域として抽出された領域331、341、351がそのまま特定変化領域となっているものとする。
画像360は外乱領域を示す。画像360では、特定変化領域331、341、351の全てが重なっている斜線部分の領域、すなわち3回の特定変化領域の抽出処理で3回とも抽出された領域が外乱領域361として抽出される例を示している。
また図7に、入力画像と背景画像と変化領域と外乱領域との関係を表す図を示す。図7において、画像400は入力画像を示す。入力画像400には、クモの糸401と、人402が撮像されている。また画像410は背景画像を示す。背景画像410には、クモの糸401と同じクモの糸であり、過去に撮像されたクモの糸411が写っている。
画像420は、入力画像400と背景画像410から抽出された変化領域を示す。画像420では、クモの糸401とクモの糸411の位置、形状の違いによって生じる入力画像400と背景画像410の輝度差により変化領域421が抽出され、人402と対応する背景の輝度差により変化領域422が抽出されている。
画像430は、画像320に示した変化領域421、422と図6の画像360に示した外乱領域361の関係を表す。画像430に示した変化領域421のうち斜線部分431が、変化領域421と外乱領域361の重なる部分を示しており、変化領域421の画素数と斜線部分431の画素数が外乱領域包含率の算出に用いられる。
判定手段36は、変化領域毎に、侵入物体属性値と外乱属性値を比較し、その変化領域が侵入物体によるものか否かを判定する。そして判定手段36は、侵入物体属性値が外乱属性値より大きい場合、その変化領域は侵入物体によるものと判定し、出力部50に監視領域内で侵入物体が検出されたことを示す異常検出信号または侵入物体が検出された変化領域に関する情報を示す変化領域情報を送信する。一方、判定手段36は、侵入物体属性値が外乱属性値以下である場合、その変化領域は外乱によるものと判定し、出力部50に異常検出信号または変化領域情報を送信しない。すなわち判定手段36は、外乱属性値が大きいほど、その変化領域がクモの糸によるものである可能性が高いと判定し、その変化領域が侵入物体によるものと判定し難くしている。
なお、判定手段36は、侵入物体属性値が外乱属性値より大きい場合でも、その侵入物体属性値が所定の閾値以下である場合には、侵入物体が存在しない可能性が高いため、出力部50に異常検出信号または変化領域情報を送信しないようにしてもよい。この閾値は、外乱属性値に関わらず、その変化領域が確実に人によるものでないことを示す値に設定される。例えばこの閾値は、実験により求められた確実に人でないと判断できる侵入物体属性値に設定される。
また判定手段36は、侵入物体と判断された変化領域が存在しない場合、入力画像内に侵入物体が存在しないと判定して、背景画像更新手段37に記憶部40に記憶されている背景画像を更新させるための背景画像更新要求を送信する。
あるいは判定手段36は、変化領域そのものが存在しない場合に背景画像更新手段37に背景画像更新要求を送信して背景画像を更新させるようにしてもよい。
背景画像更新手段37は、判定手段36から背景画像更新要求を受け取ると、記憶部40に記憶されている背景画像を入力画像で置換することにより更新する。このように、背景画像を常に監視領域の最新の状態を表すものにしておくことで、画像処理部30は、天候の変化、太陽の日周変動などに起因する侵入物体の誤検出を軽減できる。なお、背景画像更新手段37は、上記の背景画像の更新処理を、判定手段36により侵入物体がないと判定されたときではなく、一定周期(例えば、10分間隔)ごとに行うようにしてもよい。その場合、例えば、監視領域に対する日照変動により入力画像の平均輝度値が所定値以上変化する時間を実験により求め、実験により求めた時間のうち最短の時間を更新処理を行う周期とすればよい。
出力部50は、構内LANまたは公衆回線網などの通信ネットワークに接続する通信インターフェース及びその制御回路を有する。そして出力部50は、判定手段36から異常検出信号または変化領域情報を受け取ると、その異常検出信号または変化領域情報を画像センサ100と通信ネットワークを介して接続された警備装置または監視センタ装置へ出力する。
なお、画像センサ100から異常検出信号または変化領域情報を受け取った警備装置または監視センタ装置は、異常検出信号に従って音声を発したり、変化領域情報を表示したりする。
次に、図8に示したフローチャートを参照しつつ、画像センサ100の侵入物体検出動作を説明する。なお、以下に説明する侵入物体検出動作は、画像処理部30によって制御され、撮像部10による画像取得間隔で繰り返し実行される。
まず、撮像部10により監視領域を撮像した入力画像が生成され、画像処理部30に送信される(ステップS31)。
画像処理部30が入力画像を受け取ると、画像処理部30の変化領域抽出手段31は、受け取った入力画像と記憶部40に記憶されている背景画像から変化領域を抽出してラベル画像を作成する。そして変化領域抽出手段31は、作成したラベル画像を侵入物体属性値算出手段32及び外乱属性値算出手段33へ送信する(ステップS32)。
侵入物体属性値算出手段32は、変化領域抽出手段31からラベル画像を受け取ると、変化領域毎に、侵入物体属性値を算出し、算出した侵入物体属性値と変化領域抽出手段31から受け取ったラベル画像を判定手段36へ通知する(ステップS33)。
一方、外乱属性値算出手段33は、変化領域抽出手段31からラベル画像を受け取ると、変化領域毎に、外乱属性値算出処理を実施し、算出した外乱属性値と変化領域抽出手段31から受け取ったラベル画像を判定手段36と外乱領域抽出手段35へ通知する(ステップS34)。なお、外乱属性値算出処理の詳細については、外乱属性値算出手段33の説明において述べたとおりである。
一方、ノイズ判定手段34は、近傍外乱がない場合でも外乱領域抽出手段35によって近傍外乱によるものと判定される変化領域、すなわち外乱属性値が閾値Th7以上となる変化領域を生じさせるノイズが存在するか否かを判定し、ノイズが存在するか否かを示すノイズ情報を外乱領域抽出手段35に通知する(ステップS35)。
外乱領域抽出手段35は、外乱属性値算出手段33から外乱属性値とラベル画像を受け取り、ノイズ判定手段34からノイズ情報を受け取ると、外乱領域抽出処理を実施する(ステップS36)。なお、外乱領域抽出処理の詳細については、外乱領域抽出手段35の説明において述べたとおりである。
一方、判定手段36は、侵入物体属性値算出手段32から侵入物体属性値とラベル画像を受け取り、外乱属性値算出手段33から外乱属性値とラベル画像を受け取ると、変化領域毎に、侵入物体属性値と外乱属性値を比較し、その変化領域が侵入物体によるものか否かを判定する。そして判定手段36は、侵入物体属性値が外乱属性値より大きい場合、その変化領域は侵入物体によるものと判定し、出力部50に異常検出信号または変化領域情報を送信する。出力部50は、判定手段36から異常検出信号または変化領域情報を受け取ると、その異常検出信号または変化領域情報を警備装置または監視センタ装置へ出力する(ステップS37)。
また判定手段36は、侵入物体による変化領域が存在しなかった場合、入力画像内に侵入物体が存在しないと判定して、背景画像更新手段37に記憶部40に記憶されている背景画像を更新させるための背景画像更新要求を送信する。背景画像更新手段37は、判定手段36から背景画像更新要求を受け取ると、記憶部40に記憶されている背景画像を現在の入力画像に更新する(ステップS38)。
なお、上記の各ステップにおける処理の詳細については、画像センサ100の各部の説明において詳しく説明したので、ここではその説明を省略する。
以上説明してきたように、本発明に係る画像センサは、監視領域を撮影した監視画像において、クモの糸のように侵入物体よりも撮像部に近い位置に発生し、同じ位置に継続的に存在する外乱について、その外乱の特徴量に基づいて外乱らしさの度合いを表す外乱属性値を算出し、外乱属性値の大きい領域を侵入物体として検出し難くしている。そして画像センサは、過去に高頻度で上記の外乱が発生したと判定された領域について外乱属性値を大きくするようにしている。これにより外乱の検出精度を向上させることができ、その結果、外乱を侵入物体と誤判定することを抑制できる。
また本発明に係る画像センサによれば、クモの糸のように人の手によって除去されるまで存在し続ける可能性が高い外乱について、同一の外乱による誤報の多発を抑制できる。
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、ステップS36に示した外乱領域抽出手段35による外乱領域抽出処理を、ステップS34に示した外乱属性値算出手段33による外乱属性値算出処理より前に実施してもよい。その場合、外乱領域抽出手段35は、前回取得していた入力画像について算出した外乱属性値に基づいて外乱領域を抽出すればよい。
また、ステップS33に示した侵入物体属性値算出手段32による侵入物体算出処理を、ステップS36に示した外乱領域抽出手段35による外乱領域抽出処理より後に実施してもよい。また、ステップS35に示したノイズ判定手段34によるノイズ判定処理を、ステップS34に示した外乱属性値算出手段33による外乱属性値算出処理より前に実施してもよい。
また本実施形態では、外乱属性値算出手段33が、外乱属性値として、所定時間Tm1内に高頻度で侵入物体よりも撮像部10に近い位置に発生する外乱の性質を持つ度合いを算出する例について説明したが、本発明はこれに限定されるものではない。例えば、外乱属性値算出手段33は、外乱属性値として、上記の外乱に限らず、侵入物体以外の外乱の性質を持つ度合いを算出してもよい。その場合も、画像センサは、過去に高頻度で侵入物体以外の外乱が発生したと判定された領域について外乱属性値を大きくするようにするので、外乱の検出精度を向上させることができ、その結果、外乱を侵入物体と誤判定することを抑制できる。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
10 撮像部
20 照明部
30 画像処理部
31 変化領域抽出手段
32 侵入物体属性値算出手段
33 外乱属性値算出手段
34 ノイズ判定手段
35 外乱領域抽出手段
36 判定手段
37 背景画像更新手段
40 記憶部
50 出力部
100 画像センサ

Claims (6)

  1. 監視領域内に侵入した侵入物体を検出する画像センサであって、
    前記監視領域を撮影した監視画像を順次取得する撮像部と、
    前記監視領域に侵入物体が存在しない状況において前記監視領域を撮影した画像である背景画像を記憶する記憶部と、
    前記監視画像と前記背景画像を用いて、前記監視画像中の変化が侵入物体に起因するものであり前記侵入物体以外の外乱である特定外乱に起因するものではないことを画像処理によって判定する画像処理部を有し、
    前記画像処理部は、
    前記監視画像と前記背景画像の差分によって、輝度値が変化した変化領域を抽出する変化領域抽出手段と、
    前記変化領域が侵入物体の性質を持つ度合いを侵入物体属性値として算出する侵入物体属性値算出手段と、
    前記変化領域が前記特定外乱の性質を持つ度合いを外乱属性値として算出する外乱属性値算出手段と、
    前記外乱属性値の高い変化領域が所定時間内に所定頻度で重なって現れる領域を抽出し、当該抽出した領域を外乱領域として設定する外乱領域抽出手段と、
    前記変化領域毎に前記侵入物体属性値および前記外乱属性値を比較し、当該変化領域が前記侵入物体か前記特定外乱かを判定する判定手段を有し、
    前記判定手段は、前記変化領域が前記外乱領域に重なる割合が大きいほど侵入物体と判定し難くすることを特徴とした画像センサ。
  2. 前記外乱属性値算出手段は、前記監視画像の前記変化領域に占めるエッジ画素の割合であるエッジ画素比率および/または前記監視画像の前記変化領域中の画素の輝度値が対応する前記背景画像の画素の輝度値よりも高い画素の割合である輝度増加比率を算出し、前記エッジ画素比率および前記輝度増加比率が大きいほど当該変化領域が持つ前記特定外乱の性質が強いものとして、前記エッジ画素比率および前記輝度増加比率のうち少なくとも一つを用いて、前記外乱属性値を算出する、請求項1に記載の画像センサ。
  3. 前記外乱属性値算出手段は、さらに前記変化領域を楕円近似したときの短軸長を算出し、前記短軸長が短いほど当該変化領域が持つ前記特定外乱の性質が強いものとして、前記短軸長を用いて前記外乱属性値を算出する、請求項1または2に記載の画像センサ。
  4. 前記外乱領域抽出手段は、前記外乱領域の総面積を算出し、当該総面積が所定値以上となるときは新たに前記外乱領域の設定を行わないことを特徴とした請求項1〜3の何れか一項に記載の画像センサ。
  5. 前記画像処理部は、さらに、前記監視領域が降雨または降雪の発生しているノイズ状態であるか否かを判定するノイズ判定手段を有し、
    前記外乱領域抽出手段は、前記ノイズ判定手段によって前記ノイズ状態であると判定されたときは前記外乱領域の設定を行わないことを特徴とした請求項4に記載の画像センサ。
  6. 前記外乱領域抽出手段は、さらに、前記外乱領域として新たに追加した領域毎に当該領域の追加時から第2の所定時間を計時し、前記第2の所定時間が経過するまでは、当該領域が、前記外乱属性値の高い変化領域が前記所定時間内に前記所定頻度で重なって現れる領域でなくても前記外乱領域としての設定を保持することを特徴とした請求項1〜5の何れか一項に記載の画像センサ。
JP2010230668A 2010-10-13 2010-10-13 画像センサ Active JP5761954B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010230668A JP5761954B2 (ja) 2010-10-13 2010-10-13 画像センサ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010230668A JP5761954B2 (ja) 2010-10-13 2010-10-13 画像センサ

Publications (2)

Publication Number Publication Date
JP2012084009A true JP2012084009A (ja) 2012-04-26
JP5761954B2 JP5761954B2 (ja) 2015-08-12

Family

ID=46242794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010230668A Active JP5761954B2 (ja) 2010-10-13 2010-10-13 画像センサ

Country Status (1)

Country Link
JP (1) JP5761954B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001836A (ja) * 2013-06-14 2015-01-05 セコム株式会社 画像センサ
WO2017047494A1 (ja) * 2015-09-18 2017-03-23 株式会社日立国際電気 画像処理装置
JP2018022475A (ja) * 2016-06-08 2018-02-08 アクシス アーベー 背景モデルを更新するための方法及び装置
JP2018106366A (ja) * 2016-12-26 2018-07-05 三菱電機株式会社 画像処理装置、プログラム
JP2019105550A (ja) * 2017-12-13 2019-06-27 コニカミノルタ株式会社 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350191A (ja) * 1999-06-02 2000-12-15 Secom Co Ltd 画像センサ
JP2006185310A (ja) * 2004-12-28 2006-07-13 Secom Co Ltd 画像センシング装置
JP2009163426A (ja) * 2007-12-28 2009-07-23 Secom Co Ltd 複合型侵入検知装置
JP2010067206A (ja) * 2008-09-12 2010-03-25 Secom Co Ltd 画像センサ
JP2010097265A (ja) * 2008-10-14 2010-04-30 Nohmi Bosai Ltd 煙検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350191A (ja) * 1999-06-02 2000-12-15 Secom Co Ltd 画像センサ
JP2006185310A (ja) * 2004-12-28 2006-07-13 Secom Co Ltd 画像センシング装置
JP2009163426A (ja) * 2007-12-28 2009-07-23 Secom Co Ltd 複合型侵入検知装置
JP2010067206A (ja) * 2008-09-12 2010-03-25 Secom Co Ltd 画像センサ
JP2010097265A (ja) * 2008-10-14 2010-04-30 Nohmi Bosai Ltd 煙検出装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001836A (ja) * 2013-06-14 2015-01-05 セコム株式会社 画像センサ
WO2017047494A1 (ja) * 2015-09-18 2017-03-23 株式会社日立国際電気 画像処理装置
JPWO2017047494A1 (ja) * 2015-09-18 2018-07-12 株式会社日立国際電気 画像処理装置
JP2018022475A (ja) * 2016-06-08 2018-02-08 アクシス アーベー 背景モデルを更新するための方法及び装置
US10489916B2 (en) 2016-06-08 2019-11-26 Axis Ab Method and apparatus for updating a background model
JP2018106366A (ja) * 2016-12-26 2018-07-05 三菱電機株式会社 画像処理装置、プログラム
JP2019105550A (ja) * 2017-12-13 2019-06-27 コニカミノルタ株式会社 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム
JP7020096B2 (ja) 2017-12-13 2022-02-16 コニカミノルタ株式会社 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム

Also Published As

Publication number Publication date
JP5761954B2 (ja) 2015-08-12

Similar Documents

Publication Publication Date Title
US6246321B1 (en) Movement detector
CN103270536B (zh) 停止物体探测
JP5761954B2 (ja) 画像センサ
JP4611776B2 (ja) 画像信号処理装置
JP2010238032A (ja) 煙検出装置
US8411947B2 (en) Video processing to detect movement of an object in the scene
KR101764071B1 (ko) 사람 검지 시스템
JP4542929B2 (ja) 画像信号処理装置
JP5042177B2 (ja) 画像センサ
US12087142B2 (en) Method and system for detecting concealed objects using handheld thermal imager
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
JP4656977B2 (ja) センシング装置
CN112084813A (zh) 异常目标的检测方法、装置及存储介质
JP4491360B2 (ja) 画像信号処理装置
JP5679760B2 (ja) 侵入物体検出装置
CN101930540A (zh) 基于视频的多特征融合的火焰检测装置和方法
JP5393086B2 (ja) 画像センサ
JP6189284B2 (ja) 画像センシング装置
ES2306020T3 (es) Deteccion de humo con una camara de video.
Yuwono et al. Design and implementation of human detection feature on surveillance embedded IP camera
JP2009157763A (ja) 複合型侵入検知装置
JP2012048690A (ja) 監視装置
JP6155106B2 (ja) 画像センサ
JP7328778B2 (ja) 画像処理装置及び画像処理プログラム
JP2016103246A (ja) 画像監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150609

R150 Certificate of patent or registration of utility model

Ref document number: 5761954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250