JP2006155167A

JP2006155167A - 画像認識装置

Info

Publication number: JP2006155167A
Application number: JP2004343975A
Authority: JP
Inventors: Teruhide Wada; 照秀和田
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2004-11-29
Filing date: 2004-11-29
Publication date: 2006-06-15
Anticipated expiration: 2024-11-29
Also published as: JP4528103B2

Abstract

【課題】侵入者を検知する画像センサにおいて、小動物を誤って人と検知することがある。
【解決手段】画像処理部６において変化領域抽出部２２は、移動体に応じて生じる変化領域を撮像部２からの監視画像中に検出する。この変化領域に対して、人属性値算出部２６により、人らしさを示す人属性値を算出する一方、小動物属性値算出部２８により小動物らしさを示す小動物属性値を算出する。小動物は壁や梁を這う行動特性があり、その際の画像には、背景画像のエッジの方向と変化領域の移動方向との一致度が高くなる等の特徴があり、それらの特徴に基づいて小動物属性値が算出される。小動物属性値が高い場合には人属性値を下げる補正を行うことで、小動物による誤報を抑制する。
【選択図】図１

Description

本発明は、監視画像に現れる侵入者等の検知対象を検知する画像認識装置に関し、特に監視空間内を移動する小動物の存在に配慮した検知対象の検知に関する。

近年、カメラ（撮像装置）を用いて監視対象領域（監視空間）における侵入者検知や異常検知を行う画像センサが各所に設置され威力を発揮している。そのような画像センサは、天井等に設置されたカメラにて監視対象領域の画像を取得する。現在においても、監視員が監視画像をモニタして異常等を検知するという形態の監視システムは存在するが、近年では画像認識装置を組み合わせて、監視画像中に現れる検知対象の像を自動的に検出する画像センサが開発されている。

この自動的な検出を行う画像センサでは、検知対象が検知された場合に、例えば監視員への通報が行われ、監視員はその通報を受けて、現地に赴いて確認する等の必要な措置を行う。このように自動的に検知対象を認識する装置では、監視員の負担が大幅に軽減される。

従来の画像センサに用いられる画像認識装置は、監視画像内に輝度変化があった領域を移動体とし、その形状や面積に基づき、人などの検知対象か否かを判断している。
特開平５−２８４５０１号公報

多数の画像センサを効率良く運営するために、誤検出・誤報を極力低減して、異常発生時の監視員や対処員による対応必要件数を抑制することが望まれる。従来の画像認識装置においても、種々の誤検出・誤報要因を排除すべく工夫がなされているが、使用環境が多岐にわたるため未だ十分とは言えない状況である。例えば、侵入者等を検知対象とした自動監視に用いられる画像認識装置において、監視空間内を移動する小動物が、従来技術で排除できない誤検出・誤報要因となる場合があった。具体的には、画像センサを構成するカメラは通常、二次元画像を生成するため、カメラから遠くの物体の大きさと近くの物体の大きさとを同等に評価することができない。例えば、カメラから遠距離に位置する人と、カメラから近距離に位置する猫や鼠などの小動物との大きさを比較して、両者の大きさが同等となる場合がある。また、移動方向、移動速度に関する情報を併用した場合であっても、猫や鼠などの小動物が人と同等に検出される可能性がある。

従来、侵入者監視目的の画像センサにおいて、上述のような場合であっても小動物による誤報を十分に排除しようとすると、画像認識装置での判定における「人らしさ」の基準を厳しくする必要がある。しかし、「人らしさ」の基準を厳しくするほど、侵入者を見落としてしまう失報が起こりやすくなる。逆に、「人らしさ」の基準を緩和した場合には、小動物を侵入者として判定する誤報が生じる可能性が高くなる。

このように、従来の画像認識装置では、基本的に監視画像にて移動体に対応する領域の「人らしさ」のみに注目した判定を行うため、抽出した移動体が人であるか小動物であるかを明確に区別することが難しいという問題があった。

小動物による誤報は、現状のように自動監視が普及している状況では、上述の監視員や対処員の負担増、運営コスト増の原因となり、放置できない問題である。

本発明は上記問題点を解消するためになされたもので、「小動物らしさ」の指標を用いることにより、小動物に起因して発生しうる事象を識別して信頼性の高い監視を実現する画像認識装置を提供することを目的とする。

本願発明者は、上記問題点を解決する画像認識装置の実現のために研究を行い、その実験の結果、小動物が監視空間を移動する場合、任意の場所を任意の動きで移動するのではなく、監視空間に置かれた物体の配置等の構造上の制約や小動物の習性により、出現場所や行動パターンが或る程度限定されることが判明した。本発明はこの知見を利用したものである。

本発明に係る画像認識装置は、監視空間を撮影した入力画像に基づいて、当該監視空間に存在する検知対象を検知するものであり、背景画像を記憶する背景画像記憶手段と、前記入力画像と前記背景画像とを比較して、変化領域を抽出する変化領域抽出手段とを有するものにおいて、前記変化領域が前記監視空間内を移動する小動物によるものである可能性を示す小動物指標を求める小動物指標生成手段と、少なくとも前記小動物指標を用いて、前記変化領域が前記検知対象によるものであるか否かを判定する判定手段と、を有し、前記小動物指標生成手段が、前記変化領域の移動方向を求める手段と、前記変化領域に応じた領域に現れる前記背景画像のエッジに基づいてエッジ方向を定める手段と、前記移動方向と前記エッジ方向との一致度に応じた移動・エッジ方向一致指標を求める手段と、前記移動・エッジ方向一致指標に基づいて、前記小動物指標を決定する指標決定手段と、を有するものである。

本発明は、小動物が例えば、梁の上や壁の隅などに沿って移動し易いという習性に基づくものであり、その結果、画像上、小動物の位置又はその近傍領域に梁の縁や壁の隅による直線状のエッジが抽出され易いという特徴を利用したものである。例えば、抽出されたエッジの方向と変化領域の移動方向との一致度が高い場合に当該変化領域に対応する移動体が小動物である可能性が高いことを示す値が移動・エッジ方向一致指標として定められる。

他の本発明に係る画像認識装置においては、前記小動物指標生成手段が、前記変化領域の形状の長手方向を求める手段と、前記移動方向と前記長手方向との一致度に応じた移動・長手方向一致指標を求める手段と、を有し、前記指標決定手段が、前記移動・長手方向一致指標にも基づいて、前記小動物指標を決定する。

本発明は、小動物は四本足で這うため、基本的にその胴体方向に動くという特性に基づくものである。胴体方向は変化領域の形状の長手方向と推定される。例えば、その長手方向と変化領域の移動方向との一致度が高い場合、当該変化領域に対応する移動体が小動物である可能性が高いことを示す値が移動・長手方向一致指標として定められる。

他の本発明に係る画像認識装置においては、前記小動物指標生成手段が、前記変化領域の移動速度に応じた移動速度指標を求める手段を有し、前記指標決定手段が、前記移動速度指標にも基づいて、前記小動物指標を決定する。

本発明は、小動物が速く移動するという特性に基づくものである。例えば、画像上での変化領域の移動速度に基づいて、移動体の速度を推定し、その速度が大きい場合、当該変化領域に対応する移動体が小動物である可能性が高いことを示す値が移動速度指標として定められる。

他の本発明に係る画像認識装置においては、前記小動物指標生成手段が、前記変化領域の移動の直進性に応じた移動直進指標を求める手段を有し、前記指標決定手段が、前記移動直進指標にも基づいて、前記小動物指標を決定する。

本発明は、小動物が頻繁に移動方向を突然変えることは少なく、直進することが多いという特性に基づくものである。特に、梁の上では、可動範囲が直線的に制限されるため、その傾向が顕著である。例えば、変化領域の移動の軌跡の伸び方が直線的である場合、当該変化領域に対応する移動体が小動物である可能性が高いことを示す値が移動直進指標として定められる。

他の本発明に係る画像認識装置においては、前記小動物指標生成手段が、前記変化領域の形状の長手方向を求める手段と、前記入力画像上での前記長手方向の垂直度に応じた長手方向垂直指標を求める手段と、を有し、前記指標決定手段が、前記長手方向垂直指標にも基づいて、前記小動物指標を決定する。

本発明は、小動物が壁や柱に沿って上下に移動する場合、その方向は垂直に近いことが多いことに基づくものである。例えば、変化領域の長手方向が画像上、垂直に近い場合、当該変化領域に対応する移動体が小動物である可能性が高いことを示す値が長手垂直指標として定められる。

他の本発明に係る画像認識装置は、前記入力画像が、前記監視空間の基底面の上方から当該基底面に向けて斜め方向に撮影された画像であるものであって、前記小動物指標生成手段が、前記変化領域が前記入力画像にて上方に移動した場合に当該変化領域の大きさが拡大し、下方に移動した場合に当該変化領域の大きさが縮小する遠近関係に基づいて、前記監視空間における前記小動物の上下方向の移動に応じた遠近指標を求める手段を有し、前記指標決定手段が、前記遠近指標にも基づいて、前記小動物指標を決定する。

本発明は、監視空間にて水平に移動する移動体及び垂直に移動する移動体それぞれに対応する変化領域の大きさは、斜め上方から撮影した画像における上下の移動に際して互いに逆の変化を示すことに基づくものである。すなわち、基底面上を奥から手前に移動する移動体は、画像上では上から下へ移動するように映る。このとき、遠方位置に対応する上側では移動体は小さく映り、手前位置に対応する下側では大きく映るという遠近関係が生じる。例えば、人は基底面、すなわち地上や床の上を移動する。これに対して、監視空間内を上から下に移動する移動体は、画像上では上から下へ移動するように映る。このとき、上側は撮像装置から見て手前位置であり移動体は大きく映り、下側は撮像装置から見て遠方位置であり移動体は小さく映るという遠近関係が生じる。小動物は壁等に沿って監視空間を上下方向に移動し得るので、この後者の遠近関係が成り立ち、これを用いて基底面上の移動体との識別が可能である。例えば、変化領域が画像上にて上方に移動した場合に変化領域の大きさが拡大し、下方に移動した場合に変化領域の大きさが縮小する遠近関係が成立する場合、当該変化領域に対応する移動体が小動物である可能性が高いことを示す値が遠近指標として定められる。

他の本発明に係る画像認識装置は、前記変化領域が前記監視空間内を移動する人によるものである可能性を示す人指標を求める人指標生成手段を有し、前記判定手段が、少なくとも前記人指標及び前記小動物指標を用いて、前記変化領域が前記検知対象によるものであるか否かを判定するものである。

本発明によれば、監視空間を撮影した画像の画像特徴と小動物の行動特性との関係を利用して小動物らしさを求めることにより、小動物に起因して発生しうる事象の識別精度を高め、目的とする検知対象の出現を高い信頼性で監視できる画像認識装置が得られる。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。本実施形態は、監視対象領域に出現した人を検知対象とする画像センサである。

図１は、本画像センサの概略のブロック構成図である。本装置は、撮像装置と画像認識装置とを含んで構成され、撮像部２が撮像装置に相当し、処理部４が画像認識装置に相当する。

撮像部２は、光学系、ＣＣＤイメージセンサ、Ｃ−ＭＯＳイメージセンサなどの撮像素子、及び撮像素子が出力する画像信号に所定のアナログ信号処理やＡ／Ｄ変換を施す信号処理回路から構成され、監視領域を撮影した画像を表すデジタル画像データを処理部４へ出力する。

処理部４は、画像処理部６、記憶部８、判定部１０、出力部１２を含んで構成される。画像処理部６は、背景画像更新部２０、変化領域抽出部２２、トラッキング部２４、人属性値算出部２６、小動物属性値算出部２８を含んで構成される。画像処理部６は、撮像部２から取得した画像情報を処理し、人属性値（人指標）及び小動物属性値（小動物指標）を算出する。

記憶部８は、画像処理部６での処理に必要な情報を記憶し、特に、背景画像記憶領域３０、トラッキング情報記憶領域３２が設けられる。

判定部１０は、画像内に検知される移動体が検知対象である人であるかどうかの判定を、画像処理部６にて算出された人属性値及び小動物属性値に基づいて行う。具体的には、判定部１０は、小動物属性値に基づいて人属性値を補正する補正処理を行い、補正後の人属性値が閾値以上であれば、移動体が人であるとの判定を行う。なお、補正処理については後述する。

出力部１２は、監視領域に判定部１０によって人であると判定された移動体像が存在する場合、その移動体像に関わる情報を外部装置（図示せず）へ出力する。外部装置は、例えば、その出力結果に基づいて警報を発する等の処理を行う。

画像処理部６、判定部１０、出力部１２は、例えば、マイクロプロセッサ等を用いて構成することができ、それら各部はこのマイクロプロセッサ上で実行されるプログラムとして実現することができる。

記憶部８に設けられた背景画像記憶領域３０は、撮像部２において撮影された監視画像のうち移動体が存在しないと判断された画像を背景画像として記憶する。

トラッキング情報記憶領域３２は、トラッキング部２４にて行われるトラッキング処理で得られた情報を格納する領域である。具体的には、監視画像内に抽出される変化領域の前時刻（前フレーム）での重心位置と面積とがトラッキング情報記憶領域３２に格納される。

記憶部８は、例えば、読み出し及び書き込みが可能なＲＡＭ等で構成することができ、マイクロプロセッサにより読み出し及び書き込みが実行される。

画像処理部６のうち、まず背景画像更新部２０は、撮像部２から取り込んだ監視画像のうち、移動体が存在しないときの画像を選択し、これを背景画像として背景画像記憶領域３０に格納する。背景画像の更新は適時行うことができる。例えば、監視領域における日照状態の変動などを考慮して、背景画像の更新タイミングが設定される。更新は、新たに選択された監視画像でそれまでの背景画像を置き換える方法の他、新たに選択された監視画像及び今までの背景画像それぞれに所定の重み係数を乗じた上で互いに加算する移動平均方式などを採用することができる。

変化領域抽出部２２は、撮像部２から入力される監視画像と、背景画像記憶領域３０から読み出した背景画像とを比較して、背景画像から変化があった領域（変化領域）を抽出し、単一の移動体と認識される変化領域毎にラベリングを施す。以降、単一の移動体に対応する変化領域をラベル領域と称する。なお、現実には、単一の移動体に対応する画像領域が複数の変化領域に分かれて抽出されることが起こる。そこで、変化領域抽出部２２は、図形融合等の画像処理の一般的な手法を用いて、比較的、距離が近い変化領域をまとめて単一のラベル領域とみなす処理を行う。

トラッキング部２４は、変化領域抽出部２２で得られたラベル領域が、前フレームでのラベル領域と同じ移動体であるか否かを判定し、同じであると判定された現フレームのラベル領域に前フレームまでの追跡情報を対応付けて、トラッキング情報記憶領域３２に格納する。例えば、同じ移動体かどうかの判定は、フレーム間でのラベル領域の重心の移動量やラベル領域の大きさ変化が一定範囲内である等の条件を用いて行われる。

人属性値算出部２６は、変化領域抽出部２２で得られたラベル領域毎に、その領域が人である場合に高い値となる「人属性値」を算出する。人属性値は、人らしさを表す特徴量、例えば、ラベル領域の大きさ、背景画像との正規化相関、背景画像と比較した場合のエッジの変化率から算出される。

小動物属性値算出部２８は、変化領域抽出部２２で得られたラベル領域毎に、その領域が小動物である場合に高い値となる「小動物属性値」を算出する。小動物属性値は、小動物らしさを表す特徴量に基づいて算出される。その特徴量及び算出方法については後述する。

図２は、本画像センサのメインの処理を示す概略の処理フロー図である。撮像部２により監視領域を撮影した画像は処理部４の変化領域抽出部２２に入力される（Ｓ４０）。変化領域抽出部２２は、入力された画像と、背景画像記憶領域３０に記憶されている背景画像との差分画像を生成する。差分画像は、両画像の各画素毎の輝度値の差分を求めることにより生成され、変化領域抽出部２２はさらにその差分値の絶対値を閾値処理して、画素値が所定値以上変化した画素からなる変化領域を入力画像から抽出する。変化領域抽出部２２は、上述のように単一の移動体と認識される変化領域を１つのラベル領域と定める（Ｓ４２）。

ラベル領域の特定は基本的に各画像フレーム毎に行われる。各フレームのラベル領域は１つの場合も複数である場合もあり、また前後するフレーム間でラベル領域に対応する移動体が異なるものとなっている場合もある。トラッキング部２４は、変化領域抽出部２２にて定められたラベル領域が前フレームでのラベル領域と同一の移動体によるものであるか否かの対応関係を判定する。対応関係が認められた場合には、現フレームにて得られたラベル領域に、前フレームまでの追跡情報（トラッキング情報）を対応付けて、トラッキング情報記憶領域３２へ出力する（Ｓ４４）。

次に、人属性値の算出（Ｓ４６）と小動物属性値の算出（Ｓ４８）とがそれぞれ、変化領域抽出部２２で得られたラベル領域毎に、トラッキング情報記憶領域３２に記憶されているトラッキング情報も用いて行われる。ここで、人属性値算出処理Ｓ４６と小動物属性値算出処理Ｓ４８との順序は任意であり、同時並列に処理してもよい。

人属性値は例えば、人らしさを表すいくつかの特徴量に基づいて計算される。人らしさを表す特徴量の例として上述したもののうち、ラベル領域の大きさに関しては、例えば、設定した所定範囲内にある場合が「人らしい」場合に該当する。また、背景画像との正規化相関に関しては、相関値が低いほど、背景との違いが大きいことを表し「人らしい」と言える。ラベル領域にて背景画像と比較した入力画像のエッジの変化率に関しては、その値が高いと「人らしい」と言える。

人属性値算出部２６は例えば、それら特徴量に重み係数を乗じた上で、それらの総和を求め、その総和を人属性値として出力することができる。ここで、人属性値をＰ_Ｈ、特徴量をｓ_ｉ、重み係数をａ_ｉ（ｉは自然数）で表す。各ｓ_ｉを人らしいほど１に近づき、人らしくないほど０に近づくように定義及び正規化し、さらにΣａ_ｉ＝１なる重み係数を用いることで、人らしいほど１に近づき、人らしくないほど０に近づく人属性値Ｐ_Ｈを定義することができる。ちなみにＰ_Ｈは次式で表される。ここでΣはｉについての総和を意味する。
Ｐ_Ｈ＝Σａ_ｉ・ｓ_ｉ

小動物属性値は例えば、小動物らしさを表す後述する複数の特徴量に基づいて計算される。詳細は後述するが、人属性値と同様、それら特徴量に基づいて、小動物らしいほど１に近づき、小動物らしくないほど０に近づく小動物属性値Ｐ_Ｂを定義することができる。

人属性値算出部２６が算出した人属性値Ｐ_Ｈと小動物属性値算出部２８が算出した小動物属性値Ｐ_Ｂとはそれぞれ判定部１０に入力され、補正処理Ｓ５０及び判定処理Ｓ５２が実行される。補正処理Ｓ５０は、ラベル領域毎に、小動物属性値Ｐ_Ｂを用いて人属性値Ｐ_Ｈを補正する。ここで補正とは、ラベル領域が小動物らしい場合に、そのラベル領域が人であると判定されにくくするように、人属性値を小さくする処理である。これにより、人であるとの誤った判定がされにくくなり、誤報が抑制される。

補正処理の第１の例は、人属性値から小動物属性値を引く方法であり、この場合、補正後の人属性値Ｐ_Ｈ’は、Ｐ_Ｈ’＝Ｐ_Ｈ−Ｐ_Ｂで算出される。

補正処理の第２の例は、人属性値と小動物属性値とを直接比較する方法であり、Ｐ_ＨがＰ_Ｂ以上の場合にはＰ_ＨをそのままＰ_Ｈ’とし、逆にＰ_ＨがＰ_Ｂより小さい場合にはＰ_Ｈ’を０とする。

補正処理の第３の例は、小動物属性値を閾値処理する方法であり、Ｐ_Ｂが所定の閾値未満の場合にはＰ_ＨをそのままＰ_Ｈ’とし、逆にＰ_Ｂが閾値以上の場合にはＰ_Ｈ’を０とする。

判定処理Ｓ５２は、ラベル領域毎に、補正後人属性値Ｐ_Ｈ’を用いて、当該ラベル領域が人に対応するか否かの判定をする。すなわち、補正後人属性値Ｐ_Ｈ’が所定の閾値以上である場合、そのラベル領域は人に対応すると判定し、出力部１２へ当該ラベル領域の情報を出力する。一方、補正後人属性値Ｐ_Ｈ’が閾値より小さい場合には、当該ラベル領域は人によるものではないと判定し、出力部１２へはラベル領域の情報は出力しない。

以上が、本画像センサの主たる処理の概要である。上述したように、本画像センサでは、人属性値と併せて、小動物属性値を算出する。そして、小動物属性値が高い場合には人属性値を下げる補正を行うことで、小動物による誤報を抑制する。すなわち、小動物である可能性が高い変化領域に対しては、人らしい（侵入者らしい）と判断されにくくする。

次に、小動物属性値算出処理Ｓ４８について説明する。小動物は、壁や梁などを這うという行動特性がある。小動物の画像上の特徴は、出現場所が壁等か梁等かで異なるため、処理Ｓ４８では、画像上、異なる特徴を示す出現場所を壁と梁で代表させ、それら代表出現場所に応じて２つの属性値「壁を這う小動物属性値」（以下、壁移動属性値）Ｐ_Ｂ１及び「梁を這う小動物属性値」（以下、梁移動属性値）Ｐ_Ｂ２をそれぞれ求め、それらに基づいて小動物属性値Ｐ_Ｂを定める。例えば、Ｐ_Ｂ１とＰ_Ｂ２との大きい方の値を小動物属性値Ｐ_Ｂとする。

壁移動属性値Ｐ_Ｂ１、梁移動属性値Ｐ_Ｂ２を求めるに際して、壁や梁等を移動する小動物に関する以下の(i)〜(vi)の画像特徴を利用する。
(i)小動物は四本足で、前後に比較的長い胴体の長軸方向に移動する傾向がある。そのため、画像上にて、ラベル領域の移動方向と長軸との一致度が高くなる傾向がある。
(ii)小動物は壁や梁の縁に沿って移動する傾向がある。そのため、ラベル領域に応じた位置の背景画像のエッジの方向とラベル領域の移動方向との一致度が高くなる傾向がある。
(iii)小動物は速く動く傾向がある。そのため、ラベル領域の移動速度が大きくなる傾向がある。
(iv)小動物は壁等を上下に移動する場合、鉛直方向にまっすぐ移動する傾向がある。そのため、ラベル領域の長軸の傾きが画像上で垂直に近くなる傾向がある。
(v)撮像部が天井等、上方から撮影する場合に、壁を上下に移動する小動物と、床を移動する人とでは画像上での遠近関係が異なる。
(vi)小動物は梁を這う場合、移動できる範囲が梁の上面に制限される。そのため、画面上にてラベル領域は直線的に移動する傾向がある。

図３は、小動物属性値算出処理Ｓ４８のより詳細な処理フロー図である。まず、上述の(i)〜(vi)の特徴を表す特徴量の算出に用いる基本的な量として、ラベル領域の長軸（長手方向）とＸ軸とがなす角度α、ラベル領域の前フレームから現フレームまでの期間における移動ベクトルＶ、ラベル領域の出現時から現フレームまでの期間における移動ベクトルＴをそれぞれ算出する（Ｓ６０〜Ｓ６４）。なお、ここでは、画像上にＸＹ座標系を設定し、その原点は画像左上、Ｘ軸は水平右向き、Ｙ軸は垂直下向きに設定される。また、Ｖ，Ｔはそれぞれ画像上での二次元ベクトルであり、それぞれのＸ成分をＶx，Ｔx、Ｙ成分をＶy，Ｔyと表す。

角度αの算出処理Ｓ６０は、例えば次式によりαを算出する。

ここで、Ｍ_ｉｊは、ラベル領域の重心座標（Ｇx,Ｇy）を用いて次式で定義される当該重心周りのモーメントである。

なお、ラベル領域の外接楕円に対して同様の方法で計算した値をαと定めても良い。

移動ベクトルＶの算出処理Ｓ６２は、現フレームにおけるラベル領域の重心座標から前フレームにおけるラベル領域の重心座標を減算し、得られた結果を移動ベクトルＶと定める。

移動ベクトルＴの算出処理Ｓ６４は、現フレームにおけるラベル領域の重心座標から出現時におけるラベル領域の重心座標を減算し、得られた結果を移動ベクトルＴと定める。

以上の処理Ｓ６０〜Ｓ６４の順序は基本的に任意であり、同時並列的に実行しても良い。

次に、(i)〜(vi)の特徴を表す特徴量の算出処理が行われる。

移動方向長軸一致度算出処理Ｓ６６は、(i)に対応する特徴量（移動・長手方向一致指標）として移動方向長軸一致度ｔ_１を求める。図４は移動方向長軸一致度ｔ_１を説明するための模式図である。同図では、梁９０の上を移動する鼠９２の長軸方向９４と移動方向９６とが示されている。ここで長軸方向９４は鼠９２に対応するラベル領域の外接楕円９８の長軸の方向としている。例えば、この長軸方向９４と移動方向９６とのなす角度に応じて、一致度ｔ_１が定められ、当該一致度ｔ_１は、移動ベクトルＶと長軸とがなす角度の余弦値βの絶対値、すなわち、
ｔ_１＝|β|
と定義することができる。βは次式で与えられる。

なお、移動ベクトルＶが０、すなわち上式で右辺分母が０となる場合はβ＝０とする。ここで、処理Ｓ６０で求められる角度αはフレーム毎に変化し得ることに対応して、βの算出に用いる移動ベクトルもフレーム毎に変化し得るベクトルＶを用いている。

移動方向背景エッジ一致度算出処理Ｓ６８は、(ii)に対応する特徴量（移動・エッジ方向一致指標）として移動方向背景エッジ一致度ｔ_２を求める。図５は、算出処理Ｓ６８を説明するための模式図である。背景画像において、ラベル領域に応じた領域１００に現れるエッジ１０２を求め、そのエッジの方向（背景エッジ方向）と出現位置からの移動ベクトルＴとのなす角度に応じて、一致度ｔ_２を求める。例えば、一致度ｔ_２は出現位置からの移動ベクトルＴと背景エッジ方向とのなす角度の余弦値γの絶対値、すなわち、
ｔ_２＝|γ|
と定義することができる。γは次式で与えられる。

ここで、ｅは背景エッジ方向角度であり、Ｘ軸に対し背景エッジがなす角度である。この角度ｅは例えば、次のようにして算出される。まず、ラベル領域に応じた領域１００内の背景画像の全画素にて、垂直エッジ強度ｒ_ｖと水平エッジ強度ｒ_ｈとを求める。垂直エッジ強度ｒ_ｖは画素値の垂直方向（Ｙ軸方向）の微分値で定義され、具体的には、ｒ_ｖの算出対象位置の画素及びその垂直方向の近傍画素の画素値を用いて計算される。同様に水平エッジ強度ｒ_ｈは画素値の水平方向（Ｘ軸方向）の微分値で定義され、具体的には、ｒ_ｈの算出対象位置の画素及びその水平方向の近傍画素の画素値を用いて計算される。

これらｒ_ｖ，ｒ_ｈを用いて（ｒ_ｖ ^２＋ｒ_ｈ ^２）^１／２で定義されるエッジ強度を求める。所定の閾値以上のエッジ強度を与える各画素について、arctan（ｒ_ｖ/ｒ_ｈ）で定義されるエッジ方向を求める。このエッジ方向のうち出現頻度が高いエッジ方向を、背景エッジ方向角度ｅと定める。

なお、移動ベクトルＴの大きさが０、すなわち上式で右辺分母が０となる場合はγ＝０とする。ここで、梁や壁を這う小動物の場合、背景エッジ方向角度ｅは変化しにくいことに対応して、γの算出に用いる移動ベクトルも、移動ベクトルＶより長い時間に基づいて得られる移動ベクトルＴを用いている。これにより、小動物の動きが平滑化され、一致度ｔ_２が上記(ii)の特徴に適合した好適な指標となることが期待される。

また、背景画像のエッジを検出する領域１００は、ラベル領域であってもよいし、例えば、その外接楕円とすることができる。図５では、この外接楕円を領域１００としている。さらに、その他の形状で、領域１００をラベル領域よりも或る程度、拡大した領域に定めてもよい。このように領域１００を広めに設定することで、小動物の近傍のエッジを好適に捉えることが可能となる。

移動ピクセル速度算出処理Ｓ７０は、(iii)に対応する特徴量（移動速度指標）として移動ピクセル速度ｔ_３を求める。例えば、まず、次式によって、出現位置からの移動ベクトルＴを用いて平均移動ピクセル数λを算出する。

ここで、ｆは出現からのフレーム数である。得られたλを所定の方法で正規化した値を、ここでは移動ピクセル速度ｔ_３として定義する。例えば、次式により、移動ピクセル速度ｔ_３を求める。ｆが０、すなわちラベル領域が初めて出現した時点ではλは０とする。

ここで、Ｚ（＞０）は撮影条件や小動物の行動習性から想定される、画面中の移動量に関する正規化パラメータである。

長軸傾き垂直度算出処理Ｓ７２は、(iv)に対応する特徴量（長手方向垂直指標）として長軸傾き垂直度ｔ_４を求める。長軸傾き垂直度ｔ_４は、ラベル領域の長軸とＸ軸とがなす角度α［degree］を９０［degree］で除して正規化した値とすることができる。すなわち、
ｔ_４＝|α|／９０
と定義することができる。

ラベル面積一定度算出処理Ｓ７４は、(v)に対応する特徴量（遠近指標）としてラベル面積一定度ｔ_５を求める。例えば、まず、前フレームでのラベル領域の面積σ₋と現フレームでのラベル領域の面積σ_０とを対比して、ラベル面積変化率εを求める。ここで、関心があるのは、画像の上部と下部とでのラベル領域の大小関係であり、例えば、画像下部でのラベル領域の大きさに対する画像上部でのラベル領域の大きさの比をεとして定義することができる。この場合のεは、具体的には、ラベル領域の重心が画面下方（Ｙ軸の正の向き）へ移動する場合は、
ε＝σ₋／σ_０
で求められ、ラベル領域の重心が画面上方（Ｙ軸の負の向き）へ移動する場合は、
ε＝σ_０／σ₋
で求められる。なお、ラベル領域が上下方向に移動しない場合にはε＝０とする。

得られたεを所定の方法で正規化した値を、ラベル面積一定度ｔ_５として定義する。例えば、次式により、ラベル面積一定度ｔ_５を求める。

移動直線度算出処理Ｓ７６は、(vi)に対応する特徴量（移動直進指標）として移動直線度ｔ_６を求める。例えば、まず、現フレームに対して得られた移動方向と前フレームに対して得られた移動方向とがなす角度の余弦値δを求める。現フレーム、前フレームそれぞれに対して得られた移動方向として、処理Ｓ６２で求めた移動ベクトルＶを用いることができる。ここでは、Ｖは現フレームでの移動ベクトルを表す記号として用い、前フレームでの移動ベクトルＶは記号Ｗで表す。Ｗx，ＷyはそれぞれベクトルＷのＸ成分、Ｙ成分を表す。具体的にはδは次式で与えられる。

なお、移動ベクトルＶ，Ｗのいずれかの大きさが０、すなわち上式で右辺分母が０となる場合はδ＝０とする。δは−１から１までの値を取り得る。ここでδ＝−１は前フレームと現フレームとで移動の向きが反転していることを意味し、この場合は、移動体が直進しているとはみなさないようにする。この観点も含めて、得られたδを所定の方法で正規化した値を、移動直線度ｔ_６として定義する。例えば、次式により、移動直線度ｔ_６を求める。
ｔ_６＝（δ＋１）／２

以上の処理Ｓ６６〜Ｓ７６により、それぞれ０〜１の範囲の値を取り、壁や梁等を移動する小動物において高い値を取り得る特徴量ｔ_１〜ｔ_６が得られる。これら処理Ｓ６６〜Ｓ７６の順序は基本的に任意であり、同時並列的に実行しても良い。

これら処理Ｓ６６〜Ｓ７６で算出された特徴量ｔ_１〜ｔ_６を用いて、壁移動属性値Ｐ_Ｂ１、梁移動属性値Ｐ_Ｂ２をそれぞれ算出する処理Ｓ７８，Ｓ８０が行われる。

壁を這う小動物属性値算出処理Ｓ７８では、上記特徴量ｔ_１〜ｔ_６のうち、壁を這う小動物において高い値を示し得る５つの特徴量、具体的には、移動方向長軸一致度ｔ_１、移動方向背景エッジ一致度ｔ_２、移動ピクセル速度ｔ_３、長軸傾き垂直度ｔ_４及びラベル面積一定度ｔ_５を用いて、壁移動属性値Ｐ_Ｂ１を算出する。これは、小動物は、壁を這う際、胴体方向に壁の角や扉や窓枠の線に沿い、上下方向へ移動する行動特性を持つことによる。壁移動属性値Ｐ_Ｂ１は例えば、各特徴量の積で定義することができる。すなわち、
Ｐ_Ｂ１＝ｔ_１・ｔ_２・ｔ_３・ｔ_４・ｔ_５
により壁移動属性値Ｐ_Ｂ１を求める。他の方法としては、重み付け線形和により壁移動属性値Ｐ_Ｂ１を定めてもよい。この場合、Σｇ_i＝１を満たす重み係数ｇ_ｉ（ｉ＝１，２，３，４，５）を用いて、
Ｐ_Ｂ１＝ｇ_１・ｔ_１＋ｇ_２・ｔ_２＋ｇ_３・ｔ_３＋ｇ_４・ｔ_４＋ｇ_５・ｔ_５
により壁移動属性値Ｐ_Ｂ１を求める。

さらに別の方法としては特徴量ｔ_ｉを直接用いない方法も可能である。この場合、所定の関数で特徴量ｔ_ｉを値ｔ_ｉ'に変換し、得られた各ｔ_ｉ'を用いて、上述の積や重み付け線形和等により壁移動属性値Ｐ_Ｂ１を求める。ここで、関数は、ｔ_ｉが０から１まで増加するとき、ｔ_ｉ'も０から１まで漸次増加するようなもの、例えば、図６に示すような関数を採用することができる。なお、関数は各特徴量ｔ_ｉ毎に定めることができる。この方法は特別なチューニングを目的とする場合に利用することができる。そのようなチューニングを行うことにより、例えば画像センサを設置条件等に適応させ、小動物による誤報が好適に抑制されるように設定することができる。

梁を這う小動物属性値算出処理Ｓ８０では、上記特徴量ｔ_１〜ｔ_６のうち、梁を這う小動物において高い値を示し得る４つの特徴量、具体的には、移動方向長軸一致度ｔ_１、移動方向背景エッジ一致度ｔ_２、移動ピクセル速度ｔ_３及び移動直線度ｔ_６を用いて、上記壁移動属性値Ｐ_Ｂ１と同様にして梁移動属性値Ｐ_Ｂ２を算出する。これは、小動物は、梁を這う際、胴体方向に梁上を直線的に移動する行動特性を持つことによる。例えば、梁移動属性値Ｐ_Ｂ２を各特徴量の積で定義し、
Ｐ_Ｂ２＝ｔ_１・ｔ_２・ｔ_３・ｔ_６
により壁移動属性値Ｐ_Ｂ２を求めることができる。他の方法としては、重み付け線形和により梁移動属性値Ｐ_Ｂ２を定めてもよい。この場合、Σｈ_i＝１を満たす重み係数ｈ_ｉ（ｉ＝１，２，３，６）を用いて、
Ｐ_Ｂ２＝ｈ_１・ｔ_１＋ｈ_２・ｔ_２＋ｈ_３・ｔ_３＋ｈ_６・ｔ_６
により梁移動属性値Ｐ_Ｂ２を求める。

さらに別の方法としては壁移動属性値Ｐ_Ｂ１で述べたと同様に、特徴量ｔ_ｉを直接用いない方法も可能である。

小動物属性値算出部２８は以上のような小動物属性値算出処理Ｓ４８における処理Ｓ６０〜Ｓ８０を行い、その結果得られた壁移動属性値Ｐ_Ｂ１及び梁移動属性値Ｐ_Ｂ２を用いて、例えば、既に述べたようにＰ_Ｂ１とＰ_Ｂ２との大きい方の値を小動物属性値Ｐ_Ｂとするといった方法で、最終的に小動物属性値Ｐ_Ｂを求める（Ｓ８２）。得られた小動物属性値Ｐ_Ｂは判定部１０へ出力される。

なお、上述の移動方向背景エッジ一致度算出処理Ｓ６８、移動ピクセル速度算出処理Ｓ７０では出現位置からの移動ベクトルＴを用いて特徴量の算出を行ったが、移動ベクトルＴの代わりに、移動ベクトルＶや、移動ベクトルＶの数フレームに亘る移動平均などを用いても良い。

また、上述した処理Ｓ６６〜Ｓ７６の説明で示した各特徴量ｔ_ｉの具体的な算出方法は、一例であり、上述した、壁や梁等を移動する小動物に関する(i)〜(vi)の画像特徴を反映する他の特徴量を定め、それらに基づいて小動物属性値Ｐ_Ｂを定めることもできる。

本発明に係る実施形態の画像センサの概略のブロック構成図である。実施形態の画像センサのメインの処理を示す概略の処理フロー図である。小動物属性値算出処理の処理フロー図である。移動方向長軸一致度を説明するための模式図である。移動方向背景エッジ一致度算出処理を説明するための模式図である。特徴量ｔ_ｉを直接用いずに壁移動属性値又は梁移動属性値を求める際の変換関数の例を示す模式図である。

符号の説明

２撮像部、４処理部、６画像処理部、８記憶部、１０判定部、１２出力部、２０背景画像更新部、２２変化領域抽出部、２４トラッキング部、２６人属性値算出部、２８小動物属性値算出部、３０背景画像記憶領域、３２トラッキング情報記憶領域。

Claims

監視空間を撮影した入力画像に基づいて、当該監視空間に存在する検知対象を検知する画像認識装置において、
背景画像を記憶する背景画像記憶手段と、
前記入力画像と前記背景画像とを比較して、変化領域を抽出する変化領域抽出手段と、
前記変化領域が前記監視空間内を移動する小動物によるものである可能性を示す小動物指標を求める小動物指標生成手段と、
少なくとも前記小動物指標を用いて、前記変化領域が前記検知対象によるものであるか否かを判定する判定手段と、
を有し、
前記小動物指標生成手段は、
前記変化領域の移動方向を求める手段と、
前記変化領域に応じた領域に現れる前記背景画像のエッジに基づいてエッジ方向を定める手段と、
前記移動方向と前記エッジ方向との一致度に応じた移動・エッジ方向一致指標を求める手段と、
前記移動・エッジ方向一致指標に基づいて、前記小動物指標を決定する指標決定手段と、
を有することを特徴とする画像認識装置。
請求項１に記載の画像認識装置において、
前記小動物指標生成手段は、
前記変化領域の形状の長手方向を求める手段と、
前記移動方向と前記長手方向との一致度に応じた移動・長手方向一致指標を求める手段と、
を有し、
前記指標決定手段は、前記移動・長手方向一致指標にも基づいて、前記小動物指標を決定すること、
を特徴とする画像認識装置。
請求項１又は請求項２に記載の画像認識装置において、
前記小動物指標生成手段は、前記変化領域の移動速度に応じた移動速度指標を求める手段を有し、
前記指標決定手段は、前記移動速度指標にも基づいて、前記小動物指標を決定すること、
を特徴とする画像認識装置。
請求項１から請求項３のいずれか１つに記載の画像認識装置において、
前記小動物指標生成手段は、前記変化領域の移動の直進性に応じた移動直進指標を求める手段を有し、
前記指標決定手段は、前記移動直進指標にも基づいて、前記小動物指標を決定すること、
を特徴とする画像認識装置。
請求項１から請求項４のいずれか１つに記載の画像認識装置において、
前記小動物指標生成手段は、
前記変化領域の形状の長手方向を求める手段と、
前記入力画像上での前記長手方向の垂直度に応じた長手方向垂直指標を求める手段と、
を有し、
前記指標決定手段は、前記長手方向垂直指標にも基づいて、前記小動物指標を決定すること、
を特徴とする画像認識装置。
請求項１から請求項５のいずれか１つに記載の画像認識装置であって、前記入力画像が、前記監視空間の基底面の上方から当該基底面に向けて斜め方向に撮影された画像である画像認識装置において、
前記小動物指標生成手段は、
前記変化領域が前記入力画像にて上方に移動した場合に当該変化領域の大きさが拡大し、下方に移動した場合に当該変化領域の大きさが縮小する遠近関係に基づいて、前記監視空間における前記小動物の上下方向の移動に応じた遠近指標を求める手段を有し、
前記指標決定手段は、前記遠近指標にも基づいて、前記小動物指標を決定すること、
を特徴とする画像認識装置。
請求項１から請求項６のいずれか１つに記載の画像認識装置において、
前記変化領域が前記監視空間内を移動する人によるものである可能性を示す人指標を求める人指標生成手段を有し、
前記判定手段は、少なくとも前記人指標及び前記小動物指標を用いて、前記変化領域が前記検知対象によるものであるか否かを判定すること、
を特徴とする画像認識装置。