JP2013207393A - 画像監視装置 - Google Patents

Abstract

【課題】補正値更新や抽出閾値の大きさに係わらず適切にノイズ抽出領域を除去することを目的とする。
【解決手段】撮像部で撮像した監視画像から目標移動物体を認識する画像監視装置であって、監視画像と予め記憶した背景画像との差分から背景差分画像を生成し、背景差分画像における変化領域以外の画像領域のヒストグラムを生成し、当該ヒストグラムに基づいてノイズ判定閾値として設定し、変化領域の抽出画素に相当する背景差分画像の画素の値が、ノイズ判定閾値の範囲内にあるときとき、該画素を前記ノイズ抽出とみなして除去する。
【選択図】 図１

Description

本発明は、監視空間を撮像した監視画像を順次取得し、この順次取得した監視画像を画像処理して監視空間における目標移動物体の有無を判定する画像監視装置に関する。

従来、監視カメラにて取得した監視画像における変化領域を画像処理によって抽出し、当該変化領域の特徴と予め定めた目標移動物体（例えば侵入者）の特徴との比較により、監視空間における侵入者の存在を検知する画像監視装置が知られている。この種の画像監視装置では、例えば監視カメラが現在撮像した監視画像と、人物がいない状態を撮像した監視画像などの予め記憶した基準画像（例えば背景画像）とを比較して、両画像の差分値が所定の抽出閾値以上である領域を変化領域として抽出している。

一般に、この種の画像監視装置で利用される監視カメラでは、画像変化のない静止物体を撮像していても内部の電気回路などに含まれるノイズの影響により、撮像タイミングによって監視画像の画素値が一定にならずバラツキを生じる。このバラツキによって、前記差分値が突発的に抽出閾値を越えてしまい、ノイズ抽出が発生することがあった。

また、熱画像カメラを用いた画像監視装置の場合、熱画像カメラ特有の要因によっても、ノイズ抽出が発生しうる。熱画像カメラでは、一般的に、カメラ筐体からの熱や環境温度変動などの外乱に起因する成分（以下、「外乱成分」という）を赤外線センサの素子出力値から取り除くことにより、撮像対象の物体表面から放射される赤外線成分のみを適切に得られるよう、オフセット補正を行っている。例えば、所定のタイミングでシャッタを閉開作動させ、シャッタを閉じた時の撮像により得られた赤外線センサの素子出力値を補正値として取得し、当該補正値を用いて現在撮像したときの素子出力値を補正する。このような、オフセット補正を行った場合、補正値を更新する直前における画素値と、補正値を更新した直後における画素値との間で出力差が生じる。すなわち、更新直後の補正値は現在の外乱の状況に基づく値である一方、更新前の補正値はそれ以前の外乱の状況に基づく値であるため、補正値の更新期間における環境温度変動などの外乱の変化が出力差となって現れる。このような出力差が生じることによって、実際には温度変化のない同一物体を撮像していても、温度値が見かけ上変化してしまい、差分値が抽出閾値を越えることによってノイズ抽出が多数発生してしまうことがあった。

上記のようなノイズ抽出が生じた場合、当該ノイズ抽出からなる抽出領域（以下、「ノイズ抽出領域」という）を侵入者として誤検出してしまったり、本当は侵入者による抽出領域であるのにかかわらず侵入者の特徴とは異なるとして失検出してしまったりする恐れがある。そのため、従来は、このようなノイズ抽出領域を除去するため、例えば、下記特許文献１に開示されるように、予め定めた画素数（面積）をノイズ判定閾値とし、抽出された変化領域の画素数が当該ノイズ判定閾値に満たないような小さい変化領域をノイズ抽出領域とみなして除去していた。

特開平０５−０２０５５８号公報

ところで、一般的に基準画像（例えば背景画像）との画素値の差が少ない侵入者であっても高感度に検出できるよう、抽出閾値はできるだけ小さいほうが望ましい。しかしながら、抽出閾値を小さくする程、ノイズ抽出はより顕著に発生するため、上記の従来技術では除去できない大きめのノイズ抽出領域が生じてしまい、結果として誤検出や失検出が頻発するといった問題があった。すなわち、ノイズ抽出を抑制したいといった要求と、高感度で侵入者を検知したいという要求との両立が困難であった。また、補正値の更新直後において突発的に生じるノイズ抽出は、比較的大きめのノイズ抽出領域となり易いため、上記の従来技術では除去することが困難であり、誤検出の要因となっていた。

そこで本発明は、監視画像中の変化領域ではない画像領域の統計的な分布を活用することにより、補正値更新や抽出閾値の大きさに係わらず適切にノイズ抽出領域を除去でき、ひいては誤検出・失検出を抑制できる画像監視装置を提供することを目的としている。

上記した目的を達成するために、本願請求項１に係る画像監視装置は、
監視空間を撮像して監視画像を順次出力する撮像部と、前記監視画像と予め記憶した基準画像とを比較して変化領域を抽出し、該変化領域からノイズ抽出を除去した画像領域の特徴から目標移動物体を認識する画像処理部と、を具備する画像監視装置であって、
前記画像処理部は、
前記監視画像と予め記憶した背景画像との差分から背景差分画像を生成し、該背景差分画像における前記変化領域以外の画像領域における画素の差分値についての分布を生成し、該分布における画素数が所定の割合となる差分値の範囲をノイズ判定閾値として設定し、前記変化領域の抽出画素に相当する前記背景差分画像の画素の値が、前記ノイズ判定閾値の範囲内にあるとき、該画素を前記ノイズ抽出とみなして除去するノイズ除去手段を有することを特徴としている。

かかる構成により、本発明の画像処理部は、撮像部から取得した監視画像と、予め記憶した基準画像とを比較して変化領域を抽出する。なお、本発明では、基準画像として監視空間の背景画像や、過去に取得した監視画像などを適宜選択して採用することができる。抽出した変化領域以外の画像領域を、以下では「背景領域」という。そして、本発明のノイズ除去手段は、監視画像と予め記憶した背景画像との差分により背景差分画像を生成する。そして、ノイズ除去手段は、背景領域について背景差分画像のヒストグラム（画素の差分値についての分布）を生成し、そのヒストグラムの分布における画素数が所定の割合となる差分値の範囲を、例えば標準偏差を求めることによって求め、ノイズ判定閾値を算出する。そして、ノイズ除去手段は、変化領域の抽出画素の画素位置に相当する背景差分画像の画素の値が、算出したノイズ判定閾値の範囲内にあるとき、その画素を前記ノイズ抽出とみなして除去する。そして、画像処理部は、変化領域からノイズ抽出を除去した画像領域の特徴と目標移動物体の特徴との比較により、目標移動物体であるか否かを判定する。

前述のように、監視画像中のある画素に着目した場合、同じ物体を見ていても画素値に時間的なバラツキが生じるため、監視画像と背景画像との差分値にも同様のバラツキが生じる。このような時間的バラツキは、監視画像中の全画素で生じているため、移動物体の存在しない背景領域の監視画像中の全画素について差分値のヒストグラム（以下、このヒストグラムのことを「背景領域差分値分布」という）をとると、時間的ばらつきと同様の分布を示す。したがって、監視画像中の各画素の差分値が、背景領域差分値分布に含まれているか否かを判定することで、ある画素が背景か否かを推定することが可能となり、ひいてはノイズ抽出か否かを判定することに利用することができる。このように画素毎にノイズ抽出判定を行なうことによって、ノイズ抽出領域の大きさに関わらずノイズ抽出を除去でき、ひいては、抽出閾値の大小に関わらず安定したノイズ抽出の除去が可能となる。なお、背景領域差分値分布は、監視画像を取得したタイミングに係わらずほぼ同じ分布形状となり、また、補正値が更新された場合であっても、分布のピーク位置が変化するのみで、分布形状は変化しない。したがって、上記のような背景領域の背景領域差分値分布に基づいてノイズ抽出を判定することにより、監視画像の取得タイミング、補正値更新の有無によらず、ノイズ除去を安定して行うことができる。

本願請求項２に係る画像監視装置は、請求項１の画像監視装置において、
前記ノイズ除去手段は、複数のタイミングにおける前記監視画像をそれぞれ前記背景画像として記憶し、現在の前記監視画像と保存した複数の該背景画像とから複数の差分画像を生成し、複数の該差分画像の平均画像から前記背景差分画像を生成することを特徴としている。

監視画像と一枚の背景画像との差分から背景差分画像を生成すると、当該背景画像に突発的な外乱成分などによる出力変動が生じた領域が存在した場合、背景領域差分値分布の分布形状も変化してしまい、結果として、当該背景領域差分値分布から求めたノイズ判定閾値も当該出力変動の影響を受けることになる。そのため、本発明のノイズ除去手段は、複数のタイミングにて取得した監視画像を、それぞれ背景画像として記憶し、現フレームの監視画像と複数の背景画像との差分から複数の差分画像を生成し、複数の差分画像の平均画像から背景差分画像を生成する。これにより、ある背景画像の一部領域に突発的な出力変動が生じた場合であっても、当該出力変動による影響を、他の背景画像による差分画像によって中和することができるため、背景領域差分値分布の分布形状も突発的な出力変動の影響が目立たない形状となる。したがって、突発的な出力変動の影響を受けにくいノイズ判定閾値を算出できるため、高い精度でノイズ除去を行うことができる。

本願請求項３に係る画像監視装置は、請求項１又は請求項２の画像監視装置において、
前記画像処理部は、前記監視画像と前記基準画像との差分値が所定の抽出閾値以上となる画像領域を前記変化領域として抽出し、
前記ノイズ除去手段は、前記抽出閾値の大きさが小さいほど前記ノイズ判定閾値の範囲が拡がるよう変更することを特徴としている。

小さい抽出閾値によって変化領域を抽出した場合の背景領域差分値分布は、分布幅（バラツキ）の狭い形状となる。このような分布に基づいて標準偏差などによって算出されたノイズ判定閾値は小さく算出されるため、当該ノイズ判定閾値を用いてノイズ除去を行うと、本来除去されるべきノイズ抽出が除去されずに残存することになる。したがって、本発明のノイズ除去手段は、抽出閾値の大きさが小さいほどノイズ判定閾値の範囲が拡がるよう変更することによって、より高い精度でノイズ除去を行うことができる。

本願請求項４に係る画像監視装置は、請求項１〜請求項３の何れか一項の画像監視装置において、
前記撮像部は、複数の赤外線検知素子を二次元に配列したセンサを有し、監視空間の熱画像を監視画像として出力する熱画像カメラであって、
前記ノイズ除去手段は、予め記憶した背景画像の画素値の平均から平均温度値を算出し、該平均温度値と予め記憶した前記目標移動物体の想定温度値との比較に基づいて前記ノイズ判定閾値を変更することを特徴としている。

背景画像の平均温度値が目標移動物体の想定温度値よりも低い場合、背景領域差分値分布の大きい階級範囲（ピーク値から右側の裾野部分）の画素は、目標移動物体である可能性があり、背景領域差分値分布の小さい階級範囲（ピーク値から左側の裾野部分）の画素は、背景の画像領域である可能性が高い。そのため、この場合、本発明のノイズ除去手段は、ノイズ判定閾値の範囲の下限値をヒストグラムの最小階級方向に拡張するよう変更する。一方、平均温度値が目標移動物体の想定温度値よりも高い場合（例えば、夏の炎天下のように背景の温度の方が人物の温度よりも高い場合）、背景領域差分値分布の小さい階級範囲（ピーク値から左側の裾野部分）の画素は、目標移動物体である可能性があり、背景領域差分値分布の大きい階級範囲（ピーク値から右側の裾野部分）の画素は、背景の画像領域である可能性が高い。そのため、この場合、本発明のノイズ除去手段は、ノイズ判定閾値の範囲の上限値をヒストグラムの最大階級方向に拡張するよう変更する。これにより、より高い精度でノイズ除去を行うことができる。

本発明に係る画像監視装置によれば、移動物体の存在しない背景領域の統計的な分布である背景領域差分値分布を用いてノイズ除去を行うことにより、補正値更新や抽出閾値の大きさに係わらず適切にノイズ抽出を除去でき、ひいては誤検出・失検出を抑制することができる。

画像監視装置の全体構成を示すブロック構成図 背景領域差分値分布の例を表す図 画像監視装置による全体動作の処理手順を示すフローチャート ノイズ除去処理の具体的処理手順を示すフローチャート 背景差分画像の生成処理の説明図 ノイズ判定閾値の変更処理の説明図

以下、本発明を監視空間における侵入者を検出する画像監視装置に適用した実施形態について、添付した図面を参照しながら詳細に説明する。

（画像監視装置の全体構成について）
本発明に係る画像監視装置は、監視空間を撮像した監視画像を順次取得し、この順次取得した監視画像を画像処理して監視空間における目標移動物体（例えば侵入者）の有無を判定するものである。

特に、本実施形態は、撮像部が監視空間を撮像した監視画像の中から変化領域を抽出し、当該変化領域がノイズ抽出であるか否かを背景領域差分値分布に基づいて判定することにより、監視画像の取得タイミングや補正値更新の有無に係わらず、ノイズ抽出を安定して除去できる機能を含む画像監視装置を提供するものである。

図１に示すように、本実施形態の画像監視装置１は、上述した機能を実現するべく、撮像部２、記憶部３、画像処理部４、出力部５を含んで概略構成される。

撮像部２は、例えば所定画素（例えば３２０×３２０画素）の赤外線検出素子を有し、監視領域から放射される赤外線をレンズやミラーなどの光学系により集光して検出し、検出した赤外線量に応じた監視領域の温度分布を監視画像（以下、熱画像、画像とも言う）として画像処理部４に出力する熱画像カメラである。撮像部２は、天井や壁に設置され上から斜め下方の空間を撮像している。

なお、撮像部２は、所定時間ごとに閉開制御可能な不図示のシャッタを有しており、シャッタが閉じているとき、すなわち、均一な既知温度の物体としてシャッタを撮像したときの素子出力値を、補正値として記憶部３に記憶する処理を行う。そして、撮像部２は、シャッタが開いているときの素子出力値に対し、記憶部３に記憶している補正値を用いて出力値補正処理（オフセット補正）を行なった結果を、１フレームの監視画像として、所定の時間間隔で画像処理部４に出力する。

記憶部３は、画像監視装置１に関する設定情報（例えば撮像部２の設置高、俯角など）、画像処理部４の各種処理に使用される情報を記憶している。画像処理部４の各種処理に使用される情報としては、例えば撮像部２で取得するフレーム毎の監視画像、抽出手段４ａで監視画像から変化領域を抽出するために用いる基準画像、ノイズ除去手段４ｂでノイズ抽出を除去するために用いる背景画像の他、画像処理部４の各処理に用いられる設定値（例えば、抽出手段４ａで用いる抽出閾値、侵入者の想定温度値、判定手段４ｅで用いる判定条件閾値など）が含まれる。

画像処理部４は、ＣＰＵ等を備えたコンピュータで構成され、撮像部２からデジタル化された画像の入力を受け、後述する図３〜図４に示す一連の処理として、抽出処理、ノイズ除去処理、ラベリング処理、特徴量算出処理、侵入者判定処理を実行するべく、抽出部４ａ、ノイズ除去手段４ｂ、ラベリング手段４ｃ、特徴量算出手段４ｄ、判定手段４ｅを含んでいる。

抽出手段４ａは、撮像部２で取得された監視画像の中から温度変化のある領域を変化領域として抽出する抽出処理を行っている。本実施例では、例えば予め過去の監視画像を基準画像として記憶部３に保存しておき、今回取得した監視画像と基準画像との差分が記憶部３に記憶された所定の抽出閾値以上である領域を温度変化があると判定し、この温度変化がある領域を変化領域として抽出する。この際、基準画像として監視空間の背景の監視画像や、過去に取得した監視画像などを適宜選択して採用することができる。

ノイズ除去手段４ｂは、抽出手段４ａにて得られた変化領域において、抽出された変化領域の各画素がノイズ抽出か否かを判定し、ノイズ抽出であると判定された画素を、変化領域から除去する処理（以下、「ノイズ除去処理」という）を行なう。以下、ノイズ除去処理の詳細について説明する。

ノイズ除去処理では、まず、抽出手段４ａにて得られた変化領域を用いて背景領域を決定する。ここで、背景領域とは、抽出手段４ａの抽出結果である変化領域以外の画像領域のことをいう。抽出手段４ａにて抽出した変化領域が、温度変化の生じた領域であり移動物体らしい領域とみなすことができることから、背景領域とは、いわば背景らしいとみなすことができる画像領域を意味する。

次に、ノイズ除去処理では、撮像部２で取得した現フレームの監視画像と予め記憶部３に記憶した背景画像とを差分演算することにより背景差分画像を生成する。なお、抽出手段４ａにて基準画像として背景画像を用いて差分演算することにより、変化領域を抽出している場合には、その演算結果を利用することにより、ここでの差分演算を省略することもできる。

次に、ノイズ除去処理では、背景差分画像において背景領域に相当する画像領域のヒストグラム（背景領域差分値分布）を生成する。具体的には、まず、背景領域差分値分布の階級最大値、階級最小値、階級間隔など、背景領域差分値分布の各階級範囲を定める。そして、背景領域に相当する背景差分画像の各画素の差分値に基づいて、各階級範囲に該当する差分値をもつ画素の個数を求めることにより、背景領域差分値分布を求めることができる。なお、階級に関する上記の各値は実験的に求められ、例えば、階級最大値を３０℃、階級最小値を−３０℃、階級間隔を１℃などとすればよい。

次に、ノイズ除去処理では、生成した背景領域差分値分布を用いて、ノイズ抽出と判定する差分値の範囲、すなわちノイズ抽出閾値を計算する。具体的には、まず、背景領域差分値分布のピークに該当する階級Ｐを求める。次に、背景領域差分値分布の標準偏差σを求める。そして、これらの結果から、範囲下限値をＴｈ１、範囲上限値をＴｈ２として、ノイズ抽出と判定する差分値の範囲をＴｈ１〜Ｔｈ２と定める。図２は、本処理で生成したヒストグラム（背景領域差分値分布）を例示したものである。図２に示す例では、Ｔｈ１＝Ｐ−２．５×σ、Ｔｈ２＝Ｐ＋２．５×σとして、ノイズ判定閾値を計算している。

次に、ノイズ除去処理では、抽出手段４ａにて取得した変化領域と、算出した背景差分画像、及び算出したノイズ判定閾値を用いて、変化領域中の抽出画素がノイズ抽出か否かを判定し、ノイズ抽出と判定された場合には、当該抽出を変化領域から除去するよう当該変化領域を更新する処理を行う。具体的には、変化領域中の各抽出画素の差分値が、ノイズ判定閾値の範囲（前述したＴｈ１〜Ｔｈ２の範囲）内にあればノイズ抽出であると判定し、そうでなければ移動物体による抽出であると判定する。そして、判定の結果、ノイズ抽出であると判定したとき、変化領域中の該当画素の値を０（抽出されていない）に修正し、当該抽出を除去する。

前述のように、監視画像中のある画素に着目した場合、同一温度の同一物体を見ていても、出力値に時間的なバラツキが存在する。このような時間的バラツキは、熱画像中の全画素で生じているため、ある時間に背景領域を撮像した熱画像の全画素について、監視画像と背景画像との差分値のヒストグラムをとると、時間的バラツキと同様の分布を示す。ただし、実際には、人物などの移動物体が監視空間に存在する可能性もあるため、時間的バラツキを正確に得ることは困難である。そこで、本発明では、抽出手段４ａによって抽出されていない画素からなる画像領域を背景領域として、背景領域における差分値のヒストグラム（背景領域差分値分布）を求めることで、時間的バラツキと同等の分布を得ている。すなわち、この背景領域差分値分布は、背景を撮像している画素でとり得る差分値の範囲を示していることを意味する。したがって、監視画像中の各画素の差分値が、背景領域差分値分布から逸脱しているかどうかを判定することで、当該画素が背景か否かを検証でき、ノイズ抽出であるか否かを判定することができる。このように画素毎にノイズ抽出判定を行なうことによって、ノイズ抽出領域の大きさに関わらずノイズ抽出を除去でき、ひいては、抽出閾値の大小に関わらず安定したノイズ抽出の除去が可能となる。

また、背景領域差分値分布は、監視画像を取得するタイミングが変わっても、ほぼ同じ形状であり、また、補正値が更新された場合であっても、分布のピーク位置が変化するのみで、分布形状はほぼ変化しない。したがって、背景領域差分値分布のピーク位置Ｐを中心として分布（バラツキ）を求めることにより、監視画像の取得タイミングや補正値更新の有無によらず、ノイズ抽出を安定して除去することができる。

なお、ノイズ除去処理では、上記の処理の他に、背景差分画像の生成処理、ノイズ判定閾値の変更処理を行っているが、それらの詳細については後述する。

ラベリング手段４ｃは、ノイズ除去手段４ｂにてノイズ除去処理された後の変化領域を用いて、ラベリング処理を行う。ラベリング処理とは、変化領域のある抽出画素に注目したときに、注目抽出画素に隣接している抽出画素を一塊の抽出画素領域とみなし、各一塊の抽出画素領域に対して、画像内でユニークなラベルを割り当てる処理である。以下、ラベルが割り当てられた一塊の抽出画素領域のことをラベル領域と呼ぶ。

特徴量算出手段４ｄは、ラベリング手段４ｃにて求めたラベル領域について、侵入者かどうかを判定するための特徴量を算出する処理を実行する。ここで算出される特徴量とは、個々のラベル領域について、ラベル領域の外接矩形のアスペクト比、記憶部３に記憶されている装置の設置高や俯角などを用いて算出される実空間での推定サイズ（推定面積）である。

判定手段４ｅは、特徴量算出手段４ｄにて算出されたラベル領域の特徴量を元に、予め定められた判定条件に従って、個々のラベル領域が侵入者か否かを判定する処理を行う。具体的には、ラベル領域の特徴（外接矩形のアスペクト比と推定サイズ）と、予め記憶部３に記憶した目標移動物体の特徴（想定アスペクト比と想定サイズ）とを比較し、両特徴が略一致しているとき、当該ラベル領域を侵入者であると判定する。なお、侵入者と判定されたラベル領域が存在する場合、判定手段４ｅは、侵入者ありという信号を出力部５に出力する。

出力部５は、画像処理部４の判定手段４ｅにて侵入者ありと判定された旨の判定信号を外部に出力するもので、例えば表示器やブザーなどで構成される。出力部５は、画像処理部４の判定手段４ｅから侵入者ありの判定信号が入力されると、表示器やブザーを駆動して侵入者ありの旨を報知する。なお、出力部５は、不図示の警備装置や遠隔の監視センタなどと通信線を介して接続され、画像処理部４の判定手段４ｅから入力された侵入者ありの判定信号を通信線に出力する通信Ｉ／Ｆとして構成することもできる。

（画像監視装置１による人物有無の判定処理について）
次に、上記構成による画像監視装置１を用いて監視空間における侵入者の有無を判定する場合の画像処理部４の処理動作について図３を参照しながら説明する。

画像処理部４は、画像監視装置１の電源がオンされると、設定情報取得処理を実行する（ＳＴ１）。設定情報取得処理では、予め設定される画像監視装置１に関する設定情報や画像処理部４の各種処理に使用される情報を取得し、取得した情報を記憶部３に格納する。ここで言う情報とは、撮像部２の設置高や撮影方向、撮像部２より得られる画像の垂直方向及び水平方向の画素数、垂直画角や水平画角、基準画像、各種閾値などである。

次に、画像処理部４は、監視画像取得処理を実行する（ＳＴ２）。監視画像取得処理では、撮像部２が監視空間の監視範囲を撮像した監視画像の取得を行う。また、本処理では、予め定めたタイミングで取得した複数枚の監視画像を背景画像として、記憶部３に記憶する処理を行っている。具体的には、１分毎に監視画像内に移動物体が存在するか否かを判定し、移動物体が存在しない監視画像を背景画像として記憶部３に記憶する。この際、記憶部３には、過去の５枚分だけ背景画像を記憶しており、新たな背景画像を記憶したとき、一番古い背景画像を破棄するよう処理する。なお、画像監視装置１を起動した直後の期間のように複数枚の背景画像を取得できない期間においては、最初（起動時）に取得した同じ背景画像を５枚分だけ記憶部３に記憶する。また、本処理では、複数枚の背景画像のうち、直近に取得した背景画像を基準画像として記憶部３に記憶する処理を行っている。

次に、画像処理部４の抽出手段４ａにより抽出処理を実行する（ＳＴ３）。抽出処理では、監視画像取得処理で取得された画像から変化領域を抽出する。本実施形態では、今回取得した監視画像とＳＴ２にて記憶した基準画像との差分をとることにより変化領域を抽出する。

次に、画像処理部４のノイズ除去手段４ｂは、抽出処理にて抽出した変化領域からノイズ抽出を除去するよう、変化領域を更新するノイズ除去処理を行う（ＳＴ４）。本処理の詳細については追って説明する。

次に、画像処理部４のラベリング手段４ｃは、ノイズ除去処理にてノイズ抽出が除去された変化領域に対してラベリング処理を行う（ＳＴ５）。本実施形態では、注目抽出画素の８近傍に隣接している抽出画素を一塊の抽出画素領域とみなし、ラベル付けするラベリング処理を行う。また、ラベリング処理では、所定範囲にある複数のラベル領域を一つのラベルに統合するラベル統合処理を行ってもよい。

次に、特徴量算出手段４ｄは、ラベリング処理で求めた個々のラベル領域について、侵入者かどうかを判定するための特徴量を算出する特徴量算出処理を行う（ＳＴ６）。本実施形態では、ラベル領域の外接矩形のアスペクト比、記憶部３に記憶されている装置の設置高や俯角などを用いて算出される実空間での推定サイズ（推定面積）を求める。

次に、判定手段４ｅは、特徴量算出手段４ｄで求めた特徴量を用いて、ラベル領域が侵入者によるものかどうかの判定を行う侵入者判定処理を行う（ＳＴ７）。本実施形態では、ラベル領域の外接矩形のアスペクト比が予め記憶部３に記憶した値（０．２〜１）であって、ラベル領域の実空間での推定サイズ（推定面積）が予め記憶部３に記憶した値（０．３〜２．５ｍ^２）のときに、当該ラベル領域を侵入者によるものであると判定する。侵入者判定処理の判定結果は出力部５に出力され、侵入者ありと判定されていた場合には、出力部５から外部に情報が出力される。

なお、図３のフローチャートにおいて、ループ１はＳＴ２〜ＳＴ７の各処理を１フレームの監視画像を取得する毎に実行することを意味し、ループ２はＳＴ６〜ＳＴ７の各処理をラベル領域の数だけ実行することを意味している。

（ノイズ除去処理の詳細について）
次に、図３のフローチャートのＳＴ４における、画像処理部４のノイズ除去手段４ｂが実行するノイズ除去処理の詳細について図４を参照しながら説明する。

ノイズ除去処理では、画像処理部４のノイズ除去手段４ｂは、まず、ＳＴ３の抽出処理で求めた抽出画像から背景領域を決定する（ＳＴ１０）。本実施形態では、抽出画像において変化領域として抽出された領域以外の画像領域を背景領域として決定し、記憶部３に記憶する処理を行う。

次に、ノイズ除去手段４ｂは、背景差分画像の生成処理を行う（ＳＴ１１）。背景差分画像の生成処理では、まず、背景画像として予め記憶部３に記憶された取得時間の異なる複数の背景画像と、新たに取得した現在フレームの監視画像とを用いて差分演算し、複数の差分画像を生成する。そして、生成した複数の差分画像の平均画像を算出し、当該平均画像を背景差分画像として、記憶部３に記憶する処理を行う。

図５に背景差分画像の生成処理を模式的に表した説明図を表す。図５に表したように、現在フレームの監視画像Ｃから、Ｔ１、Ｔ２、・・・、Ｔｎ分前の背景画像を各々差分演算することにより、ｎ枚の差分画像Ｄ１、Ｄ２、・・・、Ｄｎを生成する。そして、ｎ枚の差分画像Ｄ１、Ｄ２、・・・、Ｄｎを平均化処理することにより、背景差分画像を生成する。なお、本実施形態では、ＳＴ２にて記憶部３に記憶された取得時間の異なる５枚の背景画像と現在フレームの監視画像とを用いて、５枚の差分画像を生成し、これら５枚の差分画像の平均画像から背景差分画像を生成する。

監視画像と一枚の背景画像との差分から背景差分画像を生成すると、当該背景画像に突発的な外乱成分などによる出力変動が生じた領域が存在した場合、背景領域差分値分布の分布形状も変化してしまい、結果として、当該背景領域差分値分布から求めたノイズ判定閾値も当該出力変動の影響を受ける恐れがある。そのため、本実施形態のように、複数のタイミングにて取得した監視画像を、それぞれ背景画像として記憶し、現フレームの監視画像と複数の背景画像との差分から複数の差分画像を生成し、複数の差分画像の平均画像から背景差分画像を生成する。これにより、ある背景画像の一部領域に突発的な出力変動が生じた場合であっても、当該出力変動による影響を、他の背景画像による差分画像によって中和することができるため、背景領域差分値分布の分布形状も突発的な出力変動の影響が目立たない形状となる。したがって、突発的な出力変動の影響を受けにくいノイズ判定閾値を算出できるため、高い精度でノイズ除去を行うことができる。

次に、ノイズ除去手段４ｂは、背景領域差分値分布の算出処理を行う（ＳＴ１２）。背景領域差分値分布の算出処理では、ＳＴ１０にて求めた背景領域に相当する、ＳＴ１１にて求めた背景差分画像の画像領域のヒストグラム（背景領域差分値分布）を生成する。

次に、ノイズ除去手段４ｂは、ノイズ判定閾値の算出処理を行う（ＳＴ１３）。ノイズ判定閾値の算出処理では、背景領域差分値分布のピークに該当する階級Ｐと、背景領域差分値分布の標準偏差σとを用いて、ノイズ判定閾値（の範囲）を計算する。本実施形態では、ノイズ判定閾値を、Ｔｈ１＝Ｐ−２．５×σ、Ｔｈ２＝Ｐ＋２．５×σとして求め、この範囲をノイズ判定閾値として記憶部３に記憶する。

なお、ピーク位置と標準偏差を使ってノイズ判定閾値の範囲を定める代わりに、背景領域差分値分布のピーク頻度の所定割合以上の頻度を持つ階級の範囲を、ノイズ判定閾値の範囲としてもよい。例えば、背景領域差分値分布のピーク頻度が１０００であった場合、前述の所定割合を５％として、５０以上の頻度を持つ階級を求め、その最小階級をＴｈ１、最大階級をＴｈ２として、ノイズ判定閾値の範囲をＴｈ１〜Ｔｈ２と定めてもよい。

次に、ノイズ除去手段４ｂは、ノイズ判定閾値の変更処理を行う（ＳＴ１４〜ＳＴ１８）。ノイズ判定閾値の変更処理では、まず、記憶部３に記憶した５枚の背景画像を用いて、背景画像の平均温度値を算出する（ＳＴ１４）。具体的には、各背景画像の各画素の出力値の平均値を算出し、算出した各背景画像の平均値を平均することにより、平均温度値を算出し、記憶部３に記憶する処理を行う。

続いて、ノイズ判定閾値の変更処理では、ＳＴ１４にて算出した背景画像の平均温度値が、記憶部３に予め記憶された目標移動物体（侵入者）の想定温度値よりも低いか否かを判定する（ＳＴ１５）。背景画像の平均温度値が侵入者の想定温度値よりも低いと判定すると（ＳＴ１５−Ｙｅｓ）、ノイズ判定閾値の範囲下限値Ｔｈ１を背景領域差分値分布の最小階級方向に拡張するよう、ノイズ判定閾値を変更する処理を行う（ＳＴ１６）。一方、背景画像の平均温度値が侵入者の想定温度値よりも低くないと判定すると（ＳＴ１５−Ｎｏ）、ノイズ判定閾値の範囲上限値Ｔｈ２を背景領域差分値分布の最大階級方向に拡張するよう、ノイズ判定閾値を変更する処理を行う（ＳＴ１７）。なお、本実施形態では、ノイズ判定閾値を予め実験によって求められる割合分だけ増加するよう（具体的には５０％増加するよう）、それぞれＴｈ１又はＴｈ２を拡張する。

本処理について図６を用いて説明する。図６は、背景画像の平均温度値が侵入者の想定温度値よりも低い場合（ＳＴ１５−Ｙｅｓ）における背景領域差分値分布を表したものである。図６において、破線で示した分布１０は、監視画像に侵入者が存在した場合に、当該侵入者の変化領域に相当する背景差分画像の画像領域の差分値の分布について、説明のために便宜上、重畳表示したものである。すなわち、背景領域差分値分布は、背景領域についてのみのヒストグラムであるため、実際には侵入者の分布１０が背景領域差分値分布に表れることはない。

図６に表すように、背景画像の平均温度値が侵入者の想定温度値よりも低い場合、背景差分画像の背景領域に相当する分布よりも差分値が大きい側の階級に侵入者に相当する分布１０が位置する。ここで、ノイズ判定閾値を−２．５σ〜２．５σの範囲で固定的に設定した場合（図６において符号１２の範囲）、差分値が小さい側の階級におけるノイズ判定閾値外の分布１１は、ノイズ抽出であると判定されることはない。しかし、分布１０を考慮すると、侵入者による変化領域ではないことが明らかであるため、ノイズ抽出として除去した方が望ましい。したがって、本実施形態では、このように背景画像の平均温度値が侵入者の想定温度値よりも低い場合、ノイズ判定閾値の範囲下限値Ｔｈ１を背景領域差分値分布の最小階級方向に拡張することにより、より高い精度でノイズ除去を行うよう処理する。同様に、背景画像の平均温度値が侵入者の想定温度値よりも高い場合（例えば、夏の炎天下のアスファルトように背景の温度の方が侵入者の温度よりも高い場合）、侵入者の変化領域に相当する背景差分画像の分布は、背景領域に相当する分布よりも差分値が小さい側の階級に生じる。したがって、このように背景画像の平均温度値が侵入者の想定温度値よりも大きい場合、ノイズ判定閾値の範囲上限値Ｔｈ２を背景領域差分値分布の最大階級方向に拡張することにより、より高い精度でノイズ除去を行うよう処理する。

続いて、ノイズ判定閾値の変更処理では、抽出手段４ａにて用いた抽出閾値が小さいほど、ノイズ判定閾値の範囲が大きくなるよう変更する処理を行う（ＳＴ１８）。具体的には、抽出手段４ａにて通常時よりも２０％だけ小さい抽出閾値を用いて抽出処理を行ったとき、ノイズ判定閾値の範囲（Ｔｈ１〜Ｔｈ２）を、予め実験によって求められる定数αを用いて、０．２αだけ大きくなるよう変更する。

撮像環境によっては、通常時よりも小さい抽出閾値を用いて高感度に抽出すべき状況が生じうる。小さい抽出閾値を用いて、抽出手段４ａが変化領域を抽出した場合、背景領域差分値分布は、分布幅の狭い形状となる。このような分布の標準偏差などによって算出されたノイズ判定閾値は小さく算出されるため、当該ノイズ判定閾値を用いてノイズ除去を行うと、本来除去されるべきノイズ抽出が除去されずに残ることになる。したがって、本発明のノイズ除去手段は、抽出閾値の大きさに応じてノイズ判定閾値を変更することによって、より高い精度でノイズ除去を行うことができる。

ＳＴ１４〜ＳＴ１８のノイズ判定閾値の変更処理を終えると、ノイズ除去手段４ｂは、抽出手段４ａにて抽出した変化領域から、一つの抽出画素を選択する（ＳＴ１９）。なお、ＳＴ１９にて選択された抽出画素について、以下では「選択抽出画素」という。

次に、ノイズ除去手段４ｂは、選択抽出画素の差分値（選択抽出画素の位置に相当する背景差分画像の画素値）が、ノイズ判定閾値の範囲内であるか否かを判定する（ＳＴ２０）。選択抽出画素の差分値がノイズ判定閾値の範囲内であると判定すると（ＳＴ２０−Ｙｅｓ）、ノイズ除去手段４ｂは、当該選択抽出画素をノイズ抽出であるとみなし、記憶部３に記憶された変化領域の当該選択抽出画素の値を０（抽出されていない）に変更する処理を行う（ＳＴ２１）。一方、選択抽出画素の差分値がノイズ判定閾値の範囲内でないと判定すると（ＳＴ２０−Ｎｏ）、ノイズ除去手段４ｂは、処理を進める。

なお、図４のフローチャートにおいて、ループ３はＳＴ１９〜ＳＴ２１の各処理をＳＴ３にて抽出した変化領域の抽出画素の数だけ実行することを意味している。ループ３にて変化領域の抽出画素の数だけ処理を繰り返した後、ノイズ除去手段４ｂは、ノイズ除去処理を終了し、ＳＴ５のラベリング処理に処理を進める。なお、ＳＴ１９では、一度、選択抽出画素となった抽出画素は、ループ３を抜けるまで再度選択抽出画素とはならない。

ところで、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施形態で実施されてもよいものである。また、実施形態に記載した効果は、これに限定されるものではない。

上記実施形態では、撮像部２として赤外線検出素子を有する熱画像カメラを用いている。しかし、これに限らず、撮像部２は、例えばレンズなどの光学系およびＣＣＤやＣＭＯＳなどの２次元アレイ素子を有する二次元イメージセンサで構成され、監視空間を撮像した可視画像である監視画像を出力する可視画像カメラを用いてもよい。この場合、抽出手段４ａは、監視画像と基準画像とを用いて輝度変化のあった領域を変化領域として抽出する。また、ＳＴ１４〜ＳＴ１７までの処理は、撮像部２に熱画像カメラを用いた場合における特有の処理であるため、撮像部２に可視画像カメラを用いた場合は省略することとなる。

１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・画像処理部
５・・・出力部
４ａ・・・抽出手段
４ｂ・・・ノイズ除去手段
４ｃ・・・ラベリング手段
４ｄ・・・特徴量算出手段
４ｅ・・・判定手段
１０・・・侵入者の変化領域に相当する背景差分画像の画像領域の差分値の分布
１１・・・差分値が小さい側の階級におけるノイズ判定閾値外の分布
１２・・・ノイズ判定閾値を固定的に設定した場合の範囲

Claims (4)

1. 監視空間を撮像して監視画像を順次出力する撮像部と、
   前記監視画像と予め記憶した基準画像とを比較して変化領域を抽出し、該変化領域からノイズ抽出を除去した画像領域の特徴から目標移動物体を認識する画像処理部と、を具備する画像監視装置であって、
   前記画像処理部は、
   前記監視画像と予め記憶した背景画像との差分から背景差分画像を生成し、
   該背景差分画像における前記変化領域以外の画像領域における画素の差分値についての分布を生成し、該分布における画素数が所定の割合となる差分値の範囲をノイズ判定閾値として設定し、
   前記変化領域の抽出画素に相当する前記背景差分画像の画素の値が、前記ノイズ判定閾値の範囲内にあるときとき、該画素を前記ノイズ抽出とみなして除去するノイズ除去手段を有することを特徴とする画像監視装置。
2. 前記ノイズ除去手段は、複数のタイミングにおける前記監視画像をそれぞれ前記背景画像として記憶し、現在の前記監視画像と保存した複数の該背景画像とから複数の差分画像を生成し、複数の該差分画像の平均画像から前記背景差分画像を生成する請求項１に記載の画像監視装置。
3. 前記画像処理部は、前記監視画像と前記基準画像との差分値が所定の抽出閾値以上となる画像領域を前記変化領域として抽出し、前記ノイズ除去手段は、前記抽出閾値の大きさが小さいほど前記ノイズ判定閾値の範囲が拡がるよう変更する請求項１又は請求項２に記載の画像監視装置。
4. 前記撮像部は、複数の赤外線検知素子を二次元に配列したセンサを有し、監視空間の熱画像を監視画像として出力する熱画像カメラであって、
   前記ノイズ除去手段は、
   予め記憶した背景画像の画素値の平均から平均温度値を算出し、該平均温度値と予め記憶した前記目標移動物体の想定温度値との比較に基づいて前記ノイズ判定閾値を変更する請求項１〜請求項３の何れか一項に記載の画像監視装置。
   

Images