JP2011215695A - 移動物体検出装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】誤検出を低減し、充分な検出精度を得られることができるようにする。
【解決手段】 画像入力処理部１１は、解析画像のデータを入力し、解析画像内で指定領域を設定する処理を実行する。ヒストグラム相関判定処理部１４、伸縮ヒストグラム相関判定処理部１５、及び正規化相互相関判定処理部１６には、設定された指定領域を移動する移動物体の像の有無を判定する判定手法として相異なるものをそれぞれ適用し、適用した判定手法に従って移動物体の像の有無を判定する。結果統合部１７は、これらの判定結果のうち任意の数の任意の種類を統合することによって、移動物体の像を検出する。本発明は、監視カメラに適用することができる。
【選択図】図１

Description

本発明は、移動物体検出装置及び方法、並びにプログラムに関し、特に、誤検出を低減し、充分な検出精度を得られるようにする、移動物体検出装置及び方法、並びにプログラムに関する。

従来から、監視カメラにより所定の空間を監視する監視システムが存在する。このような監視システムは、監視カメラの撮像画像を解析画像として、解析画像のデータを解析することによって、当該監視画像内の指定された領域を移動した移動物体の像を検出する。

このような監視システムには、撮像時点と過去の解析画像の相関を用いて移動物体の有無を検出する手法が適用されることがある。従来、このような手法として、次のような第１の手法と第２の手法とが広く用いられている。

第１の手法とは、撮像時点と過去の解析画像をそれぞれヒストグラム化し、それぞれのヒストグラム値から輝度値を除算したものの類似度を求める手法である（例えば特許文献１参照）。

第２の手法とは、撮像時点と過去の解析画像をそれぞれヒストグラム化し、それぞれのヒストグラム値を、平均値と標準偏差値に基づいてフルスケールに伸縮させ、その類似度を求める手法である（例えば、特許文献２参照）。

特許第３５０６９３４号公報 特開２００７−２５１７２１号公報

しかしながら、第１の手法や第２の手法を単体で単純に適用しても、解析画像に複雑な輝度が含まれる場合等に誤検出が発生し、検出精度が低下するおそれがある。

本発明は、このような状況に鑑みてなされたものであり、誤検出を低減し、充分な検出精度を得られるようにするものである。

本発明の一側面の移動物体検出装置は、解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行する画像入力処理手段と、前記画像入力処理手段により設定された前記指定領域を移動する移動物体の像の有無を判定する判定手法として相異なるものをそれぞれ適用し、適用した前記判定手法に従って前記移動物体の像の有無を判定する複数の判定手段と、前記複数の判定手段の判定結果のうち任意の数の任意の種類を統合することによって、前記移動物体の像を検出する統合手段と、を備える。

前記判定手段は、現在と過去の各々の前記解析画像内の前記指定領域の輝度値の分布を示すヒストグラムの相関を用いて前記移動物体の像の有無を判定するヒストグラム相関手法を、前記判定手法として適用したヒストグラム相関判定手段と、現在と過去の各々の前記解析画像内の前記指定領域の輝度値の分布を示すヒストグラムのうち、一方のヒストグラムと、輝度値の軸の方向において平均値を前記一方のヒストグラムとあわせるように伸縮させた他方のヒストグラムとの相関を用いて前記移動物体の像の有無を判定する伸縮ヒストグラム相関手法を、前記判定手法として適用した伸縮ヒストグラム相関判定手段と、現在と過去の各々の前記解析画像内の前記指定領域を構成する各画素の輝度値及び平均輝度値に基づく正規化相互相関を用いて前記移動物体の像の有無を判定する正規化相互相関手法を、前記判定手法として適用した正規化相互相関判定手段とを備え、前記統合手段は、前記ヒストグラム相関判定手段、前記伸縮ヒストグラム相関判定手段、及び、前記正規化相互相関判定手段の判定結果のうち、２つ以上を統合することによって、前記移動物体の像を検出することができる。

前記統合手段は、前記ヒストグラム相関判定手段、前記伸縮ヒストグラム相関判定手段、及び、前記正規化相互相関判定手段の全てによって前記移動物体の像が有ると判定された場合に、前記移動物体の像を検出することができる。

前記判定手段は、さらに、前記解析画像に対する背景画像の差分として、前記指定領域内の輝度値の差分を用いて前記移動物体の像の有無を判定する背景画像差分手法を、前記判定手法として適用した背景画像差分判定手段を有することができる。

前記判定手段は、さらに、現在の前記解析画像に対する複数の過去の前記解析画像の各々との差分として、前記指定領域内の輝度値の差分を用いて前記移動物体の像の有無を判定する過去画像群差分手法を、前記判定手法として適用した過去画像群差分判定手段を有することができる。

本発明の一側面の移動物体検出方法及びプログラムは、上述した本発明の一側面の移動物体検出装置に対応する方法及びプログラムである。

本発明の一側面の移動物体装置及び方法並びにプログラムにおいては、解析画像のデータが入力され、前記解析画像内で指定領域を設定する処理が実行される。設定された前記指定領域を移動する移動物体の像の有無を判定する判定手法として相異なるものがそれぞれ適用され、適用された前記判定手法に従って前記移動物体の像の有無が判定され、前記複数の判定手段の判定結果のうち任意の数の任意の種類を統合することによって、前記移動物体の像が検出される。

以上のごとく、本発明によれば、誤検出を低減し、充分な検出精度を得ることが可能になる。

画像解析装置の機能的構成を示すブロック図である。 ヒストグラム相関判定処理を説明するための、現在と過去のヒストグラムの一例を示す図である。 伸縮ヒストグラム相関判定処理を説明するための、現在と過去のヒストグラムの一例を示す図である。 各処理の検出精度について説明する図である。 画像解析処理の一例を説明するフローチャートである。 ヒストグラム相関判定処理の一例を説明するフローチャートである。 伸縮ヒストグラム相関判定処理の一例を説明するフローチャートである。 正規化相互相関判定処理の一例を説明するフローチャートである。 画像解析装置の他の機能的構成を示すブロック図である。 移動物体有無判定部の機能的構成を示すブロック図である。 移動物体有無判定部の機能的構成を示すブロック図である。 移動物体有無判定部の機能的構成を示すブロック図である。 各処理の検出精度について説明する図である。 画像解析処理の一例を説明するフローチャートである。 背景画像差分処理の一例を説明するフローチャートである。 過去画像群差分処理の一例を説明するフローチャートである。 本実施形態の画像解析装置を構成要素に含む監視システムの機能的構成例を示すブロック図である。 本実施形態の画像解析装置を構成要素に含むシステムの機能的構成例を示すブロック図である。 本実施形態の画像解析装置を構成要素に含む他のシステムの機能的構成例を示すブロック図である。 本発明が適用される動体検出装置のハードウエアの構成例を示すブロック図である。

本発明が適用される移動物体検出装置の実施形態として、２つの実施形態（以下、それぞれ第１実施形態及び第２実施形態と称する）について説明する。よって、説明は以下の順序で行う。
１．第１実施形態（移動物体の像の有無を判定する構成要素が３つの例）
２．第２実施形態（移動物体の像の有無を判定する構成要素が５つの例）

＜１．第１実施形態＞
[画像解析装置の機能的構成]
図１は、本発明が適用される移動物体検出装置の一実施の形態としての画像解析装置の機能的構成を示すブロック図である。

図１の画像解析装置１は、監視システムの監視カメラの撮像画像を解析画像として、解析画像のデータを解析することにより、当該解析画像内の指定された領域（以下、指定領域と称する）内を移動物体の像が移動したかを検出する。このような一連の処理を、以下、画像解析処理と称する。

画像解析装置１は、このような画像解析処理を実行すべく、画像入力処理部１１、ヒストグラム生成処理部１２、輝度値演算処理部１３、ヒストグラム相関判定処理部１４、伸縮ヒストグラム相関判定処理部１５、正規化相互相関判定処理部１６、結果統合部１７、及び結果出力部１８から構成されている。また、ヒストグラム生成処理部１２は過去ヒストグラム記憶部３１を有しており、輝度値演算処理部１３は過去輝度値記憶部３２を有している。

画像入力処理部１１は、外部から解析画像のデータを入力し、当該解析画像のうち、ユーザ等により監視対象として指定された領域を、指定領域として設定する。

なお、画像解析装置１が移動物体の像を検出するために、監視対象としては動画像が採用される。動画像は、フレームやフィールド等を単位画像として、複数の単位画像が所定の順番で配置されて構成される。このような単位画像のデータが、本実施形態では、解析画像のデータとして画像入力処理部１１に入力される。すなわち、本実施形態では、動画像を構成する各単位画像の各々が入力される毎に、画像解析処理がその都度実行され、移動物体の像の有無が検出される。

ヒストグラム生成処理部１２は、画像入力処理部１１から出力された現在の解析画像のデータに基づいて、解析画像内の指定領域の輝度値の分布を示すヒストグラムを生成する。
ヒストグラム生成処理部１２によって生成されたヒストグラムは、現在のヒストグラムとしてヒストグラム相関判定処理部１４及び伸縮ヒストグラム相関判定処理部１５に供給される。

このとき、過去ヒストグラム記憶部３１に記憶された過去のヒストグラムも、ヒストグラム相関判定処理部１４及び伸縮ヒストグラム相関判定処理部１５に供給される。過去のヒストグラムとは、現在のヒストグラムよりも前のタイミングでヒストグラム生成処理部１２により生成されたヒストグラムをいう。本実施形態では、現在の解析画像よりも２つ前の解析画像のデータに対して生成されたヒストグラムが、過去のヒストグラムとして過去ヒストグラム記憶部３１からヒストグラム相関判定処理部１４及び伸縮ヒストグラム相関判定処理部１５に供給される。すなわち、ヒストグラム生成処理部１２によって生成されたヒストグラムは、次々回に生成されるヒストグラムにとっての過去のヒストグラムとして、過去ヒストグラム記憶部３１に記憶される。

ヒストグラム相関判定処理部１４は、ヒストグラム生成処理部１２から供給された現在のヒストグラムと過去のヒストグラムの相関値を演算する。ヒストグラム相関判定処理部１４は、演算した相関値に基づいて、現在の解析画像内の指定領域を移動物体の像が移動したかを検出する。このようなヒストグラム相関判定処理部１４による一連の処理を、以下、ヒストグラム相関判定処理と称する。

ヒストグラム相関判定処理において実行される相関値の算出の手法は、特に限定されないが、本実施形態では、現在のヒストグラムと過去のヒストグラムとの内積を相関値として算出する手法が採用されている。そこで、以下、図２を参照して、本実施形態で採用された相関値の算出の手法に従って実行されるヒストグラム相関判定処理の詳細について説明する。

［ヒストグラム相関判定処理の説明]
図２は、ヒストグラム相関判定処理を説明するための、現在のヒストグラムと過去のヒストグラムの一例を示す図である。図２Ａは、現在のヒストグラムを示し、図２Ｂは、過去のヒストグラムを示している。

図２において、横軸は輝度値を示し、縦軸は画素数を示している。

ヒストグラム相関判定処理部１４は、このような図２Ａの現在のヒストグラムのデータと図２Ｂの過去のヒストグラムのデータとを用いて、次の式（１）の値Corr_histを演算する。

式（１）において、値Corr_histは、現在のヒストグラムと過去のヒストグラムの相関値を示している。値Ｎ_iは、図２Ａの現在のヒストグラムのうち、ｉ番目の輝度値の画素数を示している。ここで、ｉは、ヒストグラムの横軸の正方向に順に付された輝度値の番号を示している。値Ｐ_iは、図２Ｂの過去のヒストグラムのうち、ｉ番目の輝度値の画素数を示している。相関値Corr_histは、実際に移動物体が検出領域内に含まれたときには小さい値となり、移動物体が検出領域内に含まれていないときには大きい値となる。したがって、ヒストグラム相関判定処理部１４は、例えば相関値Corr_histが閾値よりも小さい値となった場合、移動物体の像が存在すると判定することができる。

以上、ヒストグラム相関判定処理部１４について説明した。次に、伸縮ヒストグラム相関判定処理部１５について説明する。

伸縮ヒストグラム相関判定処理部１５は、ヒストグラム生成処理部１２から供給された現在と過去のヒストグラムの平均値を演算し、平均の位置（横軸の輝度値）を合わせるように、一方のヒストグラムを横軸方向に引き延ばした状態で、現在と過去のヒストグラムの相関値を演算する。なお、この場合の相関値の演算手法は、ヒストグラム相関判定処理部１４に採用された相関値の演算手法と同様である。次に、伸縮ヒストグラム相関判定処理部１５は、演算した相関値に基づいて、現在の解析画像内の指定領域を移動物体の像が移動したかを検出する。このような伸縮ヒストグラム相関判定処理部１５による一連の処理を、以下、伸縮ヒストグラム相関判定処理と称する。さらに、以下、図３を参照して、伸縮ヒストグラム相関判定処理の詳細について説明する。

［伸縮ヒストグラム相関判定処理の説明］
図３は、伸縮ヒストグラム相関判定処理を説明するための、現在のヒストグラムと過去のヒストグラムの一例を示す図である。図３の上側の図は、現在のヒストグラムを示し、図３の下側の図は、過去のヒストグラムを示している。

図３において、横軸は輝度値を示し、縦軸は画素数を示している。

図３の左上側のヒストグラムは、指定領域に対応する実世界の空間領域が本来の明るさを保っている場合（以下、本来の明るさの場合と称する）の指定領域の輝度値の分布を示している。これに対して、図３の左下側のヒストグラムは、指定領域に対応する実世界の空間領域が影等の影響で暗くなった場合（以下、暗くなった場合と称する）の指定領域の輝度値の分布を示している。図３の左上側と図３の左下側の両者のヒストグラムを比較すると、実世界の同一の空間領域であっても、暗くなった場合のヒストグラムは、本来の明るさの場合よりも、小さい輝度値に偏ってしまうことがわかる。従って、このような暗い場合と明るい場合との両者のヒストグラムを用いて単純な相関を演算しても、正確な相関を得ることはできない。

そこで、伸縮ヒストグラム相関判定処理部１５は、現在と過去のヒストグラムの平均値の位置（横軸の輝度値）が合うように、一方のヒストグラムを横軸方向に引き延ばすことによって、暗い場合のヒストグラムを明るい場合の分布となるように補正する。すなわち、伸縮ヒストグラム相関判定処理部１５は、現在のヒストグラムと過去のヒストグラムとを、疑似的に明るい場合の分布となるように統一する。

例えば、図３の左上側に示される現在のヒストグラムの平均値の位置（横軸の輝度値）が３０であり、図３の左下側に示される過去のヒストグラムの平均値の位置（横軸の輝度値）が２０であるとする。この場合、伸縮ヒストグラム相関判定処理部１５は、現在と過去のヒストグラムの平均値の位置（横軸の輝度値）を合わせ、図３の左下側に示される過去のヒストグラムを1.5倍に横軸方向に引き延ばし、図３の右下側に示される状態にする。

このようにして、現在と過去のヒストグラムの両者が、疑似的に明るい場合の分布となるように統一される（図３の右側の図参照）。そこで、伸縮ヒストグラム相関判定処理部１５は、疑似的に明るい場合の分布となるように統一された現在と過去のヒストグラムの相関値を演算する。伸縮ヒストグラム相関判定処理部１５は、演算した相関値に基づいて、現在の解析画像内の指定領域を移動物体の像が移動したかを検出する。

伸縮ヒストグラム相関判定処理部１５によって演算される相関値は、実際に移動物体が検出領域内に含まれたときには小さい値となり、移動物体が検出領域内に含まれていないときには大きい値となる。したがって、伸縮ヒストグラム相関判定処理部１５は、例えば相関値が閾値よりも小さい値となった場合、移動物体の像が存在すると判定することができる。

以上、画像解析装置１の機能的構成のうち、画像入力処理部１１にデータとして入力された解析画像から生成されたヒストグラムを用いて移動物体の像を検出するために必要な機能的構成、すなわち、ヒストグラム生成処理部１２、ヒストグラム相関判定処理部１４、及び伸縮ヒストグラム相関判定処理部１５について説明した。

次に、画像解析装置１の残りの機能的構成、すなわち、輝度値演算処理部１３、正規化相互相関判定処理部１６、結果統合部１７、及び結果出力部１８についてその順番に個別に説明していく。

輝度値演算処理部１３は、画像入力処理部１１から出力された現在の解析画像のデータに基づいて、解析画像内の指定領域の各画素の輝度値及び平均輝度値を演算する。輝度値演算処理部１３によって演算された各画素の輝度値及び平均輝度値は、現在の各画素の輝度値及び平均輝度値として正規化相互相関判定処理部１６に供給される。

このとき、過去輝度値記憶部３２に記憶された過去の各画素の輝度値及び平均輝度値も、正規化相互相関判定処理部１６に供給される。過去の各画素の輝度値及び平均輝度値とは、現在の各画素の輝度値及び平均輝度値よりも前のタイミングで輝度値演算処理部１３により算出された各画素の輝度値及び平均輝度値をいう。本実施形態では、現在の解析画像よりも２つ前の解析画像のデータに対して演算された各画素の輝度値及び平均輝度値が、過去の各画素の輝度値及び平均輝度値として過去輝度値記憶部３２から正規化相互相関判定処理部１６に供給される。すなわち、輝度値演算処理部１３によって演算された各画素の輝度値及び平均輝度値は、次々回に生成される各画素の輝度値及び平均輝度値にとっての過去の各画素の輝度値及び平均輝度値として、過去輝度値記憶部３２に記憶される。

正規化相互相関判定処理部１６は、輝度値演算処理部１３から供給された現在及び過去の指定領域の各画素の輝度値及び指定領域の平均輝度値の相関値を演算する。正規化相互相関判定処理部１６は、演算した相関値に基づいて、当該解析画像内の指定領域を移動物体の像が移動したかを検出する。このような正規化相互相関判定処理部１６による一連の処理を、以下、正規化相互相関判定処理と称する。

正規化相互相関判定処理部１６は、現在の指定領域の各画素の輝度値及び指定領域の平均輝度値と、過去の指定領域の各画素の輝度値及び指定領域の平均輝度値を用いて、次の式（２）の値ZNCCを演算する。

式（２）において、値ZNCCは、正規化相互相関値を示している。値Ｎ_iは、現在の指定領域の各画素の輝度値を示しており、正規化相互相関判定処理部１６の処理では、輝度値演算処理部１３から取得した現在の指定領域の各画素の輝度値を示している。値ＮＡは、現在の指定領域の平均輝度値を示しており、正規化相互相関判定処理部１６の処理では、輝度値演算処理部１３から取得した現在の指定領域の平均輝度値を示している。値Ｐ_iは、過去の指定領域の各画素の輝度値を示しており、正規化相互相関判定処理部１６の処理では、過去輝度値記憶部３２から取得した過去の指定領域の各画素の輝度値を示している。値ＰＡは、過去の指定領域の平均輝度値を示しており、正規化相互相関判定処理部１６の処理では、過去輝度値記憶部３２から取得した過去の指定領域の平均輝度値を示している。

正規化相互相関値ZNCCは、実際に移動物体が検出領域内に含まれたときには小さい値となり、移動物体が検出領域内に含まれていないときには大きい値となる。したがって、正規化相互相関判定処理部１６は、例えば正規化相互相関値ZNCCが閾値よりも小さい値となった場合、移動物体の像が存在すると判定することができる。

以上、ヒストグラム相関判定処理部１４、伸縮ヒストグラム相関判定処理部１５、及び正規化相互相関判定処理部１６の機能的構成について説明した。図１に示されるように、このようなヒストグラム相関判定処理部１４、伸縮ヒストグラム相関判定処理部１５、及び正規化相互相関判定処理部１６の検出結果は、共に結果統合部１７に供給される。

統合手段としての結果統合部１７は、ヒストグラム相関判定処理部１４、伸縮ヒストグラム相関判定処理部１５、及び正規化相互相関判定処理部１６の検出結果を統合して、その統合結果を結果出力部１８に供給する。結果出力部１８は、統合結果を、画像解析装置１からの最終的な検出結果として出力する。

例えば、ヒストグラム相関判定処理部１４、伸縮ヒストグラム相関判定処理部１５、及び正規化相互相関判定処理部１６の検出結果の何れからも、移動物体を検出したという結果が出力された場合、「移動物体あり」という統合結果が、結果統合部１７によって得られ、結果出力部１８から出力される。

これに対して、例えば、ヒストグラム相関判定処理部１４、伸縮ヒストグラム相関判定処理部１５、及び正規化相互相関判定処理部１６の検出結果のうち、一つでも移動物体を検出していないという結果が出力された場合、「移動物体なし」という統合結果が、結果統合部１７によって得られ、結果出力部１８から出力される。

このように、ヒストグラム相関判定処理部１４、伸縮ヒストグラム相関判定処理部１５、及び正規化相互相関判定処理部１６の各検出結果が統合されて、画像解析装置１全体の検出結果が出力される。以下、図４を用いて、ヒストグラム相関判定処理部１４、伸縮ヒストグラム相関判定処理部１５、及び正規化相互相関判定処理部１６の各処理の検出結果が統合される理由について説明する。

[各処理の検出精度]
図４は、ヒストグラム相関判定処理、伸縮ヒストグラム相関判定処理、及び正規化相互相関判定処理の各処理の検出精度について説明する図である。

図４では、検出領域内の背景画像が複雑な場合に、影や木々の揺れまたは輝度変化がある環境下での各処理の移動物体の検出精度と、検出領域内の背景画像が均一な場合に、影や木々の揺れまたは輝度変化がある環境下での各処理の移動物体の検出精度とを、文字ＯＫとＮＧを用いて示している。図４に示されるＯＫは、該当する処理による検出精度が高いことを表わし、ＮＧは、該当する処理による検出精度が低いことを表わしている。

まず、ヒストグラム相関判定処理部１４により実行されるヒストグラム相関判定処理の検出精度について説明する。図４に示されるように、ヒストグラム相関判定処理による検出精度は、検出領域内の背景画像が複雑な背景画像である場合でも、均一な背景画像である場合でも、影や木々の揺れがある環境下での移動物体の検出精度が高い。これに対して、ヒストグラム相関判定処理による検出精度は、検出領域内の背景画像が複雑な背景画像である場合でも、均一な背景画像である場合でも、輝度変化がある環境下での移動物体の検出精度が低い。すなわち、ヒストグラム相関判定処理は、背景画像に関わらず木々の揺れの像等の外乱に対して頑健であるという長所がある。しかしながら、ヒストグラム相関判定処理は、光や影等による輝度変化が発生する場合には、背景画像に関わらず誤検出が発生するおそれがある、という短所がある。

次に、伸縮ヒストグラム相関判定処理部１５により実行される伸縮ヒストグラム相関判定処理の検出精度について説明する。図４に示されるように、伸縮ヒストグラム相関判定処理による検出精度は、検出領域内の背景画像が均一であるという条件下では、輝度変化がある環境下での移動物体の検出精度が高い。これに対して、伸縮ヒストグラム相関判定処理による検出精度は、検出領域内の背景画像が複雑である場合には、輝度変化がある環境下での移動物体の検出精度が低い。また、伸縮ヒストグラム相関判定処理による検出精度は、検出領域内の背景画像が複雑な背景画像である場合でも、均一な背景画像である場合でも、影や木々の揺れがある環境下での移動物体の検出精度が低い。すなわち、伸縮ヒストグラム相関判定処理は、背景画像が均一であるという条件下では、光や影等による輝度変化に対して頑健であるという長所がある。しかしながら、伸縮ヒストグラム相関判定処理は、背景画像が複雑である場合に輝度変化が発生すると、誤検出が発生するおそれがある。また、伸縮ヒストグラム相関判定処理は、影や木々の揺れが発生する場合には、背景画像に関わらず誤検出が発生するおそれがある、という短所がある。

次に、正規化相互相関判定処理部１６により実行される正規化相互相関判定処理の検出精度について説明する。図４に示されるように、正規化相互相関判定処理による検出精度は、検出領域内の背景画像が複雑であるという条件下では、輝度変化がある環境下での移動物体の検出精度が高い。これに対して、正規化相互相関判定処理による検出精度は、検出領域内の背景画像が均一であるという条件下では、輝度変化がある環境下での移動物体の検出精度が低い。また、正規化相互相関判定処理による検出精度は、検出領域内の背景画像が複雑な背景画像である場合でも、均一な背景画像である場合でも、影や木々の揺れがある環境下での移動物体の検出精度が低い。すなわち、正規化相互相関判定処理は、背景画像が複雑であるという条件下では、光や影等による輝度変化に対して頑健であるという長所がある。しかしながら、正規化相互相関判定処理は、背景画像が均一である場合に輝度変化が発生すると、誤検出が発生するおそれがある。また、正規化相互相関判定処理は、影や木々の揺れが発生する場合には、背景画像に関わらず誤検出が発生するおそれがある、という短所がある。

画像解析装置１は、ヒストグラム相関判定処理、伸縮ヒストグラム相関判定処理、及び正規化相互相関判定処理のそれぞれの短所を補い、相互の長所を際立たせるべく、３つの処理を組み合わせて使用している。すなわち、ヒストグラム相関判定処理、伸縮ヒストグラム相関判定処理、及び正規化相互相関判定処理を組み合わせて使用することにより、移動物体の誤検出を低減することができる、という効果を奏することが可能となる。

特に、ヒストグラム相関判定処理部１４、伸縮ヒストグラム相関判定処理部１５、及び正規化相互相関判定処理部１６の検出結果の何れもが、移動物体を検出したという結果を出力した場合にのみ、移動物体が検出された判断することによって、当該効果は顕著なものとなる。

[画像解析処理]
次に、図５を参照して、このような機能的構成を有する画像解析装置１の処理として、画像解析処理について説明する。

図５は、画像解析処理の一例を説明するフローチャートである。

上述したように、画像解析装置１が移動物体の像を検出するために、監視対象としては動画像が採用される。このような動画像は、例えば、監視カメラ等により所定時間間隔毎に撮像された複数の単位画像から構成される。このため、このような動画像を構成する複数の単位画像の各々のデータが、監視カメラ等から出力される毎に、画像解析処理はその都度実行される。

ステップＳ１において、図１の画像解析装置１の画像入力処理部１１は、監視カメラ等から出力された単位画像を解析画像として、解析画像のデータを入力して、当該解析画像内に指定領域を設定する。

ステップＳ２において、ヒストグラム生成処理部１２は、画像入力処理部１１から出力された現在の解析画像のデータに基づいて、解析画像内の指定領域内のヒストグラムを生成し、過去ヒストグラム記憶部３１に記憶する。

ステップＳ３及びステップＳ４において、ヒストグラム相関判定処理部１４と伸縮ヒストグラム相関判定処理部１５は、それぞれヒストグラム相関判定処理と伸縮ヒストグラム相関判定処理を実行する。ヒストグラム相関判定処理と伸縮ヒストグラム相関判定処理の詳細については、それぞれ図６と図７のフローチャートを参照して後述する。

また、ステップＳ２乃至ステップＳ４の処理と並列して、ステップＳ５及びステップＳ６の処理が実行される。

ステップＳ５において、輝度値演算処理部１３は、画像入力処理部１１から出力された現在の解析画像のデータに基づいて、解析画像内の指定領域の各画素の輝度値及び指定領域の平均輝度値を算出し、過去輝度値記憶部３２に記憶する。

ステップＳ６において、正規化相互相関判定処理部１６は、正規化相互相関処理を実行する。

ステップＳ７において、結果統合部１７は、ヒストグラム相関判定処理、伸縮ヒストグラム相関判定処理、及び正規化相互相関判定処理の結果を統合する。すなわち、ヒストグラム相関判定処理、伸縮ヒストグラム相関判定処理、及び正規化相互相関判定処理のすべての検出結果が「移動物体あり」であった場合、統合結果は「移動物体あり」となる。これに対して、ヒストグラム相関判定処理、伸縮ヒストグラム相関判定処理、及び正規化相互相関判定処理のうちの一つでも移動物体の像を検出していないという結果が出力された場合、統合結果は「移動物体なし」となる。

ステップＳ８において、結果出力部１８は、ステップＳ７の統合結果を、画像解析装置１の最終的な検出結果として出力する。すなわち、本実施形態では、結果出力部１８は、最終的な検出結果が「移動物体あり」の場合には、「移動物体あり」を示す警報を発生させる信号を出力する。これにより、画像解析処理は終了する。

[ヒストグラム相関判定処理]
次に、図６を参照して、このような画像解析処理のステップＳ３の処理として、図１の画像解析装置１のヒストグラム相関判定処理部１４により実行されるヒストグラム相関判定処理について説明する。

図６は、ヒストグラム相関判定処理の一例を説明するフローチャートである。

ステップＳ２１において、ヒストグラム相関判定処理部１４は、ヒストグラム生成処理部１２から出力された現在のヒストグラムを取得する。

ステップＳ２２において、ヒストグラム相関判定処理部１４は、過去ヒストグラム記憶部３１から過去のヒストグラムを取得する。

ステップＳ２３において、ヒストグラム相関判定処理部１４は、式（１）に基づいて、現在と過去のヒストグラムの相関値を演算する。

ステップＳ２４において、ヒストグラム相関判定処理部１４は、ステップＳ２３において演算された現在と過去のヒストグラムの相関値は閾値以下であるかを判定する。

現在と過去のヒストグラムの相関値が閾値以下であると判定された場合、ステップＳ２４の処理でＹＥＳであると判定されて、処理はステップＳ２５に進む。

ステップＳ２５において、ヒストグラム相関判定処理部１４は、「移動物体あり」の結果を出力し、ヒストグラム相関判定処理は終了する。

これに対して、ステップＳ２４において、現在と過去のヒストグラムの相関値は閾値を超えていると判定された場合、ステップＳ２４の処理でＮＯであると判定されて、処理はステップＳ２６に進む。

ステップＳ２６において、ヒストグラム相関判定処理部１４は、「移動物体なし」の結果を出力し、ヒストグラム相関判定処理は終了する。

ステップＳ２５またはステップＳ２６の処理の結果が出力されると、処理は図５のステップＳ７に進む。

以上、図６を参照して、図５の画像解析処理のステップＳ３の処理として、図１のヒストグラム相関判定処理部１４により実行されるヒストグラム相関判定処理について説明した。次に、図７を参照して、画像解析処理のステップＳ４の処理として、図１の伸縮ヒストグラム相関判定処理部１５により実行される伸縮ヒストグラム相関判定処理について説明する。

[伸縮ヒストグラム相関判定処理]
図７は、伸縮ヒストグラム相関判定処理の一例を説明するフローチャートである。

ステップＳ４１において、伸縮ヒストグラム相関判定処理部１５は、ヒストグラム生成処理部１２から出力された現在のヒストグラムの平均値を演算する。

ステップＳ４２において、伸縮ヒストグラム相関判定処理部１５は、過去ヒストグラム記憶部３１から出力された過去のヒストグラムの平均値を演算する。

ステップＳ４３において、伸縮ヒストグラム相関判定処理部１５は、演算した現在と過去のヒストグラムの平均の位置が合うように、一方のヒストグラムを伸縮させる。すなわち、伸縮ヒストグラム相関判定処理部１５は、現在のヒストグラムと過去のヒストグラムとを、疑似的に明るい場合の分布となるように統一する。

ステップＳ４４において、伸縮ヒストグラム相関判定処理部１５は、式（１）に基づいて、現在と過去のヒストグラムの相関値を演算する。すなわち、伸縮ヒストグラム相関判定処理部１５は、疑似的に明るい場合の分布となるように統一された現在と過去のヒストグラムの相関値を演算する。

ステップＳ４５において、伸縮ヒストグラム相関判定処理部１５は、ステップＳ４４において演算された現在と過去のヒストグラムの相関値は閾値以下であるかを判定する。

現在と過去のヒストグラムの相関値が閾値以下であると判定された場合、ステップＳ４５の処理でＹＥＳであると判定されて、処理はステップＳ４６に進む。

ステップＳ４６において、伸縮ヒストグラム相関判定処理部１５は、「移動物体あり」の結果を出力し、伸縮ヒストグラム相関判定処理は終了する。

これに対して、ステップＳ４５において、現在と過去のヒストグラムの相関値は閾値を超えていると判定された場合、ステップＳ４５の処理でＮＯであると判定されて、処理はステップＳ４７に進む。

ステップＳ４７において、伸縮ヒストグラム相関判定処理部１５は、「移動物体なし」の結果を出力し、伸縮ヒストグラム相関判定処理は終了する。

ステップＳ４６またはステップＳ４７の処理の結果が出力されると、処理は図５のステップＳ７に進む。

以上、図７を参照して、図５の画像解析処理のステップＳ４の処理として、図１の伸縮ヒストグラム相関判定処理部１５により実行される伸縮ヒストグラム相関判定処理について説明した。次に、図８を参照して、画像解析処理のステップＳ６の処理として、図１の正規化相互相関判定処理部１６により実行される正規化相互相関判定処理について説明する。

[正規化相互相関判定処理]
図８は、正規化相互相関判定処理の一例を説明するフローチャートである。

ステップＳ６１において、正規化相互相関判定処理部１６は、輝度値演算処理部１３から出力された現在の画像の各画素の画素値と平均輝度値を取得する。

ステップＳ６２において、正規化相互相関判定処理部１６は、過去輝度値記憶部３２から過去の画像の各画素の画素値と平均輝度値を取得する。

ステップＳ６３において、正規化相互相関判定処理部１６は、式（２）に基づいて、正規化相互相関値を演算する。すなわち、正規化相互相関判定処理部１６は、現在の指定領域の各画素の輝度値及び指定領域の平均輝度値と、過去の指定領域の各画素の輝度値及び指定領域の平均輝度値の相関値を演算する。

ステップＳ６４において、正規化相互相関判定処理部１６は、ステップＳ６３において演算された正規化相互相関値は閾値以下であるかを判定する。

正規化相互相関値が閾値以下であると判定された場合、ステップＳ６４の処理でＹＥＳであると判定されて、処理はステップＳ６５に進む。

ステップＳ６５において、正規化相互相関判定処理部１６は、「移動物体あり」の結果を出力し、正規化相互相関判定処理は終了する。

これに対して、ステップＳ６４において、正規化相互相関値は閾値を超えていると判定された場合、ステップＳ６４の処理でＮＯであると判定されて、処理はステップＳ６６に進む。

ステップＳ６６において、正規化相互相関判定処理部１６は、「移動物体なし」の結果を出力し、正規化相互相関判定処理は終了する。

ステップＳ６５またはステップＳ６６の処理の結果が出力されると、処理は図５のステップＳ７に進む。

以上、図８を参照して、図５の画像解析処理のステップＳ６の処理として、図１の正規化相互相関判定処理部１６により実行される正規化相互相関判定処理について説明した。

このように、画像解析装置１は、ヒストグラム相関判定処理、伸縮ヒストグラム相関判定処理、及び正規化相互相関判定処理の３つの処理の結果を統合し、移動物体の像の有無を検出する。ヒストグラム相関判定処理、伸縮ヒストグラム相関判定処理、及び正規化相互相関判定処理の３つの処理を組み合わせて使用することにより、それぞれの処理の短所を補い、相互の長所を際立たせることができる。

本実施形態では、移動物体の像の有無を判定する場合に用いた処理は、ヒストグラム相関判定処理、伸縮ヒストグラム相関判定処理、及び正規化相互相関判定処理の３つであった。しかしながら、移動物体の像の有無を判定する処理は、この３つ処理に限定されず、任意の処理を組み合わせて採用することができる。

＜２．第２実施形態＞
以上説明した第１実施形態の画像解析装置１（図１）は、移動物体の像の有無を判定する構成要素として、ヒストグラム生成処理部１２とヒストグラム相関判定処理部１４の組、ヒストグラム生成処理部１２と伸縮ヒストグラム相関判定処理部１５の組、及び輝度値演算処理部１３と正規化相互相関判定処理部１６の組の３つが存在した。

しかしながら、移動物体の像の有無を判定する構成要素の個数は、第１実施形態の３つに特に限定されず、任意のＮ個（Ｎは２以上の整数値）でよい。そこで、第２実施形態では、移動物体の像の有無を判定する構成要素の個数Ｎ＝５の場合の画像解析装置について説明する。

[画像解析装置の機能的構成]
図９は、本発明が適用される移動物体検出装置の一実施の形態としての画像解析装置であって、移動物体の像の有無を判定する処理が図１の例とは異なる場合の画像解析装置の機能的構成を示すブロック図である。

図９の画像解析装置４０は、画像入力処理部４１、判定手法選択部４２、移動物体有無判定部４３−１乃至４３−５、結果統合部４４、結果出力部４５から構成されている。なお、以下、移動物体有無判定部４３−１乃至４３−５を個々に区別する必要がない場合、これらをまとめて移動物体有無判定部４３と称する。

第２実施形態に係る図９の画像解析装置４０は、第１実施形態に係る図１の画像解析装置１と、次の点で一致する。すなわち、図９の画像入力処理部４１、結果統合部４４、及び結果出力部４５の各々は、図１の画像入力処理部１１、結果統合部１７、及び結果出力部１８の各々と基本的に同様の構成と機能を有している点で一致する。従って、これらの一致点の説明は繰り返しになるので省略する。

これに対して、次の点で、図９の画像解析装置４０は、図１の画像解析装置１と異なっている。

すなわち、図１の画像解析装置１では、移動物体の像の有無を判定するための手法（以下、判定手法と称する）として、次の第１乃至第３の判定手法が採用されていた。すなわち、第１の判定手法とは、ヒストグラムの相関を用いた手法であり、以下、これをヒストグラム相関手法と称する。第２の判定手法とは、伸縮ヒストグラムの相関を用いた手法であり、以下、これを伸縮ヒストグラム相関手法と称する。第３の判定手法とは、正規化相互相関を用いた手法であり、以下、これを正規化相互相関手法と称する。

このため、図１の画像解析装置１は、移動物体の像の有無を判定する構成要素としては、ヒストグラム相関手法、伸縮ヒストグラム相関手法、及び正規化相互相関手法の各々が適用された構成要素を有している。すなわち、ヒストグラム相関手法が適用された構成要素とは、ヒストグラム生成処理部１２とヒストグラム相関判定処理部１４との組である。伸縮ヒストグラム相関手法が適用された構成要素とは、ヒストグラム生成処理部１２と伸縮ヒストグラム相関判定処理部１５との組である。正規化相互相関手法が適用された構成要素とは、輝度値演算処理部１３と正規化相互相関判定処理部１６との組である。

そして、図１の画像解析装置１は、これらのヒストグラム相関手法、伸縮ヒストグラム相関手法、及び正規化相互相関手法の全ての判定手法による判定結果を用いて、総合的に移動物体の像の検出をしていた。このため、図１の画像解析装置１においては、ヒストグラム相関判定処理部１４、伸縮ヒストグラム相関判定処理部１５、及び正規化相互相関判定処理部１６の３つの構成要素からの出力結果はすべて結果統合部１７に供給されていた。

これに対して、図９の画像解析装置４０においては、判定手法として、これらのヒストグラム相関手法、伸縮ヒストグラム相関手法、及び正規化相互相関手法を含む５つの手法が採用されている。なお、残りの２つの手法については、図１１以降の図面を参照して後述する。

このため、図９の画像解析装置４０は、移動物体の像の有無を判定する構成要素として、
５つの判定手法の各々が適用された移動物体有無判定部４３−１乃至４３−５を有している。

そして、図９の画像解析装置４０は、５つの判定手法のうち任意の数の任意の種類を適用することができるように、判定手法選択部４２が設けられている。すなわち、判定手法選択部４２は、５つの判定手法のうち任意の数の任意の種類を選択する。そして、判定手法選択部４２は、画像入力処理部１１から出力された現在の解析画像のデータを、移動物体有無判定部４３−１乃至４３−５のうち、選択した２種類以上の判定手法の各々が適用された移動物体有無判定部４３にのみ供給する。

移動物体有無判定部４３−１乃至４３−５のうち、判定手法選択部４２から現在の解析画像のデータが供給された１以上の移動物体有無判定部４３の各々は、各々に適用された判定手法に従って、当該解析画像内の指定領域を移動物体の像の有無を判定する。移動物体有無判定部４３−１乃至４３−５のうち、判定手法選択部４２から現在の解析画像のデータが供給された１以上の移動物体有無判定部４３の各々の判定結果は、結果統合部４４に供給される。すなわち、図９の画像解析装置４０は、５つの判定手法のうち任意の数の任意の種類による判定結果を用いて、総合的に移動物体の像の検出をすることができる。

さらに、以下、５つの判定手法の各々が適用された移動物体有無判定部４３−１乃至４３−５について説明する。

[移動物体有無判定部４３−１乃至４３−３の機能的構成]
図１０は、移動物体有無判定部４３−１乃至４３−３の各々の機能的構成を示すブロック図である。

図１０Ａは、移動物体有無判定部４３−１の機能的構成を示すブロック図である。移動物体有無判定部４３−１は、ヒストグラム相関手法に従って移動物体の像の有無を判定すべく、第１実施形態の画像解析装置１のヒストグラム相関手法が適用された構成要素と同様の機能と構成を有している。すなわち、移動物体有無判定部４３−１は、ヒストグラム生成処理部１２、及びヒストグラム相関判定処理部１４から構成される。

図１０Ｂは、移動物体有無判定部４３−２の機能的構成を示すブロック図である。移動物体有無判定部４３−２は、伸縮ヒストグラム相関手法に従って移動物体の像の有無を判定すべく、第１実施形態の画像解析装置１の伸縮ヒストグラム相関手法が適用された構成要素と同様の機能と構成を有している。すなわち、移動物体有無判定部４３−２は、ヒストグラム生成処理部１２、及び伸縮ヒストグラム相関判定処理部１５から構成される。

図１０Ｃは、移動物体有無判定部４３−３の機能的構成を示すブロック図である。移動物体有無判定部４３−２は、正規化相互相関手法に従って移動物体の像の有無を判定すべく、第１実施形態の画像解析装置１の正規化相互相関手法が適用された構成要素と同様の機能と構成を有している。すなわち、移動物体有無判定部４３−３は、輝度値演算処理部１３、及び正規化相互相関判定処理部１６から構成される。

このように、移動物体有無判定部４３−１乃至４３−３の各々には、第１実施形態でも採用されている判定手法、すなわち、ヒストグラム相関手法、伸縮ヒストグラム相関手法、及び正規化相互相関手法の各々が適用されている。これに対して、以下に説明する移動物体有無判定部４３−４及び４３−５の各々には、第１実施形態では採用されていない判定手法が適用されている。

[移動物体有無判定部４３−４の機能的構成]
図１１は、移動物体有無判定部４３−４の機能的構成を示すブロック図である。

背景画像差分判定手段としての移動物体有無判定部４３−４には、現在の解析画像と背景画像との差分を求め、この差分に基づいて移動物体の像の有無を判定する、といった判定手法が適用されている。なお、以下、このような判定手法を、背景画像差分手法と称する。また、背景画像差分手法に従って実行される処理を、以下、背景画像差分処理と称する。

移動物体有無判定部４３−４は、このような背景画像差分処理を実行すべく、差分処理部６１、背景画像記憶部６２、及び変化判定処理部６３から構成される。

差分処理部６１は、判定手法選択部４２から供給された現在の解析画像のデータと、背景画像記憶部６２に記憶されている背景画像のデータとに基づいて、指定領域を構成する各画素毎に、解析画像と背景画像の輝度値の差分をそれぞれ演算する。

背景画像記憶部６２は、初期の背景画像のデータとして、判定手法選択部４２から供給された解析画像のデータを記憶する。その後、背景画像記憶部６２は、判定手法選択部４２から供給された現在の解析画像のデータと差分処理部６１の演算結果とを用いて、次の式（３）に従って、背景画像のデータを適宜更新する。

式（３）において、値B_tは、時刻tにおける背景画像の輝度値を示し、値B_t−１は、時刻t−１における背景画像の輝度値を示している。値I_tは、時刻tにおける解析画像の輝度値を示している。また、値αは更新係数を示している。更新係数αは、差分処理部６１の演算結果が所定の閾値以上の場合には、移動物体の画素が含まれている可能性が高いので小さく設定される。これに対して、差分処理部６１の演算結果が所定の閾値未満の場合には、更新係数αは大きく設定される。すなわち、背景画像の輝度値B_tは、解析画像と背景画像の輝度値の差分に応じて設定される更新係数αに従って、解析画像と１つ前の背景画像とを重み付け加算して演算される。背景画像記憶部６２は、演算された背景画像の輝度値B_tを用いて背景画像のデータを更新し、記憶する。

変化判定処理部６３は、指定領域内の各画素のうち、差分処理部６１によって算出された輝度値の差分が所定の閾値以上となっている画素の数をカウントする。変化判定処理部６３は、カウントされた画素の数が一定の基準以上であった場合、移動物体が有りの判定、すなわち指定領域を移動物体の像が通過したという判定をする。

このような背景画像差分手法が適用された移動物体有無判定部４３−４は、例えば、混合ガウス分布を用いて背景画像を表現することができる。この場合、差分処理部６１が、このような背景画像を用いて解析画像との輝度値の差分を演算し、背景画像記憶部６２が、このような背景画像のデータを更新していくことで、背景画像が平均化され、木々などの揺れや、影のゆれ等の誤検知を軽減することが可能になる。

以上、第１実施形態では採用されていない判定手法として、背景画像差分手法が適用された移動物体有無判定部４３−４の機能的構成について説明した。次に、第１実施形態では採用されていない判定手法であって、背景画像差分手法とは別の手法が適用された移動物体有無判定部４３−５の機能的構成について説明する。

[移動物体有無判定部４３−５の機能的構成]
図１２は、移動物体有無判定部４３−５の機能的構成を示すブロック図である。

過去画像群差分判定手段としての移動物体有無判定部４３−５には、現在の解析画像と、予め設定された複数枚の過去画像（以下、過去画像群と称する）の各々との差分を求め、この差分に基づいて移動物体の像の有無を判定する、といった判定手法が適用されている。なお、以下、このような判定手法を、過去画像群差分手法と称する。また、過去画像群差分手法に従って実行される処理を、以下、過去画像群差分処理と称する。

移動物体有無判定部４３−５は、このような過去画像群差分処理を実行すべく、差分処理部８１、過去画像記憶部８２、及び変化判定処理部８３から構成される。

差分処理部８１は、判定手法選択部４２から供給された現在の解析画像のデータと、過去画像記憶部８２に記憶されている過去画像群のデータとに基づいて、指定領域を構成する各画素毎に、解析画像と過去画像群（すべての過去画像の各々）との輝度値の差分をそれぞれ演算する。

過去画像記憶部８２は、これまでに用いられた解析画像を過去画像として、複数枚の過去画像のデータ、すなわち過去画像群のデータを記憶する。

変化判定処理部８３は、指定領域内の各画素のうち、差分処理部８１によって演算された輝度値の差分が全ての過去画像について所定の閾値以上となっている画素の数をカウントする。変化判定処理部６３は、カウントされた画素の数が一定以上であった場合、移動物体が有りの判定、すなわち指定領域を移動物体の像が通過したという判定をする。

このように、移動物体有無判定部４３−５は、過去画像群差分手法が適用されているので、影や木々のゆれ等に対して頑健になる。

次に、以上説明した背景画像差分手法に従って実行される背景画像差分処理と、過去画像群差分手法に従って実行される過去画像群差分処理との各々について、長所と短所について説明する。

[各処理の検出精度]
図１３は、背景画像差分処理と過去画像群差分処理の検出精度について説明する図である。

図１３では、検出領域内の背景画像が複雑な場合に、影や木々の揺れまたは輝度変化がある環境下での各処理の移動物体の検出精度と、検出領域内の背景画像が均一な場合に、影や木々の揺れまたは輝度変化がある環境下での各処理の移動物体の検出精度とを、文字ＯＫとＮＧを用いて示している。図１３に示されるＯＫは、該当する処理による検出精度が高いことを表わし、ＮＧは、該当する処理による検出精度が低いことを表わしている。

まず、移動物体有無判定部４３−４により実行される背景画像差分処理の検出精度について説明する。図１３に示されるように、背景画像差分処理による検出精度は、検出領域内の背景画像が複雑な背景画像である場合でも、均一な背景画像である場合でも、影や木々の揺れがある環境下での移動物体の検出精度が高い。これに対して、背景画像差分処理による検出精度は、検出領域内の背景画像が複雑な背景画像である場合でも、均一な背景画像である場合でも、輝度変化がある環境下での移動物体の検出精度が低い。すなわち、背景画像差分処理は、背景画像に関わらず木々の揺れの像等の外乱に対して頑健であるという長所がある。しかしながら、背景画像差分処理は、検出領域内に光や影等による輝度変化が発生する場合には、背景画像に関わらず誤検出が発生するおそれがある、という短所がある。

次に、移動物体有無判定部４３−５により実行される過去画像群差分処理の検出精度について説明する。図１３に示されるように、過去画像群差分処理による検出精度は、検出領域内の背景画像が複雑な背景画像である場合でも、均一な背景画像である場合でも、影や木々の揺れがある環境下での移動物体の検出精度が高い。これに対して、過去画像群差分処理による検出精度は、検出領域内の背景画像が複雑な背景画像である場合でも、均一な背景画像である場合でも、輝度変化がある環境下での移動物体の検出精度が低い。すなわち、過去画像群差分処理は、背景画像に関わらず木々の揺れの像等の外乱に対して頑健であるという長所がある。しかしながら、過去画像群差分処理は、検出領域内に光や影等による輝度変化が発生する場合には、背景画像に関わらず誤検出が発生するおそれがある、という短所がある。

図９の画像解析装置４０は、このような背景画像差分手法及び過去画像群差分手法と、第１実施形態のヒストグラム相関手法、伸縮ヒストグラム相関手法、及び正規化相互相関手法を含む５つの判定手法のうち２以上の任意の数の任意の種類を適用して、移動物体の像の有無を総合的に判定することができる。画像解析装置４０は、これらの各処理のそれぞれの短所を補い、相互の長所を際立たせるべく、５つの処理の中から任意の数の任意の種類の処理を選択することにより、移動物体の誤検出を低減することができる、という効果を奏することが可能となる。

[画像解析処理]
次に、図１４を参照して、このような機能的構成を有する画像解析装置４０の処理として、画像解析処理について説明する。

図１４は、画像解析処理の一例を説明するフローチャートである。

第１実施形態の画像解析装置１による画像解析処理と同様に、画像解析装置４０による画像解析処理も、動画像を構成する複数の単位画像の各々のデータが、監視カメラ等から出力される毎にその都度実行される。

ステップＳ８１において、図９の画像解析装置４０の画像入力処理部４１は、監視カメラ等から出力された単位画像を解析画像として、解析画像のデータを入力して、当該解析画像内に指定領域を設定する。

ステップＳ８２において、判定手法選択部４２は、上述した５つの手法、すなわち、ヒストグラム相関手法、伸縮ヒストグラム相関手法、正規化相互相関手法、背景画像差分手法、及び過去画像群差分手法の中から、２以上の任意の数の任意の種類の判定手法を選択する。これにより、移動物体有無判定部４３−１乃至４３−５のうち、選択された判定手法が適用された移動物体有無判定部４３に対して、画像入力処理部１１から出力された現在の解析画像のデータが判定手法選択部４２を介して供給される。

ステップＳ８３において、移動物体有無判定部４３−１乃至４３−５のうち、ステップＳ８２の処理で選択された判定手法が適用された移動物体有無判定部４３は、解析画像の指定領域を移動物体の像が通過したかの判定、すなわち移動物体有無判定を実行する。

ステップＳ８４において、結果統合部４４は、移動物体有無判定部４３−１乃至４３−５のうち、ステップＳ８２の処理で選択された判定手法が適用された移動物体有無判定部４３による、ステップＳ８３の移動物体有無判定の結果を統合する。すなわち、移動物体有無判定部４３−１乃至４３−５のうち、ステップＳ８２の処理で選択された判定手法が適用された移動物体有無判定部４３のすべての検出結果が「移動物体あり」であった場合、統合結果は「移動物体あり」となる。これに対して、移動物体有無判定部４３−１乃至４３−５のうち、ステップＳ８２の処理で選択された判定手法が適用された移動物体有無判定部４３のうちの一つでも移動物体の像を検出していないという結果が出力された場合、統合結果は「移動物体なし」となる。

ステップＳ８５において、結果出力部４５は、ステップＳ４４の統合結果を、画像解析装置４０の最終的な検出結果として出力する。すなわち、本実施形態では、結果出力部４５は、最終的な検出結果が「移動物体あり」の場合には、「移動物体あり」を示す警報を発生させる信号を出力する。これにより、画像解析処理は終了する。

[背景画像差分処理]
次に、図１５を参照して、このような画像解析処理のステップＳ８３の処理の一部として、図９の画像解析装置４０の移動物体有無判定部４３−４により実行される背景画像差分処理について説明する。

図１５は、背景画像差分処理の一例を説明するフローチャートである。

ステップＳ１０１において、差分処理部６１は、現在の解析画像と背景画像の各画素の輝度値の差分を演算する。

ステップＳ１０２において、変化判定処理部６３は、差分が閾値以上である画素数は、一定の基準以上であるかを判定する。

解析画像と背景画像の各画素の輝度値の差分が閾値以上である画素数が一定の基準以上であると判定された場合、ステップＳ１０２の処理でＹＥＳであると判定されて、処理はステップＳ１０３に進む。

ステップＳ１０３において、変化判定処理部６３は、「移動物体あり」の結果を出力し、処理はステップＳ１０５に進む。なお、ステップＳ１０５の処理については後述する。

これに対して、ステップＳ１０２において、解析画像と背景画像の各画素の輝度値の差分が閾値以上である画素数が一定の基準未満であると判定された場合、ステップＳ１０２の処理でＮＯであると判定されて、処理はステップＳ１０４に進む。

ステップＳ１０４において、変化判定処理部６３は、「移動物体なし」の結果を出力し、処理はステップＳ１０５に進む。

ステップＳ１０５において、背景画像記憶部６２は、解析画像と差分処理部６１によって演算された差分から、背景画像を更新して記憶する。これにより、背景画像差分処理は終了し、処理は図１４のステップＳ８４に進む。

以上、図１５を参照して、図１４のステップＳ８３の処理の一部として、図９の画像解析装置４０の移動物体有無判定部４３−４により実行される背景画像差分処理について説明した。次に図１６を参照して、図１４のステップＳ８３の処理の一部として、図９の画像解析装置４０の移動物体有無判定部４３−５により実行される過去画像群差分処理について説明する。

[過去画像群差分処理]

図１６は、過去画像群差分処理の一例を説明するフローチャートである。

ステップＳ１２１において、差分処理部８１は、解析画像と過去画像群との各画素の輝度値の差分を演算する。すなわち、差分処理部８１は、判定手法選択部４２から供給された現在の解析画像のデータと、過去画像記憶部８２に記憶されている過去画像群のデータとに基づいて、指定領域を構成する各画素毎に、解析画像と過去画像群（すべての過去画像の各々）との輝度値の差分をそれぞれ演算する。

ステップＳ１２２において、変化判定処理部８３は、すべての過去画像との差分が閾値以上である画素数は、一定の基準以上かを判定する。

すべての過去画像との差分が閾値以上である画素数が一定の基準以上であると判定された場合、ステップＳ１２２の処理でＹＥＳであると判定されて、処理はステップＳ１２３に進む。

ステップＳ１２３において、変化判定処理部８３は、「移動物体あり」の結果を出力し、過去画像群差分処理は終了する。

これに対して、ステップＳ１２２において、すべての過去画像との差分が閾値以上である画素数が一定の基準未満であると判定された場合、ステップＳ１２２の処理でＮＯであると判定されて、処理はステップＳ１２４に進む。

ステップＳ１２４において、変化判定処理部８３は、「移動物体なし」の結果を出力し、過去画像群差分処理は終了する。

ステップＳ１２３またはステップＳ１２４の処理の結果が出力されると、処理は図１４のステップＳ８４に進む。

以上、図１６を参照して、図１４のステップＳ８３の処理の一部として、図９の画像解析装置４０の移動物体有無判定部４３−５により実行される過去画像群差分処理について説明した。

以上、移動物体の像の有無を判定する構成要素が５つである第２実施形態について説明した。なお、第２実施形態では、移動物体有無判定部４３−１乃至４３−５の中から、任意の数の任意の種類が判定手法選択部４２によって判定手法として選択されたが、特にこれに限定されない。例えば、判定手法選択部４２が選択する移動物体有無判定部４３の数と種類は、予めユーザによって判定手法選択部４２に設定されていてもよい。

第１及び第２実施形態の画像解析装置は、上述した監視システムに適用できることは勿論のこと、その他各種各様の分野に適用することが可能である。以下、図１７乃至図１９を参照して、第１及び第２実施形態の画像解析装置の適用の例を幾つか説明する。

[画像解析装置の適用の例１]
図１７は、第１実施形態または第２実施形態の画像解析装置を構成要素に含む監視システムの機能的構成例を示すブロック図である。

図１７の監視システム１０１は、撮像部１１１、撮像信号処理部１１２、撮像データ処理部１１３、上述した画像解析装置１または画像解析装置４０からなる画像解析部１１４、及び伝送部１１５から構成されている。

撮像部１１１は、主にCCD（Charge Coupled Device）、CMOS（Complementary Metal Oxide Semiconductor）等の撮像素子やレンズからなり、具体的には例えば監視カメラからなり、移動物体等を撮像し、その結果得られる撮像信号を出力する。

撮像信号処理部１１２は、撮像信号に対して、各種画像処理、例えば、適切な諧調に補正する処理、ノイズ除去処理、カラー化処理等を施す。その結果、撮像信号処理部１１２からは、デジタルの撮像信号、すなわち、撮像画像のデータが出力されて、撮像データ処理部１１３と画像解析部１１４とに供給される。

撮像データ処理部１１３は、撮像画像のデータをネットワークに流すための形態に変換する処理、例えば、撮像画像のデータの圧縮符号化処理を施す。

画像解析部１１４は、画像解析装置１または画像解析装置４０の説明として上述したように、撮像信号処理部１１２から出力される撮像画像のデータを解析画像のデータとして解析することによって、当該解析画像の指定領域内を移動する移動物体の像を検出する。画像解析部１１４は、移動物体の像を検出した場合には、「移動物体あり」を示す信号を出力する。

伝送部１１５は、撮像データ処理部１１３により符号化された画像データ及び画像解析部１１４の出力信号を多重化してネットワークに伝送する。画像解析部１１４の出力信号がネットワークを介して伝送された図示せぬ警報装置等は、「移動物体あり」を示す警報を発生させる。

[画像解析装置の適用の例２]
図１８は、第１実施形態または第２実施形態の画像解析装置を構成要素に含むシステムであって、監視カメラ以外の外部からの画像信号をネットワーク上のストリームに変更するシステムの機能的構成例を示すブロック図である。

図１８のシステム１３１は、画像入力部１４１、画像信号処理部１４２、画像データ処理部１４３、上述した画像解析装置１または画像解析装置４０からなる画像解析部１４４、及び伝送部１４５から構成されている。

画像入力部１４１は、監視カメラ以外の外部からの画像信号、例えばアナログカメラからの画像信号を入力する。

画像信号処理部１４２は、撮像信号処理部１１２と同様に、画像信号に対して、各種画像処理、例えば、適切な諧調に補正する処理、ノイズ除去処理、カラー化処理等を施す。その結果、画像信号処理部１４２からは、デジタルの画像信号、すなわち、画像のデータが出力されて、画像データ処理部１４３と画像解析部１４４とに供給される。

画像データ処理部１４３は、撮像データ処理部１１３と同様に、画像のデータをネットワークに流すための形態に変換する処理、例えば、画像のデータの圧縮符号化処理を施す。

画像解析部１４４は、画像解析装置１または画像解析装置４０の説明として上述したように、画像信号処理部１４２から出力される画像のデータを解析画像のデータとして解析することによって、当該解析画像の指定領域内を移動する移動物体の像を検出する。画像解析部１４４は、移動物体の像を検出した場合には、「移動物体あり」を示す信号を出力する。

伝送部１４５は、伝送部１１５と同様に、画像データ処理部１４３により符号化された画像データ及び画像解析部１４４の出力信号を多重化してネットワークに伝送する。画像解析部１４４の出力信号がネットワークを介して伝送された図示せぬ警報装置等は、「移動体あり」を示す警報を発生させる。

[画像解析装置の適用の例３]
図１９は、第１実施形態または第２実施形態の画像解析装置を構成要素に含む他のシステムの機能的構成例を示すブロック図である。

図１９のシステム１６１は、アナログ信号とデータ（デジタルの信号）との形態の違いによらず、処理した信号を保存するレコーダや、処理した信号に基づいてアラームを出力する専用装置やパーソナルコンピュータを含むシステムである。

図１９のシステム１６１は、画像入力部１７１、画像信号処理部１７２、上述した画像解析装置１または画像解析装置４０からなる画像解析部１７３、及び伝送部１７４から構成されている。

画像入力部１７１は、画像入力部１４１と同様に、監視カメラ以外の外部からの画像信号を入力する。

画像信号処理部１７２は、撮像信号処理部１１２や画像信号処理部１４２と同様に、画像信号に対して、各種画像処理、例えば、適切な諧調に補正する処理、ノイズ除去処理、カラー化処理等を施す。その結果、画像信号処理部１７２からは、デジタルの画像信号、すなわち、画像のデータが出力されて、画像解析部１７３に供給される。

画像解析部１７３は、画像解析装置１または画像解析装置４０の説明として上述したように、画像信号処理部１７２から出力される画像のデータを解析画像のデータとして解析することによって、当該解析画像の指定領域内を移動する移動物体の像を検出する。画像解析部１７３は、移動物体の像を検出した場合には、「移動物体あり」を示す信号を出力する。

伝送部１７４は、画像解析部１７３の出力信号をネットワークに伝送する。画像解析部１７３の出力信号がネットワークを介して伝送された図示せぬ警報装置等は、「移動物体あり」を示す警報を発生させる。

このような各種各様の分野に適用可能な本発明の実施形態は、上述した実施形態に特に限定されず、様々な実施の形態を取ることが可能である。

[本発明のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。

この場合、上述した移動物体検出装置の少なくとも一部として、例えば、図２０に示されるパーソナルコンピュータを採用してもよい。

図２０において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラムに従って各種の処理を実行する。または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、及びRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。

入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７が接続されている。また、ハードディスクなどより構成される記憶部２０８、及び、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着される。そして、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図２０に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明は、監視カメラ、パーソナルコンピュータ、アラームを出力する専用装置等、画像データを解析する解析部を備えた装置であって、移動物体の像を検出可能な装置に適用することができる。

１ 画像解析装置， １１ 画像入力処理部， １２ ヒストグラム生成処理部， １３ 輝度値演算処理部， １４ ヒストグラム相関判定処理部， １５ 伸縮ヒストグラム相関判定処理部， １６ 正規化相互相関判定処理部， １７ 結果統合部， １８ 結果出力部， ４０ 画像解析装置， ４１ 画像入力処理部， ４２ 判定手法選択部， ４３ 移動物体有無判定部， ４４ 結果統合部， ４５ 結果出力部， ６１ 差分処理部， ６２ 背景画像記憶部， ６３ 変化判定処理部， ８１ 差分処理部， ８２ 過去画像記憶部， ８３ 変化判定処理部， １０１ 監視システム， １１１ 撮像部， １１２ 撮像信号処理部， １１３ 撮像データ処理部， １１４ 画像解析部， １１５ 伝送部， １３１ システム， １４１ 画像入力部， １４２ 画像信号処理部， １４３ 画像データ処理部， １４４ 画像解析部， １４５ 伝送部， １６１ システム， １７１ 画像入力部， １７２ 画像信号処理部， １７３ 画像解析部， １７４ 伝送部

Claims (7)

1. 解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行する画像入力処理手段と、
   前記画像入力処理手段により設定された前記指定領域を移動する移動物体の像の有無を判定する判定手法として相異なるものをそれぞれ適用し、適用した前記判定手法に従って前記移動物体の像の有無を判定する複数の判定手段と、
   前記複数の判定手段の判定結果のうち任意の数の任意の種類を統合することによって、前記移動物体の像を検出する統合手段と、
   を備える移動物体検出装置。
2. 前記判定手段は、
   現在と過去の各々の前記解析画像内の前記指定領域の輝度値の分布を示すヒストグラムの相関を用いて前記移動物体の像の有無を判定するヒストグラム相関手法を、前記判定手法として適用したヒストグラム相関判定手段と、
   現在と過去の各々の前記解析画像内の前記指定領域の輝度値の分布を示すヒストグラムのうち、一方のヒストグラムと、輝度値の軸の方向において平均値を前記一方のヒストグラムとあわせるように伸縮させた他方のヒストグラムとの相関を用いて前記移動物体の像の有無を判定する伸縮ヒストグラム相関手法を、前記判定手法として適用した伸縮ヒストグラム相関判定手段と、
   現在と過去の各々の前記解析画像内の前記指定領域を構成する各画素の輝度値及び平均輝度値に基づく正規化相互相関を用いて前記移動物体の像の有無を判定する正規化相互相関手法を、前記判定手法として適用した正規化相互相関判定手段と
   を備え、
   前記統合手段は、前記ヒストグラム相関判定手段、前記伸縮ヒストグラム相関判定手段、及び、前記正規化相互相関判定手段の判定結果のうち、２つ以上を統合することによって、前記移動物体の像を検出する
   請求項１に記載の移動物体検出装置。
3. 前記統合手段は、前記ヒストグラム相関判定手段、前記伸縮ヒストグラム相関判定手段、及び、前記正規化相互相関判定手段の全てによって前記移動物体の像が有ると判定された場合に、前記移動物体の像を検出する
   請求項２に記載の移動物体検出装置。
4. 前記判定手段は、さらに、
   前記解析画像に対する背景画像の差分として、前記指定領域内の輝度値の差分を用いて前記移動物体の像の有無を判定する背景画像差分手法を、前記判定手法として適用した背景画像差分判定手段
   を有する請求項３に記載の移動物体検出装置。
5. 前記判定手段は、さらに、
   現在の前記解析画像に対する複数の過去の前記解析画像の各々との差分として、前記指定領域内の輝度値の差分を用いて前記移動物体の像の有無を判定する過去画像群差分手法を、前記判定手法として適用した過去画像群差分判定手段
   を有する請求項４に記載の移動物体検出装置。
6. 解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行する画像入力処理ステップと、
   前記画像入力処理ステップの処理により設定された前記指定領域を移動する移動物体の像の有無を判定する判定手法として相異なるものをそれぞれ適用し、適用した前記判定手法に従って前記移動物体の像の有無を判定する複数の判定ステップと、
   前記複数の判定ステップの処理による判定結果のうち任意の数の任意の種類を統合することによって、前記移動物体の像を検出する統合ステップと
   を含む動体検出方法。
7. 解析画像のデータを入力し、前記解析画像内で指定領域を設定する処理を実行し、
   設定された前記指定領域を移動する移動物体の像の有無を判定する判定手法として相異なるものをそれぞれ適用し、適用した前記判定手法に従って前記移動物体の像の有無を判定し、
   判定結果のうち任意の数の任意の種類を統合することによって、前記移動物体の像を検出する
   制御処理をコンピュータに実行させるプログラム。

Images