JP2000023141A - 移動物体監視装置 - Google Patents

Abstract

(57)【要約】 【課題】監視対象の移動物体と紛らわしい外乱が発生
し、照明変化が激しい環境下でも極端に動きの少ない移
動物体までも、短時間かつ高精度に監視対象を識別でき
る安価な移動物体監視装置を提供することにある。 【解決手段】監視装置本体２０により入力された３フレ
ームの画像をそれぞれをＡ／Ｄ変換し、背景画像作成部
１０００が、時刻ｔ_iの入力画像と時刻ｔ_i-1の入力画像
と時刻ｔ_i-2 の入力画像から短期背景画像及び長期背景
画像を作成する。入力画像と短期背景画像により変化領
域を抽出し、入力画像と長期背景画像により正規化関数
をとることにより高精度に関し対象を識別できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動する物体を監
視する移動物体監視装置に関し、特に動きの少ない移動
物体を明るさ変化が大きく急変する環境でも飛来物体や
照度変動等の外乱から識別できる移動物体監視装置に関
する。

【０００２】

【従来の技術】ＩＴＶカメラ等の撮像手段により監視対
象エリアを撮像して、撮像した画像等を基に移動物体を
追跡して監視するシステムが知られている。まず、移動
物体検知についての第１の従来技術としては、照明変動
が激しい環境での移動物体の検出は、入力画像の２フレ
ームを用いたフレーム間差分・２値化により変化領域を
抽出して、この抽出領域の特徴から対象とする移動物体
を検知する方法がある。また、第２の従来技術として、
入力画像から背景画像を自動作成して、背景画像と入力
画像を用いた背景差分・２値化により変化領域を抽出し
て、この抽出領域の特徴から対象とする移動物体を検知
する方法も知られている。

【０００３】

【発明が解決しようとする課題】上述した第１の従来技
術による方法は、移動速度が比較的早い物体の検知は可
能であるが、フレーム間差分では移動速度が低速な物体
は変化領域が僅かしか抽出できないため、ノイズと判定
され検出できないことが多いという問題がある。また、
第２の従来技術による方法は、照明変動が激しい環境で
は、背景画像の作成は困難であることが多く、作成する
としても監視対象時刻に近いフレームを用いて背景画像
を作成している。従って、移動速度が低速な物体は背景
差分でも変化領域が僅かしか抽出できないため、ノイズ
と判定され検出できないことが多いという問題がある。

【０００４】本発明の目的は、上記した従来技術の問題
点を克服し、監視対象の移動物体と紛らわしい外乱が発
生したり、照明変化が激しい環境下でも極端に動きの少
ない移動物体までも、短時間かつ高精度に監視対象を識
別できる移動物体監視装置を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成する本発
明の方法は、監視エリアから取り込んだ３フレームを用
いて画像間の差分の輝度変化の大きい領域と輝度変化の
小さい領域を抽出して、輝度変化の大きい領域は直前の
背景画像の比率を多くして入力画像の比率を少なくし、
輝度変化の小さい領域は直前の背景画像の比率と入力画
像の比率を同一にして作成した一方の背景画像（短期背
景）と入力画像を差分・２値化して変化領域を抽出し、
この変化領域について、入力画像と他の一方の背景画像
（長期背景）間で正規化相関による濃淡パターンマッチ
ングを行い、相関値による類似度が所定値より高い変化
領域を外乱として消去し、類似度の低い変化領域を監視
対象の移動物体として検出することを特徴とする。

【０００６】また、濃淡パターンマッチングに用いる長
期背景は、短期背景の複数フレームを加算平均して作成
したり、または、短期背景と同様にして抽出した輝度変
化の大きい領域と輝度変化の小さい領域に対し、輝度変
化の大きい領域は直前の背景画像の比率を１００％にし
て入力画像の比率を０％にし、輝度変化の小さい領域は
直前の背景画像の領域を比率と入力画像の比率を同一に
して作成することを特徴とする。

【０００７】また、短期背景と入力画像を差分・２値画
像上で近接する前記変化領域同士を外接矩形等によって
一まとめにする統合領域を生成し、この統合領域毎に前
記濃淡パターンマッチングを行うことを特徴とする。

【０００８】また、前記長期背景と入力画像において、
一方の画像で前記変化領域または前記統合領域による追
跡元領域をテンプレートパターンとし、他方の画像で前
記追跡元領域に対応する領域とほぼ同一領域を探索領域
とし、前記テンプレートパターンで正規化相関による濃
淡パターンマッチングを行い、相関値による類似度が所
定値より高い変化領域を外乱として消去し、類似度の低
い変化領域を監視対象の移動物体候補として抽出し、該
移動物体候補を時系列で追跡して、所定時間に所定の動
き量があれば移動物体として検出することを特徴とす
る。

【０００９】上記目的を達成する本発明の装置は、設備
に設置されたＩＴＶカメラなどの撮像手段と、その画像
を処理して監視領域の移動物体を検出し、検出した移動
物体画像を格納して必要に応じた要求があった場合や検
知時に報知する表示制御を行う監視装置本体と、検出し
た移動物体を表示する表示装置などのモニタを備える移
動物体の監視装置において、入力フレーム取り込みＡ／
Ｄ変換する入力手段，短期背景と長期背景を作成する背
景画像作成手段，短期背景と入力画像間の差分を行う差
分画像作成手段，差分画像を２値化して変化領域を抽出
する変化領域抽出手段，近接する抽出領域を一つの統合
領域にまとめる抽出領域統合手段，統合領域毎に長期背
景と入力画像間の正規化相関処理による濃淡パターンマ
ッチングを行って類似度が所定値より低い変化領域を移
動物体候補と抽出する移動物体候補抽出手段，抽出した
移動物体候補が所定時間中に所定の移動量があれば移動
物体として検知する移動物体追跡手段，移動物体を検知
した場合その画像を格納して必要に応じて要求があった
場合や検知時に報知する表示制御手段を、前記監視装置
本体に設けたことを特徴とする。

【００１０】また、上記目的を達成する本発明の装置
は、設備に設置されたＩＴＶカメラなどにより撮像し、
その画像を処理して監視領域の移動物体を検出して検出
した移動物体画像を格納して必要に応じて要求があった
場合や検知時に報知する表示制御を行う監視装置本体
と、検出した移動物体を表示する表示装置などのモニタ
を備える移動物体の監視装置において、入力フレームを
取り込んでＡ／Ｄ変換を行う手段，短期背景と長期背景
を作成する背景画像作成手段，短期背景と入力画像間の
差分を行う差分画像作成手段，差分画像を２値化して変
化領域を抽出する変化領域抽出手段，近接する抽出領域
を一つの統合領域にまとめる抽出領域統合手段，統合領
域毎に長期背景と入力画像間の正規化相関処理による濃
淡パターンマッチングを行って類似度が所定値より低い
変化領域を移動物体候補と抽出する移動物体候補抽出手
段，抽出した移動物体候補が所定時間中に所定の移動量
があれば移動物体として検知する移動物体追跡手段，移
動物体を検知した場合その画像を格納して必要に応じて
要求があった場合や検知時に報知する表示制御手段を、
前記監視装置本体に設けたことを特徴とする。

【００１１】

【発明の実施の形態】以下、本発明の一実施例を図面を
用いて説明する。

【００１２】図１は、本発明の一実施例を示す移動物体
監視装置のブロック図である。本実施例の監視装置は、
監視装置本体１０，表示装置９５００から構成される。
または、監視装置本体２０，ＩＴＶカメラ１００，表示
装置９５００で構成してもよい。監視装置本体２０は、
パーソナルコンピュータに画像処理ボードを装着して実
現してもよい。監視装置本体１０は、カメラと画像処理
ボードとパーソナルコンピュータを一体としたインテリ
ジェントカメラとして実現してもよい。

【００１３】本実施例では、まず、ＩＴＶカメラ１００
が監視対象を撮影すると、画像入力処理部５００は、取
り込んだフレームの画像信号のＡ／Ｄ変換やＣＣＤノイ
ズ低減処理等を行う。背景画像作成部１０００は、取り
込んだ３フレームを用いて、輝度変化の大小により変化
のある領域と変化のない領域を抽出して短期背景画像と
長期背景画像を作成する。差分画像作成部３０００は、
入力画像と短期背景との画素毎の差分処理を行う。変化
領域抽出部４０００は、差分画像を用いて濃度頻度分布
を算出し、所定のしきい値で２値化して変化領域を抽出
する。抽出領域統合部５０００は、抽出した領域に近隣
を集合した統合領域を生成する。移動物体候補抽出部６
０００は、画像入力処理部５００の現入力画像と長期背
景画像間において、同一統合領域同士による正規化相関
による濃淡パターンマッチングを行い、正規化相関の大
小によって類似度を判定し、類似度の高い領域は外乱と
みて除外し、類似度の低い領域を監視対象の移動物体候
補とする。

【００１４】移動物体追跡部８０００は、移動物体候補
に対し、時系列的に近い位置の物体を同一物体として対
応させて所定時間の間で所定以上動いた物体を移動物体
として検知する。

【００１５】表示制御部９０００は、検知した物体の画
像データを格納し、その移動軌跡等の移動情報や検知日
や時刻等の情報をリアルタイムや、要求が合った都度、
表示装置９５００に表示する。

【００１６】本発明の処理概要を図２を用いて説明す
る。まず、ＩＴＶカメラ１００で監視対象シーンを撮影
している間、時刻ｔ₁〜ｔ_iにおいて、前半は明るさ変動
が少ないので輝度変化が小さく、後半は天候変動等によ
り明るさ変動が激しいので輝度変化が大きいものとす
る。このような環境は、昼夜の自然環境下ではよく発生
する。ここで、時刻ｔ_i-3〜時刻ｔ_iの間に、一方の人物
が極く低速に移動５１０し、他方の人物が通常に移動５
２０に移動した場合、極く低速の移動５１０は、移動物
体が重なるため変化領域が少なく、通常の移動５２０
は、移動物体が重なりにくいため変化領域が多い。い
ま、背景画像作成部１０００が、時刻ｔ_i の入力画像５
７０と時刻ｔ_i-1の入力画像５６９と時刻ｔ_i-2の入力画
像５６８から短期背景画像及び長期背景画像を作成す
る。短期背景画像は現時刻ｔ_i と時間的に近い画像であ
り、長期背景画像は、現時刻ｔ_i と時間的に古い画像で
ある。差分画像作成部３０００が、短期背景画像と現入
力画像５７０の背景差分を行う。変化領域抽出部４００
０は、差分画像の２値化を行い、変化領域を抽出する。
抽出領域統合部５０００が、変化領域の近接領域を統合
して外接矩形領域を作成する。移動物体候補抽出部６０
００が、現入力画像５７０又は長期背景画像の一方をテ
ンプレートパターンとして登録し、他の一方の画像に対
し、テンプレートパターン領域とほぼ同一領域を探索領
域とし、前記テンプレートパターンで探索領域を濃淡パ
ターンマッチングを行い、相関値による類似度が所定値
より高い変化領域を外乱として消去し、類似度の低い変
化領域を監視対象の移動物体候補として抽出する。時間
的に離れた長期背景と現入力画像５７０との正規化相関
を行うため、通常速度の移動物体及び極く低速の移動の
両方とも、現入力画像５７０には存在するが、長期背景
画像からは消失している。これより、極く低速移動の物
体までも検知可能になる。このように、短期背景画像と
現入力画像間で差分を行って変化領域を抽出するので照
明変動に強く、抽出した変化領域に対し、長期背景画像
と現入力画像とで正規化相関を行うので、外乱を除去で
きる。また、移動物体追跡部８０００が移動状態を追跡
して、滞留物体を除外するので、検知精度は一層向上す
る。

【００１７】図３は、本発明における画像入力処理部５
００の内部の一実施例を示すブロック図である。Ａ／Ｄ
変換部５０１が、ＩＴＶカメラ１００で撮影した画像を
取り込んでＡ／Ｄ変換して入力画像５０２Ｇ_iを作成す
ると、入力画像Ｇ_iのノイズ除去部５０３がノイズに対
応して平滑化処理やメディアンフィルタ処理等を行っ
て、入力画像５０２のＣＣＤノイズ等を除去した画像Ｆ
_i を作成する。

【００１８】図４は、本発明における背景画像作成部１
０００における背景画像作成の原理を示す説明図であ
る。まず、初期の短期背景Ｓ₁ 及び初期の長期背景Ｌ₁
は、入力画像時刻５６１ｔ₁ をそのまま用いる。即ち、
サンプリング開始時の入力画像である。

【００１９】いま、入力画像５６９と入力画像５７０付
近で照明の大きな変動があり、入力画像５６９と入力画
像５７０で差分・２値化を行った結果、画面の半分以上
で変化領域が抽出された場合急変時６５０として、短期
背景画像６３０Ｓ_i 及び長期背景画像６５０Ｌ_i を入力
画像５７０で置き換える。

【００２０】急変時６５０以外を通常時６１０として、
現時刻ｔ_i の入力画像５７０と直前時刻ｔ_i-1の入力画
像５６９と前時刻ｔ_i-2の入力画像５６８の３フレーム
を用い、入力画像５７０と入力画像５６９で差分・２値
化を行い、輝度変化が大きい領域を抽出する。同様に、
入力画像５６９と入力画像５６８で差分・２値化を行
い、輝度変化が大きい領域を抽出する。これらの輝度変
化が大きい領域の共通領域を抽出して共通の変化領域６
０３とし、共通変化領域６０３以外の領域を、変化しな
い領域６０４とする。短期背景画像６３０Ｓ_i は、変化
領域６０３に対して直前短期背景６２０Ｓ_i-1 の輝度比
率を多くし、入力画像５７０の輝度比率を少なくして作
成し、変化しない領域６０４に対して直前短期背景６２
０Ｓ_i-1 の輝度比率と入力画像５７０の輝度比率をほぼ
同程度で加算して作成する。長期背景画像６５０Ｌ
_iは、短期背景画像６３０Ｓ_iと前短期背景画像６２０Ｓ
_i-1 を複数フレーム加算平均して作成したり、変化領域
６０３に対して直前長期背景画像６４０Ｌ_i-1 の輝度比
率を大部分にし、入力画像５７０の輝度比率をほとんど
なくして作成し、変化しない領域６０４に対して直前長
期背景画像６４０Ｌ_i-1 の輝度比率と入力画像５７０の
輝度比率をほぼ同程度で加算して作成してもよい。図５
は、本発明における背景画像作成部１０００の内部の一
実施例を示すブロック図である。背景画像作成判定部５
５０は、輝度変化が画面のどの程度の面積を占めるかに
より、急変処理を行うか通常処理を行うか判定する。例
えば、輝度変化が大きい領域が画面の半分以上の場合を
急変時とし、それ以外を通常時とする。この急変時、通
常時の判定の仕方は、この場合は輝度変化が画面面積の
半分以上としたが、３／４以上を急変時と設定したり、
１／４以上を急変時としたりと、任意に設定できるもの
である。短期背景画像置換部７００が、短期背景画像６
３０を入力画像で置き換える。また、長期背景画像置換
部８００が、長期背景画像６５０を入力画像で置き換え
る。通常時には、短期背景画像生成部７６０が、短期背
景画像６３０を変化領域６０３に対して直前短期背景画
像６２０の輝度比率を多くし、入力画像５７０の輝度比
率を少なくして作成し、変化しない領域６０４に対して
直前短期背景画像６２０の輝度比率と入力画像５７０の
輝度比率をほぼ同程度で加算して生成する。また、長期
背景画像生成部７８０は、短期背景画像６３０と前短期
背景画像６２０を複数フレーム加算平均して作成した
り、変化領域６０３に対して直前長期背景６４０の輝度
比率を大部分にし、入力画像５７０の輝度比率をほとん
どなくして作成し、変化しない領域６０４に対して直前
長期背景画像６４０の輝度比率と入力画像５７０の輝度
比率をほぼ同程度で加算して生成する。

【００２１】図６は、本発明における背景画像作成判定
部５５０の内部の一実施例を示すブロック図である。入
力画像５７０Ｆ_iと直前入力画像５６９Ｆ_i-1の２フレー
ムを用いて、画素間の差分を行い差分画像５５１を作成
する。変化領域作成部５５２は、差分画像５５１を所定
のしきい値で２値化して抽出し変化領域を作成する。こ
のときの２値化しきい値は、ＣＣＤノイズの最大に若干
大きくした程度とし、輝度差が５〜８階調程度以上を２
値物体として抽出する。面積判定部５５３は、２値物体
として抽出した面積（画素数）及び２値物体の外接矩形
面積を用いて判定する。いま、外接矩形が大きくかつ２
値物体の面積（画素数）が多い場合を急変時とし、急変
時以外を通常時として判定する。

【００２２】図７は、本発明における短期背景画像生成
部７６０の内部の一実施例を示すブロック図である。入
力画像Ｆ_iと入力画像Ｆ_i-1の差分を行い、差分画像７６
１を算出する。入力画像Ｆ_i-1と入力画像Ｆ_i-2の差分を
行い、差分画像７６２を算出する。現変化領域抽出部７
６３は、差分画像７６１を所定のしきい値で２値化して
現変化領域を抽出する。前変化領域抽出部７６４は、差
分画像７６２を所定のしきい値で２値化して前変化領域
を抽出する。このときの２値化しきい値は、ＣＣＤノイ
ズの最大に若干大きくした程度とし、輝度差が５〜８階
調程度以上を２値物体として抽出する。変化領域抽出部
７６５は、現変化領域抽出部７６３で抽出した領域と前
変化領域抽出部７６４で抽出した領域の共通部分を変化
領域として抽出する。不変化領域抽出部７６６は、変化
領域抽出部７６５で抽出した領域以外を抽出して、変化
の少ない領域を抽出する。

【００２３】短期背景変化領域荷重係数設定部７６７
は、変化領域抽出部７６５の抽出領域に対して直前短期
背景画像６２０の輝度比率を多く（７〜８割程度を目安
に、監視対象画質の状態により任意に設定してよい）
し、入力画像５７０の輝度比率を少なくして設定する。
短期背景不変化領域荷重係数設定部７６８は、不変化領
域抽出部７６６の抽出領域に対して直前短期背景画像６
２０の輝度比率と入力画像５７０の輝度比率をほぼ同程
度として設定する。短期背景算出部７６９は、短期背景
変化領域荷重係数設定部７６７を設定した係数と短期背
景不変化領域荷重係数設定部７６８で設定した係数によ
り、入力画像５７０と直前短期背景画像６２０Ｓ_i-1の
輝度値を加重平均した画像を現短期背景画像Ｓ_iとして
生成する。図８は、本発明における長期背景画像生成部
７８０の内部の一実施例を示すブロック図である。入力
画像５７０Ｆ_iと入力画像５６９Ｆ_i-1の差分を行い、差
分画像７８１を算出する。入力画像５６９Ｆ_i-1と入力
画像５６８Ｆ_i-2の差分を行い、差分画像７８２を算出
する。現変化領域抽出部７８３は、差分画像７８１を所
定のしきい値で２値化して現変化領域を抽出する。前変
化領域抽出部７８４は、差分画像７８２を所定のしきい
値で２値化して前変化領域を抽出する。このときの２値
化しきい値は、ＣＣＤノイズの最大に若干大きくした程
度とし、輝度差が５〜８階調程度以上を２値物体として
抽出する。変化領域抽出部７８５は、現変化領域抽出部
７８３で抽出した領域と前変化領域抽出部７８４で抽出
した領域の共通部分を変化領域として抽出する。不変化
領域抽出部７８６は、変化領域抽出部７８５で抽出した
領域以外を抽出して、変化の少ない領域を抽出する。

【００２４】長期背景変化領域荷重係数設定部７８７
は、変化領域抽出部７８５の抽出領域に対して直前長期
背景画像６２０の輝度比率を大部分（１０割程度を目安
に、監視画像により任意に設定してよい）にし、入力画
像５７０の輝度比率をほとんど０にして設定する。長期
背景不変化領域荷重係数設定部７８８は、不変化領域抽
出部７８６の抽出領域に対して直前長期背景画像６４０
の輝度比率と入力画像５７０の輝度比率をほぼ同程度と
して設定する。長期背景算出部７８９は、長期背景変化
領域荷重係数設定部７８７を設定した係数と長期背景不
変化領域荷重係数設定部７８８で設定した係数により、
入力画像５７０と直前長期背景画像６４０Ｌ_i-1の輝度
値を加重平均した画像を現長期背景画像Ｌ_iとして生成
する。図９は、本発明における長期背景画像生成部７８
０の内部の他の実施例を示すブロック図である。現短期
背景画像６２１Ｓ_iと前短期背景画像６２０Ｓ_i-1を累積
処理部６２２で複数回加算平均を行う。累積回数判定部
６２３が、加算平均の累積数が所定回数以上か否か判定
する。所定回数を満足した場合、長期背景画像算出部６
２４は、長期背景画像として算出する。累積回数は、移
動量と移動時間に依存し、極く低速内な移動物体の検出
で、２０回程度でよい。

【００２５】図１０は、本発明における背景画像作成部
１０００で作成する短期背景画像及び長期背景画像を作
成する一手順を示す説明図である。

【００２６】まず、ステップ７９９で、サンプリング開
始時の入力画像を初期の短期背景画像Ｓ₁ 及び長期背景
画像Ｌ₁ とする。ステップ８００は、入力画像Ｆ_i と直
前入力画像Ｆ_i-1 との差分を行い差分画像を算出する。
ステップ８０１は、差分画像を所定値のしきい値で２値
化し、２値画像を作成する。ステップ８０２は、２値画
像の変化面積が大きいか否か判定する。照明変動が激し
かったり、大きな外乱が発生したりすると変化が大きく
なる。変化が多い場合、ステップ８０３で、短期背景画
像Ｓ_iを現入力画像に置換え、ステップ８０４で、長期
背景画像Ｌ_iを現入力画像に置換える。そうでない場
合、即ち、変化が少ない場合、ステップ805は、直前入
力画像Ｆ_i-1と前入力画像Ｆ_i-2との差分を行い差分画像
を算出する。ステップ８０６は、差分画像を所定値のし
きい値で２値化し、２値画像を作成する。ステップ８０
７は、ステップ８０１で算出した差分画像及びステップ
８０６で算出した２値画像の共通領域を算出して、共通
変化領域とする。ステップ808は、共通変化領域を反転
して変化の少ない領域を抽出し、不変化領域とする。ス
テップ８０９は、変化領域に関し、前短期背景画像Ｓ
_i-1 の輝度値比率を約７〜８割程度（監視対象画質の状
態により任意に設定してよい）で、入力画像Ｆ_i の輝度
値比率を約２〜３割で加重平均し、不変化領域に関し前
短期背景画像Ｓ_i-1の輝度値比率を約５０％で、入力画
像Ｆ_i の輝度値比率を約５０％で加重平均して、この画
像を現短期背景画像Ｓ_iとする。

【００２７】これにより、現入力画像と近い過去の短期
背景画像が適度に混合されるので、移動物体や照明変動
の外乱が緩和されたやや正常状態の背景画像の作成が可
能になる。いま、ステップ８０９の変化領域に関し、前
短期背景画像Ｓ_i-1 の輝度値比率を小さく（１割以下）
し、入力画像Ｆ_i の輝度値比率を大きく（９割以上）と
すると、現入力画像の比率が大部分になるため、フレー
ム間差分に近い短期背景との差分が可能になる。いずれ
にしても、照度変動状態に応じて、比率を適切に変更す
ればよい。

【００２８】ステップ８１０は、変化領域に関し、前長
期背景画像Ｌ_i-1 の輝度値比率を約１００％程度で、入
力画像Ｆ_i の輝度値比率を約０％程度で加重平均する。
不変化領域に関し、前長期背景画像Ｌ_i-1 の輝度値比率
を約５０％程度で、入力画像Ｆ_iの輝度値比率を約５０
％程度で加重平均する。この画像を現長期背景画像Ｌ_ｉ
とする。

【００２９】図１１は、本発明における長期背景画像生
成部７８０で長期背景画像を作成する手順を示す説明図
である。ステップ８２１は、サンプリング開始時に取り
込んだ入力画像Ｆ_１ を初期の短期背景画像Ｓ₁ 及び初
期の長期背景画像Ｌ₁ とする。ステップ８２２は、現短
期背景画像Ｓ_iと前短期背景画像Ｓ_i-1を加算平均して累
積画像を作成する。ステップ８２３は、加算回数が、所
定回数以上か否か判定して、所定回数未満の場合は、ス
テップ８２２へ戻る。所定回数以上の場合は、ステップ
８２４で、現長期背景画像Ｌ_i を累積した短期背景画像
で置換える。ここで、累積回数は、監視対象物体の移動
速度に依存し、極く低速な場合も考慮して約２０回程度
を設定してもよい。

【００３０】図１２は、本発明における差分画像作成部
３０００の内部の一実施例を示すブロック図である。短
期背景との差分画像処理部３１００は、照明変化が激し
い場合でも精度よく移動物体のみを検出するため、入力
画像Ｆ_iと短期背景画像Ｓ_iの画素毎の差分を行って差分
画像を作成する。

【００３１】図１３は、本発明における変化領域抽出部
４０００の内部の一実施例を示すブロック図である。輝
度頻度分布算出部４１００は、差分画像作成部３０００
で入力画像Ｆ_iと短期背景画像Ｓ_iの画像素毎の差分を行
って作成した差分画像の輝度頻度分布を算出する。輝度
頻度分布平滑化部４２００は、輝度頻度分布Ｈ_j(ｊ＝
０，１，……ｎ）を（数１）で平滑化してノイズ除去を
行う。ｎは輝度の最大値である。

【００３２】２値化しきい値算出部４５００は、

【００３３】

【数１】 Ｈ_j＝(Ｈ_j-1＋２Ｈ_j＋Ｈ_j+1)／４−１、但し、ｊ＝１，……，ｎ−１ Ｈ₀＝(２Ｈ₀＋Ｈ₁)／３−１ Ｈ_n＝(２Ｈ_n＋Ｈ_n-1)／３−１ …（数１） で平滑化した輝度頻度分布から差分画像作成部３０００
で算出した差分画像の２値化しきい値を算出する。２値
画像作成部４６００は、２値化しきい値算出部４５００
で算出したしきい値で２値化処理して２値画像を作成す
る。微小面積除去部４８００は、検知対象に不適切な微
小面積除外のフィルタリングや膨張・収縮等を行ってノ
イズを除外して変化領域の２値画像を作成する。例え
ば、ＣＣＤノイズを微小面積として除外する場合、２５
６×２５６画素ならば、約１０〜１５画素程度である。

【００３４】図１４は、本発明における２値化しきい値
算出部４５００で、２値化のしきい値を算出するための
一実施例を示す説明図である。２値化しきい値算出部45
00は、（数１）で平滑化した輝度頻度分布から求めた最
大輝度値max４５１０ と下限値thmin４５４０から、２
値化のしきい値（th）を自動算出する。

【００３５】まず、移動物体等が存在して変化部分の領
域が多い場合、平滑化した輝度頻度分布は、図１４(ａ)
に示すようになる。最大輝度max４５１０と下限値thmin
4540の中央値４５２０を算出する。算出した中央値４５
２０が、上限値４５３０より大きい場合、２値化のしき
い値thを上限値４５３０とし、上限値４５３０未満の場
合、２値化のしきい値thを中央値４５２０とする。一
方、変化部分の領域が少ない場合、即ち、変化部分の輝
度の度数が少ない場合、図１４（ｂ）に示すような輝度
頻度分布となる。この場合の２値化しきい値th４５７０
も、図１４（ａ）と同様に算出する。即ち、最大輝度ma
x４５５０ と下限値４５４０の中央値4570を算出して、
中央値４５７０が上限値４５３０より大きい場合、２値
化のしきい値thを上限値４５３０とし、上限値４５３０
未満の場合、２値化のしきい値thを中央値４５７０とす
る。また、図１４(ａ)に示す場合、画像処理におけるモ
ード法による２値化しきい値の決定方法で行ってもよ
い。ここで、下限値thmin4540は、監視対象画像の正常
画像から、予め算出した正常状態での白色ノイズの最大
値の値とする。又は、監視対象画像の正常状態における
ノイズの最大輝度を示す値ならば、何でもよい。同様
に、上限値４５３０は、監視対象画像の正常画像から、
予め算出した正常状態での白色ノイズの最大値の値に所
定値を加算した値とする。又は、監視対象画像の正常状
態におけるノイズの最大輝度を示す値に所定値を加算し
た値ならば、何でもよい。例えば、ＣＣＤカメラを自動
モードにして、屋内外の物体が目視で確認できる程度の
明るさに撮影した画像において、上限値４５３０は約１
４〜２５階調程度で、下限値thmin４５４０ は約５〜１
０階調程度である。

【００３６】変化領域抽出部４０００で抽出した変化領
域の２値画像は抽出領域が分離している場合が多いの
で、これらの分離領域を統合して近い位置の２値画像を
一つの物体として統合する。これにより、一つのシーン
に複数の移動物体が同時に存在しても、複数物体を別々
に統合すれば各物体ごとに識別が可能であり、識別精度
が向上する。ここで、監視場所が暗く移動物体が存在し
ても、差分画像作成部３０００に差分画像として変化領
域を抽出できないＩＴＶカメラを用いた場合、変化領域
を差分画像で抽出できる明るさに照明等を点灯させても
よい。

【００３７】図１５は、本発明における抽出領域統合部
５０００の内部の一実施例を示すブロック図である。ラ
ベル画像作成部５０１０は、変化領域抽出部４０００で
作成した２値画像をラベル付けしてラベル画像を作成す
る。ラベル間距離算出部5020は、ラベル毎の重心（中
心）を求め、ラベル毎の重心間の距離を算出する。ラベ
ル統合判定部５０３０は、重心間の距離が所定距離以内
のラベルか否か判定し、所定距離以内の複数ラベルを同
一物体として統合の対象とする。統合サイズ算出部５０
４０は、統合対象の複数ラベルの外接矩形の大きさを算
出する。統合サイズ判定部５０５０は、統合対象の複数
ラベルの外接矩形の大きさが、所定サイズ以上か否か判
定する。ラベル統合部５０６０は、統合サイズ判定部５
０５０が、所定サイズ以内と判定した複数ラベル間を一
まとまりとして同一のラベル番号をつける。

【００３８】図１６は、本発明における抽出領域統合部
５０００の抽出領域の統合を行う一手順を示す説明図で
ある。ステップ５１１０は、２値画像のラベリングを行
い、１〜Ｌ_n までのラベルをつけると、Ｌ_n が総ラベル
数となる。総ラベル数Ｌ_n を繰り返すため、ステップ５
１２０でラベル番号を(ｉ)を初期化する。次に、ステッ
プ５１３０で、ラベル番号を一つ大きく(ｉを増加)し、
ステップ５１４０で、全てのラベルが終了したか否かチ
ェックする。終了しない場合、ｉ番目のラベルに対し、
ステップ５１５０以降の処理を行う。ステップ５１５０
で、ｉ番目のラベルに対し、重心（中心）座標を算出す
る。ステップ５１６０でｉ番目のラベルとｉ＋１番目〜
Ｌ_n 番目のラベル間中心のＸ方向とＹ方向の距離が許容
範囲か否かチェックする。許容範囲でない場合、ステッ
プ５１３０へ戻る。許容範囲以内の場合、ステップ５１
７０で、許容範囲のラベルの外接矩形の大きさが所定の
大きさの範囲以内か否かチェックする。外接矩形が許容
範囲でない場合、ステップ５１３０へ戻る。許容範囲以
内の場合、ステップ５１８０で、許容範囲以内のラベル
全てをｉ番目のラベルに加え、加えたラベルを抹消す
る。ステップ５１９０でｉ番目〜Ｌ_n 番目のラベルにつ
いて、昇順にソートすると、ステップ５１３０へ戻り、
新たにｉ番目から再度処理を行う。これにより、次々と
距離と外接矩形の大きさが許容範囲以内のラベルが統合
されていく。

【００３９】図１７は、本発明におけるステップ５１６
０で中心からの距離が許容範囲であるか否かチェックす
る場合の一実施例を示す説明図である。例えば、２個の
ラベルがある場合、ラベル５２１０の許容範囲にラベル
５２２０があるか否かは、ラベル５２１０の中心座標
（ｏ１ｘ，ｏ１ｙ）５２４０から、ラベル５２２０の中
心座標（ｏ２ｘ，ｏ２ｙ）５２５０を求める。座標（ｏ
１ｘ，ｏ１ｙ）と座標（ｏ２ｘ，ｏ２ｙ）のＸ方向の距
離５２６０とＹ方向の距離５２７０が許容範囲にあれ
ば、同一ラベルとして統合する。Ｘ方向の距離５２６０
の許容範囲及びＹ方向の距離５２７０の許容範囲は、例
えば、移動物体が縦に長い人物の場合、Ｘ方向は約５〜
１０程度とし、Ｙ方向は約５〜１５程度としたり、また
は、Ｘ方向は約５〜１５程度とし、Ｙ方向も約５〜１５
程度としたりしてもよい。いずれにしても、どこまでの
範囲を統合するかにより、適切に設定すればよい。

【００４０】図１８は、本発明における移動物体候補抽
出部６０００の内部の一実施例を示すブロック図であ
る。統合領域の外接矩形算出部６０１０は、統合した物
体の外接矩形を算出する。入力画像と長期背景画像の相
関処理部６０３０は、現入力画像Ｆ_iと長期背景画像Ｌ_i
とを用いて、いずれか一方の外接矩形領域をテンプレー
トパターンとして、残りの他方の画像に対し外接矩形領
域とほぼ同一位置（拡張サイズは±１画素以下）で正規
化相関を行う。入力画像と長期背景画像の類似度算出部
６０５０は、正規化相関による類似度を算出する。

【００４１】類似度の算出は、

【００４２】

【数２】

【００４３】の正規化相関処理による。即ち、登録テン
プレートパターンと対象画像の明るさを正規化して明る
さの差を求める（３Ｆ−８ 車番認識システムの濃淡パ
ターンマッチング処理の応用、情報処理学会第４９回全
国大会、平成６年後期）ものであり、（数２）の演算を
マッチング領域全体にわたって実行し、類似度を算出す
る。

【００４４】移動物体候補判定部６０６０は、（数２）
により算出した類似度が所定値（例えば約０.５〜０.８
程度）以下の場合、移動物体の候補として外接矩形を抽
出し、それ以外の場合、外乱として除外する。

【００４５】図１９と図２０は、正規化相関処理を用い
て移動物体候補を抽出する場合の一実施例を示す説明図
である。入力画像Ｆ_iと短期背景Ｓ_iとの差分により抽出
した通常速度の移動物体６４１０は、物体全体を抽出し
やすいことが多く、統合領域の外接矩形６７１０には、
物体全体が含まれる。

【００４６】しかし、極く低速の移動物体６４２０は、
物体の極く一部しか抽出できないため、物体の一部しか
含まれない。いま、短期背景変化領域荷重係数設定部７
６７において、抽出した輝度変化の大きい領域に対して
直前短期背景画像の輝度比率を多く(７〜８割程度を目
安に、監視対象画質の状態により任意に設定してよい)
し、現入力画像の輝度比率を少なくして（２〜３割程度
の目安）設定することにより、現入力画像と近い過去の
短期背景画像が適度に混合されるので、移動物体や照明
変動の外乱が緩和されたやや正常状態の背景画像の作成
が可能になる。ただし、現入力画像の輝度比率は比率配
分の分（例えば、２〜３割程度の目安）だけ残像が加味
される。このことは、極く低速な移動物体は、滞留気味
になるため、少しずつ短期背景画像に溶け込んで蓄積さ
れていくので、短期背景画像との差分を行うと、移動領
域の変化の抽出とともに、滞留領域部の変化も抽出され
た統合領域の外接矩形６７２０となる。滞留領域部は移
動物体の残像となってしまい、物体がそこに存在する状
態となる（虚物体）。このため、短期背景と入力画像と
で同一外接矩形の領域同士で正規化相関を行うと、通常
速度の移動物体は、入力画像に存在して短期背景画像に
は存在しないため、類似度が低くなる。しかし、極く低
速の移動物体は、滞留気味のため移動物体の残像となっ
てしまい、物体が外接矩形に存在する状態となり（虚物
体）、類似度が高くなる。これでは、正規化相関による
外乱除外の精度が著しく低下してしまう。

【００４７】しかし、極く低速の移動物体でも、時間経
過が長くなると移動距離も大きくなる。例えば、長期背
景Ｌ_i において、ｉ−ｎ時刻における通常速度の移動物
体６３１０及び極く低速の移動物体６３２０は、外接矩
形６７１０及び外接矩形６７２０には存在していない。
そこで、長期背景と入力画像とで通常速度の移動物体と
して抽出した同一外接矩形６７１０の領域同士及び極く
低速の移動物体として抽出した同一外接矩形６７２０の
領域同士で正規化相関を行うと、入力画像に存在しても
長期背景画像には存在しないため、類似度が低くなる。
従って、長期背景画像を用いると、いかなる移動物体で
も類似度は低くなる。これにより、移動物体の検知精度
が著しく向上する。

【００４８】図２１は、本発明における移動物体候補抽
出部６０００の処理の一手順を示す説明図である。ステ
ップ６４１０は、現入力画像Ｆ_iに対し、統合領域の外
接矩形算出部で算出した外接矩形領域の濃淡画像をテン
プレートパターンとして登録する。ステップ６４２０
は、長期背景画像Ｌ_i に対し、ステップ６４１０とほぼ
同一位置の外接矩形領域をパターンマッチング領域とし
て設定する。ステップ６４３０は、ステップ６４１０で
登録したパターンとの濃淡パターンマッチングを行い、
類似度を算出する。ステップ６４４０は、算出した類似
度が所定値（約０.５〜０.８程度）以上か否か判定す
る。所定値以上の場合、ステップ６５４０は、背景と類
似しているため、外乱と判定する。所定値未満の場合、
ステップ６４５０は、背景と類似していないため、移動
物体候補と判定する。ステップ６５５０は、生成した外
接矩形領域が全て終了したか否か判定し、終了していな
い場合、ステップ６４１０へ戻る。

【００４９】長期背景画像と入力画像を用いて、抽出領
域の外接矩形同士を正規化相関手法により、大部分の外
乱は除外できるが、類似度付近の外乱は抽出されてしま
う。そこで、移動物体の追跡を行い、更なる検知精度の
向上を行う。

【００５０】図２２は、本発明における移動物体追跡部
８０００の内部の一実施例を示すブロック図である。重
心（中心）算出部８１００は、統合領域の外接矩形にお
ける重心（中心）を算出する。移動距離算出部８２００
は、対象となる重心（中心）から、それ以外の統合領域
の外接矩形における重心（中心）までの距離を算出す
る。移動物体対応部８３００は、対象となる重心（中
心）から、最も近い距離にあり所定範囲以内の外接矩形
と対応させ、対応しない物体を外乱と判別する。

【００５１】図２３は、本発明における統合領域の外接
矩形算出部６０１０で算出した外接矩形の重心算出の一
手順を示す説明図である。通常状態の移動物体として抽
出した外接矩形６７１０の重心（中心）８１１０は、Ｘ
方向の長さ８１３０の中点とＹ方向の長さ８１４０の中
点の交点とする。極く低速の移動物体として抽出した外
接矩形６７２０の重心（中心）８１２０は、Ｘ方向の長
さ８１５０の中点とＹ方向の長さ８１６０の中点の交点
とする。

【００５２】図２４は、本発明における移動物体対応部
８３００の移動物体の対応の一手順を示す説明図であ
る。移動物体候補抽出部６０００で抽出した外接矩形に
関し、現時刻の外接矩形６７１０に対し、直前時刻まで
に複数の外接矩形６７０９，外接矩形６７０８，外接矩
形６７０７が抽出されたとする。現時刻の外接矩形6710
の中心８３１０，直前時刻の外接矩形６７０９の中心８
３３０，外接矩形6708の中心８３２０，外接矩形６７０
７の中心８３４０を算出する。いま、現時刻の中心８３
１０から直前時刻の中心８３３０までの距離８３６０
を、直前時刻の中心８３２０までの距離８３５０を、直
前時刻の中心８３４０までの距離８３７０を算出し、こ
れらの距離のうち、最も小さくかつ現時刻の外接矩形６
７１０の内部に中心が存在しない外接矩形を対応させ
る。従って、外接矩形６７０９が条件を満足する。現時
刻の外接矩形６７１０の内部にある外接矩形６７０８及
び外接矩形６７１０から最も距離が大きい外接矩形６７
０７は対応されない。これにより、現時刻の外接矩形の
内部にある直前時刻の外接矩形は、滞留状態の物体であ
り、図１９と図２０で説明した現入力画像の輝度比率配
分の分の残像，照明の点滅，旗の揺れなどであり、これ
らの除外ができる。遠い距離に存在する物体として、高
速移動の飛来物や遠く離れて突然発生する外乱等であ
り、これらの除外もできる。

【００５３】図２５は、本発明における移動物体追跡部
８０００の一手順を示す説明図である。

【００５４】ステップ８４１０は、移動物体追跡カウン
タの初期設定を行う。ステップ8411は、現時刻の物体が
最初の検知であるか否か判定する。ステップ８４１１
で、最初の検知と判定すると、ステップ８４１２へ進
み、そうでない場合は、ステップ８４１３へ進む。ステ
ップ８４１２は、物体を追跡モードとして、追跡カウン
タを増加する（例えば＋１）。ステップ８４１３は、直
前時刻における物体が存在するか否か判定する。ステッ
プ８４１３が、存在すると判定すると、ステップ８４１
４へ進み、存在しないと判定すると、ステップ８４２６
へ進む。ステップ８４１４は、現時刻の外接矩形と直前
時刻における外接矩形とで最も近くかつ自身の外接矩形
範囲内部に中心が存在しない外接矩形とを対応させる。
ステップ８４１５は、対応できた外接矩形が存在するか
否か判定する。ステップ８４１５が、存在すると判定す
ると、ステップ８４２０へ進み、存在しない場合は、ス
テップ８４１６へ進む。ステップ８４１６で、物体が消
失状態であるとして、ステップ８４１７が、追跡カウン
タを低減（例えば、−１）する。ステップ８４２０は、
現時刻の外接矩形の中心が、直前の外接矩形の範囲内部
であるか否か判定する。ステップ８４２０が、範囲以内
と判定するとステップ８４１８へ進み、範囲以外と判定
すると、ステップ８４２１へ進む。ステップ８４１８
で、物体は待ち状態であるとして、ステップ８４１９
が、追跡カウンタをそのまま維持する。ステップ８４２
１は、物体が追跡状態であるとして、ステップ８４２２
が、追跡カウンタを増加する（例えば＋１）。ステップ
８４２３は、所定の追跡回数を満足したか否か判定す
る。ステップ８４２３で、満足したと判定すると、ステ
ップ８４２４へ進み、満足しないと判定すると、ステッ
プ８４２６へ進む。ステップ８４２４は、移動物体を検
知したと判定する。移動物体を検知したため、ステップ
８４２５は、追跡カウンタを初期設定して、新たな物体
追跡を行う。ステップ８４２６が、外接矩形全てを終了
したか否か判定し、終了しない場合には、ステップ８４
１０へ進み、それ以外は、物体追跡を止める。

【００５５】図２６は、本発明における表示装置９５０
０に検知結果を表示した一実施例を示す説明図であり、
検知人物とその移動軌跡の例である。ｉ回目，ｉ−１回
目，ｉ＋２回目等毎に時系列で人物を検知すると、表示
制御部９０００が、ｉ時刻の検知人物６４１０を表示装
置９５００に表示制御することに加えて、直前の移動距
離９１０９を、ｉ時刻の中心８１１０とｉ−１時刻の中
心８１０９から表示制御し、その前の移動距離９１０８
を、ｉ−１時刻の中心８１０９とｉ−２時刻の中心８１
０８から表示制御する。同様に、ｉ時刻の他の検知人物
６４２０を表示装置９５００に表示制御することに加え
て、直前の移動距離９２０９を、ｉ時刻の中心８１２０
とｉ−１時刻の中心８１１９から表示制御し、その前の
移動距離９２０８を、ｉ−１時刻の中心８１１９とｉ−
２時刻の中心８１１８から表示制御する。

【００５６】図２７は、本発明における表示装置９５０
０に検知結果を表示した他の実施例を示す説明図であ
り、検知した人物を時系列に表示した例である。表示制
御部９０００が、ｉ時刻の検知人物６４１０を、ｉ−１
時刻の検知人物６４０９を、ｉ−２時刻の検知人物６４
０８を検知した位置に対応して表示装置９５００に時系
列に表示制御する。同様に、ｉ時刻の他の検知人物６４
２０を、ｉ−１時刻の検知人物６４１９を、ｉ−２時刻
の検知人物６４１８を検知した位置に対応して表示装置
９５００に時系列に表示制御する。

【００５７】図２８は、本発明における表示装置９５０
０に検知結果を表示した他の実施例を示す説明図であ
る。移動人物６４１０を検知すると、表示制御部９００
０が、格納した検知人物の検知位置を用いて、表示装置
９５００に外接矩形枠６７１０を表示制御する。同様
に、格納した他の検知人物６４２０の検知位置を用い
て、表示装置９５００に外接矩形枠６７２０を表示制御
する。

【００５８】図２６，図２７，図２８において、表示制
御部９０００が、人物検知を表示装置９５００に表示制
御する場合、カラーでもモノクロでも検知したことが監
視員に視覚に明確にわかれば何でもよく、検知物体が明
示できる表示方法ならば何でもよい。このように表示装
置９５００に表示することにより、監視者は、例えば、
人物監視の場合、検知人物及び人物の移動状態を表示装
置９５００により画像でオンラインに把握できる。ま
た、表示装置９５００が遠隔地にあれば、テレビ電話等
にＲＳ−２３２Ｃ等の標準的な通信手段で人物を検知し
たことを報知して、遠方の表示装置に表示してもよい。

【００５９】本発明によれば、まず、ＩＴＶカメラで監
視対象シーンを撮影している間、時刻ｔ₁〜ｔ_iにおい
て、前半は明るさ変動が少ないので輝度変化が小さく、
後半は天候変動等により明るさ変動が激しいので輝度変
化が大きいものとする。このような環境は、昼夜の自然
環境下ではよく発生する。ここで、時刻ｔ_i-3〜時刻ｔ_i
の間に、一方の人物が極く低速に移動し、他方の人物が
通常に移動した場合、極く低速の移動は、移動物体が重
なるため変化領域が少なく、通常の移動は、移動物体が
重なりにくいため変化領域が多い。いま、背景画像作成
手段が、時刻ｔ_iの入力画像と時刻ｔ_i-1の入力画像と時
刻ｔ_i-2の入力画像から短期背景画像及び長期背景画像
を作成する。短期背景画像は現時刻ｔ_i と時間的に近い
画像であり、長期背景は、現時刻ｔ_i と時間的に古い画
像である。差分画像作成手段が、短期背景と現入力画像
の背景差分を行う。変化領域抽出手段は、差分画像の２
値化を行い、変化領域を抽出する。抽出領域統合手段
が、変化領域の近接領域を統合して外接矩形領域を作成
する。移動物体候補抽出手段が、現入力画像又は長期背
景の一方をテンプレートパターンとして登録し、他の一
方の画像に対し、テンプレートパターン領域とほぼ同一
領域を探索領域とし、前記テンプレートパターンで探索
領域を濃淡パターンマッチングを行い、相関値による類
似度が所定値より高い変化領域を外乱として消去し、類
似度の低い変化領域を監視対象の移動物体候補として抽
出する。時間的に離れた長期背景と現入力画像との正規
化相関を行うため、通常速度の移動物体及び極く低速の
移動の両方とも、現入力画像には存在するが、長期背景
からは消失している。これより、極く低速移動の物体ま
でも検知可能になる効果がある。このように、短期背景
と現入力画像間で差分を行って変化領域を抽出するので
照明変動に強く、前記抽出した変化領域に対し、長期背
景と現入力画像とで正規化相関を行うので、外乱を除去
できる効果がある。また、移動物体追跡手段が移動状態
を追跡して、滞留物体を除外するので、検知精度は一層
向上することが可能になる効果がある。

【００６０】

【発明の効果】本発明によれば、監視対象の移動物体と
紛らわしい外乱が発生し、照明変化が激しい環境下でも
極端に動きの少ない移動物体までも、短時間かつ高精度
に監視対象を識別することができる。

【図面の簡単な説明】

【図１】本発明における移動物体監視装置の一実施例を
示すブロック図である。

【図２】本発明における処理概要を示す説明図である。

【図３】本発明における画像入力処理部の内部の一実施
例を示すブロック図である。

【図４】本発明における背景画像作成部における背景画
像作成の原理を示す説明図である。

【図５】本発明における背景画像作成部の内部の一実施
例を示すブロック図である。

【図６】本発明における背景画像作成判定部の内部の一
実施例を示すブロック図である。

【図７】本発明における短期背景画像生成部の内部の一
実施例を示すブロック図である。

【図８】本発明における長期背景画像生成部の内部の一
実施例を示すブロック図である。

【図９】本発明における長期背景画像生成部の内部の他
の実施例を示すブロック図である。

【図１０】本発明における背景画像作成部で作成する短
期背景及び長期背景を作成する一手順を示す説明図であ
る。

【図１１】本発明における長期背景画像生成部で長期背
景を作成する手順を示す説明図である。

【図１２】本発明における差分画像作成部の内部の一実
施例を示すブロック図である。

【図１３】本発明における変化領域抽出部の内部の一実
施例を示すブロック図である。

【図１４】本発明における２値化しきい値算出部で、２
値化のしきい値を算出するための一実施例を示す説明図
である。

【図１５】本発明における抽出領域統合部の内部の一実
施例を示すブロック図である。

【図１６】本発明における抽出領域統合部の抽出領域の
統合を行う一手順を示す説明図である。

【図１７】本発明における中心からの距離が許容範囲で
あるか否かチェックする場合の一実施例を示す説明図で
ある。

【図１８】本発明における移動物体候補抽出部の内部の
一実施例を示すブロック図である。

【図１９】本発明における正規化相関処理を用いて移動
物体候補を抽出する場合の一実施例を示す説明図であ
る。

【図２０】本発明における正規化相関処理を用いて移動
物体候補を抽出する場合の他の一実施例を示す説明図で
ある。

【図２１】本発明における移動物体候補抽出部の処理の
一手順を示す説明図である。

【図２２】本発明における移動物体追跡部８０００の内
部の一実施例を示すブロック図である。

【図２３】本発明における統合領域の外接矩形算出部で
算出した外接矩形の重心算出の一手順を示す説明図であ
る。

【図２４】本発明における移動物体対応部の移動物体の
対応の一手順を示す説明図である。

【図２５】本発明における移動物体追跡部の一手順を示
す説明図である。

【図２６】本発明における表示装置に検知結果を表示し
た一実施例を示す説明図である。

【図２７】本発明における表示装置に検知結果を表示し
た他の実施例を示す説明図である。

【図２８】本発明における表示装置に検知結果を表示し
た他の実施例を示す説明図である。

【符号の説明】

１００…ＩＴＶカメラ、１２０…カメラ選択部、１５０
…カメラ切替部、500…画像入力処理部、１０００…背
景画像作成部、３０００…差分画像作成部、４０００…
変化領域抽出部、５０００…抽出領域統合部、６０００
…移動物体候補抽出部、８０００…移動物体追跡部、９
０００…表示制御部、９５００…表示装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 豊島 修次 茨城県ひたちなか市大字稲田1410番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 荷口 康之 茨城県ひたちなか市大字稲田1410番地 株 式会社日立製作所映像情報メディア事業部 内 Ｆターム(参考） 5C054 EB05 EJ05 FC01 FC05 FC12 FC13 FC15 FC16 GB12 HA18 HA31 5C084 AA01 AA06 BB05 BB06 BB31 CC19 DD11 GG56 GG57 GG78

Claims (9)

【特許請求の範囲】
1. 【請求項１】予め設定した監視対象を撮像する撮像部
   と、 該撮像部から取り込んだ画像の画像信号から２つの背景
   画像を作成し、当該背景画像の現時点の画像と時間的に
   近い一方の画像と現時点の画像との２フレーム間画素の
   差分を用いて変化領域を抽出し、当該変化領域に対して
   もう一方の背景画像と取り込んだ両画像間の正規化相関
   による濃淡パターンマッチングを行い、類似度が所定値
   より高い該変化領域を外乱とみなし、類似度が低い変化
   領域を移動物体候補として追跡を行って検出する監視装
   置本体からなる移動物体監視装置。
2. 【請求項２】前記複数の背景画像のうち、一方の背景画
   像（短期背景）は、３フレームを用いて画像間の差分の
   輝度変化の大きい領域と輝度変化の小さい領域を抽出し
   て、輝度変化の大きい領域は直前の背景画像の比率を多
   くして入力画像の比率を少なくし、輝度変化の小さい領
   域は直前の背景画像の比率と入力画像の比率をほぼ同一
   にして作成する請求項１記載の移動物体監視装置。
3. 【請求項３】前記複数の背景画像のうち、他の一方の背
   景画像（長期背景）は、該短期背景の複数フレームを加
   算平均して作成する請求項２記載の移動物体監視装置。
4. 【請求項４】前記複数の背景画像のうち、他の一方の背
   景画像（長期背景）は、該短期背景と同様にして抽出し
   た輝度変化の大きい領域と輝度変化の小さい領域に対
   し、輝度変化の大きい領域は直前の背景画像の比率を１
   ００％にして入力画像の比率を０％にし、輝度変化の小
   さい領域は直前の背景画像の領域を比率と入力画像の比
   率を同一にして作成する請求項２記載の移動物体監視装
   置。
5. 【請求項５】前記短期背景と同様にして抽出した輝度変
   化の大きい領域と輝度変化の小さい領域に対し、輝度変
   化の大きい領域が画面全体の場合、該短期背景及び長期
   背景の両方を現入力画像に置き換える請求項１記載の移
   動物体監視装置。
6. 【請求項６】前記差分画像または差分・２値画像上で近
   接する変化領域同士を外接矩形等によって一まとめにす
   る統合領域を生成し、該統合領域毎に前記濃淡パターン
   マッチングを行う請求項１記載の移動物体監視装置。
7. 【請求項７】前記差分・２値画像は前記短期背景と入力
   フレーム間画像の差分を用いて作成する請求項１〜５記
   載の移動物体監視装置。
8. 【請求項８】前記入力フレーム画像で前記統合領域によ
   る追跡元領域をテンプレートパターンとし、前記長期背
   景で前記追跡元領域に対応する領域とほぼ同一領域同士
   を探索領域とし、前記テンプレートパターンにより前記
   探索領域を濃淡パターンマッチングによって追跡し、前
   記探索領域での最大類似度が所定値より低い場合に、前
   記追跡元領域を移動物体候補として検出する請求項１〜
   ６記載の移動物体監視装置。
9. 【請求項９】前記長期背景で前記統合領域による追跡元
   領域をテンプレートパターンとし、入力画像で前記追跡
   元領域に対応する領域とほぼ同一領域同士を探索領域と
   し、前記テンプレートパターンにより前記探索領域を濃
   淡パターンマッチングによって追跡し、前記探索領域で
   の最大類似度が所定値より低い場合に、前記追跡元領域
   を移動物体候補として検出する請求項１〜６記載の移動
   物体監視装置。