JP2001008189A

JP2001008189A - 移動物体監視装置

Info

Publication number: JP2001008189A
Application number: JP11191351A
Authority: JP
Inventors: Chieko Konuma; 小沼　　知恵子; Yoshiki Kobayashi; 小林　　芳樹; Hisao Ootawa; 久雄大田和; Yoshio Sakuma; 喜郎佐久間
Original assignee: Secom Co Ltd; Hitachi Ltd
Current assignee: Secom Co Ltd; Hitachi Ltd
Priority date: 1999-04-23
Filing date: 1999-07-06
Publication date: 2001-01-12
Anticipated expiration: 2019-07-06
Also published as: JP3569163B2

Abstract

(57)【要約】【課題】監視領域に入る物体の挙動に追随し、侵入者を
見逃さずかつ外乱を除去できる、検出精度の高い移動物
体監視装置を提供する。【解決手段】画像入力処理部500はITVカメラ100から周
期的に入力画像を取り込み、差分画像作成部1000で入力
画像と背景画像の差分をとり、変化領域抽出部2000が差
分画像を２値化して変化領域を抽出し、物体候補検出部
3000が変化領域を統合した矩形領域毎に一方の入力画像
ともう一方の入力画像間の正規化相関処理を行って、類
似度の低い変化領域を監視対象の候補物体として抽出す
る。物体候補追跡部4000は、現候補物体の中心と直前の
候補物体の中心間の移動距離から、候補物体の状態を移
動モード、停止モード、消失モードに分け、モードに応
じた追跡処理で移動物体を検出する。途中で候補物体を
見失う消失モードでは、保持時間だけ直前の候補を保持
し、再び候補が現われると追跡を再開する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動物体監視装置
に関し、特に動きの少ない物体も確実に検出できる移動
物体監視装置に関する。

【０００２】

【従来の技術】画像による移動体監視装置として、監視
エリアをＩＴＶカメラで撮影して、前画像と後画像との
差分から動きの方向と大きさの動きベクトルをブロック
単位で抽出し、連続ブロック内でほぼ同じ基準値と比較
して目標移動物体を判別する方法が知られている（特開
平９−２５２４６７号）。

【０００３】また、検出物体をテンプレートとして登録
し、登録テンプレートと最も一致する位置の移動量を算
出してテンプレートを更新しながら移動物体を検出する
方法が知られている（特開平９−３２２１５５号）。

【０００４】

【発明が解決しようとする課題】上記した従来技術で、
前者の方法は、連続ブロック間でほぼ同じ動きをする、
ある程度以上移動する物体の検出が可能である。また、
後者の方法は、移動物体の形状等が変形しない場合や距
離が比較的近い場合に、移動物体の早期検出が可能であ
る。

【０００５】しかし、侵入者等の移動体検知において
は、フレーム間における画像の変化が様々となる。侵入
者等は、移動が超低速であったり、物陰に隠れて画像が
変形したり、立ち止まったり、あるいは、高速に移動し
たり、様々な動きをする。これらの状態に加えて、夜間
等には懐中電灯や車のヘッドライトによる部分的な照射
により、明るさが部分的に変化するため、連続ブロック
間でほぼ同じ動きをする保証がない。また、点灯してい
る照明を意図的に消灯したりして、明るさが全体的に激
変することもある。このように環境変動が激しく、様々
な動きが発生する状態では、背景画像の作成も困難にな
り、外乱と侵入者を早期に識別できないことが多い。

【０００６】本発明の目的は、上記した従来技術の問題
点を克服し、物体の動き状態にかかわらず、移動が多く
てもわずかでも、照明が部分的に照らされても、背景画
像を自働作成し外乱と区別して、早期に侵入者を検知す
る移動物体監視装置を提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成する本発
明は、監視エリアの画像を取り込むＩＴＶカメラ等の撮
像手段と、取り込み画像を画像処理して監視エリアの移
動物体を検出する画像処理手段と、検出した結果を出力
する出力手段を備えた移動物体監視装置において、前記
画像処理手段は、画像間の差分から抽出した変化領域を
候補物体とし、今回の画像による現候補物体と直前の画
像による候補物体との距離が所定値以上となる移動状態
が所定回数（しきい値１）以上、かつ、最初の候補物体
の位置から現候補物体までの移動距離が所定距離（しき
い値２）以上となるとき、当該候補物体を監視対象の移
動物体と判定する機能を有してなることを特徴とする。
また、前記画像処理手段は、直前の候補物体が複数ある
場合に、その中心が現候補物体と重ならない候補物体
で、かつ現候補物体に最も近い候補物体を対応させるこ
とを特徴とする。

【０００８】これにより、候補の追跡が所定回成功して
物体検知とする。また、監視対象が人物の場合、著しく
移動の速い物体や外乱（車のライト、飛行物の影など）
を除去できる。さらに、直前候補の中心が現候補の領域
に重なる場合は、照明のちらつきや旗の揺れなどであ
り、これら外乱を除去することで検出精度を向上でき
る。

【０００９】また、本発明は、現候補物体と直前の画像
の中で最も近い候補物体を対応させ、この対応候補間の
距離が所定値以上となる状態を移動モード、現候補物体
が存在しない状態を消失モードとし、移動モードが所定
回数（しきい値１）以上および／または最初の候補物体
の位置から現候補物体までの移動距離が所定距離（しき
い値２）以上となるとき、当該候補物体を監視対象の移
動物体と判定するとともに、前記消失モードの場合に設
定された保持時間までは前記候補物体を保持する機能を
有してなることを特徴とする。

【００１０】また、前記対応候補間の距離が前記所定値
未満となる状態を停止モードとし、前記停止モードから
前記消失モードに遷移するときは、前記移動モードから
前記消失モードに遷移するときに比べて、前記保持時間
を長く設定する。

【００１１】これにより、侵入者が立ち止まったり、物
かげに隠れたりする行動で、入力画像から候補物体が消
失するような場合、前記保持時間の間は直前画像を保持
して追跡を継続しているので、再び候補物体が現われる
と直ちに追跡を開始するので、侵入者の不審な行動パタ
ーンに追随して、より検出精度を向上できる。また、移
動モードから消失した場合は、速度の速い移動物体とみ
なされるので、前記保持時間を短くし、一方、停止モー
ドから消失した場合は不審者の典型的な行動パターンと
みなされるので、前記保持時間を長くする。

【００１２】また、前記直前画像は背景画像でもよく、
現画像と直前画像の差分に基づいて、現画像で変化のほ
とんどない領域を背景画像に置換して更新する、背景画
像作成手段を設けてなる。さらに、現画像と直前画像の
差分に基づく変化領域が画面の大部分（例えば、７割以
上）に及ぶとき、現画像の全体領域を背景画像に置換し
て更新する。これにより、監視エリアの照度変動などに
追随し、移動物体の検出精度を向上できる。

【００１３】本発明の作用を図２の状態遷移図を用いて
説明する。物体候補検出部が矩形の物体候補領域を検出
すると、その物体候補矩形の重心（中心）と直前の物体
候補矩形の重心（中心）のうち最も近い物体候補矩形と
の移動距離を算出し、その移動距離から候補物体の状態
をチェック、追跡して侵入物体を検知する。

【００１４】候補物体の状態は移動モード4100、消失モ
ード4110、停止モード4120に分け、モードに応じた追跡
の継続と打切りを、追跡カウンタＴＣと消失カウンタＬ
Ｃによって行う。ここで、ある時刻に抽出した物体候補
領域（現物体候補領域）に対し、直前時刻に抽出した物
体候補領域（直前物体候補領域）の中から最も近い矩形
と対応させ、直前に物体候補領域が存在して現物体候補
が存在しない見失いの状態を消失モードとし、現物体候
補領域の範囲内部に直前物体候補領域の中心（又は重
心）が存在する、同一場所状態を停止モードとし、現物
体候補領域の範囲外に直前物体候補領域の中心（又は重
心）が存在する、移動状態を移動モードとする。

【００１５】まず、新規の物体候補領域を抽出すると移
動モードにし、追跡カウンタＴＣに１を設定する（413
0）。移動モードから移動モードへ遷移する場合（414
0）は、位置移動として追跡カウンタＴＣに１を加算
し、移動モードから停止モードへ遷移する場合（4200）
は、追跡カウンタＴＣをそのままにし、移動モードから
消失モードへ遷移する場合（4160）は、追跡カウンタＴ
Ｃの現在値から消失カウンタＬＣを算出する。この場
合、移動モードから遷移するＬＣの値を小さくし（ＬＣ
＝ＴＣ×ＴＣ×１）、消失モードにおける直前候補物体
の保持時間を短くして、動きの早い物体や外乱に対する
追跡を早期に打ち切る。

【００１６】移動モードでの位置移動で、追跡カウンタ
ＴＣがしきい値１（ＴＣ値）以上（4150）、かつ、現候
補の追跡開始の新規候補位置からの距離がしきい値２
（距離値）以上となる場合は、移動物体の検知を出力
し、追跡処理を終了する。これにより、動きの速い外乱
は除外され、また、候補物体に対する複数回の追跡成功
を確認するので、検知精度が向上する。

【００１７】停止モードで遷移が同一場所（4210）の場
合は、追跡カウンタＴＣをそのままにし、停止モードか
ら移動モードへ遷移する場合（4220）は、位置移動とし
て追跡カウンタＴＣに１を加算し、停止モードから消失
モードへ遷移する場合（4230）は、見失いとして追跡カ
ウンタＴＣの現在値から消失カウンタＬＣを、例えば、
ＬＣ＝ＴＣ×ＴＣ×５と算出する。これにより、停止モ
ードから物体を消失した場合の保持時間は、移動モード
からの消失に比べてやや大きくなり、移動が遅い物体を
検知しやすいようにしている。これにより、侵入者の動
きが超スローないしは停止して、背景画像となって一時
的に消失しても、次の動きが現われるのを待って、見逃
さないようにしている。

【００１８】消失モードで遷移が見失い（4170）の場合
は、消失カウンタＬＣから１を減算し、消失モードから
移動モードへ遷移する場合（4190）は、位置移動として
追跡カウンタＴＣに１を加算し、消失モードから停止モ
ードへ遷移する場合（4240）は、同一場所として追跡カ
ウンタＴＣをそのままにする。消失モードにおいて、消
失カウンタＬＣが０以下になった場合（4180）、物体を
廃棄して、新規な候補物体の入力を待つ。

【００１９】

【発明の実施の形態】以下、本発明の一実施例を図面を
用いて詳細に説明する。図１は、本発明の一実施例によ
る移動物体監視装置のブロック図である。本実施例の監
視装置は、監視装置本体10、表示装置7000から構成され
る。または、監視装置本体20、ITVカメラ100、表示装置
7000で構成してもよい。監視装置本体20は、パーソナル
コンピュータに画像処理ボードを装着して実現してもよ
い。監視装置本体10は、カメラと画像処理ボードとパー
ソナルコンピュータを一体としたインテリジェントカメ
ラとして実現してもよい。

【００２０】本実施例では、まず、ITVカメラ100が監視
対象を撮影すると、画像入力処理部500は、取り込んだ
フレームの画像信号のA/D変換やCCDノイズ低減処理等を
行う。背景画像作成部1000は、取り込んだ現フレームと
所定回前のフレームの画素毎に変化のない領域を抽出
し、抽出領域で背景画像を更新する。差分画像作成部10
00は、背景画像と入力画像間での画素毎の差分処理を行
い、変化領域抽出部2000が、該差分画像を２値化して変
化領域を抽出する。物体候補検出部3000は、変化領域抽
出部2000で抽出した近隣領域を一つの統合矩形領域にま
とめて、統合矩形領域毎に一方の入力画像ともう一方の
入力画像間の正規化相関処理による濃淡パターンマッチ
ングを行って物体候補判定処理を行う。

【００２１】物体候補追跡部4000は、物体候補領域の重
心（中心）と直前の物体候補領域の重心（中心）間の距
離から、物体候補の状態を移動モード、停止モード、消
失モードに分け、モードに応じた追跡や追跡の保留を行
い、追跡処理の結果、条件を満たす候補物体を検知する
と、移動物体と判定して表示制御部6000に出力する。表
示制御部6000は、検知物体の画像を格納し、直ちにまた
は監視センター等から要求に応じて、その検知位置等の
情報や検知日や時刻等の情報を表示装置7000にリアルタ
イムに表示する。

【００２２】図３は、画像入力処理部500の内部機能の
一例を示すブロック図である。Ａ／Ｄ変換部550が、Ｉ
ＴＶカメラ100で撮影した画像を取り込んでA/D変換して
入力画像560Giを作成すると、入力画像Giのノイズ除去
部570がノイズに対応して平滑化処理やメディアンフィ
ルタ処理等を行って、入力画像560のCCDノイズ等を除去
した画像Ｆiを作成する。

【００２３】図４は、背景画像作成部1000による背景画
像作成手順の一例を示す説明図である。本実施例による
背景画像は、画像入力処理部500でCCDノイズ等を除去し
た周期的な入力画像Ｆｉ間の差分に基づいて作成され
る。サンプリング開始時刻ｔ０の画像１１００，時刻ｔ
ｉ−３の画像１１０１、時刻ｔｉ−２の画像１１０２、
時刻ｔｉ−１の画像１１０３、時刻ｔｉの画像１１０４
を用いて説明する。

【００２４】初期の背景画像1200は、サンプリング開始
時刻ｔ０の入力画像1101とする。いま、時刻ｔi−3の画
像1101を直前画像、時刻ｔi−2の画像1103を現画像と
し、ともに輝度変化の少ないシーンとする。画像1101と
画像1102の画素毎の差分を行い（1107）、差分画像を所
定のしきい値で２値化して２値画像を作成する（２値化
しきい値はCCDノイズを除去できる値で、例えば５〜１
２程度）。ここでの２値化では、２値画像がほとんど抽
出されないので、変化がないものとみなして、現画像11
02を背景画像1201とする背景更新を行う（1111）。

【００２５】次に、画像1102を直前画像、画像1103を現
画像とする差分を行う（1108）。両画像の輝度変化は少
ないが、画像1103には移動物体1105が存在するシーンと
する。ここでの差分画像の２値化では、所定の範囲内の
２値画像が抽出される（1112）。従って、抽出された２
値画像は移動物体による変化領域とみなされ、背景更新
は行わず（1113）、背景画像1201のままである。

【００２６】次に、画像1103を直前画像、画像1104を現
画像とする差分を行う（1109）。画像1104は大きな輝度
変化（1106）を生じているものとする。ここでの差分画
像の２値化では、画面の大部分に２値画像抽出され、変
化領域が所定の範囲（例えば画面の７〜８割程度）を越
えているので、監視エリアに大きな環境変化、例えば、
天候変化による照度の急変などを生じているものとみな
される。この場合、現画像1104によって背景更新（111
5）を行い、新たな背景画像1202を作成する。

【００２７】このように、直前フレーム（数周期前でも
よい）と現フレーム間の差分画像を用いて、背景画像の
更新を行う。なお、上記では現画像で全面的に更新する
背景画像の作成を説明したが、本実施例では部分更新も
行われる。

【００２８】すなわち、直前の画像と現画像の画素毎の
差がわずか（CCDノイズ成分以下）の領域は変化がない
領域とし、それ以外の領域は変化がある領域とし、変化
がない領域に対しては現画像で置き換え、変化がある領
域に対してはそのままにして、背景画像を更新する。こ
の結果、直前画像に出現した変化領域が現画像でほとん
ど変化していない場合、当該領域が背景画像に置き換え
られる。これにより、外乱等による一時的な画像変化を
除外できるので、移動体監視の処理効率と検出精度を向
上できる。

【００２９】一方、監視エリアに侵入した侵入者が一時
的に移動を停止しているような場合、この侵入者の画像
が背景化されることがある。本発明では、かかる場合
に、後述するモード処理によって、侵入者を見失うこと
がないように工夫している。

【００３０】差分画像作成部1500は、画像入力処理部50
0で処理された入力画像Ｆｉを入力し、背景画像作成部1
000による背景画像との画素毎の差分を行い（背景差
分）、差分画像を作成する。

【００３１】図５は、変化領域抽出部2000の内部機能の
一例を示すブロック図である。輝度頻度分布算出部2100
は、差分画像作成部1000で作成した差分画像の輝度頻度
分布を算出する。この輝度頻度分布から、２値化しきい
値算出部2500は差分画像の２値化しきい値をモード法等
の汎用的な手法で算出する。２値画像作成部2600は、算
出されたしきい値で２値化処理して２値画像を作成す
る。微小面積除去部2800は、検知対象に不適切な微小面
積除外のフィルタリングや膨張・収縮等を行ってノイズ
を除外して変化領域の２値画像を作成する。

【００３２】図６は、物体候補検出部3000の内部機能の
一例を示すブロック図である。抽出領域統合部3100は、
変化領域抽出部2000で作成した２値画像の大きさが画面
全体の大部分（例えば７〜８程度以上）に及ぶ場合、照
度変動等による外乱として判定して除外する。上述のよ
うに、背景画像作成部1000でも画面の大部分が変化して
いる場合は、現画像で置き換えた背景画像としているの
で、統合部3100の除外判定が誤まる心配はない。

【００３３】それ以外の場合に、抽出領域統合部3100は
抽出した２値画像に対してラベル画像を作成し、ラベル
間の距離が所定距離以内のラベルか否か判定し、所定距
離以内でかつ所定距離以内のラベル群の外接矩形が所定
サイズか否か判定し、所定サイズ以内のラベル群を統合
する。

【００３４】外接矩形算出部3300は、統合したラベル群
の外接矩形領域を算出する。外接矩形領域類似度算出部
3500は、入力画像間（又は背景画像と入力画像間）で、
いずれか一方の画像の外接矩形領域をテンプレートパタ
ーンとし、もう一方の画像に対し外接矩形領域とほぼ同
一位置（拡張サイズは±1画素以下）で正規化相関を行
う。正規化相関における類似度の算出は数１の正規化相
関処理による。

【００３５】

【数１】

【００３６】即ち、登録テンプレートパターンと対象画
像の明るさを正規化して明るさの差を求める。この正規
化相関処理は、例えば、論文「車番認識システムの濃淡
パターンマッチング処理の応用（情報処理学会第49回全
国大会、平成6年後期）」に記載のものである。

【００３７】数１の演算をマッチング領域全体にわたっ
て実行し、類似度を算出する。物体候補判定部3700は、
数１により算出した類似度が所定値以下の場合、物体候
補と判定し、それ以外の場合、外乱として除外する。

【００３８】図７は、抽出領域統合部3100の抽出領域の
統合処理の手順を示すフロー図である。ステップ3110
は、２値画像のラベリングを行い、１〜Lnまでのラベル
をつけると、Lnが総ラベル数となる。総ラベル数Lnを繰
り返すため、ステップ3120で処理対象のラベル番号を初
期化（ｉ＝０）する。次に、ステップ3130で、ラベル番
号ｉを一つ大きくして、ステップ3140で、全てのラベル
が終了したか否かチェックする。終了しない場合、ｉ番
目のラベルに対し、ステップ3150以降の処理を行う。

【００３９】ステップ3150で、ｉ番目のラベルに対し、
重心（中心）座標を算出する。ステップ3160で、ｉ番目
のラベルとｉ＋１〜Ln番目のラベル間重心（中心）のＸ
方向とＹ方向の距離が許容範囲か否かチェックする。許
容範囲でない場合、ステップ3130へ戻る。許容範囲以内
の場合、ステップ3170で、許容範囲のラベルの外接矩形
の大きさが所定の大きさの範囲（許容範囲）以内か否か
チェックする。外接矩形が許容範囲でない場合、新たな
統合領域生成処理のためステップ3130へ戻る。許容範囲
以内の場合、ステップ3180で、許容範囲以内のラベル全
てをｉ番目のラベルに加え、加えたラベルを抹消する。
ステップ3190でｉ〜Ln番目のラベルについて、昇順にソ
ートすると、ステップ3130へ戻り、新たなｉ番目から統
合領域生成処理を行う。これにより、次々と距離と外接
矩形の許容範囲以内のラベル群が統合されていく。

【００４０】ここで、Ｘ方向とＹ方向の距離の許容範囲
は、例えば、物体が縦に長い人物の場合、Ｘ方向よりＹ
方向の距離やを大きくしたり、または、物体が横に長い
場合、Ｙ方向よりＸ方向の距離を大きくしたりして設定
する。外接矩形の許容範囲も同様であり、いずれにして
も、どこまでの範囲を統合するかにより、検知対象物体
に追随して適切に設定すればよい。

【００４１】図８は、外接矩形算出部3300の外接矩形を
算出する手順の説明図である。抽出領域統合部3100で統
合されたラベル群は、同一ラベル番号を有するため、該
ラベル群のみ抽出すると、ラベルa3310、ラベルb3320、
ラベルc3330、ラベルd3340、ラベルe3350、ラベルf336
0、ラベルg3370が抽出される。これらのラベルに対し
て、外接している矩形を外接矩形3400として算出する。

【００４２】図９は、外接矩形領域類似度算出部3500が
物体候補を判定する一例を示す説明図である。外接矩形
領域3400は背景差分に基づく変化領域であり、現入力画
像における変化領域（移動物体領域）である。物体候補
は、直前の入力画像（又は背景画像）で、外接矩形3400
内部に存在していない。即ち、直前の入力画像（又は背
景画像）3510における外接矩形領域3400は、背景シーン
であり、現入力画像3530における外接矩形領域3400は、
物体候補を含むシーンである。直前の入力画像（又は背
景画像）と現入力画像間では、外接矩形領域3400を比較
して相関を行うと、直前の入力画像（又は背景画像）が
大部分隠れるため、類似度がかなり小さくなる。これに
より、現入力画像における物体候補の存在を判定する。

【００４３】図１０は、外接矩形領域類似度算出部3500
の処理の手順を示すフロー図である。ステップ3510は、
現入力画像に対し、統合領域の外接矩形算出部で算出し
た外接矩形領域の濃淡画像をテンプレートパターンとし
て登録する。ステップ3520は、直前の入力画像（又は背
景画像）に対し、ステップ3510とほぼ同一位置の外接矩
形領域をパターンマッチング領域として設定する。ステ
ップ3530は、ステップ3510で登録したパターンとの濃淡
パターンマッチングを行い、数１により類似度を算出す
る。

【００４４】ステップ3540は、算出した類似度が所定値
以上か否か判定する。類似度が所定値未満の場合は背景
と類似していないため、ステップ3550で物体候補と判定
する。類似度が所定値以上の場合は背景と類似している
ため、ステップ3560で外乱と判定する。ステップ3570
は、生成した外接矩形領域が全て終了したか否か判定
し、終了していない場合、ステップ3510へ戻る。

【００４５】図１１は、物体候補追跡部4000の内部機能
の一例を示すブロック図である。物体候補領域中心算出
部4300は、統合領域の外接矩形における中心（又は重
心）を算出する。移動距離算出部4400は対象となる外接
矩形中心（又は重心）から、直前に抽出した統合領域の
外接矩形における中心（又は重心）までの距離を算出す
る。物体候補領域対応部4500は対象となる中心（又は重
心）から、直前に抽出した統合領域における最も近い距
離にある物体候補矩形と対応させる。物体検知部4700
は、物体候補領域対応部4500で対応させた対応矩形間の
距離から、物体候補の状態をモード分けし、モードに従
った追跡を行って移動物体を検知する。

【００４６】図１２は、外接矩形の中心を算出する手順
を示す説明図である。通常状態の移動物体として抽出し
た外接矩形3400の中心4310は、Ｘ方向の長さ4330の中点
とＹ方向の長さ4340の中点の交点とする。

【００４７】図１３は、物体候補領域対応部4500が直前
物体候補領域と現物体候補領域を対応する手順の説明図
である。物体候補検出部3000で抽出した外接矩形が、直
前時刻に抽出された複数の外接矩形4402、外接矩形440
3、外接矩形4404と、現時刻に抽出された外接矩形4401
（ここでは、説明を簡単にするため１つのみ示す）とす
る。物体候補領域中心算出部4300が、現時刻の外接矩形
4401の中心4410と、直前時刻の外接矩形4403の中心443
0、外接矩形4402の中心4420、外接矩形4404の中心4440
を算出し、移動距離算出部4400が現時刻の中心4410か
ら、直前時刻の中心4430までの距離4451、直前時刻の中
心4420までの距離4450、直前時刻の中心4440までの距離
4452を算出する。

【００４８】物体候補領域対応部4500はこれら矩形間の
距離のうち、最も小さくかつ現時刻の外接矩形4401の内
部にその中心が存在しない外接矩形を対応させる。従っ
て、外接矩形4403が条件を満足する。一方、現時刻の外
接矩形4401の内部にその中心が存在する外接矩形4402
や、外接矩形4401から最も距離が大きい外接矩形4404は
対応させない。

【００４９】ここで、現時刻の外接矩形4401の内部に中
心が存在する直前時刻の外接矩形4402は、照明の点滅や
旗の揺れなどの停止状態の物体であり、内部に中心が存
在するかの判定によって、これらノイズの除外ができ
る。また、現時刻の外接矩形4401から距離が大きい外接
矩形4404は、高速移動の飛来物や遠く離れて突然発生す
る外乱等の可能性が大きく、これらの除外もできる。

【００５０】図１４は、物体候補追跡部4000における物
体検知部4700の追跡手順を示すフロー図で、１個の外接
矩形に対して物体追跡を行う例を示している。ステップ
4710は、候補物体の追跡用パラメータである追跡カウン
タＴＣや消失カウンタＬＣと、判定のためのしきい値の
初期設定を行う。

【００５１】追跡カウンタＴＣは候補物体の移動の検出
回数で初期値は０である。消失カウンタＬＣは候補物体
を見失った場合、既出現の候補物体を保持して再現を待
つ保持時間を可変するパラメータで、初期値は０または
任意（例えばＬＣ＝１０）とする。追跡カウンタＴＣの
しきい値１は、物体候補を物体と検知するまでの移動の
検出回数で、検出の精度と検出までの所要時間から任意
に設定される。移動距離のしきい値２は、監視対象の物
体（人物）に比べ移動の速い物体を除外できるように、
例えば、人物の移動速度を基準にして、任意に設定す
る。

【００５２】まず、ステップ4712で、処理対象画像を取
り込む。ステップ4714は、現候補物体（背景差分により
抽出された外接矩形）が存在するか否かチェックし、存
在しない場合はステップ4850を、存在する場合は、ステ
ップ4720を行う。

【００５３】ステップ4850は消失モードで、現候補物体
が消失した状態として、ステップ4860の処理を行う。ス
テップ4860は、現候補物体の直前時刻の状態をチェック
し、直前時刻の状態も消失モードの場合には、ステップ
4900で消失カウンタＬＣから１を減算し、ステップ4910
でＬＣ＞０かチェックする。ＬＣ≦０の場合には、ステ
ップ4920でＴＣ＝０にして、保持していた物体候補を廃
棄し、ステップ4712の処理へ戻る。ステップ4860のチェ
ックで、現候補物体の直前時刻の状態が停止モードの場
合は、ステップ4890で消失カウンタＬＣを算出、また、
移動モードの場合は、ステップ4870で消失カウンタＬＣ
を算出し、ステップ4712の処理に戻る。

【００５４】ステップ4890における消失カウンタＬＣ
は、例えば、追跡カウンタＴＣの２乗を10倍した値で、
停止モード（同一場所）から物体を消失した場合、つま
り移動が遅い物体を検知しやすいように、保持時間をや
や延長する値にしている。一方、ステップ4870は移動モ
ードから物体を消失した場合で、移動が速い物体を検知
しにくいように、保持時間をやや短縮するようにＬを算
出している（例えば、ＴＣの２乗を２倍する）。

【００５５】ステップ4714で処理画像に現候補物体が存
在する場合、ステップ4720は、追跡カウンタＴＣ＝が０
であるか判定する。ＴＣ＝０の場合は、追跡処理の最初
に検出された候補物体（新規出現）なのでステップ4730
へ進み、現物体候補の状態を移動モードとして、追跡カ
ウンタＴＣを１とする。また、新規出現の候補物体の中
心をＳＰとし、ステップ4712の処理に戻る。このＳＰ
は、以下の追跡の開始点となる。

【００５６】ＴＣ≠０の場合は、既出現であるのでステ
ップ4740へ進み、現候補物体の外接矩形の中心と既出現
の直前候補物体の外接矩形の中心との距離が最小の物体
候補の外接矩形と対応させる。ステップ4760は、対応し
た直前時刻の候補物体の中心（重心）が、現時刻の候補
物体（外接矩形）の範囲内か否か判定する。範囲内であ
れば、現候補物体は停止状態であり、ステップ4760で現
候補を停止モードとし、ＴＣはそのままとして、ステッ
プ4810に進む。一方、範囲外であれば、現候補物体は移
動状態であり、ステップ4760で現候補を移動モードと
し、ステップ4800でＴＣに1を加算して、ステップ4810
に進む。

【００５７】ステップ4810は、追跡カウンタＴＣがしき
い値１以上であるか判定し、しきい値１未満であると、
ステップ4712へ戻る。しきい値１以上の場合は、ステッ
プ4815に進み、現候補物体（外接矩形）の中心と追跡開
始位置ＳＰとの距離を求め、その距離がしきい値２以上
か判定する。しきい値２未満の場合は、ステップ4890で
ＬＣを算出する。候補物体が移動モードから停止モード
へ遷移したので、保持時間であるＬＣの値を大きくし
て、ステップ4712へ戻る。

【００５８】一方、ステップ4815でしきい値２以上の場
合は、ステップ4820で、物体の検知を表示制御部6000に
出力し、ステップ4830で、消失カウンタＬＣと追跡カウ
ンタＴＣを初期化して、追跡処理を終了する。あるい
は、ステップ4712へ戻り、次の追跡処理に備える。

【００５９】このように、本実施例の追跡処理による物
体検知は、追跡中の候補物体の出現確認シーン数が所定
回以上、かつ、最初の出現位置から一定距離以上移動し
ている場合に、追跡した候補物体を監視対象の侵入物体
とみなす。

【００６０】また、候補物体の動きが極めて遅くなった
り、停止した場合、変化のない領域とみなされ、背景画
像に組み込まれて消失してしまう。しかし、本実施例で
は、移動、停止、消失の状態遷移に応じたモード制御に
より、消失した対象の候補物体の保持時間を可変設定し
ながら追跡を継続するので、この保持時間中に再び対象
候補が移動すると、その出現シーンから追跡を再開でき
る。これにより、保持時間を長くすれば侵入者が立ち止
まる行動にも十分に追随でき、また、保持時間を短くす
れば人に比べ高速移動する監視対象外の物体や外乱の除
外が可能になり、精度の高い監視が可能になる。

【００６１】一方、候補物体が複数存在することもあ
る。その場合、外接矩形が複数存在するので、１個の外
接矩形に対して物体追跡を行う処理を、複数回数繰り返
せばよい。しかし、候補物体が複数存在すると、現候補
物体の外接矩形中心から、直前候補物体の外接矩形中心
までの距離のうち、最も小さくかつ現候補物体の外接矩
形の内部に中心が存在しない直前候補物体の外接矩形を
対応させる場合に、物体の取り違えを発生することがあ
る。しかし、複数の候補物体は無関係でない場合が多
く、仮に取り違えたとしても、まず、全体的に見て移動
物体の検知ができればよく、大きな問題ではない。

【００６２】図１５は、表示装置7000に表示した物体検
知の表示例を示す。物体検知、ここでは人物6200を検知
すると、表示制御部6000は格納している検知物体の外接
矩形位置を読み出し、表示装置7000の現入力画像に重ね
て外接矩形枠6300を表示する。これにより、人物監視の
場合、表示装置7000上で人物及び追跡による検知情報
（外接矩形枠）をオンラインに把握できる。

【００６３】上記実施例では、監視装置本体２０の表示
制御部6000から検出結果を出力し、本体２０と併設して
いる表示装置7000で監視する構成を説明した。しかし、
この構成に限られるものではなく、複数の監視装置本体
１０（または２０）から送信される検出結果を、遠隔の
監視センタ等に配置された表示装置で集中監視する構成
も可能である。

【００６４】図１６は、他の実施例による移動体監視装
置のシステム構成を示す。本構成による監視装置は、電
話線等の通信回線7020によって結ばれた監視装置本体１
０と表示装置本体7010からなる。または、監視装置本体
２０’とＩＴＶカメラ100及び表示装置本体7010から構
成してもよい。なお、図１と同等の要素には同一の符号
を付して説明を省略する。

【００６５】表示装置本体１０は監視センタに設置さ
れ、監視装置本体１０を呼び出して監視結果を受信し、
検知物体の画像、検知位置、日時などのデータを格納し
て監視画像を編集する表示制御部6000と、リアルタイム
または必要時に監視画像を表示する表示装置7000からな
る。なお、検出結果の表示編集機能を図１と同様に監視
装置本体１０に残し、表示装置本体7010では送受信と画
像変換の機能を持つ構成としてもよい。

【００６６】

【発明の効果】本発明によれば、検出した現候補物体と
直前の複数の候補物体について、物体領域（矩形枠）の
重心（中心）間のうち、最も近い候補物体どうしを対応
させ、対応候補間の距離が一定以上の移動状態の追跡が
所定回以上繰り返され、かつ、初期候補からの移動距離
が所定しきい値を越える場合に、移動物体と検知するの
で、少ない追跡回数で高速に通過するような候補や外乱
が除外され、人物のような移動物体の検出精度を向上で
きる効果がある。

【００６７】また、対応候補間の距離から候補物体の動
きを移動、停止、消失の３状態にモード分けし、モード
に応じた追跡処理を行う。候補間距離が一定以上を移動
モード、未満を停止モード、候補物体が見つからない状
態を消失モードとし、消失モードでは現在の追跡回数と
モード遷移によって算出する保持時間の間、直前の候補
物体を保持して追跡を保留するので、候補が再び移動を
始めると、直ちに追跡を開始する。保持時間は停止モー
ドから遷移した場合は長く、移動モードから遷移した場
合は短く設定されるので、動きの遅い侵入者が背景画像
化されて一時的に消失しても、見逃すことがない。ま
た、移動から急に消失するような動きの速い外乱に対し
ては、追跡が短時間に打ち切られる。これらにより、侵
入者の挙動に適した追跡が可能になり、検出精度を一層
向上できる効果がある。

【００６８】さらに、本発明では変化領域が画面の大半
に及んだとき、変化領域ないし候補物体を廃棄するの
で、照度変動等による外乱を除外できる効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例による移動物体監視装置の機
能ブロック図である。

【図２】本発明の移動物体監視装置の作用を示す説明
図。

【図３】画像入力処理部の内部機能の一例を示すブロッ
ク図。

【図４】背景画像作成部の機能と処理を示す説明図。

【図５】変化領域抽出部の内部機能の一例を示すブロッ
ク図。

【図６】物体候補検出部の内部機能の一例を示すブロッ
ク図。

【図７】抽出領域統合部の統合処理の手順を示すフロー
図。

【図８】外接矩形算出部の外接矩形を算出する手順を示
す説明図。

【図９】外接矩形領域類似度算出部が物体候補を判定す
る処理を示す説明図。

【図１０】外接矩形領域類似度算出部の処理手順を示す
フロー図。

【図１１】物体候補追跡部の内部機能の一例を示すブロ
ック図。

【図１２】外接矩形中心の算出のしかたを示す説明図。

【図１３】物体候補領域対応部の対応候補を求める手順
を示す説明図。

【図１４】物体候補追跡部の追跡処理の手順を示すフロ
ー図。

【図１５】物体検知結果の表示例を示す説明図。

【図１６】本発明の他の実施例による移動物体監視装置
のシステム構成図。

【符号の説明】

10，20，20'…監視装置本体、100…ITVカメラ、500…画
像入力処理部、1000…背景画像作成部、1500…差分画像
作成部、2000…変化領域抽出部、3000…物体候補検出
部、3100…抽出領域統合部、3300…外接矩形算出部、35
00…外接矩形領域類似度算出部、3700…物体候補判定
部、4000…物体候補追跡部、4300…物体候補領域中心算
出部、4400…移動距離算出部、4500…物体候補領域対応
部、4700…物体検知部、6000…表示制御部、7000…表示
装置、7010…表示装置本体、7020…通信回線。

───────────────────────────────────────────────────── フロントページの続き (72)発明者小林芳樹茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内 (72)発明者大田和久雄茨城県ひたちなか市稲田1410番地株式会社日立製作所映像情報メディア事業部内 (72)発明者佐久間喜郎東京都三鷹市下連雀六丁目11番23号セコム株式会社内Ｆターム(参考） 5C054 AA01 AA05 CA04 CC03 EA01 EA05 EF06 FC12 FC13 HA18 5C084 AA02 AA07 BB04 BB34 CC16 DD11 GG19 GG42 GG43 GG46 GG54 GG78

Claims

【特許請求の範囲】

【請求項１】監視エリアの画像を取り込むＩＴＶカメ
ラ等の撮像手段と、取り込み画像を画像処理して監視エ
リアの移動物体を検出する画像処理手段と、検出した結
果を出力する出力手段を備えた移動物体監視装置におい
て、前記画像処理手段は、画像間の差分から抽出した変化領
域を候補物体とし、今回の画像による現候補物体と直前
の画像による候補物体との距離が所定値以上となる移動
状態が所定回数（しきい値１）以上、かつ、最初の候補
物体の位置から現候補物体までの移動距離が所定距離
（しきい値２）以上となるとき、当該候補物体を監視対
象の移動物体と判定する機能を有してなることを特徴と
する移動物体監視装置。
【請求項２】請求項１において、前記画像処理手段は、直前の候補物体が複数ある場合
に、その中心が現候補物体と重ならない候補物体で、か
つ現候補物体に最も近い候補物体を対応させることを特
徴とする移動物体監視装置。
【請求項３】監視エリアの画像を取り込むＩＴＶカメ
ラ等の撮像手段と、取り込み画像を画像処理して監視エ
リアの移動物体を検出する画像処理手段と、検出した結
果を出力する出力手段を備えた移動物体監視装置におい
て、前記画像処理手段は、画像間の差分から抽出した変化領
域を候補物体とし、今回の画像による現候補物体と直前
の画像の中で最も近い候補物体を対応させ、この対応候
補間の距離が所定値以上となる状態を移動モード、現候
補物体が存在しない状態を消失モードとし、移動モード
が所定回数（しきい値１）以上および／または最初の候
補物体の位置から現候補物体までの移動距離が所定距離
（しきい値２）以上となるとき、当該候補物体を監視対
象の移動物体と判定するとともに、前記消失モードの場
合に設定された保持時間までは前記候補物体を保持する
機能を有してなることを特徴とする移動物体監視装置。
【請求項４】請求項３において、前記対応候補間の距離が前記所定値未満となる状態を停
止モードとし、前記停止モードから前記消失モードに遷
移するときは、前記移動モードから前記消失モードに遷
移するときに比べて、前記保持時間を長く設定すること
を特徴とする移動物体監視装置。
【請求項５】監視エリアの画像を取り込むＩＴＶカメ
ラ等の撮像手段と、取り込み画像を画像処理して監視エ
リアの移動物体を検出する画像処理手段と、検出した結
果を出力する出力手段を備えた移動物体監視装置におい
て、現時点の入力画像（以下、現画像）と現時点に対し一定
周期前の画像（以下、直前画像）間の、画素毎の差分に
基づいて抽出した変化領域を候補物体とする候補物体検
出手段と、現画像による候補物体と直前画像による候補物体を対応
させ、この対応候補間の距離が所定値以上となる状態を
移動モード、所定値未満となる状態を停止モード、現画
像に対応する候補物体が存在しない状態を消失モードと
し、前記移動モードでの画像サンプリング回数が所定回
数（しきい値１）以上および追跡当初の候補物体の位置
から現在の候補物体までの移動距離が所定距離（しきい
値２）以上となるとき、当該候補物体を監視対象の移動
物体と判定し、また、前記消失モードでの画像サンプリ
ングの回数が消失許容値になるまで、前記直前画像を保
持し、前記許容値を越えると廃棄して追跡処理を打ち切
る候補物体検出手段と、前記移動モードでの画像サンプリング回数を計数する追
跡カウンタと、前記消失モードでの画像サンプリング数
を消失許容値から減算するもので、かつ、前記消失モー
ドが前記移動モードから遷移する場合の前記許容値よ
り、前記停止モードから遷移する場合の前記許容値を大
きく設定される消失カウンタと、を前記画像処理手段に
設けたことを特徴とする移動物体監視装置。
【請求項６】請求項５において、前記直前画像は背景画像であり、現画像と直前画像の差
分に基づいて、現画像で変化のほとんどない領域を背景
画像と置換して更新する、背景画像作成手段を設けてな
る特徴とする移動物体監視装置。
【請求項７】請求項６において、前記背景画像作成手段は、現画像と直前画像の差分に基
づく変化領域が画面の大部分に及ぶとき、現画像の全体
領域を背景画像と置換して更新する移動物体監視装置。
【請求項８】監視エリアの画像を取り込むＩＴＶカメ
ラ等の撮像手段と、取り込み画像を画像処理して監視エ
リアの移動物体を検出する画像処理手段を有する監視装
置本体と、前記監視装置本体による検出結果を伝送する
信号線と、前記信号線を経由して受信した検出結果を処
理する表示制御部を有する表示装置本体を備えた移動物
体監視装置において、前記画像処理手段は、画像間の差分から抽出した変化領
域を候補物体とし、今回の画像による現候補物体と直前
の画像による候補物体との距離が所定値以上となる移動
状態が所定回数以上、かつ、最初の候補物体の位置から
現候補物体までの移動距離が所定距離以上となるとき、
当該候補物体を監視対象の移動物体と判定する機能を有
してなることを特徴とする移動物体監視装置。