JP2001060269A - 物体追跡方法及び物体追跡装置 - Google Patents

Abstract

(57)【要約】 【課題】テンプレートマッチングを用いた物体追跡方法
では、対象物体が一時的に遮蔽物の陰に隠れたり、別の
移動物体があったりした場合に、逐次更新するテンプレ
ート画像に別の画素が写込み、横取り現象を起こし、正
確な物体追跡ができない。 【解決手段】時刻の異なる複数のテンプレート画像を保
存し、それら複数のテンプレート画像それぞれについ
て、マッチング処理を行い、その中で最大の一致度をも
つテンプレート画像に基づいて、物体追跡とテンプレー
ト画像の位置補正を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置を用いた
監視装置に係り、特に撮像視野内に侵入した物体を、撮
像装置から入力する映像信号の中から自動的に検出し、
検出した物体の動きを自動的に追跡するようにした物体
追跡方法と、検出した物体の動きに応じて撮像方向を調
節するようにした物体追跡装置に関する。

【０００2】

【従来の技術】カメラ等の撮像装置を用いた映像監視装
置は、従来から広く用いられている。しかし、このよう
な映像監視装置を用いた監視システムにおいて、その監
視視野内に入り込んでくる人間や自動車などの侵入物体
の検出及び追跡を、監視員がモニタに表示される画像を
見ながら行なう有人監視ではなく、カメラ等の画像入力
手段から入力される画像から侵入物体を自動的に検出
し、その動きを自動的に追跡するようにし、所定の報知
や警報処置が得られるようにしたシステムが要求される
ようになってきている。

【０００３】このようなシステムを実現するためには、
まず、差分法などによって視野内の侵入物体を検出す
る。差分法とは、テレビジョンカメラ（以下、TVカメラ
と称する）等の撮像装置により得られた入力画像と、予
め作成した基準背景画像、即ち、検出すべき物体の写っ
ていない画像とを比較し、画素毎に輝度値の差分を求
め、その差分値の大きい領域を物体として検出するもの
である。このようにして検出された侵入物体の位置に相
当する入力画像の部分画像をテンプレートとして登録
し、逐次入力される画像の中でテンプレート画像と一致
度が最大となる位置を検出する。この方法は、テンプレ
ートマッチングと呼ばれ広く知られ、例えば、１９８５
年に総研出版より出版された田村秀行氏監修による『コ
ンピュータ画像処理入門』と題する書籍のP149〜P153で
解説されている。通常、テンプレートマッチングを用い
て対象物体を追跡する場合、対象物体の姿勢の変化に追
従するため、マッチング処理によって検出された対象物
体の位置の画像を新たにテンプレートとして逐次更新す
る。これらの処理を図４〜図７によって説明する。

【０００４】図４は差分法を用いた侵入物体検出処理の
一例を表すフローチャート、図５はテンプレートマッチ
ングを用いた侵入物体追跡の一例を表すフローチャー
ト、図６は、図４と図５で表される侵入物体検出処理か
ら初期のテンプレート画像登録までの流れを画像の例に
よって説明するための図である。また図７は、図５で表
される侵入物体追跡処理の流れを画像の例を用いて説明
するための図であり、一定の時間間隔で入力された画像
が初期に与えられたテンプレート画像をもとにどのよう
に実行されていくか（初期のテンプレートがどのように
変化していくか）を説明する図である。

【０００５】図６で、601は入力画像、609は入力画像60
1中の人型の物体、602は基準背景画像、606は差分処理
部、603は差分処理部606において差分処理された後の差
分画像、610は人型の物体609に相当する差分画像603中
の人型の差分画像、607は二値化処理部、604は二値化処
理部607によって二値化処理された差分画像603の二値化
画像、611は人型の差分画像610に相当する二値化画像60
4中の人型物体（人型の二値化画像）、612は人型の二値
化画像611の外接矩形、608は画像抽出部、605は入力画
像601から外接矩形612の囲む領域をテンプレート画像と
して切出すことを説明する画像、613は入力画像601から
切出した初期テンプレート画像である。

【０００６】図４と図６において、まず、TVカメラから
例えば320×240画素の入力画像601を入力する（画像入
力ステップ401）。次に、差分処理部606において、入力
画像601と、予め作成した基準背景画像602との画素毎の
差分を計算し、差分画像603を取得する。この時、入力
画像601中の人型の物体609は差分画像603中に、人型の
差分画像610として現れる（差分処理ステップ402）。そ
して、二値化処理部607において、差分画像603の各画素
に対しての差分値が所定のしきい値以下の画素の値を
“0”、しきい値以上の画素の値を“255”（1画素を8ビ
ットとして）に置換えて、二値化画像604を得る。この
時、入力画像601に撮像された人型の物体609は、二値化
画像604中の人型物体611として検出され、人型物体611
の外接矩形612が生成される（二値化処理ステップ40
3）。次に物体存在判定ステップ404では、画像抽出部60
8において、二値化画像604中で画素値が“255”となっ
た画素のかたまりを検出し、画素値が“255”となる画
素のかたまりが存在する場合は物体検出処理を終了し存
在したかたまりの外接矩形に相当する入力画像に部分画
像を初期テンプレート画像613として後述の画像メモリ3
05（図３）に登録し、存在しない場合は画像入力ステッ
プ401へ分岐する。

【０００７】物体追跡処理の流れを図５に従って説明す
る。図５の物体検出処理ステップ101と初期テンプレー
ト登録ステップ102とにおいて、図４と図６で説明した
ように物体検出処理と初期テンプレート画像の登録がな
された後の処理について図７を用いて説明する。図４と
図６で説明した物体検出処理が終了した後は、図５に示
すフローチャートに従って物体追跡処理がなされる。図
７で、701aは時刻t0-1において更新された物体のテンプ
レート画像、701は時刻t0-1での入力画像におけるテン
プレート画像701aの位置を示す図、702は時刻t0での入
力画像、702aは時刻t0においてテンプレートマッチング
処理によって検出された物体の位置（テンプレート画
像）、702bは１フレーム前（t0-1）でのテンプレート画
像の位置、702cはテンプレートマッチング処理（例え
ば、図５のフローチャート）で探索する探索範囲、702d
は時刻t0-1からt0まで人型物体が移動した方向と軌跡を
表す移動矢印（例えば、テンプレート画像701aの中心位
置からテンプレート画像702aの中心位置へ向かう矢
印）、702eはテンプレートマッチング処理で人型物体を
検出した位置、703aは時刻t0で更新された物体のテンプ
レート画像、703は時刻t0での入力画像におけるテンプ
レート画像703aの位置を示す図、704は時刻t0+1での入
力画像、704aは時刻t0+1においてテンプレートマッチン
グ処理によって検出された物体の位置（テンプレート画
像）、704bは１フレーム前（t0）でのテンプレート画像
の位置、704cはテンプレートマッチング処理で探索する
探索範囲、704dは時刻t0-1からt0+1まで人型物体が移動
した方向と軌跡を表す移動矢印（例えば、テンプレート
画像701aの中心位置からテンプレート画像703aの中心位
置を経由して704aの中心位置へ向かう矢印）、705aは時
刻t0+1で更新された物体のテンプレート画像、705は時
刻t0+1での入力画像におけるテンプレート画像705aの位
置を示す図、706は時刻t0+2での入力画像、706aは時刻t
0+2においてテンプレートマッチング処理によって検出
された物体の位置（テンプレート画像）、706bは１フレ
ーム前（t0+1）でのテンプレート画像の位置、706cはテ
ンプレートマッチング処理で探索する探索範囲、706dは
時刻t0-1からt0+2まで人型物体が移動した方向と軌跡を
表す移動矢印（例えば、テンプレート画像701aの中心位
置からテンプレート画像703aの中心位置、テンプレート
画像705aの中心位置を経由して706aの中心位置へ向かう
矢印）、707aは時刻t0+2で更新された物体のテンプレー
ト画像、707は時刻t0+2での入力画像におけるテンプレ
ート画像707aの位置を示す図、708は時刻t0+3での入力
画像、708aは時刻t0+3においてテンプレートマッチング
処理によって検出された物体の位置（テンプレート画
像）、708bは１フレーム前（t0+2）でのテンプレート画
像の位置、708cはテンプレートマッチング処理で探索す
る探索範囲、708dは時刻t0-1からt0+3まで人型物体が移
動した方向と軌跡を表す移動矢印（例えば、テンプレー
ト画像701aの中心位置からテンプレート画像703aの中心
位置、テンプレート画像705aの中心位置、テンプレート
画像707aの中心位置を経由して708aの中心位置へ向かう
矢印）である。

【０００８】即ち、図５と図７において、物体追跡処理
が開始され、二値化画像604中に物体が存在すると判定
され、物体検出処理ステップ101を終了する（図４）。
そして、二値化画像604中の人型の二値化画像のかたま
りの外接矩形に相当する入力画像601の部分画像を、初
期テンプレート画像613（図７のテンプレート画像701
a）として画像メモリ305（図３）に登録する（初期テン
プレート登録ステップ102）。続いて、逐次入力される
入力画像中の探索範囲702c内でテンプレート画像701aと
一致度r(Δx,Δy)が最大となる部分画像702aを検出する
（テンプレートマッチッングステップ103）。即ち、テ
ンプレートマッチッングステップ103では、最大一致度
と、その最大一致度が求められた位置とを得る。

【０００９】この一致度r(Δx,Δy)を算出する方法とし
て、例えば以下の式(1)で得られる正規化相関と呼ばれ
る指標を用いることができる。

【数１】

【００１０】ここで、入力画像702に対してテンプレー
トマッチングを行なった場合、f(x,y)は入力画像702、f
_t(x,y)はテンプレート画像701a、（x₀,y₀）は登録した
テンプレート画像701aの左上の座標（画像は左上を原点
としている）、D_tはテンプレートの探索範囲702cを表
し、探索範囲702c内にテンプレート画像701aとまったく
同じ画素値を持つ画像が存在した場合には、一致度r(Δ
x,Δy)は“1.0”となる。テンプレートマッチングステ
ップ103では、この式(1)で表される指標を(Δx,Δy)∈D
で表される探索範囲702cに対して計算し、その中で一致
度r(Δx,Δy)が最大となる位置（外接矩形）702aを検出
する。この探索範囲702cは、対象物体の見かけの移動量
によって決定される。例えば、速度40km/hで移動する物
体を、50m離れたTVカメラ（素子サイズ6.5mm×4.8mmのC
CD、焦点距離25mmのレンズ、入力画像サイズ320×240画
素（pix）。処理間隔0.1frame/sec）で監視する場合、
水平方向の物体の見かけの移動量は27.4pix/frame、垂
直方向は27.8pix/frameとなり、Dを-30pix＜Δx＜30pi
x,-30pix＜Δy＜30pix程度に設定すればよい。尚、一致
度の算出方法は上述の正規化相関の指標に限られるもの
ではない。例えば、入力画像とテンプレート画像間で各
画素毎の差をとって、その絶対値の累積値の逆数を一致
度としてもよい。

【００１１】次に、最大一致度判定ステップ104では、
テンプレートマッチングステップ103において、テンプ
レート画像701aと一致度が最大となる入力画像702の位
置に、物体が移動した（外接矩形702bから外接矩形702a
に移動した）と判断したあと、次に、最大一致度が所定
値以下に低下した場合（例えば“0.5”未満）、入力画
像中に対象物体がいなくなったものとして、物体検出処
理ステップ101へ分岐し、最大一致度が所定値以上であ
った場合（例えば“0.5”以上）は、テンプレート更新
ステップ106へ分岐する。テンプレート更新ステップ106
では、入力画像中の探索範囲702c内でテンプレート画像
701aと一致度r（△x,△y）が最大となる部分画像702aを
使ってテンプレート画像701aをテンプレート画像703aに
更新する。ここで、テンプレート画像を更新する理由
は、対象物体の姿勢が変化（例えば、対象物体の人が手
を上げたり、腰を曲げたり、足を上げたりして画像が変
化）し、テンプレート画像を更新しないと一致度が低下
してしまい、追跡結果の信頼性が低下するためである。
従って、検出された物体の位置の部分画像702eを新たな
テンプレート画像703aとして更新し、対象物体が姿勢を
変えた場合でも安定な追跡を行なうようにしている。

【００１２】上述の実施例では、差分法によって検出し
た侵入物体について作成したテンプレート画像は、検出
した画素のかたまりの外接矩形を取り込み、この外接矩
形に囲まれた部分画像をテンプレート画像として切出し
た。しかし、切出すテンプレート画像のサイズの決定方
法はこの方法に限らない。例えば、外接矩形に一定の定
数（例えば、0.8、または1.1等）を乗算してもよい。更
に、撮像素子としてCCD（Charge Coupled Device）を使
用した場合には、CCDのサイズ、レンズの焦点距離、CCD
から検出する物体の距離によって、対象とみなす物体の
大きさを予め算出できるので、算出した大きさをテンプ
レート画像サイズとすることもできる。

【００１３】次に、カメラ雲台制御ステップ107に移
る。図１０は入力画像とテンプレートマッチングで検出
された対象物体の位置との関係を説明するための図であ
る。図１０に言及して、カメラ雲台制御ステップ107に
ついて説明する。カメラ雲台制御ステップ107では、テ
ンプレートマッチングによって検出された対象物体の位
置と入力画像中央との変位、即ち、カメラの光軸（カメ
ラの視野方向）に対して対象物体が存在する方向に基づ
いてカメラ雲台302のパン・チルトモータを制御する。
つまり、テンプレートマッチングによって検出された対
象物体の中心位置（x₀＋△x＋dx/2,y₀＋△y＋dy/2）
（（dx,dy）はテンプレート画像の大きさを表す）と入
力画像の中心位置（160,120）（画像サイズを320×240
とする）とを比較し、検出された対象物体の中心位置が
入力画像の中心位置に対して左側に位置する場合は、カ
メラ雲台のパンモータをカメラの光軸方向が左に移動す
るように制御し、右側に位置する場合はカメラ雲台のパ
ンモータをカメラの光軸方向が右に移動するように制御
する。また、検出された対象物体の中心位置が入力画像
の中心位置に対して上側に位置する場合は、カメラ雲台
のチルトモータをカメラの光軸方向が上に移動するよう
に制御し、下側に位置する場合は、カメラ雲台のチルト
モータをカメラの光軸方向が下に移動するように制御す
る。尚、パンモータ、チルトモータは同時に制御可能
で、例えば、検出された対象物体の中心位置が入力画像
の中心位置に対して左上側に位置する場合は、カメラ雲
台のパンモータをカメラの光軸方向が左に移動するよう
に制御し、かつ、チルトモータをカメラの光軸方向が上
に移動するように同時に制御する。このようにすること
で、カメラの光軸上に対する対象物体を捉えるようにカ
メラ雲台を制御することが可能となる。次に、警報・モ
ニタ表示ステップ108では、例えば対象物体が所定の警
報を出す範囲に存在する場合に警報を鳴らしたり、監視
モニタに対象物体の画像を表示したりする。

【００１４】警報・モニタ表示ステップ108が終わる
と、画像入力ステップ401に戻り、新しい入力画像を得
て、この現時刻での入力画像に対して再びテンプレート
マッチッング処理を行う。即ち、時刻t0での入力画像70
2により更新したテンプレート画像703aと、時刻t0+1で
の入力画像704とによりテンプレートマッチング処理を
行う。この時、探索範囲704cは時刻t0で更新されたテン
プレート画像704bを中心とした位置に移動しており、新
しい探索範囲で検索が行われる。そして、最大の一致度
を持った物体が検出され、その検出された物体の位置70
4aを元に新しいテンプレート画像705aが生成される。以
上のように、対象物体が存在する間は、ステップ401，
ステップ103，ステップ104，ステップ106，ステップ10
7，ステップ108の処理を繰返し、新しいテンプレート画
像706a、708aと次々にテンプレート画像が更新されなが
ら、対象物体を追跡し続ける。

【００１５】前述のテンプレートマッチングを用いた侵
入物体の追跡法では、入力画像中でテンプレート画像と
一致度が最大となる部分を検出する処理であるため、一
時的に対象物体が物陰などに隠れると対象物体を見つけ
られなくなる。また、視野内に複数の動く物体（動物
体）が存在する場合で、対象物体が別の動物体の背後に
隠れてしまう場合、テンプレート画像の更新を行うと、
対象物体の前面にある物体をテンプレート画像として更
新してしまい、対象物体の追跡ができなくなる。

【００１６】対象物体の追跡ができなくなる一例を図８
を用いて説明する。図８は、侵入物体追跡処理の流れを
画像の例を用いて説明するための図であり、複数の動物
体が重なって撮像された場合の追跡状態を説明する図で
ある。801aは時刻t0-1において更新された物体のテンプ
レート画像、801は時刻t0-1での入力画像におけるテン
プレート画像801aの位置を示す図、802は時刻t0での入
力画像、802aは時刻t0においてテンプレートマッチング
処理によって検出された物体の位置、802bは時刻t0に撮
像された別の動物体、803aは時刻t0でのテンプレート画
像、803は時刻t0での入力画像におけるテンプレート画
像803aの位置を示す図、804は時刻t0+1での入力画像、8
04aは時刻t0+1においてテンプレートマッチング処理に
よって検出された物体の位置、804bは時刻t0+1に撮像さ
れた別の動物体、805aは時刻t0+1で更新された物体のテ
ンプレート画像、805は時刻t0+1での入力画像における
テンプレート画像805aの位置を示す図、806は時刻t0+2
での入力画像、806aは時刻t0+2においてテンプレートマ
ッチング処理によって検出された物体の位置、806bは時
刻t0+2に撮像された別の動物体、807aは時刻t0+2で更新
された物体のテンプレート画像、807は時刻t0+2での入
力画像におけるテンプレート画像807aの位置を示す図、
808は時刻t0+3での入力画像、808aは時刻t0+3において
テンプレートマッチング処理によって検出された物体の
位置、808bは時刻t0+3に撮像された別の動物体である。

【００１７】図８においては、時刻ｔ1-1で差分法によ
って検出された追跡対象物である人型の物体のテンプレ
ート画像801aをもとに、逆方向から歩いてくる別の人型
物体と交差する時の追跡処理がどのように実行されてい
くかを説明している。時刻t1では、登録したテンプレー
ト画像801aを用いて入力画像802についてマッチング処
理を行ない、対象物体の移動した位置802aを検出すると
共に、テンプレート画像801aを図803の位置にあるテン
プレート画像803aに更新する。この時、別の人型物体80
2bは離れているのでテンプレートマッチングでの交差の
問題は発生しない。しかし、時刻t1+1と時刻t1+2では、
別の移動物体804b，806bが対象物体の前を横切り、時刻
t1+1の入力画像804では何とか対象物体の位置804aは正
しい位置に認識できたが、時刻t1+2の入力画像806では
対象物体の位置806aは別の物体806bとほぼ重なっている
ため、どちらか分らなくなり、テンプレート画像805a，
807aと更新していく度に、前を横切った人型物体の画像
がテンプレート画像の中に入り込む。即ち、本来の対象
物体がテンプレート画像に占める割合より、別の動物体
がテンプレート画像に占める割合が大きくなる。そして
遂には、時刻t1+3では、前を横切った人型物体808bを対
象物体の位置808aとして認識してしまい、以降はこの別
の人型物体を追跡してしまうことになる。従って、テン
プレートマッチングを用いた物体追跡法は、対象物体の
前を別の物体が横切った場合には、対象としている物体
を追跡している保証ができず、安定な追跡が行なうこと
ができない。

【００１８】同様のことは、別の動物体が存在していな
くても起る。即ち、対象物体が遮蔽物の陰に隠れてしま
う場合である。この場合には、、テンプレート画像に占
める対象物体の割合が落ちるため、追跡がその時刻で終
了してしまうことになるか、または、テンプレート画像
が更新された時点で、対象物体と異なるテンプレート画
像に更新されてしまうため、次の時刻での追跡が困難と
なる。

【００１９】

【発明が解決しようとする課題】前述の従来技術には、
対象物体の前を相対的に別の物体が横切る場合には、正
確に追跡できない欠点があった。本発明の目的は、上記
のような欠点を除去し、対象物体の前を相対的に別の物
体が横切る場合にも、正確に物体を検出および追跡する
ことができる、信頼性の高い物体追跡方法を提供するこ
とにある。

【００２０】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の物体追跡方法は、撮像装置によって逐次
取得する入力画像から撮像視野内の物体を検出し、検出
した物体を追跡する物体追跡方法において、所定数のテ
ンプレート画像を保存及び更新する複数テンプレート保
存ステップと、現時刻に取得した入力画像と、所定数の
テンプレート画像それぞれとのテンプレートマッチング
を行い、所定数のテンプレート画像それぞれについて、
最大一致度と、その最大一致度が求められる位置とを取
得するマッチングステップと、マッチングステップによ
って取得した最大一致度の中で、最大一致度が一番大き
いテンプレート画像について最大一致度を求められる位
置を、検出物体の位置として補正する位置補正ステップ
と、現時刻に取得した入力画像の中から、位置補正ステ
ップによって補正された位置の部分画像を切出し、複数
テンプレート保存ステップによって、所定数のテンプレ
ート画像のいずれかを更新するテンプレート更新ステッ
プとを備えて、検出した物体を追跡する。

【００２１】また、本発明の物体追跡方法において、所
定数のテンプレート画像は、互いに異なった時刻の入力
画像から切出され、保持される。更に、テンプレート更
新ステップで更新されるテンプレート画像は、保持され
た所定数のテンプレート画像のうち、最も古い時刻に切
り出されたテンプレート画像であるか、または、一致度
が最も低いテンプレート画像である。

【００２２】更にまた、本発明の物体追跡方法におい
て、入力画像から差分法によって物体を検出し、検出し
た物体の少なくとも一部を含む入力画像の所定サイズの
部分画像を初期テンプレート画像として登録する初期テ
ンプレート登録ステップを備え、差分法によって検出し
た物体を追跡対象物体として、追跡を行なう。また、位
置補正ステップにおいて、取得した最大一致度すべてが
所定の値未満であれば、差分法によって、現時刻の入力
画像から物体を検出し、検出した物体を追跡対象物体と
して追跡する。

【００２３】更に本発明の物体追跡方法において、位置
補正ステップによって検出された位置に基づいて、撮像
装置の視野方向を変えるための制御信号を発生するカメ
ラ雲台制御ステップを有し、制御信号によって撮像装置
の視野方向を検出された位置に常に向けて、検出した物
体を追跡する。また、入力画像から差分法によって物体
を検出し、検出した物体の少なくとも一部を含む入力画
像の所定サイズの部分画像を前記テンプレート画像とし
て登録する初期テンプレート登録ステップを備え、差分
法によって検出した物体を追跡対象物体として、追跡を
行なう。

【００２４】また本発明の物体追跡装置は、監視対象範
囲を撮像する撮像装置と、撮像装置が取得した映像信号
を逐次画像信号に変換する画像入力インターフェース
と、画像入力インターフェースによって変換された画像
信号を処理する画像処理手段と、テンプレート画像とし
て登録された複数の画像を保存する手段とを備え、画像
処理手段は、撮像装置から現時刻に入力した画像信号
を、あらかじめ保存された複数のテンプレート画像それ
ぞれによってテンプレートマッチングを行ない、テンプ
レートマッチングによってそれぞれ得られた複数のテン
プレート画像それぞれの最大一致度の中で、一番大きな
最大一致度を得るテンプレート画像について取得する部
分画像の位置を検出物体の位置とし、同時に、検出物体
の位置の部分画像を新たなテンプレート画像として更新
することにより、撮像装置の撮像視野内に侵入した物体
を追跡する。

【００２５】また、本発明の物体追跡装置は、撮像装置
の視野方向を変えるための雲台と、画像処理手段によっ
て撮像装置の視野方向を変えるために雲台を制御するた
めの制御信号を供給する雲台制御インターフェースとを
備え、画像処理手段が、物体の現時刻の検出位置に基づ
いて、物体の方向を検出し、得られた方向から雲台制御
インターフェースを介して、撮像装置の視線方向を調節
し、撮像装置の撮像視野内に侵入した物体を追跡する。

【００２６】

【発明の実施の形態】本発明の物体追跡方法では、複数
の物体がすれ違うとマッチングの一致度が低くなる特徴
を利用し、テンプレートマッチングに使用するテンプレ
ート画像を追跡処理の過程で複数フレーム保持するよう
にし、異なる時刻に得られた複数のテンプレート画像そ
れぞれに対して独立にマッチングを行ない、最も一致度
が高いテンプレート画像に基づいて対象物体を追跡す
る。即ち、本発明は、差分法によって物体を検出し、検
出物体の画像をテンプレートとして所定フレーム数分保
持し、それぞれのテンプレートに対してテンプレートマ
ッチングを行ない、一致度が最大となるテンプレート及
びその位置を検出することで、特に対象物体の前を別の
物体が横切った場合でも安定に追跡をすることができ
る。

【００２７】図３に、本発明の各実施例に共通する物体
追跡装置のハードウエア構成の一例を示す。301はTVカ
メラ、303は画像入力I/F、313はデータバス、305は画像
メモリ、306はワークメモリ、307はCPU、308はプログラ
ムメモリ、302はカメラ雲台、304は雲台制御I/F、309は
出力I/F、310は画像出力I/F、311は警告灯、312は監視
モニタである。TVカメラ301は画像入力I/F303に接続さ
れ、カメラ雲台302は雲台制御I/F304に接続され、警告
灯311は出力I/F309に接続され、監視モニタ312は画像出
力I/F310に接続されている。画像入力I/F303、雲台制御
I/F304、画像メモリ305、ワークメモリ306、CPU307、プ
ログラムメモリ308、出力I/F309及び画像出力I/F310
は、データバス313に接続されている。また、TVカメラ3
01はカメラ雲台302に取付けられている。

【００２８】図３において、TVカメラ301は監視対象
（視野範囲）を撮像する。撮像された映像信号は、画像
入力I/F303からデータバス313を介して画像メモリ305に
蓄積される。CPU307はプログラムメモリ308に保存され
ているプログラムに従って、ワークメモリ306内で画像
メモリ305に蓄積された画像の解析を行なう。CPU307
は、処理結果に応じてデータバス313から雲台制御I/F30
4を介してカメラ雲台302を制御してTVカメラ301の撮像
視野を変えたり、出力I/F309を介して警告灯311を点灯
し、画像出力I/F310を介して監視モニタ312に、例えば
侵入物体検出結果画像を表示する。尚、画像メモリ305
は、登録されたテンプレート画像を保存しておくための
テンプレート画像保持装置をも備えている。

【００２９】以降に説明するフローチャートは、すべて
上記図３で説明した物体追跡監視装置のハードウエア構
成を使って説明する。本発明の第１の実施例を図１によ
って説明する。図１は本発明の一実施例の処理プロセス
を説明するフローチャートである。図１は図５で示した
テンプレートマッチング法の処理プロセスにテンプレー
ト位置補正ステップ105を追加したものである。ステッ
プ101、102、401、103、104、106、107、108について
は、図４と図５によって説明したものと同じであるので
説明を省略する。

【００３０】本発明の一実施例を図１によって説明す
る。図１は、本発明の処理プロセスの一実施例を表すフ
ローチャートである。図１は図５で説明した従来のテン
プレートマッチング法の処理プロセスにおいて、最大一
致度判定ステップ104とテンプレート更新ステップ106の
代りに、分岐ステップ201、最大一致度判定ステップ10
4′、テンプレート位置補正ステップ105、複数テンプレ
ート保存ステップ202とを置いて構成したものである。
ステップ101、102、401、103、107、108については、図
４と図５によって説明した従来技術のものと同じである
ので説明を省略する。

【００３１】図１において処理が開始されると、既に説
明した物体検出処理101からテンプレート登録ステップ1
02によって、時刻t0-1における入力画像から取得した画
像を時刻t0-1のテンプレート画像として登録し、画像入
力ステップ401で時刻t0における入力画像を取得した
後、テンプレートマッチング処理103に進む。次に、テ
ンプレートマッチング処理ステップ103では、保存され
た時刻t0-1のテンプレート画像と、時刻t0における入力
画像とテンプレートマッチング処理がなされる。そし
て、分岐ステップ201を通り、最大一致度判定ステップ1
04´に進む。

【００３２】分岐ステップ201では、保存されているす
べてのテンプレート画像すべてについてテンプレートマ
ッチング処理がなされているかどうかを調べる。そし
て、保存しているすべてのテンプレート画像とのテンプ
レートマッチング処理が終了している場合には最大一致
度判定ステップ104′に処理を進め、終了していない場
合には、テンプレートマッチッングステップ103に戻
る。

【００３３】そして、再びテンプレートマッチッングス
テップ103に戻った時、保存されているテンプレートは
時刻t0-2のテンプレートと時刻t0-1のテンプレートの２
つである（時刻は“+1”進んでいるため“-1”が加えら
れる）。ここで、テンプレートマッチッングステップ10
3では時刻t0の入力画像と、先ず時刻t0-1のテンプレー
トとのテンプレートマッチング処理がなされ、分岐ステ
ップ201に進む。今、時刻t0-1のテンプレートとのテン
プレートマッチング処理がなされたが、まだ時刻t0-2の
テンプレートが残っている。従って、この時はステップ
103に戻り、時刻t0-2のテンプレートと時刻t0の入力画
像とのテンプレートマッチング処理を行う。このように
して、次々と残っているテンプレートとテンプレートマ
ッチング処理を行い、すべてのテンプレートについてテ
ンプレートマッチング処理が終了すれば、分岐ステップ
201から処理ステップを最大一致度判定ステップ104´に
進める。

【００３４】最大一致度判定ステップ104´では、テン
プレートマッチング処理によって、複数のテンプレート
画像それぞれについてに得られた最大一致度の中から一
番大きな値を選ぶ。そして、その一番大きな値の最大一
致度が所定値以上であった場合にはテンプレート位置補
正ステップ105に進み、その一番大きな値の最大一致度
が所定値未満であった場合には物体検出処理ステップ10
1に戻る。

【００３５】複数テンプレート保存ステップ202では、
時刻t0の入力画像で検出された物体の中で、最大一致度
判定ステップ104´において一番値の大きい最大一値度
を得た位置の部分画像を切出して時刻t0のテンプレート
を新たに保存する。この時、既にテンプレート登録ステ
ップ102において登録された時刻t0-1のテンプレ−ト画
像はそのまま保存される。この複数テンプレート保存ス
テップ202で保存するテンプレート画像の数は、あらか
じめ所定数（例えば、“3”）を定めておき、所定数を
超える時は、例えば、一番古い時刻に取得したテンプレ
ートを削除する。

【００３６】次にカメラ雲台制御ステップ107に処理が
進み、カメラ301の視野方向（光軸方向）を対象物体の
方向に向ける。そして次に、警報・モニタ表示ステップ
108に処理が移り、例えば警報を鳴らしたり、例えば監
視モニタに対象物体の画像を表示したりする。警報・モ
ニタ表示ステップ108が終了すると、画像入力ステップ4
01に戻り、新しい入力画像を取得し、再びテンプレート
マッチッング処理を行う。

【００３７】上記の本発明の一実施例の効果について、
図２を用いて説明する。図２は、侵入物体追跡の流れ
を、画像の例を用いて説明するための図で、撮像視野内
に複数の動物体（人型物体）が重なって撮像された場合
の追跡状態を説明する図である。図８で説明した物体追
跡方法による物体追跡に比べるために、図８と同じ状況
設定である。なお、保存するテンプレートの数は2
（“テンプレートマッチングを行うフレーム数”= 2）
としている。

【００３８】901aは時刻t0-1において更新された物体の
テンプレート画像、901は時刻t0-1での入力画像におけ
るテンプレート画像901aの位置を示す図、902は時刻t0
での入力画像、902aは時刻t0においてテンプレートマッ
チング処理によって検出された物体の位置、902cは時刻
t0に撮像された別の動物体、903aは時刻t0でのテンプレ
ート画像、903は時刻t0での入力画像におけるテンプレ
ート画像903aの位置を示す図、904は時刻t0+1での入力
画像、904aは時刻t0+1においてテンプレートマッチング
処理によって検出された物体の位置、点線の矩形領域で
示された904bは１つ前の処理時刻（この場合はt0-1）の
テンプレート画像がマッチングした位置、904cは時刻t0
+1に撮像された別の動物体、905aは時刻t0+1で更新され
た物体のテンプレート画像、905は時刻t0+1での入力画
像におけるテンプレート画像905aの位置を示す図、906
は時刻t0+2での入力画像、906aは時刻t0+2においてテン
プレートマッチング処理によって検出された物体の位
置、点線の矩形領域で示された906bは１つ前の処理時刻
（この場合はt0）のテンプレート画像がマッチングした
位置、906cは時刻t0+2に撮像された別の動物体、907aは
時刻t0+2で更新された物体のテンプレート画像、907は
時刻t0+2での入力画像におけるテンプレート画像907aの
位置を示す図、908は時刻t0+3での入力画像、908aは時
刻t0+3においてテンプレートマッチング処理によって検
出された物体の位置、点線の矩形領域で示された908bは
１つ前の処理時刻（この場合はt0+1）のテンプレート画
像がマッチングした位置、908cは時刻t0+3に撮像された
別の動物体である。

【００３９】図８による追跡状況（本発明を適用しない
状況）、即ち、対象物体の時々刻々の検出位置の推移
は、直前の時刻に（１つ前のフレームで）取得したテン
プレート画像によって得られたマッチング位置であるの
で、図２において各時刻での入力画像902，904，906，9
08中の実線の矩形画像902a，904a，906a，908aが示して
いることになる。また、本発明の実施例による追跡状況
は、各時刻での入力画像904，906，908中の点線の矩形
画像904b，906b，908bである。

【００４０】入力画像904と906で見るように、複数物体
がすれ違った時刻（2つの物体が重なる時刻）にテンプ
レートの更新を行うと、テンプレート画像中に2つの物
体が写込んでしまう。このため、本来の追跡していた物
体の画素がテンプレート画像に占める割合が減少する。
従って、時刻t0の入力画像902ではまだすれ違っていな
いため追跡に問題はなく、追跡対象の小さい物体を追跡
している。また、時刻to+1における、別の動物体904cと
重なり始めた入力画像904では、作成されているテンプ
レート画像に、まだ別の動物体が写込んでいないため問
題とならないので追跡対象をまだ捉えているが、このマ
ッチング位置をもとに作成されるテンプレート画像905a
には別の動物体904cが写込んでいる。そしてまた、別の
動物体906cとほとんど重なっている入力画像906におい
ても、別の動物体904cが写込んでいる割合が大きいテン
プレート画像905aによってマッチングを行った場合の検
出位置906aと１フレーム前のテンプレート画像903aを用
いてマッチングを行った検出位置906bとは大きな位置ず
れはない。しかしこの時点で保存されるテンプレート画
像907aは大きい物体906cの画素がテンプレート画像に占
める割合が、本来の追跡していた物体の画素がテンプレ
ート画像に占める割合より大きくなるため、大きい物体
906cにテンプレート画像が横取りされ、時刻t0+2以降で
は、大きい物体908cを追跡してしまう。しかし本発明に
よる結果、以前から保存していたテンプレート画像905a
を使ってマッチングを行うため、検出位置908bは本来の
追跡対象物体を捉えることができる。

【００４１】上記のように、図１の実施例によれば、テ
ンプレートマッチングステップ103によって検出された
位置をもとに、異なる時刻に得られた所定フレーム数分
のテンプレート画像を独立にマッチングさせるため、対
象物体の前を別の物体が横切ったり、対象物体が一時的
に遮蔽物の影に隠れたとしても、過去の複数のテンプレ
ート画像を対象として、最大の一致度を持つ領域をテン
プレートマッチング位置として補正するため、テンプレ
ートの位置が対象物体からずれることがなく、また別の
物体を追跡することなく、対象物体を正確に追跡するこ
とができる。

【００４２】次に、本発明の第２の実施例を図９によっ
て説明する。図９は、本発明の処理プロセスの一実施例
を表すフローチャートである。図９は、図１で説明した
本発明の第１の実施例を表す処理プロセスにおいて、テ
ンプレートマッチングステップ103、分岐ステップ201、
最大一致度判定ステップ104′の代わりに、テンプレー
トカウンタリセットステップ991、テンプレートマッチ
ングステップ992、最大一致度判定ステップ993、カウン
タ増加ステップ994、分岐ステップ995とを置いて構成し
たものである。その他のステップ101、102、401、106、
107、108については、図１によって説明した実施例のも
のと同じであるので説明を省略する。

【００４３】図９において、処理が開始されると、既に
説明した物体検出処理101から初期テンプレート登録ス
テップ102によって、時刻to-1における入力画像から取
得した画像を時刻t0-1のテンプレートとして登録した
後、画像入力ステップ401に進み、新しい画像を得る。
次に、テンプレートカウンタリセットステップ991で
は、ワークメモリ306内に記憶されているテンプレート
カウンタの値iを1に変更する。続いて、テンプレートマ
ッチングステップ992では、保存された時刻t0-i（iは整
数）のテンプレート画像と、画像入力ステップ401によ
って得られた時刻t0の入力画像とテンプレートマッチン
グ処理を行なう。そして、最大一致度判定ステップ993
では、テンプレートマッチングステップ992によって得
られた最大一致度が所定値以上であった場合には複数テ
ンプレート保存ステップ106に進み、最大一致度が所定
値未満であった場合にはカウンタインクリメントステッ
プ994に進む。

【００４４】カウンタインクリメントステップ994で
は、ワークメモリ306内に記憶されているテンプレート
カウンタの値iに1を加算（ i=i+1 ）してテンプレート
カウンタの値を更新する。次に分岐ステップ995では、
ワークメモリ306内に記憶されているテンプレートカウ
ンタの値iが所定の値（例えば、5、この値は、何フレー
ム前までのテンプレート画像が保存されているかを表
す）以上になった場合には物体検出処理ステップ101に
戻り、所定の値未満であった場合にはテンプレートマッ
チングステップ992に戻る。

【００４５】図９の実施例のよれば、入力画像に対して
保存した複数のテンプレート画像を新しい順に（入力画
像を取得した時刻に近いテンプレート画像の順に）適用
して逐次テンプレートマッチング処理を行ない、一致度
が、所定の値以上となった場合にそのマッチング位置を
対象物体の存在する位置として判定する。従って、保存
したすべてのテンプレート画像に対してテンプレートマ
ッチング処理を行なわなくて済むため、テンプレートマ
ッチング処理に要する計算時間を最低限に抑えることが
できる。

【００４６】

【発明の効果】以上のように本発明によれば、監視視野
内に複数の動物体が存在したり、対象物体が遮蔽物の陰
に一時的に隠れる場合でも、安定に物体を追跡すること
ができ、撮像装置を用いた監視装置の適用範囲を大きく
広げることができる。

【図面の簡単な説明】

【図１】 本発明の一実施例の処理動作を説明するため
のフローチャート。

【図２】 本発明の物体追跡方法の一実施例を説明する
図。

【図３】 本発明が適用された監視装置の一実施例を示
すブロック構成図。

【図４】 従来の差分法による物体検出処理の一例を示
すフローチャート。

【図５】 従来のテンプレートマッチング法による物体
追跡処理の一例を示すフローチャート。

【図６】 従来の差分法による物体検出処理の動作を説
明する図。

【図７】 従来のテンプレートマッチング法による物体
追跡処理の動作を説明する図。

【図８】 従来のテンプレートマッチング法による物体
追跡処理の問題点を説明する図。

【図９】 本発明の処理プロセスの一実施例を表すフロ
ーチャート。

【図１０】 画像とテンプレートマッチングで検出され
た対象物体の位置との関係を説明するための図。

【符号の説明】

301：TVカメラ、 302：カメラ雲台、 303：画像入力I
/F、 304：雲台制御I/F、 305：画像メモリ、 306：
ワークメモリ、 307：CPU、 308：プログラムメモ
リ、 309は出力I/F、 310：画像出力I/F、 311：警
告灯、 312：監視モニタ、 313はデータバス、 60
1：入力画像、 602：基準背景画像、 603：差分処理
された後の差分画像、 604：二値化画像、 605：画
像、 606：差分処理部、 607：二値化処理部、 60
8：画像抽出部、 609：人型の物体、 610：人型の差
分画像、 611：人型の二値化画像、 612：外接矩形、
613：テンプレート画像、 701，703，705，707：画
像、 701a，703a，705a，707a：テンプレート画像、
702，704，706，708：入力画像、 702a，704a，706a，
708a：テンプレートマッチング処理によって検出された
物体の位置、 702b，704b，706b，708b：１フレーム前
でのテンプレート画像の位置、 702c，704c，706c，70
8c：探索範囲、 702d，704d，706d，708d：移動矢印、
702e：二値化画像、801：テンプレート画像801aの位
置を示す図、 801a：テンプレート画像、 802：入力
画像、 802a：テンプレートマッチング処理によって検
出された物体の位置、 802b：別の動物体、 803a：テ
ンプレート画像、 803：テンプレート画像803aの位置
を示す図、 804：入力画像、 804a：テンプレートマ
ッチング処理によって検出された物体の位置、 804b：
別の動物体、 805a：テンプレート画像、 805：テン
プレート画像805aの位置を示す図、 806：入力画像、
806a：テンプレートマッチング処理によって検出され
た物体の位置、 806b：別の動物体、 807a：テンプレ
ート画像、 807：テンプレート画像807aの位置を示す
図、 808：入力画像、 808a：テンプレートマッチン
グ処理によって検出された物体の位置、 808b：別の動
物体、 901：テンプレート画像901aの位置を示す図、
901a：テンプレート画像、 902：入力画像、 902
a：テンプレートマッチング処理によって検出された物
体の位置、 902c：別の動物体、 903：テンプレート
画像903aの位置を示す図、 903a：テンプレート画像、
904：入力画像、 904a：テンプレートマッチング処
理によって検出された物体の位置、904b：１つ前の処理
時刻のテンプレート画像がマッチングした位置、 904
c：動物体、 905：テンプレート画像905aの位置を示す
図、 905a：テンプレート画像、 906：入力画像、 9
06a：テンプレートマッチング処理によって検出された
物体の位置、 906b：１つ前の処理時刻のテンプレート
画像がマッチングした位置、 906c：別の動物体、 90
7：テンプレート画像907aの位置を示す図、 907a：テ
ンプレート画像、 908：入力画像、 908a：テンプレ
ートマッチング処理によって検出された物体の位置、
908b：１つ前の処理時刻のテンプレート画像がマッチン
グした位置、 908c：別の動物体、

Claims (10)

【特許請求の範囲】
1. 【請求項１】 撮像装置によって逐次取得する入力画像
   から撮像視野内の物体を検出し、該検出した物体を追跡
   する物体追跡方法において、 所定数のテンプレート画像を保存及び更新する複数テン
   プレート保存ステップと、 現時刻に取得した前記入力画像と、前記所定数のテンプ
   レート画像それぞれとのテンプレートマッチングを行
   い、前記所定数のテンプレート画像それぞれについて、
   最大一致度と、該最大一致度が求められる位置とを取得
   するマッチングステップと、 該マッチングステップによって取得した前記最大一致度
   の中で、最大一致度が一番大きいテンプレート画像につ
   いて前記最大一致度を求められる位置を、検出物体の位
   置として補正する位置補正ステップと、 前記現時刻に取得した入力画像の中から、前記位置補正
   ステップによって補正された位置の部分画像を切出し、
   前記複数テンプレート保存ステップによって、前記所定
   数のテンプレート画像のいずれかを更新するテンプレー
   ト更新ステップとを備え、 前記検出した物体を追跡することを特徴とする物体追跡
   方法。
2. 【請求項２】 請求項１記載の物体追跡方法において、 前記所定数のテンプレート画像は、互いに異なった時刻
   に前記入力画像から切出され、保持されることを特徴と
   する物体追跡方法。
3. 【請求項３】 請求項２記載の物体追跡方法において、 前記テンプレート更新ステップで更新されるテンプレー
   ト画像は、前記保持された所定数のテンプレート画像の
   うち、最も古い時刻に切り出されたテンプレート画像で
   あることを特徴とする物体追跡方法。
4. 【請求項４】 請求項２記載の物体追跡方法において、 前記テンプレート更新ステップで更新されるテンプレー
   ト画像は、前記保持された所定数のテンプレート画像の
   うち、一致度が最も低いテンプレート画像であることを
   特徴とする物体追跡方法。
5. 【請求項５】 請求項１乃至請求項４のいずれかの物体
   追跡方法において、 前記入力画像から差分法によって物体を検出し、該検出
   した物体の少なくとも一部を含む前記入力画像の所定サ
   イズの部分画像を初期テンプレート画像として登録する
   初期テンプレート登録ステップを備え、 前記差分法によって検出した物体を追跡対象物体とし
   て、追跡を行なうことを特徴とする物体追跡方法。
6. 【請求項６】 請求項５記載の物体追跡方法において、 前記位置補正ステップにおいて、取得した最大一致度す
   べてが所定の値未満であれば、前記差分法によって、現
   時刻の入力画像から物体を検出し、該検出した物体を追
   跡対象物体として追跡することを特徴とする物体追跡方
   法。
7. 【請求項７】 請求項１乃至請求項６のいずれかに記載
   の物体追跡方法において、 前記位置補正ステップによって検出された位置に基づい
   て、前記撮像装置の視野方向を変えるための制御信号を
   発生するカメラ雲台制御ステップを有し、 該制御信号によって前記撮像装置の視野方向を前記検出
   された位置に常に向けて、前記検出した物体を追跡する
   ことを特徴とする物体追跡方法。
8. 【請求項８】 請求項１乃至請求項７のいずれかに記載
   の物体追跡方法において、 前記入力画像から差分法によって物体を検出し、該検出
   した物体の少なくとも一部を含む前記入力画像の所定サ
   イズの部分画像を前記テンプレート画像として登録する
   初期テンプレート登録ステップを備え、 前記差分法によって検出した物体を追跡対象物体とし
   て、追跡を行なうことを特徴とする物体追跡方法。
9. 【請求項９】 撮像視野内の物体を検出し、該検出した
   物体を追跡する物体追跡装置において、 監視対象範囲を撮像する撮像装置と、 該撮像装置が取得した映像信号を逐次画像信号に変換す
   る画像入力インターフェースと、 該画像入力インターフェースによって変換された前記画
   像信号を処理する画像処理手段と、 テンプレート画像として登録された複数の画像を保存す
   る手段とを備え、 前記画像処理手段は、前記撮像装置から現時刻に入力し
   た前記画像信号を、あらかじめ保存された複数のテンプ
   レート画像それぞれによってテンプレートマッチングを
   行ない、該テンプレートマッチングによってそれぞれ得
   られた複数のテンプレート画像それぞれの最大一致度の
   中で、一番大きな最大一致度を得るテンプレート画像に
   ついて取得する部分画像の位置を検出物体の位置とし、
   同時に、該検出物体の位置の部分画像を新たなテンプレ
   ート画像として更新することにより、前記撮像装置の撮
   像視野内に侵入した物体を追跡することを特徴とする物
   体追跡装置。
10. 【請求項１０】 請求項９記載の物体追跡装置におい
    て、 前記撮像装置の視野方向を変えるための雲台と、 前記画像処理手段によって前記撮像装置の視野方向を変
    えるために前記雲台を制御するための制御信号を供給す
    る雲台制御インターフェースとを備え、 前記画像処理手段が、前記物体の現時刻の検出位置に基
    づいて、前記物体の方向を検出し、得られた方向から前
    記雲台制御インターフェースを介して、前記撮像装置の
    視線方向を調節し、前記撮像装置の撮像視野内に侵入し
    た物体を追跡することを特徴とする物体追跡装置。