JP2001285695A - 移動体追尾方法及びその装置 - Google Patents

Abstract

(57)【要約】 【課題】 パン・チルト制御機能およびズーム制御機能
を有する一台のカメラを用いて、高速で移動する侵入物
体を精度良く自動追尾することが可能となる移動体追尾
方法及びその装置を提供する。 【解決手段】 移動体追尾装置は、移動体を自動追尾す
るための、パン・チルト・ズーム制御機能を有するカメ
ラ１と、侵入物体を検出する侵入物検出手段３と、第１
の画像メモリ４と、第２の画像メモリ５と、移動パラメ
ータ算出手段６と、フレーム間動き補償手段７と、移動
体推定手段８と、カメラ制御手段９と、を具備した構成
としてある。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パン・チルト制御
機能およびズーム制御機能を有するカメラを用いて、撮
像した画像のなかの移動体を自動検出しさらに自動追尾
する移動体追尾方法及びその装置に関し、特に、広範囲
な監視エリアを一台のカメラを用いて監視する移動体追
尾方法及びその装置に関する。

【０００２】

【従来の技術】従来、広範囲な監視エリアに侵入者や侵
入車両などあった場合に、これらの侵入物体を検出する
とともに、侵入物体のズームアップされた映像データを
記録し、かつ、侵入物体を自動的に追尾する監視システ
ムを実現するために、様々な移動体追尾方法及びその装
置が提案されてきた。

【０００３】（第一従来例）例えば、特開平１１−６９
３４２号において、パン・チルト制御機能およびズーム
制御機能を有するカメラ（適宜、ＰＴＺカメラと略称す
る。）を用いた侵入物体追尾画像処理システムが提案さ
れている。この侵入物体追尾画像処理システムは、侵入
物体の検出を行う固定した第一のカメラと、この侵入物
体をズームアップし、かつ、自動的に追尾する第二のＰ
ＴＺカメラとからなる移動体追尾装置を用いている。

【０００４】第一の固定カメラは、通常、背景差分法と
呼ばれる方法（背景画像と入力された映像の差分を用い
て侵入物体を検出する方法）を用いて、侵入物体を検出
する。そして、第一の固定カメラの映像から得られた侵
入物体の位置や大きさから算出された制御量にもとづい
て、第二のＰＴＺカメラが制御されることにより、当該
第二のＰＴＺカメラは、侵入物体を自動追尾する。

【０００５】このように、第一従来例における移動体追
尾装置は、物体が侵入したことを自動検出するととも
に、侵入物体を検出する情報にもとづいて、パン・チル
ト方向へ回転する雲台を制御して侵入物体を自動追尾
し、かつ、ズーミング可能な撮像レンズを制御して侵入
物体の拡大を行うことによって、ビデオモニタの画面上
に侵入物体を映し出すことができる。したがって、監視
者は、ビデオモニタの画面上で侵入物体を容易に確認す
ることをができる。

【０００６】

【発明が解決しようとする課題】ところが、この第一従
来例における映像監視追跡装置は、二台のカメラを必要
とするために、部品費及び設置工事費が高額となり、顧
客のコストダウン要求に応えられないという問題があっ
た。

【０００７】つまり、この映像監視追跡装置は、侵入物
体を検出する際に、背景差分法を用いているが、背景を
撮像するためのカメラを動かしてしまうと、カメラを動
かした後に撮像した映像とカメラを固定して撮像した背
景映像との間の差分量が大きくなってしまい、背景と移
動する侵入物体の区別ができなくなる。このため、ＰＴ
Ｚカメラが侵入物体を追尾しているときに、この背景差
分法により侵入物体の検出を行なうためには、固定され
たカメラが必要となる。

【０００８】このような理由から、第一従来例における
侵入物体追尾画像処理システムは、一台のカメラを固定
カメラとして用いて背景差分法により侵入物を検出し、
さらに、もう一台のＰＴＺカメラを用いて侵入物体を追
尾する構成としてある。したがって、この映像監視追跡
装置は、一台のカメラを用いた構成とすることができな
い。

【０００９】（第二従来例）また、カメラを一台のみ使
用する技術として、例えば、特開平１０−１３８２１号
において、一台のパン・チルト制御機能を有するカメラ
を用いて、侵入物体の検出および追尾を行う映像監視追
跡装置が提案されている。この映像監視追跡装置は、背
景差分法により侵入物体を検出した後、その侵入物体に
対応する画像をテンプレートとして、入力画像との差分
が最小となる画像上での位置を検出するテンプレートマ
ッチングを行うことで、侵入物体の位置を求め、この算
出データにもとづいてカメラ制御することによって、侵
入物体を追尾することができる。

【００１０】しかし、第二従来例における映像監視追跡
装置は、テンプレートマッチングによって追尾している
ときにズームアップすると、テンプレートと映像中の侵
入物体の大きさに違いが生じるために、精度良く追尾す
ることができない。

【００１１】また、このテンプレートマッチングにおい
て、レンズのズームアップによって生じる対象物の大き
さの変化に対応するには、平行移動の探索に加えて、対
象物の大きさの変化を考慮にいれた探索を行う必要があ
り、この検索を行なうには、膨大な演算処理を必要とす
るので、高速で移動する侵入物体に対しては、実用化で
きない。このため、第二従来例における映像監視追跡装
置は、レンズをズームアップさせて、侵入物体を追尾す
ることができないといった問題があった。

【００１２】そこで、本発明は上記の問題を解決すべく
なされたものであり、パン・チルト制御機能およびズー
ム制御機能を有する一台のカメラを用いて、高速で移動
する侵入物体を精度良く自動追尾することが可能となる
移動体追尾方法及びその装置の提供を目的とする。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に、本発明における請求項１記載の移動体追尾方法は、
パン・チルト制御機能およびズーム制御機能を有するカ
メラからの画像データにもとづいて、移動体検出手段
が、移動体を検出したときに、前記移動体を自動追尾す
る移動体追尾方法であって、前記カメラからの映像信号
をデジタル画像として入力する画像入力インタフェース
が、画像データを記憶する第１の画像メモリと、この第
１の画像メモリに記憶される画像データの一つ前のフレ
ームにおける画像データを記憶する第２の画像メモリに
当該画像データを出力し、前記第１の画像メモリに記憶
される画像データと前記第２の画像メモリに記憶される
画像データの背景領域における前記移動体の平行移動お
よび拡大縮小の移動パラメータを算出し、前記移動パラ
メータを用いて、前記第２の画像メモリに記憶される画
像データを前記第１の画像メモリに記憶される画像デー
タの座標に変換してフレーム間の動き補償を行い、前記
フレーム間動き補償手段により動き補償された前記画像
データから前記移動体を抽出し、前記移動体の位置およ
び大きさを推定し、前記移動体推定手段から得られる前
記移動体の位置と大きさの情報を入力して、前記カメラ
のパン・チルト制御およびズーム制御を行なう方法とし
てある。

【００１４】このようにすることにより、パン・チルト
制御機能およびズーム制御機能を有する一台のカメラを
用いて、高速で移動する移動体を精度良く自動追尾する
ことができる。

【００１５】また、上記目５を達成するために、本発明
における請求項２記載の移動体追尾装置は、移動体を自
動追尾するための、パン・チルト制御機能およびズーム
制御機能を有するカメラと、このカメラからの映像信号
をデジタル画像として入力する画像入力インタフェース
と、この画像入力インタフェースからの画像データにも
とづいて、侵入物体を検出する侵入物検出手段と、前記
画像入力インタフェースからの画像データを記憶する第
１の画像メモリと、この第１の画像メモリに記憶される
画像データの一つ前のフレームにおける画像データを記
憶する第２の画像メモリと、前記第１の画像メモリに記
憶される画像データと前記第２の画像メモリに記憶され
る画像データの背景領域における前記移動体の平行移動
および拡大縮小の移動パラメータを算出する移動パラメ
ータ算出手段と、前記移動パラメータを用いて、前記第
２の画像メモリに記憶される画像データを前記第１の画
像メモリに記憶される画像データの座標に変換してフレ
ーム間の動き補償を行うフレーム間動き補償手段と、こ
のフレーム間動き補償手段により動き補償された前記画
像データから前記移動体を抽出し、前記移動体の位置お
よび大きさを推定する移動体推定手段と、この移動体推
定手段から得られる前記移動体の位置と大きさの情報を
入力して、前記パン・チルト制御およびズーム制御を行
なうカメラ制御手段と、を具備した構成としてある。

【００１６】このように、本発明は、移動体追尾装置と
しても有効であり、パン・チルト制御機能およびズーム
制御機能を有する一台のカメラを用いて、高速で移動す
る移動体を精度良く自動追尾することができる。

【００１７】請求項３記載の発明は、上記請求項２に記
載の移動体追尾装置おいて、前記移動パラメータ算出手
段が、オプティカルフローの拘束条件にもとづき反復勾
配法を用いて前記フレーム間の平行移動および拡大縮小
の移動パラメータを算出する構成としてある。

【００１８】このようにすることにより、カメラ移動に
起因する背景領域の移動パラメータを精度良く算出する
ことができ、結果的に移動体追尾の信頼性を向上させる
ことができる。

【００１９】請求項４記載の発明は、上記請求項２また
は請求項３に記載の移動体追尾装置において、前記移動
体推定手段が、動き補償された前記第１の画像メモリに
記憶される画像データと前記第２の画像メモリに記憶さ
れる画像データを用いて、この二つの画像のフレーム間
の差分を算出し、このフレーム間の差分にもとづき前記
移動体の位置と大きさを推定する構成としてある。

【００２０】これにより、移動体の移動パラメータを精
度良く算出することができ、結果的に移動体追尾の信頼
性を向上させることができる。

【００２１】請求項５記載の発明は、上記請求項４に記
載の移動体追尾装置おいて、前記移動体推定手段が、前
記移動体の大きさあるいは速度に応じて、前記二つの画
像のフレーム間の差分を算出する時間間隔を、適応的に
変化させる構成としてある。

【００２２】これにより、移動体が高速で移動する場合
であっても、追尾することができ、移動体追尾の信頼性
を向上させることができる。

【００２３】請求項６記載の発明は、上記請求項２〜請
求項５のいずれかに記載の移動体追尾装置において、前
記画像入力インターフェースと前記侵入物検出手段から
の情報をテンプレートとして記憶するテンプレートメモ
リと、このテンプレートメモリ，前記第２の画像メモリ
及び前記移動パラメータ算出手段からの情報にもとづい
て、テンプレートサイズを変換するテンプレートサイズ
変換手段と、このテンプレートサイズ変換手段と前記第
１の画像メモリからの情報にもとづいて、各テンプレー
トをマッチングさせるテンプレートマッチング手段を有
するテンプレートマッチング追尾部を備えた構成として
ある。

【００２４】このようにすることにより、移動体追尾装
置は、フレーム間差分による追尾モード，テンプレート
マッチングによる追尾モード又はハイブリッド追尾モー
ドを自動的に選択して、移動体の追尾を行うことができ
る。したがって、この移動体追尾装置は、移動体が一旦
静止してしまうような場合であっても、精度良く自動追
尾を行うことができる。

【００２５】

【発明の実施の形態】以下、本発明の各実施形態につい
て、図面を参照して説明する。先ず、本発明の移動体追
尾装置における及びこの装置を用いた方法の第一実施形
態について、図面を参照して説明する。

【００２６】「第一実施形態」図１は、本発明に係る移
体追尾装置の第一実施形態における概略ブロック図を示
している。

【００２７】同図において、移動体追尾装置は、パン・
チルト制御機能およびズーム制御機能を有するカメラ
（ＰＴＺカメラ）１と、このＰＴＺカメラ１からの映像
信号をデジタル画像として入力する画像入力ＩＦ（イン
ターフェイス）２と、画像入力ＩＦ２からの画像データ
にもとづいて、侵入物体を検出する侵入物検出手段３
と、画像入力ＩＦ２からの画像データを記憶する第１の
画像メモリ４と、第１の画像メモリ４に記憶される画像
データの一つ前のフレームにおける画像データを記憶す
る第２の画像メモリ５と、第１の画像メモリ４に記憶さ
れる画像データと第２の画像メモリ５に記憶される画像
データの背景領域における移動体の平行移動および拡大
縮小の移動パラメータを算出する移動パラメータ算出手
段６と、この移動パラメータを用いて、第２の画像メモ
リ５に記憶される画像を第１の画像メモリ４に記憶され
る画像の座標に変換してフレーム間の動き補償を行うフ
レーム間動き補償手段７と、このフレーム間動き補償手
段７により動き補償された画像データから移動体を抽出
し、移動体の位置および大きさを推定する移動体推定手
段８と、移動体推定手段８から得られる移動体の位置や
大きさの情報（移動体座標信号）を入力しＰＴＺカメラ
１のカメラ制御を行うカメラ制御手段９とで構成してあ
る。

【００２８】ＰＴＺカメラ１は、外部インタフェースを
有し、かつ、電動式の雲台に配設されたズームカメラで
あり、外部からの制御信号によって、雲台の左右方向の
回転（パン），上下方向の回転（チルト）及びレンズの
ズーム率が制御される。

【００２９】ここで、ＰＴＺカメラ１は、カメラの光
軸，雲台のパンの回転軸及びチルトの回転軸が一点で交
差する構成としてあるので、撮像する画像の座標系とパ
ン・チルトの制御量への変換演算を簡略かつ少量化する
ことができる。

【００３０】画像入力ＩＦ２は、ＰＴＺカメラ１からの
アナログの映像信号をＡ／Ｄ変換によりデジタル化し、
第１の画像メモリ４に入力する。なお、ＰＴＺカメラ１
としてデジタル映像カメラのように圧縮されたデジタル
信号を出力するカメラを用いた場合には、画像入力ＩＦ
２としては圧縮デジタル画像を展開して、第１の画像メ
モリ４に入力する画像入力ＩＦを設ける必要がある。

【００３１】侵入物検出手段３は、画像入力ＩＦ２から
入力された画像を用いて侵入物体を検出する。ここで、
移動体追尾装置は、侵入物体を検出する侵入物検出モー
ドと、検出した侵入物体をズームアップして追尾する追
尾モードの二つのモードを有している。

【００３２】侵入物検出手段３は、図２に示すように、
背景差分法を用いて侵入物体を検出する。ここで、侵入
物検出手段３は、各時刻における入力画像信号入力し
て、この入力画像を記憶する入力画像メモリ３１と、背
景画像を生成・更新する背景更新手段３２と、背景画像
を記憶する背景画像メモリ３３と、入力画像メモリ３１
の画像と背景画像メモリ３３の画像の差分を算出する差
分算出手段３４と、差分算出手段３４からの画像差分を
二値化する二値化手段３５と、二値化した画像のラベリ
ングを行うラベリング手段３６と、得られるラベル画像
から侵入物体を識別し、侵入物体の位置情報信号を出力
する侵入物識別手段３７とで構成してある。

【００３３】まず、入力画像メモリ３１に入力された画
像は、背景更新手段３２で背景生成および背景更新に利
用される。背景更新手段３２は、移動体追尾装置が起動
したときや、追尾モードが終了し侵入物検出モードとな
ったときに、背景生成を行ない、また、その後の侵入物
検出モードにおいては背景更新を行う構成としてある。

【００３４】背景更新手段３２は、背景生成において、
任意のフレームｔの画像をｆ（ｘ，ｙ，ｔ）と表し、こ
れを背景Ｂ（ｘ，ｙ，ｔ）として背景画像メモリ３３に
記録する。そして、背景更新手段３２は、次のフレーム
ｔ＋１の背景更新において、背景生成のときからのフレ
ーム数をｎ、前のフレームにおける背景をＢ（ｘ，ｙ，
ｔ）として、フレームｆ（ｘ，ｙ，ｔ＋１）の画像を利
用して次の漸化式にしたがって新しい背景Ｂ（ｘ，ｙ，
ｔ＋１）を計算する。

【００３５】（数式１） B(x,y,t+1) = (1-α)B(x,y,t)+αf(x,y,t+1) ただし、 n＜Nのとき：α= 1/(n+1) n≧Nのとき：α= 1/(N+1) ここで、αは新しいフレームの影響を背景にどれだけ取
り込むか決める係数で、Ｎは定数であり、例えば、３０
０フレームと設定する。

【００３６】ここで、例えば、ｎ＝１の場合、α=1/(n+
1)=1/2となり、ｆ（ｘ，ｙ，ｔ）とｆ（ｘ，ｙ，ｔ＋
１）の平均値画像を新しい背景画像Ｂ（ｘ，ｙ，ｔ＋
１）とすることになる。そして、順次、（数式１）によ
る背景を漸化的に計算することで、照明変動などに起因
する背景の変化にも柔軟に対応できる背景Ｂ（ｘ，ｙ，
ｔ）となる。このようにして背景更新手段３２により算
出された背景画像は、背景画像メモリ３３に記憶され
る。

【００３７】差分算出手段３４は、入力画像メモリ３１
に記憶される入力画像ｆ（ｘ，ｙ，ｔ）と、背景画像メ
モリ３３に記憶される背景画像Ｂ（ｘ，ｙ，ｔ）の差分
の絶対値を（数式２）により算出する。 （数式２） S(x,y,t) = |B(x,y,t)-f(x,y,t)| そして、差分算出手段３４は、この差分画像Ｓ（ｘ，
ｙ，ｔ）を二値化手段３５に出力する。

【００３８】また、差分算出手段３４は、差分画像Ｓ
（ｘ，ｙ，ｔ）に対して、ガウシアンフィルタなどを畳
み込むことにより、平滑化した結果を出力するができ、
ノイズに対する悪影響が低減された良好な結果を得るこ
とができる。なお、本実施形態においては、一般的な背
景差分法による侵入物検出手段３を用いたが、これに限
定するものはなく、例えば、本発明者が特願平１１−０
７８６４１号において提案した物体検出装置を用いて、
侵入物検出手段を構成することができる。

【００３９】二値化手段３５は、差分画像Ｓ（ｘ，ｙ，
ｔ）のしきい値処理により二値化し、この二値化された
二値画像をラベリング手段３６に出力する。また、ラベ
リング手段３６は、二値画像をラベリング（分類）し、
このラベル画像を侵入物識別手段３７に出力する。

【００４０】侵入物識別手段３７は、ラベル画像の各ラ
ベルの面積を調べて、面積がしきい値以上大きいラベル
を侵入物体として判定し、そのラベルを囲う最小包囲矩
形を算出する。ここで、侵入物識別手段３７は、最小包
囲矩形を中心座標ｍ（ｃｘ，ｃｙ）と大きさ（ｚｘ，ｚ
ｙ）として算出し、これらからなる侵入物体の位置情報
信号を出力する。このように、侵入物検出手段３は、侵
入物検出モードにおいて、侵入物体を検出することがで
きる。

【００４１】移動体追尾装置は、侵入物検出手段３が侵
入物体を検出すると、侵入物検出モードから侵入物体を
追尾する追尾モードに移行する。次に、移動体追尾装置
の追尾モードにおける動作について、図面を参照して説
明する。

【００４２】図３は、移体追尾装置の第一実施形態にお
ける追尾モードの動作を説明するための概略フローチャ
ート図を示している。同図において、先ず、移動体追尾
装置は、侵入物検出手段３が侵入物体を検出すると、追
尾モードに移行し（ステップ３０）、続いて、その侵入
物体を検出した画像における当該侵入物体の中心座標ｍ
（ｃｘ，ｃｙ）と大きさ（ｚｘ，ｚｙ）、すなわち、侵
入物体の位置情報からカメラ制御手段９を介してＰＴＺ
カメラ１のパン・チルト・ズームを制御して、侵入物体
を最適な画角で捉えられる（ステップ３１）。

【００４３】ここで、侵入物体の中心座標ｍ（ｃｘ，ｃ
ｙ）データを用いて、ＰＴＺカメラ１のパン・チルトを
制御する方法について説明する。カメラの座標系と画像
面（カメラの結像面、すなわち、ＣＣＤなどの撮像面）
の関係は、図４に示すように、画像面の中心ｃと光軸中
心（すなわちＺ軸）が一致すると近似し、画像面の水平
方向をｘ軸、画像面の垂直方向をｙ軸とする。ここで、
ｄは、カメラのレンズの焦点距離を表している。

【００４４】また、同図におけるカメラモデルの表現方
法は、通常、コンピュータビジョンの分野で用いられる
仮想画像平面を用いた表現方法、具体的には、徐剛、辻
三郎著「３次元ビジョン」（共立出版、１９９８年、ｐ
ｐ．１６−１７）に記述されている表現方法により表現
してある。

【００４５】侵入物体の中心座標ｍ（ｃｘ，ｃｙ）を画
像面の中心ｃに一致させるのに必要なパン角φとチルト
角θは、（数式３）により近似的に表すことができる。
なお、（数式３）は、特許２９５３４９７号において、
「対象の補足方法およびその装置」に関する技術として
記述されている。 （数式３） パン角φ = −ｃｘ／ｄ チルト角θ = −ｃｙ／ｄ したがって、（数式３）のパン角φとチルト角θとなる
ように、雲台を制御することにより、侵入物体の位置を
画像中心に捉えることができる。

【００４６】また、ズーム率の制御は、侵入物体の大き
さに合わせて制御量を決めれば良く、具体的には、特開
平１１−６９３４２号において、「対象の補足方法およ
びその装置」に関するズーム制御方法として記述されて
いる。

【００４７】このように、カメラ制御手段９が、上述し
た方法により得られるパン・チルト・ズームの制御量
（制御信号）をＰＴＺカメラ１に出力すると、ＰＴＺカ
メラ１は、この制御信号にもとづいて、パン・チルト・
ズームを制御する。

【００４８】ここで、移動体追尾装置は、侵入物体の検
出後に、侵入物検出モードのまま、対象物体を追尾する
ためにＰＴＺカメラ１を移動させると、侵入物体を検出
したときのカメラアングルと、その次のフレームにおけ
るカメラアングルが異なるために背景差分法による侵入
物検出が、通常、正常に動作しなくなる。そこで、移動
体追尾装置は、侵入物検出モードにより侵入物体を検出
すると、侵入物検出モードから追尾モードにモード切り
替えを行なってから、追尾モードによる侵入物体の追跡
を行う構成としてある。

【００４９】つまり、移動体追尾装置は、侵入物体を検
出したときのフレームを、図１に示すフレームｔ−１と
し、追尾モードに入った最初のフレームをフレームｔと
して、フレームｔとフレームｔ−１の画像を第１の画像
メモリ４と第２の画像メモリ５にそれぞれ記憶する。そ
して、その後のループでは、前のフレームの画像を第２
の画像メモリ５に記憶し、第１の画像メモリ４に次のフ
レームの新しい画像を入力するように制御する（ステッ
プ３２）。

【００５０】次に、移動パラメータ算出手段６は、第１
の画像メモリ４に記憶される画像ｆ（ｘ，ｙ，ｔ）と第
２の画像メモリ５に記憶される画像ｆ（ｘ，ｙ，ｔ−
１）を用いて、ＰＴＺカメラ１のパン・チルト・ズーム
の変化に起因する背景の移動パラメータを求める（ステ
ップ３３）。

【００５１】ここで、この背景の移動パラメータの推定
方法について説明する。まず、撮像されている侵入物体
は十分小さく、かつ、画像全体を占める映像は大部分が
背景であると仮定し、さらに、侵入物体の影響は無視で
きるものとして説明する。

【００５２】そして、画像ｆ（ｘ，ｙ，ｔ）は、ＰＴＺ
カメラ１のパン・チルト・ズームが制御されるとこれら
の変動によって、平行移動と拡大・縮小の変換（アフィ
ン変換）を受けて画像ｆ（ｘ，ｙ，ｔ−１）となると仮
定することによって、推定することができる。

【００５３】つまり、二つの画像間の関係式は（数式
４）で表される拘束下にあるものとする。 （数式４） f(x+u,y+v,t) = f(x,y,t-1) u = γx +α v = γy +β ここで、γは拡大縮小を表し、αはｘ方向の移動量、β
はｙ方向の移動量を表している。

【００５４】続いて、この移動パラメータを求めるため
の処理について、図面を参照して説明する。図５は、移
体追尾装置の第一実施形態における移動パラメータ算出
手段の動作を説明するための概略フローチャート図を示
している。同図において、移動パラメータを求める処理
は、大きく二つの処理に分かれ、第１の処理は、γ=０
と仮定し、平行移動のパラメータα、βのみをＳＳＤマ
ッチングによる相関計算にもとづき推定する処理であ
り、また、第２の処理は、第１の処理で推定した移動パ
ラメータを初期値として、反復勾配法により移動パラメ
ータα、β、γを推定する処理である。

【００５５】まず、第１の処理であるステップのＳＳＤ
マッチングによる初期値推定（ステップ５１）について
説明する。第１の処理の初期値推定では、（数式５）に
よる差分量J₁(u,v)を計算し、その最小を与えるｕ，ｖ
を求める。 （数式５） J₁(u,v) = Σ|f(x+u,y+v,t)-f(x,y,t-1)|² ただし、Σは背景領域における総和である。

【００５６】ここでは、評価値として画素値の差の二乗
和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅ
ｒｅｎｃｅ）を用いているが、画素値の差の絶対値和
（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆ
ｅｒｅｎｃｅ）や正規化相関などを用いることもでき
る。また、（ｕ，ｖ）の探索空間は、カメラアングルや
レンズのズーム率等に依存するが、前後数画素から数十
画素程度の範囲について、画素単位をとれば十分であ
る。

【００５７】次に、第２の処理において、得られたｕ，
ｖをそれぞれ移動パラメータα、βの初期値として用
い、オプティカルフロー拘束にもとづく移動量に関する
条件式を反復勾配法により求める（ステップ５２、５
３、５４）。

【００５８】この反復勾配法は、本発明者が、特開平７
−３３４６９０号において、「物体の輪郭追跡方法」に
関する技術として開示しているが、その原理について簡
単に説明する。まず、画像ｆ（ｘ，ｙ，ｔ）と画像ｆ
（ｘ，ｙ，ｔ−１）の間の関係が（数４）の拘束下にあ
ると仮定する。

【００５９】そして、（数式６）の目的関数J₂(α,β,
γ)を最小化することにより、移動パラメータを求める
ことができる。 （数式６） J₂(α,β,γ) = Σ |f(x+u,y+v,t)-f(x,y,t-1)|² ただし、Σは背景領域における総和である。

【００６０】 ここで、（数式６）のｆ（ｘ＋ｕ，ｙ＋ｖ，ｔ）をｆ
（ｘ，ｙ，ｔ−１）のまわりでテイラー展開し、１次ま
での項を用いることで、目的関数J2を近似すると（数式
７）となる。 （数式７） J₂(α,β,γ) ≒ Σ| u∂f/∂x+v∂f/∂y+∂f/∂t
|²

【００６１】また、J₂(α,β,γ)の最小を与える必要条
件は、（数式８）によって与えられる。 （数式８） ∂J₂(α,β,γ)/∂α = 0 ∂J₂(α,β,γ)/∂β = 0 ∂J₂(α,β,γ)/∂γ = 0

【００６２】ここで、（数式８）の条件式に（数式４）
のｕ，ｖ、および（数式７）のJ₂(α,β,γ)を代入する
と、三元一次連立方程式となり、（数式９）に示す解が
得られる。 （数式９）^t ( αβγ ) = -A^-1B ここで、 A = Σ^tWW B = Σ(∂f/∂t^tW) W = (∂f/∂x∂y/∂y(x∂f/∂y+y∂f/∂y)) ただし、Σは背景領域における総和である。

【００６３】なお、^tXは行列Xの転置行列を表してお
り、これは解析的に容易に解くことができ、移動パラメ
ータ（α,β,γ）が求められる。しかし、ここで得られ
るパラメータは、（数式７）を得る段階でテイラー展開
しているために移動量が大きい場合には必ずしも精度が
良いというわけではない。そのため、通常は反復して解
を求める必要がある。このようにして、反復解法による
オプティカルフロー拘束にもとづく移動量推定方法は、
反復勾配法と呼ばれる。

【００６４】したがって、第２の処理では、まずＳＳＤ
マッチングによって得られた初期値（α，β）にもとづ
き画像ｆ（ｘ，ｙ，ｔ）のアフィン変換を行う（ステッ
プ５２）。次に、オプティカルフロー拘束にもとづく移
動量推定を行う（ステップ５３）が、これはそれぞれ
（数式９）の行列Ａ，列ベクトルＢの各要素を計算する
過程、逆行列A^-1を計算する過程、最終的に（数式９）
によって得られる移動量（α，β，γ）を計算する過程
からなる。

【００６５】また、行列Wの値には偏微分によって表さ
れる項があるが、これは画像の水平方向差分（（ｆ（ｘ
＋１，ｙ，ｔ）−ｆ（ｘ−１，ｙ，ｔ））／２）、垂直
方向差分（ｆ（ｘ，ｙ＋１，ｔ）−ｆ（ｘ，ｙ−１，
ｔ））／２）を用いて計算すればよい。また、時間偏微
分はフレーム間の差分を計算すればよい。

【００６６】続いて、反復回数が十分か否か判定し、不
十分であるならば、（α，β，γ）のパラメータを用い
て画像ｆ（ｘ，ｙ，ｔ）をアフィン変換するように、変
換された画像を用いて移動量の推定を繰り返す（ステッ
プ５４）。反復回数が十分であるならば、推定された移
動パラメータ（α，β，γ）を出力する。なお、ここで
求めるα、βは、サブピクセルの精度が必要である。

【００６７】上述したように、図３に示すステップ３３
において、カメラ移動に起因する背景領域の移動パラメ
ータ（α，β，γ）を算出することができる。

【００６８】次に、移動体追尾装置は、第２の画像の動
きを補償する（ステップ３４）。具体的には、フレーム
間動き補償手段１７は、算出した移動パラメータ（α，
β，γ）を用いて、第１の画像と第２の画像のフレーム
間の動きを補償するように、第２の画像をアフィン変換
する。ここで、アフィン変換における補間方法として、
画素値の補間に対する共一次内挿法（ｂｉ−ｌｉｎｅａ
ｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いる。

【００６９】続いて、移動体推定手段８は、第１の画像
と動き補償された第２の画像のフレーム間の差分を計算
する（ステップ３５）。ここで、フレーム間に写ってい
る背景の僅かなずれによるノイズなどを低減させるため
に、画像をぼかす処理として、フレーム間差分を行う前
後にガウシアンによる畳み込み処理を行う。

【００７０】具体的には、フレーム間差分の結果Ｄ
（ｘ，ｙ）は、第１の画像をｆ（ｘ，ｙ，ｔ）、動き補
償した第２の画像をｆ’（ｘ，ｙ，ｔ−１）として次式
で表される。 （数式１０） D(x,y) = G*|G*f(x,y,t)-G*f'(x,y,t-1)| ここで、Ｇはガウシアンフィルタ、*は畳み込み処理を
表している。また、ガウシアンの畳み込み処理では、図
６に示す５行×５列の離散的なカーネルを用いている。

【００７１】続いて、移動体推定手段８は、フレーム間
差分を用いて移動体の位置および大きさの推定を行う
（ステップ３６）。ここで、移動体は、当該移動体を囲
む最小包囲矩形による物体枠によって、表現される。こ
の物体枠は、物体枠の予測，物体の中心位置の決定及び
物体枠の大きさの変更といった三つの処理によって、求
めることができる。

【００７２】ここで、物体枠の予測は、前回の処理にお
ける物体枠が今回のフレームでどこにあるのか予測する
ものである。具体的には、今回のフレームにおける物体
枠は、前回のフレームと今回のフレームのカメラ移動に
起因する背景の移動量とカメラの動きを補正し、その後
の物体そのものの画像上の速度から計算される移動量を
加算することによって、予測される。すなわち、（予測
物体枠位置）＝（前回の物体枠位置）＋（カメラ移動
量）＋（物体移動量）の関係にもとづいて、物体枠の位
置は予測される。

【００７３】そして、物体の中心位置ｍ（ｃｘ，ｃｙ）
は、予測された物体枠内におけるフレーム間差分Ｄ
（ｘ，ｙ，ｔ）の重心によって決定される。具体的に
は、物体の中心位置ｍ（ｃｘ，ｃｙ）は、（数式１１）
により算出される。 （数式１１） cx = Σ xD(x,y)/ΣD(x,y) cy = Σ yD(x,y)/ΣD(x,y) ただし、Σは予測された物体枠内における総和である。

【００７４】このようにして求められた中心位置ｍ（ｃ
ｘ，ｃｙ）を物体の中心として、物体枠の中心を更新す
る。また、物体枠の大きさは、中心位置ｍ（ｃｘ，ｃ
ｙ）を中心とした物体枠を初期値として、フレーム間差
分Ｄ（ｘ，ｙ）を基準にその枠を上下左右に移動させる
ことにより変更する。

【００７５】具体的には、上下左右のそれぞれの枠ごと
に独立に同様の処理を行うが、先ず、一例として、左側
の枠を変更する場合について説明する。左側の枠を変更
するためには、左枠の近傍で、左枠に関する次の評価値
S_left(x)を（数式１２）にしたがって計算する。 （数式１２） S_left(x) = (Σ_ymin ^ymaxD(x,y))/(ymax-ymin) ここで、ｙmax，ｙminは、それぞれ物体枠の上限と下限
である。

【００７６】次に、このS_left(x)の値が、しきい値δよ
りも大きいか否かについて、外側から順番に判定し、し
きい値よりも大きい（差分量が大きい）場合に、左枠を
その位置に移動する。ここで、判定する範囲において、
S_left(x)の値が、しきい値よりも全て小さい場合には、
その判定範囲の最小に枠を縮める。このように、フレー
ム間差分を物体枠に沿って積算し、その量の大きさにし
たがって物体枠を広げたり、縮めたりする。

【００７７】また、右側や上下の枠を変更するために
は、右側や上下の枠について上述した左側と同様な処理
をそれぞれ行うことにより変更することができ、このよ
うな処理を行なうことにより、物体枠の大きさを変更す
ることができる。

【００７８】なお、枠の判定範囲は、前後１〜３画素程
度の範囲で、しきい値δは、領域面積に応じて次のよう
に設定している。 （数式１３） しきい値δ = k1√(領域面積) + k2 ここで、ｋ１，ｋ２は定数である。また、上記の物体枠
の更新では、最小サイズおよび最大サイズを予め設定し
ており、最小サイズ以下や最大サイズ以上にはならない
ようにしている。

【００７９】次に、移動体推定手段８は、追尾モードの
終了判定を行い、追尾を終了しない場合は、ステップ３
１に戻り対象物の追尾を継続し、侵入物検出モードに戻
る（ステップ３７）。ここで、追尾モードは、移動体が
監視エリアを出た場合，移動体がカメラのパン・チルト
の範囲外に出た場合及び移動体が静止して一定時間以上
経過した場合の少なくともいずれかの条件を満たす場合
に、終了する。

【００８０】また、移動体追尾装置は、移動体推定手段
８が、ステップ３７において、追尾を終了する場合に
は、ＰＴＺカメラ１を予め決めておいた指定位置・指定
ズーム率に戻し、侵入物検出モードに復帰して侵入物の
検出を行う（ステップ３８）。

【００８１】このように、移動体追尾装置は、一台のＰ
ＴＺカメラ１を用いて、対象物を追尾しつつ、ズーミン
グ可能な移動体の自動追尾を行うことが可能となるが、
追尾をより高速でしかもより精度良く行うためには、フ
レーム間差分を計算する際（ステップ３５）、何フレー
ム前のフレームを"前フレーム"として用いるかが重要と
なる。

【００８２】つまり、通常画像上の大きさが小さい物体
は、その移動量も画像上で小さくなるために、フレーム
間差分の差分量も小さくなる。これは、実世界において
同じ大きさで等速度運動している物体が、画像上で小さ
く見える場合には、画像上での速度も小さくなるためで
あり、このため、画像上の大きさが小さい場合にはでき
るだけフレーム間差分をとる際の時間間隔を長くするこ
とが望ましい。

【００８３】逆に、対象物が画像上で大きく写っている
場合には、画像上での動きも大きくなるので、フレーム
間差分の時間間隔を長くとりすぎると、対象物の動きが
大きすぎて位置の不確定さが顕著になってしまうので、
画像上の大きさが大きい場合には、できるだけフレーム
間差分をとる際の時間間隔を短くすることが望ましい。

【００８４】このように、フレーム間差分をとる際の時
間間隔を変更する場合には、第一の変更例として、ステ
ップ３４の動き補償において、前フレームを対象物の面
積（最小包囲矩形による長方形の面積）に応じて、例え
ば、次のように変更することができる。ただし、この場
合、過去のフレームを保存しておくためのフレームメモ
リが必要となる。

【００８５】領域面積が、条件１（領域面積≦３２×３
２画素）となるときは、前フレームを４フレームとす
る。また、領域面積が、条件２（３２×３２画素＜領域
面積≦４８×４８画素）となるときは、前フレームを３
フレームとする。また、領域面積が、条件３（４８×４
８画素＜領域面積≦６４×６４画素）となるときは、前
フレームを２フレームとする。また、領域面積が、条件
４（６４×６４画素＜領域面積）となるときは、前フレ
ームを１フレームとする。

【００８６】また、フレーム間差分をとる際の時間間隔
を変更する場合の第二の変更例として、直接、移動体の
速度から求めることができる。この移動体の速度は、例
えば、過去のフレームにおける位置（ただし、カメラの
動きに起因する成分を除いておく）の差分から容易に求
められる。この際、ｎフレーム前の動き補償するための
アフィン変換パラメータは、次のように計算する。

【００８７】ｎフレーム前のフレームを動き補償するた
めのアフィン変換パラメータを行列＜A_n＞と列ベクトル
＜b_n＞として、各フレーム間で求められる移動パラメー
タを(α_i,β_i,γ_i)とすると、次式で表すことができる
（図７を参照願います。）。

【００８８】（数式１４） A_t ＝ (1+γ_t)E b_t ＝ ^t(α_tβ_t) ここで、Ｅは２行×２列の単位行列であり、（数式１
５）を用いて算出することができる。 （数式１５） ＜A_n＞ = A_tA_t-1...A_t-(n-1)=((1+γ_t)(1+γ_t-1)...
(1+γ_t-(n-1)))E=(Π(1+γ_i))E ＜b_n＞ = A_tA_t-1... A_t-(n-2)b_t-(n-1) +...+ A_tb_t-1
+b_t

【００８９】このように、第一実施形態に係る移動体追
尾装置は、上述した構成とすることによち、一台のＰＴ
Ｚカメラ１を用いて、対象物を追尾しつつ、ズーミング
可能な移動体の自動追尾を高速で精度良く行うことが可
能となる。さらに、この移動体追尾装置は、移動体の大
きさに応じて適応的にフレーム間差分を計算する際のフ
レーム間隔を変えることにより、追尾精度の向上を図る
ことができる。

【００９０】次に、本発明の移動体追尾装置における及
びこの装置を用いた方法の第二実施形態について説明す
る。 「第二実施形態」図８は、移体追尾装置の第二実施形態
における動作を説明するための概略フローチャート図を
示している。

【００９１】同図において、移動体追尾装置は、侵入物
追尾モードにおいて、上述の動き補償したフレーム間差
分による追尾（ステップ８４）と、テンプレートマッチ
ングによる追尾（ステップ８５）と、フレーム間差分に
よる追尾とテンプレートマッチングによる追尾の中間的
な性質を持つハイブリッド追尾（ステップ８６）とを行
なう追尾手段を備え、かつ、これら三つの追尾モードの
なかから、追尾モードを選択し（ステップ８３）、これ
らの追尾モードを切替えながら移動体を追尾する構成と
してある。

【００９２】なお、全体的な構成は、侵入物検出モード
において検出した対象物を侵入物検出モードにおいてそ
の画像上の位置を追尾し、さらにカメラを制御するとい
う点で、第一実施形態と同様であり、侵入物検出モード
や追尾終了判定、カメラ制御については、第一実施形態
と同様の構成としてある。

【００９３】この移動体追尾装置は、本発明者がフレー
ム間差分による追尾モードのみを有する移動体追尾装置
が、移動体が動いている場合には精度良く追尾が行える
ものの、移動体が一旦静止してしまうと、フレーム間差
分による追尾モードだけでは、追尾対象の移動体を見失
う恐れがあったことに鑑みて開発したものであり、フレ
ーム間差分による追尾モード（ステップ８３）の他に、
移動体が静止するようなときには、テンプレートマッチ
ングによる追尾（ステップ８５）やハイブリッド追尾
（ステップ８６）を自動的にモード選択（ステップ８
４）することによって、精度良く追尾することができ
る。

【００９４】具体的に、先ず、侵入物追尾モードにおけ
るテンプレートマッチングによる追尾について、図面を
参照して説明する。図９は、移体追尾装置の第二実施形
態におけるテンプレートマッチング追尾部を説明するた
めの概略ブロック図を示している。

【００９５】同図において、移動体追尾装置は、画像入
力ＩＦ２と侵入物検出手段３からの情報をテンプレート
として記憶するテンプレートメモリ９１と、このテンプ
レートメモリ９１，第２の画像メモリ５及び移動パラメ
ータ算出手段６からの情報にもとづいて、テンプレート
サイズを変換するテンプレートサイズ変換手段９２と、
このテンプレートサイズ変換手段９２と第１の画像メモ
リ４からの情報にもとづいて、各テンプレートをマッチ
ングさせるテンプレートマッチング手段９３を有するテ
ンプレートマッチング追尾部９０を備えた構成としてあ
る。なお、その他の構成は、第一実施形態と同様として
ある。

【００９６】テンプレートメモリ９１は、画像入力ＩＦ
から撮像データにもとづいて、テンプレートを記憶（更
新）するが、この際、テンプレートを更新するタイミン
グは、先ず、侵入物体が検出されると、侵入物領域をテ
ンプレートとして新規設定し、その後は、追尾している
ときにおける追尾モードの直前の追尾モードによって、
具体的には、図１０に示す条件にしたがって、テンプレ
ート及びテンプレートサイズを更新する。

【００９７】つまり、テンプレートメモリ９１は、同図
に示すように、直前の追尾モードがフレーム間差分によ
る追尾モードの場合は、対象物の変形やカメラとの位置
関係の変化に対応させるために、テンプレート画像およ
びテンプレートサイズを侵入物領域の画像に更新する。
また、同様に、テンプレートマッチングによる追尾の場
合は、テンプレート画像もそのサイズも更新せず、前フ
レームでの追尾で用いていたものと同じテンプレートを
用いる。さらにまた、同様に、ハイブリッド追尾の場合
は、テンプレート画像は更新されるが、テンプレートサ
イズは更新されない。

【００９８】テンプレートサイズ変換手段９３は、移動
パラメータ算出手段６において算出された移動パラメー
タ（α,β,γ）の中でスケール変換のパラメータγを用
いて、テンプレートサイズの変換を行う。

【００９９】具体的には、テンプレートサイズ変換手段
９３は、図１１に示すように、テンプレートが更新され
たときから各フレーム間ごとに求められるカメラ移動量
γ_iを用いて、追尾するときのフレーム（現フレーム）
で必要とされるスケールパラメータΓ=Π(1+γ_i)を計算
し、追尾するときのフレームで必要とされるテンプレー
トサイズになるようにテンプレートメモリ９１に記憶さ
れるテンプレートを拡大・縮小することでテンプレート
サイズの変換を行う。

【０１００】テンプレートマッチング手段９３は、サイ
ズ変換されたテンプレートをＴ（ｘ，ｙ）として、（数
式１６）に示すＳＡＤマッチングにより最も類似度の高
い最適位置を探索する。 （数式１６） J_SAD(a,b) = Σ|f(x-a,y-b,t)-T(x,y)| (a,b) = minJ_SAD(a,b) ただし、Σはテンプレートにおける総和である。このよ
うにして、移動体追尾装置は、侵入物の位置を更新した
後に、カメラ制御を行い次のフレームの処理に移行す
る。

【０１０１】次に、ハイブリッド追尾について説明す
る。ハイブリッド追尾は、フレーム間差分による追尾と
テンプレートマッチング追尾の評価値を組み合わせて追
尾するモードである。つまり、フレーム間差分による追
尾は、侵入物が動いている場合に有効な方法であり、ま
た、テンプレートマッチングによる追尾は、侵入物が静
止している場合にそれぞれ有効な方法であるのに対し、
ハイブリッド追尾モードは、それらの中間的な性質を持
つものとして設けている。

【０１０２】具体的には、ハイブリッド追尾モードの評
価関数J_hybridは、（数式１５）に示すようにテンプレ
ートマッチング追尾におけるＳＡＤ値とフレーム間差分
Ｄ（ｘ，ｙ）の疑似二次モーメント量による評価値の二
つの評価関数の線形和により設定している。 （数式１７） J_hybrid(a,b) =k_SADJ_SAD(a,b)+ k_mJ_m(a,b) J_SAD(a,b) = Σ|f(x-a,y-b,t)-T(x,y)| J_m(a,b) = ΣD(x,y)(x-a)²+D(x,y)(y-a)² ただし、Σはテンプレートにおける総和である。

【０１０３】この評価関数J_hybrid(a,b)を最小化する
（ａ，ｂ）を求め、それにもとづき侵入物体の位置を決
める。この際、上述したように、物体枠の大きさやテン
プレートサイズは更新されず、テンプレートマッチング
追尾やハイブリッド追尾で必要となるテンプレート画像
は更新される。

【０１０４】このように、ハイブリッド追尾（ステップ
８７）は、移動量が少ないが対象物が変形をしているた
めに、テンプレートマッチングによる追尾とフレーム間
差分による追尾ともに追尾が難しいと判断される場合
に、それぞれの中間的な性質を備えることによって、追
尾精度を向上させることができる。具体例としては、図
１２に示すように、ズーム制御された現フレームにおい
て、移動体と背景の木が重なり移動体を抽出できない場
合に、動き補正した前フレームを用いて、フレーム間差
分の結果として、移動体を抽出することができる。

【０１０５】上述したように、第二実施形態における移
動体追尾装置は、フレーム間差分による追尾モード，テ
ンプレートマッチングによる追尾モード又はハイブリッ
ド追尾モードを自動的に選択して、移動体の追尾を行う
ことができる。したがって、この移動体追尾装置は、移
動体が一旦静止してしまうような場合であっても、精度
良く自動追尾を行うことができる。

【０１０６】また、本発明は、上述したように、移動体
追尾方法としても有効であり、移動体追尾方法として実
施することにより、移動体追尾装置における各実施形態
と同様の効果を得ることができる。さらにまた、本発明
において、検出する対象は、移動する物体、すなわち移
動体でり、侵入物体に限定されるものではないことは勿
論である。

【０１０７】

【発明の効果】以上説明したように、本発明において
は、パン・チルト・ズーム機能を有するカメラを用いて
高速で精度の良い移動体追尾を行うことができる。ま
た、移動体推定手段が、動き補償された第１の画像メモ
リに記憶される画像データと第２の画像メモリに記憶さ
れる画像データを用いて、この二つの画像のフレーム間
の差分を算出し、このフレーム間の差分にもとづき前記
移動体の位置と大きさを推定することにより、移動体の
移動パラメータを精度良く算出することができ、結果的
に移動体追尾の信頼性を向上させることができる。

【０１０８】また、移動体推定手段が、移動体の大きさ
あるいは速度に応じて、二つの画像のフレーム間の差分
を算出する時間間隔を、適応的に変化させる方法として
あるが、これにより、移動体が高速で移動する場合であ
っても、追尾することができ、移動体追尾の信頼性を向
上させることができる。

【０１０９】さらにまた、テンプレートメモリが、画像
入力インターフェースと侵入物検出手段からの情報をテ
ンプレートとして記憶し、テンプレートサイズ変換手段
が、テンプレートメモリ，第２の画像メモリ及び移動パ
ラメータ算出手段からの情報にもとづいて、テンプレー
トサイズを変換し、テンプレートマッチング手段が、テ
ンプレートサイズ変換手段と第１の画像メモリからの情
報にもとづいて、各テンプレートをマッチングさせる方
法としてあり、これにより、移動体追尾装置は、フレー
ム間差分による追尾モード，テンプレートマッチングに
よる追尾モード又はハイブリッド追尾モードを自動的に
選択して、移動体の追尾を行うことができる。したがっ
て、この移動体追尾装置は、移動体が一旦静止してしま
うような場合であっても、精度良く自動追尾を行うこと
ができる。

【図面の簡単な説明】

【図１】図１は、本発明に係る移体追尾装置の第一実施
形態における概略ブロック図を示している。

【図２】図２は、移体追尾装置の第一実施形態における
侵入物検出手段の概略ブロック図を示している。

【図３】図３は、移体追尾装置の第一実施形態における
追尾モードの動作を説明するための概略フローチャート
図を示している。

【図４】図４は、移体追尾装置の第一実施形態における
カメラモデルを説明するための概略図を示している。

【図５】図５は、移体追尾装置の第一実施形態における
移動パラメータ算出手段の動作を説明するための概略フ
ローチャート図を示している。

【図６】図６は、移体追尾装置の第一実施形態における
ガウシアンカーネルの一例を示している。

【図７】図７は、移体追尾装置の第一実施形態における
フレーム間差分の時間間隔を変えた場合における変換パ
ラメータの計算の仕方を説明するための図を示してい
る。

【図８】図８は、移体追尾装置の第二実施形態における
動作を説明するための概略フローチャート図を示してい
る。

【図９】図９は、移体追尾装置の第二実施形態における
テンプレートマッチング追尾部を説明するための概略ブ
ロック図を示している。

【図１０】図１０は、移体追尾装置の第二実施形態にお
けるテンプレートの更新の条件を説明するための図を示
している。

【図１１】図１１は、移体追尾装置の第二実施形態にお
けるテンプレートサイズ変換手段における変換パラメー
タを説明するための図を示している。

【図１２】図１２は、本発明における移動体追尾装置の
フレーム間の動き補償を説明するための図を示してい
る。

【符号の説明】

１ ＰＴＺカメラ ２ 画像入力ＩＦ（インタフェース） ３ 侵入物検出手段 ４ 第１の画像メモリ ５ 第２の画像メモリ ６ 移動パラメータ算出手段 ７ フレーム間動き補償手段 ８ 移動体推定手段 ９ カメラ制御手段 ３１ 入力画像メモリ ３２ 背景更新手段 ３３ 背景画像メモリ ３４ 差分算出手段 ３５ 二値化手段 ３６ ラベリング手段 ３７ 侵入物識別手段 ９０ テンプレートマッチング追尾部 ９１ テンプレートメモリ ９２ テンプレートサイズ変換手段 ９３ テンプレートマッチング手段

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１２年４月１３日（２０００．４．１
３）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正内容】

【書類名】 明細書

【発明の名称】 移動体追尾方法及びその装置

【特許請求の範囲】

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パン・チルト制御
機能およびズーム制御機能を有するカメラを用いて、撮
像した画像のなかの移動体を自動検出しさらに自動追尾
する移動体追尾方法及びその装置に関し、特に、広範囲
な監視エリアを一台のカメラを用いて監視する移動体追
尾方法及びその装置に関する。

【０００２】

【従来の技術】従来、広範囲な監視エリアに侵入者や侵
入車両などあった場合に、これらの侵入物体（移動体）
を検出するとともに、侵入物体のズームアップされた映
像データを記録し、かつ、侵入物体を自動的に追尾する
監視システムを実現するために、様々な移動体追尾方法
及びその装置が提案されてきた。

【０００３】（第一従来例）例えば、特開平１１−６９
３４２号において、パン・チルト制御機能およびズーム
制御機能を有するカメラ（適宜、ＰＴＺカメラと略称す
る。）を用いた侵入物体追尾画像処理システムが提案さ
れている。この侵入物体追尾画像処理システムは、侵入
物体の検出を行う固定した第一のカメラと、この侵入物
体をズームアップし、かつ、自動的に追尾する第二のＰ
ＴＺカメラとからなる移動体追尾装置を用いている。

【０００４】第一の固定カメラは、通常、背景差分法と
呼ばれる方法（背景画像と入力された映像の差分を用い
て侵入物体を検出する方法）を用いて、侵入物体を検出
する。そして、第一の固定カメラの映像から得られた侵
入物体の位置や大きさから算出された制御量にもとづい
て、第二のＰＴＺカメラが制御されることにより、当該
第二のＰＴＺカメラは、侵入物体を自動追尾する。

【０００５】このように、第一従来例における移動体追
尾装置は、物体が侵入したことを自動検出するととも
に、侵入物体を検出する情報にもとづいて、パン・チル
ト方向へ回転する雲台を制御して侵入物体を自動追尾
し、かつ、ズーミング可能な撮像レンズを制御して侵入
物体の拡大を行うことによって、ビデオモニタの画面上
に侵入物体を映し出すことができる。したがって、監視
者は、ビデオモニタの画面上で侵入物体を容易に確認す
ることをができる。

【０００６】

【発明が解決しようとする課題】ところが、この第一従
来例における映像監視追跡装置は、二台のカメラを必要
とするために、部品費及び設置工事費が高額となり、顧
客のコストダウン要求に応えられないという問題があっ
た。

【０００７】つまり、この映像監視追跡装置は、侵入物
体を検出する際に、背景差分法を用いているが、背景を
撮像するためのカメラを動かしてしまうと、カメラを動
かした後に撮像した映像とカメラを固定して撮像した背
景映像との間の差分量が大きくなってしまい、背景と移
動する侵入物体の区別ができなくなる。このため、ＰＴ
Ｚカメラが侵入物体を追尾しているときに、この背景差
分法により侵入物体の検出を行なうためには、固定され
たカメラが必要となる。

【０００８】このような理由から、第一従来例における
侵入物体追尾画像処理システムは、一台のカメラを固定
カメラとして用いて背景差分法により侵入物を検出し、
さらに、もう一台のＰＴＺカメラを用いて侵入物体を追
尾する構成としてある。したがって、この映像監視追跡
装置は、一台のカメラを用いた構成とすることができな
い。

【０００９】（第二従来例）また、カメラを一台のみ使
用する技術として、例えば、特開平１０−１３８２１号
において、一台のパン・チルト制御機能を有するカメラ
を用いて、侵入物体の検出および追尾を行う映像監視追
跡装置が提案されている。この映像監視追跡装置は、背
景差分法により侵入物体を検出した後、その侵入物体に
対応する画像をテンプレートとして、入力画像との差分
が最小となる画像上での位置を検出するテンプレートマ
ッチングを行うことで、侵入物体の位置を求め、この算
出データにもとづいてカメラ制御することによって、侵
入物体を追尾することができる。

【００１０】しかし、第二従来例における映像監視追跡
装置は、テンプレートマッチングによって追尾している
ときにズームアップすると、テンプレートと映像中の侵
入物体の大きさに違いが生じるために、精度良く追尾す
ることができない。

【００１１】また、このテンプレートマッチングにおい
て、レンズのズームアップによって生じる対象物の大き
さの変化に対応するには、平行移動の探索に加えて、対
象物の大きさの変化を考慮にいれた探索を行う必要があ
り、この検索を行なうには、膨大な演算処理を必要とす
るので、高速で移動する侵入物体に対しては、実用化で
きない。このため、第二従来例における映像監視追跡装
置は、レンズをズームアップさせて、侵入物体を追尾す
ることができないといった問題があった。

【００１２】そこで、本発明は上記の問題を解決すべく
なされたものであり、パン・チルト制御機能およびズー
ム制御機能を有する一台のカメラを用いて、高速で移動
する移動体を精度良く自動追尾することが可能となる移
動体追尾方法及びその装置の提供を目的とする。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に、本発明における請求項１記載の移動体追尾方法は、
パン・チルト制御機能およびズーム制御機能を有するカ
メラからの画像データにもとづいて、移動体検出手段
が、移動体を検出したときに、前記移動体を自動追尾す
る移動体追尾方法であって、前記カメラからの映像信号
をデジタル画像として入力する画像入力インタフェース
が、画像データを記憶する第１の画像メモリと、この第
１の画像メモリに記憶される画像データの一つ前のフレ
ームにおける画像データを記憶する第２の画像メモリに
当該画像データを出力し、前記第１の画像メモリに記憶
される画像データと前記第２の画像メモリに記憶される
画像データの背景領域における前記移動体の平行移動お
よび拡大縮小の移動パラメータを算出し、前記移動パラ
メータを用いて、前記第２の画像メモリに記憶される画
像データを前記第１の画像メモリに記憶される画像デー
タの座標に変換してフレーム間の動き補償を行い、前記
フレーム間動き補償手段により動き補償された前記画像
データから前記移動体を抽出し、前記移動体の位置およ
び大きさを推定し、前記移動体推定手段から得られる前
記移動体の位置と大きさの情報を入力して、前記カメラ
のパン・チルト制御およびズーム制御を行なう方法とし
てある。

【００１４】このようにすることにより、パン・チルト
制御機能およびズーム制御機能を有する一台のカメラを
用いて、高速で移動する移動体を精度良く自動追尾する
ことができる。

【００１５】また、上記目的を達成するために、本発明
における請求項２記載の移動体追尾装置は、移動体を自
動追尾するための、パン・チルト制御機能およびズーム
制御機能を有するカメラと、このカメラからの映像信号
をデジタル画像として入力する画像入力インタフェース
と、この画像入力インタフェースからの画像データにも
とづいて、移動体を検出する移動体検出手段と、前記画
像入力インタフェースからの画像データを記憶する第１
の画像メモリと、この第１の画像メモリに記憶される画
像データの一つ前のフレームにおける画像データを記憶
する第２の画像メモリと、前記第１の画像メモリに記憶
される画像データと前記第２の画像メモリに記憶される
画像データの背景領域における前記移動体の平行移動お
よび拡大縮小の移動パラメータを算出する移動パラメー
タ算出手段と、前記移動パラメータを用いて、前記第２
の画像メモリに記憶される画像データを前記第１の画像
メモリに記憶される画像データの座標に変換してフレー
ム間の動き補償を行うフレーム間動き補償手段と、この
フレーム間動き補償手段により動き補償された前記画像
データから前記移動体を抽出し、前記移動体の位置およ
び大きさを推定する移動体推定手段と、この移動体推定
手段から得られる前記移動体の位置と大きさの情報を入
力して、前記パン・チルト制御およびズーム制御を行な
うカメラ制御手段と、を具備した構成としてある。

【００１６】このように、本発明は、移動体追尾装置と
しても有効であり、パン・チルト制御機能およびズーム
制御機能を有する一台のカメラを用いて、高速で移動す
る移動体を精度良く自動追尾することができる。

【００１７】請求項３記載の発明は、上記請求項２に記
載の移動体追尾装置おいて、前記移動パラメータ算出手
段が、オプティカルフローの拘束条件にもとづき反復勾
配法を用いて前記フレーム間の平行移動および拡大縮小
の移動パラメータを算出する構成としてある。

【００１８】このようにすることにより、カメラ移動に
起因する背景領域の移動パラメータを精度良く算出する
ことができ、結果的に移動体追尾の信頼性を向上させる
ことができる。

【００１９】請求項４記載の発明は、上記請求項２また
は請求項３に記載の移動体追尾装置において、前記移動
体推定手段が、動き補償された前記第１の画像メモリに
記憶される画像データと前記第２の画像メモリに記憶さ
れる画像データを用いて、この二つの画像のフレーム間
の差分を算出し、このフレーム間の差分にもとづき前記
移動体の位置と大きさを推定する構成としてある。

【００２０】これにより、移動体の移動パラメータを精
度良く算出することができ、結果的に移動体追尾の信頼
性を向上させることができる。

【００２１】請求項５記載の発明は、上記請求項４に記
載の移動体追尾装置おいて、前記移動体推定手段が、前
記移動体の大きさあるいは速度に応じて、前記二つの画
像のフレーム間の差分を算出する時間間隔を、適応的に
変化させる構成としてある。

【００２２】これにより、移動体が高速で移動する場合
であっても、追尾することができ、移動体追尾の信頼性
を向上させることができる。

【００２３】請求項６記載の発明は、上記請求項２〜請
求項５のいずれかに記載の移動体追尾装置において、前
記画像入力インターフェースと前記移動体検出手段から
の情報をテンプレートとして記憶するテンプレートメモ
リと、このテンプレートメモリ，前記第２の画像メモリ
及び前記移動パラメータ算出手段からの情報にもとづい
て、テンプレートサイズを変換するテンプレートサイズ
変換手段と、このテンプレートサイズ変換手段と前記第
１の画像メモリからの情報にもとづいて、各テンプレー
トをマッチングさせるテンプレートマッチング手段を有
するテンプレートマッチング追尾部を備えた構成として
ある。

【００２４】このようにすることにより、移動体追尾装
置は、フレーム間差分による追尾モード，テンプレート
マッチングによる追尾モード又はハイブリッド追尾モー
ドを自動的に選択して、移動体の追尾を行うことができ
る。したがって、この移動体追尾装置は、移動体が一旦
静止してしまうような場合であっても、精度良く自動追
尾を行うことができる。

【００２５】

【発明の実施の形態】以下、本発明の各実施形態につい
て、図面を参照して説明する。先ず、本発明の移動体追
尾装置における及びこの装置を用いた方法の第一実施形
態について、図面を参照して説明する。

【００２６】「第一実施形態」図１は、本発明に係る移
体追尾装置の第一実施形態における概略ブロック図を示
している。

【００２７】同図において、移動体追尾装置は、パン・
チルト制御機能およびズーム制御機能を有するカメラ
（ＰＴＺカメラ）１と、このＰＴＺカメラ１からの映像
信号をデジタル画像として入力する画像入力ＩＦ（イン
ターフェイス）２と、画像入力ＩＦ２からの画像データ
にもとづいて、移動体を検出する移動体検出手段３と、
画像入力ＩＦ２からの画像データを記憶する第１の画像
メモリ４と、第１の画像メモリ４に記憶される画像デー
タの一つ前のフレームにおける画像データを記憶する第
２の画像メモリ５と、第１の画像メモリ４に記憶される
画像データと第２の画像メモリ５に記憶される画像デー
タの背景領域における移動体の平行移動および拡大縮小
の移動パラメータを算出する移動パラメータ算出手段６
と、この移動パラメータを用いて、第２の画像メモリ５
に記憶される画像を第１の画像メモリ４に記憶される画
像の座標に変換してフレーム間の動き補償を行うフレー
ム間動き補償手段７と、このフレーム間動き補償手段７
により動き補償された画像データから移動体を抽出し、
移動体の位置および大きさを推定する移動体推定手段８
と、移動体推定手段８から得られる移動体の位置や大き
さの情報（移動体座標信号）を入力しＰＴＺカメラ１の
カメラ制御を行うカメラ制御手段９とで構成してある。

【００２８】ＰＴＺカメラ１は、外部インタフェースを
有し、かつ、電動式の雲台に配設されたズームカメラで
あり、外部からの制御信号によって、雲台の左右方向の
回転（パン），上下方向の回転（チルト）及びレンズの
ズーム率が制御される。

【００２９】ここで、ＰＴＺカメラ１は、カメラの光
軸，雲台のパンの回転軸及びチルトの回転軸が一点で交
差する構成としてあるので、撮像する画像の座標系とパ
ン・チルトの制御量への変換演算を簡略かつ少量化する
ことができる。

【００３０】画像入力ＩＦ２は、ＰＴＺカメラ１からの
アナログの映像信号をＡ／Ｄ変換によりデジタル化し、
第１の画像メモリ４に入力する。なお、ＰＴＺカメラ１
としてデジタル映像カメラのように圧縮されたデジタル
信号を出力するカメラを用いた場合には、画像入力ＩＦ
２としては圧縮デジタル画像を展開して、第１の画像メ
モリ４に入力する画像入力ＩＦを設ける必要がある。

【００３１】移動体検出手段３は、画像入力ＩＦ２から
入力された画像を用いて移動体を検出する。ここで、移
動体追尾装置は、移動体を検出する移動体検出モード
と、検出した移動体をズームアップして追尾する追尾モ
ードの二つのモードを有している。

【００３２】移動体検出手段３は、図２に示すように、
背景差分法を用いて移動体を検出する。ここで、移動体
検出手段３は、各時刻における入力画像信号入力して、
この入力画像を記憶する入力画像メモリ３１と、背景画
像を生成・更新する背景更新手段３２と、背景画像を記
憶する背景画像メモリ３３と、入力画像メモリ３１の画
像と背景画像メモリ３３の画像の差分を算出する差分算
出手段３４と、差分算出手段３４からの画像差分を二値
化する二値化手段３５と、二値化した画像のラベリング
を行うラベリング手段３６と、得られるラベル画像から
移動体を識別し、移動体の位置情報信号を出力する移動
体識別手段３７とで構成してある。

【００３３】まず、入力画像メモリ３１に入力された画
像は、背景更新手段３２で背景生成および背景更新に利
用される。背景更新手段３２は、移動体追尾装置が起動
したときや、追尾モードが終了し移動体検出モードとな
ったときに、背景生成を行ない、また、その後の移動体
検出モードにおいては背景更新を行う構成としてある。

【００３４】背景更新手段３２は、背景生成において、
任意のフレームｔの画像をｆ（ｘ，ｙ，ｔ）と表し、こ
れを背景Ｂ（ｘ，ｙ，ｔ）として背景画像メモリ３３に
記録する。そして、背景更新手段３２は、次のフレーム
ｔ＋１の背景更新において、背景生成のときからのフレ
ーム数をｎ、前のフレームにおける背景をＢ（ｘ，ｙ，
ｔ）として、フレームｆ（ｘ，ｙ，ｔ＋１）の画像を利
用して次の漸化式にしたがって新しい背景Ｂ（ｘ，ｙ，
ｔ＋１）を計算する。

【００３５】（数式１） B(x,y,t+1) = (1-α)B(x,y,t)+αf(x,y,t+1) ただし、 n＜Nのとき：α= 1/(n+1) n≧Nのとき：α= 1/(N+1) ここで、αは新しいフレームの影響を背景にどれだけ取
り込むか決める係数で、Ｎは定数であり、例えば、３０
０フレームと設定する。

【００３６】ここで、例えば、ｎ＝１の場合、α=1/(n+
1)=1/2となり、ｆ（ｘ，ｙ，ｔ）とｆ（ｘ，ｙ，ｔ＋
１）の平均値画像を新しい背景画像Ｂ（ｘ，ｙ，ｔ＋
１）とすることになる。そして、順次、（数式１）によ
る背景を漸化的に計算することで、照明変動などに起因
する背景の変化にも柔軟に対応できる背景Ｂ（ｘ，ｙ，
ｔ）となる。このようにして背景更新手段３２により算
出された背景画像は、背景画像メモリ３３に記憶され
る。

【００３７】差分算出手段３４は、入力画像メモリ３１
に記憶される入力画像ｆ（ｘ，ｙ，ｔ）と、背景画像メ
モリ３３に記憶される背景画像Ｂ（ｘ，ｙ，ｔ）の差分
の絶対値を（数式２）により算出する。 （数式２） S(x,y,t) = |B(x,y,t)-f(x,y,t)| そして、差分算出手段３４は、この差分画像Ｓ（ｘ，
ｙ，ｔ）を二値化手段３５に出力する。

【００３８】また、差分算出手段３４は、差分画像Ｓ
（ｘ，ｙ，ｔ）に対して、ガウシアンフィルタなどを畳
み込むことにより、平滑化した結果を出力するができ、
ノイズに対する悪影響が低減された良好な結果を得るこ
とができる。なお、本実施形態においては、一般的な背
景差分法による移動体検出手段３を用いたが、これに限
定するものはなく、例えば、本発明者が特願平１１−０
７８６４１号において提案した物体検出装置を用いて、
移動体検出手段を構成することができる。

【００３９】二値化手段３５は、差分画像Ｓ（ｘ，ｙ，
ｔ）のしきい値処理により二値化し、この二値化された
二値画像をラベリング手段３６に出力する。また、ラベ
リング手段３６は、二値画像をラベリング（分類）し、
このラベル画像を移動体識別手段３７に出力する。

【００４０】移動体識別手段３７は、ラベル画像の各ラ
ベルの面積を調べて、面積がしきい値以上大きいラベル
を移動体として判定し、そのラベルを囲う最小包囲矩形
を算出する。ここで、移動体識別手段３７は、最小包囲
矩形を中心座標ｍ（ｃｘ，ｃｙ）と大きさ（ｚｘ，ｚ
ｙ）として算出し、これらからなる移動体の位置情報信
号を出力する。このように、移動体検出手段３は、移動
体検出モードにおいて、移動体を検出することができ
る。

【００４１】移動体追尾装置は、移動体検出手段３が移
動体を検出すると、移動体検出モードから移動体を追尾
する追尾モードに移行する。次に、移動体追尾装置の追
尾モードにおける動作について、図面を参照して説明す
る。

【００４２】図３は、移体追尾装置の第一実施形態にお
ける追尾モードの動作を説明するための概略フローチャ
ート図を示している。同図において、先ず、移動体追尾
装置は、移動体検出手段３が移動体を検出すると、追尾
モードに移行し（ステップ３０）、続いて、その移動体
を検出した画像における当該移動体の中心座標ｍ（ｃ
ｘ，ｃｙ）と大きさ（ｚｘ，ｚｙ）、すなわち、移動体
の位置情報からカメラ制御手段９を介してＰＴＺカメラ
１のパン・チルト・ズームを制御して、移動体を最適な
画角で捉えられる（ステップ３１）。

【００４３】ここで、移動体の中心座標ｍ（ｃｘ，ｃ
ｙ）データを用いて、ＰＴＺカメラ１のパン・チルトを
制御する方法について説明する。カメラの座標系と画像
面（カメラの結像面、すなわち、ＣＣＤなどの撮像面）
の関係は、図４に示すように、画像面の中心ｃと光軸中
心（すなわちＺ軸）が一致すると近似し、画像面の水平
方向をｘ軸、画像面の垂直方向をｙ軸とする。ここで、
ｄは、カメラのレンズの焦点距離を表している。

【００４４】また、同図におけるカメラモデルの表現方
法は、通常、コンピュータビジョンの分野で用いられる
仮想画像平面を用いた表現方法、具体的には、徐剛、辻
三郎著「３次元ビジョン」（共立出版、１９９８年、ｐ
ｐ．１６−１７）に記述されている表現方法により表現
してある。

【００４５】移動体の中心座標ｍ（ｃｘ，ｃｙ）を画像
面の中心ｃに一致させるのに必要なパン角φとチルト角
θは、（数式３）により近似的に表すことができる。な
お、（数式３）は、特許２９５３４９７号において、
「対象の補足方法およびその装置」に関する技術として
記述されている。 （数式３） パン角φ = −ｃｘ／ｄ チルト角θ = −ｃｙ／ｄ したがって、（数式３）のパン角φとチルト角θとなる
ように、雲台を制御することにより、移動体の位置を画
像中心に捉えることができる。

【００４６】また、ズーム率の制御は、移動体の大きさ
に合わせて制御量を決めれば良く、具体的には、特開平
１１−６９３４２号において、「対象の補足方法および
その装置」に関するズーム制御方法として記述されてい
る。

【００４７】このように、カメラ制御手段９が、上述し
た方法により得られるパン・チルト・ズームの制御量
（制御信号）をＰＴＺカメラ１に出力すると、ＰＴＺカ
メラ１は、この制御信号にもとづいて、パン・チルト・
ズームを制御する。

【００４８】ここで、移動体追尾装置は、移動体の検出
後に、移動体検出モードのまま、対象物体を追尾するた
めにＰＴＺカメラ１を移動させると、移動体を検出した
ときのカメラアングルと、その次のフレームにおけるカ
メラアングルが異なるために背景差分法による移動体検
出が、通常、正常に動作しなくなる。そこで、移動体追
尾装置は、移動体検出モードにより移動体を検出する
と、移動体検出モードから追尾モードにモード切り替え
を行なってから、追尾モードによる移動体の追跡を行う
構成としてある。

【００４９】つまり、移動体追尾装置は、移動体を検出
したときのフレームを、図１に示すフレームｔ−１と
し、追尾モードに入った最初のフレームをフレームｔと
して、フレームｔとフレームｔ−１の画像を第１の画像
メモリ４と第２の画像メモリ５にそれぞれ記憶する。そ
して、その後のループでは、前のフレームの画像を第２
の画像メモリ５に記憶し、第１の画像メモリ４に次のフ
レームの新しい画像を入力するように制御する（ステッ
プ３２）。

【００５０】次に、移動パラメータ算出手段６は、第１
の画像メモリ４に記憶される画像ｆ（ｘ，ｙ，ｔ）と第
２の画像メモリ５に記憶される画像ｆ（ｘ，ｙ，ｔ−
１）を用いて、ＰＴＺカメラ１のパン・チルト・ズーム
の変化に起因する背景の移動パラメータを求める（ステ
ップ３３）。

【００５１】ここで、この背景の移動パラメータの推定
方法について説明する。まず、撮像されている移動体は
十分小さく、かつ、画像全体を占める映像は大部分が背
景であると仮定し、さらに、移動体の影響は無視できる
ものとして説明する。

【００５２】そして、画像ｆ（ｘ，ｙ，ｔ）は、ＰＴＺ
カメラ１のパン・チルト・ズームが制御されるとこれら
の変動によって、平行移動と拡大・縮小の変換（アフィ
ン変換）を受けて画像ｆ（ｘ，ｙ，ｔ−１）となると仮
定することによって、推定することができる。

【００５３】つまり、二つの画像間の関係式は（数式
４）で表される拘束下にあるものとする。 （数式４） f(x+u,y+v,t) = f(x,y,t-1) u = γx +α v = γy +β ここで、γは拡大縮小を表し、αはｘ方向の移動量、β
はｙ方向の移動量を表している。

【００５４】続いて、この移動パラメータを求めるため
の処理について、図面を参照して説明する。図５は、移
体追尾装置の第一実施形態における移動パラメータ算出
手段の動作を説明するための概略フローチャート図を示
している。同図において、移動パラメータを求める処理
は、大きく二つの処理に分かれ、第１の処理は、γ=０
と仮定し、平行移動のパラメータα、βのみをＳＳＤマ
ッチングによる相関計算にもとづき推定する処理であ
り、また、第２の処理は、第１の処理で推定した移動パ
ラメータを初期値として、反復勾配法により移動パラメ
ータα、β、γを推定する処理である。

【００５５】まず、第１の処理であるステップのＳＳＤ
マッチングによる初期値推定（ステップ５１）について
説明する。第１の処理の初期値推定では、（数式５）に
よる差分量J₁(u,v)を計算し、その最小を与えるｕ，ｖ
を求める。 （数式５） J₁(u,v) = Σ|f(x+u,y+v,t)-f(x,y,t-1)|² ただし、Σは背景領域における総和である。

【００５６】ここでは、評価値として画素値の差の二乗
和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅ
ｒｅｎｃｅ）を用いているが、画素値の差の絶対値和
（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆ
ｅｒｅｎｃｅ）や正規化相関などを用いることもでき
る。また、（ｕ，ｖ）の探索空間は、カメラアングルや
レンズのズーム率等に依存するが、前後数画素から数十
画素程度の範囲について、画素単位をとれば十分であ
る。

【００５７】次に、第２の処理において、得られたｕ，
ｖをそれぞれ移動パラメータα、βの初期値として用
い、オプティカルフロー拘束にもとづく移動量に関する
条件式を反復勾配法により求める（ステップ５２、５
３、５４）。

【００５８】この反復勾配法は、本発明者が、特開平７
−３３４６９０号において、「物体の輪郭追跡方法」に
関する技術として開示しているが、その原理について簡
単に説明する。まず、画像ｆ（ｘ，ｙ，ｔ）と画像ｆ
（ｘ，ｙ，ｔ−１）の間の関係が（数４）の拘束下にあ
ると仮定する。

【００５９】そして、（数式６）の目的関数J₂(α,β,
γ)を最小化することにより、移動パラメータを求める
ことができる。 （数式６） J₂(α,β,γ) = Σ |f(x+u,y+v,t)-f(x,y,t-1)|² ただし、Σは背景領域における総和である。

【００６０】ここで、（数式６）のｆ（ｘ＋ｕ，ｙ＋
ｖ，ｔ）をｆ（ｘ，ｙ，ｔ−１）のまわりでテイラー展
開し、１次までの項を用いることで、目的関数J2を近似
すると（数式７）となる。 （数式７） J₂(α,β,γ) ≒ Σ| u∂f/∂x+v∂f/∂y+∂f/∂t
|²

【００６１】また、J₂(α,β,γ)の最小を与える必要条
件は、（数式８）によって与えられる。 （数式８） ∂J₂(α,β,γ)/∂α = 0 ∂J₂(α,β,γ)/∂β = 0 ∂J₂(α,β,γ)/∂γ = 0

【００６２】ここで、（数式８）の条件式に（数式４）
のｕ，ｖ、および（数式７）のJ₂(α,β,γ)を代入する
と、三元一次連立方程式となり、（数式９）に示す解が
得られる。 （数式９）^t ( αβγ ) = -A^-1B ここで、 A = Σ^tWW B = Σ(∂f/∂t^tW) W = (∂f/∂x∂y/∂y(x∂f/∂y+y∂f/∂y)) ただし、Σは背景領域における総和である。

【００６３】なお、^tXは行列Xの転置行列を表してお
り、これは解析的に容易に解くことができ、移動パラメ
ータ（α,β,γ）が求められる。しかし、ここで得られ
るパラメータは、（数式７）を得る段階でテイラー展開
しているために移動量が大きい場合には必ずしも精度が
良いというわけではない。そのため、通常は反復して解
を求める必要がある。このようにして、反復解法による
オプティカルフロー拘束にもとづく移動量推定方法は、
反復勾配法と呼ばれる。

【００６４】したがって、第２の処理では、まずＳＳＤ
マッチングによって得られた初期値（α，β）にもとづ
き画像ｆ（ｘ，ｙ，ｔ）のアフィン変換を行う（ステッ
プ５２）。次に、オプティカルフロー拘束にもとづく移
動量推定を行う（ステップ５３）が、これはそれぞれ
（数式９）の行列Ａ，列ベクトルＢの各要素を計算する
過程、逆行列A^-1を計算する過程、最終的に（数式９）
によって得られる移動量（α，β，γ）を計算する過程
からなる。

【００６５】また、行列Wの値には偏微分によって表さ
れる項があるが、これは画像の水平方向差分（（ｆ（ｘ
＋１，ｙ，ｔ）−ｆ（ｘ−１，ｙ，ｔ））／２）、垂直
方向差分（ｆ（ｘ，ｙ＋１，ｔ）−ｆ（ｘ，ｙ−１，
ｔ））／２）を用いて計算すればよい。また、時間偏微
分はフレーム間の差分を計算すればよい。

【００６６】続いて、反復回数が十分か否か判定し、不
十分であるならば、（α，β，γ）のパラメータを用い
て画像ｆ（ｘ，ｙ，ｔ）をアフィン変換するように、変
換された画像を用いて移動量の推定を繰り返す（ステッ
プ５４）。反復回数が十分であるならば、推定された移
動パラメータ（α，β，γ）を出力する。なお、ここで
求めるα、βは、サブピクセルの精度が必要である。

【００６７】上述したように、図３に示すステップ３３
において、カメラ移動に起因する背景領域の移動パラメ
ータ（α，β，γ）を算出することができる。

【００６８】次に、移動体追尾装置は、第２の画像の動
きを補償する（ステップ３４）。具体的には、フレーム
間動き補償手段１７は、算出した移動パラメータ（α，
β，γ）を用いて、第１の画像と第２の画像のフレーム
間の動きを補償するように、第２の画像をアフィン変換
する。ここで、アフィン変換における補間方法として、
画素値の補間に対する共一次内挿法（ｂｉ−ｌｉｎｅａ
ｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いる。

【００６９】続いて、移動体推定手段８は、第１の画像
と動き補償された第２の画像のフレーム間の差分を計算
する（ステップ３５）。ここで、フレーム間に写ってい
る背景の僅かなずれによるノイズなどを低減させるため
に、画像をぼかす処理として、フレーム間差分を行う前
後にガウシアンによる畳み込み処理を行う。

【００７０】具体的には、フレーム間差分の結果Ｄ
（ｘ，ｙ）は、第１の画像をｆ（ｘ，ｙ，ｔ）、動き補
償した第２の画像をｆ’（ｘ，ｙ，ｔ−１）として次式
で表される。 （数式１０） D(x,y) = G*|G*f(x,y,t)-G*f'(x,y,t-1)| ここで、Ｇはガウシアンフィルタ、*は畳み込み処理を
表している。また、ガウシアンの畳み込み処理では、図
６に示す５行×５列の離散的なカーネルを用いている。

【００７１】続いて、移動体推定手段８は、フレーム間
差分を用いて移動体の位置および大きさの推定を行う
（ステップ３６）。ここで、移動体は、当該移動体を囲
む最小包囲矩形による物体枠によって、表現される。こ
の物体枠は、物体枠の予測，物体の中心位置の決定及び
物体枠の大きさの変更といった三つの処理によって、求
めることができる。

【００７２】ここで、物体枠の予測は、前回の処理にお
ける物体枠が今回のフレームでどこにあるのか予測する
ものである。具体的には、今回のフレームにおける物体
枠は、前回のフレームと今回のフレームのカメラ移動に
起因する背景の移動量とカメラの動きを補正し、その後
の物体そのものの画像上の速度から計算される移動量を
加算することによって、予測される。すなわち、（予測
物体枠位置）＝（前回の物体枠位置）＋（カメラ移動
量）＋（物体移動量）の関係にもとづいて、物体枠の位
置は予測される。

【００７３】そして、物体の中心位置ｍ（ｃｘ，ｃｙ）
は、予測された物体枠内におけるフレーム間差分Ｄ
（ｘ，ｙ，ｔ）の重心によって決定される。具体的に
は、物体の中心位置ｍ（ｃｘ，ｃｙ）は、（数式１１）
により算出される。 （数式１１） cx = Σ xD(x,y)/ΣD(x,y) cy = Σ yD(x,y)/ΣD(x,y) ただし、Σは予測された物体枠内における総和である。

【００７４】このようにして求められた中心位置ｍ（ｃ
ｘ，ｃｙ）を物体の中心として、物体枠の中心を更新す
る。また、物体枠の大きさは、中心位置ｍ（ｃｘ，ｃ
ｙ）を中心とした物体枠を初期値として、フレーム間差
分Ｄ（ｘ，ｙ）を基準にその枠を上下左右に移動させる
ことにより変更する。

【００７５】具体的には、上下左右のそれぞれの枠ごと
に独立に同様の処理を行うが、先ず、一例として、左側
の枠を変更する場合について説明する。左側の枠を変更
するためには、左枠の近傍で、左枠に関する次の評価値
S_left(x)を（数式１２）にしたがって計算する。 （数式１２） S_left(x) = (Σ_ymin ^ymaxD(x,y))/(ymax-ymin) ここで、ｙmax，ｙminは、それぞれ物体枠の上限と下限
である。

【００７６】次に、このS_left(x)の値が、しきい値δよ
りも大きいか否かについて、外側から順番に判定し、し
きい値よりも大きい（差分量が大きい）場合に、左枠を
その位置に移動する。ここで、判定する範囲において、
S_left(x)の値が、しきい値よりも全て小さい場合には、
その判定範囲の最小に枠を縮める。このように、フレー
ム間差分を物体枠に沿って積算し、その量の大きさにし
たがって物体枠を広げたり、縮めたりする。

【００７７】また、右側や上下の枠を変更するために
は、右側や上下の枠について上述した左側と同様な処理
をそれぞれ行うことにより変更することができ、このよ
うな処理を行なうことにより、物体枠の大きさを変更す
ることができる。

【００７８】なお、枠の判定範囲は、前後１〜３画素程
度の範囲で、しきい値δは、領域面積に応じて次のよう
に設定している。 （数式１３） しきい値δ = k1√(領域面積) + k2 ここで、ｋ１，ｋ２は定数である。 また、上記の物体枠の更新では、最小サイズおよび最大
サイズを予め設定しており、最小サイズ以下や最大サイ
ズ以上にはならないようにしている。

【００７９】次に、移動体推定手段８は、追尾モードの
終了判定を行い、追尾を終了しない場合は、ステップ３
１に戻り対象物の追尾を継続し、移動体検出モードに戻
る（ステップ３７）。ここで、追尾モードは、移動体が
監視エリアを出た場合，移動体がカメラのパン・チルト
の範囲外に出た場合及び移動体が静止して一定時間以上
経過した場合の少なくともいずれかの条件を満たす場合
に、終了する。

【００８０】また、移動体追尾装置は、移動体推定手段
８が、ステップ３７において、追尾を終了する場合に
は、ＰＴＺカメラ１を予め決めておいた指定位置・指定
ズーム率に戻し、移動体検出モードに復帰して移動体の
検出を行う（ステップ３８）。

【００８１】このように、移動体追尾装置は、一台のＰ
ＴＺカメラ１を用いて、対象物を追尾しつつ、ズーミン
グ可能な移動体の自動追尾を行うことが可能となるが、
追尾をより高速でしかもより精度良く行うためには、フ
レーム間差分を計算する際（ステップ３５）、何フレー
ム前のフレームを"前フレーム"として用いるかが重要と
なる。

【００８２】つまり、通常画像上の大きさが小さい物体
は、その移動量も画像上で小さくなるために、フレーム
間差分の差分量も小さくなる。これは、実世界において
同じ大きさで等速度運動している物体が、画像上で小さ
く見える場合には、画像上での速度も小さくなるためで
あり、このため、画像上の大きさが小さい場合にはでき
るだけフレーム間差分をとる際の時間間隔を長くするこ
とが望ましい。

【００８３】逆に、対象物が画像上で大きく写っている
場合には、画像上での動きも大きくなるので、フレーム
間差分の時間間隔を長くとりすぎると、対象物の動きが
大きすぎて位置の不確定さが顕著になってしまうので、
画像上の大きさが大きい場合には、できるだけフレーム
間差分をとる際の時間間隔を短くすることが望ましい。

【００８４】このように、フレーム間差分をとる際の時
間間隔を変更する場合には、第一の変更例として、ステ
ップ３４の動き補償において、前フレームを対象物の面
積（最小包囲矩形による長方形の面積）に応じて、例え
ば、次のように変更することができる。ただし、この場
合、過去のフレームを保存しておくためのフレームメモ
リが必要となる。

【００８５】領域面積が、条件１（領域面積≦３２×３
２画素）となるときは、前フレームを４フレームとす
る。また、領域面積が、条件２（３２×３２画素＜領域
面積≦４８×４８画素）となるときは、前フレームを３
フレームとする。また、領域面積が、条件３（４８×４
８画素＜領域面積≦６４×６４画素）となるときは、前
フレームを２フレームとする。また、領域面積が、条件
４（６４×６４画素＜領域面積）となるときは、前フレ
ームを１フレームとする。

【００８６】また、フレーム間差分をとる際の時間間隔
を変更する場合の第二の変更例として、直接、移動体の
速度から求めることができる。この移動体の速度は、例
えば、過去のフレームにおける位置（ただし、カメラの
動きに起因する成分を除いておく）の差分から容易に求
められる。この際、ｎフレーム前の動き補償するための
アフィン変換パラメータは、次のように計算する。

【００８７】ｎフレーム前のフレームを動き補償するた
めのアフィン変換パラメータを行列＜A_n＞と列ベクトル
＜b_n＞として、各フレーム間で求められる移動パラメー
タを(α_i,β_i,γ_i)とすると、次式で表すことができる
（図７を参照願います。）。

【００８８】（数式１４） A_t ＝ (1+γ_t)E b_t ＝ ^t(α_tβ_t) ここで、Ｅは２行×２列の単位行列であり、（数式１
５）を用いて算出することができる。 （数式１５） ＜A_n＞ = A_tA_t-1...A_t-(n-1)=((1+γ_t)(1+γ_t-1)...
(1+γ_t-(n-1)))E=(Π(1+γ_i))E ＜b_n＞ = A_tA_t-1... A_t-(n-2)b_t-(n-1) +...+ A_tb_t-1
+b_t

【００８９】このように、第一実施形態に係る移動体追
尾装置は、上述した構成とすることによち、一台のＰＴ
Ｚカメラ１を用いて、対象物を追尾しつつ、ズーミング
可能な移動体の自動追尾を高速で精度良く行うことが可
能となる。さらに、この移動体追尾装置は、移動体の大
きさに応じて適応的にフレーム間差分を計算する際のフ
レーム間隔を変えることにより、追尾精度の向上を図る
ことができる。

【００９０】次に、本発明の移動体追尾装置における及
びこの装置を用いた方法の第二実施形態について説明す
る。 「第二実施形態」図８は、移体追尾装置の第二実施形態
における動作を説明するための概略フローチャート図を
示している。

【００９１】同図において、移動体追尾装置は、移動体
追尾モードにおいて、上述の動き補償したフレーム間差
分による追尾（ステップ８４）と、テンプレートマッチ
ングによる追尾（ステップ８５）と、フレーム間差分に
よる追尾とテンプレートマッチングによる追尾の中間的
な性質を持つハイブリッド追尾（ステップ８６）とを行
なう追尾手段を備え、かつ、これら三つの追尾モードの
なかから、追尾モードを選択し（ステップ８３）、これ
らの追尾モードを切替えながら移動体を追尾する構成と
してある。

【００９２】なお、全体的な構成は、移動体検出モード
において検出した対象物を移動体検出モードにおいてそ
の画像上の位置を追尾し、さらにカメラを制御するとい
う点で、第一実施形態と同様であり、移動体検出モード
や追尾終了判定、カメラ制御については、第一実施形態
と同様の構成としてある。

【００９３】この移動体追尾装置は、本発明者がフレー
ム間差分による追尾モードのみを有する移動体追尾装置
が、移動体が動いている場合には精度良く追尾が行える
ものの、移動体が一旦静止してしまうと、フレーム間差
分による追尾モードだけでは、追尾対象の移動体を見失
う恐れがあったことに鑑みて開発したものであり、フレ
ーム間差分による追尾モード（ステップ８３）の他に、
移動体が静止するようなときには、テンプレートマッチ
ングによる追尾（ステップ８５）やハイブリッド追尾
（ステップ８６）を自動的にモード選択（ステップ８
４）することによって、精度良く追尾することができ
る。

【００９４】具体的に、先ず、移動体追尾モードにおけ
るテンプレートマッチングによる追尾について、図面を
参照して説明する。図９は、移体追尾装置の第二実施形
態におけるテンプレートマッチング追尾部を説明するた
めの概略ブロック図を示している。

【００９５】同図において、移動体追尾装置は、画像入
力ＩＦ２と移動体検出手段３からの情報をテンプレート
として記憶するテンプレートメモリ９１と、このテンプ
レートメモリ９１，第２の画像メモリ５及び移動パラメ
ータ算出手段６からの情報にもとづいて、テンプレート
サイズを変換するテンプレートサイズ変換手段９２と、
このテンプレートサイズ変換手段９２と第１の画像メモ
リ４からの情報にもとづいて、各テンプレートをマッチ
ングさせるテンプレートマッチング手段９３を有するテ
ンプレートマッチング追尾部９０を備えた構成としてあ
る。なお、その他の構成は、第一実施形態と同様として
ある。

【００９６】テンプレートメモリ９１は、画像入力ＩＦ
から撮像データにもとづいて、テンプレートを記憶（更
新）するが、この際、テンプレートを更新するタイミン
グは、先ず、移動体が検出されると、移動体領域をテン
プレートとして新規設定し、その後は、追尾していると
きにおける追尾モードの直前の追尾モードによって、具
体的には、図１０に示す条件にしたがって、テンプレー
ト及びテンプレートサイズを更新する。

【００９７】つまり、テンプレートメモリ９１は、同図
に示すように、直前の追尾モードがフレーム間差分によ
る追尾モードの場合は、対象物の変形やカメラとの位置
関係の変化に対応させるために、テンプレート画像およ
びテンプレートサイズを移動体領域の画像に更新する。
また、同様に、テンプレートマッチングによる追尾の場
合は、テンプレート画像もそのサイズも更新せず、前フ
レームでの追尾で用いていたものと同じテンプレートを
用いる。さらにまた、同様に、ハイブリッド追尾の場合
は、テンプレート画像は更新されるが、テンプレートサ
イズは更新されない。

【００９８】テンプレートサイズ変換手段９３は、移動
パラメータ算出手段６において算出された移動パラメー
タ（α,β,γ）の中でスケール変換のパラメータγを用
いて、テンプレートサイズの変換を行う。

【００９９】具体的には、テンプレートサイズ変換手段
９３は、図１１に示すように、テンプレートが更新され
たときから各フレーム間ごとに求められるカメラ移動量
γ_iを用いて、追尾するときのフレーム（現フレーム）
で必要とされるスケールパラメータΓ=Π(1+γ_i)を計算
し、追尾するときのフレームで必要とされるテンプレー
トサイズになるようにテンプレートメモリ９１に記憶さ
れるテンプレートを拡大・縮小することでテンプレート
サイズの変換を行う。

【０１００】テンプレートマッチング手段９３は、サイ
ズ変換されたテンプレートをＴ（ｘ，ｙ）として、（数
式１６）に示すＳＡＤマッチングにより最も類似度の高
い最適位置を探索する。 （数式１６） J_SAD(a,b) = Σ|f(x-a,y-b,t)-T(x,y)| (a,b) = minJ_SAD(a,b) ただし、Σはテンプレートにおける総和である。このよ
うにして、移動体追尾装置は、移動体の位置を更新した
後に、カメラ制御を行い次のフレームの処理に移行す
る。

【０１０１】次に、ハイブリッド追尾について説明す
る。ハイブリッド追尾は、フレーム間差分による追尾と
テンプレートマッチング追尾の評価値を組み合わせて追
尾するモードである。つまり、フレーム間差分による追
尾は、移動体が動いている場合に有効な方法であり、ま
た、テンプレートマッチングによる追尾は、移動体が静
止している場合にそれぞれ有効な方法であるのに対し、
ハイブリッド追尾モードは、それらの中間的な性質を持
つものとして設けている。

【０１０２】具体的には、ハイブリッド追尾モードの評
価関数J_hybridは、（数式１５）に示すようにテンプレ
ートマッチング追尾におけるＳＡＤ値とフレーム間差分
Ｄ（ｘ，ｙ）の疑似二次モーメント量による評価値の二
つの評価関数の線形和により設定している。 （数式１７） J_hybrid(a,b) =k_SADJ_SAD(a,b)+ k_mJ_m(a,b) J_SAD(a,b) = Σ|f(x-a,y-b,t)-T(x,y)| J_m(a,b) = ΣD(x,y)(x-a)²+D(x,y)(y-a)² ただし、Σはテンプレートにおける総和である。

【０１０３】この評価関数J_hybrid(a,b)を最小化する
（ａ，ｂ）を求め、それにもとづき移動体の位置を決め
る。この際、上述したように、物体枠の大きさやテンプ
レートサイズは更新されず、テンプレートマッチング追
尾やハイブリッド追尾で必要となるテンプレート画像は
更新される。

【０１０４】このように、ハイブリッド追尾（ステップ
８７）は、移動量が少ないが対象物が変形をしているた
めに、テンプレートマッチングによる追尾とフレーム間
差分による追尾ともに追尾が難しいと判断される場合
に、それぞれの中間的な性質を備えることによって、追
尾精度を向上させることができる。具体例としては、図
１２に示すように、ズーム制御された現フレームにおい
て、移動体と背景の木が重なり移動体を抽出できない場
合に、動き補正した前フレームを用いて、フレーム間差
分の結果として、移動体を抽出することができる。

【０１０５】上述したように、第二実施形態における移
動体追尾装置は、フレーム間差分による追尾モード，テ
ンプレートマッチングによる追尾モード又はハイブリッ
ド追尾モードを自動的に選択して、移動体の追尾を行う
ことができる。したがって、この移動体追尾装置は、移
動体が一旦静止してしまうような場合であっても、精度
良く自動追尾を行うことができる。

【０１０６】また、本発明は、上述したように、移動体
追尾方法としても有効であり、移動体追尾方法として実
施することにより、移動体追尾装置における各実施形態
と同様の効果を得ることができる。さらにまた、本発明
において、検出する対象は、移動する物体、すなわち移
動体でり、侵入物体に限定されるものではないことは勿
論である。

【０１０７】

【発明の効果】以上説明したように、本発明において
は、パン・チルト・ズーム機能を有するカメラを用いて
高速で精度の良い移動体追尾を行うことができる。ま
た、移動体推定手段が、動き補償された第１の画像メモ
リに記憶される画像データと第２の画像メモリに記憶さ
れる画像データを用いて、この二つの画像のフレーム間
の差分を算出し、このフレーム間の差分にもとづき前記
移動体の位置と大きさを推定することにより、移動体の
移動パラメータを精度良く算出することができ、結果的
に移動体追尾の信頼性を向上させることができる。

【０１０８】また、移動体推定手段が、移動体の大きさ
あるいは速度に応じて、二つの画像のフレーム間の差分
を算出する時間間隔を、適応的に変化させる方法として
あるが、これにより、移動体が高速で移動する場合であ
っても、追尾することができ、移動体追尾の信頼性を向
上させることができる。

【０１０９】さらにまた、テンプレートメモリが、画像
入力インターフェースと移動体検出手段からの情報をテ
ンプレートとして記憶し、テンプレートサイズ変換手段
が、テンプレートメモリ，第２の画像メモリ及び移動パ
ラメータ算出手段からの情報にもとづいて、テンプレー
トサイズを変換し、テンプレートマッチング手段が、テ
ンプレートサイズ変換手段と第１の画像メモリからの情
報にもとづいて、各テンプレートをマッチングさせる方
法としてあり、これにより、移動体追尾装置は、フレー
ム間差分による追尾モード，テンプレートマッチングに
よる追尾モード又はハイブリッド追尾モードを自動的に
選択して、移動体の追尾を行うことができる。したがっ
て、この移動体追尾装置は、移動体が一旦静止してしま
うような場合であっても、精度良く自動追尾を行うこと
ができる。

【図面の簡単な説明】

【図１】図１は、本発明に係る移体追尾装置の第一実施
形態における概略ブロック図を示している。

【図２】図２は、移体追尾装置の第一実施形態における
移動体検出手段の概略ブロック図を示している。

【図３】図３は、移体追尾装置の第一実施形態における
追尾モードの動作を説明するための概略フローチャート
図を示している。

【図４】図４は、移体追尾装置の第一実施形態における
カメラモデルを説明するための概略図を示している。

【図５】図５は、移体追尾装置の第一実施形態における
移動パラメータ算出手段の動作を説明するための概略フ
ローチャート図を示している。

【図６】図６は、移体追尾装置の第一実施形態における
ガウシアンカーネルの一例を示している。

【図７】図７は、移体追尾装置の第一実施形態における
フレーム間差分の時間間隔を変えた場合における変換パ
ラメータの計算の仕方を説明するための図を示してい
る。

【図８】図８は、移体追尾装置の第二実施形態における
動作を説明するための概略フローチャート図を示してい
る。

【図９】図９は、移体追尾装置の第二実施形態における
テンプレートマッチング追尾部を説明するための概略ブ
ロック図を示している。

【図１０】図１０は、移体追尾装置の第二実施形態にお
けるテンプレートの更新の条件を説明するための図を示
している。

【図１１】図１１は、移体追尾装置の第二実施形態にお
けるテンプレートサイズ変換手段における変換パラメー
タを説明するための図を示している。

【図１２】図１２は、本発明における移動体追尾装置の
フレーム間の動き補償を説明するための図を示してい
る。

【符号の説明】 １ ＰＴＺカメラ ２ 画像入力ＩＦ（インタフェース） ３ 移動体検出手段 ４ 第１の画像メモリ ５ 第２の画像メモリ ６ 移動パラメータ算出手段 ７ フレーム間動き補償手段 ８ 移動体推定手段 ９ カメラ制御手段 ３１ 入力画像メモリ ３２ 背景更新手段 ３３ 背景画像メモリ ３４ 差分算出手段 ３５ 二値化手段 ３６ ラベリング手段 ３７ 移動体識別手段 ９０ テンプレートマッチング追尾部 ９１ テンプレートメモリ ９２ テンプレートサイズ変換手段 ９３ テンプレートマッチング手段

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図２】

【図６】

【図１０】

【図３】

【図４】

【図５】

【図７】

【図８】

【図９】

【図１１】

【図１２】

Claims (6)

【特許請求の範囲】
1. 【請求項１】 パン・チルト制御機能およびズーム制御
   機能を有するカメラからの画像データにもとづいて、移
   動体検出手段が、移動体を検出したときに、前記移動体
   を自動追尾する移動体追尾方法であって、 前記カメラからの映像信号をデジタル画像として入力す
   る画像入力インタフェースが、画像データを記憶する第
   １の画像メモリと、この第１の画像メモリに記憶される
   画像データの一つ前のフレームにおける画像データを記
   憶する第２の画像メモリに当該画像データを出力し、 前記第１の画像メモリに記憶される画像データと前記第
   ２の画像メモリに記憶される画像データの背景領域にお
   ける前記移動体の平行移動および拡大縮小の移動パラメ
   ータを算出し、 前記移動パラメータを用いて、前記第２の画像メモリに
   記憶される画像データを前記第１の画像メモリに記憶さ
   れる画像データの座標に変換してフレーム間の動き補償
   を行い、 前記フレーム間動き補償手段により動き補償された前記
   画像データから前記移動体を抽出し、前記移動体の位置
   および大きさを推定し、 前記移動体推定手段から得られる前記移動体の位置と大
   きさの情報を入力して、前記カメラのパン・チルト制御
   およびズーム制御を行なうことを特徴とする移動体追尾
   方法。
2. 【請求項２】 移動体を自動追尾するための、パン・チ
   ルト制御機能およびズーム制御機能を有するカメラと、 このカメラからの映像信号をデジタル画像として入力す
   る画像入力インタフェースと、 この画像入力インタフェースからの画像データにもとづ
   いて、侵入物体を検出する侵入物検出手段と、 前記画像入力インタフェースからの画像データを記憶す
   る第１の画像メモリと、 この第１の画像メモリに記憶される画像データの一つ前
   のフレームにおける画像データを記憶する第２の画像メ
   モリと、 前記第１の画像メモリに記憶される画像データと前記第
   ２の画像メモリに記憶される画像データの背景領域にお
   ける前記移動体の平行移動および拡大縮小の移動パラメ
   ータを算出する移動パラメータ算出手段と、 前記移動パラメータを用いて、前記第２の画像メモリに
   記憶される画像データを前記第１の画像メモリに記憶さ
   れる画像データの座標に変換してフレーム間の動き補償
   を行うフレーム間動き補償手段と、 このフレーム間動き補償手段により動き補償された前記
   画像データから前記移動体を抽出し、前記移動体の位置
   および大きさを推定する移動体推定手段と、 この移動体推定手段から得られる前記移動体の位置と大
   きさの情報を入力して、前記パン・チルト制御およびズ
   ーム制御を行なうカメラ制御手段と、 を具備したことを特徴とする移動体追尾装置。
3. 【請求項３】 上記請求項２に記載の移動体追尾装置お
   いて、 前記移動パラメータ算出手段が、オプティカルフローの
   拘束条件にもとづき反復勾配法を用いて前記フレーム間
   の平行移動および拡大縮小の移動パラメータを算出する
   ことを特徴とする移動体追尾装置。
4. 【請求項４】 上記請求項２または請求項３に記載の移
   動体追尾装置において、 前記移動体推定手段が、動き補償された前記第１の画像
   メモリに記憶される画像データと前記第２の画像メモリ
   に記憶される画像データを用いて、この二つの画像のフ
   レーム間の差分を算出し、このフレーム間の差分にもと
   づき前記移動体の位置と大きさを推定することを特徴と
   する移動体追尾装置。
5. 【請求項５】 上記請求項４に記載の移動体追尾装置お
   いて、 前記移動体推定手段が、前記移動体の大きさあるいは速
   度に応じて、前記二つの画像のフレーム間の差分を算出
   する時間間隔を、適応的に変化させることを特徴とする
   移動体追尾装置。
6. 【請求項６】 上記請求項２〜請求項５のいずれかに記
   載の移動体追尾装置において、 前記画像入力インターフェースと前記侵入物検出手段か
   らの情報をテンプレートとして記憶するテンプレートメ
   モリと、このテンプレートメモリ，前記第２の画像メモ
   リ及び前記移動パラメータ算出手段からの情報にもとづ
   いて、テンプレートサイズを変換するテンプレートサイ
   ズ変換手段と、このテンプレートサイズ変換手段と前記
   第１の画像メモリからの情報にもとづいて、各テンプレ
   ートをマッチングさせるテンプレートマッチング手段を
   有するテンプレートマッチング追尾部を備えたことを特
   徴とする移動体追尾装置。