JP2000348180A - 移動領域追跡方法及び装置及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】領域探索範囲を一定の範囲のみに限定し、処理
時間を大幅に減らし、領域の動きの変化に影響されず安
定に領域を追跡すること。 【解決手段】特定の特徴を有する領域を追跡する移動領
域追跡方法において、領域の運動モデルから移動位置を
予測し、該予測した移動位置の周囲のある範囲を探索範
囲として領域の探索を行い、他の類似領域との重なりに
応じて前記探索範囲を可変する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像から特定の特
徴を有する領域が複数あり、それぞれを追跡する際に、
各領域が互いに重なり合う場合がある時でも、正しく追
跡を行うための移動領域追跡方法及び装置及び記録媒体
に関するものである。

【０００２】２次元の配列で各要素に値を持つ形式の情
報を画像と定義する。連続的に入力される画像から、特
定の特徴を有する画像領域を抽出し、その領域を連続的
に追跡することは、移動を伴う領域の各時刻での位置や
形状を得るために重要である。

【０００３】例えば、カメラから入力される画像を対象
とすれば、３次元中に移動する物体を追跡できる。領域
を追跡するには、何らかの運動モデルに基づき領域の動
きを予測し、予測された位置の周囲から物体特徴を有す
る領域を抽出し、得られた領域（群）から、追跡領域に
相当する領域を対応づけ、さらに次の追跡のために運動
モデルを更新する必要がある。

【０００４】このとき、追跡している領域が、他の類似
した領域と重なるならば、領域どうしの区別ができない
ので、追跡での対応付けが困難となる。そのため、運動
モデルの正常な更新ができず、領域の動き予測を誤り、
結果として追跡が不可能になることがある。重なり状態
が数回繰り返せば、正しい運動モデルの推定が行えず、
追跡は困難である。

【０００５】そこで、発明者らは、追跡中に他の領域と
の重なりを検知し、重なり中は領域の検索範囲を大きく
し、領域周辺の広い範囲から物体領域を抽出することで
重なっていた領域が再び離れることに備え、離反時に隠
蔽中の運動モデルの変化に影響されず、安定した領域追
跡を可能にする手法を発案したものである。

【０００６】本発明は、複数の移動物体をとらえる必要
のある通行者監視や侵入者監視など、特定の特徴を有す
る対象の位置や移動軌跡を必要とする多くの監視システ
ムに利用できるほか、手話やジェスチャ認識での各部位
の追跡などにも利用できるものである。

【０００７】

【従来の技術】従来の方法では、初期状態の物体領域位
置を初期画面中で既知、あるいは何らかの簡単な手法に
より取得し、次からは、カメラから連続的に入力される
画像中から、初期位置を参考に対象領域を次の手順で追
跡する。

【０００８】まず、カメラから連続的に入力される画像
から、特定の物体に相当する特徴を有する画像領域を抽
出する。次に、何らかの運動モデルに基づき領域の動き
を予測し、予測された位置に最も距離が近い領域を追跡
領域として対応付ける。そして、次の追跡のための運動
モデルを更新する。

【０００９】例えば、今川和幸、呂山、猪木誠二、松尾
英明「顔によるオクルージョンを考慮した手話動画像か
らの実時間掌追跡」電子情報通信学会、技術研究報告PR
MU９７−１０４〜１１０，pp．１５−２２の人の掌およ
び顔を色情報に基づいて追跡する手法によると、最初は
掌と顔が重ならないように配置し、あらかじめ定めた掌
と顔の色分布のモデルを用いて、初期画面から掌と顔を
含む領域を得る。得られた領域の大きさと位置により初
期の掌と顔の領域を決定する。以降は、次の処理を繰り
返し、各領域を追跡する。

【００１０】まず、現時刻の撮影画像と、前時刻の画像
と現時刻の画像との差分画像の２つについて、前述の色
モデルを用いて掌と顔の候補領域を得る（前者の画像の
領域を static blobとし、後者の画像からの領域を mot
ion blobとする）。次に、static blob で最も大きいも
のを顔領域とする。これは、顔の動きモデルとして、位
置固定したことに相当する。掌領域は、次の手順で得
る。

【００１１】掌の位置と速度を状態量とするカルマン
（Kalman）フィルタにより掌の移動位置を予測し、顔を
除く static blobと、 motion blobの中で、予測位置か
らの距離が一定値以内にある最も近いblobを掌領域とし
て対応付ける。対応が求まれば、次回の動き予測のため
に、得られたblobの中心位置を観測位置として掌の運動
パラメータをカルマンフィルタに基づいて更新する。こ
のようなblobが存在しない時は、掌は顔と重なっている
と判断し、前回の位置を観測位置として動きパラメータ
を更新していた。

【００１２】

【発明が解決しようとする課題】前記従来のものには、
次のような課題があった。

【００１３】まず、画像全体から画像特徴に基づいて
領域を抽出すると時間がかかるものであった。例えば、
色分布のモデルを用いて領域を抽出するには、画像の各
画素に対して、色を表す３要素（例えばＲＧＢ）がモデ
ルで示された範囲に入っているかの判断をする必要があ
る。画像の大きさをＭ×Ｎとすると３×Ｍ×Ｎの時間を
要することになる。そのため、高速な処理を行うには、
特別な機器が必要なものであった。

【００１４】次に、複数の領域（物体）が重なり１つ
の領域として観測されそれぞれの領域が区別できない時
に、重なった領域が重なり中に運動パターン（運動パラ
メータ）を大きく変化させると、それを観測できないの
で、領域が離反したときに予測した運動パラメータと大
きく異なり追跡を失敗するという問題があった。これ
は、重なり領域に属す全ての領域の運動パラメータの更
新を、それぞれの領域の真の中心位置（あるいは重心位
置）でなく、重なり合う領域の和集合の中心位置（ある
いは重心位置）を観測位置として代表させて行うため
に、重なり領域内での運動の変化を正しくモデル化でき
ず、結果として離反した時に予測運動パラメータとの差
異が非常に大きくなるためである。

【００１５】この問題は、重なり合う領域間の大きさ
の違いが大きい時には、それら領域が重なりの前後で運
動パラメータに変化がなくとも、同様に生じていた。な
ぜなら、領域の一部が重なった時から離れるまで、小さ
い方の領域の真の中心位置（重心位置）と、重なり合う
領域の和集合で示す領域の中心位置（重心位置）は大き
く異なるため誤った運動パラメータの推定を行うことに
なるからである。

【００１６】本発明は、このような従来の課題を解決
し、領域探索範囲を追跡中の各々の領域の近傍の一定の
範囲のみに限定し、複数の領域（物体）が重なった時に
は、通常より大きな領域探索範囲を設け、処理時間を大
幅に減らし、領域の動きの変化に影響されず安定に領域
を追跡することを目的とする。

【００１７】

【課題を解決するための手段】図１は本発明の移動領域
追跡手法の概略説明図である。図１中、４は領域追跡
部、５は重なり判定部である。

【００１８】本発明は前記従来の課題を解決するため次
のように構成した。 （１）：特定の特徴を有する領域を追跡する移動領域追
跡方法において、領域の運動モデルから移動位置を予測
し、該予測した移動位置の周囲のある範囲を探索範囲と
して領域の探索を行い、他の類似領域との重なりに応じ
て前記探索範囲を可変する。

【００１９】（２）：前記（１）の移動領域追跡方法に
おいて、前記他の類似領域との重なりにより、前記探索
範囲を大きくし、前記重なりの解消により前記探索範囲
を小さくする。

【００２０】（３）：前記（２）の移動領域追跡方法に
おいて、前記探索範囲を追跡する領域の予測位置の不確
かさに応じた大きさとする。

【００２１】（４）：前記（１）〜（３）の移動領域追
跡方法において、前記領域の予測位置の周囲の解像度を
下げて、前記探索範囲を可変する。

【００２２】（５）：特定の特徴を有する領域を追跡す
る移動領域追跡装置において、領域の運動モデルから移
動位置を予測し、該予測した移動位置の周囲のある範囲
を探索範囲として領域の探索を行う領域追跡部４と、他
の領域との重なりを判定する重なり判定部５とを備え、
前記領域追跡部４は、重なり判定部５で判定した他の類
似領域との重なりに応じて前記探索範囲を可変する。

【００２３】（６）：特定の特徴を有する領域の運動モ
デルから領域の移動位置を予測し、該予測した移動位置
の周囲のある範囲を探索範囲として領域の探索を行う領
域探索手順と、他の領域との重なりを判定する重なり判
定手順と、他の類似領域との重なりに応じて前記探索範
囲を可変する手順とを実行させるためのプログラムを記
録したコンピュータ読み取り可能な記録媒体とする。

【００２４】（作用）前記構成に基づく作用を説明す
る。

【００２５】特定の特徴を有する領域の運動モデルから
移動位置を予測し、該予測した移動位置の周囲のある範
囲を探索範囲として領域の探索を行い、他の類似領域と
の重なりに応じて前記探索範囲を可変する。このため、
領域探索範囲を一定の範囲のみに限定して処理時間を大
幅に減らし、安定に領域を追跡することができる。

【００２６】また、前記他の類似領域との重なりによ
り、前記探索範囲を大きくし、前記重なりの解消により
前記探索範囲を小さくする。このため、領域探索範囲を
一定の範囲のみに限定し、複数の領域（物体）が重なっ
た時には、通常より大きな探索範囲とし、処理時間を大
幅に減らし、領域の動きの変化に影響されず安定に領域
を追跡することができる。

【００２７】さらに、前記探索範囲を追跡する領域の予
測位置の不確かさに応じた大きさとする。このため、探
索範囲を必要最小限とすることができる。

【００２８】また、前記領域の予測位置の周囲の解像度
を下げて、前記探索範囲を可変する。このため、探索領
域の大きさは一定にしても、広範囲の領域を探索するこ
とができる。

【００２９】さらに、領域追跡部４で特定の特徴を有す
る領域の運動モデルから移動位置を予測し、該予測した
移動位置の周囲のある範囲を探索範囲として領域の探索
を行い、重なり判定部５で他の領域との重なりの判定を
行い、前記領域追跡部４で、重なり判定部５で判定した
他の類似領域との重なりに応じて前記探索範囲を可変す
る。このため、領域探索範囲を一定の範囲のみに限定し
て処理時間を大幅に減らし、安定に領域を追跡すること
ができる。

【００３０】また、特定の特徴を有する領域の運動モデ
ルから領域の移動位置を予測し、該予測した移動位置の
周囲のある範囲を探索範囲として領域の探索を行う領域
探索手順と、他の領域との重なりを判定する重なり判定
手順と、他の類似領域との重なりに応じて前記探索範囲
を可変する手順とを実行させるためのプログラムを記録
したコンピュータ読み取り可能な記録媒体とする。この
ため、この記録媒体のプログラムをコンピュータにイン
ストールすることで、処理時間を大幅に減らし、安定に
領域を追跡することができる移動領域追跡装置を容易に
提供することができる。

【００３１】

【発明の実施の形態】（１）：追跡方式の概要の説明 ：処理時間の短縮について 画像全体から画像特徴に基づいて領域を抽出すると時間
が係る問題に対しては、画像全体を処理するのではな
く、追跡中の各々の領域の近傍の一定の範囲のみに処理
領域を限定することで、処理時間を大幅に減らすことが
できる。具体的には、追跡の対象となる各領域を独立に
追跡し、追跡中の各々の領域について、運動パラメータ
により予測される移動予測位置を中心とする一定の範囲
のみを処理領域とするものである。

【００３２】：重なった領域が離反したときの追跡の
失敗について （移動領域追跡手法の説明）図１は移動領域追跡手法の
概略説明図である。図１において、移動領域追跡手法に
は、領域追跡部４と重なり判定部５が設けてある。領域
追跡部４は、複数の領域追跡部（１）、（２）・・・
（ｎ）からなる。各領域追跡部（１）、（２）・・・
（ｎ）は、それぞれ１つの追跡対象を追跡する。また、
追跡で得られた領域の位置／形状／大きさの情報を重な
り判定部へ送る。

【００３３】重なり判定部５では、各領域追跡部
（１）、（２）・・・（ｎ）から得られた領域の位置関
係を元に重なりの有無を求める。もし重なりがあれば、
重なったそれぞれの領域に重なりの発生を返す。重なっ
たと判断された領域については、重なりが分離するとき
に領域の区別を行うための一つの情報とするために、重
なり前の運動パラメータを記録しておく。

【００３４】（追跡処理の流れの説明）追跡の手順は、
領域追跡部４では、運動モデルにより領域の移動先を予
測し、その予測された位置を中心にある一定範囲を探索
して対象の特徴を持つ領域を抽出し、得られた領域
（群）から、最も類似度が高い領域を対応付けることと
なる。

【００３５】「探索範囲の決定」では追跡領域が重なる
か否かで次のようにする。 ・重なり判定部５で重ならないと判定されている領域に
ついては、固定の大きさ、あるいは追跡領域の位置の不
確かさ、あるいはその両方に基づいた大きさを探索範囲
とする。

【００３６】・一方、重なり判定部５で重なりがあると
判定されている場合には、通常より大きな領域探索範囲
を設けて、重なり領域の周囲を監視し、重なりが分離す
る領域がないかを調べる。重なり時に、探索領域により
重なり領域以外に新たな領域が得られた場合は、領域が
分離したとする。このような分離する領域があれば、領
域の形状／大きさ／重なり前の運動パラメータのいずれ
か、あるいは一部、あるいは全部を参考に、どの領域が
分離したかを決定する。分離した以降は、通常の重なら
ない場合の追跡に戻る。

【００３７】図２は領域追跡処理の流れの説明図であ
る。以下、図２の処理Ｓ１〜処理Ｓ５に従って説明す
る。

【００３８】Ｓ１：領域追跡部４は、追跡領域の運動モ
デル（ＭＭｉ）、運動パラメータ（ＭＰｉ）等により追
跡領域の移動後の位置を予測し、処理Ｓ２に移る。

【００３９】Ｓ２：領域追跡部４は、重なりの有無（Ｏ
ＶＦｉ）、重なっている領域の位置／形状（ＯＶＰｉ／
ＯＶＳｉ）により探索範囲を算出し、処理Ｓ３に移る。

【００４０】Ｓ３：領域追跡部４は、算出した探索範囲
から追跡領域に類似した特徴を持つ画像領域（領域の特
徴モデル（ＲＦｉ））の抽出を行い、処理Ｓ４に移る。

【００４１】Ｓ４：領域追跡部４は、追跡領域の移動後
の領域に対応する領域の決定を行い、処理Ｓ５に移る。

【００４２】Ｓ５：領域追跡部４は、運動パラメータの
更新（前回との差を調べる等により）してこの処理を終
了する。

【００４３】（領域追跡状況の説明）図３は領域追跡状
況の説明図であり、図３（ａ）は時刻ｔの説明、図３
（ｂ）は時刻ｔ＋１の説明、図３（ｃ）は時刻ｔ＋２の
説明、図３（ｄ）は時刻ｔ＋３の説明である。

【００４４】・図３（ａ）において、破線の楕円で示す
前時刻の領域位置（ｉ）から運動モデルにより現時刻ｔ
の領域位置（矢印の位置）を予測し、その周辺に破線の
正方形で示す領域探索領域（範囲）を設けて、その探索
範囲より追跡領域と類似した領域ｉ（塗りつぶした楕
円）を抽出し、その領域ｉを現時刻での追跡領域として
得ている。そして、追跡領域ｉの重心点（黒丸）を観測
位置として運動パラメータを更新する。なお、大きな破
線の楕円は他の領域ｊであり、その矢印位置は動き予測
位置を示している。

【００４５】・上記図３（ａ）の操作を繰り返すと、図
３（ｂ）において、時刻ｔ＋１で追跡領域ｉが他の領域
ｊと重なった。このとき、観測位置は重なり領域全体の
重心として得られるため、追跡領域の運動パラメータが
真の領域のものとずれることになる。

【００４６】・図３（ｃ）において、追跡領域ｉが他の
領域ｊと重なったことを重なり判定部５で検出し、重な
り時には領域探索領域を大きく設けたものである。この
ため、前時刻の領域位置（ｉ）からの運動予測（矢印の
位置）が誤っていても、領域探索範囲内に分離した領域
ｉが得られ、分離の前後で運動が大きく変化する場合に
ついても対象を見失うことなく、安定した追跡が可能と
なる。

【００４７】・図３（ｄ）において、追跡領域ｉが他の
領域ｊと分離した後は、通常の重ならない場合の追跡
（拡大前の探索領域）に戻ることになる。

【００４８】（重なり時の探索領域の説明）重なり時に
大きくする探索領域は、次のようにすることができる。

【００４９】・領域が重なる時は、重ならない時の探索
範囲に対して一定の割合（×ｋ、ｋ＞１）だけ探索領域
を大きくする。

【００５０】・領域が重なった場合は、重なった物体
（領域）の大きさに、一定の大きさを付加（加算）した
探索領域とする。

【００５１】・領域が重なった場合は、重なった物体
（領域）の大きさに、元の追跡領域の一定の割合（×
ｋ、ｋ＞１）の大きさを付加した探索領域とする。

【００５２】・領域が重なった場合は、重なった物体
（領域）の大きさに、追跡対象の不確かさに応じた大き
さを付加あるいは乗じて探索領域を大きくする。

【００５３】・探索範囲を広げる代わりに、予測位置の
周囲の解像度を下げて探索することで、探索領域の大き
さは一定に、広範囲の領域を探索する。

【００５４】（２）：移動領域追跡装置の説明 図４は移動領域追跡装置の構成図である。図４におい
て、移動領域追跡装置には、テレビカメラ１、アナログ
デジタル変換器（Ａ／Ｄ変換器）２、フレームメモリ
３、領域追跡部４、重なり判定部５、出力部６が設けて
ある。

【００５５】テレビカメラ１は、移動物体を撮影する撮
像装置である。Ａ／Ｄ変換器２は、テレビカメラ１から
の映像信号をデジタル画像に変換するものである。フレ
ームメモリ３は、デジタル画像を蓄積するものである。
領域追跡部４は、対象領域を追跡するものである。重な
り判定部５は、領域間の重なりを判断するものである。
出力部６は、追跡領域の位置および形状を出力するもの
である。

【００５６】テレビカメラ１より一定間隔毎に撮像さ
れ、デジタル画像がフレームメモリに蓄積される。追跡
する対象領域の最初の位置は、任意の時点のデジタル画
像について、人手もしくは自動的（説明省略）に与えら
れるものとする。そして、追跡対象は１つあるいはそれ
以上の個数設定されているとする。以降は、対象領域
（群）は、領域追跡部４により自動的に追跡される。な
お、この領域追跡部４は、追跡したい領域の数だけ用意
される。

【００５７】（３）：領域追跡部の処理の説明 図５は領域追跡部の処理の説明図であり、図５（ａ）
は、領域追跡部の処理の説明、図５（ｂ）は重なり処理
の説明である。

【００５８】図５（ａ）において、まず、領域追跡部４
の領域追跡処理（Ｓ１１）により対象領域が追跡され
る。この追跡により得られた対象領域の位置Ｐｉおよび
形状ＰＳｉを、重なり判定部５に送る。

【００５９】重なり判定部５では、他の領域との位置関
係から領域の重なりの有無ＯＶｉを求め、各領域に重な
りの結果を返す。

【００６０】領域追跡部４は、領域の重なりの有無ＯＶ
ｉにより重なり処理を行う（Ｓ１２）。

【００６１】図５（ｂ）において、領域追跡部４の重な
り処理は、重なり発生か否かの判断（Ｓ２１）と前時刻
で重なっていたか否かの判断（Ｓ２２）を行い、重なり
が発生し、しかも、前時刻では重なりのない状況、つま
り最初の重なりの発生なら、重なりの分離に備えて領域
の大きさＡｉ、および運動パラメータＭＰｉの保存を行
う（Ｓ２３）。それ以外の時は何もしない（処理終
了）。

【００６２】（４）：領域追跡処理の具体的な説明 領域追跡処理の手順は図２で説明したが、以下、ある領
域Ｒｉの追跡過程を図６により説明する。図６は領域Ｒ
ｉの追跡過程の説明図であり、図６において、領域の移
動後の位置の予測では、前時刻ｔ−１での領域の位置Ｐ
ｉ（ｔ−１）から、追跡対象領域Ｒｉの運動モデルＭＭ
ｉと運動パラメータＭＰｉを用いて、現時刻ｔでの領域
の位置Ｐｐｒｅｄ（ｔ）を予測する。運動モデルについ
ては言及しないが、例えば等速運動モデルを用いれば、
運動パラメータは領域の位置Ｐｉ（ｔ）と速度ｖｉ
（ｔ）となり、予測位置はＰｏ＝Ｐｉ（ｔ−１）とし
て、Ｐｐｒｅｄ（ｔ）＝ｖｉ（ｔ）＋Ｐｏとなる。

【００６３】・時間的に変化する運動パラメータを予測
し、それに応じた次時刻の予測位置を算出するために、
カルマンフィルタを用いることもできる。そのシステム
式は、ｘｘｉ（ｔ）を時刻ｔでの状態ベクトル、ｚｉ
（ｔ）を時刻ｔでの観測ベクトル、Ｆｉをシステム行
列、Ｇｉをシステムノイズ行列、Ｈｉを観測行列、ｗｉ
をシステムノイズ、ｖｉを観測ノイズ、Ｓｘｉを状態量
ｘｘｉの共分散行列、ＲＲｉを観測の共分散行列とする
と、時刻ｔでの状態ベクトルｘｘｉ（ｔ）と時刻ｔでの
観測ベクトルｚｉ（ｔ）は以下で表される。

【００６４】 ｘｘｉ（ｔ）＝Ｆｉ×ｘｘｉ（ｔ−１）＋Ｇｉ×ｗｉ ｚｉ（ｔ）＝Ｈｉ×ｘｘｉ（ｔ−１）＋ｖｉ ここで、例えば等速運動を表すには、ｘｘｉ（ｔ）＝
（ｘ，ｙ，ｖｘ，ｖｙ）（ｘ，ｙは画像での位置、ｖ
ｘ，ｖｙはｘ方向およびｙ方向の速度）とすれば、シス
テム行列Ｆｉ、システムノイズ行列Ｇｉ、観測行列Ｈｉ
は次のようになる。

【００６５】

【数１】

【００６６】ｖ、ｗはシステムに依存するノイズ量であ
る。ここで、時刻ｔ−１での状態ベクトルをｘｘｉ（ｔ
−１）とすると、上式により領域の予測位置はｚｉ
（ｔ）で与えられる。

【００６７】・次に、予測位置を中心に領域探索範囲Ｓ
ｉ（ｔ）を設定する。領域探索範囲は、重なりの有無Ｏ
Ｖｉにより異なる。重なりが無い時には、追跡領域の位
置の不確かさＳｐｉ（ｔ）を引数とする関数Ｓｉ（ｔ）
＝Ｆｓ（Ｓｐｉ（ｔ））を用いて決定する。Ｆｓ（ ）
は例えば、Ｆｓ（ｘ）＝ａ１×ｘ＋ｂ１で表され、特に
ａ１＝０の時は固定の大きさ、ｂ１＝０の時は追跡領域
の位置の不確かさに基づいた探索範囲となる。カルマン
フィルタを用いない時はａ１＝０とする。追跡領域の位
置の不確かさＳｐｉ（ｔ）は、状態共分散行列Ｓｘｉの
中で位置に関する部分を切り出した部分共分散行列ＳＳ
から求めた最大固有値となる。上記の例では、Ｓｘｉの
各要素をｓ_ij（ｉ＝１〜４、ｊ＝１〜４）とすると、次
のようになる。

【００６８】

【数２】

【００６９】また、探索範囲の形状の決定は自由で、例
えばＦｓ（ ）の大きさを１辺とする正方形でもよい
（長方形、円、楕円等でもよい）。

【００７０】一方、重なりがある場合には、探索範囲を
領域どうしが重ならない場合に比べてｋ倍（ｋ＞１）の
領域とする。具体的には、１辺の大きさをｋ倍、あるい
は半径をｋ倍とする。

【００７１】・次に、領域探索範囲Ｓｉ（ｔ）内から、
領域の特徴モデルＲＦｉを用いて追跡対象に相当する特
徴を有する抽出領域（群）Ｅｊを得る。領域の特徴モデ
ルについては限定しない。例えば、色情報を用いるな
ら、色を表す３つの要素（例えばＲＧＢ）の値にそれぞ
れ区間を設けて、規定区間内に３要素値が入れば領域と
して抽出する。このような区間を用いる他にも、色情報
をベクトルと考え（色ベクトルＣｉ）、事前に抽出対象
の色分布について、色ベクトルが属する多次元空間での
平均色ベクトルＣｍｉと分散行列Ｓｃｉを求めておき、
入力された色ベクトルＣｊを、その平均色ベクトルと分
散行列により求めた次のマララノビス距離Ｌｃｉが閾値
よりも小さい部分を残すことによっても得られる。

【００７２】Ｌｃｉ＝（Ｃｊ−Ｃｍｉ）^T ×Ｓｃｉ^-1×
（Ｃｊ−Ｃｍｉ） このような特徴モデルにより得られた画素単位の集合か
ら連接領域を求めて、ある一定値以上の面積を有する領
域を残すことで、抽出領域群Ｅｊを得る。なお、できる
だけ大きな領域を得るために、連接領域を求める前に、
膨張処理を加えてもよい。また、色情報の他にも輝度値
や距離情報など様々な特徴でも同様に実現することがで
きる。

【００７３】・これら抽出領域群Ｅｊの中で最も追跡領
域に類似した領域を対応付けることで、領域の追跡を行
う。重なりなしと判定されている領域、または重なりあ
りと判定されていても抽出領域が１つの場合について
は、領域の類似度には、抽出領域の中心（重心）位置Ｃ
ｊと領域予測位置Ｐｐｒｅｄ（ｔ）との距離や、抽出領
域群Ｅｊの面積と追跡領域Ｒｉの面積の差、の一方ある
いは両方を用い、それらが小さいほど類似度が高いとす
る。また、重なりありと判定されて、抽出領域が２つ以
上存在する場合には、重なっていた領域が分離したと考
えられるので、重なり開始時に保存した物体面積との差
が小さい方と対応付ける。なお、重なり前の運動パラメ
ータの差の小さいものを対応付けることも可能である。

【００７４】対応が求まると、運動パラメータＭＰｉ
（ｔ）を更新する。更新方法は規定しないが、例とし
て、単純な等速運動モデルならば、Ｖｉ（ｔ＋１）＝Ｃ
ｊ−Ｐｉ（ｔ−１）、Ｐｉ（ｔ）＝Ｃｊとなる。また、
カルマンフィルタを用いる時は、対応する領域の中心位
置をｚｚｉ（ｔ）＝（ｘ，ｙ）とすると、状態ベクトル
ｘｘｉ（ｔ）は、次のように推定される。

【００７５】Ｓｃ＝Ｆｉ×Ｓｘｉ（ｔ−１）×Ｆｉ^T Ｋ＝Ｓｃ×Ｈｉ^T ×（Ｈｉ×Ｓｃ×Ｈｉ^T ＋ＲＲｉ）^-1 として、 ｘｘｉ（ｔ）＝Ｆｉ×ｘｘｉ（ｔ−１）＋Ｇｉ×ｗｉ＋
Ｋ×（ｚｚｉ（ｔ）−（Ｈｉ×ｘｘｉ（ｔ−１）＋ｖ
ｉ）） （なお、Ｔは転置を表し、−１は逆変換を表す） このとき、上記状態ベクトルｘｘｉ（ｔ）から時刻ｔで
の位置と速度の成分を抽出し、領域位置Ｒｉ（ｔ）＝
（ｘｘ

〔０〕，ｘｘ〔１〕）、運動パラメータ（移動速
度）Ｖｉ（ｔ）＝（ｘｘ〔２〕，ｘｘ〔３〕）を得る。
このとき、状態ベクトルの共分散行列Ｓｘｉ（ｔ）は以
下のように更新される。

【００７６】Ｓｘｉ（ｔ）＝（Ｉ−Ｋ×Ｈｉ）×Ｓｃ×
（Ｉ−Ｋ×Ｈｉ）^-1＋Ｋｉ×ＲＲｉ×Ｋｉ^T この推定された状態共分散行列Ｓｘｉ（ｔ）は、時刻ｔ
＋１での領域探索範囲Ｓｉ（ｔ＋１）の算出に用いる。

【００７７】・重なり判定部５での処理手順は、全ての
追跡領域の組み合わせ（ＲｉとＲｊ）について、追跡領
域の位置と形状を元に２つの領域を画像座標において重
ね合わせて、領域間に重なりがある場合には、重なりあ
りと判定する。両領域に重なりがなければ、両領域とも
重なりなしと判定する。

【００７８】重なりありの場合は、重なり合う領域の大
きさの違いを調べ、大きさに顕著な違い（例えば倍程
度）がある場合には、大きい方の領域は通常の重なって
いない状態での追跡とし、小さい方を重なり有りとす
る。また、領域間の大きさがほぼ同じ時には、それら領
域全てを重なり有りとする。そして、判定結果を各領域
（Ｒｉ、Ｒｊ）の領域追跡部４に返す。

【００７９】図７は重なり判定部の処理の流れの説明図
である。以下、図７の処理Ｓ３１〜処理Ｓ４４に従って
説明する。

【００８０】Ｓ３１：重なり判定部５は、ｉ＝１とし
て、処理Ｓ３２に移る。 Ｓ３２：重なり判定部５は、領域Ｒｉの情報を得て、処
理Ｓ３３に移る。

【００８１】Ｓ３３：重なり判定部５は、ｊ＝ｉ＋１と
して、処理Ｓ３４に移る。 Ｓ３４：重なり判定部５は、領域Ｒｊの情報を得て、処
理Ｓ３５に移る。

【００８２】Ｓ３５：重なり判定部５は、領域Ｒｉと領
域Ｒｊが重なっているかどうか判定する。この判定で領
域Ｒｉと領域Ｒｊが重なっていれば処理Ｓ３６に移り、
重なっていない場合は処理Ｓ３９に移る。

【００８３】Ｓ３６：重なり判定部５は、領域Ｒｉと領
域Ｒｊの大きさの差は大きいかどうか判定する。この判
定で大きさの差が大きい場合は処理Ｓ３７に移り、差が
大きくない場合は処理Ｓ３８に移る。

【００８４】Ｓ３７：重なり判定部５は、大きい領域の
方は重なっていないとし、小さい領域の方を重なってい
るとし、処理Ｓ４０に移る。

【００８５】Ｓ３８：重なり判定部５は、処理Ｓ３６の
判定で領域Ｒｉと領域Ｒｊの大きさの差が大きくない場
合、領域Ｒｉと領域Ｒｊの両方とも重なっているとし、
処理Ｓ４０に移る。

【００８６】Ｓ３９：重なり判定部５は、処理Ｓ３５の
判断で領域Ｒｉと領域Ｒｊが重なっていない場合、領域
Ｒｉと領域Ｒｊの両方とも重なっていないとし、処理Ｓ
４０に移る。

【００８７】Ｓ４０：重なり判定部５は、領域Ｒｉと領
域Ｒｊの領域追跡部４に重なり情報を返し、処理Ｓ４１
に移る。 Ｓ４１：重なり判定部５は、ｊ＝ｊ＋１として、処理Ｓ
４２に移る。

【００８８】Ｓ４２：重なり判定部５は、ｊの値が最大
領域数以下かどうか判断する。この判断でｊの値が最大
領域数以下の場合は処理Ｓ３４に戻り、もし最大領域数
以下でない場合は処理Ｓ４３に移る。

【００８９】Ｓ４３：重なり判定部５は、ｉ＝ｉ＋１と
して、処理Ｓ４４に移る。 Ｓ４４：重なり判定部５は、ｉの値が最大領域数以下か
どうか判断する。この判断でｉの値が最大領域数以下の
場合は処理Ｓ３２に戻り、もし最大領域数以下でない場
合はこの処理を終了する。

【００９０】（５）：他の重なっている時の領域探索範
囲の説明 ・前記（４）の領域追跡処理の具体的において、領域Ｒ
ｉの追跡で、領域が重なっているときの領域探索範囲Ｓ
ｉ（ｔ）の設定方式を、追跡領域Ｒｉの周囲に、一定の
大きさを付加（加算）して膨張させた領域を探索範囲と
する方法に替えたもの。

【００９１】・前記（４）の領域追跡処理の具体的にお
いて、領域Ｒｉの追跡で、領域が重なっているときの領
域探索範囲Ｓｉ（ｔ）の設定方式を、追跡領域Ｒｉの周
囲に、重なり前の領域の大きさＡｉから何らかの関数Ｆ
ｓ２（Ａｉ）で定まる大きさを加えて膨張させた領域を
探索範囲とする方法に替えたもの。関数Ｆｓ２（ ）の
例として、Ｆｓ２（ｘ）＝ａ２×ｘ＋ｂ２（ａ２、ｂ２
は定数）など。

【００９２】・前記（４）の領域追跡処理の具体的にお
いて、領域Ｒｉの追跡で、領域が重なっているときの領
域探索範囲Ｓｉ（ｔ）の設定方式を、追跡領域Ｒｉの周
囲に、追跡領域の位置の不確かさＳｐｉ（ｔ）から何ら
かの関数Ｆｓ３（Ｓｐｉ）で定まる大きさを加えて膨張
させた領域を探索範囲とする方法に替えたもの。関数Ｆ
ｓ３（ ）の例として、Ｆｓ３（ｘ）＝ａ３×ｘ＋ｂ３
（ａ３、ｂ３は定数）など。

【００９３】（６）：重なっている時に解像度を下げる
場合の説明 前記（４）（５）で説明したように探索範囲を実際に広
げる代わりに、予測位置の周囲の解像度を下げて探索す
ることで、探索領域の実際の大きさは一定にしながら、
広範囲の領域を探索することができる。

【００９４】解像度を下げる方式は複数あるが、例え
ば、解像度を下げた画像の画素値を、解像度の低い画像
の座標系から、対応する元の解像度での座標系へ座標変
換したときに、変換された座標（一般には実数値で表さ
れる）に最も近い整数値で表せる座標の画素値としたも
の。

【００９５】（具体的な解像度の変換方式の説明） ・図８は解像度変換方式の説明図であり、図８（ａ）は
元の解像度での探索範囲の説明、図８（ｂ）は低解像度
での探索範囲の説明である。図８（ａ）において、元の
解像度の座標系ｏ−ｘｙ（ｏは画像の左上）で、探索範
囲の中心位置をｑ（ｑｘ，ｑｙ）、幅および高さをｗ
ｗ、ｈｈとする。元の解像度での探索範囲の大きさに対
する低解像度での探索範囲の大きさは１／ｍとする。図
８（ｂ）において、低解像度での座標系Ｏ−ＸＹ（Ｏは
低解像度での探索範囲の左上）で、探索範囲の中心位置
をＱ（Ｑｘ，Ｑｙ）、幅および高さをｗｗ／ｍ、ｈｈ／
ｍとする。

【００９６】この時、低解像度での座標Ｐ（Ｘ，Ｙ）か
ら元の解像度での座標ｐ（ｘ，ｙ）は、ｘ座標、ｙ座標
それぞれの座標変換関数をｈｘ（Ｘ）、ｈｙ（Ｙ）とす
ると、ｈｘ、ｈｙはそれぞれ次のように表せる。

【００９７】ｈｘ（Ｘ）＝（Ｘ−Ｑｘ）×ｍ＋ｑｘ ｈｙ（Ｙ）＝（Ｙ−Ｑｙ）×ｍ＋ｑｙ ここで、演算子［ｘ］を「ｘを越えない最大の整数を返
す」と定義する。元の解像度での任意の位置の画素値を
ｇ（ｘ，ｙ）、低解像度での任意の位置の画素値をＧ
（Ｘ，Ｙ）とするとき、本解像度変換方式は、次のよう
になる。

【００９８】 Ｇ（Ｘ，Ｙ）＝ｇ（［ｈｘ（Ｘ）］，［ｈｙ（Ｙ）］） この変換を低解像度での探索範囲内の各位置で行うこと
で、低解像度での探索範囲画像が得られる。

【００９９】・上記解像度を下げる方式を次の方式とす
ることもできる。解像度を下げた画像の画素値を、解像
度の低い画像の座標系から、対応する元の解像度での座
標系へ座標変換したときに、周囲の４つの画素値を用い
て線形補間（bilinear）した値としたもの。

【０１００】具体的には、以下の通り、低解像度の探索
範囲内の点Ｐ（ＰＸ，ＰＹ）に対する元の解像度での画
素の位置ｐ（ｐｘ，ｐｙ）は、 ｐｘ＝ｈｘ（ＰＸ） ｐｙ＝ｈｙ（ＰＹ） で与えられる。このとき、低解像度での任意の画素値Ｇ
（ＰＸ，ＰＹ）を以下の式により線形補間して求める。

【０１０１】Ｇ（ＰＸ，ＰＹ）＝［（ｐｘ−［ｐｘ］）
×（（ｐｙ−［ｐｙ］）×ｇ（［ｐｘ］，［ｐｙ］）＋
（［ｐｙ］＋１−ｐｙ）×ｇ（［ｐｘ］，［ｐｙ］＋
１））＋（［ｐｘ］＋１−ｐｘ）×（（ｐｙ−［ｐ
ｙ］）×ｇ（［ｐｘ］＋１，［ｐｙ］）＋（［ｐｙ］＋
１−ｐｙ）×ｇ（［ｐｘ］＋１，［ｐｙ］＋１））］ この変換を低解像度での探索範囲内の各位置で行うこと
で、低解像度での探索範囲画像が得られる。

【０１０２】・また、前記解像度を下げる方式を次の方
式とすることもできる。解像度を下げた画像の画素値
を、解像度の低い画像の座標系から、対応する元の解像
度での座標系へ座標変換したときに、周囲の１６の画素
値を用いてｓｉｎｃ（シンク）補間した値としたもの。

【０１０３】具体的には、以下の通り、低解像度の探索
範囲内の点Ｐ（ＰＸ，ＰＹ）に対する元の解像度での画
素の位置ｐ（ｐｘ，ｐｙ）は、 ｐｘ＝ｈｘ（ＰＸ） ｐｙ＝ｈｙ（ＰＹ） で与えられる。位置ｐ（ｐｘ，ｐｙ）は、一般には実数
値で与えられる。ここで、 ｐｐｘ＝［ｐｘ］ ｐｐｙ＝［ｐｙ］ とおき、（ｐｐｘ、ｐｐｙ）の周囲の座標を以下のよう
に定義する。

【０１０４】ｐｐｘ（１）＝ｐｐｘ−１、ｐｐｘ（２）
＝ｐｐｘ、ｐｐｘ（３）＝ｐｐｘ＋１、ｐｐｘ（４）＝
ｐｐｘ＋２ ｐｐｙ（１）＝ｐｐｙ−１、ｐｐｙ（２）＝ｐｐｙ、ｐ
ｐｙ（３）＝ｐｐｙ＋１、ｐｐｙ（４）＝ｐｐｙ＋２ ｘとｙ方向の４点ずつ、つまり１６点で定義される位置
について、重み係数ＷＷ（ｉ，ｊ）を以下のように定義
する。

【０１０５】ｉ＝１〜４、ｊ＝１〜４の１６点について ＷＷ（ｉ，ｊ）＝ｓｉｎ（ｓｑｒｔ（（ｐｘ−ｐｐｘ
（ｉ））² ＋（ｐｙ−ｐｐｙ（ｊ））² ））／ｓｑｒｔ
（（ｐｘ−ｐｐｘ（ｉ））² ＋（ｐｙ−ｐｐｙ（ｊ））
² ） このとき、低解像度での任意の画素値Ｇ（ＰＸ，ＰＹ）
を以下の式により補間して求める。

【０１０６】

【数３】

【０１０７】この変換を低解像度での探索範囲内の各位
置で行うことで、低解像度での探索範囲画像が得られ
る。

【０１０８】・さらに、前記解像度を下げる方式を次の
方式とすることもできる。解像度を下げた画像の画素値
を、解像度の低い画像の座標系から、対応する元の解像
度での座標系へ座標変換したときに、周囲の１６の画素
値を用いてｃｕｂｉｃ（キュービック：３次元）補間し
た値としたもの。

【０１０９】具体的には、次の通り、低解像度の探索範
囲内の点Ｐ（ＰＸ，ＰＹ）に対する元の解像度での画素
の位置ｐ（ｐｘ，ｐｙ）は、 ｐｘ＝ｈｘ（ＰＸ） ｐｙ＝ｈｙ（ＰＹ） で与えられる。位置ｐ（ｐｘ，ｐｙ）は、一般には実数
値で与えられる。ここで、 ｐｐｘ＝［ｐｘ］ ｐｐｙ＝［ｐｙ］ とおき、（ｐｐｘ、ｐｐｙ）の周囲の座標を以下のよう
に定義する。

【０１１０】ｐｐｘ（１）＝ｐｐｘ−１、ｐｐｘ（２）
＝ｐｐｘ、ｐｐｘ（３）＝ｐｐｘ＋１、ｐｐｘ（４）＝
ｐｐｘ＋２ ｐｐｙ（１）＝ｐｐｙ−１、ｐｐｙ（２）＝ｐｐｙ、ｐ
ｐｙ（３）＝ｐｐｙ＋１、ｐｐｙ（４）＝ｐｐｙ＋２ ｘとｙ方向の４点ずつ、つまり１６点で定義される位置
について、重み係数ＷＷ（ｉ，ｊ）を以下のように定義
する。

【０１１１】ｉ＝１〜４、ｊ＝１〜４の１６点について ＷＷ（ｉ，ｊ）＝ｃｕｂｉｃ（ｓｑｒｔ（（ｐｘ−ｐｐｘ（ｉ））² ＋（ｐｙ −ｐｐｙ（ｊ））² ）） ｃｕｂｉｃ（ｘ）＝１−２×ｘ×ｘ＋｜ｘ｜×｜ｘ｜×｜ｘ｜ ・・・（０．０≦ｘ＜１．０） ＝４−８×｜ｘ｜＋５×ｘ×ｘ−｜ｘ｜×｜ｘ｜×｜ｘ｜ ・・・（１．０≦ｘ≦２．０） ＝０ ・・・・（ｏｔｈｅｒｗｉｓｅ） このとき、低解像度での任意の画素値Ｇ（ＰＸ，ＰＹ）
を以下の式により補間して求める。

【０１１２】

【数４】

【０１１３】この変換を低解像度での探索範囲内の各位
置で行うことで、低解像度での探索範囲画像が得られ
る。

【０１１４】以上実施の形態で説明したように、画像全
体から追跡領域に類似した特徴を有する領域を抽出する
のではなく、追跡中の各々の領域の近傍の一定の範囲の
みに処理領域を限定することで、処理時間を大幅に減ら
すことができる。

【０１１５】また、複数の領域（物体）が重なり１つの
領域として観測され、それぞれの領域が区別できない時
でも、重なり状態を判断して、重なり時には通常より大
きな領域探索範囲を設けて、重なり領域の周囲の広い部
分を監視することで、重なった領域が重なり中に運動パ
ターン（運動パラメータ）を変化させても、その変化に
影響されることなく、安定に領域を追跡する事ができ
る。

【０１１６】（６）：プログラムのインストールの説明 領域追跡部、重なり判定部は、プログラムで構成でき、
主制御部（ＣＰＵ）が実行するものであり、主記憶に格
納されているものである。このプログラムは、一般的
な、コンピュータで処理されるものである。このコンピ
ュータは、主制御部、主記憶、ファイル装置、表示装
置、キーボード等の入力手段である入力装置などのハー
ドウェアで構成されている。

【０１１７】このコンピュータに、本発明のプログラム
をインストールする。このインストールは、フロッピ
ィ、光磁気ディスク等の可搬型の記録（記憶）媒体に、
これらのプログラムを記憶させておき、コンピュータが
備えている記録媒体に対して、アクセスするためのドラ
イブ装置を介して、或いは、ＬＡＮ等のネットワークを
介して、コンピュータに設けられたファイル装置にイン
ストールされる。そして、このファイル装置から処理に
必要なプログラムステップを主記憶に読み出し、主制御
部が実行するものである。

【０１１８】

【発明の効果】以上説明したように、本発明によれば次
のような効果がある。 （１）：特定の特徴を有する領域の運動モデルから移動
位置を予測し、該予測した移動位置の周囲のある範囲を
探索範囲として領域の探索を行い、他の類似領域との重
なりに応じて前記探索範囲を可変するため、領域探索範
囲を一定の範囲のみに限定して処理時間を大幅に減ら
し、安定に領域を追跡することができる。

【０１１９】（２）：他の類似領域との重なりにより、
前記探索範囲を大きくし、前記重なりの解消により前記
探索範囲を小さくするため、処理時間を大幅に減らし、
領域の動きの変化に影響されず安定に領域を追跡するこ
とができる。

【０１２０】（３）：探索範囲を追跡する領域の予測位
置の不確かさに応じた大きさとするため、探索範囲を必
要最小限とすることができる。

【０１２１】（４）：領域の予測位置の周囲の解像度を
下げて、前記探索範囲を可変するため、探索領域の大き
さは一定にしても、広範囲の領域を探索することができ
る。

【０１２２】（５）：領域追跡部で特定の特徴を有する
領域の運動モデルから移動位置を予測し、該予測した移
動位置の周囲のある範囲を探索範囲として領域の探索を
行い、重なり判定部で他の領域との重なりの判定を行
い、前記領域追跡部で他の類似領域との重なりに応じて
前記探索範囲を可変するため、領域探索範囲を一定の範
囲のみに限定して処理時間を大幅に減らし、安定に領域
を追跡することができる。

【０１２３】（６）：特定の特徴を有する領域の運動モ
デルから領域の移動位置を予測し、該予測した移動位置
の周囲のある範囲を探索範囲として領域の探索を行う領
域探索手順と、他の領域との重なりを判定する重なり判
定手順と、他の類似領域との重なりに応じて前記探索範
囲を可変する手順とを実行させるためのプログラムを記
録したコンピュータ読み取り可能な記録媒体とするた
め、この記録媒体のプログラムをコンピュータにインス
トールすることで、処理時間を大幅に減らし、安定に領
域を追跡することができる移動領域追跡装置を容易に提
供することができる。

【図面の簡単な説明】

【図１】本発明の移動領域追跡手法の概略説明図であ
る。

【図２】実施の形態における領域追跡処理の流れの説明
図である。

【図３】実施の形態における領域追跡状況の説明図であ
る。

【図４】実施の形態における移動領域追跡装置の構成図
である。

【図５】実施の形態における領域追跡部の処理の説明図
である。

【図６】実施の形態における領域Ｒｉの追跡過程の説明
図である。

【図７】実施の形態における重なり判定部の処理の流れ
の説明図である。

【図８】実施の形態における解像度変換方式の説明図で
ある。

【符号の説明】

４ 領域追跡部 ５ 重なり判定部

Claims (6)

【特許請求の範囲】
1. 【請求項１】特定の特徴を有する領域を追跡する移動領
   域追跡方法において、 領域の運動モデルから移動位置を予測し、該予測した移
   動位置の周囲のある範囲を探索範囲として領域の探索を
   行い、 他の類似領域との重なりに応じて前記探索範囲を可変す
   ることを特徴とした移動領域追跡方法。
2. 【請求項２】前記他の類似領域との重なりにより、前記
   探索範囲を大きくし、前記重なりの解消により前記探索
   範囲を小さくすることを特徴とした請求項１記載の移動
   領域追跡方法。
3. 【請求項３】前記探索範囲を追跡する領域の予測位置の
   不確かさに応じた大きさとすることを特徴とした請求項
   ２記載の移動領域追跡方法。
4. 【請求項４】前記領域の予測位置の周囲の解像度を下げ
   て、前記探索範囲を可変することを特徴とする請求項１
   〜３のいずれかに記載の移動領域追跡方法。
5. 【請求項５】特定の特徴を有する領域を追跡する移動領
   域追跡装置において、 領域の運動モデルから移動位置を予測し、該予測した移
   動位置の周囲のある範囲を探索範囲として領域の探索を
   行う領域追跡部と、 他の領域との重なりを判定する重なり判定部とを備え、 前記領域追跡部は、重なり判定部で判定した他の類似領
   域との重なりに応じて前記探索範囲を可変することを特
   徴とした移動領域追跡装置。
6. 【請求項６】特定の特徴を有する領域の運動モデルから
   領域の移動位置を予測し、該予測した移動位置の周囲の
   ある範囲を探索範囲として領域の探索を行う領域探索手
   順と、 他の領域との重なりを判定する重なり判定手順と、 他の類似領域との重なりに応じて前記探索範囲を可変す
   る手順とを実行させるためのプログラムを記録したコン
   ピュータ読み取り可能な記録媒体。