JP2002342762A - 物体追跡方法 - Google Patents

Abstract

(57)【要約】 【課題】 広角レンズで室内などの近距離の画像を取得
した場合でも分裂判定や統合判定が可能な物体追跡方法
を提供する。 【解決手段】 画像内の対象物体の候補領域を検出する
ステップ５１０と、前後のフレームでの領域の重なりで
候補領域同士を対応づけるステップ５４０,５５０と、
前フレームでの複数の領域が後続フレームで１つの領域
に対応付けられた場合に、各領域の特徴量を記憶するス
テップ５６０と、ある時刻に一体化した領域が時間経過
後に複数に分離した場合に、記憶していた統合前の前記
特徴量とあらゆる組合せについて特徴量の一致度を評価
し統合の前の複数の領域を分裂後の複数の領域と対応づ
ける対応付けステップ６２０とを備えた物体追跡方法で
ある。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はテレビジョンカメラ
を用いた監視装置において、画像内に存在する複数の検
出対象物体を自動的に検出し、前記検出物体を自動的に
追跡する物体追跡方法に関する。

【０００２】

【従来の技術】従来、物体追跡方法としては特開平１１
−３２３２５号公報に記載された方法が知られている。
図８を用いて従来の物体追跡方法の処理の手順を説明す
る。

【０００３】まず、画像入力ステップ１００では、例え
ば１０フレーム／秒程度の一定のフレームレートでカメ
ラから得られた３２０×２４０画素程度の画像を得る。
差分処理１２０では入力画像からあらかじめ作成してお
いた背景画像を画素毎に減算し差分画像を算出する。２
値化・ラベリング処理１３０では差分画像をあらかじめ
設定した閾値を越えた領域を２５５、その他の領域を０
という具合に２値化し、つながっている画素値２５５の
領域を隣り合った画素同士をつなげてゆくラベリング処
理により抽出する。これを対象物体の候補領域とする。
このように人物候補領域抽出ステップ１１０は、差分処
理１２０と２値化・ラベリング処理１３０からなる。

【０００４】検出物体数変化検出ステップ１４０は前後
のフレームでの各候補領域の重心間の距離を求め、重心
同士の距離を閾値と比較することにより前フレームの各
候補領域（個数Np）と前フレームの各候補領域と接続可
能な領域の現フレーム領域数（個数Nn）を前フレームの
すべての候補領域について求める。検出状態変化分類ス
テップ１５０では、前フレームと現フレームとの接続関
係を以下の５つの状態に分類する。

【０００５】１）出現：前フレームのどの領域にも対応
づけられなかった現フレームの候補領域 ２）単連結：前フレームと一対一で対応づけられた現フ
レームの候補領域 ３）結合：複数の前フレームの領域が対応づけられた現
フレームの候補領域 ４）消滅：現フレームのどの領域にも対応づけられなか
った前フレームの候補領域 ５）分離：複数の現フレームの領域が対応づけられた前
フレームの候補領域 接続情報作成ステップ１６０では、検出された各物体の
前フレームとの接続情報を生成する。

【０００６】分裂判定ステップ１７０では、前フレーム
のある領域が検出状態変化分類ステップ１５０で分離と
状態判定された場合に、「分離前の領域面積＞分離後の
対応する領域の面積の総和、かつ分離後の対応する領域
が対象物の大きさの範囲内に存在する」の場合に元々一
つの領域が２つに分裂したと判定する。また分裂判定ス
テップ１７０では、前フレームのある領域が検出状態変
化分類ステップ１５０で結合と状態判定された場合に、
「結合後の領域面積＞結合前の対応する領域の面積の総
和、かつ結合前の対応する全領域が対象物の大きさの範
囲内に存在する」の場合には２つに分裂した元々一つの
領域が１つに検出されるようになったと判定する。

【０００７】分裂補正ステップ１８０では、分裂してい
た期間の対象領域の位置を各領域を合計した領域の重心
として、単連結して追跡情報を作成する。

【０００８】また、連結判定ステップ１９０では、現フ
レームのある領域が検出状態変化分類ステップ１５０で
結合と状態判定された場合に、「結合前の各領域の面積
が所定の面積以下、かつ結合後の領域面積＜結合前の対
応する領域の面積の総和」の場合に元々２つの領域が１
つに結合したと判定する。また、連結判定ステップ１９
０では、現フレームのある領域が検出状態変化分類ステ
ップ１５０である領域が分離と状態判定された場合に、
「分離後の各領域の面積が所定の面積以下、かつ分離前
の領域面積＜分離後の対応する領域の面積の総和」の場
合に１つに連結していた元々２つの領域が２つの領域に
戻って検出されたと判定する。

【０００９】連結補正ステップ２００では連結していた
期間の対象領域の位置を各領域の連結前後の平均動きベ
クトルの方向等に基づき推定し追跡情報を作成する。

【００１０】連結補正再帰判定ステップ２１０は分裂補
正または連結補正のどちらかが行われたかどうかを判定
し、補正が行われた場合にはステップ１７０に戻り、補
正後の新しい接続情報に基づいて再帰分裂補正、連結補
正をおこなう。分裂補正、連結補正のどちらも行われな
かった場合には軌跡推定ステップ２２０で軌跡推定を行
い、軌跡推定の結果があらかじめ設定した異常値を示す
場合には異常判定ステップ２３０で異常を検出し、モニ
タ表示ステップ２４０でモニタ表示を行っていた。

【００１１】

【発明が解決しようとする課題】この従来の物体追跡方
法では分裂判定や連結判定に分裂前後の候補領域間の面
積の大小関係を用いている。しかしながら、一つのカメ
ラで広範囲にカバーするため広角レンズで室内などの近
距離の画像を取得した場合、カメラに対する対象物の距
離がわずかに変化するだけで対象物の候補領域面積が大
きく変化するため、面積による分裂判定や連結判定は困
難であった。特に人物を対象物体とした場合、正面を向
いた場合と横を向いた場合で画像上の面積は大きく変化
し、面積の大小関係で分裂判定や連結判定を行うことは
困難であった。

【００１２】また、この従来の物体追跡方法では再帰的
な手順によって分裂判定や連結判定を行い、１つの対象
物が２つの候補領域として検出されている場合や、２つ
の対象物が１つの候補領域としてとらえられている場合
を判定して補正していた。しかしながら、この方法では
画像に映り始めた状態から分裂していたり、連結してい
たりするような物体の分裂、並びに連結判定を途中で正
しく補正する手段を有していなかった。

【００１３】本発明の目的は、広角レンズで室内などの
近距離の画像を取得した場合でも分裂判定や統合判定が
可能な物体追跡方法を提供することにある。

【００１４】また本発明の他の目的は、物体の分裂判
定、連結判定を途中で正しく補正するステップを備えた
物体追跡方法を提供することにある。

【００１５】

【課題を解決するための手段】これらの課題を解決する
ために本発明の物体追跡方法は、画像内の対象物体の候
補領域を検出するステップと、前後のフレームでの領域
の重なりで候補領域同士を対応づけるステップと、前フ
レームでの複数の領域が後続フレームで１つの領域に対
応付けられた場合に各領域の特徴量を記憶するステップ
と、ある時刻に一体化した領域が時間経過後に複数に分
離した場合に記憶していた統合前の前記特徴量とあらゆ
る組合せについて特徴量の一致度を評価し統合の前の複
数の領域を分裂後の複数の領域と対応づける対応付けス
テップとを備えたものである。

【００１６】また前記対応付けステップは、画像内の特
定領域で対象物と対象物の候補領域の対応付けを更新す
ることが望ましい。

【００１７】また前記対応付けステップは、前記画像内
の特定領域に設けられた対象物を検出するセンサが、前
記対象物の特定領域の通過を検出したときに対象物と対
象物の候補領域の対応付けを更新することが望ましい。

【００１８】また本発明の物体追跡方法は、画像内の対
象物体の候補領域を検出するステップと、前後のフレー
ムでの領域の重なりで候補領域同士を対応づけるステッ
プと、前後のフレームでの前記候補領域を領域の重なり
の割合を用いてフレームレートまたは前記候補領域の対
応付けの周期を変えるステップとを備えたものである。

【００１９】

【発明の実施の形態】以下、本発明の形態について図１
から図７を用いて説明する。

【００２０】（実施の形態１）図１は本発明の実施の形
態１と２に共通するハードウエア構成の一例を示す。図
１において、３００は広角レンズを備えたＴＶカメラ、
３１０は画像入力インターフェース、３２０は画像メモ
リ、３３０はデータバス、３４０はＣＰＵ、３５０はワ
ークメモリ、３６０はプログラムメモリ、３７０は画像
出力インターフェース、３８０は表示装置である。

【００２１】図１において、ＴＶカメラ３００は視野範
囲を撮影し。撮影された映像信号は画像入力インターフ
ェース３１０からデータバス３３０を介して画像メモリ
３２０に蓄積される。ＣＰＵ３４０はプログラムメモリ
３６０に格納されているプログラムにしたがってワーク
メモリ３５０を用いて前記画像メモリ３２０に蓄積され
た画像の解析を行う。ＣＰＵ３４０は画像出力インター
フェース３７０を介して表示装置３８０に結果を表示す
る。

【００２２】図２は本実施の形態に係る物体追跡方法の
フローチャートである。図３及ぶ図４は、前後するフレ
ーム画像の一例と前後フレームでの人物領域の重なりの
一例を示す説明図である。以下に、図２〜図４を用いて
物体追跡方法の処理の手順を説明する。

【００２３】画像入力ステップ５００では、例えば１０
フレーム／秒程度の一定のフレームレートで室内の片隅
に設置した広角レンズを装着したカメラ３００から得ら
れた３２０×２４０画素の画像を得る。差分処理５２０
では入力画像からあらかじめ作成しておいた背景画像を
画素毎に減算し差分画像を算出する。２値化・ラベリン
グ処理５３０では差分画像をあらかじめ設定した閾値を
越えた領域を２５５、その他の領域を０という具合に２
値化し、つながっている画素値２５５の領域を固まり毎
にラベリングにより抽出する。これを対象物体の候補領
域とする。このように人物候補領域抽出ステップ５１０
は、差分処理５２０と２値化・ラベリング処理５３０か
ら構成される。

【００２４】フレームメモリ格納ステップ５４０ではラ
ベリングされた候補領域画像を格納する。領域の重なり
による領域対応情報生成ステップ５５０では、図３
（ｃ）に前後フレームでの人物領域の重なりとして示す
ように、図３（ａ）に示す前フレームでの候補領域７１
０ａ,７２０ａと、図３（ｂ）に示す現フレームの候補
領域７３０ａ,７４０ａの画像上で重なっている面積を
求め、現フレームの各候補領域に対して重なりの面積が
あらかじめ定めた割合以上であれば重なる領域同士を同
一対象物として対応づける。前フレームと現フレームの
候補領域を重ねて表示した図３（ｃ）で７１０ｂと７３
０ｂ、７２０ｂと７４０ｂがそれぞれ重なっており対応
づけられる。

【００２５】検出状態変化分類ステップ５８０では、前
フレームと現フレームとの接続関係を以下の５つの状態
に分類する。

【００２６】１）出現：前フレームのどの領域にも対応
づけられなかった現フレームの候補領域 ２）単連結：前フレームと一対一で対応づけられた現フ
レームの候補領域 ３）結合：複数の前フレームの領域が対応づけられた現
フレームの候補領域 ４）消滅：現フレームのどの領域にも対応づけられなか
った前フレームの候補領域 ５）分離：複数の現フレームの領域が対応づけられた前
フレームの候補領域 接続情報作成ステップ５９０では、検出された各物体の
前フレームとの接続情報を生成する。

【００２７】分裂判定ステップ６００では、ある元々単
一の領域が分離した場合に分裂と判定し、分裂補正を行
う。また、分裂していた領域が結合した場合には２つに
分裂した元々一つの領域が１つに検出されるようになっ
たと判定する。

【００２８】分裂補正ステップ６１０では分裂していた
期間の対象領域の位置を各領域を合計した領域の重心と
して、単連結して追跡情報を作成する。

【００２９】また、連結判定ステップ６２０では元々複
数あった領域が１つに結合した場合に複数の領域が１つ
に連結したと判定する。この場合、前フレームの連結前
の各領域の重心周辺の色ヒストグラム（特徴量）を色ヒ
ストグラム記録ステップ５６０で記録する。また、連結
判定ステップ６２０では一旦連結と判定された領域が分
離した場合に１つに連結していた元々２つの領域が２つ
の領域に戻って検出されたと判定する。

【００３０】ここで、図４に示す前後するフレーム画像
の一例と前後フレームでの人物領域の重なりの一例を用
いて連結判定ステップ６２０と連結補正ステップ６３０
の動作を説明する。

【００３１】図４（ａ）で検出された人物候補領域８１
０ａ，８２０ａは図４（ｂ）の人物候補領域８３０ａと
重なるため連結が開始したことが連結判定ステップ６２
０において判定される。図４（ｃ）での人物領域は８４
０ａであり、連結したままである。図４（ｄ）で２人の
人物領域は別々の領域８５０ａ，８６０ａとして検出さ
れ、連結が終了したと連結判定ステップ６２０において
判定される。図４（ｂ）,（ｃ）のように連結中の場合
には連結補正手段６３０では単一の領域と見なし、検出
状態変化分類ステップ５８０で「単連結」として追跡は
行うが、この間軌跡推定ステップ６５０へ連結中である
ことをフラグを用いて伝達し、軌跡の算出は行わない。
これは、とくに室内で人物の行動軌跡を調べる場合、連
結前後の平均移動ベクトルを内挿しただけで推定するこ
とは困難であるからである。ここで、色ヒストグラム間
の類似度を、Hist#Dist(色ヒスト１、色ヒスト２)と
し、（数１）に示すとおり、相対ヒストグラムの重なり
面積で定義する。

【００３２】

【数１】

【００３３】交差開始前フレームの人物候補領域８１０
ａ，８２０ａ、および、交差完了フレームの人物候補領
域８５０ａ,８６０ａの色ヒストグラムをそれぞれＡ，
Ｂ，ａ，ｂとする。以下に示すように、関連づけた色ヒ
ストグラム間の類似度の総和が最大となるように対応づ
ける。ここで、類似度の尺度をヒストグラムの重なり面
積としたのは複数の類似度間で加法則が成立するからで
ある。この場合は８１０ａと８６０ａ，８２０ａと８５
０ａが対応づけられる。

【００３４】 if( Hist#Dist(A,a)+Hist#Dist(B,b)> Hist#Dist(A,b)+Hist#Dist(B,a))[ Ａとａ、Ｂとｂを対応付け ]else｛ Ａとｂ、Ｂとａを対応付け ｝ 分離・連結補正再帰判定ステップ６４０は分裂補正また
は連結補正のどちらかが行われたかどうかを判定し、補
正が行われた場合には分裂判定ステップ６００に戻り、
補正後の新しい接続情報に基づいて分裂補正、連結補正
をおこなう。分裂補正、連結補正のどちらも行われなか
った場合には軌跡推定ステップ６５０で軌跡推定を行
い、軌跡推定の結果があらかじめ設定した異常値を示す
場合には異常判定ステップ６６０で異常を検出し、モニ
タ表示ステップ６７０でモニタ表示を行う。

【００３５】以上のように本実施の形態では、分裂判定
および連結判定に領域面積の大小関係を用いないため、
広角レンズを用いて比較的近距離をとらえた画像でも確
実な分裂判定や統合判定が可能な物体追跡方法を得るこ
とが可能となる。

【００３６】なお、本実施の形態では色ヒストグラムの
類似度の尺度をヒストグラムの重なり面積としたが、ヒ
ストグラム間の相関等の他の尺度を用いても良いし、色
ヒストグラムではない何らかの特徴量を用いて連結前後
の領域の対応付けを行っても良い。また、本実施の形態
ではヒストグラムの重なり面積の総和が最大となる組合
せを求めて連結前後の領域の対応付けをおこなったが、
スコアが最も高くなる組合せから順に領域の対応付けを
行っても良い。

【００３７】（実施の形態２）図５は本発明の実施の形
態２に係る物体追跡方法のフローチャートである。図５
を用いて本発明実施の形態２の物体追跡方法の処理の手
順を説明する。図５において図２と同一物には同一番号
を付してその説明を省略する。

【００３８】図５において、画像入力ステップ５００の
代わりにフレームレート可変入力ステップ９００、領域
の重なりによる領域対応情報生成ステップ５５０の代わ
りに、領域の重なり検出ステップ９１０、フレームレー
ト補正ステップ９２０、特定範囲に存在する領域の対応
付け初期化ステップ９３０、領域対応情報生成ステップ
９４０を用いる以外は図２の実施の形態と同じである。

【００３９】図５において、領域の重なり検出ステップ
９１０で前後のステップの領域重なりを算出し、フレー
ムレート補正ステップ９２０では領域重なりの面積があ
らかじめ定めた対応付けのための閾値より十分大きい割
合の第２の閾値以上である場合にはフレームレートを遅
くし、領域重なりの面積が対応付けのための閾値より大
きくても前記の第２の閾値より小さい場合にはフレーム
レートを速くするようフレームレート可変入力ステップ
９００を設定する。

【００４０】特定範囲に存在する領域の対応付け初期化
ステップ９３０はあらかじめ画像中に設定しておいた特
定範囲を候補領域が通過する場合の領域の個数をその領
域の個数として割り当てる。例えば室内の人物監視の場
合、一度に一人しか出入りのできない出入り口付近の照
明を整えて特定領域とすれば、入室人物が必ず一つの固
まりの領域として検出される。これを利用して、特定領
域を通過する時に、分裂判定結果や連結判定結果を初期
化する。

【００４１】以上のように本実施の形態では、画像に映
り始めた状態から分裂していたり、連結していたりする
ような物体の分裂、並びに連結判定を途中で正しく補正
することが可能となる。

【００４２】なお、この実施の形態においてフレームレ
ート補正ステップ９２０に代わって、固定のフレームレ
ートで画像をサンプリングして候補領域の対応付けの周
期を可変としても良い。

【００４３】（実施の形態３）図６は本発明の実施の形
態３に係る物体追跡方法のハードウエア構成図、図７は
本発明の実施の形態３に係る物体追跡方法のフローチャ
ートである。

【００４４】図７において、領域の重なり検出ステップ
９１０で前後のステップの領域重なりを算出し、通過セ
ンサによる領域の対応付け初期化ステップ１１００は通
過センサ上を対象物が通過した場合に対応する画像上の
位置の候補領域の個数をその領域の個数として割り当て
る。例えば室内の人物監視の場合、一度に一人しか通過
できないマット状のセンサを特定領域通過センサ１０１
０として室内に置き、人物がそのセンサ上を通過したと
きに２つの領域に分裂して検出された場合にはその該当
する領域を分裂領域と判定する。

【００４５】以上のように本実施の形態では、画像に映
り始めた状態から分裂していたり、連結していたりする
ような物体の分裂、並びに連結判定を途中で正しく補正
することが可能となる。

【００４６】

【発明の効果】以上のように本発明によれば、広角レン
ズで室内などの近距離の画像を取得した場合でも分裂判
定や統合判定が可能な物体追跡方法を得ることが可能と
なる。

【００４７】また本発明によれば、物体の分裂判定、連
結判定を途中で正しく補正するステップを備えた物体追
跡方法を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態１と２に共通する物体追跡
方法のハードウエア構成図

【図２】本発明の実施の形態１に係る物体追跡方法のフ
ローチャート

【図３】本発明の実施の形態１に係る、前後するフレー
ム画像の一例と前後フレームでの人物領域の重なりの一
例を示す説明図

【図４】本発明の実施の形態１に係る、前後するフレー
ム画像の一例と前後フレームでの人物領域の重なりの一
例を示す説明図

【図５】本発明の実施の形態２に係る物体追跡方法のフ
ローチャート

【図６】本発明の実施の形態３に係る物体追跡方法のハ
ードウエア構成図

【図７】本発明の実施の形態３に係る物体追跡方法のフ
ローチャート

【図８】従来の物体追跡方法のフローチャート

【符号の説明】

１００ 画像入力ステップ １１０ 人物候補領域抽出ステップ １２０ 差分処理 １３０ ２値化・ラベリング処理 １４０ 検出物体数変化検出ステップ １５０ 検出状態変化分類ステップ １６０ 接続情報作成ステップ １７０ 分裂判定ステップ １８０ 分裂補正ステップ １９０ 連結判定ステップ ２００ 連結補正ステップ ２１０ 連結補正再帰判定ステップ ２２０ 軌跡推定ステップ ２３０ 異常判定ステップ ２４０ モニタ表示ステップ ３００ 広角レンズを備えたＴＶカメラ ３１０ 画像入力インターフェース ３２０ 画像メモリ ３３０ データバス ３４０ ＣＰＵ ３５０ ワークメモリ ３６０ プログラムメモリ ３７０ 画像出力インターフェース ３８０ 表示装置 ５００ 画像入力ステップ ５１０ 人物候補領域抽出ステップ ５２０ 差分処理 ５３０ ２値化・ラベリング処理 ５４０ フレームメモリ格納ステップ ５５０ 領域の重なりによる領域対応情報生成ステップ ５６０ 色ヒストグラム記憶ステップ ５８０ 検出状態変化分類ステップ ５９０ 接続情報作成ステップ ６００ 分裂判定ステップ ６１０ 分裂補正ステップ ６２０ 連結判定ステップ ６３０ 連結補正ステップ ６４０ 分離・連結補正再帰判定ステップ ６５０ 軌跡推定ステップ ６６０ 異常判定ステップ ６７０ モニタ表示ステップ ７１０，７２０ 前フレームの人物候補領域 ７３０，７４０ 現フレームの人物候補領域 ８１０，８２０，８３０，８４０，８５０，８６０ 人
物候補領域 ９００ フレームレート可変入力手段 ９１０ 領域の重なり検出ステップ ９２０ フレームレート補正ステップ ９３０ 特定範囲に存在する領域の対応付け初期化ステ
ップ ９４０ 領域対応情報生成ステップ １０１０ 特定領域通過センサ １１００ 領域の対応付け初期化ステップ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA12 CA08 CA12 CA16 CB08 CB12 CB16 CE09 CE12 CF03 CF04 DA08 DB02 DB09 DC01 DC23 DC32 5C054 FC01 FC05 FC07 FC12 FC15 FC16 FE28 GA04 GB01 GB14 HA31 5L096 AA06 BA02 CA02 EA43 FA37 GA08 GA34 HA05

Claims (9)

【特許請求の範囲】
1. 【請求項１】画像内の対象物体の候補領域を検出するス
   テップと、前後のフレームでの領域の重なりで候補領域
   同士を対応づけるステップと、前フレームでの複数の領
   域が後続フレームで１つの領域に対応付けられた場合
   に、各領域の特徴量を記憶するステップと、ある時刻に
   一体化した領域が時間経過後に複数に分離した場合に、
   記憶していた統合前の前記特徴量とあらゆる組合せにつ
   いて特徴量の一致度を評価し、統合の前の複数の領域を
   分裂後の複数の領域と対応づける対応付けステップとを
   備えた物体追跡方法。
2. 【請求項２】広角レンズを用いて取得した前記画像を用
   いる、請求項１記載の物体追跡方法。
3. 【請求項３】前記対応付けステップは、前記特徴量の最
   も一致する組合せから順次対応を決定する、請求項１記
   載の物体追跡方法。
4. 【請求項４】前記対応付けステップは、前記特徴量の総
   和が最も望ましい大きさとなる組合せで対応付けを決定
   する、請求項１記載の物体追跡方法。
5. 【請求項５】前記特徴量として加法則が成立する尺度の
   特徴量を用いる、請求項４記載の物体追跡方法。
6. 【請求項６】前記対応付けステップは、前記画像内の特
   定領域で対象物と対象物の候補領域の対応付けを更新す
   る、請求項１記載の物体追跡方法。
7. 【請求項７】前記対応付けステップは、前記画像内の特
   定領域に設けられた対象物を検出するセンサが、前記対
   象物の特定領域の通過を検出したときに対象物と対象物
   の候補領域の対応付けを更新する、請求項６記載の物体
   追跡方法。
8. 【請求項８】２つの領域が見かけ上重なってから分離す
   るまで間位置不定として追跡軌跡を表示しない、請求項
   １記載の物体追跡方法。
9. 【請求項９】画像内の対象物体の候補領域を検出するス
   テップと、前後のフレームでの領域の重なりで候補領域
   同士を対応づけるステップと、前後のフレームでの前記
   候補領域を領域の重なりの割合を用いてフレームレート
   または前記候補領域の対応付けの周期を変えるステップ
   とを備えた物体追跡方法。