JP2001155164A - 移動物体追跡装置 - Google Patents

Abstract

(57)【要約】 【課題】 広範囲の種類の映像に適用でき、良好な操作
性をもって効率的、高精度に移動物体の追跡を行い得る
移動物体追跡装置を提供する。 【解決手段】 入力映像中の複数のフレームを映像フレ
ーム入力手段１で順次取り込み、各フレームから移動物
体のみを移動物体切り出し手段３で切り出し、移動物体
の映像に対して追跡パラメータ初期値設定手段７で追跡
枠、追跡枠の大きさ、探索範囲を含む追跡パラメータを
設定し、複数のマッチング手段９ａ〜９ｆを段階的に適
用して、追跡枠内の移動物体の映像データのマッチング
度を算出し、マッチング度が最大になるように探索範囲
内で追跡枠の位置を移動制御し、追跡枠内におけるマッ
チングが良く一致したものであるか否かを判定し、判定
結果に基づきフレームの取り込み速度を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動物体が写され
た複数のフレームで構成される映像を入力し、この入力
映像の中の移動物体の動きを追跡し、該移動物体の位置
情報、すなわち移動物体の座標を出力する移動物体追跡
装置に関する。

【０００２】

【従来の技術】従来、映像中の移動物体の追跡は、移動
物体の位置に追跡枠を設定し、この追跡枠を一定の探索
範囲内で移動し、この移動した状態の現フレームにおけ
る追跡枠内の映像データを所定のフレームにおける映像
データと比較し、両映像データの差分が小さくなる位置
を求め、この位置に追跡枠を移動することにより行われ
ている。これは、標準化された映像符号化法であるＨ．
２６１の動き補償法として用いられているものである。
なお、Ｈ．２６１の動き補償法については、例えば藤原
洋監修：最新ＭＰＥＧ教科書、pp.74-76、アスキー出版
局（1994）を参照されたい。

【０００３】

【発明が解決しようとする課題】上述した従来の方法で
は、（１）追跡枠内の差分を求める手法が１つの手法に
固定され、広範囲の映像に適用することができないとい
う問題、（２）追跡失敗の検出および失敗時の修正法に
ついて考慮されていないという問題、（３）交錯する可
能性がある複数の移動物体を同時に追跡することについ
ては考慮されていないという問題、（４）修正時の操作
のし易さについて考慮されていないという問題がある。

【０００４】本発明は、上記に鑑みてなされたもので、
その目的とするところは、広範囲の種類の映像に適用で
きるとともに、良好な操作性をもって効率的かつ高精度
に移動物体の追跡を行うことができる移動物体追跡装置
を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、移動物体が写された複数
のフレームで構成される映像を入力し、この入力映像の
中の移動物体の動きを追跡し、該移動物体の位置情報を
出力する移動物体追跡装置であって、入力映像中の複数
のフレームを順次取り込む映像フレーム入力手段と、こ
の取り込まれたフレームから移動物体の映像部分のみを
残して切り出し、それ以外の部分の映像を消去する移動
物体切り出し手段と、この切り出した移動物体の映像に
対して追跡枠を初期設定するとともに、該追跡枠の大き
さおよび探索範囲を含む追跡パラメータを設定する追跡
パラメータ初期設定手段と、前記設定された追跡枠内の
移動物体の映像フレームについて所定のフレームと現フ
レームにおける追跡枠内の映像データを比較し、所定の
フレームにおける追跡枠内の映像データに対する現フレ
ームにおける追跡枠内の映像データのマッチング度を算
出するマッチング手段と、このマッチング手段で算出し
たマッチング度が最大になるように探索範囲内で現フレ
ーム上の追跡枠の位置を移動制御し、この制御した追跡
枠内の移動物体の位置情報を出力するマッチング手段制
御手段と、該マッチング手段制御手段の制御により前記
マッチング手段で算出されたマッチング度に基づき前記
追跡枠内におけるマッチングが良く一致したものである
かどうかを判定するマッチング度評価手段と、該マッチ
ング度評価手段による判定結果に基づき前記映像フレー
ム入力手段によるフレーム取り込み速度を制御する入力
速度制御手段とを有することを要旨とする。

【０００６】請求項１記載の本発明にあっては、入力映
像中の複数のフレームを順次取り込み、この取り込んだ
フレームから移動物体の映像部分のみを残して切り出
し、この切り出した移動物体の映像に対して追跡枠、追
跡枠の大きさおよび探索範囲を含む追跡パラメータを初
期設定し、追跡枠内の移動物体の映像フレームについて
所定のフレームと現フレームにおける追跡枠内の映像デ
ータを比較し、所定のフレームにおける追跡枠内の映像
データに対する現フレームにおける追跡枠内の映像デー
タのマッチング度を算出し、このマッチング度が最大に
なるように探索範囲内で現フレーム上の追跡枠の位置を
移動制御し、この制御した追跡枠内の移動物体の位置情
報を出力するとともに、マッチング度に基づき追跡枠内
におけるマッチングが良く一致したものであるかどうか
を判定し、この判定結果に基づき入力映像のフレームの
取り込み速度を制御するため、広範囲の種類の映像に適
用できるとともに、また追跡が適確に行われている場合
には高速にフレームを取り込んで追跡時間を短縮でき、
追跡が適確に行われていない場合には、フレーム取り込
みを低速または停止し、追跡パラメータの修正を容易に
行うことができる。

【０００７】また、請求項２記載の本発明は、請求項１
記載の発明において、前記マッチング手段が、追跡枠内
で移動物体を適確に捕らえている指定フレームと現フレ
ームにおける追跡枠内の映像データのマッチング度をＲ
ＧＢ画素値の差の二乗和に基づき算出する指定フレーム
ＲＧＢ画素値マッチング手段と、前記指定フレームと現
フレームにおける追跡枠内の映像データのマッチング度
を移動物体切り出し二値化画像であるシルエット画像の
重なり度に基づき算出する指定フレームシルエットマッ
チング手段と、前記指定フレームと現フレームにおける
追跡枠内の映像データのマッチング度を色ヒストグラム
の差分に基づき算出する指定フレーム色ヒストグラムマ
ッチング手段と、前フレームと現フレームにおける追跡
枠内の映像データのマッチング度をＲＧＢ画素値の差の
二乗和に基づき算出する前フレーム画像ＲＧＢ画素値マ
ッチング手段と、前フレームと現フレームにおける追跡
枠内の映像データのマッチング度を移動物体切り出し二
値化画像であるシルエット画像の重なり度に基づき算出
する前フレーム画像シルエットマッチング手段と、前記
前フレームと現フレームにおける追跡枠内の映像データ
のマッチング度を色ヒストグラムの差分に基づき算出す
る前フレーム画像色ヒストグラムマッチング手段とを含
む複数のマッチング手段を有し、前記マッチング手段制
御手段が、前記指定フレームＲＧＢ画素値マッチング手
段、前フレーム画像ＲＧＢ画素値マッチング手段、指定
フレームシルエットマッチング手段、前フレーム画像シ
ルエットマッチング手段、指定フレーム色ヒストグラム
マッチング手段、および前フレーム画像色ヒストグラム
マッチング手段を含む複数のマッチング手段を入力映像
の種類に応じて段階的に適用し、この適用したマッチン
グ手段で算出したマッチング度が最大となるように探索
範囲内で現フレーム上の追跡枠の位置を移動制御するマ
ッチング手段適用手段を有することを要旨とする。

【０００８】請求項２記載の本発明にあっては、指定フ
レームＲＧＢ画素値マッチング手段、前フレーム画像Ｒ
ＧＢ画素値マッチング手段、指定フレームシルエットマ
ッチング手段、前フレーム画像シルエットマッチング手
段、指定フレーム色ヒストグラムマッチング手段、およ
び前フレーム画像色ヒストグラムマッチング手段を含む
複数のマッチング手段を入力映像の種類に応じて段階的
に適用し、この段階的に適用したマッチング手段で算出
したマッチング度が最大になるように探索範囲内で現フ
レーム上の追跡枠の位置を移動制御するため、広い範囲
の映像に対応することができ、また移動物体と背景画像
が類似している場合にも移動物体を適確に切り出すこと
ができる。

【０００９】更に、請求項３記載の本発明は、請求項１
記載の発明において、前記入力速度制御手段により前記
映像フレーム入力手段によるフレーム取り込み速度が零
速度に制御されて、フレームの取り込みが停止された場
合、この停止した状態において追跡枠の位置、大きさお
よび探索範囲を含む追跡パラメータを変更する追跡パラ
メータ変更手段と、この追跡パラメータ変更手段で追跡
パラメータを変更した状態からフレームの取り込みを再
開させるように前記映像フレーム入力手段を制御する手
動再生制御手段とを有することを要旨とする。

【００１０】請求項３記載の本発明にあっては、フレー
ム取り込み速度が零速度に制御されて、フレームの取り
込みが停止された場合、この停止した状態において追跡
枠の位置、大きさおよび探索範囲を含む追跡パラメータ
を変更し、追跡パラメータを変更した状態からフレーム
の取り込みを再開させることができるため、自動追跡が
適確に行えない場合にユーザによる修正を効率的に行う
ことができる。

【００１１】請求項４記載の本発明は、請求項３記載の
発明において、前記追跡パラメータ変更手段による追跡
枠の位置、大きさおよび探索範囲を含む追跡パラメータ
の変更を現在の移動物体の位置情報に基づき行うべく前
記追跡パラメータ変更手段を制御する追跡パラメータ自
動調整手段を有することを要旨とする。

【００１２】請求項４記載の本発明にあっては、追跡枠
の位置、大きさおよび探索範囲を含む追跡パラメータの
変更を現在の移動物体の位置情報に基づき行うことがで
きるため、移動物体の状況変化に応じて追跡パラメータ
を調整して精度のよい追跡を継続することができる。

【００１３】また、請求項５記載の本発明は、請求項１
または３記載の発明において、前記移動物体切り出し手
段で切り出した移動物体の映像に対して複数の追跡枠を
設定し、この設定された複数の追跡枠の一部の追跡枠を
無効にして追跡枠の追跡を中断するとともに、この中断
された追跡枠による追跡の再開を制御する複数追跡枠制
御手段と、前記追跡枠による追跡の中断された時点まで
の巻き戻しを行うとともに、この巻き戻した中断点から
前記追跡枠で追跡を行うように制御する追跡中断点巻き
戻し手段とを有することを要旨とする。

【００１４】請求項５記載の本発明にあっては、移動物
体の映像に対して複数の追跡枠を設定し、この設定され
た複数の追跡枠の一部の追跡枠を無効にして追跡枠の追
跡を中断したり、中断された追跡枠による追跡の再開を
制御するとともに、追跡の中断された時点までの巻き戻
しを行い、この巻き戻した中断点から追跡枠で追跡を行
うことができるため、複数の移動物体を効率よく追跡で
きるとともに、この複数の追跡枠による追跡が交錯して
追跡が困難になった場合には一部の追跡枠を無効にして
中断し、残りの追跡枠についてのみ追跡を行い、中断し
た追跡枠については中断点まで巻き戻して再開すること
ができるという操作を簡単かつ効率的に行うことができ
る。

【００１５】更に、請求項６記載の本発明は、請求項３
記載の発明において、前記手動再生制御手段に対して前
記追跡の停止および再開を含む指示を入力する複数のキ
ーと、該複数のキーと該複数のキーとは別の所定のキー
との組み合わせ操作で前記追跡パラメータ制御手段に対
して所定の指示を入力するキー組み合わせ入力手段とを
有することを要旨とする。

【００１６】請求項６記載の本発明にあっては、手動再
生制御手段に対して追跡の停止および再開を含む指示を
入力する複数のキーと該複数のキーとは別の所定のキー
との組み合わせ操作で追跡パラメータ制御手段に対して
所定の指示を入力することができるため、キー操作のた
めの指の移動を少なくすることができ、追跡効率を高め
ることができる。

【００１７】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。図１は、本発明の第１の実施形態に
係る移動物体追跡装置の構成を示すブロック図である。
同図に示す移動物体追跡装置は、移動物体が写された複
数のフレームで構成される映像を入力し、この入力映像
の中の移動物体の動きを追跡し、該移動物体の位置情報
を出力するものであり、例えばサッカーなどのチーム球
技の映像を固定カメラで撮影した映像などに適用し、選
手の座標、すなわち位置情報を出力するものであり、入
力映像を構成する複数のフレーム０からＮ−１を１フレ
ームずつ順次取り込む映像フレーム入力手段１、この取
り込まれたフレームから移動物体の映像部分のみ、例え
ばサッカーの選手領域の映像部分のみを残して切り出
し、それ以外の部分の映像を消去する移動物体切り出し
手段３、この切り出した移動物体の映像に対して追跡枠
を初期設定するとともに、該追跡枠の大きさおよび探索
範囲を含む追跡パラメータを初期設定する追跡パラメー
タ初期値設定手段７、追跡パラメータ初期値設定手段７
で設定された追跡枠内の移動物体の映像フレームについ
て所定のフレームと現フレームにおける追跡枠内の映像
データを比較し、所定のフレームにおける追跡枠内の映
像データに対する現フレームにおける追跡枠内の映像デ
ータのマッチング度を算出する複数のマッチング手段９
ａ〜９ｆ、この複数のマッチング手段９ａ〜９ｆで算出
したマッチング度が最大になるように探索範囲内で現フ
レーム上の追跡枠の位置を移動制御し、この制御した追
跡枠内の移動物体の位置情報を出力するマッチング手段
制御手段５、該マッチング手段制御手段５の制御により
マッチング手段９ａ〜９ｆで算出されたマッチング度に
基づき追跡枠内におけるマッチングが良く一致したもの
であるかどうかを判定するマッチング度評価手段１１、
該マッチング度評価手段１１による判定結果に基づき映
像フレーム入力手段１によるフレーム取り込み速度を制
御する入力速度制御手段１５、該入力速度制御手段１５
により映像フレーム入力手段１によるフレーム取り込み
速度が零速度に制御されて、フレームの取り込みが停止
された場合、この停止した状態において追跡枠の位置、
大きさおよび探索範囲を含む追跡パラメータを変更する
追跡パラメータ変更手段１３、および該追跡パラメータ
変更手段１３で追跡パラメータを変更した状態からフレ
ームの取り込みを再開させるように映像フレーム入力手
段１を制御する手動再生制御手段１７を有する。

【００１８】移動物体切り出し手段３は、例えばサッカ
ー球技では選手の写っていない背景画像を用意してお
き、この背景画像と入力画像との差分を求め、この差分
が所定のしきい値より大きい領域を移動物体の映像部
分、すなわち選手領域として残して切り出し、それ以外
の残りの領域を消去することにより選手領域からなる移
動物体の映像部分のみを切り出すことができるものであ
る。

【００１９】複数のマッチング手段９ａ〜９ｆは、所定
のフレームと現フレームにおける追跡枠内の映像データ
を比較し、所定のフレームにおける追跡枠内の映像デー
タに対する現フレームにおける追跡枠内の映像データの
マッチング度を算出するに当たって、指定フレームと現
フレームについて（１）ＲＧＢ画素値の差の二乗和、
（２）移動物体切り出し二値化画像であるシルエット画
像の重なり度、および（３）色ヒストグラムの差分に基
づいてマッチング度を算出するものと、前フレームと現
フレームについて（１）ＲＧＢ画素値の差の二乗和、
（２）移動物体切り出し二値化画像であるシルエット画
像の重なり度、および（３）色ヒストグラムの差分に基
づいてマッチング度を算出するものとがある。

【００２０】詳細には図２に示すように、複数のマッチ
ング手段９ａ〜９ｆは、指定フレームＲＧＢ画素値マッ
チング手段９ａ、前フレーム画像ＲＧＢ画素値マッチン
グ手段９ｂ、指定フレームシルエットマッチング手段９
ｃ、前フレーム画像シルエットマッチング手段９ｄ、指
定フレーム色ヒストグラムマッチング手段９ｅ、および
前フレーム画像色ヒストグラムマッチング手段９ｆであ
る。

【００２１】指定フレームＲＧＢ画素値マッチング手段
９ａは、追跡枠内で移動物体を明確に捕らえている指定
フレームと現フレームにおける追跡枠内の映像データの
マッチング度をＲＧＢ画素値の差の二乗和に基づき算出
する。

【００２２】前フレーム画像ＲＧＢ画素値マッチング手
段９ｂは、前フレームと現フレームにおける追跡枠内の
映像データのマッチング度をＲＧＢ画素値の差の二乗和
に基づき算出する。

【００２３】指定フレームシルエットマッチング手段９
ｃは、前記指定フレームと現フレームにおける追跡枠内
の映像データのマッチング度を移動物体切り出し二値化
画像であるシルエット画像の重なり度に基づき算出す
る。

【００２４】前フレーム画像シルエットマッチング手段
９ｄは、前フレームと現フレームにおける追跡枠内の映
像データのマッチング度を移動物体切り出し二値化画像
であるシルエット画像の重なり度に基づき算出する。

【００２５】指定フレーム色ヒストグラムマッチング手
段９ｅは、前記指定フレームと現フレームにおける追跡
枠内の映像データのマッチング度を色ヒストグラムの差
分に基づき算出する。

【００２６】前フレーム画像色ヒストグラムマッチング
手段９ｆは、前記前フレームと現フレームにおける追跡
枠内の映像データのマッチング度を色ヒストグラムの差
分に基づき算出する。

【００２７】そして、マッチング手段制御手段５は、こ
のような複数のマッチング手段９ａ〜９ｆ、すなわち指
定フレームＲＧＢ画素値マッチング手段９ａ、前フレー
ム画像ＲＧＢ画素値マッチング手段９ｂ、指定フレーム
シルエットマッチング手段９ｃ、前フレーム画像シルエ
ットマッチング手段９ｄ、指定フレーム色ヒストグラム
マッチング手段９ｅ、前フレーム画像色ヒストグラムマ
ッチング手段９ｆを含む複数のマッチング手段を入力映
像の種類に応じて段階的に適用し、この適用したマッチ
ング手段で算出したマッチング度が最大になるように探
索範囲内で現フレーム上の追跡枠の位置を求め、すなわ
ち探索範囲内で追跡枠内の情報が最も一致する位置を求
めながら、移動物体の追跡を行うべく追跡枠の移動制御
を行うので、広範囲の映像に対応することができるよう
になっている。

【００２８】マッチング手段制御手段５により複数のマ
ッチング手段９ａ〜９ｆの段階的適用例について図７を
参照して説明する。例えば、サッカー球技において、選
手と背景の色が類似しているために、選手領域の周辺に
背景部分も含めて切り出してしまうような場合を考える
と、このような場合には選手領域を切り出して二値化し
たシルエット画像は不安定になるので、図７（ａ）に示
すように、まず最初の段階では指定フレーム色ヒストグ
ラムマッチング手段９ｅを適用する（ステップＳ１
１）。そして、この指定フレーム色ヒストグラムマッチ
ング手段９ｅの適用により複数の候補を残し、残った候
補に対して第２の段階として前フレーム画像色ヒストグ
ラムマッチング手段９ｆを適用する（ステップＳ１
３）。それから、第３の段階として前フレーム画像シル
エットマッチング手段９ｄを適用して（ステップＳ１
５）、最終的な追跡枠の位置を決定するものである。

【００２９】また、選手と背景の色が大きく異なってい
る場合には、シルエット画像の適用が有効であるので、
図７（ｂ）に示すように、まず最初の段階で前フレーム
画像シルエットマッチング手段ｄを適用し（ステップＳ
２１）、それから第２の段階として前フレーム画像色ヒ
ストグラムマッチング手段９ｆを適用することになる
（ステップＳ２３）。

【００３０】また、マッチング手段制御手段５によるマ
ッチングの結果は、マッチング度評価手段１１によって
評価され、マッチングの程度が低い場合には、フレーム
の取り込みを停止したり、または低速で行う。マッチン
グの程度が高い場合には、フレームの取り込みを実際の
速度またはそれよりも高速で行う。

【００３１】具体的には、マッチング度評価手段１１で
は、複数のマッチング手段９ａ〜９ｆを用いたマッチン
グ手段制御手段５によるマッチングにおいて上位のマッ
チング結果の評価値が高いマッチングを示しているか、
または追跡枠内に移動物体として切り出した領域が多く
含まれ、追跡枠内で移動物体を捕らえているかなどとい
う基準でマッチング度の評価を行い、例えば第１段階か
ら第４段階の４段階で評価を行う。第１段階ではマッチ
ング度は低く、例えば１であり、第２段階ではマッチン
グ度は２であり、第３段階ではマッチング度は３であ
り、第４段階ではマッチング度は４であるというように
設定し、マッチング度が１と低い場合には、映像フレー
ム入力手段１におけるフレームの取り込みを停止し、マ
ッチング度が２の場合には、フレームの取り込み速度を
低速に制御し、マッチング度が３の場合には、中速、す
なわち実際の速度と同じ速度でフレームの取り込みを行
い、マッチング度が４の場合には、高速で行うというよ
うに映像フレーム入力手段１におけるフレームの取り込
み速度を制御する。

【００３２】そして、フレームの取り込みを停止した場
合には、追跡パラメータ変更手段１３で追跡枠の位置を
訂正し、手動再生制御手段１７による操作制御により訂
正位置から追跡を再開する。また、それ以外で追跡に失
敗した場合には、手動再生制御手段１７によってフレー
ム取り込みを停止するように映像フレーム入力手段１を
制御し、追跡パラメータ変更手段１３で追跡枠の位置を
訂正し、手動再生制御手段１７による操作制御により訂
正位置から追跡を再開する。このようにマッチング度評
価手段１１と手動再生制御手段１７によってフレーム取
り込み速度を制御し、追跡が適確に行われていない場合
には、取り込みを停止したり、または低速で行うように
することにより訂正を容易に行うことができる。追跡が
適確に行われている場合には、取り込みを高速に行うこ
とにより追跡時間を短縮することができる。

【００３３】このように本実施形態では、マッチング評
価手段１１によって追跡が適確に行われているか否かを
評価し、これによりフレーム取り込み速度を制御し、場
合によってはフレームの取り込みを停止し、追跡パラメ
ータ変更手段１３による追跡パラメータの変更を行い易
くすることができるようになっている。

【００３４】図６は、本発明の第２の実施形態に係る移
動物体追跡装置の構成を示すブロック図である。同図に
示す移動物体追跡装置は、図１に示した第１の実施形態
に対して図３に示すように複数追跡枠制御手段１９およ
び追跡中断点巻き戻し手段２１を追加するとともに、ま
た図４に示すように追跡パラメータ自動調整手段２３を
追加するように構成した点が異なるものであり、その他
の構成および作用は図１に示すものと同じである。

【００３５】すなわち、図６に示す第２の実施形態の移
動物体追跡装置では、まず図３に示すように、複数追跡
枠制御手段１９および追跡中断点巻き戻し手段２１を新
たに設けている。そして、複数追跡枠制御手段１９にお
いては、移動物体切り出し手段３で切り出した移動物体
の映像に対して複数の追跡枠を設定し、この設定された
複数の追跡枠の一部の追跡枠を無効にして追跡枠の追跡
を中断するとともに、この中断された追跡枠による追跡
の再開を制御する。また、追跡中断点巻き戻し手段２１
においては、複数追跡枠制御手段１９の制御により追跡
枠による追跡の中断された時点までの巻き戻しを行うと
ともに、この巻き戻した中断点から前記追跡枠で追跡を
行うように制御する。

【００３６】すなわち、複数追跡枠制御手段１９によっ
て移動物体の映像に対して複数の追跡枠を設定して追跡
を行っている場合、追跡枠が交錯して同時追跡が困難に
なった場合には、手動再生制御手段１７で映像フレーム
入力手段１を制御してフレームの取り込みを停止した
後、複数追跡枠制御手段１９により一部の追跡枠を一時
的に無効にし、その追跡枠の追加を中断する。その後、
手動再生制御手段１７によりフレーム取り込みを再開し
て、残りの追跡枠に対して追跡を行うことができるとと
もに、また交錯が解消した時点で再び手動再生制御手段
１７でフレームの取り込みを停止する。そして、ここで
追跡中断点巻き戻し手段２１により一部の追跡枠を無効
にして、追跡を中断した時点までフレームの取り込みを
巻き戻し、この時点から追跡枠を有効にして、追跡を容
易に再開することができるようになっている。このよう
に複数の追跡枠を設けた追跡を複数追跡枠制御手段１９
により追跡枠の有効／無効制御および追跡中断点巻き戻
し手段２１による追跡中断点までの巻き戻し制御を用い
て行うことができる。

【００３７】具体的には、入力映像のフレームｉからｊ
において追跡枠１と２とが交錯して同時追跡が不可能に
なった場合には、まずフレームｉにおいて複数追跡枠制
御手段１９により追跡枠２を無効にして、追跡を中断す
る。それから、追跡枠１に対するフレームｉからｊの追
跡を行う。次に、追跡中断点巻き戻し手段２１によって
フレームｉに戻り、追跡枠２に対してフレームｉからｊ
の追跡を行うというように複数追跡枠制御手段１９およ
び追跡中断点巻き戻し手段２１による追跡枠の無効、中
断、巻き戻し、再開などの制御を自在に行うことができ
る。

【００３８】また、図６に示す第２の実施形態の移動物
体追跡装置では、まず図４に示すように、追跡パラメー
タ自動調整手段２３を新たに設けている。この追跡パラ
メータ自動調整手段２３は、追跡パラメータ変更手段１
３による追跡枠の位置、大きさおよび探索範囲を含む追
跡パラメータの変更を現在の移動物体の座標、すなわち
位置情報に基づき行うべく追跡パラメータ変更手段１３
を制御し、これにより追跡パラメータを自動的に調整す
るようにしている。

【００３９】例えば、サッカー球技などにおいて画像中
の選手の大きさは、手前にいてカメラに近いほど大き
く、奥に移動してカメラから遠くなるほど小さくなるの
で、追跡枠もこれに連動して大きさを変更する必要があ
る。すなわち、移動物体が同じ物体であっても、画像内
の位置により移動物体の画像上での大きさが変化するの
で、画像内における移動物体の位置により追跡枠の大き
さを変更する必要がある。従って、本実施形態では、画
像内における移動物体の位置に基づき追跡パラメータ自
動調整手段２３によって追跡パラメータを自動的に変更
調整し、これにより精度の良い追跡を可能にしている。

【００４０】具体的には、図８（ａ）に示すように、画
像を横に例えば３分割し、どの領域に現在の追跡枠の座
標があるかによって追跡パラメータ自動調整手段２３に
よって追跡枠の大きさを変更する。すなわち、図８
（ａ）では、画像の上部においては追跡枠が小さく、下
部において追跡枠を大きくしている。

【００４１】また、サッカー球技などではグラウンドの
どの位置にいるかによって移動物体の最大移動速度が異
なるので、すなわち移動物体の最大移動速度は画像内の
位置によって異なるので、例えば図８（ｂ）に示すよう
に、画像を分割し、どの領域に現在の追跡枠の座標があ
るかによって追跡パラメータ自動調整手段２３によって
追跡枠の探索範囲を変更している。

【００４２】すなわち、画像内の位置により移動物体の
画像上での大きさや移動物体の最大移動速度が異なるの
で、移動物体の位置により追跡枠の大きさや探索範囲を
変更するように追跡パラメータ自動調整手段２３によっ
て追跡パラメータを自動的に変更調整し、これにより精
度の良い追跡を可能にしている。

【００４３】図５は、手動再生制御手段１７および追跡
パラメータ変更手段１３に対するキー入力を示す図であ
る。手動再生制御手段１７および追跡パラメータ自動調
整手段２３は、キーによる操作を頻繁に行う部分である
ので、キーやマウスでどのように操作するかが追跡作業
の効率に大きく影響するので、キー操作による手動再生
制御手段１７および追跡パラメータ変更手段１３に対す
る入力指示を迅速かつ効率的に行い得ることが重要であ
る。

【００４４】そこで、本実施形態では、図５に示すよう
に、手動再生制御手段１７に対してはキー（１）３１、
キー（２）３２、キー（３）３３を用いて入力操作を行
い、また追跡パラメータ変更手段１３に対しては、手動
再生制御手段１７に対するキーと同じようにキー（１）
３１、キー（２）３２、キー（３）３３を用いながら
も、別のキー（Ａ）３４を用いて、２種類のキーの組み
合わせで入力操作を行うようにし、これによりキー操作
のための指の移動を最小にし、追跡効率を高めるように
している。

【００４５】図９は、図５に示したキー操作を具体的に
示したものであり、手動再生制御手段１７に対しては、
４つの矢印キーを用いて、１コマ進み、１コマ戻し、追
跡開始、追跡停止などの入力指示を行い、また追跡パラ
メータ変更手段１３に対しては、手動再生制御手段１７
に対すると同じ矢印キーを使用しながらも、別のシフト
(Shift）キーとの組み合わせで、追跡枠の上下左右の移
動を入力指示し、これにより効率化を図っている。

【００４６】

【発明の効果】以上説明したように、本発明によれば、
入力映像中の複数のフレームを順次取り込み、この取り
込んだフレームから移動物体のみを切り出し、この移動
物体に対して追跡枠、追跡枠の大きさ、探索範囲を含む
追跡パラメータを設定し、追跡枠内の移動物体の映像デ
ータのマッチング度を算出し、このマッチング度が最大
になるように探索範囲内で追跡枠の位置を移動制御する
とともに、マッチング度に基づき追跡枠内におけるマッ
チングが良く一致したものであるかどうかを判定し、こ
の判定結果に基づき入力映像のフレームの取り込み速度
を制御するので、広範囲の種類の映像に適用できるとと
もに、また追跡が適確に行われている場合には高速にフ
レームを取り込んで追跡時間を短縮でき、追跡が適確に
行われていない場合には、フレーム取り込みを低速また
は停止し、追跡パラメータの修正を容易に行うことがで
きる。

【００４７】また、本発明によれば、指定フレームＲＧ
Ｂ画素値マッチング手段、前フレーム画像ＲＧＢ画素値
マッチング手段、指定フレームシルエットマッチング手
段、前フレーム画像シルエットマッチング手段、指定フ
レーム色ヒストグラムマッチング手段、および前フレー
ム画像色ヒストグラムマッチング手段を含む複数のマッ
チング手段を入力映像の種類に応じて段階的に適用し、
この段階的に適用したマッチング手段で算出したマッチ
ング度が最大になるように探索範囲内で追跡枠の位置を
移動制御するので、広い範囲の映像に対応することがで
き、また移動物体と背景画像が類似している場合にも移
動物体を適確に切り出すことができる。

【００４８】更に、本発明によれば、フレーム取り込み
速度が零速度に制御されて、フレームの取り込みが停止
された場合、停止状態で追跡枠の位置、大きさおよび探
索範囲を含む追跡パラメータを変更し、追跡パラメータ
を変更した状態からフレームの取り込みを再開させるこ
とができるので、自動追跡が適確に行えない場合にユー
ザによる修正を効率的に行うことができる。

【００４９】本発明によれば、追跡枠の位置、大きさお
よび探索範囲を含む追跡パラメータの変更を現在の移動
物体の位置情報に基づき行うことができるので、移動物
体の状況変化に応じて追跡パラメータを調整して精度の
よい追跡を継続することができる。

【００５０】また、本発明によれば、移動物体の映像に
対して複数の追跡枠を設定するとともに、複数の追跡枠
の一部の追跡枠を無効にして追跡枠の追跡を中断した
り、中断された追跡枠による追跡の再開を制御し、また
追跡の中断された時点までの巻き戻しを行い、巻き戻し
た中断点から追跡枠で追跡を行うことができるので、複
数の移動物体を効率よく追跡できるとともに、この複数
の追跡枠よる追跡が交錯して追跡が困難になった場合に
は一部の追跡を無効にして中断し、残りの追跡枠につい
てのみ追跡を行い、中断した追跡枠については中断点ま
で巻き戻して再開することができるという操作を簡単か
つ効率的に行うことができる。

【００５１】更に、本発明によれば、キー組み合わせ操
作で所定の指示を入力することができるので、キー操作
のための指の移動を少なくすることができ、追跡効率を
高めることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る移動物体追跡装
置の構成を示すブロック図である。

【図２】図１に示す移動物体追跡装置に使用されている
複数のマッチング手段を具体的に示すブロック図であ
る。

【図３】本発明の第２の実施形態に係る移動物体追跡装
置の要部である複数追跡枠制御手段および追跡中断点巻
き戻し手段を含む構成を示すブロック図である。

【図４】本発明の第２の実施形態に係る移動物体追跡装
置の要部である追跡パラメータ自動調整手段を含む構成
を示すブロック図である。

【図５】図１に示す移動物体追跡装置に使用されている
手動再生制御手段および追跡パラメータ変更手段に対す
るキー入力を示すブロック図である。

【図６】本発明の第２の実施形態に係る移動物体追跡装
置の構成を示すブロック図である。

【図７】図１に示す移動物体追跡装置においてマッチン
グ手段制御手段の制御による複数のマッチング手段の適
用段階を示すフローチャートである。

【図８】図６に示す移動物体追跡装置に使用されている
追跡パラメータ自動調整手段により追跡枠の大きさおよ
び探索範囲の自動調整を説明するための図である。

【図９】図５に示した手動再生制御手段および追跡パラ
メータ変更手段に対するキー入力の具体例を示すブロッ
ク図である。

【符号の説明】

１ 映像フレーム入力手段 ３ 移動物体切り出し手段 ５ マッチング手段制御手段 ７ 追跡パラメータ初期値設定手段 ９ａ〜９ｆ マッチング手段 １１ マッチング度評価手段 １３ 追跡パラメータ変更手段 １５ 入力速度制御手段 １７ 手動再生制御手段 １９ 複数追跡枠制御手段 ２１ 追跡中断点巻き戻し手段 ２３ 追跡パラメータ自動調整手段

フロントページの続き (72)発明者 木谷 靖 東京都千代田区内幸町一丁目１番６号 エ ヌ・ティ・ティ・コミュニケーションズ株 式会社内 Ｆターム(参考） 5L096 AA02 AA06 CA22 CA24 DA02 EA43 FA35 GA08 GA17 GA32 GA40 HA03 HA05 JA13

Claims (6)

【特許請求の範囲】
1. 【請求項１】 移動物体が写された複数のフレームで構
   成される映像を入力し、この入力映像の中の移動物体の
   動きを追跡し、該移動物体の位置情報を出力する移動物
   体追跡装置であって、 入力映像中の複数のフレームを順次取り込む映像フレー
   ム入力手段と、 この取り込まれたフレームから移動物体の映像部分のみ
   を残して切り出し、それ以外の部分の映像を消去する移
   動物体切り出し手段と、 この切り出した移動物体の映像に対して追跡枠を初期設
   定するとともに、該追跡枠の大きさおよび探索範囲を含
   む追跡パラメータを設定する追跡パラメータ初期設定手
   段と、 前記設定された追跡枠内の移動物体の映像フレームにつ
   いて所定のフレームと現フレームにおける追跡枠内の映
   像データを比較し、所定のフレームにおける追跡枠内の
   映像データに対する現フレームにおける追跡枠内の映像
   データのマッチング度を算出するマッチング手段と、 このマッチング手段で算出したマッチング度が最大にな
   るように探索範囲内で現フレーム上の追跡枠の位置を移
   動制御し、この制御した追跡枠内の移動物体の位置情報
   を出力するマッチング手段制御手段と、 該マッチング手段制御手段の制御により前記マッチング
   手段で算出されたマッチング度に基づき前記追跡枠内に
   おけるマッチングが良く一致したものであるかどうかを
   判定するマッチング度評価手段と、 該マッチング度評価手段による判定結果に基づき前記映
   像フレーム入力手段によるフレーム取り込み速度を制御
   する入力速度制御手段とを有することを特徴とする移動
   物体追跡装置。
2. 【請求項２】 前記マッチング手段は、 追跡枠内で移動物体を適確に捕らえている指定フレーム
   と現フレームにおける追跡枠内の映像データのマッチン
   グ度をＲＧＢ画素値の差の二乗和に基づき算出する指定
   フレームＲＧＢ画素値マッチング手段と、 前記指定フレームと現フレームにおける追跡枠内の映像
   データのマッチング度を移動物体切り出し二値化画像で
   あるシルエット画像の重なり度に基づき算出する指定フ
   レームシルエットマッチング手段と、 前記指定フレームと現フレームにおける追跡枠内の映像
   データのマッチング度を色ヒストグラムの差分に基づき
   算出する指定フレーム色ヒストグラムマッチング手段
   と、 前フレームと現フレームにおける追跡枠内の映像データ
   のマッチング度をＲＧＢ画素値の差の二乗和に基づき算
   出する前フレーム画像ＲＧＢ画素値マッチング手段と、 前フレームと現フレームにおける追跡枠内の映像データ
   のマッチング度を移動物体切り出し二値化画像であるシ
   ルエット画像の重なり度に基づき算出する前フレーム画
   像シルエットマッチング手段と、 前記前フレームと現フレームにおける追跡枠内の映像デ
   ータのマッチング度を色ヒストグラムの差分に基づき算
   出する前フレーム画像色ヒストグラムマッチング手段と
   を含む複数のマッチング手段を有し、 前記マッチング手段制御手段は、 前記指定フレームＲＧＢ画素値マッチング手段、前フレ
   ーム画像ＲＧＢ画素値マッチング手段、指定フレームシ
   ルエットマッチング手段、前フレーム画像シルエットマ
   ッチング手段、指定フレーム色ヒストグラムマッチング
   手段、および前フレーム画像色ヒストグラムマッチング
   手段を含む複数のマッチング手段を入力映像の種類に応
   じて段階的に適用し、この適用したマッチング手段で算
   出したマッチング度が最大となるように探索範囲内で現
   フレーム上の追跡枠の位置を移動制御するマッチング手
   段適用手段を有することを特徴とする請求項１記載の移
   動物体追跡装置。
3. 【請求項３】 前記入力速度制御手段により前記映像フ
   レーム入力手段によるフレーム取り込み速度が零速度に
   制御されて、フレームの取り込みが停止された場合、こ
   の停止した状態において追跡枠の位置、大きさおよび探
   索範囲を含む追跡パラメータを変更する追跡パラメータ
   変更手段と、この追跡パラメータ変更手段で追跡パラメ
   ータを変更した状態からフレームの取り込みを再開させ
   るように前記映像フレーム入力手段を制御する手動再生
   制御手段とを有することを特徴とする請求項１記載の移
   動物体追跡装置。
4. 【請求項４】 前記追跡パラメータ変更手段による追跡
   枠の位置、大きさおよび探索範囲を含む追跡パラメータ
   の変更を現在の移動物体の位置情報に基づき行うべく前
   記追跡パラメータ変更手段を制御する追跡パラメータ自
   動調整手段を有することを特徴とする請求項３記載の移
   動物体追跡装置。
5. 【請求項５】 前記移動物体切り出し手段で切り出した
   移動物体の映像に対して複数の追跡枠を設定し、この設
   定された複数の追跡枠の一部の追跡枠を無効にして追跡
   枠の追跡を中断するとともに、この中断された追跡枠に
   よる追跡の再開を制御する複数追跡枠制御手段と、前記
   追跡枠による追跡の中断された時点までの巻き戻しを行
   うとともに、この巻き戻した中断点から前記追跡枠で追
   跡を行うように制御する追跡中断点巻き戻し手段とを有
   することを特徴とする請求項１または３記載の移動物体
   追跡装置。
6. 【請求項６】 前記手動再生制御手段に対して前記追跡
   の停止および再開を含む指示を入力する複数のキーと、
   該複数のキーと該複数のキーとは別の所定のキーとの組
   み合わせ操作で前記追跡パラメータ制御手段に対して所
   定の指示を入力するキー組み合わせ入力手段とを有する
   ことを特徴とする請求項３記載の移動物体追跡装置。