JP2000348186A

JP2000348186A - 物体追跡装置及び方法

Info

Publication number: JP2000348186A
Application number: JP11156004A
Authority: JP
Inventors: Masanori Watanabe; 正規渡辺
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1999-06-03
Filing date: 1999-06-03
Publication date: 2000-12-15

Abstract

(57)【要約】【課題】三次元形状を撮影している動画像において、
物体追跡を精度良く行うことのできる物体追跡装置及び
方法を提供する。【解決手段】動画像データを入力し、初期フレームを指
定し、追跡対象となる物体の形状及びテクスチャを事前
に記憶しておき、記憶されている追跡対象となる物体の
形状及びテクスチャに基づいて、初期フレームにおける
追跡対象となる物体の位置及び向きを決定し、追跡対象
となる物体について、初期フレームを起点とする二つの
連続した基準フレームと追跡対象フレームの間の対応を
求め、追跡対象となる物体の追跡対象フレームにおける
位置及び向きを確定し、追跡対象となる物体についての
追跡結果を出力する物体追跡装置であって、追跡対象と
なる物体について、基準フレームと追跡対象フレームと
の間の対応を求めると同時に、追跡対象となる物体の追
跡対象フレームにおける位置及び向きを確定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像において、
既知となっている物体に関する位置、向き等を追跡する
処理装置及び方法に関する。

【０００２】

【従来の技術】動画像に基づく物体追跡においては、カ
メラを固定しておき監視対象となる物体の動きを追跡す
るものと、静物の画像からカメラの動きを追跡するもの
の二通りが存在する。前者においては、監視対象となる
物体の位置や角度等を求めることができ、後者において
は、カメラの位置や角度等を求めることが可能となる。
すなわち物体追跡とは、監視対象となる物体とカメラの
相対関係を求めるものである。

【０００３】従来は、物体追跡を行う場合、連続するフ
レーム間における対応付けを行った後に対応の解釈を行
うという二段構えの手法で行うのが主流であった。例え
ば、図１に示すように、動画像入力装置１１から追跡対
称の画像情報を入力した後、まずはフレーム間対応決定
部１２において、前後のフレーム間で物体の位置・角度
等の対応付けを行い、次に物体移動状態確定部１３にお
いて、対象となる物体、あるいはカメラの位置や向きを
計算することになる。なお、確定した追跡結果は追跡結
果出力部１４において表示出力する。

【０００４】かかる方法においては、フレーム間の変化
は局所的に二次元であるという仮定に基づいて二つの手
順を分離していた。したがって、例えば一つのフレーム
内で特定の二次元空間の模様に着目し、当該模様が次の
フレームでどのように移動しているかを追跡すること
で、物体追跡を行っている。

【０００５】例えば、特開平５−１９７８０９号公報に
おいては、フレーム間の物体追跡において、微少な対応
空間（二次元）を複数設けることで、対応誤差を吸収し
て、物体追跡精度を高める工夫が開示されている。すな
わち、対応する特徴点に特徴的な模様が存在する場合
に、カメラ位置の移動によっては、かかる模様の大きさ
も大きく変化することが予想される。しかし、微少な対
応空間とすることで、模様の変化が検知しにくくなると
いう特性を生かして、カメラ位置の変化等を検出しよう
とするものである。

【０００６】さらに、追跡対称となる物体間における対
称物体領域内の特徴点を求め、三次元的配置を考慮した
上で、探索範囲の設定及び対応点の決定を行っている。

【０００７】

【発明が解決しようとする課題】しかし、上述したよう
な従来の方法では、対応結果を獲得するまでの過程につ
いては、何ら考慮されておらず、対応結果が誤りか否か
を判別する精度が低くなるという問題点があった。すな
わち、一つのフレーム内で特定の二次元空間の模様に着
目し、当該模様が次のフレームでどのように移動してい
るかを追跡する場合において、対称となる物体あるいは
カメラの移動によっては模様が伸縮したり拡大したりす
ることが多く、追跡の精度が低くなってしまう問題であ
る。

【０００８】特開平５−１９７８０９号公報において開
示されている方法は、微少な対応空間とすることで、模
様の大きな変化を検知しないように工夫し、上記問題の
解決を図っている方法であるが、今度は逆に特徴点とし
ての検出が困難になり、次のフレームでの移動先が一つ
に限定できない場合等が発生する可能性がある。したが
って、どの位置へ移動したかは、最終的には確率論によ
るものとなってしまうことから、潜在的に追跡誤差を含
んでしまうという問題点を内包している。

【０００９】本発明は、上記問題点を解決すべく、三次
元形状を撮影している動画像において、物体追跡を精度
良く行うことのできる物体追跡装置及び方法を提供する
ことを目的する。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に本発明にかかる物体追跡装置は、動画像データを入力
する動画像入力部と、初期フレームを指定する初期フレ
ーム指定部と、追跡対象となる物体の形状及びテクスチ
ャを事前に記憶する既知物体記憶部と、既知物体記憶部
に記憶されている追跡対象となる物体の形状及びテクス
チャに基づいて、初期フレームにおける追跡対象となる
物体の位置及び向きを決定する初期位置決定部と、追跡
対象となる物体について、初期フレームを起点とする二
つの連続した基準フレームと追跡対象フレームの間の対
応を求めるフレーム間対応決定部と、追跡対象となる物
体の追跡対象フレームにおける位置及び向きを確定する
物体移動状態確定部と、追跡対象となる物体についての
追跡結果を出力する追跡結果出力部とを含み、追跡対象
となる物体について、基準フレームと追跡対象フレーム
との間の対応を求めると同時に、追跡対象となる物体の
追跡対象フレームにおける位置及び向きを確定すること
を特徴とする。

【００１１】かかる構成により、追跡対象となる物体の
形状及びテクスチャが事前に判明していることから、追
跡対象となる物体に関するフレーム間の対応付けが容易
かつ確実になり、追跡対象となる物体の位置及び向きを
フレーム間の対応付けと同時に確定することが可能とな
ることから、追跡精度の向上が期待できる。

【００１２】また、本発明にかかる物体追跡装置は、追
跡対象となる物体について、追跡対象フレームにおいて
新たな形状及びテクスチャが生じた場合に、新たな形状
及びテクスチャについても既知物体記憶部に記憶させる
ことが好ましい。次のフレームにおける物体追跡におい
て、追跡精度の向上が期待できるからである。

【００１３】また、本発明にかかる物体追跡装置は、追
跡対象となる物体について、基準フレームと追跡対象フ
レームとの間の対応を求めると同時に、追跡対象となる
物体の追跡対象フレームにおける物体の位置及び向きを
確定する前に、追跡対象フレームにおける追跡対象とな
る物体の位置ズレを検出する位置ズレ検出部をさらに含
むことが好ましい。位置ズレが判明していれば、追跡対
象となる物体に関するフレーム間の対応付けがさらに容
易かつ確実になり、追跡対象となる物体の位置及び向き
を確定することもより確実になるからである。

【００１４】また、本発明は、上記のような物体追跡装
置の機能をコンピュータの処理ステップとして実行する
ソフトウェアを特徴とするものであり、具体的には、動
画像データを入力する工程と、初期フレームを指定する
工程と、追跡対象となる物体の形状及びテクスチャを事
前に記憶する工程と、記憶されている追跡対象となる物
体の形状及びテクスチャに基づいて、初期フレームにお
ける追跡対象となる物体の位置及び向きを決定する工程
と、追跡対象となる物体について、初期フレームを起点
とする二つの連続した基準フレームと追跡対象フレーム
の間の対応を求める工程と、追跡対象となる物体の追跡
対象フレームにおける位置及び向きを確定する工程と、
追跡対象となる物体についての追跡結果を出力する工程
とを含み、追跡対象となる物体について、基準フレーム
と追跡対象フレームとの間の対応を求めると同時に、追
跡対象となる物体の追跡対象フレームにおける位置及び
向きを確定することを特徴とする物体追跡方法並びにそ
のような工程をプログラムとして記録したコンピュータ
読み取り可能な記録媒体であることを特徴とする。

【００１５】かかる構成により、コンピュータ上へ当該
プログラムをロードさせ実行することで、追跡対象とな
る物体の形状及びテクスチャが事前に判明していること
から、追跡対象となる物体に関するフレーム間の対応付
けが容易かつ確実になり、追跡対象となる物体の位置及
び向きをフレーム間の対応付けと同時に確定することが
可能となる物体追跡装置を実現することができる。

【００１６】

【発明の実施の形態】（実施の形態１）以下、本発明の
実施の形態１にかかる物体追跡装置について、図面を参
照しながら説明する。図２は本発明の実施の形態１にか
かる物体追跡装置のブロック構成図である。図２におい
て、２１は初期位置決定部を、２２は既知物体記憶部
を、２３はフレーム間対応及び物体移動状態同時確定部
を、２４は結果出力部を、それぞれ示す。

【００１７】図２において、まず対象フレーム内におい
て観察される物体のポリゴン形状及びテクスチャ（模
様）を既知物体記憶部２２に事前に記憶しておく。記憶
されるテクスチャ情報は、物体全体に対するものであっ
ても良いし、入力される動画像が事前に予想されている
ものであれば、その初期フレームにおいて見えている範
囲の情報だけでも良い。

【００１８】そして、動画像入力部１１から対象となる
物体を撮影している動画像を入力する。入力された動画
像の特定のフレームを初期フレームとして、そのフレー
ムの中で、既知物体記憶部２２に記憶されている物体を
検索する。また、入力される動画像における物体の形状
及びテクスチャが事前に既知物体記憶部２２に記憶され
てない場合には、初期フレームに映っている物体の形状
を指定し、テクスチャ情報は物体の画像から取り込んで
も良い。

【００１９】物体が検出されたら、当該フレームにおい
て、どの位置にどの角度で存在しているのかを初期位置
決定部２１において確定する。テクスチャ情報のみに基
づいて物体の移動等を把握しようとすると、移動対象候
補が複数存在することが多く、結局は確率的に移動位置
を定めることになるので、潜在的に大きな誤差を含むこ
とは避けられない。しかし、かかる方法のように、事前
に物体を特定することができていれば、当該物体におけ
るテクスチャ（模様）等が物体の移動によってどのよう
に変化するのか容易に予測することができるので、次の
追跡対象となるフレームにおける対象となる物体の移動
等を的確に把握することが可能となる。

【００２０】そして、フレーム間対応及び物体移動状態
同時確定部２３において、初期フレームを基準フレーム
として、次の追跡対象となるフレームとの間における対
象となる物体の対応付けを確定すると同時に、当該物体
の位置や角度を確定する。あらかじめ対象となる物体の
形状等がわかっているので、物体の対応付けと同時に当
該物体の位置や角度を確定することができる。すなわ
ち、特徴ある模様に着目した場合に、フレーム間の移動
によっては模様が拡大したり、伸縮したりすることが考
えられるが、あらかじめ物体が特定できていれば、どの
ような変化をするのか予測することが可能であり、追跡
精度の向上を図ることが可能となる。

【００２１】また、物体の移動方法によっては、基準フ
レームにおいて表現されていなかった面に表されている
模様等が新たに表現される場合もあり得る。例えば、物
体が回転することによって、基準フレームでは見えてい
なかった面の模様が見えるようになった場合等である。
この場合には、新たに見えるようになった面の模様等に
ついても、既知物体記憶部２２に追加登録する。追加登
録することで、次の追跡対象フレームにおける物体追跡
において、さらに物体追跡の精度を高めることが可能と
なる。

【００２２】最後に物体の追跡が完了したら、結果出力
部２４において画面に表示する。なお、特に画面に表示
することに限定されるものではなく、ファイルへの格
納、及び外部の認識プログラムへ渡すものでも良い。

【００２３】具体的には、以下のような手順で物体追跡
を行うことになる。最初に物体のモデル表現方式につい
て説明する。

【００２４】既知物体は、原則としてポリゴン形状を用
いて、頂点の座標と面のグラフによって表現する。物体
のモデルの各フレームにおける位置決めは、物体のモデ
ルを各フレームに投影する投影パラメータによって定め
ることになる。

【００２５】モデルの投影方法としては、一般的な透視
投影を用いる。すなわち、図３に示すように、モデル座
標系（ｘ，ｙ，ｚ）、カメラ座標系（Ｘ，Ｙ，Ｚ）、画
像座標系（ｒ，ｃ）を定める。まず、モデル座標系の点
ベクトルｘは、ベクトルＲ_iをカメラ座標系のＸ、Ｙ、
Ｚ各軸周りの角度ω_i、φ_i、κ_iによる回転行列、ベ
クトルＯ_i＝（Ｏ_Xi，Ｏ_Yi，Ｏ_Zi）^Tを第ｉフレームの
カメラ座標系によるモデル座標系の原点とすると、第ｉ
フレームのカメラ座標系の点ベクトルＸ_iへ変換式（数
１）によって変換することができる。

【００２６】

【数１】

【００２７】そして、第ｉフレームのカメラ座標系の点
ベクトルＸ_i（Ｘ_i，Ｙ_i，Ｚ_i）は第ｉフレーム上の
二次元座標系の点ベクトルｐ_i（ｒ_i，ｃ_i）に（数
２）によって変換される。

【００２８】

【数２】

【００２９】ここで、ｆ_iは第ｉフレームの焦点距離を
示す。したがって、物体のモデルを各フレームにおいて
位置決めする場合には、ω_i、φ_i、κ_i、Ｏ_Xi、
Ｏ_Yi、Ｏ_Z _i、ｆ_iの７つの変数によって定めることがで
きることになる。

【００３０】なお、以上の座標系における物体のモデル
形状やテクスチャ（模様）等の情報は、それぞれ一般の
レンジセンサやイメージベースドモデリングツール等を
用いることによって、容易に得ることができる。ただ
し、手段は特にこれに限定されるものではない。

【００３１】次に、本座標系における位置決めについて
説明する。初期フレームにおける位置決めは、従来技術
を用いて行う。すなわち、手動によっておおまかなモデ
ルの位置と姿勢を指定した後、エッジの抽出及び頂点の
投影位置の計算を行い、モデル全体としての位置、姿勢
及び伸縮を計算するものである。

【００３２】最終的な結果としては、図４に示すように
モデル座標を得ることができる。図４は、ソフトウェア
パッケージの箱について、直方体のモデルを用いて位置
決めしたものである。なお図４において、破線部は得ら
れたモデルの稜線（辺の位置）を示している。

【００３３】次に、フレーム間の対応及び物体移動状態
の確定方法について説明する。本実施の形態において
は、前後のフレームにおいて、モデル上の同一部分に対
応している画素について、見かけ上の明度が一致する位
置及び姿勢を求める。なお、本実施の形態１において
は、明度を基準として物体の移動状態を把握している
が、判断基準は特に明度に限定する必要もなく、特徴的
な要素で有れば特に限定されるものではない。

【００３４】対応する画素の明度の一致度を評価する基
準として、評価値Ｅ₁を、前フレームＩ_iにおける画像
座標（ｒ_i，ｃ_i）における画素と次のフレームＩ_i+1
に投影した画素との明度差の二乗和として求める。すな
わち、フレームＩ_i+1における位置決めのための変数
を、ベクトルＲ_i+1、ベクトルＯ_i+1、ｆ_i+1とする
と、評価値Ｅ₁は（数３）に示すようになる。

【００３５】

【数３】

【００３６】ここで、（ｒ_i+1，ｃ_i+1）は、図５に示
すようにフレームＩ_iにおける点（ｒ_i，ｃ_i）に対応
するフレームＩ_i+1における点の座標を示す。かかる座
標値は、モデルの頂点座標、モデルの面グラフ情報、ベ
クトルＲ_i、ベクトルＯ_i、ｆ_i、及び上記変数である
ベクトルＲ_i+1、ベクトルＯ_i+1、ｆ_i+1に基づいて計
算することができる。また、Ｎ_i,i+1は座標（ｒ_i+1，
ｃ_i+1）がフレームＩ_i ₊₁の領域内に存在するフレーム
Ｉ_i上のモデル領域を示す。

【００３７】（数３）で表すことのできる評価値Ｅ₁が
最小値をとるベクトルＲ_i+1、ベクトルＯ_i+1、ｆ_i+1
の組合せが求めるべき解である。すなわち、評価値が最
小で有れば、両フレーム間での対応する特徴点で有ると
考えることができる。

【００３８】かかる解を求めるには、様々な方法が考え
られるが、最も一般的な方法としては、Levenberg-Marq
uardt法を用いた反復近似法により求解することが考え
られる。すなわち、７つの変数ω_i+1、φ_i+1、
κ_i+1、Ｏ_Xi+1、Ｏ_Yi+1、Ｏ_Zi+1、ｆ_i+1をまとめてａ_l
（１≦ｌ≦Ｌ、Ｌ＝７）と表すものとすると、その更新
量Δａ_lを要素とする列ベクトルｘは、第ｋ行第ｌ列に
（数４）で表される要素を持つＬ×Ｌの行列をベクトル
Ａとし、

【００３９】

【数４】

【００４０】第ｌ要素に（数５）で表される要素を持つ
Ｌ次の列ベクトルをベクトルｂとして、

【００４１】

【数５】

【００４２】以下のベクトル方程式（数６）を解くこと
によって求めることができる。

【００４３】

【数６】

【００４４】ここで、λは定数を、ベクトルＩはＬ×Ｌ
の単位行列を意味する。また、ａ_l（１≦ｌ≦Ｌ）の初
期値は、フレームＩ_iの位置決め値と、二次元探索結果
のΔｘ、Δｙ、θに基づいて、それぞれ、ω_i、φ_i、
κ_i＋θ、Ｏ_Xi―Δｘ・Ｏ_Zi／ｆ_i、Ｏ_Yi―Δｙ・Ｏ_Zi／
ｆ_i、Ｏ_Zi、ｆ_iとなる。

【００４５】また、（数４）の計算に用いる行行列及び
列行列の偏微分値は、ＣＡＮＮＹオペレータ、Ｓｏｂｅ
ｌオペレータ、零交差法等を用いて生成できるが、特に
これらに限定されるものでもない。

【００４６】なお、更新処理を確実に行うために、入力
画像として１／２縮小画像を用いても良い。また、更新
処理の結果、Ｅ₁が減少しなくなるまで処理を反復して
行い、原画像を用いて行うのは、更新結果が収束した後
で確認のために１回だけ計算を行うことで足りる。

【００４７】次に、透視投影を通してのテクスチャマッ
チングを用いた場合に、本実施の形態１にかかる物体追
跡方法が有効であるか否かを実験により確認する。実験
には、図６に示すような直方体のＣＧ（Computer Graph
ics ）合成画像を用いた。

【００４８】図６において、（ａ）はグラデーションを
かけた物体の図を、（ｂ）は（ａ）の姿勢を変更した図
を示している。具体的には、（ｂ）は（ａ）の姿勢に対
して、カメラ座標系のＸ、Ｙ、Ｚ軸それぞれについて１
０°の回転を加えている。

【００４９】また、（ｃ）はメッシュの細かいランダム
桝目模様を付加した物体の図を、（ｄ）はメッシュの粗
いランダム桝目模様を付加した物体の図を、（ｅ）はそ
の中間の粗さのランダム桝目模様を付加した物体の図
を、それぞれ示している。具体的には、（ｃ）、
（ｄ）、（ｅ）のランダム桝目模様は、それぞれ見かけ
上約３０画素、３画素、１０画素となっている。これ
は、半径１ｍの球に内接する直方体を５ｍ離れて見るこ
とに相当する。また、（ｆ）は（ｅ）の一つの面を背景
の色と同じ色で塗りつぶした物体の図を示している。

【００５０】本実施の形態１にかかる物体追跡方法で図
６に示す６つの物体について物体追跡を行った結果を
（表１）に示す。

【００５１】

【表１】

【００５２】（表１）によると、図６（ｃ）と図６
（ｆ）については大きな追跡誤差が観測されており、物
体追跡が失敗に終わっていることを示している。

【００５３】図６（ｃ）については、模様のメッシュが
細かいために、１／２画像に縮小すると模様が認識でき
なくなることが原因と考えられる。また、図６（ｆ）に
ついては、二面だけでは三次元物体として追跡が不安定
となってしまうことを示している。

【００５４】他のケースについては、物体追跡が正常に
完了していることから、本実施の形態１においては、グ
ラデーションのような明度勾配を有する、あるいは
（ｅ）程度に認識できる模様が付されていることが必要
であることがわかる。しかしながら、従来の方法と比べ
て、前後のフレーム間において対応する特徴点を特定す
ることが容易である事実には変わりはなく、確率論によ
らずに精度良く物体追跡を行うことができる。

【００５５】以上のように本実施の形態１によれば、事
前に追跡対象となる物体の形状及びテクスチャ（模様）
を把握していることから、その移動等による変化を容易
に予測することができ、かかると即に基づいて前後のフ
レーム間の対応、及び移動後の物体の位置及び向きを定
めることから、精度良く物体追跡を行うことが可能とな
る。

【００５６】（実施の形態２）次に本発明の実施の形態
２にかかる物体追跡装置について、図面を参照しながら
説明する。図７は本発明の実施の形態２にかかる物体追
跡装置のブロック構成図である。図７では、実施の形態
１の構成に加えて、フレーム間対応及び物体移動状態同
時確定部２３の前に、カメラ等の手ぶれによる位置ズレ
を検出する位置ズレ検出部７１を有することに特徴があ
る。

【００５７】本実施の形態２において位置ズレとは、図
８に示すように行方向もしくは列方向の平行移動を意味
する。なお、カメラの姿勢の変化によってはカメラのロ
ールに相当する回転移動をも含む方が良い。また、位置
の検出自体は実施の形態１にいうフレーム間対応及び物
体移動状態同時確定部２３における方法で行うことがで
きることから、位置ズレ検出部７１ではメッシュの粗い
検索で良い。例えば、１／４に縮小した画像等を用いる
ことも可能である。

【００５８】位置ズレが事前に検出されていることで、
フレーム間対応の計算精度を向上させることができ、物
体移動状態についても追跡精度を向上させることが期待
できる。

【００５９】位置ズレを検出するための探索範囲は、図
８に示すように、前フレームの投影位置を中心として、
画面上で行方向及び列方向にずらした正方形の範囲内で
あり、その範囲内を離散的に探索すれば足りる。したが
って、各位置における投影像を中心とした回転について
も、同様に探索することができる。

【００６０】探索の評価値Ｅ₂としては、前フレームＩ
_iにおける画像座標（ｒ_i，ｃ_i）における画素と、当
該画素を次のフレームＩ_i+1上でずらした画像座標（ｒ
_i+1，ｃ_i+1）における画素の明度差の総和とする方法
が考えられる。（ｒ_i0，ｃ_i0）をＩ_iにおける投影領域
の中心、Δｒ、Δｃ、θをそれぞれ、行方向の平行移動
量、列方向の平行移動量、回転量とすると、Ｅ₂は（数
７）のように表すことができる。

【００６１】

【数７】

【００６２】ここで、Ｎ_i,i+1は（ｒ_i+1，ｃ_i+1）が
フレームＩ_i+1をはみださないフレームＩ_i上のモデル
領域を意味する。かかるＥ₂が小さいほど、見かけの像
が近似していることを示している。

【００６３】次に、実施の形態１と同様に、本実施の形
態２にかかる物体追跡方法における物体の位置ズレ検出
方法が有効であるか否かを実験により確認する。実験に
は、図９に示すようなランダムなモザイク模様をテクス
チャとして有する直方体のＣＧ合成画像を用いた。

【００６４】図９において、（ａ）を前フレームとし、
カメラ座標系Ｙ、Ｚ軸周りに３°ずつ１２°まで回転さ
せた２４枚の画像を次フレームとした。（ｂ）はカメラ
座標系Ｚ軸回りに最大角１２°回転させたもの、（ｃ）
はカメラ座標系Ｙ軸回りに最大角１２°回転させたも
の、（ｄ）はカメラ座標系Ｙ軸、Ｚ軸回りに、それぞれ
最大角１２°回転させたもの、を示している。なお、φ
はカメラ座標系Ｙ軸周りの回転角を、κはカメラ座標系
Ｚ軸周りの回転角を、それぞれ示す。

【００６５】カメラ座標系のＹ軸回り、Ｚ軸回りの回転
量と、本実施の形態２における位置ズレ検出の結果との
関係を（表２）に示す。三次元的には、Ｚ軸回りの回転
角度とθが一致し、かつΔｒ、Δｃともに０（ゼロ）を
示すと正解となる。

【００６６】

【表２】

【００６７】なお、（表２）の値は、Δｃとθの対を表
しており、Δｒは０（ゼロ）としている。（表２）の結
果から明らかなように、カメラ座標系Ｙ軸回りの回転角
φ及びカメラ座標系Ｚ軸回りの回転角κともに６°前後
までは精度良く位置ズレを検出できていることがわか
る。一般に手ぶれ等による位置ズレは、カメラ座標系Ｙ
軸回り及びカメラ座標系Ｚ軸回りについて最大約６°前
後であることから、本実施の形態２における位置ズレ検
出方法は、実用上問題ないものと考える。

【００６８】以上のように本実施の形態２によれば、追
跡対象となる物体の位置ズレ、すなわちカメラの手ぶれ
等による位置ズレを的確に把握することができ、手ぶれ
によって生ずる物体追跡誤差を小さくすることが可能と
なる。

【００６９】次に、本発明の実施の形態にかかる物体追
跡装置を実現するプログラムの処理の流れについて説明
する。図１０に本発明の実施の形態にかかる物体追跡装
置を実現するプログラムの処理の流れ図を示す。

【００７０】図１０において、まず追跡対象となる物体
の映っている動画像を入力する）ステップＳ１０１）。
そして、追跡対象となる物体について、その形状やテク
スチャ（模様）について保存しておく（ステップＳ１０
２）。

【００７１】次に、保存しておいた追跡対象となる物体
についての形状やテクスチャ（模様）に基づいて、前後
のフレーム間における物体の対応付けを求めると同時
に、物体の移動後の位置や向きを確定する（ステップＳ
１０３）。この際に、追跡対象となる物体において、新
たな形状や新たなテクスチャ（模様）が生じた場合には
（ステップＳ１０４：Ｙｅｓ）、かかる形状やテクスチ
ャ（模様）についても保存対象とする（ステップＳ１０
５）。

【００７２】最後に、追跡の結果を画像表示、ファイル
出力、あるいは他のプログラムへの送信という形で出力
する（ステップＳ１０６）。

【００７３】本発明の実施の形態にかかる物体追跡装置
を実現するプログラムを記憶した記録媒体は、図１１に
示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１１２−
１やフロッピーディスク１１２−２等の可搬型記録媒体
１１２だけでなく、通信回線の先に備えられた他の記憶
装置１１１や、コンピュータ１１３のハードディスクや
ＲＡＭ等の記録媒体１１４のいずれでも良く、プログラ
ム実行時には、プログラムはローディングされ、主メモ
リ上で実行される。

【００７４】また、本発明の実施の形態にかかる物体追
跡装置により生成された〜データ等を記録した記録媒体
も、図１１に示す記録媒体の例に示すように、ＣＤ−Ｒ
ＯＭ１１２−１やフロッピーディスク１１２−２等の可
搬型記録媒体１１２だけでなく、通信回線の先に備えら
れた他の記憶装置１１１や、コンピュータ１１３のハー
ドディスクやＲＡＭ等の記録媒体１１４のいずれでも良
く、例えば本発明にかかる物体追跡装置を利用する際に
コンピュータ１１３により読み取られる。

【００７５】

【発明の効果】以上のように本発明にかかる物体追跡装
置によれば、事前に追跡対象となる物体の形状及びテク
スチャ（模様）を把握していることから、その移動等に
よる変化を容易に予測することができ、かかると即に基
づいて前後のフレーム間の対応、及び移動後の物体の位
置及び向きを定めることから、精度良く物体追跡を行う
ことが可能となる。

【図面の簡単な説明】

【図１】従来の物体追跡装置のブロック構成図

【図２】本発明の実施の形態１にかかる物体追跡装置
のブロック構成図

【図３】モデル座標系の説明図

【図４】本発明の実施の形態１にかかる物体追跡装置
における初期フレームにおける位置決めの説明図

【図５】本発明の実施の形態１にかかる物体追跡装置
における前後フレーム間の関係説明図

【図６】本発明の実施の形態１にかかる物体追跡装置
の有効性実験に用いるＣＧ合成画像を示す図

【図７】本発明の実施の形態２にかかる物体追跡装置
のブロック構成図

【図８】本発明の実施の形態２にかかる物体追跡装置
における探索範囲の説明図

【図９】本発明の実施の形態２にかかる物体追跡装置
における位置ズレ検出方法の有効性実験に用いるＣＧ合
成画像を示す図

【図１０】本発明の実施の形態１にかかる物体追跡装
置における処理の流れ図

【図１１】記録媒体の例示図

【符号の説明】

１１動画像入力部１２フレーム間対応決定部１３物体移動状態確定部１４追跡結果出力部２１初期位置決定部２２既知物体記憶部２３フレーム間対応及び物体移動状態同時決定部７１位置ズレ検出部１１１回線先の記憶装置１１２ＣＤ−ＲＯＭやフロッピーディスク等の可搬型
記録媒体１１２−１ＣＤ−ＲＯＭ１１２−２フロッピーディスク１１３コンピュータ１１４コンピュータ上のＲＡＭ／ハードディスク等の
記録媒体

Claims

【特許請求の範囲】

【請求項１】動画像データを入力する動画像入力部
と、初期フレームを指定する初期フレーム指定部と、追跡対象となる物体の形状及びテクスチャを事前に記憶
する既知物体記憶部と、前記既知物体記憶部に記憶されている前記追跡対象とな
る物体の形状及びテクスチャに基づいて、前記初期フレ
ームにおける前記追跡対象となる物体の位置及び向きを
決定する初期位置決定部と、前記追跡対象となる物体について、前記初期フレームを
起点とする二つの連続した基準フレームと追跡対象フレ
ームの間の対応を求めるフレーム間対応決定部と、前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定する物体移動状態確定部と、前記追跡対象となる物体についての追跡結果を出力する
追跡結果出力部とを含み、前記追跡対象となる物体について、前記基準フレームと
前記追跡対象フレームとの間の対応を求めると同時に、
前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定することを特徴とする物体追跡装
置。
【請求項２】前記追跡対象となる物体について、前記
追跡対象フレームにおいて新たな形状及びテクスチャが
生じた場合に、前記新たな形状及びテクスチャについて
も前記既知物体記憶部に記憶させる請求項１記載の物体
追跡装置。
【請求項３】前記追跡対象となる物体について、前記
基準フレームと前記追跡対象フレームとの間の対応を求
めると同時に、前記追跡対象となる物体の前記追跡対象
フレームにおける物体の位置及び向きを確定する前に、
前記追跡対象フレームにおける前記追跡対象となる物体
の位置ズレを検出する位置ズレ検出部をさらに含む請求
項１記載の物体追跡装置。
【請求項４】動画像データを入力する工程と、初期フレームを指定する工程と、追跡対象となる物体の形状及びテクスチャを事前に記憶
する工程と、記憶されている前記追跡対象となる物体の形状及びテク
スチャに基づいて、前記初期フレームにおける前記追跡
対象となる物体の位置及び向きを決定する工程と、前記追跡対象となる物体について、前記初期フレームを
起点とする二つの連続した基準フレームと追跡対象フレ
ームの間の対応を求める工程と、前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定する工程と、前記追跡対象となる物体についての追跡結果を出力する
工程とを含み、前記追跡対象となる物体について、前記基準フレームと
前記追跡対象フレームとの間の対応を求めると同時に、
前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定することを特徴とする物体追跡方
法。
【請求項５】動画像データを入力するステップと、初期フレームを指定するステップと、追跡対象となる物体の形状及びテクスチャを事前に記憶
するステップと、記憶されている前記追跡対象となる物体の形状及びテク
スチャに基づいて、前記初期フレームにおける前記追跡
対象となる物体の位置及び向きを決定するステップと、前記追跡対象となる物体について、前記初期フレームを
起点とする二つの連続した基準フレームと追跡対象フレ
ームの間の対応を求めるステップと、前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定するステップと、前記追跡対象となる物体についての追跡結果を出力する
ステップとを含み、前記追跡対象となる物体について、前記基準フレームと
前記追跡対象フレームとの間の対応を求めると同時に、
前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定することを特徴とするコンピュー
タに実行させるプログラムを記録したコンピュータ読み
取り可能な記録媒体。