JP2000348186A - 物体追跡装置及び方法 - Google Patents
物体追跡装置及び方法Info
- Publication number
- JP2000348186A JP2000348186A JP11156004A JP15600499A JP2000348186A JP 2000348186 A JP2000348186 A JP 2000348186A JP 11156004 A JP11156004 A JP 11156004A JP 15600499 A JP15600499 A JP 15600499A JP 2000348186 A JP2000348186 A JP 2000348186A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- tracked
- tracking
- correspondence
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 三次元形状を撮影している動画像において、
物体追跡を精度良く行うことのできる物体追跡装置及び
方法を提供する。 【解決手段】動画像データを入力し、初期フレームを指
定し、追跡対象となる物体の形状及びテクスチャを事前
に記憶しておき、記憶されている追跡対象となる物体の
形状及びテクスチャに基づいて、初期フレームにおける
追跡対象となる物体の位置及び向きを決定し、追跡対象
となる物体について、初期フレームを起点とする二つの
連続した基準フレームと追跡対象フレームの間の対応を
求め、追跡対象となる物体の追跡対象フレームにおける
位置及び向きを確定し、追跡対象となる物体についての
追跡結果を出力する物体追跡装置であって、追跡対象と
なる物体について、基準フレームと追跡対象フレームと
の間の対応を求めると同時に、追跡対象となる物体の追
跡対象フレームにおける位置及び向きを確定する。
物体追跡を精度良く行うことのできる物体追跡装置及び
方法を提供する。 【解決手段】動画像データを入力し、初期フレームを指
定し、追跡対象となる物体の形状及びテクスチャを事前
に記憶しておき、記憶されている追跡対象となる物体の
形状及びテクスチャに基づいて、初期フレームにおける
追跡対象となる物体の位置及び向きを決定し、追跡対象
となる物体について、初期フレームを起点とする二つの
連続した基準フレームと追跡対象フレームの間の対応を
求め、追跡対象となる物体の追跡対象フレームにおける
位置及び向きを確定し、追跡対象となる物体についての
追跡結果を出力する物体追跡装置であって、追跡対象と
なる物体について、基準フレームと追跡対象フレームと
の間の対応を求めると同時に、追跡対象となる物体の追
跡対象フレームにおける位置及び向きを確定する。
Description
【0001】
【発明の属する技術分野】本発明は、動画像において、
既知となっている物体に関する位置、向き等を追跡する
処理装置及び方法に関する。
既知となっている物体に関する位置、向き等を追跡する
処理装置及び方法に関する。
【0002】
【従来の技術】動画像に基づく物体追跡においては、カ
メラを固定しておき監視対象となる物体の動きを追跡す
るものと、静物の画像からカメラの動きを追跡するもの
の二通りが存在する。前者においては、監視対象となる
物体の位置や角度等を求めることができ、後者において
は、カメラの位置や角度等を求めることが可能となる。
すなわち物体追跡とは、監視対象となる物体とカメラの
相対関係を求めるものである。
メラを固定しておき監視対象となる物体の動きを追跡す
るものと、静物の画像からカメラの動きを追跡するもの
の二通りが存在する。前者においては、監視対象となる
物体の位置や角度等を求めることができ、後者において
は、カメラの位置や角度等を求めることが可能となる。
すなわち物体追跡とは、監視対象となる物体とカメラの
相対関係を求めるものである。
【0003】従来は、物体追跡を行う場合、連続するフ
レーム間における対応付けを行った後に対応の解釈を行
うという二段構えの手法で行うのが主流であった。例え
ば、図1に示すように、動画像入力装置11から追跡対
称の画像情報を入力した後、まずはフレーム間対応決定
部12において、前後のフレーム間で物体の位置・角度
等の対応付けを行い、次に物体移動状態確定部13にお
いて、対象となる物体、あるいはカメラの位置や向きを
計算することになる。なお、確定した追跡結果は追跡結
果出力部14において表示出力する。
レーム間における対応付けを行った後に対応の解釈を行
うという二段構えの手法で行うのが主流であった。例え
ば、図1に示すように、動画像入力装置11から追跡対
称の画像情報を入力した後、まずはフレーム間対応決定
部12において、前後のフレーム間で物体の位置・角度
等の対応付けを行い、次に物体移動状態確定部13にお
いて、対象となる物体、あるいはカメラの位置や向きを
計算することになる。なお、確定した追跡結果は追跡結
果出力部14において表示出力する。
【0004】かかる方法においては、フレーム間の変化
は局所的に二次元であるという仮定に基づいて二つの手
順を分離していた。したがって、例えば一つのフレーム
内で特定の二次元空間の模様に着目し、当該模様が次の
フレームでどのように移動しているかを追跡すること
で、物体追跡を行っている。
は局所的に二次元であるという仮定に基づいて二つの手
順を分離していた。したがって、例えば一つのフレーム
内で特定の二次元空間の模様に着目し、当該模様が次の
フレームでどのように移動しているかを追跡すること
で、物体追跡を行っている。
【0005】例えば、特開平5−197809号公報に
おいては、フレーム間の物体追跡において、微少な対応
空間(二次元)を複数設けることで、対応誤差を吸収し
て、物体追跡精度を高める工夫が開示されている。すな
わち、対応する特徴点に特徴的な模様が存在する場合
に、カメラ位置の移動によっては、かかる模様の大きさ
も大きく変化することが予想される。しかし、微少な対
応空間とすることで、模様の変化が検知しにくくなると
いう特性を生かして、カメラ位置の変化等を検出しよう
とするものである。
おいては、フレーム間の物体追跡において、微少な対応
空間(二次元)を複数設けることで、対応誤差を吸収し
て、物体追跡精度を高める工夫が開示されている。すな
わち、対応する特徴点に特徴的な模様が存在する場合
に、カメラ位置の移動によっては、かかる模様の大きさ
も大きく変化することが予想される。しかし、微少な対
応空間とすることで、模様の変化が検知しにくくなると
いう特性を生かして、カメラ位置の変化等を検出しよう
とするものである。
【0006】さらに、追跡対称となる物体間における対
称物体領域内の特徴点を求め、三次元的配置を考慮した
上で、探索範囲の設定及び対応点の決定を行っている。
称物体領域内の特徴点を求め、三次元的配置を考慮した
上で、探索範囲の設定及び対応点の決定を行っている。
【0007】
【発明が解決しようとする課題】しかし、上述したよう
な従来の方法では、対応結果を獲得するまでの過程につ
いては、何ら考慮されておらず、対応結果が誤りか否か
を判別する精度が低くなるという問題点があった。すな
わち、一つのフレーム内で特定の二次元空間の模様に着
目し、当該模様が次のフレームでどのように移動してい
るかを追跡する場合において、対称となる物体あるいは
カメラの移動によっては模様が伸縮したり拡大したりす
ることが多く、追跡の精度が低くなってしまう問題であ
る。
な従来の方法では、対応結果を獲得するまでの過程につ
いては、何ら考慮されておらず、対応結果が誤りか否か
を判別する精度が低くなるという問題点があった。すな
わち、一つのフレーム内で特定の二次元空間の模様に着
目し、当該模様が次のフレームでどのように移動してい
るかを追跡する場合において、対称となる物体あるいは
カメラの移動によっては模様が伸縮したり拡大したりす
ることが多く、追跡の精度が低くなってしまう問題であ
る。
【0008】特開平5−197809号公報において開
示されている方法は、微少な対応空間とすることで、模
様の大きな変化を検知しないように工夫し、上記問題の
解決を図っている方法であるが、今度は逆に特徴点とし
ての検出が困難になり、次のフレームでの移動先が一つ
に限定できない場合等が発生する可能性がある。したが
って、どの位置へ移動したかは、最終的には確率論によ
るものとなってしまうことから、潜在的に追跡誤差を含
んでしまうという問題点を内包している。
示されている方法は、微少な対応空間とすることで、模
様の大きな変化を検知しないように工夫し、上記問題の
解決を図っている方法であるが、今度は逆に特徴点とし
ての検出が困難になり、次のフレームでの移動先が一つ
に限定できない場合等が発生する可能性がある。したが
って、どの位置へ移動したかは、最終的には確率論によ
るものとなってしまうことから、潜在的に追跡誤差を含
んでしまうという問題点を内包している。
【0009】本発明は、上記問題点を解決すべく、三次
元形状を撮影している動画像において、物体追跡を精度
良く行うことのできる物体追跡装置及び方法を提供する
ことを目的する。
元形状を撮影している動画像において、物体追跡を精度
良く行うことのできる物体追跡装置及び方法を提供する
ことを目的する。
【0010】
【課題を解決するための手段】上記目的を達成するため
に本発明にかかる物体追跡装置は、動画像データを入力
する動画像入力部と、初期フレームを指定する初期フレ
ーム指定部と、追跡対象となる物体の形状及びテクスチ
ャを事前に記憶する既知物体記憶部と、既知物体記憶部
に記憶されている追跡対象となる物体の形状及びテクス
チャに基づいて、初期フレームにおける追跡対象となる
物体の位置及び向きを決定する初期位置決定部と、追跡
対象となる物体について、初期フレームを起点とする二
つの連続した基準フレームと追跡対象フレームの間の対
応を求めるフレーム間対応決定部と、追跡対象となる物
体の追跡対象フレームにおける位置及び向きを確定する
物体移動状態確定部と、追跡対象となる物体についての
追跡結果を出力する追跡結果出力部とを含み、追跡対象
となる物体について、基準フレームと追跡対象フレーム
との間の対応を求めると同時に、追跡対象となる物体の
追跡対象フレームにおける位置及び向きを確定すること
を特徴とする。
に本発明にかかる物体追跡装置は、動画像データを入力
する動画像入力部と、初期フレームを指定する初期フレ
ーム指定部と、追跡対象となる物体の形状及びテクスチ
ャを事前に記憶する既知物体記憶部と、既知物体記憶部
に記憶されている追跡対象となる物体の形状及びテクス
チャに基づいて、初期フレームにおける追跡対象となる
物体の位置及び向きを決定する初期位置決定部と、追跡
対象となる物体について、初期フレームを起点とする二
つの連続した基準フレームと追跡対象フレームの間の対
応を求めるフレーム間対応決定部と、追跡対象となる物
体の追跡対象フレームにおける位置及び向きを確定する
物体移動状態確定部と、追跡対象となる物体についての
追跡結果を出力する追跡結果出力部とを含み、追跡対象
となる物体について、基準フレームと追跡対象フレーム
との間の対応を求めると同時に、追跡対象となる物体の
追跡対象フレームにおける位置及び向きを確定すること
を特徴とする。
【0011】かかる構成により、追跡対象となる物体の
形状及びテクスチャが事前に判明していることから、追
跡対象となる物体に関するフレーム間の対応付けが容易
かつ確実になり、追跡対象となる物体の位置及び向きを
フレーム間の対応付けと同時に確定することが可能とな
ることから、追跡精度の向上が期待できる。
形状及びテクスチャが事前に判明していることから、追
跡対象となる物体に関するフレーム間の対応付けが容易
かつ確実になり、追跡対象となる物体の位置及び向きを
フレーム間の対応付けと同時に確定することが可能とな
ることから、追跡精度の向上が期待できる。
【0012】また、本発明にかかる物体追跡装置は、追
跡対象となる物体について、追跡対象フレームにおいて
新たな形状及びテクスチャが生じた場合に、新たな形状
及びテクスチャについても既知物体記憶部に記憶させる
ことが好ましい。次のフレームにおける物体追跡におい
て、追跡精度の向上が期待できるからである。
跡対象となる物体について、追跡対象フレームにおいて
新たな形状及びテクスチャが生じた場合に、新たな形状
及びテクスチャについても既知物体記憶部に記憶させる
ことが好ましい。次のフレームにおける物体追跡におい
て、追跡精度の向上が期待できるからである。
【0013】また、本発明にかかる物体追跡装置は、追
跡対象となる物体について、基準フレームと追跡対象フ
レームとの間の対応を求めると同時に、追跡対象となる
物体の追跡対象フレームにおける物体の位置及び向きを
確定する前に、追跡対象フレームにおける追跡対象とな
る物体の位置ズレを検出する位置ズレ検出部をさらに含
むことが好ましい。位置ズレが判明していれば、追跡対
象となる物体に関するフレーム間の対応付けがさらに容
易かつ確実になり、追跡対象となる物体の位置及び向き
を確定することもより確実になるからである。
跡対象となる物体について、基準フレームと追跡対象フ
レームとの間の対応を求めると同時に、追跡対象となる
物体の追跡対象フレームにおける物体の位置及び向きを
確定する前に、追跡対象フレームにおける追跡対象とな
る物体の位置ズレを検出する位置ズレ検出部をさらに含
むことが好ましい。位置ズレが判明していれば、追跡対
象となる物体に関するフレーム間の対応付けがさらに容
易かつ確実になり、追跡対象となる物体の位置及び向き
を確定することもより確実になるからである。
【0014】また、本発明は、上記のような物体追跡装
置の機能をコンピュータの処理ステップとして実行する
ソフトウェアを特徴とするものであり、具体的には、動
画像データを入力する工程と、初期フレームを指定する
工程と、追跡対象となる物体の形状及びテクスチャを事
前に記憶する工程と、記憶されている追跡対象となる物
体の形状及びテクスチャに基づいて、初期フレームにお
ける追跡対象となる物体の位置及び向きを決定する工程
と、追跡対象となる物体について、初期フレームを起点
とする二つの連続した基準フレームと追跡対象フレーム
の間の対応を求める工程と、追跡対象となる物体の追跡
対象フレームにおける位置及び向きを確定する工程と、
追跡対象となる物体についての追跡結果を出力する工程
とを含み、追跡対象となる物体について、基準フレーム
と追跡対象フレームとの間の対応を求めると同時に、追
跡対象となる物体の追跡対象フレームにおける位置及び
向きを確定することを特徴とする物体追跡方法並びにそ
のような工程をプログラムとして記録したコンピュータ
読み取り可能な記録媒体であることを特徴とする。
置の機能をコンピュータの処理ステップとして実行する
ソフトウェアを特徴とするものであり、具体的には、動
画像データを入力する工程と、初期フレームを指定する
工程と、追跡対象となる物体の形状及びテクスチャを事
前に記憶する工程と、記憶されている追跡対象となる物
体の形状及びテクスチャに基づいて、初期フレームにお
ける追跡対象となる物体の位置及び向きを決定する工程
と、追跡対象となる物体について、初期フレームを起点
とする二つの連続した基準フレームと追跡対象フレーム
の間の対応を求める工程と、追跡対象となる物体の追跡
対象フレームにおける位置及び向きを確定する工程と、
追跡対象となる物体についての追跡結果を出力する工程
とを含み、追跡対象となる物体について、基準フレーム
と追跡対象フレームとの間の対応を求めると同時に、追
跡対象となる物体の追跡対象フレームにおける位置及び
向きを確定することを特徴とする物体追跡方法並びにそ
のような工程をプログラムとして記録したコンピュータ
読み取り可能な記録媒体であることを特徴とする。
【0015】かかる構成により、コンピュータ上へ当該
プログラムをロードさせ実行することで、追跡対象とな
る物体の形状及びテクスチャが事前に判明していること
から、追跡対象となる物体に関するフレーム間の対応付
けが容易かつ確実になり、追跡対象となる物体の位置及
び向きをフレーム間の対応付けと同時に確定することが
可能となる物体追跡装置を実現することができる。
プログラムをロードさせ実行することで、追跡対象とな
る物体の形状及びテクスチャが事前に判明していること
から、追跡対象となる物体に関するフレーム間の対応付
けが容易かつ確実になり、追跡対象となる物体の位置及
び向きをフレーム間の対応付けと同時に確定することが
可能となる物体追跡装置を実現することができる。
【0016】
【発明の実施の形態】(実施の形態1)以下、本発明の
実施の形態1にかかる物体追跡装置について、図面を参
照しながら説明する。図2は本発明の実施の形態1にか
かる物体追跡装置のブロック構成図である。図2におい
て、21は初期位置決定部を、22は既知物体記憶部
を、23はフレーム間対応及び物体移動状態同時確定部
を、24は結果出力部を、それぞれ示す。
実施の形態1にかかる物体追跡装置について、図面を参
照しながら説明する。図2は本発明の実施の形態1にか
かる物体追跡装置のブロック構成図である。図2におい
て、21は初期位置決定部を、22は既知物体記憶部
を、23はフレーム間対応及び物体移動状態同時確定部
を、24は結果出力部を、それぞれ示す。
【0017】図2において、まず対象フレーム内におい
て観察される物体のポリゴン形状及びテクスチャ(模
様)を既知物体記憶部22に事前に記憶しておく。記憶
されるテクスチャ情報は、物体全体に対するものであっ
ても良いし、入力される動画像が事前に予想されている
ものであれば、その初期フレームにおいて見えている範
囲の情報だけでも良い。
て観察される物体のポリゴン形状及びテクスチャ(模
様)を既知物体記憶部22に事前に記憶しておく。記憶
されるテクスチャ情報は、物体全体に対するものであっ
ても良いし、入力される動画像が事前に予想されている
ものであれば、その初期フレームにおいて見えている範
囲の情報だけでも良い。
【0018】そして、動画像入力部11から対象となる
物体を撮影している動画像を入力する。入力された動画
像の特定のフレームを初期フレームとして、そのフレー
ムの中で、既知物体記憶部22に記憶されている物体を
検索する。また、入力される動画像における物体の形状
及びテクスチャが事前に既知物体記憶部22に記憶され
てない場合には、初期フレームに映っている物体の形状
を指定し、テクスチャ情報は物体の画像から取り込んで
も良い。
物体を撮影している動画像を入力する。入力された動画
像の特定のフレームを初期フレームとして、そのフレー
ムの中で、既知物体記憶部22に記憶されている物体を
検索する。また、入力される動画像における物体の形状
及びテクスチャが事前に既知物体記憶部22に記憶され
てない場合には、初期フレームに映っている物体の形状
を指定し、テクスチャ情報は物体の画像から取り込んで
も良い。
【0019】物体が検出されたら、当該フレームにおい
て、どの位置にどの角度で存在しているのかを初期位置
決定部21において確定する。テクスチャ情報のみに基
づいて物体の移動等を把握しようとすると、移動対象候
補が複数存在することが多く、結局は確率的に移動位置
を定めることになるので、潜在的に大きな誤差を含むこ
とは避けられない。しかし、かかる方法のように、事前
に物体を特定することができていれば、当該物体におけ
るテクスチャ(模様)等が物体の移動によってどのよう
に変化するのか容易に予測することができるので、次の
追跡対象となるフレームにおける対象となる物体の移動
等を的確に把握することが可能となる。
て、どの位置にどの角度で存在しているのかを初期位置
決定部21において確定する。テクスチャ情報のみに基
づいて物体の移動等を把握しようとすると、移動対象候
補が複数存在することが多く、結局は確率的に移動位置
を定めることになるので、潜在的に大きな誤差を含むこ
とは避けられない。しかし、かかる方法のように、事前
に物体を特定することができていれば、当該物体におけ
るテクスチャ(模様)等が物体の移動によってどのよう
に変化するのか容易に予測することができるので、次の
追跡対象となるフレームにおける対象となる物体の移動
等を的確に把握することが可能となる。
【0020】そして、フレーム間対応及び物体移動状態
同時確定部23において、初期フレームを基準フレーム
として、次の追跡対象となるフレームとの間における対
象となる物体の対応付けを確定すると同時に、当該物体
の位置や角度を確定する。あらかじめ対象となる物体の
形状等がわかっているので、物体の対応付けと同時に当
該物体の位置や角度を確定することができる。すなわ
ち、特徴ある模様に着目した場合に、フレーム間の移動
によっては模様が拡大したり、伸縮したりすることが考
えられるが、あらかじめ物体が特定できていれば、どの
ような変化をするのか予測することが可能であり、追跡
精度の向上を図ることが可能となる。
同時確定部23において、初期フレームを基準フレーム
として、次の追跡対象となるフレームとの間における対
象となる物体の対応付けを確定すると同時に、当該物体
の位置や角度を確定する。あらかじめ対象となる物体の
形状等がわかっているので、物体の対応付けと同時に当
該物体の位置や角度を確定することができる。すなわ
ち、特徴ある模様に着目した場合に、フレーム間の移動
によっては模様が拡大したり、伸縮したりすることが考
えられるが、あらかじめ物体が特定できていれば、どの
ような変化をするのか予測することが可能であり、追跡
精度の向上を図ることが可能となる。
【0021】また、物体の移動方法によっては、基準フ
レームにおいて表現されていなかった面に表されている
模様等が新たに表現される場合もあり得る。例えば、物
体が回転することによって、基準フレームでは見えてい
なかった面の模様が見えるようになった場合等である。
この場合には、新たに見えるようになった面の模様等に
ついても、既知物体記憶部22に追加登録する。追加登
録することで、次の追跡対象フレームにおける物体追跡
において、さらに物体追跡の精度を高めることが可能と
なる。
レームにおいて表現されていなかった面に表されている
模様等が新たに表現される場合もあり得る。例えば、物
体が回転することによって、基準フレームでは見えてい
なかった面の模様が見えるようになった場合等である。
この場合には、新たに見えるようになった面の模様等に
ついても、既知物体記憶部22に追加登録する。追加登
録することで、次の追跡対象フレームにおける物体追跡
において、さらに物体追跡の精度を高めることが可能と
なる。
【0022】最後に物体の追跡が完了したら、結果出力
部24において画面に表示する。なお、特に画面に表示
することに限定されるものではなく、ファイルへの格
納、及び外部の認識プログラムへ渡すものでも良い。
部24において画面に表示する。なお、特に画面に表示
することに限定されるものではなく、ファイルへの格
納、及び外部の認識プログラムへ渡すものでも良い。
【0023】具体的には、以下のような手順で物体追跡
を行うことになる。最初に物体のモデル表現方式につい
て説明する。
を行うことになる。最初に物体のモデル表現方式につい
て説明する。
【0024】既知物体は、原則としてポリゴン形状を用
いて、頂点の座標と面のグラフによって表現する。物体
のモデルの各フレームにおける位置決めは、物体のモデ
ルを各フレームに投影する投影パラメータによって定め
ることになる。
いて、頂点の座標と面のグラフによって表現する。物体
のモデルの各フレームにおける位置決めは、物体のモデ
ルを各フレームに投影する投影パラメータによって定め
ることになる。
【0025】モデルの投影方法としては、一般的な透視
投影を用いる。すなわち、図3に示すように、モデル座
標系(x,y,z)、カメラ座標系(X,Y,Z)、画
像座標系(r,c)を定める。まず、モデル座標系の点
ベクトルxは、ベクトルRiをカメラ座標系のX、Y、
Z各軸周りの角度ωi 、φi 、κi による回転行列、ベ
クトルOi=(OXi,OYi,OZi)T を第iフレームの
カメラ座標系によるモデル座標系の原点とすると、第i
フレームのカメラ座標系の点ベクトルXiへ変換式(数
1)によって変換することができる。
投影を用いる。すなわち、図3に示すように、モデル座
標系(x,y,z)、カメラ座標系(X,Y,Z)、画
像座標系(r,c)を定める。まず、モデル座標系の点
ベクトルxは、ベクトルRiをカメラ座標系のX、Y、
Z各軸周りの角度ωi 、φi 、κi による回転行列、ベ
クトルOi=(OXi,OYi,OZi)T を第iフレームの
カメラ座標系によるモデル座標系の原点とすると、第i
フレームのカメラ座標系の点ベクトルXiへ変換式(数
1)によって変換することができる。
【0026】
【数1】
【0027】そして、第iフレームのカメラ座標系の点
ベクトルXi(Xi ,Yi ,Zi )は第iフレーム上の
二次元座標系の点ベクトルpi (ri ,ci )に(数
2)によって変換される。
ベクトルXi(Xi ,Yi ,Zi )は第iフレーム上の
二次元座標系の点ベクトルpi (ri ,ci )に(数
2)によって変換される。
【0028】
【数2】
【0029】ここで、fi は第iフレームの焦点距離を
示す。したがって、物体のモデルを各フレームにおいて
位置決めする場合には、ωi 、φi 、κi、OXi、
OYi、OZ i、fiの7つの変数によって定めることがで
きることになる。
示す。したがって、物体のモデルを各フレームにおいて
位置決めする場合には、ωi 、φi 、κi、OXi、
OYi、OZ i、fiの7つの変数によって定めることがで
きることになる。
【0030】なお、以上の座標系における物体のモデル
形状やテクスチャ(模様)等の情報は、それぞれ一般の
レンジセンサやイメージベースドモデリングツール等を
用いることによって、容易に得ることができる。ただ
し、手段は特にこれに限定されるものではない。
形状やテクスチャ(模様)等の情報は、それぞれ一般の
レンジセンサやイメージベースドモデリングツール等を
用いることによって、容易に得ることができる。ただ
し、手段は特にこれに限定されるものではない。
【0031】次に、本座標系における位置決めについて
説明する。初期フレームにおける位置決めは、従来技術
を用いて行う。すなわち、手動によっておおまかなモデ
ルの位置と姿勢を指定した後、エッジの抽出及び頂点の
投影位置の計算を行い、モデル全体としての位置、姿勢
及び伸縮を計算するものである。
説明する。初期フレームにおける位置決めは、従来技術
を用いて行う。すなわち、手動によっておおまかなモデ
ルの位置と姿勢を指定した後、エッジの抽出及び頂点の
投影位置の計算を行い、モデル全体としての位置、姿勢
及び伸縮を計算するものである。
【0032】最終的な結果としては、図4に示すように
モデル座標を得ることができる。図4は、ソフトウェア
パッケージの箱について、直方体のモデルを用いて位置
決めしたものである。なお図4において、破線部は得ら
れたモデルの稜線(辺の位置)を示している。
モデル座標を得ることができる。図4は、ソフトウェア
パッケージの箱について、直方体のモデルを用いて位置
決めしたものである。なお図4において、破線部は得ら
れたモデルの稜線(辺の位置)を示している。
【0033】次に、フレーム間の対応及び物体移動状態
の確定方法について説明する。本実施の形態において
は、前後のフレームにおいて、モデル上の同一部分に対
応している画素について、見かけ上の明度が一致する位
置及び姿勢を求める。なお、本実施の形態1において
は、明度を基準として物体の移動状態を把握している
が、判断基準は特に明度に限定する必要もなく、特徴的
な要素で有れば特に限定されるものではない。
の確定方法について説明する。本実施の形態において
は、前後のフレームにおいて、モデル上の同一部分に対
応している画素について、見かけ上の明度が一致する位
置及び姿勢を求める。なお、本実施の形態1において
は、明度を基準として物体の移動状態を把握している
が、判断基準は特に明度に限定する必要もなく、特徴的
な要素で有れば特に限定されるものではない。
【0034】対応する画素の明度の一致度を評価する基
準として、評価値E1 を、前フレームIi における画像
座標(ri ,ci )における画素と次のフレームIi+1
に投影した画素との明度差の二乗和として求める。すな
わち、フレームIi+1 における位置決めのための変数
を、ベクトルRi+1 、ベクトルOi+1 、fi+1 とする
と、評価値E1 は(数3)に示すようになる。
準として、評価値E1 を、前フレームIi における画像
座標(ri ,ci )における画素と次のフレームIi+1
に投影した画素との明度差の二乗和として求める。すな
わち、フレームIi+1 における位置決めのための変数
を、ベクトルRi+1 、ベクトルOi+1 、fi+1 とする
と、評価値E1 は(数3)に示すようになる。
【0035】
【数3】
【0036】ここで、(ri+1 ,ci+1 )は、図5に示
すようにフレームIi における点(ri ,ci )に対応
するフレームIi+1 における点の座標を示す。かかる座
標値は、モデルの頂点座標、モデルの面グラフ情報、ベ
クトルRi 、ベクトルOi 、fi 、及び上記変数である
ベクトルRi+1 、ベクトルOi+1 、fi+1 に基づいて計
算することができる。また、Ni,i+1は座標(ri+1 ,
ci+1 )がフレームIi +1 の領域内に存在するフレーム
Ii 上のモデル領域を示す。
すようにフレームIi における点(ri ,ci )に対応
するフレームIi+1 における点の座標を示す。かかる座
標値は、モデルの頂点座標、モデルの面グラフ情報、ベ
クトルRi 、ベクトルOi 、fi 、及び上記変数である
ベクトルRi+1 、ベクトルOi+1 、fi+1 に基づいて計
算することができる。また、Ni,i+1は座標(ri+1 ,
ci+1 )がフレームIi +1 の領域内に存在するフレーム
Ii 上のモデル領域を示す。
【0037】(数3)で表すことのできる評価値E1 が
最小値をとるベクトルRi+1 、ベクトルOi+1 、fi+1
の組合せが求めるべき解である。すなわち、評価値が最
小で有れば、両フレーム間での対応する特徴点で有ると
考えることができる。
最小値をとるベクトルRi+1 、ベクトルOi+1 、fi+1
の組合せが求めるべき解である。すなわち、評価値が最
小で有れば、両フレーム間での対応する特徴点で有ると
考えることができる。
【0038】かかる解を求めるには、様々な方法が考え
られるが、最も一般的な方法としては、Levenberg-Marq
uardt法を用いた反復近似法により求解することが考え
られる。すなわち、7つの変数ωi+1 、φi+1 、
κi+1、OXi+1、OYi+1、OZi+1、fi+1をまとめてal
(1≦l≦L、L=7)と表すものとすると、その更新
量Δal を要素とする列ベクトルxは、第k行第l列に
(数4)で表される要素を持つL×Lの行列をベクトル
Aとし、
られるが、最も一般的な方法としては、Levenberg-Marq
uardt法を用いた反復近似法により求解することが考え
られる。すなわち、7つの変数ωi+1 、φi+1 、
κi+1、OXi+1、OYi+1、OZi+1、fi+1をまとめてal
(1≦l≦L、L=7)と表すものとすると、その更新
量Δal を要素とする列ベクトルxは、第k行第l列に
(数4)で表される要素を持つL×Lの行列をベクトル
Aとし、
【0039】
【数4】
【0040】第l要素に(数5)で表される要素を持つ
L次の列ベクトルをベクトルbとして、
L次の列ベクトルをベクトルbとして、
【0041】
【数5】
【0042】以下のベクトル方程式(数6)を解くこと
によって求めることができる。
によって求めることができる。
【0043】
【数6】
【0044】ここで、λは定数を、ベクトルIはL×L
の単位行列を意味する。また、al(1≦l≦L)の初
期値は、フレームIi の位置決め値と、二次元探索結果
のΔx、Δy、θに基づいて、それぞれ、ωi 、φi 、
κi+θ、OXi―Δx・OZi/fi、OYi―Δy・OZi/
fi、OZi、fiとなる。
の単位行列を意味する。また、al(1≦l≦L)の初
期値は、フレームIi の位置決め値と、二次元探索結果
のΔx、Δy、θに基づいて、それぞれ、ωi 、φi 、
κi+θ、OXi―Δx・OZi/fi、OYi―Δy・OZi/
fi、OZi、fiとなる。
【0045】また、(数4)の計算に用いる行行列及び
列行列の偏微分値は、CANNYオペレータ、Sobe
lオペレータ、零交差法等を用いて生成できるが、特に
これらに限定されるものでもない。
列行列の偏微分値は、CANNYオペレータ、Sobe
lオペレータ、零交差法等を用いて生成できるが、特に
これらに限定されるものでもない。
【0046】なお、更新処理を確実に行うために、入力
画像として1/2縮小画像を用いても良い。また、更新
処理の結果、E1 が減少しなくなるまで処理を反復して
行い、原画像を用いて行うのは、更新結果が収束した後
で確認のために1回だけ計算を行うことで足りる。
画像として1/2縮小画像を用いても良い。また、更新
処理の結果、E1 が減少しなくなるまで処理を反復して
行い、原画像を用いて行うのは、更新結果が収束した後
で確認のために1回だけ計算を行うことで足りる。
【0047】次に、透視投影を通してのテクスチャマッ
チングを用いた場合に、本実施の形態1にかかる物体追
跡方法が有効であるか否かを実験により確認する。実験
には、図6に示すような直方体のCG(Computer Graph
ics )合成画像を用いた。
チングを用いた場合に、本実施の形態1にかかる物体追
跡方法が有効であるか否かを実験により確認する。実験
には、図6に示すような直方体のCG(Computer Graph
ics )合成画像を用いた。
【0048】図6において、(a)はグラデーションを
かけた物体の図を、(b)は(a)の姿勢を変更した図
を示している。具体的には、(b)は(a)の姿勢に対
して、カメラ座標系のX、Y、Z軸それぞれについて1
0°の回転を加えている。
かけた物体の図を、(b)は(a)の姿勢を変更した図
を示している。具体的には、(b)は(a)の姿勢に対
して、カメラ座標系のX、Y、Z軸それぞれについて1
0°の回転を加えている。
【0049】また、(c)はメッシュの細かいランダム
桝目模様を付加した物体の図を、(d)はメッシュの粗
いランダム桝目模様を付加した物体の図を、(e)はそ
の中間の粗さのランダム桝目模様を付加した物体の図
を、それぞれ示している。具体的には、(c)、
(d)、(e)のランダム桝目模様は、それぞれ見かけ
上約30画素、3画素、10画素となっている。これ
は、半径1mの球に内接する直方体を5m離れて見るこ
とに相当する。また、(f)は(e)の一つの面を背景
の色と同じ色で塗りつぶした物体の図を示している。
桝目模様を付加した物体の図を、(d)はメッシュの粗
いランダム桝目模様を付加した物体の図を、(e)はそ
の中間の粗さのランダム桝目模様を付加した物体の図
を、それぞれ示している。具体的には、(c)、
(d)、(e)のランダム桝目模様は、それぞれ見かけ
上約30画素、3画素、10画素となっている。これ
は、半径1mの球に内接する直方体を5m離れて見るこ
とに相当する。また、(f)は(e)の一つの面を背景
の色と同じ色で塗りつぶした物体の図を示している。
【0050】本実施の形態1にかかる物体追跡方法で図
6に示す6つの物体について物体追跡を行った結果を
(表1)に示す。
6に示す6つの物体について物体追跡を行った結果を
(表1)に示す。
【0051】
【表1】
【0052】(表1)によると、図6(c)と図6
(f)については大きな追跡誤差が観測されており、物
体追跡が失敗に終わっていることを示している。
(f)については大きな追跡誤差が観測されており、物
体追跡が失敗に終わっていることを示している。
【0053】図6(c)については、模様のメッシュが
細かいために、1/2画像に縮小すると模様が認識でき
なくなることが原因と考えられる。また、図6(f)に
ついては、二面だけでは三次元物体として追跡が不安定
となってしまうことを示している。
細かいために、1/2画像に縮小すると模様が認識でき
なくなることが原因と考えられる。また、図6(f)に
ついては、二面だけでは三次元物体として追跡が不安定
となってしまうことを示している。
【0054】他のケースについては、物体追跡が正常に
完了していることから、本実施の形態1においては、グ
ラデーションのような明度勾配を有する、あるいは
(e)程度に認識できる模様が付されていることが必要
であることがわかる。しかしながら、従来の方法と比べ
て、前後のフレーム間において対応する特徴点を特定す
ることが容易である事実には変わりはなく、確率論によ
らずに精度良く物体追跡を行うことができる。
完了していることから、本実施の形態1においては、グ
ラデーションのような明度勾配を有する、あるいは
(e)程度に認識できる模様が付されていることが必要
であることがわかる。しかしながら、従来の方法と比べ
て、前後のフレーム間において対応する特徴点を特定す
ることが容易である事実には変わりはなく、確率論によ
らずに精度良く物体追跡を行うことができる。
【0055】以上のように本実施の形態1によれば、事
前に追跡対象となる物体の形状及びテクスチャ(模様)
を把握していることから、その移動等による変化を容易
に予測することができ、かかると即に基づいて前後のフ
レーム間の対応、及び移動後の物体の位置及び向きを定
めることから、精度良く物体追跡を行うことが可能とな
る。
前に追跡対象となる物体の形状及びテクスチャ(模様)
を把握していることから、その移動等による変化を容易
に予測することができ、かかると即に基づいて前後のフ
レーム間の対応、及び移動後の物体の位置及び向きを定
めることから、精度良く物体追跡を行うことが可能とな
る。
【0056】(実施の形態2)次に本発明の実施の形態
2にかかる物体追跡装置について、図面を参照しながら
説明する。図7は本発明の実施の形態2にかかる物体追
跡装置のブロック構成図である。図7では、実施の形態
1の構成に加えて、フレーム間対応及び物体移動状態同
時確定部23の前に、カメラ等の手ぶれによる位置ズレ
を検出する位置ズレ検出部71を有することに特徴があ
る。
2にかかる物体追跡装置について、図面を参照しながら
説明する。図7は本発明の実施の形態2にかかる物体追
跡装置のブロック構成図である。図7では、実施の形態
1の構成に加えて、フレーム間対応及び物体移動状態同
時確定部23の前に、カメラ等の手ぶれによる位置ズレ
を検出する位置ズレ検出部71を有することに特徴があ
る。
【0057】本実施の形態2において位置ズレとは、図
8に示すように行方向もしくは列方向の平行移動を意味
する。なお、カメラの姿勢の変化によってはカメラのロ
ールに相当する回転移動をも含む方が良い。また、位置
の検出自体は実施の形態1にいうフレーム間対応及び物
体移動状態同時確定部23における方法で行うことがで
きることから、位置ズレ検出部71ではメッシュの粗い
検索で良い。例えば、1/4に縮小した画像等を用いる
ことも可能である。
8に示すように行方向もしくは列方向の平行移動を意味
する。なお、カメラの姿勢の変化によってはカメラのロ
ールに相当する回転移動をも含む方が良い。また、位置
の検出自体は実施の形態1にいうフレーム間対応及び物
体移動状態同時確定部23における方法で行うことがで
きることから、位置ズレ検出部71ではメッシュの粗い
検索で良い。例えば、1/4に縮小した画像等を用いる
ことも可能である。
【0058】位置ズレが事前に検出されていることで、
フレーム間対応の計算精度を向上させることができ、物
体移動状態についても追跡精度を向上させることが期待
できる。
フレーム間対応の計算精度を向上させることができ、物
体移動状態についても追跡精度を向上させることが期待
できる。
【0059】位置ズレを検出するための探索範囲は、図
8に示すように、前フレームの投影位置を中心として、
画面上で行方向及び列方向にずらした正方形の範囲内で
あり、その範囲内を離散的に探索すれば足りる。したが
って、各位置における投影像を中心とした回転について
も、同様に探索することができる。
8に示すように、前フレームの投影位置を中心として、
画面上で行方向及び列方向にずらした正方形の範囲内で
あり、その範囲内を離散的に探索すれば足りる。したが
って、各位置における投影像を中心とした回転について
も、同様に探索することができる。
【0060】探索の評価値E2 としては、前フレームI
i における画像座標(ri ,ci )における画素と、当
該画素を次のフレームIi+1 上でずらした画像座標(r
i+1,ci+1 )における画素の明度差の総和とする方法
が考えられる。(ri0,ci0)をIi における投影領域
の中心、Δr、Δc、θをそれぞれ、行方向の平行移動
量、列方向の平行移動量、回転量とすると、E2 は(数
7)のように表すことができる。
i における画像座標(ri ,ci )における画素と、当
該画素を次のフレームIi+1 上でずらした画像座標(r
i+1,ci+1 )における画素の明度差の総和とする方法
が考えられる。(ri0,ci0)をIi における投影領域
の中心、Δr、Δc、θをそれぞれ、行方向の平行移動
量、列方向の平行移動量、回転量とすると、E2 は(数
7)のように表すことができる。
【0061】
【数7】
【0062】ここで、Ni,i+1は(ri+1 ,ci+1 )が
フレームIi+1 をはみださないフレームIi 上のモデル
領域を意味する。かかるE2 が小さいほど、見かけの像
が近似していることを示している。
フレームIi+1 をはみださないフレームIi 上のモデル
領域を意味する。かかるE2 が小さいほど、見かけの像
が近似していることを示している。
【0063】次に、実施の形態1と同様に、本実施の形
態2にかかる物体追跡方法における物体の位置ズレ検出
方法が有効であるか否かを実験により確認する。実験に
は、図9に示すようなランダムなモザイク模様をテクス
チャとして有する直方体のCG合成画像を用いた。
態2にかかる物体追跡方法における物体の位置ズレ検出
方法が有効であるか否かを実験により確認する。実験に
は、図9に示すようなランダムなモザイク模様をテクス
チャとして有する直方体のCG合成画像を用いた。
【0064】図9において、(a)を前フレームとし、
カメラ座標系Y、Z軸周りに3°ずつ12°まで回転さ
せた24枚の画像を次フレームとした。(b)はカメラ
座標系Z軸回りに最大角12°回転させたもの、(c)
はカメラ座標系Y軸回りに最大角12°回転させたも
の、(d)はカメラ座標系Y軸、Z軸回りに、それぞれ
最大角12°回転させたもの、を示している。なお、φ
はカメラ座標系Y軸周りの回転角を、κはカメラ座標系
Z軸周りの回転角を、それぞれ示す。
カメラ座標系Y、Z軸周りに3°ずつ12°まで回転さ
せた24枚の画像を次フレームとした。(b)はカメラ
座標系Z軸回りに最大角12°回転させたもの、(c)
はカメラ座標系Y軸回りに最大角12°回転させたも
の、(d)はカメラ座標系Y軸、Z軸回りに、それぞれ
最大角12°回転させたもの、を示している。なお、φ
はカメラ座標系Y軸周りの回転角を、κはカメラ座標系
Z軸周りの回転角を、それぞれ示す。
【0065】カメラ座標系のY軸回り、Z軸回りの回転
量と、本実施の形態2における位置ズレ検出の結果との
関係を(表2)に示す。三次元的には、Z軸回りの回転
角度とθが一致し、かつΔr、Δcともに0(ゼロ)を
示すと正解となる。
量と、本実施の形態2における位置ズレ検出の結果との
関係を(表2)に示す。三次元的には、Z軸回りの回転
角度とθが一致し、かつΔr、Δcともに0(ゼロ)を
示すと正解となる。
【0066】
【表2】
【0067】なお、(表2)の値は、Δcとθの対を表
しており、Δrは0(ゼロ)としている。(表2)の結
果から明らかなように、カメラ座標系Y軸回りの回転角
φ及びカメラ座標系Z軸回りの回転角κともに6°前後
までは精度良く位置ズレを検出できていることがわか
る。一般に手ぶれ等による位置ズレは、カメラ座標系Y
軸回り及びカメラ座標系Z軸回りについて最大約6°前
後であることから、本実施の形態2における位置ズレ検
出方法は、実用上問題ないものと考える。
しており、Δrは0(ゼロ)としている。(表2)の結
果から明らかなように、カメラ座標系Y軸回りの回転角
φ及びカメラ座標系Z軸回りの回転角κともに6°前後
までは精度良く位置ズレを検出できていることがわか
る。一般に手ぶれ等による位置ズレは、カメラ座標系Y
軸回り及びカメラ座標系Z軸回りについて最大約6°前
後であることから、本実施の形態2における位置ズレ検
出方法は、実用上問題ないものと考える。
【0068】以上のように本実施の形態2によれば、追
跡対象となる物体の位置ズレ、すなわちカメラの手ぶれ
等による位置ズレを的確に把握することができ、手ぶれ
によって生ずる物体追跡誤差を小さくすることが可能と
なる。
跡対象となる物体の位置ズレ、すなわちカメラの手ぶれ
等による位置ズレを的確に把握することができ、手ぶれ
によって生ずる物体追跡誤差を小さくすることが可能と
なる。
【0069】次に、本発明の実施の形態にかかる物体追
跡装置を実現するプログラムの処理の流れについて説明
する。図10に本発明の実施の形態にかかる物体追跡装
置を実現するプログラムの処理の流れ図を示す。
跡装置を実現するプログラムの処理の流れについて説明
する。図10に本発明の実施の形態にかかる物体追跡装
置を実現するプログラムの処理の流れ図を示す。
【0070】図10において、まず追跡対象となる物体
の映っている動画像を入力する)ステップS101)。
そして、追跡対象となる物体について、その形状やテク
スチャ(模様)について保存しておく(ステップS10
2)。
の映っている動画像を入力する)ステップS101)。
そして、追跡対象となる物体について、その形状やテク
スチャ(模様)について保存しておく(ステップS10
2)。
【0071】次に、保存しておいた追跡対象となる物体
についての形状やテクスチャ(模様)に基づいて、前後
のフレーム間における物体の対応付けを求めると同時
に、物体の移動後の位置や向きを確定する(ステップS
103)。この際に、追跡対象となる物体において、新
たな形状や新たなテクスチャ(模様)が生じた場合には
(ステップS104:Yes)、かかる形状やテクスチ
ャ(模様)についても保存対象とする(ステップS10
5)。
についての形状やテクスチャ(模様)に基づいて、前後
のフレーム間における物体の対応付けを求めると同時
に、物体の移動後の位置や向きを確定する(ステップS
103)。この際に、追跡対象となる物体において、新
たな形状や新たなテクスチャ(模様)が生じた場合には
(ステップS104:Yes)、かかる形状やテクスチ
ャ(模様)についても保存対象とする(ステップS10
5)。
【0072】最後に、追跡の結果を画像表示、ファイル
出力、あるいは他のプログラムへの送信という形で出力
する(ステップS106)。
出力、あるいは他のプログラムへの送信という形で出力
する(ステップS106)。
【0073】本発明の実施の形態にかかる物体追跡装置
を実現するプログラムを記憶した記録媒体は、図11に
示す記録媒体の例に示すように、CD−ROM112−
1やフロッピーディスク112−2等の可搬型記録媒体
112だけでなく、通信回線の先に備えられた他の記憶
装置111や、コンピュータ113のハードディスクや
RAM等の記録媒体114のいずれでも良く、プログラ
ム実行時には、プログラムはローディングされ、主メモ
リ上で実行される。
を実現するプログラムを記憶した記録媒体は、図11に
示す記録媒体の例に示すように、CD−ROM112−
1やフロッピーディスク112−2等の可搬型記録媒体
112だけでなく、通信回線の先に備えられた他の記憶
装置111や、コンピュータ113のハードディスクや
RAM等の記録媒体114のいずれでも良く、プログラ
ム実行時には、プログラムはローディングされ、主メモ
リ上で実行される。
【0074】また、本発明の実施の形態にかかる物体追
跡装置により生成された〜データ等を記録した記録媒体
も、図11に示す記録媒体の例に示すように、CD−R
OM112−1やフロッピーディスク112−2等の可
搬型記録媒体112だけでなく、通信回線の先に備えら
れた他の記憶装置111や、コンピュータ113のハー
ドディスクやRAM等の記録媒体114のいずれでも良
く、例えば本発明にかかる物体追跡装置を利用する際に
コンピュータ113により読み取られる。
跡装置により生成された〜データ等を記録した記録媒体
も、図11に示す記録媒体の例に示すように、CD−R
OM112−1やフロッピーディスク112−2等の可
搬型記録媒体112だけでなく、通信回線の先に備えら
れた他の記憶装置111や、コンピュータ113のハー
ドディスクやRAM等の記録媒体114のいずれでも良
く、例えば本発明にかかる物体追跡装置を利用する際に
コンピュータ113により読み取られる。
【0075】
【発明の効果】以上のように本発明にかかる物体追跡装
置によれば、事前に追跡対象となる物体の形状及びテク
スチャ(模様)を把握していることから、その移動等に
よる変化を容易に予測することができ、かかると即に基
づいて前後のフレーム間の対応、及び移動後の物体の位
置及び向きを定めることから、精度良く物体追跡を行う
ことが可能となる。
置によれば、事前に追跡対象となる物体の形状及びテク
スチャ(模様)を把握していることから、その移動等に
よる変化を容易に予測することができ、かかると即に基
づいて前後のフレーム間の対応、及び移動後の物体の位
置及び向きを定めることから、精度良く物体追跡を行う
ことが可能となる。
【図1】 従来の物体追跡装置のブロック構成図
【図2】 本発明の実施の形態1にかかる物体追跡装置
のブロック構成図
のブロック構成図
【図3】 モデル座標系の説明図
【図4】 本発明の実施の形態1にかかる物体追跡装置
における初期フレームにおける位置決めの説明図
における初期フレームにおける位置決めの説明図
【図5】 本発明の実施の形態1にかかる物体追跡装置
における前後フレーム間の関係説明図
における前後フレーム間の関係説明図
【図6】 本発明の実施の形態1にかかる物体追跡装置
の有効性実験に用いるCG合成画像を示す図
の有効性実験に用いるCG合成画像を示す図
【図7】 本発明の実施の形態2にかかる物体追跡装置
のブロック構成図
のブロック構成図
【図8】 本発明の実施の形態2にかかる物体追跡装置
における探索範囲の説明図
における探索範囲の説明図
【図9】 本発明の実施の形態2にかかる物体追跡装置
における位置ズレ検出方法の有効性実験に用いるCG合
成画像を示す図
における位置ズレ検出方法の有効性実験に用いるCG合
成画像を示す図
【図10】 本発明の実施の形態1にかかる物体追跡装
置における処理の流れ図
置における処理の流れ図
【図11】 記録媒体の例示図
11 動画像入力部 12 フレーム間対応決定部 13 物体移動状態確定部 14 追跡結果出力部 21 初期位置決定部 22 既知物体記憶部 23 フレーム間対応及び物体移動状態同時決定部 71 位置ズレ検出部 111 回線先の記憶装置 112 CD−ROMやフロッピーディスク等の可搬型
記録媒体 112−1 CD−ROM 112−2 フロッピーディスク 113 コンピュータ 114 コンピュータ上のRAM/ハードディスク等の
記録媒体
記録媒体 112−1 CD−ROM 112−2 フロッピーディスク 113 コンピュータ 114 コンピュータ上のRAM/ハードディスク等の
記録媒体
Claims (5)
- 【請求項1】 動画像データを入力する動画像入力部
と、 初期フレームを指定する初期フレーム指定部と、 追跡対象となる物体の形状及びテクスチャを事前に記憶
する既知物体記憶部と、 前記既知物体記憶部に記憶されている前記追跡対象とな
る物体の形状及びテクスチャに基づいて、前記初期フレ
ームにおける前記追跡対象となる物体の位置及び向きを
決定する初期位置決定部と、 前記追跡対象となる物体について、前記初期フレームを
起点とする二つの連続した基準フレームと追跡対象フレ
ームの間の対応を求めるフレーム間対応決定部と、 前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定する物体移動状態確定部と、 前記追跡対象となる物体についての追跡結果を出力する
追跡結果出力部とを含み、 前記追跡対象となる物体について、前記基準フレームと
前記追跡対象フレームとの間の対応を求めると同時に、
前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定することを特徴とする物体追跡装
置。 - 【請求項2】 前記追跡対象となる物体について、前記
追跡対象フレームにおいて新たな形状及びテクスチャが
生じた場合に、前記新たな形状及びテクスチャについて
も前記既知物体記憶部に記憶させる請求項1記載の物体
追跡装置。 - 【請求項3】 前記追跡対象となる物体について、前記
基準フレームと前記追跡対象フレームとの間の対応を求
めると同時に、前記追跡対象となる物体の前記追跡対象
フレームにおける物体の位置及び向きを確定する前に、
前記追跡対象フレームにおける前記追跡対象となる物体
の位置ズレを検出する位置ズレ検出部をさらに含む請求
項1記載の物体追跡装置。 - 【請求項4】 動画像データを入力する工程と、 初期フレームを指定する工程と、 追跡対象となる物体の形状及びテクスチャを事前に記憶
する工程と、 記憶されている前記追跡対象となる物体の形状及びテク
スチャに基づいて、前記初期フレームにおける前記追跡
対象となる物体の位置及び向きを決定する工程と、 前記追跡対象となる物体について、前記初期フレームを
起点とする二つの連続した基準フレームと追跡対象フレ
ームの間の対応を求める工程と、 前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定する工程と、 前記追跡対象となる物体についての追跡結果を出力する
工程とを含み、 前記追跡対象となる物体について、前記基準フレームと
前記追跡対象フレームとの間の対応を求めると同時に、
前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定することを特徴とする物体追跡方
法。 - 【請求項5】 動画像データを入力するステップと、 初期フレームを指定するステップと、 追跡対象となる物体の形状及びテクスチャを事前に記憶
するステップと、 記憶されている前記追跡対象となる物体の形状及びテク
スチャに基づいて、前記初期フレームにおける前記追跡
対象となる物体の位置及び向きを決定するステップと、 前記追跡対象となる物体について、前記初期フレームを
起点とする二つの連続した基準フレームと追跡対象フレ
ームの間の対応を求めるステップと、 前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定するステップと、 前記追跡対象となる物体についての追跡結果を出力する
ステップとを含み、 前記追跡対象となる物体について、前記基準フレームと
前記追跡対象フレームとの間の対応を求めると同時に、
前記追跡対象となる物体の前記追跡対象フレームにおけ
る位置及び向きを確定することを特徴とするコンピュー
タに実行させるプログラムを記録したコンピュータ読み
取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11156004A JP2000348186A (ja) | 1999-06-03 | 1999-06-03 | 物体追跡装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11156004A JP2000348186A (ja) | 1999-06-03 | 1999-06-03 | 物体追跡装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000348186A true JP2000348186A (ja) | 2000-12-15 |
Family
ID=15618236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11156004A Withdrawn JP2000348186A (ja) | 1999-06-03 | 1999-06-03 | 物体追跡装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000348186A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005043466A1 (ja) * | 2003-10-30 | 2005-05-12 | Nec Corporation | 物体の状態を推定する推定システム、推定方法および推定プログラム |
JP2008005478A (ja) * | 2006-05-24 | 2008-01-10 | Kazuo Iwane | 湧きだし点基準cv領域画像前置装置 |
KR20190001341A (ko) * | 2017-06-27 | 2019-01-04 | 주식회사 아이피엘 | 실시간 객체 트래킹 방법 및 장치 |
JP2022044445A (ja) * | 2020-09-07 | 2022-03-17 | 三菱重工業株式会社 | 画像追跡装置、画像追跡システム、画像追跡方法及びプログラム |
-
1999
- 1999-06-03 JP JP11156004A patent/JP2000348186A/ja not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005043466A1 (ja) * | 2003-10-30 | 2005-05-12 | Nec Corporation | 物体の状態を推定する推定システム、推定方法および推定プログラム |
KR100886439B1 (ko) * | 2003-10-30 | 2009-03-04 | 닛본 덴끼 가부시끼가이샤 | 물체 상태를 추정하는 추정 시스템, 추정 방법, 및 추정프로그램 |
US7809159B2 (en) | 2003-10-30 | 2010-10-05 | Nec Corporation | Estimation system, estimation method, and estimation program for estimating object state |
CN102298778A (zh) * | 2003-10-30 | 2011-12-28 | 日本电气株式会社 | 用于估计对象状态的估计系统、估计方法和估计程序 |
JP2008005478A (ja) * | 2006-05-24 | 2008-01-10 | Kazuo Iwane | 湧きだし点基準cv領域画像前置装置 |
KR20190001341A (ko) * | 2017-06-27 | 2019-01-04 | 주식회사 아이피엘 | 실시간 객체 트래킹 방법 및 장치 |
KR101999338B1 (ko) | 2017-06-27 | 2019-07-11 | 주식회사 아이피엘 | 실시간 객체 트래킹 방법 및 장치 |
JP2022044445A (ja) * | 2020-09-07 | 2022-03-17 | 三菱重工業株式会社 | 画像追跡装置、画像追跡システム、画像追跡方法及びプログラム |
JP7474662B2 (ja) | 2020-09-07 | 2024-04-25 | 三菱重工業株式会社 | 画像追跡装置、画像追跡システム、画像追跡方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
US20200096317A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
JP6842039B2 (ja) | カメラ位置姿勢推定装置、方法およびプログラム | |
JP6507730B2 (ja) | 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム | |
JP3859574B2 (ja) | 3次元視覚センサ | |
JP5362189B2 (ja) | 画像処理装置及びその処理方法 | |
JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
JP2000011172A (ja) | 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体 | |
JP5093591B2 (ja) | 三次元位置姿勢計測方法および装置 | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
JP2008309595A (ja) | オブジェクト認識装置及びそれに用いられるプログラム | |
JP4694624B2 (ja) | 画像補正装置及び方法、並びにコンピュータプログラム | |
JP5698815B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP4851240B2 (ja) | 画像処理装置及びその処理方法 | |
JP2730457B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
JP4809134B2 (ja) | 画像処理装置及びその処理方法 | |
CN107820041B (zh) | 隐私遮挡方法及装置 | |
JP2015135333A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP2000348186A (ja) | 物体追跡装置及び方法 | |
JPH1079027A (ja) | 移動カメラ用の画像処理装置 | |
JP4813263B2 (ja) | 画像処理装置及びその処理方法 | |
JP3516668B2 (ja) | 3次元形状認識方法、装置およびプログラム | |
JPH11194027A (ja) | 三次元座標計測装置 | |
JPH06258028A (ja) | 視覚に基く三次元位置および姿勢の認識方法とその装置 | |
JP7096176B2 (ja) | 物体位置推定装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060905 |