JP2003178310A - 物体画像追跡方法及びプログラム - Google Patents
物体画像追跡方法及びプログラムInfo
- Publication number
- JP2003178310A JP2003178310A JP2001374819A JP2001374819A JP2003178310A JP 2003178310 A JP2003178310 A JP 2003178310A JP 2001374819 A JP2001374819 A JP 2001374819A JP 2001374819 A JP2001374819 A JP 2001374819A JP 2003178310 A JP2003178310 A JP 2003178310A
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- tracking
- frame
- correlation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】テンプレートマッチング時のテンプレート更新
のタイミングを適切に決定して高精度のテンプレートマ
ッチングを可能にする物体画像追跡方法及びプログラム
を提供すること 【解決手段】現在使用中のテンプレートを含む第１の画
像と、新規テンプレート候補を含む第２の画像と、探索
対象の第３の画像に対して、現在使用中のテンプレート
と第３の画像とのテンプレートマッチングの誤差ベクト
ルの推定分散共分散行列と、現在使用中のテンプレート
と第２の画像とのテンプレートマッチングの誤差ベクト
ルの推定分散共分散行列と、第２の画像における第１の
テンプレートと最も相関の高かったマッチング領域（新
規テンプレート候補）と第３の画像とのテンプレートマ
ッチングの誤差ベクトルの推定分散共分散行列の和を比
較し、テンプレートを更新すべきか否かを判定する。
のタイミングを適切に決定して高精度のテンプレートマ
ッチングを可能にする物体画像追跡方法及びプログラム
を提供すること 【解決手段】現在使用中のテンプレートを含む第１の画
像と、新規テンプレート候補を含む第２の画像と、探索
対象の第３の画像に対して、現在使用中のテンプレート
と第３の画像とのテンプレートマッチングの誤差ベクト
ルの推定分散共分散行列と、現在使用中のテンプレート
と第２の画像とのテンプレートマッチングの誤差ベクト
ルの推定分散共分散行列と、第２の画像における第１の
テンプレートと最も相関の高かったマッチング領域（新
規テンプレート候補）と第３の画像とのテンプレートマ
ッチングの誤差ベクトルの推定分散共分散行列の和を比
較し、テンプレートを更新すべきか否かを判定する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像中の物体の移
動（動き）をテンプレートマッチングを利用して追跡す
る物体画像追跡方法及びプログラムに関する。より詳し
くは、テンプレートマッチングにおける追跡精度の向上
に関する。
動（動き）をテンプレートマッチングを利用して追跡す
る物体画像追跡方法及びプログラムに関する。より詳し
くは、テンプレートマッチングにおける追跡精度の向上
に関する。
【０００２】
【従来の技術】画像処理の分野において、テンプレート
マッチングは参照画像中の点または領域が対象画像中の
どの点または領域と対応するかを見つけ出す基本的な方
法として頻繁に利用されている。例えば、動画像中に描
出される物体の移動（動き）を追跡する目的で、先頭の
画像フレーム（以下、単に「フレーム」という）におけ
る物体領域全体またはその一部をテンプレート画像とし
て定め、該テンプレート画像と似た画像領域（相関の高
い領域）が次のフレーム中のどこにあるかを探し出すこ
とで、移動先を判断するというものである。
マッチングは参照画像中の点または領域が対象画像中の
どの点または領域と対応するかを見つけ出す基本的な方
法として頻繁に利用されている。例えば、動画像中に描
出される物体の移動（動き）を追跡する目的で、先頭の
画像フレーム（以下、単に「フレーム」という）におけ
る物体領域全体またはその一部をテンプレート画像とし
て定め、該テンプレート画像と似た画像領域（相関の高
い領域）が次のフレーム中のどこにあるかを探し出すこ
とで、移動先を判断するというものである。
【０００３】このような動画像における移動物体追跡
は、物体の変形の影響を強く受けてテンプレート画像と
その対応画像との相関値が低下してしまうことが問題に
なる。例えば、物体全体に相当する画像を一つのテンプ
レート画像として用いた場合などにその影響は顕著とな
る。したがって、物体領域内に適当な数の追跡点を限定
的に定め、このような追跡点を含む適当なサイズのテン
プレート画像のそれぞれについてテンプレートマッチン
グを行い、これらテンプレートマッチングの結果から総
合的に物体の移動先を判断することが行われている。こ
こで、追跡点の数（テンプレート画像の数）はなるべく
少なくしたほうが計算時間の向上に有利であることか
ら、精度の高い追跡点を選択する方法を見いだすことが
一つの問題である。
は、物体の変形の影響を強く受けてテンプレート画像と
その対応画像との相関値が低下してしまうことが問題に
なる。例えば、物体全体に相当する画像を一つのテンプ
レート画像として用いた場合などにその影響は顕著とな
る。したがって、物体領域内に適当な数の追跡点を限定
的に定め、このような追跡点を含む適当なサイズのテン
プレート画像のそれぞれについてテンプレートマッチン
グを行い、これらテンプレートマッチングの結果から総
合的に物体の移動先を判断することが行われている。こ
こで、追跡点の数（テンプレート画像の数）はなるべく
少なくしたほうが計算時間の向上に有利であることか
ら、精度の高い追跡点を選択する方法を見いだすことが
一つの問題である。
【０００４】また別の問題として、テンプレートの更新
方法がある。追跡の初期においては、先頭のフレームに
おける追跡点周辺の画像をテンプレート画像として用い
るが、このテンプレート画像を使って追跡を行い続ける
と、追跡対象の物体画像の変形が無視できないほど大き
くなり、やがては追跡に失敗してしまう。一方、テンプ
レートマッチングを行うことで新しい画像中の追跡点を
推定できるが、毎回、新しい追跡点周辺の画像をテンプ
レート画像として更新すると、追跡点の位置の推定誤差
が蓄積し、徐々に追跡性能が劣化してしまう。すなわ
ち、テンプレートマッチングの精度向上のためには、テ
ンプレート画像を適切に定めることに加え、適切なタイ
ミングでテンプレート画像を更新することが必要であ
る。
方法がある。追跡の初期においては、先頭のフレームに
おける追跡点周辺の画像をテンプレート画像として用い
るが、このテンプレート画像を使って追跡を行い続ける
と、追跡対象の物体画像の変形が無視できないほど大き
くなり、やがては追跡に失敗してしまう。一方、テンプ
レートマッチングを行うことで新しい画像中の追跡点を
推定できるが、毎回、新しい追跡点周辺の画像をテンプ
レート画像として更新すると、追跡点の位置の推定誤差
が蓄積し、徐々に追跡性能が劣化してしまう。すなわ
ち、テンプレートマッチングの精度向上のためには、テ
ンプレート画像を適切に定めることに加え、適切なタイ
ミングでテンプレート画像を更新することが必要であ
る。
【０００５】しかしながら、従来用いられているテンプ
レート画像の更新方法は発見的な手法ばかりであり、い
ずれも有効であるとは言い難い。例えば、一定のフレー
ム間隔で強制的にテンプレート画像を更新する方法や、
テンプレートマッチングで得られた相関値または非相関
値と、予め定められた閾（しきい）値との比較に基づい
て更新の要否を判定する方法（参考文献："Recognition
of Space-Time Gestures using a Distributed Repres
entation", by T.J.Darrell and A.P.Pentland, Techni
cal report No.197, Media Laboratory, Massachusetts
Institute ofTechnology, 1993）などである。
レート画像の更新方法は発見的な手法ばかりであり、い
ずれも有効であるとは言い難い。例えば、一定のフレー
ム間隔で強制的にテンプレート画像を更新する方法や、
テンプレートマッチングで得られた相関値または非相関
値と、予め定められた閾（しきい）値との比較に基づい
て更新の要否を判定する方法（参考文献："Recognition
of Space-Time Gestures using a Distributed Repres
entation", by T.J.Darrell and A.P.Pentland, Techni
cal report No.197, Media Laboratory, Massachusetts
Institute ofTechnology, 1993）などである。
【０００６】一定のフレーム間隔で強制的にテンプレー
ト画像を更新する前者の方法は、テンプレート画像の更
新間隔を画像の変形の速さや画像に加わるノイズの大き
さとは無関係に決定するので、変形による追跡性能の劣
化も誤差の蓄積による性能の劣化も根本的には解決しな
い。例えば、変形の激しさの割に長い更新間隔が設定さ
れている場合には、やがて追跡に失敗することになる
し、変形のほとんどない動画像に対して頻繁にテンプレ
ート画像を更新すると誤差の蓄積が避けられない。
ト画像を更新する前者の方法は、テンプレート画像の更
新間隔を画像の変形の速さや画像に加わるノイズの大き
さとは無関係に決定するので、変形による追跡性能の劣
化も誤差の蓄積による性能の劣化も根本的には解決しな
い。例えば、変形の激しさの割に長い更新間隔が設定さ
れている場合には、やがて追跡に失敗することになる
し、変形のほとんどない動画像に対して頻繁にテンプレ
ート画像を更新すると誤差の蓄積が避けられない。
【０００７】一方、相関値または非相関値としきい値と
の比較に基づいてテンプレート画像更新の要否を判定す
る後者の方法は、予め入力される動画像における変形や
ノイズの特徴が十分にわかっている場合には有効である
が、かかる特徴を事前に知り得ない不特定多数の画像を
対象とするような場合には、適切なしきい値の設定が事
実上不可能である。設定されたしきい値が不適切である
場合、前者の方法と同様に、変形による追跡性能の劣化
や誤差の蓄積による性能の劣化が避けられない。
の比較に基づいてテンプレート画像更新の要否を判定す
る後者の方法は、予め入力される動画像における変形や
ノイズの特徴が十分にわかっている場合には有効である
が、かかる特徴を事前に知り得ない不特定多数の画像を
対象とするような場合には、適切なしきい値の設定が事
実上不可能である。設定されたしきい値が不適切である
場合、前者の方法と同様に、変形による追跡性能の劣化
や誤差の蓄積による性能の劣化が避けられない。
【０００８】以上述べたことから、従来、テンプレート
マッチングに基づく移動物体追跡の精度が十分に達成さ
れていないという問題がある。したがって、入力された
動画像に対し、変形による追跡性能の劣化と誤差の蓄積
による性能の劣化のトレードオフを考慮して適応的にテ
ンプレート画像の更新のタイミングを決定する物体画像
追跡方法の提供が求められている。
マッチングに基づく移動物体追跡の精度が十分に達成さ
れていないという問題がある。したがって、入力された
動画像に対し、変形による追跡性能の劣化と誤差の蓄積
による性能の劣化のトレードオフを考慮して適応的にテ
ンプレート画像の更新のタイミングを決定する物体画像
追跡方法の提供が求められている。
【０００９】
【発明が解決しようとする課題】本発明はかかる事情を
考慮してなされたものであり、テンプレート画像を適切
なタイミングで更新し、動画像中の物体追跡を高精度に
行うことのできる物体画像追跡方法を提供することを目
的とする。
考慮してなされたものであり、テンプレート画像を適切
なタイミングで更新し、動画像中の物体追跡を高精度に
行うことのできる物体画像追跡方法を提供することを目
的とする。
【００１０】
【課題を解決するための手段】上記課題を解決し目的を
達成するために本発明は次のように構成されている。
達成するために本発明は次のように構成されている。
【００１１】本発明に係る物体画像追跡方法は、第１の
画像フレームにおける物体上の追跡点を含む第１のテン
プレート画像を定め、第２の画像フレームにおける前記
追跡点の対応点をテンプレートマッチングにより追跡し
たのち、第３の画像フレームにおける前記追跡点の対応
点を追跡するにあたり第１のテンプレート画像から第２
のテンプレート画像へのテンプレート画像更新の要否を
判定する物体画像追跡方法であって、前記第１のテンプ
レート画像を用いたテンプレートマッチングによって前
記第３の画像フレームにおいて追跡される前記対応点を
含む第１探索画像領域と、該第１のテンプレート画像と
の相関値又は非相関値から第１の評価値を算出するステ
ップと、前記第１のテンプレート画像を用いたテンプレ
ートマッチングによって前記第２の画像フレームにおい
て追跡される前記対応点を含む第２探索画像領域と、該
第１のテンプレート画像との相関値又は非相関値、およ
び、該第２探索画像領域を第２のテンプレート画像とし
て用いたテンプレートマッチングによって前記第３の画
像フレームにおいて追跡される前記対応点を含む第３探
索画像領域と、該第２のテンプレート画像との相関値又
は非相関値の両者から第２の評価値を算出するステップ
と、前記第１及び第２の評価値同士の比較に基づいて、
前記第３の画像フレームにおける前記対応点の追跡にあ
たり前記テンプレート画像更新を要するか否かを判定す
るステップと、を具備することを特徴とする。
画像フレームにおける物体上の追跡点を含む第１のテン
プレート画像を定め、第２の画像フレームにおける前記
追跡点の対応点をテンプレートマッチングにより追跡し
たのち、第３の画像フレームにおける前記追跡点の対応
点を追跡するにあたり第１のテンプレート画像から第２
のテンプレート画像へのテンプレート画像更新の要否を
判定する物体画像追跡方法であって、前記第１のテンプ
レート画像を用いたテンプレートマッチングによって前
記第３の画像フレームにおいて追跡される前記対応点を
含む第１探索画像領域と、該第１のテンプレート画像と
の相関値又は非相関値から第１の評価値を算出するステ
ップと、前記第１のテンプレート画像を用いたテンプレ
ートマッチングによって前記第２の画像フレームにおい
て追跡される前記対応点を含む第２探索画像領域と、該
第１のテンプレート画像との相関値又は非相関値、およ
び、該第２探索画像領域を第２のテンプレート画像とし
て用いたテンプレートマッチングによって前記第３の画
像フレームにおいて追跡される前記対応点を含む第３探
索画像領域と、該第２のテンプレート画像との相関値又
は非相関値の両者から第２の評価値を算出するステップ
と、前記第１及び第２の評価値同士の比較に基づいて、
前記第３の画像フレームにおける前記対応点の追跡にあ
たり前記テンプレート画像更新を要するか否かを判定す
るステップと、を具備することを特徴とする。
【００１２】また、本発明に係る物体画像追跡プログラ
ムは、第１の画像フレームにおける物体上の追跡点を含
む第１のテンプレート画像を定め、第２の画像フレーム
における前記追跡点の対応点をテンプレートマッチング
により追跡したのち、第３の画像フレームにおける前記
追跡点の対応点を追跡するにあたり、第１のテンプレー
ト画像から第２のテンプレート画像へのテンプレート画
像更新の要否を判定する物体画像追跡プログラムであっ
て、コンピュータに、前記第１のテンプレート画像を用
いたテンプレートマッチングによって前記第３の画像フ
レームにおいて追跡される前記対応点を含む第１探索画
像領域と、該第１のテンプレート画像との相関値又は非
相関値から第１の評価値を算出するステップと、前記第
１のテンプレート画像を用いたテンプレートマッチング
によって前記第２の画像フレームにおいて追跡される前
記対応点を含む第２探索画像領域と、該第１のテンプレ
ート画像との相関値又は非相関値、および、該第２探索
画像領域を第２のテンプレート画像として用いたテンプ
レートマッチングによって前記第３の画像フレームにお
いて追跡される前記対応点を含む第３探索画像領域と、
該第２のテンプレート画像との相関値又は非相関値の両
者から第２の評価値を算出するステップと、前記第１及
び第２の評価値同士の比較に基づいて、前記第３の画像
フレームにおける前記対応点の追跡にあたり前記テンプ
レート画像更新を要するか否かを判定するステップと、
複数の前記追跡点のそれぞれについて、前記第３の画像
フレームにおける前記対応点の追跡にあたり前記テンプ
レート画像更新を要するか否かを判定し、該更新を要す
る旨判定された割合が所定の閾値を超過した際に、全て
の前記追跡点についてテンプレート画像を更新するステ
ップと、を実行させるためのプログラムである。
ムは、第１の画像フレームにおける物体上の追跡点を含
む第１のテンプレート画像を定め、第２の画像フレーム
における前記追跡点の対応点をテンプレートマッチング
により追跡したのち、第３の画像フレームにおける前記
追跡点の対応点を追跡するにあたり、第１のテンプレー
ト画像から第２のテンプレート画像へのテンプレート画
像更新の要否を判定する物体画像追跡プログラムであっ
て、コンピュータに、前記第１のテンプレート画像を用
いたテンプレートマッチングによって前記第３の画像フ
レームにおいて追跡される前記対応点を含む第１探索画
像領域と、該第１のテンプレート画像との相関値又は非
相関値から第１の評価値を算出するステップと、前記第
１のテンプレート画像を用いたテンプレートマッチング
によって前記第２の画像フレームにおいて追跡される前
記対応点を含む第２探索画像領域と、該第１のテンプレ
ート画像との相関値又は非相関値、および、該第２探索
画像領域を第２のテンプレート画像として用いたテンプ
レートマッチングによって前記第３の画像フレームにお
いて追跡される前記対応点を含む第３探索画像領域と、
該第２のテンプレート画像との相関値又は非相関値の両
者から第２の評価値を算出するステップと、前記第１及
び第２の評価値同士の比較に基づいて、前記第３の画像
フレームにおける前記対応点の追跡にあたり前記テンプ
レート画像更新を要するか否かを判定するステップと、
複数の前記追跡点のそれぞれについて、前記第３の画像
フレームにおける前記対応点の追跡にあたり前記テンプ
レート画像更新を要するか否かを判定し、該更新を要す
る旨判定された割合が所定の閾値を超過した際に、全て
の前記追跡点についてテンプレート画像を更新するステ
ップと、を実行させるためのプログラムである。
【００１３】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施形態を説明する。
の実施形態を説明する。
【００１４】（第一実施形態）図１は本発明の第一実施
形態に係る物体画像追跡装置の概略構成を示すブロック
図である。図１において、１０１は追跡処理を行うコン
ピュータを示している。このコンピュータ１０１は、本
発明に係る物体画像追跡処理を実現するプログラムやデ
ータ等を記憶する主記憶装置１０２と、この主記憶装置
１０２からプログラムやデータを読み出して計算及び制
御を行う中央処理装置１０３を主として構成される。コ
ンピュータ１０１は専用装置である必要はなく、ＰＣや
ＷＳ等の汎用のコンピュータを用いることができるが、
少なくとも処理対象である画像（動画像）を取り込んで
処理することが可能な程度の性能を有していることが必
要である。
形態に係る物体画像追跡装置の概略構成を示すブロック
図である。図１において、１０１は追跡処理を行うコン
ピュータを示している。このコンピュータ１０１は、本
発明に係る物体画像追跡処理を実現するプログラムやデ
ータ等を記憶する主記憶装置１０２と、この主記憶装置
１０２からプログラムやデータを読み出して計算及び制
御を行う中央処理装置１０３を主として構成される。コ
ンピュータ１０１は専用装置である必要はなく、ＰＣや
ＷＳ等の汎用のコンピュータを用いることができるが、
少なくとも処理対象である画像（動画像）を取り込んで
処理することが可能な程度の性能を有していることが必
要である。
【００１５】１０４は、処理の高速化や中央処理装置１
０３の負荷軽減のために設けられ、専ら動画像特有の処
理（例えば、圧縮画像の伸張など）を行う動画像再生装
置である。この動画像再生装置１０４は本発明との関係
においては必須の構成要素ではない。
０３の負荷軽減のために設けられ、専ら動画像特有の処
理（例えば、圧縮画像の伸張など）を行う動画像再生装
置である。この動画像再生装置１０４は本発明との関係
においては必須の構成要素ではない。
【００１６】１０５は表示装置であり、ブラウン管モニ
タや液晶モニタなどに相当する。また１０６は指示入力
装置であり、キーボードやマウス、タッチパネルなどに
相当する。ユーザは指示入力装置１０６を使って追跡の
指示や追跡領域の指定等を行う。
タや液晶モニタなどに相当する。また１０６は指示入力
装置であり、キーボードやマウス、タッチパネルなどに
相当する。ユーザは指示入力装置１０６を使って追跡の
指示や追跡領域の指定等を行う。
【００１７】１０７は動画像データ用の記録媒体であ
り、追跡処理対象の動画像データを記録した光ディス
ク、磁気ディスク、あるいは磁気テープなどの大容量記
録媒体からなる。
り、追跡処理対象の動画像データを記録した光ディス
ク、磁気ディスク、あるいは磁気テープなどの大容量記
録媒体からなる。
【００１８】この記録媒体１０７は、図１に示すように
コンピュータ１０１の外部に設けられているが、同コン
ピュータ１０１の内部に設けられていてもよい。
コンピュータ１０１の外部に設けられているが、同コン
ピュータ１０１の内部に設けられていてもよい。
【００１９】１０８は追跡結果データを記録しておくた
めの記録媒体である。追跡処理を行った結果、得られた
物体の領域情報とその時刻（またはフレーム番号）情報
が対応付けられて記録される。なお、記録媒体１０７及
び１０８は図１に示すように別々の記録媒体としても、
同一の記録媒体としても良い。
めの記録媒体である。追跡処理を行った結果、得られた
物体の領域情報とその時刻（またはフレーム番号）情報
が対応付けられて記録される。なお、記録媒体１０７及
び１０８は図１に示すように別々の記録媒体としても、
同一の記録媒体としても良い。
【００２０】次に、本実施形態に係るテンプレートマッ
チング法を用いた移動物体追跡処理について説明する。
図２はこの移動物体追跡処理を実現する処理の一例を示
すフローチャートである。
チング法を用いた移動物体追跡処理について説明する。
図２はこの移動物体追跡処理を実現する処理の一例を示
すフローチャートである。
【００２１】まずステップＳ２０１では、追跡対象とな
る映像中の先頭のフレームにおいて、追跡したい映像領
域の指定を行う。この処理は、映像の表示を見ながらマ
ウスやタッチパネルなどの入力機器を用いてユーザが行
う。なお、動画像を固定カメラから得る場合などは、画
素ごとの変化量を算出し、所定のしきい値以上の変化が
あった画素領域を移動物体領域として抽出する背景差分
法などを用いることで、ユーザの指示なしに自動的に領
域指定が行えるよう構成しても良い。
る映像中の先頭のフレームにおいて、追跡したい映像領
域の指定を行う。この処理は、映像の表示を見ながらマ
ウスやタッチパネルなどの入力機器を用いてユーザが行
う。なお、動画像を固定カメラから得る場合などは、画
素ごとの変化量を算出し、所定のしきい値以上の変化が
あった画素領域を移動物体領域として抽出する背景差分
法などを用いることで、ユーザの指示なしに自動的に領
域指定が行えるよう構成しても良い。
【００２２】次に、ステップＳ２０２では先頭フレーム
からの追跡点選択処理を行う。先のステップＳ２０１で
指定された映像領域中から、実際にテンプレートマッチ
ングにより追跡を行う画素の選択を行う。通常、この処
理では追跡に適した追跡点が選ばれる。そのための方法
としては、例えば、追跡点周辺の画素値の分散が大きい
点を選ぶ方法やコーナー点を選ぶ方法がある。また、特
開２００１−０６２５６７号公報で提案されている方法
として、推定された誤りの大きさの平均値が小さい点を
選択する方法などがある。
からの追跡点選択処理を行う。先のステップＳ２０１で
指定された映像領域中から、実際にテンプレートマッチ
ングにより追跡を行う画素の選択を行う。通常、この処
理では追跡に適した追跡点が選ばれる。そのための方法
としては、例えば、追跡点周辺の画素値の分散が大きい
点を選ぶ方法やコーナー点を選ぶ方法がある。また、特
開２００１−０６２５６７号公報で提案されている方法
として、推定された誤りの大きさの平均値が小さい点を
選択する方法などがある。
【００２３】ステップＳ２０３はステップＳ２０２にお
いて選択された追跡点についての追跡処理（テンプレー
トマッチング）である。ここでは、すでに先頭フレーム
における追跡点に対応する位置がわかっているフレーム
（参照フレーム）と、これから対応点を求めたいフレー
ムとの間におけるテンプレートマッチングに基づいて追
跡を行う。参照フレームにおけるテンプレート画像と、
フレームにおける対応点候補の周辺画像領域との相関値
（または非相関値）を算出し、最も相関値の高い（また
は最も非相関値の低い）対応点候補を追跡点の対応点で
あると判定する。相関値としては画像間の相関係数を用
いることができ、また非相関値としては画素値の差分の
二乗和、画素値の絶対値差分の和、（画素値の分散によ
る）正規化した画素値の差分の二乗和などを用いること
ができる（参考文献：「画像処理ハンドブック」，東京
大学出版会，１９９１年）。テンプレートマッチングに
用いるテンプレート画像としては、本実施形態では追跡
点の周辺領域に相当する画像部分を用いることとする
が、処理を簡単にするために、追跡点を中心とするブロ
ック領域を用いることも多く、この場合は、通常、テン
プレートマッチングではなく「ブロックマッチング」と
呼ばれる。
いて選択された追跡点についての追跡処理（テンプレー
トマッチング）である。ここでは、すでに先頭フレーム
における追跡点に対応する位置がわかっているフレーム
（参照フレーム）と、これから対応点を求めたいフレー
ムとの間におけるテンプレートマッチングに基づいて追
跡を行う。参照フレームにおけるテンプレート画像と、
フレームにおける対応点候補の周辺画像領域との相関値
（または非相関値）を算出し、最も相関値の高い（また
は最も非相関値の低い）対応点候補を追跡点の対応点で
あると判定する。相関値としては画像間の相関係数を用
いることができ、また非相関値としては画素値の差分の
二乗和、画素値の絶対値差分の和、（画素値の分散によ
る）正規化した画素値の差分の二乗和などを用いること
ができる（参考文献：「画像処理ハンドブック」，東京
大学出版会，１９９１年）。テンプレートマッチングに
用いるテンプレート画像としては、本実施形態では追跡
点の周辺領域に相当する画像部分を用いることとする
が、処理を簡単にするために、追跡点を中心とするブロ
ック領域を用いることも多く、この場合は、通常、テン
プレートマッチングではなく「ブロックマッチング」と
呼ばれる。
【００２４】しかし、任意の形状のテンプレート画像を
用いてもこの後説明する処理は実現可能である。以下で
は、任意のフレームにおける先頭フレームの追跡点の推
定対応点も単に追跡点と呼ぶ。任意の時点での追跡点と
テンプレート画像は１対１に対応するため、両者を同一
に扱うことがある。また、テンプレート画像を単にテン
プレートとも呼ぶことにする。
用いてもこの後説明する処理は実現可能である。以下で
は、任意のフレームにおける先頭フレームの追跡点の推
定対応点も単に追跡点と呼ぶ。任意の時点での追跡点と
テンプレート画像は１対１に対応するため、両者を同一
に扱うことがある。また、テンプレート画像を単にテン
プレートとも呼ぶことにする。
【００２５】ステップＳ２０４は追跡結果の修正処理で
ある。ステップＳ２０３で行った追跡処理（テンプレー
トマッチング）では、個々の追跡点の移動先は必ずしも
正しく推定されているとは限らない。そこで、フレーム
全体の追跡結果を見ながら誤っていると思われる追跡結
果を修正する処理を行う。この処理には様々な手法が適
用できる。例えば、物体の変形モデルを用意しておき、
ロバスト推定に基づいて各追跡点の移動先を決定する手
法（特開２０００−１３２６９１号公報）である。当該
ステップＳ２０４は省略することも可能である。
ある。ステップＳ２０３で行った追跡処理（テンプレー
トマッチング）では、個々の追跡点の移動先は必ずしも
正しく推定されているとは限らない。そこで、フレーム
全体の追跡結果を見ながら誤っていると思われる追跡結
果を修正する処理を行う。この処理には様々な手法が適
用できる。例えば、物体の変形モデルを用意しておき、
ロバスト推定に基づいて各追跡点の移動先を決定する手
法（特開２０００−１３２６９１号公報）である。当該
ステップＳ２０４は省略することも可能である。
【００２６】ステップＳ２０５では、追跡処理を継続す
るか否かを判定する。追跡対象の全フレームについての
処理が終了した場合、追跡対象領域が画像外に移動した
場合、追跡結果の信頼性が低い場合などが追跡処理の終
了条件である。
るか否かを判定する。追跡対象の全フレームについての
処理が終了した場合、追跡対象領域が画像外に移動した
場合、追跡結果の信頼性が低い場合などが追跡処理の終
了条件である。
【００２７】ステップＳ２０６はテンプレートの更新判
定処理である。ここでは、ステップＳ２０３の追跡処理
で用いたテンプレートを保持するか、もしくはより新し
いテンプレートに更新するかを判定する。本実施形態の
特徴は、このテンプレート更新の判定方法にあるので、
当該処理については後に詳細に説明する。
定処理である。ここでは、ステップＳ２０３の追跡処理
で用いたテンプレートを保持するか、もしくはより新し
いテンプレートに更新するかを判定する。本実施形態の
特徴は、このテンプレート更新の判定方法にあるので、
当該処理については後に詳細に説明する。
【００２８】ステップＳ２０７はテンプレートの更新処
理である。ステップＳ２０６で更新が必要であると判定
された場合に限り、テンプレートの更新を行う。
理である。ステップＳ２０６で更新が必要であると判定
された場合に限り、テンプレートの更新を行う。
【００２９】ステップＳ２０８は画像の更新処理であ
る。新たに追跡点の移動先を求めたいフレームが読み込
まれた後、ステップＳ２０３以降の処理が繰り返され
る。
る。新たに追跡点の移動先を求めたいフレームが読み込
まれた後、ステップＳ２０３以降の処理が繰り返され
る。
【００３０】以上の処理により、追跡領域の代表として
選ばれた追跡点の各フレームにおける移動先が決定され
る。各々の追跡点の移動先（対応点）により構成される
領域が必要な場合は、追跡点の移動の仕方から領域全体
の変形を推定し、推定された変形を先頭フレームの追跡
領域に施す処理を行えばよい。例えば、変形モデルとし
てアフィン変換を仮定し、追跡点の移動から６つのアフ
ィン変換のパラメータを（最小２乗法などの手法で）推
定し、推定されたアフィン変換によって先頭フレームの
追跡領域を変形することができる。
選ばれた追跡点の各フレームにおける移動先が決定され
る。各々の追跡点の移動先（対応点）により構成される
領域が必要な場合は、追跡点の移動の仕方から領域全体
の変形を推定し、推定された変形を先頭フレームの追跡
領域に施す処理を行えばよい。例えば、変形モデルとし
てアフィン変換を仮定し、追跡点の移動から６つのアフ
ィン変換のパラメータを（最小２乗法などの手法で）推
定し、推定されたアフィン変換によって先頭フレームの
追跡領域を変形することができる。
【００３１】次に、テンプレートマッチングの非相関値
として画素値の差分の二乗和を使い、テンプレートマッ
チングで生じるであろう誤差ベクトル（正しい対応点か
らテンプレートマッチングにより推定された対応点への
ベクトル）の確率分布を事前に推定し、その分布から分
散共分散行列を推定してテンプレート更新判定に用いる
方法について説明する。本実施形態では追跡点が１つだ
けしか存在しない場合について説明を行う。これは、追
跡対象となる物体領域が非常に小さく、特徴点を複数選
択できない場合や、領域が平行移動することが予め分か
っていて、一つの特徴点の軌跡をもとに全体の軌跡を特
定できる場合などを想定している。
として画素値の差分の二乗和を使い、テンプレートマッ
チングで生じるであろう誤差ベクトル（正しい対応点か
らテンプレートマッチングにより推定された対応点への
ベクトル）の確率分布を事前に推定し、その分布から分
散共分散行列を推定してテンプレート更新判定に用いる
方法について説明する。本実施形態では追跡点が１つだ
けしか存在しない場合について説明を行う。これは、追
跡対象となる物体領域が非常に小さく、特徴点を複数選
択できない場合や、領域が平行移動することが予め分か
っていて、一つの特徴点の軌跡をもとに全体の軌跡を特
定できる場合などを想定している。
【００３２】図３及び図４は誤差ベクトルの分散共分散
行列を説明するための図である。図３はテンプレートを
更新しない場合に生じるであろう誤差ベクトルのばらつ
きを説明するための図である。この図３においては、紙
面左から右方向に沿って時系列にフレームが並べて示し
てあり、ｆ０は先頭のフレーム、ｆは最新のフレーム、
ｆ１はフレームｆの直前のフレーム、ｆnは未入力のフ
レームである。また、Ｔ１はテンプレート（画像）であ
り、フレームｆ０に含まれる。図３では、テンプレート
の更新を行わないことを仮定しているので、フレームｆ
０のテンプレートＴ１を使ってフレームｆnを対象にテ
ンプレートマッチングを行い、該フレームｆnにおける
追跡点の対応点を直接、推定する。３０５はこのときの
テンプレートマッチングで生じる誤差ベクトルの分散共
分散を表現しており、同図に示す楕円は等確率線を意味
する。したがって、楕円が大きいほど誤差ベクトルのば
らつきが大きいことを示す。
行列を説明するための図である。図３はテンプレートを
更新しない場合に生じるであろう誤差ベクトルのばらつ
きを説明するための図である。この図３においては、紙
面左から右方向に沿って時系列にフレームが並べて示し
てあり、ｆ０は先頭のフレーム、ｆは最新のフレーム、
ｆ１はフレームｆの直前のフレーム、ｆnは未入力のフ
レームである。また、Ｔ１はテンプレート（画像）であ
り、フレームｆ０に含まれる。図３では、テンプレート
の更新を行わないことを仮定しているので、フレームｆ
０のテンプレートＴ１を使ってフレームｆnを対象にテ
ンプレートマッチングを行い、該フレームｆnにおける
追跡点の対応点を直接、推定する。３０５はこのときの
テンプレートマッチングで生じる誤差ベクトルの分散共
分散を表現しており、同図に示す楕円は等確率線を意味
する。したがって、楕円が大きいほど誤差ベクトルのば
らつきが大きいことを示す。
【００３３】一方、図４は、テンプレートを更新した場
合の誤差ベクトルのばらつきを説明するための図であ
る。図３と同様に、ｆ０は先頭のフレーム、ｆは最新の
フレーム、ｆ１はフレームｆの直前のフレーム、ｆnは
未入力のフレームである。そして図４において、Ｔ０は
フレームｆ０のテンプレートであり、Ｔ１はフレームｆ
１のテンプレートである。つまり、フレームｆ０のテン
プレートＴ０からフレームｆ１のテンプレートＴ１への
テンプレートの更新が行われている。この図４の場合に
は、一度、フレームｆ０のテンプレートＴ０を使ってフ
レームｆ１における追跡点の対応点を推定した後、再
び、フレームｆ１における新しいテンプレートＴ１を使
ったテンプレートマッチングによりフレームｆnにおけ
る追跡点の対応点を推定する。したがって、２回のテン
プレートマッチングの結果としてフレームｆnにおける
追跡点の対応点が求められることになり、フレームｆ０
からフレームｆnまでの間に生じた誤差ベクトルは、フ
レームｆ０からｆ１の間で生じた誤差ベクトルと、フレ
ームｆ１からｆnの間で生じた誤差ベクトルとの和に相
当する。図４において、４０５はフレームｆ０からｆ１
の間で生じた誤差ベクトルの分散共分散を、４０６はフ
レームｆ１からｆnの間で生じた誤差ベクトルの分散共
分散を表現している。２つの誤差ベクトルが独立に生じ
る場合には、フレームｆ０からｆnまでの間に生じた誤
差ベクトルの分散共分散は、これら二つの分散共分散行
列の和となる。
合の誤差ベクトルのばらつきを説明するための図であ
る。図３と同様に、ｆ０は先頭のフレーム、ｆは最新の
フレーム、ｆ１はフレームｆの直前のフレーム、ｆnは
未入力のフレームである。そして図４において、Ｔ０は
フレームｆ０のテンプレートであり、Ｔ１はフレームｆ
１のテンプレートである。つまり、フレームｆ０のテン
プレートＴ０からフレームｆ１のテンプレートＴ１への
テンプレートの更新が行われている。この図４の場合に
は、一度、フレームｆ０のテンプレートＴ０を使ってフ
レームｆ１における追跡点の対応点を推定した後、再
び、フレームｆ１における新しいテンプレートＴ１を使
ったテンプレートマッチングによりフレームｆnにおけ
る追跡点の対応点を推定する。したがって、２回のテン
プレートマッチングの結果としてフレームｆnにおける
追跡点の対応点が求められることになり、フレームｆ０
からフレームｆnまでの間に生じた誤差ベクトルは、フ
レームｆ０からｆ１の間で生じた誤差ベクトルと、フレ
ームｆ１からｆnの間で生じた誤差ベクトルとの和に相
当する。図４において、４０５はフレームｆ０からｆ１
の間で生じた誤差ベクトルの分散共分散を、４０６はフ
レームｆ１からｆnの間で生じた誤差ベクトルの分散共
分散を表現している。２つの誤差ベクトルが独立に生じ
る場合には、フレームｆ０からｆnまでの間に生じた誤
差ベクトルの分散共分散は、これら二つの分散共分散行
列の和となる。
【００３４】以上の解釈に基づき、テンプレート更新の
判定を行う場合のステップＳ２０６における処理および
データの流れを示しているのが図５である。図５におい
て、テンプレートマッチング部５００はテンプレートマ
ッチングを行う処理部であって、フレームｆ０のテンプ
レートＴ０を用いてi番目のフレームｆに対してテンプ
レートマッチングを行い、この際に得られた情報とし
て、探索範囲内の相関値（または非相関値）の分布と、
ノイズの分散の推定値を分散共分散行列算出部５０１に
送る。ノイズの分散の推定値は、最も相関値の高い（ま
たは非相関値の低い）対応点における画素値の二乗平均
として求める。通常、この処理部５００における処理内
容の大部分はステップＳ２０３と同一であるため、ステ
ップＳ２０３の処理結果を保持しておき、直接、分散共
分散行列算出部５０１に入力するほうが効率的である。
判定を行う場合のステップＳ２０６における処理および
データの流れを示しているのが図５である。図５におい
て、テンプレートマッチング部５００はテンプレートマ
ッチングを行う処理部であって、フレームｆ０のテンプ
レートＴ０を用いてi番目のフレームｆに対してテンプ
レートマッチングを行い、この際に得られた情報とし
て、探索範囲内の相関値（または非相関値）の分布と、
ノイズの分散の推定値を分散共分散行列算出部５０１に
送る。ノイズの分散の推定値は、最も相関値の高い（ま
たは非相関値の低い）対応点における画素値の二乗平均
として求める。通常、この処理部５００における処理内
容の大部分はステップＳ２０３と同一であるため、ステ
ップＳ２０３の処理結果を保持しておき、直接、分散共
分散行列算出部５０１に入力するほうが効率的である。
【００３５】分散共分散行列算出部５０１はテンプレー
トマッチング部５００から入力された情報をもとに、第
１の評価値としての分散共分散行列Ｖ0(i)を算出する処
理部である。ここで算出される分散共分散行列とは、フ
レームｆ０のテンプレートＴ ０を使い、これから入力さ
れる新しい画像に対してテンプレートマッチングを行っ
た場合の誤差ベクトルの推定分散共分散行列である。新
しく入力される画像は、フレームｆにランダムノイズが
加わった画像であると仮定し、誤差ベクトルeが生じる
確率をP0(e)と表記する。この確率はテンプレートマッ
チング部５００からの入力である非相関値の分布とノイ
ズの分散の推定値により推定されるが、その方法につい
ては後で説明することにする。Ｓを探索範囲内で生じる
誤差ベクトルの集合と定義すると分散共分散行列は、
トマッチング部５００から入力された情報をもとに、第
１の評価値としての分散共分散行列Ｖ0(i)を算出する処
理部である。ここで算出される分散共分散行列とは、フ
レームｆ０のテンプレートＴ ０を使い、これから入力さ
れる新しい画像に対してテンプレートマッチングを行っ
た場合の誤差ベクトルの推定分散共分散行列である。新
しく入力される画像は、フレームｆにランダムノイズが
加わった画像であると仮定し、誤差ベクトルeが生じる
確率をP0(e)と表記する。この確率はテンプレートマッ
チング部５００からの入力である非相関値の分布とノイ
ズの分散の推定値により推定されるが、その方法につい
ては後で説明することにする。Ｓを探索範囲内で生じる
誤差ベクトルの集合と定義すると分散共分散行列は、
【数１】
により算出される。なお、上式においてＴは転置行列を
表す。この分散共分散行列は、算出部５０１の出力とし
てバッファ５０４およびテンプレート更新判定部５０５
に送られる。
表す。この分散共分散行列は、算出部５０１の出力とし
てバッファ５０４およびテンプレート更新判定部５０５
に送られる。
【００３６】テンプレートマッチング部５０２、および
分散共分散行列算出部５０３は、ほぼテンプレートマッ
チング部５００、および分散共分散行列算出部５０１と
それぞれ同様の処理を行う処理部である。ただし、テン
プレートマッチング部５００ではフレームｆ０のテンプ
レートＴ０の代わりにフレームｆ１のテンプレートＴ １
を用いる点が異なる。また、ステップＳ２０３ではＴ０
をテンプレートとしたテンプレートマッチングを行うた
め、テンプレートマッチング部５０２の処理はステップ
Ｓ２０３で代用することができない。また、テンプレー
トマッチング部５０２はフレームｆ１からｆの間に生じ
たノイズの分散を推定し、相関値（または非相関値）の
分布とともに分散共分散行列算出部５０３に送る。
分散共分散行列算出部５０３は、ほぼテンプレートマッ
チング部５００、および分散共分散行列算出部５０１と
それぞれ同様の処理を行う処理部である。ただし、テン
プレートマッチング部５００ではフレームｆ０のテンプ
レートＴ０の代わりにフレームｆ１のテンプレートＴ １
を用いる点が異なる。また、ステップＳ２０３ではＴ０
をテンプレートとしたテンプレートマッチングを行うた
め、テンプレートマッチング部５０２の処理はステップ
Ｓ２０３で代用することができない。また、テンプレー
トマッチング部５０２はフレームｆ１からｆの間に生じ
たノイズの分散を推定し、相関値（または非相関値）の
分布とともに分散共分散行列算出部５０３に送る。
【００３７】分散共分散行列算出部５０３で行われる処
理は分散共分散行列算出部５０１と全く同じであり、入
力が異なるだけである。分散共分散行列算出部５０３
は、フレームｆ１のテンプレートＴ１を使い、これから
入力される新しい画像に対してテンプレートマッチング
を行った場合の誤差ベクトルの推定分散共分散行列、す
なわち、
理は分散共分散行列算出部５０１と全く同じであり、入
力が異なるだけである。分散共分散行列算出部５０３
は、フレームｆ１のテンプレートＴ１を使い、これから
入力される新しい画像に対してテンプレートマッチング
を行った場合の誤差ベクトルの推定分散共分散行列、す
なわち、
【数２】
を算出し、バッファ５０４およびテンプレート更新判定
部５０５に送る。ここでP1(e)は、テンプレートＴ１を
用いてこれから入力される新しい画像に対してテンプレ
ートマッチングを行った場合の誤差ベクトルがeである
確率であり、P0(e)と同じ方法で推定される。
部５０５に送る。ここでP1(e)は、テンプレートＴ１を
用いてこれから入力される新しい画像に対してテンプレ
ートマッチングを行った場合の誤差ベクトルがeである
確率であり、P0(e)と同じ方法で推定される。
【００３８】バッファ５０４は分散共分散行列のバッフ
ァであり、算出部５０１の出力である分散共分散行列V0
と算出部５０３の出力である分散共分散行列V1をそれぞ
れ１つ保持する。ここで、どの時点で計算された分散共
分散行列かを明示するため、i番目のフレームが入力さ
れたときに計算されたV0とV1を、それぞれV0(i)とV1(i)
と表記する。すなわち、バッファ５０４にはV0(i)とV
1(i)が入力される。このとき、バッファ５０４にはi-1
番目の画像に対して処理が行われたときに計算されたV0
(i-1)とV1(i-1)が記憶されている。バッファ５０４はi-
1番目の画像に対するテンプレート更新判定部５０５の
出力が「更新」である場合にはV1(i-1)を出力し、「非
更新」である場合にはV0(i-1)を出力する。この出力（V
0(i-1)またはV1(i-1)）をV-1(i)と表記する。V-1(i)の
出力後、バッファ５０４はV0(i-1)とV1(i-1)の代わりに
入力されたV0(i)とV1(i)を記憶しておく。ここで、バッ
ファ５０４を用意する理由は、本発明の判定処理では３
つの分散共分散行列（図３における３０５と、図４にお
ける４０６、４０７）の計算が必要であるが、そのうち
の一つ（図４の４０６）は以前の処理ですでに算出済み
であり、それを再利用するためである。
ァであり、算出部５０１の出力である分散共分散行列V0
と算出部５０３の出力である分散共分散行列V1をそれぞ
れ１つ保持する。ここで、どの時点で計算された分散共
分散行列かを明示するため、i番目のフレームが入力さ
れたときに計算されたV0とV1を、それぞれV0(i)とV1(i)
と表記する。すなわち、バッファ５０４にはV0(i)とV
1(i)が入力される。このとき、バッファ５０４にはi-1
番目の画像に対して処理が行われたときに計算されたV0
(i-1)とV1(i-1)が記憶されている。バッファ５０４はi-
1番目の画像に対するテンプレート更新判定部５０５の
出力が「更新」である場合にはV1(i-1)を出力し、「非
更新」である場合にはV0(i-1)を出力する。この出力（V
0(i-1)またはV1(i-1)）をV-1(i)と表記する。V-1(i)の
出力後、バッファ５０４はV0(i-1)とV1(i-1)の代わりに
入力されたV0(i)とV1(i)を記憶しておく。ここで、バッ
ファ５０４を用意する理由は、本発明の判定処理では３
つの分散共分散行列（図３における３０５と、図４にお
ける４０６、４０７）の計算が必要であるが、そのうち
の一つ（図４の４０６）は以前の処理ですでに算出済み
であり、それを再利用するためである。
【００３９】判定部５０５はテンプレート更新の判定処
理を行う処理部である。入力は、算出部５０１からの出
力であるV0(i)と、算出部５０３およびバッファ５０４
からの各々の出力の和すなわち第２の評価値としてのV
-1+V1(i)である。V0(i)はテンプレートを更新しない場
合の誤差ベクトルのばらつき、V-1(i)+V1(i)はテンプレ
ートを更新した場合の誤差ベクトルのばらつきを表す行
列である。これら二つの行列は、関数gによりスカラー
に変換され、g(V0(i))>g(V-1(i)+V1(i))ならばテンプレ
ートを「更新」とし、そうでなければテンプレートを
「非更新」とする旨の判定結果を出力する。つまり、テ
ンプレートを更新しない場合の誤差ベクトルのばらつき
と、テンプレートを更新した場合の誤差ベクトルのばら
つきとを本実施形態ではスカラー量で大小比較し、前者
が後者よりも大きい場合はテンプレートを更新する旨決
定し、そうでない場合はテンプレートを更新しない（非
更新）旨決定するのである。
理を行う処理部である。入力は、算出部５０１からの出
力であるV0(i)と、算出部５０３およびバッファ５０４
からの各々の出力の和すなわち第２の評価値としてのV
-1+V1(i)である。V0(i)はテンプレートを更新しない場
合の誤差ベクトルのばらつき、V-1(i)+V1(i)はテンプレ
ートを更新した場合の誤差ベクトルのばらつきを表す行
列である。これら二つの行列は、関数gによりスカラー
に変換され、g(V0(i))>g(V-1(i)+V1(i))ならばテンプレ
ートを「更新」とし、そうでなければテンプレートを
「非更新」とする旨の判定結果を出力する。つまり、テ
ンプレートを更新しない場合の誤差ベクトルのばらつき
と、テンプレートを更新した場合の誤差ベクトルのばら
つきとを本実施形態ではスカラー量で大小比較し、前者
が後者よりも大きい場合はテンプレートを更新する旨決
定し、そうでない場合はテンプレートを更新しない（非
更新）旨決定するのである。
【００４０】なお、スカラー量を与える関数gは、分散
共分散行列から算出される任意の関数とすることができ
る。具体的には２行２列の分散共分散行列を、例えば、
共分散行列から算出される任意の関数とすることができ
る。具体的には２行２列の分散共分散行列を、例えば、
【数３】
とした場合、
【数４】
とすれば、Ｍの固有値の上限値を得ることができる。こ
の場合、テンプレート更新判定部５０５ではテンプレー
トを更新した場合としない場合の誤差ベクトルのばらつ
きの最悪値を推定し、より小さいばらつきを与える方を
選択するようにしている。また、
の場合、テンプレート更新判定部５０５ではテンプレー
トを更新した場合としない場合の誤差ベクトルのばらつ
きの最悪値を推定し、より小さいばらつきを与える方を
選択するようにしている。また、
【数５】
とすればＭの平均固有値の上限を得ることもできる。
【００４１】最後に、誤差ベクトルeが生じる確率P0(e)
の算出方法について説明する。本実施形態では、P0(e)
の推定値として、誤差ベクトルがeとなる確率の上界を
用いる。まずフレームｆ０のテンプレートＴ０を使って
フレームｆに対するテンプレートマッチングを行い、そ
の情報を用いて新たに入力される画像にテンプレートマ
ッチングを行った場合のP0(e)を推定する場合を考え
る。この場合のP0(e)の上界を計算するため、まず次の
画素集合を定義する。
の算出方法について説明する。本実施形態では、P0(e)
の推定値として、誤差ベクトルがeとなる確率の上界を
用いる。まずフレームｆ０のテンプレートＴ０を使って
フレームｆに対するテンプレートマッチングを行い、そ
の情報を用いて新たに入力される画像にテンプレートマ
ッチングを行った場合のP0(e)を推定する場合を考え
る。この場合のP0(e)の上界を計算するため、まず次の
画素集合を定義する。
【００４２】
【数６】
【００４３】ここで、W(p)は点pを中心とするブロック
に含まれる画素集合、vはテンプレートマッチングによ
り得られた移動ベクトル、上線は補集合を表す。ただ
し、座標原点はテンプレートＴ０の中心である。そして
これらの画素集合ごとに、画素値の差分の２乗和から算
出される値、すなわち、
に含まれる画素集合、vはテンプレートマッチングによ
り得られた移動ベクトル、上線は補集合を表す。ただ
し、座標原点はテンプレートＴ０の中心である。そして
これらの画素集合ごとに、画素値の差分の２乗和から算
出される値、すなわち、
【数７】
を計算する。ただし、f(p)はフレームｆにおける点pの
画素値、σ２は推定されたノイズの分散の推定値であ
る。次にこれらの算出結果を使い、
画素値、σ２は推定されたノイズの分散の推定値であ
る。次にこれらの算出結果を使い、
【数８】
を計算する。ただし、
【数９】
である。
【００４４】ρによる最大化は必ずしも厳密に行う必要
はなく、簡単にはいくつかの用意された０から１の間の
値について、最大値を与えるρを選択することで実現さ
れる。以上の準備から、P0(e)の上界、すなわち、
はなく、簡単にはいくつかの用意された０から１の間の
値について、最大値を与えるρを選択することで実現さ
れる。以上の準備から、P0(e)の上界、すなわち、
【数１０】
の右辺が算出される。正確なP0(e)の値は算出不可能な
ため、上記の右辺をP0(e)の推定値として分散共分散行
列の計算に用いる。
ため、上記の右辺をP0(e)の推定値として分散共分散行
列の計算に用いる。
【００４５】以上説明した第一実施形態によれば、テン
プレートマッチングに基づく追跡処理を行う前に、テン
プレートを更新する場合としない場合とのそれぞれにつ
いて、テンプレートマッチングに起因する誤差ベクトル
のばらつきを表す分散共分散行列を算出し、それぞれの
算出結果を比較することで実際にテンプレートを更新す
るか否かを決定するように構成されている。これによ
り、入力された動画像に対し、適応的にテンプレート画
像の更新のタイミングを決定することができ、変形によ
る追跡性能の劣化と誤差の蓄積による性能の劣化のトレ
ードオフを解決することができる。
プレートマッチングに基づく追跡処理を行う前に、テン
プレートを更新する場合としない場合とのそれぞれにつ
いて、テンプレートマッチングに起因する誤差ベクトル
のばらつきを表す分散共分散行列を算出し、それぞれの
算出結果を比較することで実際にテンプレートを更新す
るか否かを決定するように構成されている。これによ
り、入力された動画像に対し、適応的にテンプレート画
像の更新のタイミングを決定することができ、変形によ
る追跡性能の劣化と誤差の蓄積による性能の劣化のトレ
ードオフを解決することができる。
【００４６】したがって、テンプレートを適切なタイミ
ングで更新し、動画像中の物体追跡を高精度に行うこと
のできる物体画像追跡を実現できる。
ングで更新し、動画像中の物体追跡を高精度に行うこと
のできる物体画像追跡を実現できる。
【００４７】（第二実施形態）次に、第二の実施形態に
ついて説明する。第一の実施形態では、追跡点が一つの
場合について本発明に係るテンプレートの更新方法を説
明した。第二の実施形態では、複数の追跡点が設定され
ている場合に、全ての追跡点のテンプレートを一斉に更
新する方法を説明する。本実施形態では、追跡点の選択
処理（ステップＳ２０２）でＮ個の追跡点が選択されて
おり、それぞれの追跡点に０，１，・・・，Ｎ−１の番
号が付与されているものとする。また、全てのテンプレ
ートは同じフレームｆ０の画像の一部である。
ついて説明する。第一の実施形態では、追跡点が一つの
場合について本発明に係るテンプレートの更新方法を説
明した。第二の実施形態では、複数の追跡点が設定され
ている場合に、全ての追跡点のテンプレートを一斉に更
新する方法を説明する。本実施形態では、追跡点の選択
処理（ステップＳ２０２）でＮ個の追跡点が選択されて
おり、それぞれの追跡点に０，１，・・・，Ｎ−１の番
号が付与されているものとする。また、全てのテンプレ
ートは同じフレームｆ０の画像の一部である。
【００４８】図６は本実施形態のテンプレートマッチン
グを用いて移動物体追跡処理を実現する処理の一例を示
すフローチャートである。ステップＳ２０１〜Ｓ２０５
およびステップＳ２０８は第一の実施形態で説明した図
２の処理と全く同じである。図６では、ステップＳ２０
６およびＳ２０７が、それぞれステップＳ６００および
Ｓ６０１にそれぞれ置き換えられている点が図２と異な
っている。
グを用いて移動物体追跡処理を実現する処理の一例を示
すフローチャートである。ステップＳ２０１〜Ｓ２０５
およびステップＳ２０８は第一の実施形態で説明した図
２の処理と全く同じである。図６では、ステップＳ２０
６およびＳ２０７が、それぞれステップＳ６００および
Ｓ６０１にそれぞれ置き換えられている点が図２と異な
っている。
【００４９】ステップＳ６００では全てのテンプレート
の更新を行うか否かを判定する処理を行う。すなわち、
全ての追跡点のテンプレートを、フレームｆ０のテンプ
レートからフレームｆ１の新しいテンプレートに更新す
べきかどうかを判定する。
の更新を行うか否かを判定する処理を行う。すなわち、
全ての追跡点のテンプレートを、フレームｆ０のテンプ
レートからフレームｆ１の新しいテンプレートに更新す
べきかどうかを判定する。
【００５０】図７はステップＳ６００における処理およ
びデータの流れを示している。図７に示す７００は、図
５におけるテンプレートマッチング部５００〜バッファ
５０４までの処理を含む処理部であって、番号Ｉのテン
プレートを更新した場合の分散共分散行列と、更新しな
い場合の分散共分散行列を出力する。７０１はテンプレ
ート更新の判定部であり、全ての追跡点についての分散
共分散行列が入力されると、全てのテンプレートを更新
するか、全てのテンプレートを更新しないかの判定を行
う。
びデータの流れを示している。図７に示す７００は、図
５におけるテンプレートマッチング部５００〜バッファ
５０４までの処理を含む処理部であって、番号Ｉのテン
プレートを更新した場合の分散共分散行列と、更新しな
い場合の分散共分散行列を出力する。７０１はテンプレ
ート更新の判定部であり、全ての追跡点についての分散
共分散行列が入力されると、全てのテンプレートを更新
するか、全てのテンプレートを更新しないかの判定を行
う。
【００５１】かかる判定は、例えば以下のように行うこ
とができる。まず、それぞれの追跡点について独立にテ
ンプレートを更新すべきか否かを判定する。これは第一
の実施形態におけるテンプレート更新判定部５０５の処
理と同じである。次に、全追跡点に対する、更新すべき
と判定された追跡点の数の割合を算出する。そして、あ
らかじめ設定しておいた値（しきい値）よりもこの割合
が高ければ全てのテンプレートを更新するものと判定
し、そうでなければ全てのテンプレートを更新しないと
判定する。
とができる。まず、それぞれの追跡点について独立にテ
ンプレートを更新すべきか否かを判定する。これは第一
の実施形態におけるテンプレート更新判定部５０５の処
理と同じである。次に、全追跡点に対する、更新すべき
と判定された追跡点の数の割合を算出する。そして、あ
らかじめ設定しておいた値（しきい値）よりもこの割合
が高ければ全てのテンプレートを更新するものと判定
し、そうでなければ全てのテンプレートを更新しないと
判定する。
【００５２】ステップＳ６０１は、ステップＳ６００に
おいてテンプレートを更新する旨判定された場合に、全
ての追跡点のテンプレートをフレームｆ１のテンプレー
トに更新する。例えば、テンプレートに供するため一時
的に記憶されていたフレームｆ０をｆ１に置き換えた
り、フレームｆ０の記憶領域を指し示すポインタをフレ
ームｆ１を指し示すように変更することで実行される。
このとき、テンプレートの位置に関する情報についても
フレームｆ０のものからｆ１のものに更新される。
おいてテンプレートを更新する旨判定された場合に、全
ての追跡点のテンプレートをフレームｆ１のテンプレー
トに更新する。例えば、テンプレートに供するため一時
的に記憶されていたフレームｆ０をｆ１に置き換えた
り、フレームｆ０の記憶領域を指し示すポインタをフレ
ームｆ１を指し示すように変更することで実行される。
このとき、テンプレートの位置に関する情報についても
フレームｆ０のものからｆ１のものに更新される。
【００５３】本実施形態による複数の追跡点のテンプレ
ート更新方法によれば、全てのテンプレートが同一の画
像フレーム上にあるため、テンプレート用のメモリを別
途用意する必要がないという利点がある。
ート更新方法によれば、全てのテンプレートが同一の画
像フレーム上にあるため、テンプレート用のメモリを別
途用意する必要がないという利点がある。
【００５４】（第三実施形態）次に、第三の実施形態に
ついて説明する。第二の実施形態では、複数の追跡点が
設定されている場合に、全ての追跡点のテンプレートを
一斉に更新する方法について説明した。第三の実施形態
では、各々のテンプレートを別々のタイミングで更新す
る方法について説明する。第二の実施形態と同様に、追
跡点の選択処理（ステップＳ２０２）でＮ個の追跡点が
選択され、それぞれの追跡点に０，１，・・・，Ｎ−１
の番号すなわちテンプレートの番号が付与されているも
のとする。
ついて説明する。第二の実施形態では、複数の追跡点が
設定されている場合に、全ての追跡点のテンプレートを
一斉に更新する方法について説明した。第三の実施形態
では、各々のテンプレートを別々のタイミングで更新す
る方法について説明する。第二の実施形態と同様に、追
跡点の選択処理（ステップＳ２０２）でＮ個の追跡点が
選択され、それぞれの追跡点に０，１，・・・，Ｎ−１
の番号すなわちテンプレートの番号が付与されているも
のとする。
【００５５】図８は本実施形態のテンプレートマッチン
グを用いて移動物体追跡処理を実現する処理の一例を示
すフローチャートである。ステップＳ２０１〜Ｓ２０５
およびステップＳ２０８は第一の実施形態で説明した図
２の処理と全く同じである。図８では、ステップＳ２０
６およびＳ２０７が、ステップＳ８００〜Ｓ８０４に置
き換えられている点が異なる。
グを用いて移動物体追跡処理を実現する処理の一例を示
すフローチャートである。ステップＳ２０１〜Ｓ２０５
およびステップＳ２０８は第一の実施形態で説明した図
２の処理と全く同じである。図８では、ステップＳ２０
６およびＳ２０７が、ステップＳ８００〜Ｓ８０４に置
き換えられている点が異なる。
【００５６】ステップＳ８００は番号Ｉの初期化処理で
ある。番号Ｉはカウンタから成り、テンプレート更新判
定処理の対象となる追跡点の番号が保持される。ここで
は、初期値としてＩに０を代入する。
ある。番号Ｉはカウンタから成り、テンプレート更新判
定処理の対象となる追跡点の番号が保持される。ここで
は、初期値としてＩに０を代入する。
【００５７】ステップＳ８０１は番号Ｉの追跡点に対す
るテンプレート更新判定処理であり、その時点で用いた
フレームｆ０のテンプレートを引き続き用いるか、新し
くフレームｆ１のテンプレートに更新するかを判定す
る。ここでは第一の実施形態で説明したステップＳ２０
６における処理と同じ処理を番号Ｉの追跡点に対して行
う。
るテンプレート更新判定処理であり、その時点で用いた
フレームｆ０のテンプレートを引き続き用いるか、新し
くフレームｆ１のテンプレートに更新するかを判定す
る。ここでは第一の実施形態で説明したステップＳ２０
６における処理と同じ処理を番号Ｉの追跡点に対して行
う。
【００５８】ステップＳ８０２は、ステップＳ８０１で
テンプレートを更新すると判定された場合に、番号Ｉの
追跡点のテンプレートを新しくフレームｆ１のテンプレ
ートに更新する。ステップＳ８０３は全ての追跡点に対
してテンプレートの更新判定を行ったかを判定する処理
であり、まだ未処理の追跡点があればステップＳ８０４
のカウンタ更新処理を経て、Ｓ８０１からの処理を繰り
返す。
テンプレートを更新すると判定された場合に、番号Ｉの
追跡点のテンプレートを新しくフレームｆ１のテンプレ
ートに更新する。ステップＳ８０３は全ての追跡点に対
してテンプレートの更新判定を行ったかを判定する処理
であり、まだ未処理の追跡点があればステップＳ８０４
のカウンタ更新処理を経て、Ｓ８０１からの処理を繰り
返す。
【００５９】このような第三の実施形態によれば、好ま
しいテンプレート更新のタイミングは追跡点ごとに異な
ることに鑑み、それぞれの追跡点で独立にテンプレート
の更新を行うことができる。但し、本実施形態では、第
二の実施形態のようにテンプレートを含む画像一つを記
録媒体上に保持しておくのではなく、追跡点ごとに独立
にテンプレートを保持しておく必要がある。
しいテンプレート更新のタイミングは追跡点ごとに異な
ることに鑑み、それぞれの追跡点で独立にテンプレート
の更新を行うことができる。但し、本実施形態では、第
二の実施形態のようにテンプレートを含む画像一つを記
録媒体上に保持しておくのではなく、追跡点ごとに独立
にテンプレートを保持しておく必要がある。
【００６０】なお、本発明は上述した実施形態に限定さ
れず種々変形して実施可能である。
れず種々変形して実施可能である。
【００６１】
【発明の効果】以上説明したように、本発明によれば、
テンプレートを更新する場合としない場合とのそれぞれ
について、テンプレートマッチングに起因する誤差ベク
トルのばらつきを表す分散共分散行列を算出し、それぞ
れの算出結果を比較することで実際にテンプレートを更
新するか否かを決定するので、入力された動画像に対
し、適応的にテンプレート画像の更新のタイミングを決
定することができ、変形による追跡性能の劣化と誤差の
蓄積による性能の劣化のトレードオフを解決することが
できる。
テンプレートを更新する場合としない場合とのそれぞれ
について、テンプレートマッチングに起因する誤差ベク
トルのばらつきを表す分散共分散行列を算出し、それぞ
れの算出結果を比較することで実際にテンプレートを更
新するか否かを決定するので、入力された動画像に対
し、適応的にテンプレート画像の更新のタイミングを決
定することができ、変形による追跡性能の劣化と誤差の
蓄積による性能の劣化のトレードオフを解決することが
できる。
【００６２】したがって、テンプレートを適切なタイミ
ングで更新し、動画像中の物体追跡を高精度に行うこと
のできる物体画像追跡を実現できる。また、テンプレー
ト更新判定に用いるパラメータをユーザが予め設定して
おくことが不要になり、経験や勘に頼らずとも常に安定
した性能が得られるようになることも本発明の有利な効
果である。
ングで更新し、動画像中の物体追跡を高精度に行うこと
のできる物体画像追跡を実現できる。また、テンプレー
ト更新判定に用いるパラメータをユーザが予め設定して
おくことが不要になり、経験や勘に頼らずとも常に安定
した性能が得られるようになることも本発明の有利な効
果である。
【図１】 本発明の第一の実施形態に係る画像処理装置
の概略構成を示すブロック図
の概略構成を示すブロック図
【図２】 第一実施形態に係る物体追跡処理の流れを示
すフローチャート
すフローチャート
【図３】 テンプレートを更新しない場合に生じる誤差
分布を説明するための図
分布を説明するための図
【図４】 テンプレートを更新した場合に生じる誤差分
布を説明するための図
布を説明するための図
【図５】 第一実施形態におけるテンプレート更新判定
処理及びデータの流れを示すブロック図
処理及びデータの流れを示すブロック図
【図６】 本発明の第二の実施形態に係る物体追跡処理
の流れを示すフローチャート
の流れを示すフローチャート
【図７】 第二の実施形態におけるテンプレート更新判
定処理及びデータの流れを示すブロック図
定処理及びデータの流れを示すブロック図
【図８】本発明の第三の実施形態に係る物体追跡処理の
流れを示すフローチャート
流れを示すフローチャート
１０１…コンピュータ
１０２…主記憶装置
１０３…中央処理装置（ＣＰＵ）
１０４…動画像再生装置
１０５…表示装置
１０６…指示入力装置
１０７…動画像データ
１０８…追跡結果データ
Claims (10)
- 【請求項１】 第１の画像フレームにおける物体上の追
跡点を含む第１のテンプレート画像を定め、第２の画像
フレームにおける前記追跡点の対応点をテンプレートマ
ッチングにより追跡したのち、第３の画像フレームにお
ける前記追跡点の対応点を追跡するにあたり第１のテン
プレート画像から第２のテンプレート画像へのテンプレ
ート画像更新の要否を判定する物体画像追跡方法であっ
て、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第３の画像フレームにおいて追跡さ
れる前記対応点を含む第１探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値から第１の評価
値を算出するステップと、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第２の画像フレームにおいて追跡さ
れる前記対応点を含む第２探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値、および、該第
２探索画像領域を第２のテンプレート画像として用いた
テンプレートマッチングによって前記第３の画像フレー
ムにおいて追跡される前記対応点を含む第３探索画像領
域と、該第２のテンプレート画像との相関値又は非相関
値の両者から第２の評価値を算出するステップと、 前記第１及び第２の評価値同士の比較に基づいて、前記
第３の画像フレームにおける前記対応点の追跡にあたり
前記テンプレート画像更新を要するか否かを判定するス
テップと、を具備することを特徴とする物体画像追跡方
法。 - 【請求項２】 第１の画像フレームにおける物体上の追
跡点を含む第１のテンプレート画像を定め、第２の画像
フレームにおける前記追跡点の対応点をテンプレートマ
ッチングにより追跡したのち、第３の画像フレームにお
ける前記追跡点の対応点を追跡するにあたり第１のテン
プレート画像から第２のテンプレート画像へのテンプレ
ート画像更新の要否を判定する物体画像追跡方法であっ
て、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第３の画像フレームにおいて追跡さ
れる前記対応点を含む第１探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値から第１の評価
値を算出するステップと、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第２の画像フレームにおいて追跡さ
れる前記対応点を含む第２探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値、および、該第
２探索画像領域を第２のテンプレート画像として用いた
テンプレートマッチングによって前記第３の画像フレー
ムにおいて追跡される前記対応点を含む第３探索画像領
域と、該第２のテンプレート画像との相関値又は非相関
値の両者から第２の評価値を算出するステップと、 前記第１及び第２の評価値同士の比較に基づいて、前記
第３の画像フレームにおける前記対応点の追跡にあたり
前記テンプレート画像更新を要するか否かを判定するス
テップと、 複数の前記追跡点のそれぞれについて、前記第３の画像
フレームにおける前記対応点の追跡にあたり前記テンプ
レート画像更新を要するか否かを判定し、該更新を要す
る旨判定された割合が所定の閾値を超過した際に、全て
の前記追跡点についてテンプレート画像を更新するステ
ップと、を具備することを特徴とする物体画像追跡方
法。 - 【請求項３】 第１の画像フレームにおける物体上の追
跡点を含む第１のテンプレート画像を定め、第２の画像
フレームにおける前記追跡点の対応点をテンプレートマ
ッチングにより追跡したのち、第３の画像フレームにお
ける前記追跡点の対応点を追跡するにあたり第１のテン
プレート画像から第２のテンプレート画像へのテンプレ
ート画像更新の要否を判定する物体画像追跡方法であっ
て、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第３の画像フレームにおいて追跡さ
れる前記対応点を含む第１探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値から第１の評価
値を算出するステップと、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第２の画像フレームにおいて追跡さ
れる前記対応点を含む第２探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値、および、該第
２探索画像領域を第２のテンプレート画像として用いた
テンプレートマッチングによって前記第３の画像フレー
ムにおいて追跡される前記対応点を含む第３探索画像領
域と、該第２のテンプレート画像との相関値又は非相関
値の両者から第２の評価値を算出するステップと、 前記第１及び第２の評価値同士の比較に基づいて、前記
第３の画像フレームにおける前記対応点の追跡にあたり
前記テンプレート画像更新を要するか否かを判定するス
テップと、 複数の前記追跡点のそれぞれについて、前記第３の画像
フレームにおける前記対応点の追跡にあたり前記テンプ
レート画像更新を要するか否かを判定し、該更新を要す
る旨判定された追跡点についてテンプレート画像を更新
するステップと、を具備することを特徴とする物体画像
追跡方法。 - 【請求項４】 前記第１の評価値は、前記第１のテンプ
レート画像を用いたテンプレートマッチングによって前
記第３の画像フレームにおいて追跡される前記対応点を
含む第１探索画像領域と、該第１のテンプレート画像と
の相関値又は非相関値から算出される、該テンプレート
マッチングに起因する誤差ベクトルの分散共分散行列の
推定値であり、 前記第２の評価値は、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第２の画像フレームにおいて追跡さ
れる前記対応点を含む第２探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値から算出され
る、該テンプレートマッチングに起因する誤差ベクトル
の分散共分散行列の推定値と、 該第２探索画像領域を第２のテンプレート画像として用
いたテンプレートマッチングによって前記第３の画像フ
レームにおいて追跡される前記対応点を含む第３探索画
像領域と、該第２のテンプレート画像との相関値又は非
相関値から算出される、該テンプレートマッチングに起
因する誤差ベクトルの分散共分散行列の推定値との和で
あることを特徴とする請求項１乃至３のいずれか一項に
記載の物体画像追跡方法。 - 【請求項５】 前記テンプレート画像が、前記追跡点又
は対応点を中心とするブロック画像であることを特徴と
する請求項１乃至４のいずれか一項に記載の物体画像追
跡方法。 - 【請求項６】 第１の画像フレームにおける物体上の追
跡点を含む第１のテンプレート画像を定め、第２の画像
フレームにおける前記追跡点の対応点をテンプレートマ
ッチングにより追跡したのち、第３の画像フレームにお
ける前記追跡点の対応点を追跡するにあたり第１のテン
プレート画像から第２のテンプレート画像へのテンプレ
ート画像更新の要否を判定する物体画像追跡プログラム
であって、 コンピュータに、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第３の画像フレームにおいて追跡さ
れる前記対応点を含む第１探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値から第１の評価
値を算出するステップと、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第２の画像フレームにおいて追跡さ
れる前記対応点を含む第２探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値、および、該第
２探索画像領域を第２のテンプレート画像として用いた
テンプレートマッチングによって前記第３の画像フレー
ムにおいて追跡される前記対応点を含む第３探索画像領
域と、該第２のテンプレート画像との相関値又は非相関
値の両者から第２の評価値を算出するステップと、 前記第１及び第２の評価値同士の比較に基づいて、前記
第３の画像フレームにおける前記対応点の追跡にあたり
前記テンプレート画像更新を要するか否かを判定するス
テップと、を実行させるためのプログラム。 - 【請求項７】 第１の画像フレームにおける物体上の追
跡点を含む第１のテンプレート画像を定め、第２の画像
フレームにおける前記追跡点の対応点をテンプレートマ
ッチングにより追跡したのち、第３の画像フレームにお
ける前記追跡点の対応点を追跡するにあたり、第１のテ
ンプレート画像から第２のテンプレート画像へのテンプ
レート画像更新の要否を判定する物体画像追跡プログラ
ムであって、 コンピュータに、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第３の画像フレームにおいて追跡さ
れる前記対応点を含む第１探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値から第１の評価
値を算出するステップと、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第２の画像フレームにおいて追跡さ
れる前記対応点を含む第２探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値、および、該第
２探索画像領域を第２のテンプレート画像として用いた
テンプレートマッチングによって前記第３の画像フレー
ムにおいて追跡される前記対応点を含む第３探索画像領
域と、該第２のテンプレート画像との相関値又は非相関
値の両者から第２の評価値を算出するステップと、 前記第１及び第２の評価値同士の比較に基づいて、前記
第３の画像フレームにおける前記対応点の追跡にあたり
前記テンプレート画像更新を要するか否かを判定するス
テップと、 複数の前記追跡点のそれぞれについて、前記第３の画像
フレームにおける前記対応点の追跡にあたり前記テンプ
レート画像更新を要するか否かを判定し、該更新を要す
る旨判定された割合が所定の閾値を超過した際に、全て
の前記追跡点についてテンプレート画像を更新するステ
ップと、を実行させるためのプログラム。 - 【請求項８】 第１の画像フレームにおける物体上の追
跡点を含む第１のテンプレート画像を定め、第２の画像
フレームにおける前記追跡点の対応点をテンプレートマ
ッチングにより追跡したのち、第３の画像フレームにお
ける前記追跡点の対応点を追跡するにあたり、第１のテ
ンプレート画像から第２のテンプレート画像へのテンプ
レート画像更新の要否を判定する物体画像追跡プログラ
ムであって、 コンピュータに、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第３の画像フレームにおいて追跡さ
れる前記対応点を含む第１探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値から第１の評価
値を算出するステップと、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第２の画像フレームにおいて追跡さ
れる前記対応点を含む第２探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値、および、該第
２探索画像領域を第２のテンプレート画像として用いた
テンプレートマッチングによって前記第３の画像フレー
ムにおいて追跡される前記対応点を含む第３探索画像領
域と、該第２のテンプレート画像との相関値又は非相関
値の両者から第２の評価値を算出するステップと、 前記第１及び第２の評価値同士の比較に基づいて、前記
第３の画像フレームにおける前記対応点の追跡にあたり
前記テンプレート画像更新を要するか否かを判定するス
テップと、 複数の前記追跡点のそれぞれについて、前記第３の画像
フレームにおける前記対応点の追跡にあたり前記テンプ
レート画像更新を要するか否かを判定し、該更新を要す
る旨判定された追跡点について、テンプレート画像を更
新するステップと、を実行させるためのプログラム。 - 【請求項９】 前記第１の評価値は、前記第１のテンプ
レート画像を用いたテンプレートマッチングによって前
記第３の画像フレームにおいて追跡される前記対応点を
含む第１探索画像領域と、該第１のテンプレート画像と
の相関値又は非相関値から算出される、該テンプレート
マッチングに起因する誤差ベクトルの分散共分散行列の
推定値であり、 前記第２の評価値は、 前記第１のテンプレート画像を用いたテンプレートマッ
チングによって前記第２の画像フレームにおいて追跡さ
れる前記対応点を含む第２探索画像領域と、該第１のテ
ンプレート画像との相関値又は非相関値から算出され
る、該テンプレートマッチングに起因する誤差ベクトル
の分散共分散行列の推定値と、 該第２探索画像領域を第２のテンプレート画像として用
いたテンプレートマッチングによって前記第３の画像フ
レームにおいて追跡される前記対応点を含む第３探索画
像領域と、該第２のテンプレート画像との相関値又は非
相関値から算出される、該テンプレートマッチングに起
因する誤差ベクトルの分散共分散行列の推定値との和で
あることを特徴とする請求項６乃至８のいずれか一項に
記載のプログラム。 - 【請求項１０】 前記テンプレート画像が、前記追跡点
又は対応点を中心とするブロック画像であることを特徴
とする請求項６乃至９のいずれか一項に記載のプログラ
ム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001374819A JP3629236B2 (ja) | 2001-12-07 | 2001-12-07 | 物体画像追跡方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001374819A JP3629236B2 (ja) | 2001-12-07 | 2001-12-07 | 物体画像追跡方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003178310A true JP2003178310A (ja) | 2003-06-27 |
| JP3629236B2 JP3629236B2 (ja) | 2005-03-16 |
Family
ID=19183319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001374819A Expired - Fee Related JP3629236B2 (ja) | 2001-12-07 | 2001-12-07 | 物体画像追跡方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3629236B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005236508A (ja) * | 2004-02-18 | 2005-09-02 | Matsushita Electric Ind Co Ltd | 自動追尾装置及び自動追尾方法 |
| JP2007226643A (ja) * | 2006-02-24 | 2007-09-06 | Morpho Inc | 画像処理装置 |
| JP2011081841A (ja) * | 2011-01-11 | 2011-04-21 | Tokyo Univ Of Science | 動物体検出装置および動物体検出方法 |
| JP2011135427A (ja) * | 2009-12-25 | 2011-07-07 | Olympus Imaging Corp | 動き検出装置および動き検出方法 |
| JP2012090232A (ja) * | 2010-10-22 | 2012-05-10 | Olympus Imaging Corp | 追尾装置および追尾方法 |
| JP2012089069A (ja) * | 2010-10-22 | 2012-05-10 | Olympus Imaging Corp | 追尾装置および追尾方法 |
| KR101426775B1 (ko) * | 2012-02-17 | 2014-08-08 | 경북대학교 산학협력단 | 객체 추적 장치 및 방법 |
| CN109146918A (zh) * | 2018-06-11 | 2019-01-04 | 西安电子科技大学 | 一种基于分块的自适应相关目标定位方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103780871A (zh) * | 2012-10-19 | 2014-05-07 | 慧友电子股份有限公司 | Ｐｔｚ摄影机自动追踪的方法 |
-
2001
- 2001-12-07 JP JP2001374819A patent/JP3629236B2/ja not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005236508A (ja) * | 2004-02-18 | 2005-09-02 | Matsushita Electric Ind Co Ltd | 自動追尾装置及び自動追尾方法 |
| JP4597543B2 (ja) * | 2004-02-18 | 2010-12-15 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
| JP2007226643A (ja) * | 2006-02-24 | 2007-09-06 | Morpho Inc | 画像処理装置 |
| JP4620607B2 (ja) * | 2006-02-24 | 2011-01-26 | 株式会社モルフォ | 画像処理装置 |
| US8175399B2 (en) | 2006-02-24 | 2012-05-08 | Morpho, Inc. | Multiple-resolution image processing apparatus |
| JP2011135427A (ja) * | 2009-12-25 | 2011-07-07 | Olympus Imaging Corp | 動き検出装置および動き検出方法 |
| JP2012090232A (ja) * | 2010-10-22 | 2012-05-10 | Olympus Imaging Corp | 追尾装置および追尾方法 |
| JP2012089069A (ja) * | 2010-10-22 | 2012-05-10 | Olympus Imaging Corp | 追尾装置および追尾方法 |
| JP2011081841A (ja) * | 2011-01-11 | 2011-04-21 | Tokyo Univ Of Science | 動物体検出装置および動物体検出方法 |
| KR101426775B1 (ko) * | 2012-02-17 | 2014-08-08 | 경북대학교 산학협력단 | 객체 추적 장치 및 방법 |
| CN109146918A (zh) * | 2018-06-11 | 2019-01-04 | 西安电子科技大学 | 一种基于分块的自适应相关目标定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3629236B2 (ja) | 2005-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7634143B2 (en) | Image processing apparatus and method, recording medium, and program | |
| JP7258400B2 (ja) | ビデオデータ処理方法、ビデオデータ処理装置、コンピュータ機器、及びコンピュータプログラム | |
| US7194110B2 (en) | Method and apparatus for tracking features in a video sequence | |
| US7986813B2 (en) | Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor | |
| CN109344755B (zh) | 视频动作的识别方法、装置、设备及存储介质 | |
| JP2002269559A (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
| US10187546B2 (en) | Method and device for correcting document image captured by image pick-up device | |
| JP2023509572A (ja) | 車両を検出するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
| US20110134315A1 (en) | Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion | |
| US20220414908A1 (en) | Image processing method | |
| CN109194878B (zh) | 视频图像防抖方法、装置、设备和存储介质 | |
| JP2003178310A (ja) | 物体画像追跡方法及びプログラム | |
| US8175160B1 (en) | System, method, and computer program product for refining motion vectors | |
| US10475187B2 (en) | Apparatus and method for dividing image into regions | |
| CN110378932B (zh) | 一种基于空间正则矫正的相关滤波视觉跟踪方法 | |
| CN109935206B (zh) | 基于神经网络的显示器件亮度补偿方法、装置及设备 | |
| US20210241523A1 (en) | Electronic device for providing visual localization based on outdoor three-dimension map information and operating method thereof | |
| JP2019021297A (ja) | 画像処理装置及び方法、電子機器 | |
| US20090323814A1 (en) | Tracking point detection apparatus and method, program, and recording medium | |
| JP2002312791A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| CN111382643B (zh) | 一种手势检测方法、装置、设备及存储介质 | |
| CN112085842A (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| US20210374543A1 (en) | System, training device, training method, and predicting device | |
| JP2019106173A (ja) | 画像処理方法、画像処理装置およびプログラム | |
| US8538073B2 (en) | Image processing apparatus and method for tracking a location of a target subject |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041210 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071217 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101217 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111217 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |