JP2000339473A - ２次元動画像中の特徴点の追跡方法 - Google Patents
２次元動画像中の特徴点の追跡方法Info
- Publication number
- JP2000339473A JP2000339473A JP11147603A JP14760399A JP2000339473A JP 2000339473 A JP2000339473 A JP 2000339473A JP 11147603 A JP11147603 A JP 11147603A JP 14760399 A JP14760399 A JP 14760399A JP 2000339473 A JP2000339473 A JP 2000339473A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- foe
- point
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 相関だけを使って動画像上の対応点を求める
場合に生じうる対応点の誤りを訂正し、かつ対応点の位
置精度を高めることができる２次元動画像中の特徴点の
追跡方法を提供する。 【解決手段】 静止している対象物の動画像を撮像する
カメラに角速度を計測するセンサを一体的に取り付け、
動画像と角速度のデータを同期させて記録し、得られた
動画像及び角速度データを基に回転が０になるように動
画像を画像処理して並進運動だけを含む動画像とし、こ
の動画像のオプティカルフローの焦点FOEを求め、この
焦点FOEを用いて対応点の位置を修正する。
場合に生じうる対応点の誤りを訂正し、かつ対応点の位
置精度を高めることができる２次元動画像中の特徴点の
追跡方法を提供する。 【解決手段】 静止している対象物の動画像を撮像する
カメラに角速度を計測するセンサを一体的に取り付け、
動画像と角速度のデータを同期させて記録し、得られた
動画像及び角速度データを基に回転が０になるように動
画像を画像処理して並進運動だけを含む動画像とし、こ
の動画像のオプティカルフローの焦点FOEを求め、この
焦点FOEを用いて対応点の位置を修正する。
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオカメラ等の
２次元動画像中の特徴点の追跡方法に関する。
２次元動画像中の特徴点の追跡方法に関する。
【０００２】
【従来の技術】ビデオカメラ等で撮像される静止物の動
画像は観測者の動きや対象の構造に関する重要な情報を
含んでいる。例えば、街を歩きながらビデオカメラであ
る建物の周りを動きながら撮影してデータを取れば、後
でコンピュータにより３次元構造を復元し、自由な角度
から眺めることが可能となる。従って、かかる２次元動
画像からの３次元構造の復元は、コンピュータビジョン
の重要な課題の１つであり、この技術が確立されれば、
３次元モデリング、トラッキング、パッシブ・ナビゲー
ション、ロボットビジョンなとの多くの分野に応用可能
である。
画像は観測者の動きや対象の構造に関する重要な情報を
含んでいる。例えば、街を歩きながらビデオカメラであ
る建物の周りを動きながら撮影してデータを取れば、後
でコンピュータにより３次元構造を復元し、自由な角度
から眺めることが可能となる。従って、かかる２次元動
画像からの３次元構造の復元は、コンピュータビジョン
の重要な課題の１つであり、この技術が確立されれば、
３次元モデリング、トラッキング、パッシブ・ナビゲー
ション、ロボットビジョンなとの多くの分野に応用可能
である。
【０００３】この分野の研究は、おおまかに２種類に分
類することができる。１つは、異なる時刻に得られた画
像上の点の対応関係を使う手段であり、もう１つは、画
像上の速度（オプティカルフロー）を利用する手段であ
る。前者に較べてオプティカルフローを使う手段は、
（１）オプティカルフローは画像上の対応点よりも容易
に得られ、（２）速度はオプティカルフローから得られ
るが対応点からは得られない、等の利点がある。
類することができる。１つは、異なる時刻に得られた画
像上の点の対応関係を使う手段であり、もう１つは、画
像上の速度（オプティカルフロー）を利用する手段であ
る。前者に較べてオプティカルフローを使う手段は、
（１）オプティカルフローは画像上の対応点よりも容易
に得られ、（２）速度はオプティカルフローから得られ
るが対応点からは得られない、等の利点がある。
【０００４】更に、画像上のオプティカルフローから対
象の構造を復元する手段として、（１）平行投影像を使
うものと（２）透視投影像を使うものがある。前者は後
者の近似であり、この近似は対象がカメラから遠方にあ
る時にのみ成立する。従って、後者の透視投影像を使う
手段の方が高い精度を得ることができる。
象の構造を復元する手段として、（１）平行投影像を使
うものと（２）透視投影像を使うものがある。前者は後
者の近似であり、この近似は対象がカメラから遠方にあ
る時にのみ成立する。従って、後者の透視投影像を使う
手段の方が高い精度を得ることができる。
【０００５】透視投影像のオプティカルフローから対象
の構造を復元する手段としては、従来、特別な仮定を設
けない限り、非線形連立方程式を繰り返し法を用いて解
く必要があった。特別な仮定とは、被観測点が平面上に
ある場合、運動が回転だけ、又は並進だけの場合であ
る。従って、一般的には、非線形連立方程式を解く必要
があるが、その場合、解の一意性が保証されない、繰り
返し法による探索が必要になる、等の問題点があった。
の構造を復元する手段としては、従来、特別な仮定を設
けない限り、非線形連立方程式を繰り返し法を用いて解
く必要があった。特別な仮定とは、被観測点が平面上に
ある場合、運動が回転だけ、又は並進だけの場合であ
る。従って、一般的には、非線形連立方程式を解く必要
があるが、その場合、解の一意性が保証されない、繰り
返し法による探索が必要になる、等の問題点があった。
【０００６】これらの問題点を解決するために、本発明
の発明者等は、剛体的な運動をする点から透視投影で得
られたオプティカルフロー画像を使って、線形方程式を
解くだけで構造を復元する方法を提案した（「オプティ
カルフロー画像からの線形計算による３次元運動パラメ
ータと構造の復元」，計測自動制御学会論文集，Vol.3
4, No.5, 438/444 (1998)）。この方法により、非線形
方程式を解く必要がなく、解の一意性が保証され、かつ
被観測点を増やすことにより精度も容易に向上できる。
の発明者等は、剛体的な運動をする点から透視投影で得
られたオプティカルフロー画像を使って、線形方程式を
解くだけで構造を復元する方法を提案した（「オプティ
カルフロー画像からの線形計算による３次元運動パラメ
ータと構造の復元」，計測自動制御学会論文集，Vol.3
4, No.5, 438/444 (1998)）。この方法により、非線形
方程式を解く必要がなく、解の一意性が保証され、かつ
被観測点を増やすことにより精度も容易に向上できる。
【０００７】
【発明が解決しようとする課題】上述したように、動画
像を通して特徴点の動き（オプティカルフロー）を追跡
することは、対象の形状復元、パターン認識、カメラ位
置を求めるキャリブレーションなどの前処理として極め
て重要である。しかし、オプティカルフローの追跡は従
来短時間経過前後の特徴点周辺の領域の相関を用いて行
われているため、追跡精度が低い問題点があった。
像を通して特徴点の動き（オプティカルフロー）を追跡
することは、対象の形状復元、パターン認識、カメラ位
置を求めるキャリブレーションなどの前処理として極め
て重要である。しかし、オプティカルフローの追跡は従
来短時間経過前後の特徴点周辺の領域の相関を用いて行
われているため、追跡精度が低い問題点があった。
【０００８】例えば、図７はある瞬間の立方体の画像
IA、図８はその短時間後の画像IBであり、図９、図１０
は、図７、８の画像を画像処理して見やすくしたもので
ある。図中の数字は画像IAの特徴点と相関により求めた
画像IBの対応点である。図７、９と図８、１０との比較
からわかるように、画像IA上の点８、１３、２１（図１
０に矢印で示す）については誤対応が生じている。
IA、図８はその短時間後の画像IBであり、図９、図１０
は、図７、８の画像を画像処理して見やすくしたもので
ある。図中の数字は画像IAの特徴点と相関により求めた
画像IBの対応点である。図７、９と図８、１０との比較
からわかるように、画像IA上の点８、１３、２１（図１
０に矢印で示す）については誤対応が生じている。
【０００９】このように相関だけを使って動画像上の対
応点を求める場合、図１０に例示したように誤対応が起
こる（対応自体を間違える）場合と、ほぼ正しい対応が
得られているが、位置の精度が悪い場合とがあった。こ
れらの問題が生じると、上述したオプティカルフローを
もちいた３次元構造の復元（３次元モデリング、トラッ
キング、パッシブ・ナビゲーション、ロボットビジョ
ン）やパターン認識、カメラ位置を求めるキャリブレー
ションなどの前処理の精度が低下し、有用性が低減する
問題が生じる。
応点を求める場合、図１０に例示したように誤対応が起
こる（対応自体を間違える）場合と、ほぼ正しい対応が
得られているが、位置の精度が悪い場合とがあった。こ
れらの問題が生じると、上述したオプティカルフローを
もちいた３次元構造の復元（３次元モデリング、トラッ
キング、パッシブ・ナビゲーション、ロボットビジョ
ン）やパターン認識、カメラ位置を求めるキャリブレー
ションなどの前処理の精度が低下し、有用性が低減する
問題が生じる。
【００１０】なお「相関」とは、画像IAのある特徴点の
対応点が存在すると予想される領域を画像IB中にある大
きさでとり、その画像を比較して最も画像が近い点（相
関が最大となる点）を対応点として求める処理をいう。
対応点が存在すると予想される領域を画像IB中にある大
きさでとり、その画像を比較して最も画像が近い点（相
関が最大となる点）を対応点として求める処理をいう。
【００１１】本発明は、上述した問題点を解決するため
に創案されたものである。すなわち、本発明の目的は、
相関だけを使って動画像上の対応点を求める場合に生じ
うる対応点の誤りを訂正し、かつ対応点の位置精度を高
めることができる２次元動画像中の特徴点の追跡方法を
提供することにある。
に創案されたものである。すなわち、本発明の目的は、
相関だけを使って動画像上の対応点を求める場合に生じ
うる対応点の誤りを訂正し、かつ対応点の位置精度を高
めることができる２次元動画像中の特徴点の追跡方法を
提供することにある。
【００１２】
【課題を解決するための手段】上述した問題点は画像処
理だけで解決することは困難である。しかし、カメラに
角速度センサを付加して情報を補うことにより、これら
の欠点を回避することができる。本発明はかかる新規の
着想に基づくものである。
理だけで解決することは困難である。しかし、カメラに
角速度センサを付加して情報を補うことにより、これら
の欠点を回避することができる。本発明はかかる新規の
着想に基づくものである。
【００１３】すなわち、本発明によれば、静止している
対象物の動画像を撮像するカメラに角速度を計測するセ
ンサを一体的に取り付け、動画像と角速度のデータを同
期させて記録し、得られた動画像及び角速度データから
２次元動画像中の特徴点の追跡する、ことを特徴とする
２次元動画像中の特徴点の追跡方法が提供される。
対象物の動画像を撮像するカメラに角速度を計測するセ
ンサを一体的に取り付け、動画像と角速度のデータを同
期させて記録し、得られた動画像及び角速度データから
２次元動画像中の特徴点の追跡する、ことを特徴とする
２次元動画像中の特徴点の追跡方法が提供される。
【００１４】本発明の好ましい実施形態によれば、角速
度データを基に回転が０になるように動画像を画像処理
して並進運動だけを含む動画像とし、この動画像のオプ
ティカルフローの焦点FOEを求め、この焦点FOEを用いて
対応点の位置を修正する。好ましくは、ランダムに３個
以上の点の対応点を選び、選んだ点全体に関し評価関数
Eを用いて焦点FOEの候補を求め、各候補の誤差を計算
し、その中央値が最小のものを焦点FOEとする。
度データを基に回転が０になるように動画像を画像処理
して並進運動だけを含む動画像とし、この動画像のオプ
ティカルフローの焦点FOEを求め、この焦点FOEを用いて
対応点の位置を修正する。好ましくは、ランダムに３個
以上の点の対応点を選び、選んだ点全体に関し評価関数
Eを用いて焦点FOEの候補を求め、各候補の誤差を計算
し、その中央値が最小のものを焦点FOEとする。
【００１５】本発明の方法によれば先ず、静止物の動画
像を角速度センサを取り付けたカメラを動かしながら撮
影し、画像と角速度センサの出力を同期させて取り込
む。この動画像のある瞬間の画像IAから次ぎの瞬間の画
像IBへの追跡を考える場合、角速度センサの出力から角
速度データが得られるので、角速度を積分することによ
りカメラがどれだけ回転したかを求められる。この値を
使い、画像IAを回転させて新たな画像IAを求める。そし
て、画像IAから画像IBへの点の移動を求める代わりに、
画像IAから画像IBへの点の移動を求める。
像を角速度センサを取り付けたカメラを動かしながら撮
影し、画像と角速度センサの出力を同期させて取り込
む。この動画像のある瞬間の画像IAから次ぎの瞬間の画
像IBへの追跡を考える場合、角速度センサの出力から角
速度データが得られるので、角速度を積分することによ
りカメラがどれだけ回転したかを求められる。この値を
使い、画像IAを回転させて新たな画像IAを求める。そし
て、画像IAから画像IBへの点の移動を求める代わりに、
画像IAから画像IBへの点の移動を求める。
【００１６】IA中の特徴点に対応するIB中の点の候補を
求めるために従来と同様に相関を使うが、この対応には
多くの場合、間違った対応が含まれている。そこで、画
像IAから画像IBへの動きは並進だけになっているので、
「点のフローは理論的にはFOE (Focus of Expansion)と
呼ばれる１点で交わる」という性質が利用できる。この
性質に基づいて、対応点の候補を使って、ロバスト（ro
bust、頑健の意）な方法で動画像のオプティカルフロー
の焦点FOEを求め、次に、画像IA中の特徴点と焦点FOEを
結ぶ直線上で元の点との相関をとることにより、画像IB
中の対応点をより正確に求めることができる。
求めるために従来と同様に相関を使うが、この対応には
多くの場合、間違った対応が含まれている。そこで、画
像IAから画像IBへの動きは並進だけになっているので、
「点のフローは理論的にはFOE (Focus of Expansion)と
呼ばれる１点で交わる」という性質が利用できる。この
性質に基づいて、対応点の候補を使って、ロバスト（ro
bust、頑健の意）な方法で動画像のオプティカルフロー
の焦点FOEを求め、次に、画像IA中の特徴点と焦点FOEを
結ぶ直線上で元の点との相関をとることにより、画像IB
中の対応点をより正確に求めることができる。
【００１７】
【発明の実施の形態】以下、本発明の実施形態を具体的
に説明する。図１は、静止している対象物の動画像のあ
る瞬間の画像IAと次ぎの瞬間の画像IBからオプティカル
フローを求めた画像である。すなわち、図１において、
白い線が画像IAから画像IBへのオプティカルフローを示
している。なお、図２は図１の画像を画像処理して見や
すくしたものであり、画像IAから画像IBへのオプティカ
ルフローは黒線で示している。
に説明する。図１は、静止している対象物の動画像のあ
る瞬間の画像IAと次ぎの瞬間の画像IBからオプティカル
フローを求めた画像である。すなわち、図１において、
白い線が画像IAから画像IBへのオプティカルフローを示
している。なお、図２は図１の画像を画像処理して見や
すくしたものであり、画像IAから画像IBへのオプティカ
ルフローは黒線で示している。
【００１８】本発明の方法では、静止している対象物の
動画像を撮像するカメラに角速度を計測するセンサ（例
えばジャイロセンサ）を一体的に取り付け、動画像と角
速度のデータを同期させて記録する。センサ（ジャイロ
センサ）から角速度が得られるので、短時間であれば、
角速度を積分することによりカメラがどれだけ回転した
かを求められる。この値を使い、画像IAを回転させて新
たな画像IAを求める。そして、画像IAから画像IBへの点
の移動を求める代わりに、画像IAから画像IBへの点の移
動（オプティカルフロー）を求める。このオプティカル
フローを図１では黒い細線、図２では破線で示す。
動画像を撮像するカメラに角速度を計測するセンサ（例
えばジャイロセンサ）を一体的に取り付け、動画像と角
速度のデータを同期させて記録する。センサ（ジャイロ
センサ）から角速度が得られるので、短時間であれば、
角速度を積分することによりカメラがどれだけ回転した
かを求められる。この値を使い、画像IAを回転させて新
たな画像IAを求める。そして、画像IAから画像IBへの点
の移動を求める代わりに、画像IAから画像IBへの点の移
動（オプティカルフロー）を求める。このオプティカル
フローを図１では黒い細線、図２では破線で示す。
【００１９】画像IAから画像IBへの点の移動は並進だけ
なので、３次元空間内で考えると理論的に無限遠の位置
で交差する。これは透視画法のように画像上ではある点
で交差する。この点は画像処理上、FOE (Focus of Expa
nsion)と呼ばれる。すなわち、画像IAを回転させて新た
な画像IAを求め、画像IAから画像IBへのオプティカルフ
ローを並進だけにすることにより、対応点の候補を使っ
て、ロバスト（robust、頑健の意味）な方法でFOEを求
めることができる。次に、画像IA中の特徴点とFOEを結
ぶ直線上でもとの点との相関をとることにより、画像IB
中の対応点をより正確に求める。
なので、３次元空間内で考えると理論的に無限遠の位置
で交差する。これは透視画法のように画像上ではある点
で交差する。この点は画像処理上、FOE (Focus of Expa
nsion)と呼ばれる。すなわち、画像IAを回転させて新た
な画像IAを求め、画像IAから画像IBへのオプティカルフ
ローを並進だけにすることにより、対応点の候補を使っ
て、ロバスト（robust、頑健の意味）な方法でFOEを求
めることができる。次に、画像IA中の特徴点とFOEを結
ぶ直線上でもとの点との相関をとることにより、画像IB
中の対応点をより正確に求める。
【００２０】図３は、本発明の方法を示すフローチャー
トである。この図を用いて、以下に本発明の方法を詳細
に説明する。
トである。この図を用いて、以下に本発明の方法を詳細
に説明する。
【００２１】（画像に回転を施す方法）図３のステップ
１（S1）における画像IA→画像IBで加わった回転を施し
て画像IAを画像 IAにする画像処理方法をはじめに説明
する。この画像処理により画像I Aから画像IBの動き（オ
プティカルフロー）は回転が取り除かれ、並進だけとな
る。
１（S1）における画像IA→画像IBで加わった回転を施し
て画像IAを画像 IAにする画像処理方法をはじめに説明
する。この画像処理により画像I Aから画像IBの動き（オ
プティカルフロー）は回転が取り除かれ、並進だけとな
る。
【００２２】画像中の特徴点の位置をu=(u,v)Tとする。
これを同次座標で表すとm=(u,v,1)Tとなる。すなわち、
u1=m1/m3, u2=m2/m3という関係がなりたつとき、mはu
の同次座標である。この同次座標を用いると、カメラ中
心から特徴点の三次元中の位置へ向かうベクトルは、式
（１）と書ける。ここで、u0, v0, fx, fyはカメラに固
有のパラメータであり、カメラのキャリブレーションに
よりあらかじめ求まっているとする。このベクトルqに
対してジャイロセンサから求まるカメラの回転を表す行
列Rを施し、Pの逆行列P-1で戻せば、回転を加えた同次
座標mが得られる。つまり、式（２）が成り立つ。な
お、Pの逆行列P-1は式（３）である。同次座標mから、
回転を加えた特徴点の位置uが、u1=m1/m3, u2=m2/m3と
いう同次座標の関係により求まる。
これを同次座標で表すとm=(u,v,1)Tとなる。すなわち、
u1=m1/m3, u2=m2/m3という関係がなりたつとき、mはu
の同次座標である。この同次座標を用いると、カメラ中
心から特徴点の三次元中の位置へ向かうベクトルは、式
（１）と書ける。ここで、u0, v0, fx, fyはカメラに固
有のパラメータであり、カメラのキャリブレーションに
よりあらかじめ求まっているとする。このベクトルqに
対してジャイロセンサから求まるカメラの回転を表す行
列Rを施し、Pの逆行列P-1で戻せば、回転を加えた同次
座標mが得られる。つまり、式（２）が成り立つ。な
お、Pの逆行列P-1は式（３）である。同次座標mから、
回転を加えた特徴点の位置uが、u1=m1/m3, u2=m2/m3と
いう同次座標の関係により求まる。
【００２３】
【数１】
【００２４】図３のステップ２（S2）では、IA中の各点
について、２次元領域で相関をとることによりIB中の対
応点を見つける。この図８、１０に示したように、この
相関では、ほぼ正しい対応が得られているが誤対応や位
置精度が悪いものがありうる。次ぎにS3において、FOE
を求めるために評価関数を導入し、さらに、対応自体の
誤りに対応するためにLMedS法 (Least Median of Squar
es method)を導入する。
について、２次元領域で相関をとることによりIB中の対
応点を見つける。この図８、１０に示したように、この
相関では、ほぼ正しい対応が得られているが誤対応や位
置精度が悪いものがありうる。次ぎにS3において、FOE
を求めるために評価関数を導入し、さらに、対応自体の
誤りに対応するためにLMedS法 (Least Median of Squar
es method)を導入する。
【００２５】（評価関数）図４は、評価関数の説明図で
ある。点の対応からFOEを求めるための評価関数とし
て、この図に模式的に示すように、FOEからIAとIBで対
応する点の重心giに直線を引き、この直線と画像IBの対
応点との距離の２乗を３個以上の点に関して和をとった
ものを用いる。
ある。点の対応からFOEを求めるための評価関数とし
て、この図に模式的に示すように、FOEからIAとIBで対
応する点の重心giに直線を引き、この直線と画像IBの対
応点との距離の２乗を３個以上の点に関して和をとった
ものを用いる。
【００２６】画像IBの対応点と直線liとの距離は画像IA
の対応点と直線との距離と等しいので、片方のみを評価
関数では用いる。画像IAの対応点iの位置をxA;i、対応
する画像IBの対応点iの位置をxB;i、点xA;iと点xB;iの
重心をgiとすると、評価関数は、式（４）となる。ここ
で、li (xFOE, gi)は点xFOEと重心giを通る直線であ
り、dist2(xB;i, li)は点xB;iと直線liとのユークリッ
ド距離を２乗したものである。niをliの正規化された法
線ベクトルとし、ai=xB;i-giとすると、式（５）、式
（６）となる。
の対応点と直線との距離と等しいので、片方のみを評価
関数では用いる。画像IAの対応点iの位置をxA;i、対応
する画像IBの対応点iの位置をxB;i、点xA;iと点xB;iの
重心をgiとすると、評価関数は、式（４）となる。ここ
で、li (xFOE, gi)は点xFOEと重心giを通る直線であ
り、dist2(xB;i, li)は点xB;iと直線liとのユークリッ
ド距離を２乗したものである。niをliの正規化された法
線ベクトルとし、ai=xB;i-giとすると、式（５）、式
（６）となる。
【００２７】
【数2】
【００２８】評価関数E(xFOE)を最小にするxFOEを求め
る。そのために、なんらかの数値計算法、例えば共役勾
配法を使う。そのためには勾配が必要であるがこれは以
下のように計算できる。すなわち、式（７）、式（８）
とすると、勾配は式（９）、（１０）で表せる。
る。そのために、なんらかの数値計算法、例えば共役勾
配法を使う。そのためには勾配が必要であるがこれは以
下のように計算できる。すなわち、式（７）、式（８）
とすると、勾配は式（９）、（１０）で表せる。
【００２９】
【数3】
【００３０】（対応に誤りがある場合に対処するための
LMedS法）次ぎに点の対応に間違いがある場合にFOEを正
しく求めるために、LMedS法(Least Median of Squares
method)を導入する。最初のマッチングで求まった点の
対応全体の中から、その一部であるp点（例えば５点）
の対応をランダムに取り出し、これを｛x1 sub,
x2 sub,...,xp sub｝とする。また、画像IA中のxi subをx
A;i sub、画像IB中のxi subをxB;i subと表記する。このサ
ブセットに対して、上述した評価関数E(xFOE)を使ってF
OEの候補xFOEを求める。この候補に対してサブセット中
のそれぞれの点の誤差｛r1 2,r2 2, ... ,rp 2｝を求め
る。ここで式（１１）が成り立つ。gi subはxA;i subとx
B;i subの重心である。この行為を何回も繰り返し、ri 2
のメジアンが最小になる時、つまり式（１２）が最小と
なる時のxFOEをロバストに求まったFOEとして採用す
る。
LMedS法）次ぎに点の対応に間違いがある場合にFOEを正
しく求めるために、LMedS法(Least Median of Squares
method)を導入する。最初のマッチングで求まった点の
対応全体の中から、その一部であるp点（例えば５点）
の対応をランダムに取り出し、これを｛x1 sub,
x2 sub,...,xp sub｝とする。また、画像IA中のxi subをx
A;i sub、画像IB中のxi subをxB;i subと表記する。このサ
ブセットに対して、上述した評価関数E(xFOE)を使ってF
OEの候補xFOEを求める。この候補に対してサブセット中
のそれぞれの点の誤差｛r1 2,r2 2, ... ,rp 2｝を求め
る。ここで式（１１）が成り立つ。gi subはxA;i subとx
B;i subの重心である。この行為を何回も繰り返し、ri 2
のメジアンが最小になる時、つまり式（１２）が最小と
なる時のxFOEをロバストに求まったFOEとして採用す
る。
【００３１】
【数4】
【００３２】図３のステップ３（S3）により対応の間違
いが除かれた結果が得られる。しかし、位置の誤差に対
しては、使っている点が少ないので最適値ではない。そ
こで、ステップ４（S4）では、上で求まったFOEと矛盾
しない点の対応を選びだし、これに対して新たにFOEを
求める。具体的には、全ての点対応に対してri 2を計算
し、これにより選ばれた対応に対し、再びE(xFOE)を最
小にするxFOEを求める。これが最終的に求まったFOEで
ある。
いが除かれた結果が得られる。しかし、位置の誤差に対
しては、使っている点が少ないので最適値ではない。そ
こで、ステップ４（S4）では、上で求まったFOEと矛盾
しない点の対応を選びだし、これに対して新たにFOEを
求める。具体的には、全ての点対応に対してri 2を計算
し、これにより選ばれた対応に対し、再びE(xFOE)を最
小にするxFOEを求める。これが最終的に求まったFOEで
ある。
【００３３】( FOEを使ったマッチング)FOEと画像IA中
の点xA;iとを結ぶ直線上に画像IB中の点xB;iもあるはず
である。それも、全ての点はFOEやxA;iからみて直線の
同じ側にある。そこで、ステップ５（S5）では、FOEを
最終的に求めるときに使った点のペア、つまり、ほぼ正
しく求まっていると考えられるペアについてフローの大
きさの平均値と標準偏差を求め、平均値の前後を標準偏
差の定数倍（普通は３倍程度）の範囲内で動かしながら
直線上でマッチングをとる。ただし、この範囲は理論的
にxA;iやxFOEを超えることはないので、範囲がこれを超
える場合には超えた部分についてはマッチングをとらな
い。これにより、最終的な対応点xB;iを求める。
の点xA;iとを結ぶ直線上に画像IB中の点xB;iもあるはず
である。それも、全ての点はFOEやxA;iからみて直線の
同じ側にある。そこで、ステップ５（S5）では、FOEを
最終的に求めるときに使った点のペア、つまり、ほぼ正
しく求まっていると考えられるペアについてフローの大
きさの平均値と標準偏差を求め、平均値の前後を標準偏
差の定数倍（普通は３倍程度）の範囲内で動かしながら
直線上でマッチングをとる。ただし、この範囲は理論的
にxA;iやxFOEを超えることはないので、範囲がこれを超
える場合には超えた部分についてはマッチングをとらな
い。これにより、最終的な対応点xB;iを求める。
【００３４】
【実施例】画像IAとして図７に示した画像を用いた。ジ
ャイロセンサを使わずに相関だけを使ってIB中の対応点
を求めた場合、図８、１０に示したように誤対応が起こ
る。一方ジャイロセンサを用い、本発明の方法で対応を
求めると、図５、６に示すように正しい対応点を求める
ことができた。
ャイロセンサを使わずに相関だけを使ってIB中の対応点
を求めた場合、図８、１０に示したように誤対応が起こ
る。一方ジャイロセンサを用い、本発明の方法で対応を
求めると、図５、６に示すように正しい対応点を求める
ことができた。
【００３５】なお、本発明は上述した実施形態に限定さ
れず、本発明の要旨を逸脱しない範囲で種々に変更でき
ることは勿論である。また、図２、６、９、１０に示し
た線画は画像を見やすくするためのものである本発明に
は直接関係しないものである。
れず、本発明の要旨を逸脱しない範囲で種々に変更でき
ることは勿論である。また、図２、６、９、１０に示し
た線画は画像を見やすくするためのものである本発明に
は直接関係しないものである。
【００３６】
【発明の効果】上述したように、本発明の２次元動画像
中の特徴点の追跡方法は、相関だけを使って動画像上の
対応点を求める場合に生じうる対応点の誤りを訂正し、
かつ対応点の位置精度を高めることができる、等の優れ
た効果を有する。
中の特徴点の追跡方法は、相関だけを使って動画像上の
対応点を求める場合に生じうる対応点の誤りを訂正し、
かつ対応点の位置精度を高めることができる、等の優れ
た効果を有する。
【図１】静止物のある瞬間のディスプレイ上の中間調画
像IAである。
像IAである。
【図２】図１を画像処理したディスプレイ上の中間調画
像である。
像である。
【図３】本発明の方法を示すフローチャートである。
【図４】評価関数の説明図である。
【図5】画像IAの短時間後の本発明によるディスプレイ
上の中間調画像IBである。
上の中間調画像IBである。
【図6】図５を画像処理したディスプレイ上の中間調画
像である。
像である。
【図7】ある瞬間の立方体のディスプレイ上の中間調画
像IAである。
像IAである。
【図8】画像IAの短時間後のディスプレイ上の中間調画
像IBである。
像IBである。
【図9】図７を画像処理したディスプレイ上の中間調画
像である。
像である。
【図10】図９を画像処理したディスプレイ上の中間調画
像である。
像である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大西 昇 愛知県名古屋市守山区大字下志段味字穴ケ 洞2271−130 サイエンスパーク研究開発 センター内 理化学研究所バイオ・ミメテ ィックコントロール研究センター内 Ｆターム(参考） 5C022 AB22 AB62 AB63 AC00 5L096 BA08 CA04 FA09 FA34 FA67 HA05 9A001 GG01 HH30
Claims (3)
- 【請求項１】 静止している対象物の動画像を撮像する
カメラに角速度を計測するセンサを一体的に取り付け、
動画像と角速度のデータを同期させて記録し、得られた
動画像及び角速度データから２次元動画像中の特徴点の
追跡する、ことを特徴とする２次元動画像中の特徴点の
追跡方法。 - 【請求項２】 角速度データを基に回転が０になるよう
に動画像を画像処理して並進運動だけを含む動画像と
し、この動画像のオプティカルフローの焦点FOEを求
め、この焦点FOEを用いて対応点の位置を修正する、こ
とを特徴とする請求項１に記載の２次元動画像中の特徴
点の追跡方法。 - 【請求項３】 ランダムに３個以上の点の対応点を選
び、選んだ点全体に関し評価関数Eを用いて焦点FOEの候
補を求め、各候補の誤差を計算し、その中央値が最小の
ものを焦点FOEとする、ことを特徴とする請求項２に記
載の２次元動画像中の特徴点の追跡方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14760399A JP3452188B2 (ja) | 1999-05-27 | 1999-05-27 | ２次元動画像中の特徴点の追跡方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14760399A JP3452188B2 (ja) | 1999-05-27 | 1999-05-27 | ２次元動画像中の特徴点の追跡方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000339473A true JP2000339473A (ja) | 2000-12-08 |
| JP3452188B2 JP3452188B2 (ja) | 2003-09-29 |
Family
ID=15434073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14760399A Expired - Fee Related JP3452188B2 (ja) | 1999-05-27 | 1999-05-27 | ２次元動画像中の特徴点の追跡方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3452188B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6996266B2 (en) | 2000-08-11 | 2006-02-07 | Minolta Co., Ltd. | Method and apparatus for generating three-dimensional data of an object by selecting the method for detecting corresponding points that is suitable to the object |
| WO2012063467A1 (ja) * | 2010-11-11 | 2012-05-18 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム及び撮影装置 |
| JP2013537630A (ja) * | 2010-08-04 | 2013-10-03 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 車両の車輪運動および車体運動の決定方法および決定装置 |
| US8798387B2 (en) | 2010-11-11 | 2014-08-05 | Panasonic Intellectual Property Corporation Of America | Image processing device, image processing method, and program for image processing |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915964B (zh) * | 2014-03-11 | 2017-08-11 | 株式会社理光 | 对象跟踪方法和设备 |
-
1999
- 1999-05-27 JP JP14760399A patent/JP3452188B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6996266B2 (en) | 2000-08-11 | 2006-02-07 | Minolta Co., Ltd. | Method and apparatus for generating three-dimensional data of an object by selecting the method for detecting corresponding points that is suitable to the object |
| JP2013537630A (ja) * | 2010-08-04 | 2013-10-03 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 車両の車輪運動および車体運動の決定方法および決定装置 |
| WO2012063467A1 (ja) * | 2010-11-11 | 2012-05-18 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム及び撮影装置 |
| US8681230B2 (en) | 2010-11-11 | 2014-03-25 | Panasonic Corporation | Picture processing device, picture processing method, program for picture processing, and imaging device |
| JPWO2012063467A1 (ja) * | 2010-11-11 | 2014-05-12 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム及び撮影装置 |
| US8798387B2 (en) | 2010-11-11 | 2014-08-05 | Panasonic Intellectual Property Corporation Of America | Image processing device, image processing method, and program for image processing |
| JP5960595B2 (ja) * | 2010-11-11 | 2016-08-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像処理装置、画像処理方法、プログラム及び撮影装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3452188B2 (ja) | 2003-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3028252B1 (en) | Rolling sequential bundle adjustment | |
| Fitzgibbon et al. | Multibody structure and motion: 3-d reconstruction of independently moving objects | |
| JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
| US20190012804A1 (en) | Methods and apparatuses for panoramic image processing | |
| WO2018068719A1 (zh) | 一种图像拼接方法及装置 | |
| WO2016181687A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
| WO2013038656A1 (ja) | 投影像自動補正システム、投影像自動補正方法およびプログラム | |
| WO2017022033A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| Larsson et al. | Revisiting radial distortion absolute pose | |
| JP2007323615A (ja) | 画像処理装置及びその処理方法 | |
| Zhu et al. | Robust plane-based calibration of multiple non-overlapping cameras | |
| US20220405968A1 (en) | Method, apparatus and system for image processing | |
| JP2018173882A (ja) | 情報処理装置、方法、及びプログラム | |
| JP4809134B2 (ja) | 画像処理装置及びその処理方法 | |
| Beermann et al. | Calibration routine for a telecentric stereo vision system considering affine mirror ambiguity | |
| JP3452188B2 (ja) | ２次元動画像中の特徴点の追跡方法 | |
| WO2018100230A1 (en) | Method and apparatuses for determining positions of multi-directional image capture apparatuses | |
| Ornhag et al. | Efficient real-time radial distortion correction for uavs | |
| WO2018150086A2 (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
| JPH11194027A (ja) | 三次元座標計測装置 | |
| CN106709942A (zh) | 一种基于特征方位角的全景图像误匹配消除方法 | |
| CN108986025A (zh) | 基于不完备姿轨信息的高精度异时图像拼接及校正方法 | |
| Hao et al. | An Iterative Algorithm for Camera Pose Estimation with Lie Group Representation | |
| Todorov | Multi-Camera Calibration | |
| PirahanSiah et al. | Pattern image significance for camera calibration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |