JP2000222580A - ２次元動画像からの３次元構造復元方法 - Google Patents
２次元動画像からの３次元構造復元方法Info
- Publication number
- JP2000222580A JP2000222580A JP11025628A JP2562899A JP2000222580A JP 2000222580 A JP2000222580 A JP 2000222580A JP 11025628 A JP11025628 A JP 11025628A JP 2562899 A JP2562899 A JP 2562899A JP 2000222580 A JP2000222580 A JP 2000222580A
- Authority
- JP
- Japan
- Prior art keywords
- angular velocity
- camera
- acceleration
- moving image
- dimensional structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 非線形方程式を解く必要がなく、解の一意性
が保証され、かつ並進運動と回転運動を容易に識別で
き、更に対象物の絶対的な大きさも得られる２次元動画
像からの３次元構造復元方法を提供する。 【解決手段】 静止している対象物１の動画像を撮像す
るカメラ２に加速度と角速度を計測するセンサを一体的
に取り付け、動画像と加速度及び角速度のデータを同期
させて記録し、角速度データを基に角速度が０になるよ
うに動画像を画像処理して並進運動だけを含む動画像と
してこの動画像から３次元構造を復元し、更に、加速度
データから求めた速度と、並進運動だけを含む動画像上
の速度との比ｓから、対象物の大きさを求める。
が保証され、かつ並進運動と回転運動を容易に識別で
き、更に対象物の絶対的な大きさも得られる２次元動画
像からの３次元構造復元方法を提供する。 【解決手段】 静止している対象物１の動画像を撮像す
るカメラ２に加速度と角速度を計測するセンサを一体的
に取り付け、動画像と加速度及び角速度のデータを同期
させて記録し、角速度データを基に角速度が０になるよ
うに動画像を画像処理して並進運動だけを含む動画像と
してこの動画像から３次元構造を復元し、更に、加速度
データから求めた速度と、並進運動だけを含む動画像上
の速度との比ｓから、対象物の大きさを求める。
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオカメラ等の
２次元動画像から、並進運動と回転運動を識別して３次
元構造を復元しかつ対象物の実際の大きさを知る方法に
関する。
２次元動画像から、並進運動と回転運動を識別して３次
元構造を復元しかつ対象物の実際の大きさを知る方法に
関する。
【０００２】
【従来の技術】ビデオカメラ等で撮像される動画像は観
測者の動きや対象の構造に関する重要な情報を含んでい
る。例えば、街を歩きながらビデオカメラである建物の
周りを動きながら撮影してデータを取れば、後でコンピ
ュータにより３次元構造を復元し、自由な角度から眺め
ることが可能となる。従って、かかる２次元動画像から
の３次元構造の復元は、コンピュータビジョンの重要な
課題の１つであり、この技術が確立されれば、３次元モ
デリング、トラッキング、パッシブ・ナビゲーション、
ロボットビジョンなとの多くの分野に応用可能である。
測者の動きや対象の構造に関する重要な情報を含んでい
る。例えば、街を歩きながらビデオカメラである建物の
周りを動きながら撮影してデータを取れば、後でコンピ
ュータにより３次元構造を復元し、自由な角度から眺め
ることが可能となる。従って、かかる２次元動画像から
の３次元構造の復元は、コンピュータビジョンの重要な
課題の１つであり、この技術が確立されれば、３次元モ
デリング、トラッキング、パッシブ・ナビゲーション、
ロボットビジョンなとの多くの分野に応用可能である。
【０００３】この分野の研究は、おおまかに２種類に分
類することができる。１つは、異なる時刻に得られた画
像上の点の対応関係を使う手段であり、もう１つは、画
像上の速度（オプティカルフロー）を利用する手段であ
る。前者に較べてオプティカルフローを使う手段は、
（１）オプティカルフローは画像上の対応点よりも容易
に得られ、（２）速度はオプティカルフローから得られ
るが対応点からは得られない、等の利点がある。
類することができる。１つは、異なる時刻に得られた画
像上の点の対応関係を使う手段であり、もう１つは、画
像上の速度（オプティカルフロー）を利用する手段であ
る。前者に較べてオプティカルフローを使う手段は、
（１）オプティカルフローは画像上の対応点よりも容易
に得られ、（２）速度はオプティカルフローから得られ
るが対応点からは得られない、等の利点がある。
【０００４】更に、画像上のオプティカルフローから対
象の構造を復元する手段として、（１）平行投影像を使
うものと（２）透視投影像を使うものがある。前者は後
者の近似であり、この近似は対象がカメラから遠方にあ
る時にのみ成立する。従って、後者の透視投影像を使う
手段の方が高い精度を得ることができる。
象の構造を復元する手段として、（１）平行投影像を使
うものと（２）透視投影像を使うものがある。前者は後
者の近似であり、この近似は対象がカメラから遠方にあ
る時にのみ成立する。従って、後者の透視投影像を使う
手段の方が高い精度を得ることができる。
【０００５】透視投影像のオプティカルフローから対象
の構造を復元する手段としては、従来、特別な仮定を設
けない限り、非線形連立方程式を繰り返し法を用いて解
く必要があった。特別な仮定とは、被観測点が平面上に
ある場合、運動が回転だけ、又は並進だけの場合であ
る。従って、一般的には、非線形連立方程式を解く必要
があるが、その場合、解の一意性が保証されない、繰り
返し法による探索が必要になる、等の問題点があった。
の構造を復元する手段としては、従来、特別な仮定を設
けない限り、非線形連立方程式を繰り返し法を用いて解
く必要があった。特別な仮定とは、被観測点が平面上に
ある場合、運動が回転だけ、又は並進だけの場合であ
る。従って、一般的には、非線形連立方程式を解く必要
があるが、その場合、解の一意性が保証されない、繰り
返し法による探索が必要になる、等の問題点があった。
【０００６】これらの問題点を解決するために、本発明
の発明者等は、剛体的な運動をする点から透視投影で得
られたオプティカルフロー画像を使って、線形方程式を
解くだけで構造を復元する方法を提案した（「オプティ
カルフロー画像からの線形計算による３次元運動パラメ
ータと構造の復元」，計測自動制御学会論文集，Vol.3
4, No.5, 438/444 (1998)）。この方法により、非線形
方程式を解く必要がなく、解の一意性が保証され、かつ
被観測点を増やすことにより精度も容易に向上できる。
の発明者等は、剛体的な運動をする点から透視投影で得
られたオプティカルフロー画像を使って、線形方程式を
解くだけで構造を復元する方法を提案した（「オプティ
カルフロー画像からの線形計算による３次元運動パラメ
ータと構造の復元」，計測自動制御学会論文集，Vol.3
4, No.5, 438/444 (1998)）。この方法により、非線形
方程式を解く必要がなく、解の一意性が保証され、かつ
被観測点を増やすことにより精度も容易に向上できる。
【０００７】
【発明が解決しようとする課題】しかし、上述した３次
元構造復元方法には、以下の問題点があった。 （１）図１に例示するように、カメラ２と対象物１との
距離に対して対象物１の奥行きが相対的に小さい場合、
並進運動（Ａ）と回転運動（Ｂ）は動きが小さい場合に
は画像上では似たようなオプティカルフローとなるの
で、区別するのは非常に難しい。その結果、対象物の構
造も正しく復元することが困難となる。 （２）対象物の大きさとカメラの並進運動は相対的な値
としてしか求まらず、絶対的な大きさはわからない。な
ぜなら、小さな対象物が近くにあって少し動いた場合
と、大きな対象物が遠くにあって大きく動いた場合とで
は、画像上では全く同じ結果が得られるからである。
元構造復元方法には、以下の問題点があった。 （１）図１に例示するように、カメラ２と対象物１との
距離に対して対象物１の奥行きが相対的に小さい場合、
並進運動（Ａ）と回転運動（Ｂ）は動きが小さい場合に
は画像上では似たようなオプティカルフローとなるの
で、区別するのは非常に難しい。その結果、対象物の構
造も正しく復元することが困難となる。 （２）対象物の大きさとカメラの並進運動は相対的な値
としてしか求まらず、絶対的な大きさはわからない。な
ぜなら、小さな対象物が近くにあって少し動いた場合
と、大きな対象物が遠くにあって大きく動いた場合とで
は、画像上では全く同じ結果が得られるからである。
【０００８】本発明は、かかる問題点を解決するために
創案されたものである。すなわち、本発明の目的は、非
線形方程式を解く必要がなく、解の一意性が保証され、
かつ並進運動と回転運動を容易に識別でき、更に対象物
の絶対的な大きさも得られる２次元動画像からの３次元
構造復元方法を提供することにある。
創案されたものである。すなわち、本発明の目的は、非
線形方程式を解く必要がなく、解の一意性が保証され、
かつ並進運動と回転運動を容易に識別でき、更に対象物
の絶対的な大きさも得られる２次元動画像からの３次元
構造復元方法を提供することにある。
【０００９】
【課題を解決するための手段】上述した問題点は原理的
なものであり画像処理だけでは解決できない。しかし、
カメラに加速度・角速度センサを付加して情報を補うこ
とにより、これらの欠点を回避することができる。本発
明はかかる新規の着想に基づくものである。
なものであり画像処理だけでは解決できない。しかし、
カメラに加速度・角速度センサを付加して情報を補うこ
とにより、これらの欠点を回避することができる。本発
明はかかる新規の着想に基づくものである。
【００１０】すなわち、本発明によれば、静止している
対象物の動画像を撮像するカメラに加速度と角速度を計
測するセンサを一体的に取り付け、動画像と加速度及び
角速度のデータを同期させて記録し、得られた動画像、
加速度データ及び角速度データから３次元構造を復元し
かつ対象物の大きさを求める、ことを特徴とする２次元
動画像からの３次元構造復元方法が提供される。
対象物の動画像を撮像するカメラに加速度と角速度を計
測するセンサを一体的に取り付け、動画像と加速度及び
角速度のデータを同期させて記録し、得られた動画像、
加速度データ及び角速度データから３次元構造を復元し
かつ対象物の大きさを求める、ことを特徴とする２次元
動画像からの３次元構造復元方法が提供される。
【００１１】本発明の好ましい実施形態によれば、角速
度データを基に角速度が０になるように動画像を画像処
理して並進運動だけを含む動画像とし、この動画像から
３次元構造を復元する。更に、加速度データから求めた
速度と、並進運動だけを含む動画像から求めた速度との
比ｓから、対象物の大きさを求めるのがよい。
度データを基に角速度が０になるように動画像を画像処
理して並進運動だけを含む動画像とし、この動画像から
３次元構造を復元する。更に、加速度データから求めた
速度と、並進運動だけを含む動画像から求めた速度との
比ｓから、対象物の大きさを求めるのがよい。
【００１２】３次元構造（形）を復元したい対象物は静
止しており、その周りを加速度・角速度センサを取り付
けたカメラを動かしながら撮影し、画像と加速度・角速
度センサの出力を同期させて取り込む。次に、加速度・
角速度センサの出力から角速度データが得られるので、
動画像に対し回転をキャンセルするような操作を施す
と、並進運動だけを含む動画像が得られる。これにより
カメラの動きの自由度は減るので、制限された状況下で
動画像からカメラの動きと対象物の再構成が行える。そ
の結果、カメラの動きが以前より正確にわかるので、対
象物の３次元構造の復元値の精度が向上する。更に、カ
メラ速度と対象物の構造を動画像から求めた値には後述
する同一の未知スケールｓが掛かっている。そこで、加
速度データから求めた実際の速度と、並進運動だけを含
む動画像から求めた画像上の速度を比較することによ
り、その比としてこの未知スケールｓを求めることがで
き、対象物の大きさを求めることができる。
止しており、その周りを加速度・角速度センサを取り付
けたカメラを動かしながら撮影し、画像と加速度・角速
度センサの出力を同期させて取り込む。次に、加速度・
角速度センサの出力から角速度データが得られるので、
動画像に対し回転をキャンセルするような操作を施す
と、並進運動だけを含む動画像が得られる。これにより
カメラの動きの自由度は減るので、制限された状況下で
動画像からカメラの動きと対象物の再構成が行える。そ
の結果、カメラの動きが以前より正確にわかるので、対
象物の３次元構造の復元値の精度が向上する。更に、カ
メラ速度と対象物の構造を動画像から求めた値には後述
する同一の未知スケールｓが掛かっている。そこで、加
速度データから求めた実際の速度と、並進運動だけを含
む動画像から求めた画像上の速度を比較することによ
り、その比としてこの未知スケールｓを求めることがで
き、対象物の大きさを求めることができる。
【００１３】
【発明の実施の形態】以下、本発明の実施形態を具体的
に説明する。 １．座標系の定義 以下の説明で位置や速度を表すベクトルを用いるが、ベ
クトルに関して、要素の値を表すために基準となる座標
系を３種類定義する。第１は、世の中に固定したワ−ル
ド座標系であり、ベクトルをこれを基準にして表す場合
は右肩にＢを付ける。これを以下「基準ワ−ルド座標
系」と呼ぶ。第２は、カメラと共に動くカメラ座標系で
あり、この場合は右肩にＣを付ける。第３は、世の中に
対して固定したワ−ルド座標系であるが、この座標系は
各時刻でのカメラ座標系に重なるように取る。この場
合、右肩にＷを付ける。この座標系を以下「瞬時ワ−ル
ド座標系」と呼ぶ。
に説明する。 １．座標系の定義 以下の説明で位置や速度を表すベクトルを用いるが、ベ
クトルに関して、要素の値を表すために基準となる座標
系を３種類定義する。第１は、世の中に固定したワ−ル
ド座標系であり、ベクトルをこれを基準にして表す場合
は右肩にＢを付ける。これを以下「基準ワ−ルド座標
系」と呼ぶ。第２は、カメラと共に動くカメラ座標系で
あり、この場合は右肩にＣを付ける。第３は、世の中に
対して固定したワ−ルド座標系であるが、この座標系は
各時刻でのカメラ座標系に重なるように取る。この場
合、右肩にＷを付ける。この座標系を以下「瞬時ワ−ル
ド座標系」と呼ぶ。
【００１４】基準ワ−ルド座標系は動画像を撮る時間を
通して１つだけであるが、瞬時ワ−ルド座標系はカメラ
の移動に伴い、各時刻ごとに異なったものとなる。例え
ば、カメラがある基準ワ−ルド座標系Ｂ1 に対してｖB
で動いている場合、カメラ座標系はカメラと共に動いて
いるので、当然ｖC ＝０となる。また、この瞬間のカメ
ラ座標系と重なるように取った瞬時ワ−ルド座標系Ｗ2
から見た速度は、ｖW ＝ＲｖB となる。ここで、ＲはＢ
1 からＷ2 への変換を表す回転である。ベクトルは基準
位置が並進移動しても要素の値は変わらないので、回転
だけで座標系間の関係がつけられる。加速度・角速度セ
ンサの出力は、瞬時ワ−ルド座標系に関する加速度ａW
と角速度ωW である。
通して１つだけであるが、瞬時ワ−ルド座標系はカメラ
の移動に伴い、各時刻ごとに異なったものとなる。例え
ば、カメラがある基準ワ−ルド座標系Ｂ1 に対してｖB
で動いている場合、カメラ座標系はカメラと共に動いて
いるので、当然ｖC ＝０となる。また、この瞬間のカメ
ラ座標系と重なるように取った瞬時ワ−ルド座標系Ｗ2
から見た速度は、ｖW ＝ＲｖB となる。ここで、ＲはＢ
1 からＷ2 への変換を表す回転である。ベクトルは基準
位置が並進移動しても要素の値は変わらないので、回転
だけで座標系間の関係がつけられる。加速度・角速度セ
ンサの出力は、瞬時ワ−ルド座標系に関する加速度ａW
と角速度ωW である。
【００１５】２．一時刻のオプティカルフロ−から対象
物構造を復元する方法 図２は、対象物とカメラの位置変化との関係図である。
カメラの中心３から対象物上の点４に向かう単位ベクト
ルをｑW 、カメラ中心の移動をあらわすベクトルをδｕ
W とすると、時刻ｔとそれから少し後の時刻ｔ＋δｔで
図２のような関係がある。つまり、ｑW （ｔ）、ｑ
W （ｔ＋δｔ）、δｕW は同一平面上にあるので、スカ
ラー三重積が０になることから、（式１）が成立する。
物構造を復元する方法 図２は、対象物とカメラの位置変化との関係図である。
カメラの中心３から対象物上の点４に向かう単位ベクト
ルをｑW 、カメラ中心の移動をあらわすベクトルをδｕ
W とすると、時刻ｔとそれから少し後の時刻ｔ＋δｔで
図２のような関係がある。つまり、ｑW （ｔ）、ｑ
W （ｔ＋δｔ）、δｕW は同一平面上にあるので、スカ
ラー三重積が０になることから、（式１）が成立する。
【数１】
【００１６】（１）式をカメラで観測した画像から直接
得られるカメラ座標系での対象物上の点の方向を表す単
位ベクトルｑC とその時間微分（つまり、オプティカル
フロー）ｄｑC ／ｄｔを使って書き換えると、（式２）
となる。ただし、ｖW 、ωWはカメラの速度、加速度を
表す。これが対象物上の各点について成り立つ。
得られるカメラ座標系での対象物上の点の方向を表す単
位ベクトルｑC とその時間微分（つまり、オプティカル
フロー）ｄｑC ／ｄｔを使って書き換えると、（式２）
となる。ただし、ｖW 、ωWはカメラの速度、加速度を
表す。これが対象物上の各点について成り立つ。
【数２】
【００１７】ｖW 、ωW の要素から構成されるベクトル
（式３）を定義する。
（式３）を定義する。
【数３】
【００１８】（式２）を変形することにより、最終的に
は観測値（８点以上必要）だけから得られる行列Ｇを使
って、 Ｇｘ＝０ という方程式が得られる。この式を解くことによってｖ
W 、ωW が得られる。ただし、ｖW に関してはスケール
は未知である。ここで得られたｖW 、ωW を使って対象
物上の点の位置も復元される。ただし、スケール未知の
ｖW を使うので、対象物のスケールも未知となる。つま
り、速度と点の位置全体について１つの未知数（後述す
るｓ）があり、全てはこれが掛かった形で求まる。言い
換えると、点の位置の復元値はカメラの単位時間あたり
の移動距離を単位として求まる。
は観測値（８点以上必要）だけから得られる行列Ｇを使
って、 Ｇｘ＝０ という方程式が得られる。この式を解くことによってｖ
W 、ωW が得られる。ただし、ｖW に関してはスケール
は未知である。ここで得られたｖW 、ωW を使って対象
物上の点の位置も復元される。ただし、スケール未知の
ｖW を使うので、対象物のスケールも未知となる。つま
り、速度と点の位置全体について１つの未知数（後述す
るｓ）があり、全てはこれが掛かった形で求まる。言い
換えると、点の位置の復元値はカメラの単位時間あたり
の移動距離を単位として求まる。
【００１９】３．異なる時刻の復元結果を融合する方法 動画像からは各時刻でオプティカルフローが得られるの
で、各時刻で対象物構造やカメラの動きが復元される。
しかし、各時刻での復元値は観測した時刻のカメラ座標
系に一致するように決めた瞬時ワールド座標系を基準に
して求まり、さらにスケールはその時刻でのカメラ速度
を基準として求まるので、カメラが移動する結果、同一
の点でも時刻によって座標値は異なったものとなる。
で、各時刻で対象物構造やカメラの動きが復元される。
しかし、各時刻での復元値は観測した時刻のカメラ座標
系に一致するように決めた瞬時ワールド座標系を基準に
して求まり、さらにスケールはその時刻でのカメラ速度
を基準として求まるので、カメラが移動する結果、同一
の点でも時刻によって座標値は異なったものとなる。
【００２０】しかし、対象物の形自体は各時刻で変わら
ないので、各時刻間の対象物の復元値はスケール、並
進、回転の変換を適切に行えば、重なり合うはずであ
る。これにより、各時刻間の座標系の関係を表すスケー
ル、並進、回転が求まる。例えば図３は、ある時刻にお
いて復元した対象物の３次元構造を示しており、（Ａ）
は時刻ｔ１、（Ｂ）は時刻ｔ２におけるものである。対
象物が静止している場合には、形自体は各時刻で変わら
ないので、各時刻間の対象物の復元値はスケール、並
進、回転の変換を適切に行うことにより、重なり合わせ
ることができる。
ないので、各時刻間の対象物の復元値はスケール、並
進、回転の変換を適切に行えば、重なり合うはずであ
る。これにより、各時刻間の座標系の関係を表すスケー
ル、並進、回転が求まる。例えば図３は、ある時刻にお
いて復元した対象物の３次元構造を示しており、（Ａ）
は時刻ｔ１、（Ｂ）は時刻ｔ２におけるものである。対
象物が静止している場合には、形自体は各時刻で変わら
ないので、各時刻間の対象物の復元値はスケール、並
進、回転の変換を適切に行うことにより、重なり合わせ
ることができる。
【００２１】求まったスケール、並進、回転を使って各
時刻間の変換を行い、重ね合わせた結果について平均を
取ることによって、対象物の形の精度が向上する。速度
については、スケール変換だけを行えば時刻間でのスケ
ールの比が正しい関係にあるｖW （ｔ）が求まるし、ス
ケールと共に回転も行えば同一座標系（重ね合わせる基
準に使ったワールド座標系）での時刻に伴う変遷ｖ
B （ｔ）が求まる。角速度についてはスケールは画像か
ら正しく求まっている、つまり、画像からωW （ｔ）は
融合前からわかっているので、回転だけを行えばω
B （ｔ）が求まる。ただし、これでも各時刻のカメラ速
度と復元した点の位置全体に掛かるスケール自体は未知
のままである。
時刻間の変換を行い、重ね合わせた結果について平均を
取ることによって、対象物の形の精度が向上する。速度
については、スケール変換だけを行えば時刻間でのスケ
ールの比が正しい関係にあるｖW （ｔ）が求まるし、ス
ケールと共に回転も行えば同一座標系（重ね合わせる基
準に使ったワールド座標系）での時刻に伴う変遷ｖ
B （ｔ）が求まる。角速度についてはスケールは画像か
ら正しく求まっている、つまり、画像からωW （ｔ）は
融合前からわかっているので、回転だけを行えばω
B （ｔ）が求まる。ただし、これでも各時刻のカメラ速
度と復元した点の位置全体に掛かるスケール自体は未知
のままである。
【００２２】４．加速度・角速度センサを用いて問題点
（１）を解決する方法 加速度・角速度センサから角速度が出力されるので、動
画像に対し回転をキャンセルするような操作を施すと、
並進運動だけを含む画像が得られる。これによりカメラ
の動きの自由度は減るので、制限された状況下で動画像
からカメラの動きと対象物の再構成が行える。言い換え
ると、（式２）でωW が加速度・角速度センサから求ま
るので、画像と加速度・角速度センサ出力から求まる行
列をＨとして、（式４）という式を解けば良くなる。
（１）を解決する方法 加速度・角速度センサから角速度が出力されるので、動
画像に対し回転をキャンセルするような操作を施すと、
並進運動だけを含む画像が得られる。これによりカメラ
の動きの自由度は減るので、制限された状況下で動画像
からカメラの動きと対象物の再構成が行える。言い換え
ると、（式２）でωW が加速度・角速度センサから求ま
るので、画像と加速度・角速度センサ出力から求まる行
列をＨとして、（式４）という式を解けば良くなる。
【数４】 その結果、カメラの動きが以前より正確にわかるので、
対象物の３次元構造の復元値の精度が向上する。
対象物の３次元構造の復元値の精度が向上する。
【００２３】５．加速度・角速度センサを用いて問題点
２を解決する方法 加速度・角速度センサ出力を用いてカメラの速度を求
め、これを画像から求めた速度と比較することによって
未知スケールを求めることを考える。この未知スケール
は対象物のスケールでもあるので、結局、対象物の大き
さが求まる。まず、加速度・角速度センサ出力を用いて
カメラの速度を求める方法について述べる。これは理論
的には基準ワールド座標系で表したベクトルを用いて
（式５）式のように書ける。ここでｖB （ｔ0 ）は速度
の初期値、ａB は加速度、ｇBは重力加速度である。
２を解決する方法 加速度・角速度センサ出力を用いてカメラの速度を求
め、これを画像から求めた速度と比較することによって
未知スケールを求めることを考える。この未知スケール
は対象物のスケールでもあるので、結局、対象物の大き
さが求まる。まず、加速度・角速度センサ出力を用いて
カメラの速度を求める方法について述べる。これは理論
的には基準ワールド座標系で表したベクトルを用いて
（式５）式のように書ける。ここでｖB （ｔ0 ）は速度
の初期値、ａB は加速度、ｇBは重力加速度である。
【数５】
【００２４】加速度・角速度センサはカメラに取り付け
てあるのでセンサ出力はカメラ座標系と一致する瞬時ワ
ールド座標系に関して得られるから、（式５）を変形し
て（式６）と（式７）が得られる。ここでＲ（ｔ）は、
基準ワールド座標系から、時刻ｔでの瞬時ワールド座標
系への回転を表す。
てあるのでセンサ出力はカメラ座標系と一致する瞬時ワ
ールド座標系に関して得られるから、（式５）を変形し
て（式６）と（式７）が得られる。ここでＲ（ｔ）は、
基準ワールド座標系から、時刻ｔでの瞬時ワールド座標
系への回転を表す。
【数６】
【数７】 このＲ（ｔ）自体は、初期値がわかっていれば加速度・
角速度センサ出力の角速度を時間積分することによって
求められる。
角速度センサ出力の角速度を時間積分することによって
求められる。
【００２５】上述した原理を用いて加速度・角速度セン
サから求めた速度をｖW G （ｔ）と表記し、真の速度ｖ
W （ｔ）との関係を（式８）と表す。ここで、ｂ（ｔ）
は未知の初期速度とドリフトの効果を含めて表したもの
である。
サから求めた速度をｖW G （ｔ）と表記し、真の速度ｖ
W （ｔ）との関係を（式８）と表す。ここで、ｂ（ｔ）
は未知の初期速度とドリフトの効果を含めて表したもの
である。
【数８】
【００２６】ｂ（ｔ）はセンサのノイズのために少しず
つ変化するが、その変化の値は小さいので、ｄｔ／ｄｂ
（ｔ）≒０とできる。一方、画像から求めた速度をｖW
I （ｔ）とするとこれはスケール未知なので（式９）と
なる。よって（式１０）という関係が得られる。
つ変化するが、その変化の値は小さいので、ｄｔ／ｄｂ
（ｔ）≒０とできる。一方、画像から求めた速度をｖW
I （ｔ）とするとこれはスケール未知なので（式９）と
なる。よって（式１０）という関係が得られる。
【数９】
【数１０】
【００２７】図４は、画像から求めた速度と真の速度と
の関係図である。この図に示すように、計測時間にわた
ってｂ（ｔ）がほとんど変化しない場合にはｖ
W I （ｔ）とｖW G （ｔ）をプロットしたグラフはほぼ
直線状に並び、直線の傾きからスケールｓがわかる。
の関係図である。この図に示すように、計測時間にわた
ってｂ（ｔ）がほとんど変化しない場合にはｖ
W I （ｔ）とｖW G （ｔ）をプロットしたグラフはほぼ
直線状に並び、直線の傾きからスケールｓがわかる。
【００２８】計測時間中にｂ（ｔ）が変化するとした場
合にも、その単位時間あたりの変化分は小さいので、
（式１０）の時間微分を取ると、（式１１）となるか
ら、この関係からｓが得られる。
合にも、その単位時間あたりの変化分は小さいので、
（式１０）の時間微分を取ると、（式１１）となるか
ら、この関係からｓが得られる。
【数１１】 以上の方法で画像から得られた速度と復元位置全体にか
かるスケルーｓが求まるので、最終的に、対象物の大き
さも求まる。
かるスケルーｓが求まるので、最終的に、対象物の大き
さも求まる。
【００２９】上述したように、本発明の方法によれば、
動画像を撮像するカメラに加速度と角速度を計測するセ
ンサを一体的に取り付け、動画像と加速度及び角速度の
データを同期させて記録する。また、角速度データを基
に角速度が０になるように動画像を画像処理して並進運
動だけを含む動画像とし、この動画像から３次元構造を
復元する。更に、加速度データから求めた速度と、並進
運動だけを含む動画像から求めた速度との比ｓから、対
象物の大きさを求める。
動画像を撮像するカメラに加速度と角速度を計測するセ
ンサを一体的に取り付け、動画像と加速度及び角速度の
データを同期させて記録する。また、角速度データを基
に角速度が０になるように動画像を画像処理して並進運
動だけを含む動画像とし、この動画像から３次元構造を
復元する。更に、加速度データから求めた速度と、並進
運動だけを含む動画像から求めた速度との比ｓから、対
象物の大きさを求める。
【００３０】カメラと加速度・角速度センサの出力を同
期させて取り込むことにより、加速度・角速度センサの
出力から角速度データが得られるので、動画像に対し回
転をキャンセルするような操作を施すと、並進運動だけ
を含む動画像が得られる。これによりカメラの動きの自
由度は減るので、制限された状況下で動画像からカメラ
の動きと対象物の再構成が行える。その結果、カメラの
動きが以前より正確にわかるので、対象物の３次元構造
の復元値の精度が向上する。更に、カメラ速度と対象物
の構造を動画像から求めた値には同一の未知スケールｓ
（式９〜１１参照）が掛かっているが、加速度データか
ら求めた実際の速度と、並進運動だけを含む動画像から
求めた画像上の速度を比較することにより、その比とし
てこの未知スケールｓを求めることができ、対象物の大
きさを求めることができる。
期させて取り込むことにより、加速度・角速度センサの
出力から角速度データが得られるので、動画像に対し回
転をキャンセルするような操作を施すと、並進運動だけ
を含む動画像が得られる。これによりカメラの動きの自
由度は減るので、制限された状況下で動画像からカメラ
の動きと対象物の再構成が行える。その結果、カメラの
動きが以前より正確にわかるので、対象物の３次元構造
の復元値の精度が向上する。更に、カメラ速度と対象物
の構造を動画像から求めた値には同一の未知スケールｓ
（式９〜１１参照）が掛かっているが、加速度データか
ら求めた実際の速度と、並進運動だけを含む動画像から
求めた画像上の速度を比較することにより、その比とし
てこの未知スケールｓを求めることができ、対象物の大
きさを求めることができる。
【００３１】なお、本発明は上述した実施形態に限定さ
れず、本発明の要旨を逸脱しない範囲で種々に変更でき
ることは勿論である。
れず、本発明の要旨を逸脱しない範囲で種々に変更でき
ることは勿論である。
【００３２】
【発明の効果】上述したように、本発明の２次元動画像
からの３次元構造復元方法は、非線形方程式を解く必要
がなく、解の一意性が保証され、かつ並進運動と回転運
動を容易に識別でき、更に対象物の絶対的な大きさも得
られる、等の優れた効果を有する。
からの３次元構造復元方法は、非線形方程式を解く必要
がなく、解の一意性が保証され、かつ並進運動と回転運
動を容易に識別でき、更に対象物の絶対的な大きさも得
られる、等の優れた効果を有する。
【図１】対象物とカメラとの関係を示す図である。
【図２】対象物とカメラの位置変化との関係図である。
【図３】復元した形状を模式的に示す図である。
【図４】画像から求めた速度と真の速度との関係図であ
る。
る。
１ 対象物 ２ カメラ ３ カメラの中心 ４ 対象物上の点
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１１年２月１０日（１９９９．２．１
０）
０）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正内容】
【００２４】加速度・角速度センサはカメラに取り付け
てあるのでセンサ出力はカメラ座標系と一致する瞬時ワ
ールド座標系に関して得られるから、（式５）を変形し
て（式６）と（式７）が得られる。ここでＲ（ｔ）は、
基準ワールド座標系から、時刻ｔでの瞬時ワールド座標
系への回転を表す。
てあるのでセンサ出力はカメラ座標系と一致する瞬時ワ
ールド座標系に関して得られるから、（式５）を変形し
て（式６）と（式７）が得られる。ここでＲ（ｔ）は、
基準ワールド座標系から、時刻ｔでの瞬時ワールド座標
系への回転を表す。
【数６】
【数７】 このＲ（ｔ）自体は、初期値がわかっていれば加速度・
角速度センサ出力の角速度を時間積分することによって
求められる。
角速度センサ出力の角速度を時間積分することによって
求められる。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大西 昇 愛知県名古屋市守山区大字下志段味字穴ケ 洞2271−130 サイエンスパーク研究開発 センター内 理化学研究所バイオ・ミメテ ィックコントロール研究センター内 Ｆターム(参考） 2F065 AA00 AA04 AA31 AA45 AA53 DD00 DD03 FF04 FF64 JJ03 JJ16 JJ26 QQ07 QQ25 QQ26 QQ42 5B057 CA12 CB13 DA06 DB03 DC03
Claims (3)
- 【請求項１】 静止している対象物の動画像を撮像する
カメラに加速度と角速度を計測するセンサを一体的に取
り付け、動画像と加速度及び角速度のデータを同期させ
て記録し、得られた動画像、加速度データ及び角速度デ
ータから３次元構造を復元しかつ対象物の大きさを求め
る、ことを特徴とする２次元動画像からの３次元構造復
元方法。 - 【請求項２】 角速度データを基に角速度が０になるよ
うに動画像を画像処理して並進運動だけを含む動画像と
し、この動画像から３次元構造を復元する、ことを特徴
とする請求項１に記載の３次元構造復元方法。 - 【請求項３】 更に、加速度データから求めた速度と、
並進運動だけを含む動画像から求めた速度との比ｓか
ら、対象物の大きさを求める、ことを特徴とする請求項
２に記載の３次元構造復元方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02562899A JP3347087B2 (ja) | 1999-02-03 | 1999-02-03 | ２次元動画像からの３次元構造復元方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02562899A JP3347087B2 (ja) | 1999-02-03 | 1999-02-03 | ２次元動画像からの３次元構造復元方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000222580A true JP2000222580A (ja) | 2000-08-11 |
| JP3347087B2 JP3347087B2 (ja) | 2002-11-20 |
Family
ID=12171142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02562899A Expired - Fee Related JP3347087B2 (ja) | 1999-02-03 | 1999-02-03 | ２次元動画像からの３次元構造復元方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3347087B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019074532A (ja) * | 2017-10-17 | 2019-05-16 | 有限会社ネットライズ | Ｓｌａｍデータに実寸法を付与する方法とそれを用いた位置測定 |
| US11842502B2 (en) | 2018-05-11 | 2023-12-12 | Mitsubishi Electric Corporation | Data synchronization device, data synchronization method, and computer readable medium |
-
1999
- 1999-02-03 JP JP02562899A patent/JP3347087B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019074532A (ja) * | 2017-10-17 | 2019-05-16 | 有限会社ネットライズ | Ｓｌａｍデータに実寸法を付与する方法とそれを用いた位置測定 |
| US11842502B2 (en) | 2018-05-11 | 2023-12-12 | Mitsubishi Electric Corporation | Data synchronization device, data synchronization method, and computer readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3347087B2 (ja) | 2002-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3679549B1 (en) | Visual-inertial odometry with an event camera | |
| Rebecq et al. | Real-time visual-inertial odometry for event cameras using keyframe-based nonlinear optimization | |
| CN108171733B (zh) | 使两个或更多个三维3d点云配准的方法 | |
| CN107888828B (zh) | 空间定位方法及装置、电子设备、以及存储介质 | |
| US11940277B2 (en) | Vision-aided inertial navigation system for ground vehicle localization | |
| WO2020140431A1 (zh) | 相机位姿确定方法、装置、电子设备及存储介质 | |
| JP4743818B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
| CN108170297B (zh) | 实时六自由度vr/ar/mr设备定位方法 | |
| US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
| WO2007114313A1 (en) | Information processing method and information processing apparatus | |
| US20180075609A1 (en) | Method of Estimating Relative Motion Using a Visual-Inertial Sensor | |
| CN105324792B (zh) | 用于估计移动元件相对于参考方向的角偏差的方法 | |
| US20230014421A1 (en) | 6DoF INSIDE-OUT TRACKING GAME CONTROLLER INITIAL REGISTRATION | |
| CN109040525B (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| JP3957888B2 (ja) | 撮像装置及び撮像画像合成方法 | |
| CN113587934B (zh) | 一种机器人、室内定位方法、装置和可读存储介质 | |
| JP2007004578A (ja) | 三次元形状取得方法、三次元形状取得装置、及びプログラムの記録媒体 | |
| CN111665512A (zh) | 基于3d激光雷达和惯性测量单元的融合的测距和绘图 | |
| JP2003279310A (ja) | 位置姿勢補正装置、及び位置姿勢補正方法 | |
| JP2014186004A (ja) | 計測装置、方法及びプログラム | |
| JP2010020729A (ja) | 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム | |
| JP2559939B2 (ja) | ３次元情報入力装置 | |
| JP2000222580A (ja) | ２次元動画像からの３次元構造復元方法 | |
| Calloway et al. | Three tiered visual-inertial tracking and mapping for augmented reality in urban settings | |
| JP6603993B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |