JP2000097637A5 - 姿勢位置検出装置及び移動体姿勢検出装置 - Google Patents
姿勢位置検出装置及び移動体姿勢検出装置 Download PDFInfo
- Publication number
- JP2000097637A5 JP2000097637A5 JP1998269558A JP26955898A JP2000097637A5 JP 2000097637 A5 JP2000097637 A5 JP 2000097637A5 JP 1998269558 A JP1998269558 A JP 1998269558A JP 26955898 A JP26955898 A JP 26955898A JP 2000097637 A5 JP2000097637 A5 JP 2000097637A5
- Authority
- JP
- Japan
- Prior art keywords
- information
- posture
- image
- detecting
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title description 25
- 238000004364 calculation method Methods 0.000 description 80
- 238000005259 measurement Methods 0.000 description 26
- 230000001133 acceleration Effects 0.000 description 22
- 238000010191 image analysis Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 229930002945 all-trans-retinaldehyde Natural products 0.000 description 2
- 230000002207 retinal Effects 0.000 description 2
- 235000020945 retinal Nutrition 0.000 description 2
- 239000011604 retinal Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000002093 peripheral Effects 0.000 description 1
- 230000001131 transforming Effects 0.000 description 1
Description
【特許請求の範囲】
【請求項1】
測定対象物に装着または内蔵され、該測定対象物の移動に伴つて移動して、該測定対象物の姿勢位置情報を検出する姿勢位置検出装置において、
前記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報取得手段により取得した異なる時点における上記画像情報を比較解析して、装置の傾きを表わす角度情報と、前記装置の位置移動を表わす並進位置情報を検出する画像解析手段と、
上記画像情報を用いずに、角度情報を検出可能な角度情報検出手段と、
上記画像情報を用いずに、並進位置情報を検出可能な並進位置情報検出手段と、
上記画像解析手段よりの角度情報及び並進位置情報と、上記角度情報検出手段よりの角度情報と、上記並進位置情報検出手段よりの並進位置情報とを用いて、測定対象物の角度情報と並進位置情報とを決定する姿勢位置決定手段と、
を具備することを特徴とする姿勢位置検出装置。
【請求項2】
上記角度情報検出手段は、空間の直交する3軸上において角速度情報を検出する角速度検出手段と、上記角速度情報より装置の角度情報を演算する第1の姿勢位置演算手段とを含み、
上記並進位置情報検出手段は、空間の直交する3軸上において並進方向の加速度情報を検出する加速度検出手段と、上記加速度情報より装置の角度情報と並進位置情報を演算する第2の姿勢位置演算手段とを含み、
上記画像解析手段は、撮像した画像を時系列に入力する画像入力手段と、入力された画像の中より特徴点を抽出し、座標情報を含むその特徴点情報を記録し、以前に記録した特徴点情報を検索可能な特徴点検出手段と、特徴点の位置の変位より、装置の角度情報と並進位置情報を演算する第3の姿勢位置演算手段とを含み、
上記姿勢位置決定手段は、上記角速度検出手段または上記加速度検出手段の出力より前記装置が停止しているか否かを判断し、この判断に基づいて上記第1の姿勢位置演算手段の演算方法または上記第2の姿勢位置演算手段の演算方法を変更する情報を出力する停止判断手段と、上記第1の姿勢位置演算手段と上記第2の姿勢位置演算手段と上記第3の姿勢位置演算手段よりの情報を演算する補正演算手段とを含む、
ことを特徴とする請求項1記載の姿勢位置検出装置。
【請求項3】
測定対象物に装着または内蔵され、該測定対象物の移動に伴つて移動して、該測定対象物の姿勢位置情報を検出する姿勢位置検出装置において、
前記装置の姿勢位置情報を検出する検出手段と、
前記装置周辺を撮像して画像情報を取得可能な画像取得手段と、
上記画像取得手段により取得した画像情報より特徴点を抽出する特徴点抽出手段と、
上記画像取得手段により取得した時点の異なる画像情報間における上記特徴点の位置の変化より第2の姿勢位置情報を演算する姿勢位置演算手段と、
上記姿勢位置情報を上記第2の姿勢位置情報で補正することにより、姿勢位置情報を決定する姿勢位置決定手段と、
を具備することを特徴とする姿勢位置検出装置。
【請求項4】
上記姿勢位置決定手段は、
上記角度情報検出手段よりの角度情報を上記画像解析手段よりの角度情報を用いて補正し、上記並進位置情報検出手段よりの並進位置情報を上記画像解析手段よりの並進位置情報を用いて補正することによって、前記測定対象物の角度情報と並進位置情報を決定することを特徴とする請求項1または2記載の姿勢位置検出装置。
【請求項5】
測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢位置情報を検出する姿勢位置検出装置において、
上記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、装置の傾きを表わす角度情報を検出する画像解析手段と、
上記画像情報を用いずに、角度情報を検出可能な角度情報検出手段と、
上記画像解析手段よりの角度情報と、上記角度情報検出手段よりの角度情報を用いて、測定対象物の角度情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置。
【請求項6】
測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢情報を検出する姿勢検出装置において、
前記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、前記装置の位置移動を表わす並進位置情報を検出する画像解析手段と、
上記画像情報を用いずに、並進位置情報を検出可能な並進位置情報検出手段と、
上記画像解析手段よりの並進位置情報と、上記並進位置情報検出手段よりの並進位置情報とを用いて、前記測定対象物の並進位置情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置。
【請求項7】
移動体の姿勢を検出する装置において、
前記移動体の空間上の3軸の姿勢角度情報を算出する角度検出手段と、
前記移動体の空間上の3軸の並進位置情報を算出する並進位置検出手段と、
前記移動体自体に設置され、前記移動体の周りの画像から移動体の並進と姿勢の6軸の画像姿勢情報を算出する画像処理姿勢検出手段と、
前記角度検出手段からの姿勢角度情報と、前記並進位置検出手段からの並進位置情報と、前記画像処理姿勢検出手段からの画像姿勢情報のそれぞれ情報により空間上での前記移動体の6軸姿勢情報を算出する空間姿勢演算手段と、
を具備することを特徴とする移動体姿勢検出装置。
【請求項8】
前記角度検出手段は、
直交する3軸上の空間の角速度情報を検出する角速度検出手段と、
前記角度情報より前記移動体の姿勢角度情報を演算する第1姿勢演算手段とで構成され、
前記並進位置検出手段は、
直交する3軸上の空間の並進方向の加速度情報を検出する加速度検出手段と、
前記加速度情報より前記移動体の傾き情報と並進情報を演算する第2姿勢演算手段とで構成され、
前記画像処理姿勢検出手段は、
前記装置周辺の画像を時系列に入力する画像入力手段と、
この画像入力手段によって入力された画像の中から複数の特徴点を抽出して、それらの特徴点を記憶すると共に、以前に記憶されている特徴点の座標等の特徴点情報を探索検出する特徴点検出手段と、
前記特徴点の2次元画像の中での変位から画像の動きベクトルを検出する動きベクトル検出手段と、
前記姿勢角度情報と前記並進情報と前記特徴点の情報から移動体の回転方向と並進方向の画像姿勢情報を演算する第3姿勢演算手段とで構成され、
前記空間姿勢演算手段は、
前記動きベクトル検出手段からの情報と前記角速度検出手段と前記加速度検出手段とにより前記第1姿勢演算手段の姿勢演算方法と前記第2姿勢演算手段の姿勢演算方法とを変更する情報を送る停止判定制御手段と、
前記第1姿勢演算手段と第2姿勢演算手段と第3姿勢演算手段それぞれからの情報を演算する補正演算手段と、
で構成されることを特徴とする請求項7に記載の移動体姿勢検出装置。
【請求項9】
高速に取り込まれ処理される前記角速度検出手段の姿勢角度情報と前記加速度検出手段からの並進情報を前記移動体姿勢検出装置の6軸姿勢情報として利用すると共に、上記姿勢角度情報や変位情報よりも低速に演算処理される画像処理姿勢検出手段の画像姿勢情報を上記6軸姿勢情報の基準参照用の補正情報として利用することを特徴とする請求項7または8に記載の移動体姿勢検出装置。
【請求項10】
前記角速度検出手段と、前記加速度検出手段と、画像入力手段の画像入力方向と取付位置座標との取付関係であるカメラ姿勢パラメータ情報を記憶した画像ベクトル推定手段を備えたことを特徴とする請求項7または8に記載の移動体姿勢検出装置。
【請求項11】
前記特徴点検出手段は、
前記画像入力手段が画像を入力した時点での前記特徴点検出手段の特徴点情報に、前記第1姿勢演算手段での姿勢角度情報と、前記第2姿勢演算手段での並進情報とを一組の特徴点姿勢情報として記憶すると共に、同一特徴点に対する異なった位置で前記並進情報がある閾値以上の値を持ったものの特徴点姿勢情報を優先的に記憶する特徴点姿勢情報記憶機能を有し、
前記第3姿勢演算手段は、
2点以上の前記特徴点姿勢情報より特徴点の固定座標空間の原点からの座標に近似補正して前記画像姿勢情報を求めることを特徴とする請求項7乃至10のいずれか一に記載の移動体姿勢検出装置。
【請求項12】
前記補正演算手段は、
前記第3姿勢演算手段で近似補正して求められた画像姿勢情報を参照基準情報とし、前記第1姿勢演算手段での姿勢角度情報と前記第2姿勢演算手段での並進情報とが前記参照基準情報に一致するように補正すると共に、この補正値を停止中には補正せず、動作中にその動作データの変化データの値によってその補正幅を調整することを特徴とする請求項11に記載の移動体姿勢検出装置。
【請求項13】
前記特徴点検出手段は、
同一特徴点に対する同じ位置で前記並進情報がある閾値以下の値を持ったもので異なった角度で前記並進情報がある閾値以上の値を持ったものの特徴点姿勢情報を角度の参照基準情報として利用し、
前記補正演算手段は、
この角度の参照基準情報に一致するように姿勢角度情報のみ補正することを特徴とする請求項11に記載の移動体姿勢検出装置。
【請求項14】
前記画像ベクトル推定手段からの情報により、取り込まれた画像データの特徴点の移動位置と回転角を推定することを特徴とする請求項10乃至13のいずれか一に記載の移動体姿勢検出装置。
【請求項15】
前もって移動体の周りの画像を入力し、そのときの前記特徴点検出手段の特徴点姿勢情報を記憶し、
次からは前記第1姿勢演算手段と第2姿勢演算手段との情報より特徴点抽出の処理を行わずに、前記記憶情報を利用すると共に、
複数の記憶した特徴点姿勢情報をもとに前記第3姿勢演算手段により、特徴点の固定座標空間の原点からの座標に近似補正した参照基準情報を求めて記憶しておくことを特徴とする請求項10乃至14のいずれか一に記載の移動体姿勢検出装置。
【請求項16】
前記動きベクトル検出手段は、
処理された情報の中から前記画像ベクトル推定手段の情報との推定による動きベクトルのみを選択出力することを特徴とする請求項10乃至15のいずれか一に記載の移動体姿勢検出装置。
【請求項17】
前記特徴点検出手段で特徴点が検出されないとき、あるいは前記動きベクトル検出手段の情報が前記画像ベクトル椎定手段の情報による動きベクトルとの類似度がある閾値以下のとき、検出不能と判定し、後処理の前記第3姿勢演算手段及び補正演算手段にはその情報を使わないことを特徴とする請求項16に記載の移動体姿勢検出装置。
【請求項18】
前記動きベクトル検出手段が検出不能と判定したとき、その情報を使用者に知らせる手段をさらに備えたことを特徴とする請求項17に記載の移動体姿勢検出装置。
【請求項19】
前記画像入力手段の入力方向を変更することが可能なカメラ取付方向変更手段をさらに備えたことを特徴とする請求項7乃至15のいずれか一に記載の移動体姿勢検出装置。
【請求項20】
変更されたカメラ取付方向情報を前記画像ベクトル推定手段に知らせるカメラ姿勢パラメータ保持手段をさらに備えたことを特徴とする請求項19に記載の移動体姿勢検出装置。
【請求項21】
前記画像入力手段の入力方向が変更されたことを検知し、その情報をカメラ姿勢保持手段へ転送するカメラ姿勢検知手段をさらに備えたことを特徴とする請求項20に記載の移動体姿勢検出装置。
【請求項22】
移動体を運動をさせたときの前記第1姿勢演算手段の情報と前記第2姿勢演算手段の情報と前記第3手段姿勢演算手段の情報とによりカメラ姿勢パラメータを演算し、その情報を前記カメラ姿勢パラメータ保持手段に送るカメラ姿勢パラメータ演算手段をさらに備えたことを特徴とする請求項21に記載の移動体姿勢検出装置。
【請求項23】
ある特定のマークに対しての特徴点を予め記憶した固定マーク情報記憶手段と、
前記特定のマークに対してのみのテンプレートマッチングを行うように指示する固定マーク指示手段と、
をさらに備えたことを特徴とする請求項7乃至22のいずれか一に記載の移動体姿勢検出装置。
【請求項24】
前記固定マーク情報記憶手段に対して、前記画像入力手段により入力された画像デ一タを登録することを特徴とする請求項23に記載の移動体姿勢検出装置。
【請求項25】
前記画像入力手段による画像入力範囲を照射するように配置された赤外線発光手段をさらに備えたことを特徴とする請求項7乃至24のいずれか一に記載の移動体姿勢検出装置。
【請求項26】
前記画像入力手段から前記特徴点検出手段と前記動きベクトル検出手段までを人工網膜チップにより構成したことを特徴とする請求項7乃至25のいずれか一に記載の移動体姿勢検出装置。
【請求項1】
測定対象物に装着または内蔵され、該測定対象物の移動に伴つて移動して、該測定対象物の姿勢位置情報を検出する姿勢位置検出装置において、
前記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報取得手段により取得した異なる時点における上記画像情報を比較解析して、装置の傾きを表わす角度情報と、前記装置の位置移動を表わす並進位置情報を検出する画像解析手段と、
上記画像情報を用いずに、角度情報を検出可能な角度情報検出手段と、
上記画像情報を用いずに、並進位置情報を検出可能な並進位置情報検出手段と、
上記画像解析手段よりの角度情報及び並進位置情報と、上記角度情報検出手段よりの角度情報と、上記並進位置情報検出手段よりの並進位置情報とを用いて、測定対象物の角度情報と並進位置情報とを決定する姿勢位置決定手段と、
を具備することを特徴とする姿勢位置検出装置。
【請求項2】
上記角度情報検出手段は、空間の直交する3軸上において角速度情報を検出する角速度検出手段と、上記角速度情報より装置の角度情報を演算する第1の姿勢位置演算手段とを含み、
上記並進位置情報検出手段は、空間の直交する3軸上において並進方向の加速度情報を検出する加速度検出手段と、上記加速度情報より装置の角度情報と並進位置情報を演算する第2の姿勢位置演算手段とを含み、
上記画像解析手段は、撮像した画像を時系列に入力する画像入力手段と、入力された画像の中より特徴点を抽出し、座標情報を含むその特徴点情報を記録し、以前に記録した特徴点情報を検索可能な特徴点検出手段と、特徴点の位置の変位より、装置の角度情報と並進位置情報を演算する第3の姿勢位置演算手段とを含み、
上記姿勢位置決定手段は、上記角速度検出手段または上記加速度検出手段の出力より前記装置が停止しているか否かを判断し、この判断に基づいて上記第1の姿勢位置演算手段の演算方法または上記第2の姿勢位置演算手段の演算方法を変更する情報を出力する停止判断手段と、上記第1の姿勢位置演算手段と上記第2の姿勢位置演算手段と上記第3の姿勢位置演算手段よりの情報を演算する補正演算手段とを含む、
ことを特徴とする請求項1記載の姿勢位置検出装置。
【請求項3】
測定対象物に装着または内蔵され、該測定対象物の移動に伴つて移動して、該測定対象物の姿勢位置情報を検出する姿勢位置検出装置において、
前記装置の姿勢位置情報を検出する検出手段と、
前記装置周辺を撮像して画像情報を取得可能な画像取得手段と、
上記画像取得手段により取得した画像情報より特徴点を抽出する特徴点抽出手段と、
上記画像取得手段により取得した時点の異なる画像情報間における上記特徴点の位置の変化より第2の姿勢位置情報を演算する姿勢位置演算手段と、
上記姿勢位置情報を上記第2の姿勢位置情報で補正することにより、姿勢位置情報を決定する姿勢位置決定手段と、
を具備することを特徴とする姿勢位置検出装置。
【請求項4】
上記姿勢位置決定手段は、
上記角度情報検出手段よりの角度情報を上記画像解析手段よりの角度情報を用いて補正し、上記並進位置情報検出手段よりの並進位置情報を上記画像解析手段よりの並進位置情報を用いて補正することによって、前記測定対象物の角度情報と並進位置情報を決定することを特徴とする請求項1または2記載の姿勢位置検出装置。
【請求項5】
測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢位置情報を検出する姿勢位置検出装置において、
上記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、装置の傾きを表わす角度情報を検出する画像解析手段と、
上記画像情報を用いずに、角度情報を検出可能な角度情報検出手段と、
上記画像解析手段よりの角度情報と、上記角度情報検出手段よりの角度情報を用いて、測定対象物の角度情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置。
【請求項6】
測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢情報を検出する姿勢検出装置において、
前記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、前記装置の位置移動を表わす並進位置情報を検出する画像解析手段と、
上記画像情報を用いずに、並進位置情報を検出可能な並進位置情報検出手段と、
上記画像解析手段よりの並進位置情報と、上記並進位置情報検出手段よりの並進位置情報とを用いて、前記測定対象物の並進位置情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置。
【請求項7】
移動体の姿勢を検出する装置において、
前記移動体の空間上の3軸の姿勢角度情報を算出する角度検出手段と、
前記移動体の空間上の3軸の並進位置情報を算出する並進位置検出手段と、
前記移動体自体に設置され、前記移動体の周りの画像から移動体の並進と姿勢の6軸の画像姿勢情報を算出する画像処理姿勢検出手段と、
前記角度検出手段からの姿勢角度情報と、前記並進位置検出手段からの並進位置情報と、前記画像処理姿勢検出手段からの画像姿勢情報のそれぞれ情報により空間上での前記移動体の6軸姿勢情報を算出する空間姿勢演算手段と、
を具備することを特徴とする移動体姿勢検出装置。
【請求項8】
前記角度検出手段は、
直交する3軸上の空間の角速度情報を検出する角速度検出手段と、
前記角度情報より前記移動体の姿勢角度情報を演算する第1姿勢演算手段とで構成され、
前記並進位置検出手段は、
直交する3軸上の空間の並進方向の加速度情報を検出する加速度検出手段と、
前記加速度情報より前記移動体の傾き情報と並進情報を演算する第2姿勢演算手段とで構成され、
前記画像処理姿勢検出手段は、
前記装置周辺の画像を時系列に入力する画像入力手段と、
この画像入力手段によって入力された画像の中から複数の特徴点を抽出して、それらの特徴点を記憶すると共に、以前に記憶されている特徴点の座標等の特徴点情報を探索検出する特徴点検出手段と、
前記特徴点の2次元画像の中での変位から画像の動きベクトルを検出する動きベクトル検出手段と、
前記姿勢角度情報と前記並進情報と前記特徴点の情報から移動体の回転方向と並進方向の画像姿勢情報を演算する第3姿勢演算手段とで構成され、
前記空間姿勢演算手段は、
前記動きベクトル検出手段からの情報と前記角速度検出手段と前記加速度検出手段とにより前記第1姿勢演算手段の姿勢演算方法と前記第2姿勢演算手段の姿勢演算方法とを変更する情報を送る停止判定制御手段と、
前記第1姿勢演算手段と第2姿勢演算手段と第3姿勢演算手段それぞれからの情報を演算する補正演算手段と、
で構成されることを特徴とする請求項7に記載の移動体姿勢検出装置。
【請求項9】
高速に取り込まれ処理される前記角速度検出手段の姿勢角度情報と前記加速度検出手段からの並進情報を前記移動体姿勢検出装置の6軸姿勢情報として利用すると共に、上記姿勢角度情報や変位情報よりも低速に演算処理される画像処理姿勢検出手段の画像姿勢情報を上記6軸姿勢情報の基準参照用の補正情報として利用することを特徴とする請求項7または8に記載の移動体姿勢検出装置。
【請求項10】
前記角速度検出手段と、前記加速度検出手段と、画像入力手段の画像入力方向と取付位置座標との取付関係であるカメラ姿勢パラメータ情報を記憶した画像ベクトル推定手段を備えたことを特徴とする請求項7または8に記載の移動体姿勢検出装置。
【請求項11】
前記特徴点検出手段は、
前記画像入力手段が画像を入力した時点での前記特徴点検出手段の特徴点情報に、前記第1姿勢演算手段での姿勢角度情報と、前記第2姿勢演算手段での並進情報とを一組の特徴点姿勢情報として記憶すると共に、同一特徴点に対する異なった位置で前記並進情報がある閾値以上の値を持ったものの特徴点姿勢情報を優先的に記憶する特徴点姿勢情報記憶機能を有し、
前記第3姿勢演算手段は、
2点以上の前記特徴点姿勢情報より特徴点の固定座標空間の原点からの座標に近似補正して前記画像姿勢情報を求めることを特徴とする請求項7乃至10のいずれか一に記載の移動体姿勢検出装置。
【請求項12】
前記補正演算手段は、
前記第3姿勢演算手段で近似補正して求められた画像姿勢情報を参照基準情報とし、前記第1姿勢演算手段での姿勢角度情報と前記第2姿勢演算手段での並進情報とが前記参照基準情報に一致するように補正すると共に、この補正値を停止中には補正せず、動作中にその動作データの変化データの値によってその補正幅を調整することを特徴とする請求項11に記載の移動体姿勢検出装置。
【請求項13】
前記特徴点検出手段は、
同一特徴点に対する同じ位置で前記並進情報がある閾値以下の値を持ったもので異なった角度で前記並進情報がある閾値以上の値を持ったものの特徴点姿勢情報を角度の参照基準情報として利用し、
前記補正演算手段は、
この角度の参照基準情報に一致するように姿勢角度情報のみ補正することを特徴とする請求項11に記載の移動体姿勢検出装置。
【請求項14】
前記画像ベクトル推定手段からの情報により、取り込まれた画像データの特徴点の移動位置と回転角を推定することを特徴とする請求項10乃至13のいずれか一に記載の移動体姿勢検出装置。
【請求項15】
前もって移動体の周りの画像を入力し、そのときの前記特徴点検出手段の特徴点姿勢情報を記憶し、
次からは前記第1姿勢演算手段と第2姿勢演算手段との情報より特徴点抽出の処理を行わずに、前記記憶情報を利用すると共に、
複数の記憶した特徴点姿勢情報をもとに前記第3姿勢演算手段により、特徴点の固定座標空間の原点からの座標に近似補正した参照基準情報を求めて記憶しておくことを特徴とする請求項10乃至14のいずれか一に記載の移動体姿勢検出装置。
【請求項16】
前記動きベクトル検出手段は、
処理された情報の中から前記画像ベクトル推定手段の情報との推定による動きベクトルのみを選択出力することを特徴とする請求項10乃至15のいずれか一に記載の移動体姿勢検出装置。
【請求項17】
前記特徴点検出手段で特徴点が検出されないとき、あるいは前記動きベクトル検出手段の情報が前記画像ベクトル椎定手段の情報による動きベクトルとの類似度がある閾値以下のとき、検出不能と判定し、後処理の前記第3姿勢演算手段及び補正演算手段にはその情報を使わないことを特徴とする請求項16に記載の移動体姿勢検出装置。
【請求項18】
前記動きベクトル検出手段が検出不能と判定したとき、その情報を使用者に知らせる手段をさらに備えたことを特徴とする請求項17に記載の移動体姿勢検出装置。
【請求項19】
前記画像入力手段の入力方向を変更することが可能なカメラ取付方向変更手段をさらに備えたことを特徴とする請求項7乃至15のいずれか一に記載の移動体姿勢検出装置。
【請求項20】
変更されたカメラ取付方向情報を前記画像ベクトル推定手段に知らせるカメラ姿勢パラメータ保持手段をさらに備えたことを特徴とする請求項19に記載の移動体姿勢検出装置。
【請求項21】
前記画像入力手段の入力方向が変更されたことを検知し、その情報をカメラ姿勢保持手段へ転送するカメラ姿勢検知手段をさらに備えたことを特徴とする請求項20に記載の移動体姿勢検出装置。
【請求項22】
移動体を運動をさせたときの前記第1姿勢演算手段の情報と前記第2姿勢演算手段の情報と前記第3手段姿勢演算手段の情報とによりカメラ姿勢パラメータを演算し、その情報を前記カメラ姿勢パラメータ保持手段に送るカメラ姿勢パラメータ演算手段をさらに備えたことを特徴とする請求項21に記載の移動体姿勢検出装置。
【請求項23】
ある特定のマークに対しての特徴点を予め記憶した固定マーク情報記憶手段と、
前記特定のマークに対してのみのテンプレートマッチングを行うように指示する固定マーク指示手段と、
をさらに備えたことを特徴とする請求項7乃至22のいずれか一に記載の移動体姿勢検出装置。
【請求項24】
前記固定マーク情報記憶手段に対して、前記画像入力手段により入力された画像デ一タを登録することを特徴とする請求項23に記載の移動体姿勢検出装置。
【請求項25】
前記画像入力手段による画像入力範囲を照射するように配置された赤外線発光手段をさらに備えたことを特徴とする請求項7乃至24のいずれか一に記載の移動体姿勢検出装置。
【請求項26】
前記画像入力手段から前記特徴点検出手段と前記動きベクトル検出手段までを人工網膜チップにより構成したことを特徴とする請求項7乃至25のいずれか一に記載の移動体姿勢検出装置。
また、この(3)の発明によれば、2次元画像処理から求められた特徴点情報にはカメラの姿勢パラメータ情報が含まれるため、特徴点情報を固定座標原点からの情報に変換して保存しておくことにより、角速度検出手段の姿勢角度情報とか速度検出手段からの並進情報を参照基準情報と比較するときの処理が簡単になり、処理が高速になる。
また、本発明によると、上記課題を解決するために、
(4) 上記姿勢位置決定手段は、
上記角度情報検出手段よりの角度情報を上記画像解析手段よりの角度情報を用いて補正し、上記並進位置情報検出手段よりの並進位置情報を上記画像解析手段よりの並進位置情報を用いて補正することによって、前記測定対象物の角度情報と並進位置情報を決定することを特徴とする(1)または(2)記載の姿勢位置検出装置が提供される。
また、本発明によると、上記課題を解決するために、
(5) 測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢位置情報を検出する姿勢位置検出装置において、
上記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、装置の傾きを表わす角度情報を検出する画像解析手段と、
上記画像情報を用いずに、角度情報を検出可能な角度情報検出手段と、
上記画像解析手段よりの角度情報と、上記角度情報検出手段よりの角度情報を用いて、測定対象物の角度情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置が提供される。
また、本発明によると、上記課題を解決するために、
(6) 測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢情報を検出する姿勢検出装置において、
前記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、前記装置の位置移動を表わす並進位置情報を検出する画像解析手段と、
上記画像情報を用いずに、並進位置情報を検出可能な並進位置情報検出手段と、
上記画像解析手段よりの並進位置情報と、上記並進位置情報検出手段よりの並進位置情報とを用いて、前記測定対象物の並進位置情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置が提供される。
また、本発明によると、上記課題を解決するために、
(7) 移動体の姿勢を検出する装置において、
前記移動体の空間上の3軸の姿勢角度情報を算出する角度検出手段と、
前記移動体の空間上の3軸の並進位置情報を算出する並進位置検出手段と、
前記移動体自体に設置され、前記移動体の周りの画像から移動体の並進と姿勢の6軸の画像姿勢情報を算出する画像処理姿勢検出手段と、
前記角度検出手段からの姿勢角度情報と、前記並進位置検出手段からの並進位置情報と、前記画像処理姿勢検出手段からの画像姿勢情報のそれぞれ情報により空間上での前記移動体の6軸姿勢情報を算出する空間姿勢演算手段と、
を具備することを特徴とする移動体姿勢検出装置が提供される。
この(7)の発明は、第1の実施形態が対応する。
この(7)の発明によれば、参照点をもたず、空間内での相対的な姿勢変化や並進変位情報を検出する角度検出手段と並進位置検出手段の情報に対して、被計測移動体に対する空間上での絶対的な参照点を持つことが可能な画像処理姿勢検出手段との情報を、関連づけることにより、空間上の絶対参照点に対する姿勢を求めることが可能となる。
また、本発明によると、上記課題を解決するために、
(8) 前記角度検出手段は、
直交する3軸上の空間の角速度情報を検出する角速度検出手段と、
前記角度情報より前記移動体の姿勢角度情報を演算する第1姿勢演算手段とで構成され、
前記並進位置検出手段は、
直交する3軸上の空間の並進方向の加速度情報を検出する加速度検出手段と、
前記加速度情報より前記移動体の傾き情報と並進情報を演算する第2姿勢演算手段とで構成され、
前記画像処理姿勢検出手段は、
前記装置周辺の画像を時系列に入力する画像入力手段と、
この画像入力手段によって入力された画像の中から複数の特徴点を抽出して、それらの特徴点を記憶すると共に、以前に記憶されている特徴点の座標等の特徴点情報を探索検出する特徴点検出手段と、
前記特徴点の2次元画像の中での変位から画像の動きベクトルを検出する動きベクトル検出手段と、
前記姿勢角度情報と前記並進情報と前記特徴点の情報から移動体の回転方向と並進方向の画像姿勢情報を演算する第3姿勢演算手段とで構成され、
前記空間姿勢演算手段は、
前記動きベクトル検出手段からの情報と前記角速度検出手段と前記加速度検出手段とにより前記第1姿勢演算手段の姿勢演算方法と前記第2姿勢演算手段の姿勢演算方法とを変更する情報を送る停止判定制御手段と、
前記第1姿勢演算手段と第2姿勢演算手段と第3姿勢演算手段それぞれからの情報を演算する補正演算手段と、
で構成されることを特徴とする(7)に記載の移動体姿勢検出装置が提供される。
この(8)の発明によれば、角速度検出手段より角度を検出するとき及び加速度検出手段で並進位置を検出するときの角速度及び中間データの速度データを画像処理のための補助データとして利用することができ、画像処理の計算負荷を減らす効果があると共に、画像処理のみによる装置に比較して演算処理の負荷が小さくなるため、高速処理が可能であり、また低速の処理系で構成することができ、更に、画像処理での動きベクトルとの比較により停止状態を判定することでジャイロのドリフトなどを補正することができる。
また、その他の効果としては移動体の中においても移動体に対する相対的な姿勢を検出することができる。
また、本発明によると、上記課題を解決するために、
(9) 高速に取り込まれ処理される前記角速度検出手段の姿勢角度情報と前記加速度検出手段からの並進情報を前記移動体姿勢検出装置の6軸姿勢情報として利用すると共に、上記姿勢角度情報や変位情報よりも低速に演算処理される画像処理姿勢検出手段の画像姿勢情報を上記6軸姿勢情報の基準参照用の補正情報として利用することを特徴とする(7)または(8)に記載の移動体姿勢検出装置が提供される。
この(9)の発明によれば、画像処理による姿勢演算処理時間に比べて高速でしかも演算負荷の少ない角速度検出手段と加速度検出手段からの情報を本移動体姿勢検出装置の6軸姿勢情報として利用し、画像姿勢検出手段からの情報は固定空間から得られた参照基準情報として前記姿勢情報を補正するために使用することによって6軸姿勢情報としては高速に検出することができると共に、画像姿勢検出手段による基準点情報で定期的に修正することでその誤差を補正することが可能となる。
また、本発明によると、上記課題を解決するために、
(10) 前記角速度検出手段と、前記加速度検出手段と、画像入力手段の画像入力方向と取付位置座標との取付関係であるカメラ姿勢パラメータ情報を記憶した画像ベクトル推定手段を備えたことを特徴とする(7)または(8)に記載の移動体姿勢検出装置が提供される。
この(10)の発明によれば、角速度検出手段からの角速度情報或いは角度情報と、加速度検出手段からの加速度情報あるいは並進情報により椎定で求められる特徴点の動きあるいは画像ベクトルの動きなどの他のいくつかの処理の中で利用される情報を予め計算しておくことで、演算負荷を減らすことが可能となる。
また、本発明によると、上記課題を解決するために、
(11) 前記特徴点検出手段は、
前記画像入力手段が画像を入力した時点での前記特徴点検出手段の特徴点情報に、前記第1姿勢演算手段での姿勢角度情報と、前記第2姿勢演算手段での並進情報とを一組の特徴点姿勢情報として記憶すると共に、同一特徴点に対する異なった位置で前記並進情報がある閾値以上の値を持ったものの特徴点姿勢情報を優先的に記憶する特徴点姿勢情報記憶機能を有し、
前記第3姿勢演算手段は、
2点以上の前記特徴点姿勢情報より特徴点の固定座標空間の原点からの座標に近似補正して前記画像姿勢情報を求めることを特徴とする(7)乃至(10)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(11)の発明によれば、同一特徴点に対する座標情報を求める場合、並進情報が大きいほど精度が上がり、また測定データ数が多いほど誤差を低減することができると共に、特徴点の固定空間上での求める座標情報の誤差を減らすことが可能となり、更に、2次元画像処理から求められた特徴点情報にはカメラの姿勢パラメータ情報が含まれるため、特徴点情報を固定座標原点からの情報に変換して保存しておくことで角速度検出手段の姿勢角度情報とか速度検出手段からの並進情報を参照基準情報と比較するときの処理が簡単になり、処理が高速になる。
また、本発明によると、上記課題を解決するために、
(12) 前記補正演算手段は、
前記第3姿勢演算手段で近似補正して求められた画像姿勢情報を参照基準情報とし、前記第1姿勢演算手段での姿勢角度情報と前記第2姿勢演算手段での並進情報とが前記参照基準情報に一致するように補正すると共に、この補正値を停止中には補正せず、動作中にその動作データの変化データの値によってその補正幅を調整することを特徴とする(11)に記載の移動体姿勢検出装置が提供される。
この(12)の発明によれば、参照基準情報を複数の測定点から近似補間した情報より求めることで、画像処理による誤差や、角速度検出手段や加速度検出手段からの情報による誤差を減らすことが可能となり、角速度検出手段の姿勢角度情報とか速度検出手段からの並進情報を、また誤差補正に際してはこのようにすることでVR的な表示を観察しているときに操作者の意志に関わらず勝手に映像が動くこともなく、また動作中に誤差がキャンセルされることで、操作者にはその補正による動きを判り難くするという効果がある。
また、本発明によると、上記課題を解決するために、
(13) 前記特徴点検出手段は、
同一特徴点に対する同じ位置で前記並進情報がある閾値以下の値を持ったもので異なった角度で前記並進情報がある閾値以上の値を持ったものの特徴点姿勢情報を角度の参照基準情報として利用し、
前記補正演算手段は、
この角度の参照基準情報に一致するように姿勢角度情報のみ補正することを特徴とする(11)に記載の移動体姿勢検出装置が提供される。
この(13)の発明によれば、VR的な仮想表示システムでは並進による動作より回転中心の動きの方が多いため、並進情報が大きい場合のデータだけではデータ効率が悪くなるが、並進がゼロのときの角度情報はそのままジャイロ情報の角度情報の参照基準情報となるため、演算処理を高速にすることができる。
また、本発明によると、上記課題を解決するために、
(14) 前記画像ベクトル推定手段からの情報により、取り込まれた画像データの特徴点の移動位置と回転角を推定することを特徴とする(10)乃至(13)に記載の移動体姿勢検出装置が提供される。
この(14)の発明によれば、カメラ取付状態が変わつても特徴点探索のためのマッチング領域の予測ができ、2次元走査回数やアフィン変換等の画像処理の演算を減らすことができ、カルマンフィルタなどによる探策領域の予測方式より、特徴点処理を簡単に高速化することができる。
また、本発明によると、上記課題を解決するために、
(15) 前もって移動体の周りの画像を入力し、そのときの前記特徴点検出手段の特徴点姿勢情報を記憶し、
次からは前記第1姿勢演算手段と第2姿勢演算手段との情報より特徴点抽出の処理を行わずに、前記記憶情報を利用すると共に、
複数の記憶した特徴点姿勢情報をもとに前記第3姿勢演算手段により、特徴点の固定座標空間の原点からの座標に近似補正した参照基準情報を求めて記憶しておくことを特徴とする(10)乃至(14)に記載の移動体姿勢検出装置が提供される。
この(15)の発明によれば、特徴点の固定空間の座標を予め求めるモードで測定しておくことで、角速度検出手段や加速度検出手段からの情報のドリフトや誤差の発生が少ない間で座標情報を特定できるため、より精度を上げることができると共に、抽出処理を簡略化することができるため、画像処理においてより演算負荷を少なくすることが可能となり、またより高速化を計ることができる。
また、本発明によると、上記課題を解決するために、
(16) 前記動きベクトル検出手段は、
処理された情報の中から前記画像ベクトル推定手段の情報との推定による動きベクトルのみを選択出力することを特徴とする(10)乃至(15)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(16)の発明によれば、画像の中で固定物体以外の動体による動きベクトルが存在したときの判定条件にジャイロデータを利用することで信頼性が上がる。
また、本発明によると、上記課題を解決するために、
(17) 前記特徴点検出手段で特徴点が検出されないとき、あるいは前記動きベクトル検出手段の情報が前記画像ベクトル椎定手段の情報による動きベクトルとの類似度がある閾値以下のとき、検出不能と判定し、後処理の前記第3姿勢演算手段及び補正演算手段にはその情報を使わないことを特徴とする(16)に記載の移動体姿勢検出装置が提供される。
この(17)の発明によれば、運動物体がカメラの直ぐ前を横切ったり、壁や天井などの特徴点が見つからないような画像が入力されたとき等の動きベクトルが測定できないとき、ジャイロデータのみとすることで、画像処理のみによる装置に比較して測定てきなくなる条件を少なくでき、常にどの様な条件でも姿勢を検出し続けることができる。
また、本発明によると、上記課題を解決するために、
(18) 前記動きベクトル検出手段が検出不能と判定したとき、その情報を使用者に知らせる手段をさらに備えたことを特徴とする(17)に記載の移動体姿勢検出装置が提供される。
この(18)の発明によれば、前記理由で検出不能となったとき、使用者に知らせることで画像処理状態を知ることができ、ジャイロのドリフトなどによる誤差が発生する状況や要因を減らすことができる。
また、本発明によると、上記課題を解決するために、
(19) 前記画像入力手段の入力方向を変更することが可能なカメラ取付方向変更手段をさらに備えたことを特徴とする(7)乃至(15)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(19)の発明によれば、現在の環境の中で検出に適した方向にカメラを向けることで、動体の少ない固定画像情報が多い画像処埋による条件の良い方向へ向けることができる。
また、本発明によると、上記課題を解決するために、
(20) 変更されたカメラ取付方向情報を前記画像ベクトル推定手段に知らせるカメラ姿勢パラメータ保持手段をさらに備えたことを特徴とする(19)に記載の移動体姿勢検出装置が提供される。
この(20)の発明によれば、使用している環境下で測定に良い条件の画像が得られる方向に向けた場合の姿勢パラメータを設定することが可能となる。
また、本発明によると、上記課題を解決するために、
(21) 前記画像入力手段の入力方向が変更されたことを検知し、その情報をカメラ姿勢保持手段へ転送するカメラ姿勢検知手段をさらに備えたことを特徴とする(20)に記載の移動体姿勢検出装置が提供される。
この(21)の発明によれば、傾斜センサなどをカメラユニットに組み込むことで、取付方向を自動的に検出し設定を自動的に行うことができるため、使用者への負担を減らすことができる。
また、本発明によると、上記課題を解決するために、
(22) 移動体を運動をさせたときの前記第1姿勢演算手段の情報と前記第2姿勢演算手段の情報と前記第3手段姿勢演算手段の情報とによりカメラ姿勢パラメータを演算し、その情報を前記カメラ姿勢パラメータ保持手段に送るカメラ姿勢パラメータ演算手段をさらに備えたことを特徴とする(21)に記載の移動体姿勢検出装置が提供される。
この(22)の発明によれば、カメラ取り付け方向変更手段に関してはより自由度のある方法を用いることができ、カメラ方向の設定もより自由度が増し、どのような方向に向けてもキャリブレーションをすれば使うことができるようになると共に、個人差などの誤差も解消することができ、またカメラ姿勢検知手段などは不要となる。
また、本発明によると、上記課題を解決するために、
(23) ある特定のマークに対しての特徴点を予め記憶した固定マーク情報記憶手段と、
前記特定のマークに対してのみのテンプレートマッチングを行うように指示する固定マーク指示手段と、
をさらに備えたことを特徴とする(7)乃至(22)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(23)の発明によれば、特徴点抽出処理を省略することができるため、画像処理においてより演算負荷を少なくすることが可能となり、またより高速化を計ることができると共に、記憶メモリを多く必要としないのでシステム構成をより簡単にすることができる。
また、本発明によると、上記課題を解決するために、
(24) 前記固定マーク情報記憶手段に対して、前記画像入力手段により入力された画像デ一タを登録することを特徴とする(23)に記載の移動体姿勢検出装置が提供される。
この(24)の発明によれば、特徴点抽出処理を省略することができるため、画像処理においてより演算負荷を少なくする事が可能となり、またより高速化を計ることができると共に、画像処理による安定的な信号を得たいときには、識別しやすいマーカーなどを配置することでより精度をあげることができ、記憶メモリを多く必要としないのでシステム構成をより簡単にすることができ、更に、個人でマークを製作したり、特別なマークを設置することもなく、使用環境内にある画像をマークとして登録することが可能なことで、使用環境内における周辺環境の設計の自由度が増し、より利便性を向上することができる。
また、本発明によると、上記課題を解決するために、
(25) 前記画像入力手段による画像入力範囲を照射するように配置された赤外線発光手段をさらに備えたことを特徴とする(7)乃至(24)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(25)の発明によれば、夜間や暗い場所でも画像入力処理が可能となるので、夜間や暗い場所などで、照明器具を使用しない環境でも装置を使用することが可能となる。
また、本発明によると、上記課題を解決するために、
(26) 前記画像入力手段から前記特徴点検出手段と前記動きベクトル検出手段までを人工網膜チップにより構成したことを特徴とする(7)乃至(25)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(26)の発明によれば、演算処理のための処理系もより低価格で汎用的な処理システムで構成することが可能となり、更に、このような構成とすることでシステムの小型化、低価格化、高速化、低消費電力化を計ることが可能となる。
また、本発明によると、上記課題を解決するために、
(4) 上記姿勢位置決定手段は、
上記角度情報検出手段よりの角度情報を上記画像解析手段よりの角度情報を用いて補正し、上記並進位置情報検出手段よりの並進位置情報を上記画像解析手段よりの並進位置情報を用いて補正することによって、前記測定対象物の角度情報と並進位置情報を決定することを特徴とする(1)または(2)記載の姿勢位置検出装置が提供される。
また、本発明によると、上記課題を解決するために、
(5) 測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢位置情報を検出する姿勢位置検出装置において、
上記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、装置の傾きを表わす角度情報を検出する画像解析手段と、
上記画像情報を用いずに、角度情報を検出可能な角度情報検出手段と、
上記画像解析手段よりの角度情報と、上記角度情報検出手段よりの角度情報を用いて、測定対象物の角度情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置が提供される。
また、本発明によると、上記課題を解決するために、
(6) 測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢情報を検出する姿勢検出装置において、
前記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、前記装置の位置移動を表わす並進位置情報を検出する画像解析手段と、
上記画像情報を用いずに、並進位置情報を検出可能な並進位置情報検出手段と、
上記画像解析手段よりの並進位置情報と、上記並進位置情報検出手段よりの並進位置情報とを用いて、前記測定対象物の並進位置情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置が提供される。
また、本発明によると、上記課題を解決するために、
(7) 移動体の姿勢を検出する装置において、
前記移動体の空間上の3軸の姿勢角度情報を算出する角度検出手段と、
前記移動体の空間上の3軸の並進位置情報を算出する並進位置検出手段と、
前記移動体自体に設置され、前記移動体の周りの画像から移動体の並進と姿勢の6軸の画像姿勢情報を算出する画像処理姿勢検出手段と、
前記角度検出手段からの姿勢角度情報と、前記並進位置検出手段からの並進位置情報と、前記画像処理姿勢検出手段からの画像姿勢情報のそれぞれ情報により空間上での前記移動体の6軸姿勢情報を算出する空間姿勢演算手段と、
を具備することを特徴とする移動体姿勢検出装置が提供される。
この(7)の発明は、第1の実施形態が対応する。
この(7)の発明によれば、参照点をもたず、空間内での相対的な姿勢変化や並進変位情報を検出する角度検出手段と並進位置検出手段の情報に対して、被計測移動体に対する空間上での絶対的な参照点を持つことが可能な画像処理姿勢検出手段との情報を、関連づけることにより、空間上の絶対参照点に対する姿勢を求めることが可能となる。
また、本発明によると、上記課題を解決するために、
(8) 前記角度検出手段は、
直交する3軸上の空間の角速度情報を検出する角速度検出手段と、
前記角度情報より前記移動体の姿勢角度情報を演算する第1姿勢演算手段とで構成され、
前記並進位置検出手段は、
直交する3軸上の空間の並進方向の加速度情報を検出する加速度検出手段と、
前記加速度情報より前記移動体の傾き情報と並進情報を演算する第2姿勢演算手段とで構成され、
前記画像処理姿勢検出手段は、
前記装置周辺の画像を時系列に入力する画像入力手段と、
この画像入力手段によって入力された画像の中から複数の特徴点を抽出して、それらの特徴点を記憶すると共に、以前に記憶されている特徴点の座標等の特徴点情報を探索検出する特徴点検出手段と、
前記特徴点の2次元画像の中での変位から画像の動きベクトルを検出する動きベクトル検出手段と、
前記姿勢角度情報と前記並進情報と前記特徴点の情報から移動体の回転方向と並進方向の画像姿勢情報を演算する第3姿勢演算手段とで構成され、
前記空間姿勢演算手段は、
前記動きベクトル検出手段からの情報と前記角速度検出手段と前記加速度検出手段とにより前記第1姿勢演算手段の姿勢演算方法と前記第2姿勢演算手段の姿勢演算方法とを変更する情報を送る停止判定制御手段と、
前記第1姿勢演算手段と第2姿勢演算手段と第3姿勢演算手段それぞれからの情報を演算する補正演算手段と、
で構成されることを特徴とする(7)に記載の移動体姿勢検出装置が提供される。
この(8)の発明によれば、角速度検出手段より角度を検出するとき及び加速度検出手段で並進位置を検出するときの角速度及び中間データの速度データを画像処理のための補助データとして利用することができ、画像処理の計算負荷を減らす効果があると共に、画像処理のみによる装置に比較して演算処理の負荷が小さくなるため、高速処理が可能であり、また低速の処理系で構成することができ、更に、画像処理での動きベクトルとの比較により停止状態を判定することでジャイロのドリフトなどを補正することができる。
また、その他の効果としては移動体の中においても移動体に対する相対的な姿勢を検出することができる。
また、本発明によると、上記課題を解決するために、
(9) 高速に取り込まれ処理される前記角速度検出手段の姿勢角度情報と前記加速度検出手段からの並進情報を前記移動体姿勢検出装置の6軸姿勢情報として利用すると共に、上記姿勢角度情報や変位情報よりも低速に演算処理される画像処理姿勢検出手段の画像姿勢情報を上記6軸姿勢情報の基準参照用の補正情報として利用することを特徴とする(7)または(8)に記載の移動体姿勢検出装置が提供される。
この(9)の発明によれば、画像処理による姿勢演算処理時間に比べて高速でしかも演算負荷の少ない角速度検出手段と加速度検出手段からの情報を本移動体姿勢検出装置の6軸姿勢情報として利用し、画像姿勢検出手段からの情報は固定空間から得られた参照基準情報として前記姿勢情報を補正するために使用することによって6軸姿勢情報としては高速に検出することができると共に、画像姿勢検出手段による基準点情報で定期的に修正することでその誤差を補正することが可能となる。
また、本発明によると、上記課題を解決するために、
(10) 前記角速度検出手段と、前記加速度検出手段と、画像入力手段の画像入力方向と取付位置座標との取付関係であるカメラ姿勢パラメータ情報を記憶した画像ベクトル推定手段を備えたことを特徴とする(7)または(8)に記載の移動体姿勢検出装置が提供される。
この(10)の発明によれば、角速度検出手段からの角速度情報或いは角度情報と、加速度検出手段からの加速度情報あるいは並進情報により椎定で求められる特徴点の動きあるいは画像ベクトルの動きなどの他のいくつかの処理の中で利用される情報を予め計算しておくことで、演算負荷を減らすことが可能となる。
また、本発明によると、上記課題を解決するために、
(11) 前記特徴点検出手段は、
前記画像入力手段が画像を入力した時点での前記特徴点検出手段の特徴点情報に、前記第1姿勢演算手段での姿勢角度情報と、前記第2姿勢演算手段での並進情報とを一組の特徴点姿勢情報として記憶すると共に、同一特徴点に対する異なった位置で前記並進情報がある閾値以上の値を持ったものの特徴点姿勢情報を優先的に記憶する特徴点姿勢情報記憶機能を有し、
前記第3姿勢演算手段は、
2点以上の前記特徴点姿勢情報より特徴点の固定座標空間の原点からの座標に近似補正して前記画像姿勢情報を求めることを特徴とする(7)乃至(10)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(11)の発明によれば、同一特徴点に対する座標情報を求める場合、並進情報が大きいほど精度が上がり、また測定データ数が多いほど誤差を低減することができると共に、特徴点の固定空間上での求める座標情報の誤差を減らすことが可能となり、更に、2次元画像処理から求められた特徴点情報にはカメラの姿勢パラメータ情報が含まれるため、特徴点情報を固定座標原点からの情報に変換して保存しておくことで角速度検出手段の姿勢角度情報とか速度検出手段からの並進情報を参照基準情報と比較するときの処理が簡単になり、処理が高速になる。
また、本発明によると、上記課題を解決するために、
(12) 前記補正演算手段は、
前記第3姿勢演算手段で近似補正して求められた画像姿勢情報を参照基準情報とし、前記第1姿勢演算手段での姿勢角度情報と前記第2姿勢演算手段での並進情報とが前記参照基準情報に一致するように補正すると共に、この補正値を停止中には補正せず、動作中にその動作データの変化データの値によってその補正幅を調整することを特徴とする(11)に記載の移動体姿勢検出装置が提供される。
この(12)の発明によれば、参照基準情報を複数の測定点から近似補間した情報より求めることで、画像処理による誤差や、角速度検出手段や加速度検出手段からの情報による誤差を減らすことが可能となり、角速度検出手段の姿勢角度情報とか速度検出手段からの並進情報を、また誤差補正に際してはこのようにすることでVR的な表示を観察しているときに操作者の意志に関わらず勝手に映像が動くこともなく、また動作中に誤差がキャンセルされることで、操作者にはその補正による動きを判り難くするという効果がある。
また、本発明によると、上記課題を解決するために、
(13) 前記特徴点検出手段は、
同一特徴点に対する同じ位置で前記並進情報がある閾値以下の値を持ったもので異なった角度で前記並進情報がある閾値以上の値を持ったものの特徴点姿勢情報を角度の参照基準情報として利用し、
前記補正演算手段は、
この角度の参照基準情報に一致するように姿勢角度情報のみ補正することを特徴とする(11)に記載の移動体姿勢検出装置が提供される。
この(13)の発明によれば、VR的な仮想表示システムでは並進による動作より回転中心の動きの方が多いため、並進情報が大きい場合のデータだけではデータ効率が悪くなるが、並進がゼロのときの角度情報はそのままジャイロ情報の角度情報の参照基準情報となるため、演算処理を高速にすることができる。
また、本発明によると、上記課題を解決するために、
(14) 前記画像ベクトル推定手段からの情報により、取り込まれた画像データの特徴点の移動位置と回転角を推定することを特徴とする(10)乃至(13)に記載の移動体姿勢検出装置が提供される。
この(14)の発明によれば、カメラ取付状態が変わつても特徴点探索のためのマッチング領域の予測ができ、2次元走査回数やアフィン変換等の画像処理の演算を減らすことができ、カルマンフィルタなどによる探策領域の予測方式より、特徴点処理を簡単に高速化することができる。
また、本発明によると、上記課題を解決するために、
(15) 前もって移動体の周りの画像を入力し、そのときの前記特徴点検出手段の特徴点姿勢情報を記憶し、
次からは前記第1姿勢演算手段と第2姿勢演算手段との情報より特徴点抽出の処理を行わずに、前記記憶情報を利用すると共に、
複数の記憶した特徴点姿勢情報をもとに前記第3姿勢演算手段により、特徴点の固定座標空間の原点からの座標に近似補正した参照基準情報を求めて記憶しておくことを特徴とする(10)乃至(14)に記載の移動体姿勢検出装置が提供される。
この(15)の発明によれば、特徴点の固定空間の座標を予め求めるモードで測定しておくことで、角速度検出手段や加速度検出手段からの情報のドリフトや誤差の発生が少ない間で座標情報を特定できるため、より精度を上げることができると共に、抽出処理を簡略化することができるため、画像処理においてより演算負荷を少なくすることが可能となり、またより高速化を計ることができる。
また、本発明によると、上記課題を解決するために、
(16) 前記動きベクトル検出手段は、
処理された情報の中から前記画像ベクトル推定手段の情報との推定による動きベクトルのみを選択出力することを特徴とする(10)乃至(15)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(16)の発明によれば、画像の中で固定物体以外の動体による動きベクトルが存在したときの判定条件にジャイロデータを利用することで信頼性が上がる。
また、本発明によると、上記課題を解決するために、
(17) 前記特徴点検出手段で特徴点が検出されないとき、あるいは前記動きベクトル検出手段の情報が前記画像ベクトル椎定手段の情報による動きベクトルとの類似度がある閾値以下のとき、検出不能と判定し、後処理の前記第3姿勢演算手段及び補正演算手段にはその情報を使わないことを特徴とする(16)に記載の移動体姿勢検出装置が提供される。
この(17)の発明によれば、運動物体がカメラの直ぐ前を横切ったり、壁や天井などの特徴点が見つからないような画像が入力されたとき等の動きベクトルが測定できないとき、ジャイロデータのみとすることで、画像処理のみによる装置に比較して測定てきなくなる条件を少なくでき、常にどの様な条件でも姿勢を検出し続けることができる。
また、本発明によると、上記課題を解決するために、
(18) 前記動きベクトル検出手段が検出不能と判定したとき、その情報を使用者に知らせる手段をさらに備えたことを特徴とする(17)に記載の移動体姿勢検出装置が提供される。
この(18)の発明によれば、前記理由で検出不能となったとき、使用者に知らせることで画像処理状態を知ることができ、ジャイロのドリフトなどによる誤差が発生する状況や要因を減らすことができる。
また、本発明によると、上記課題を解決するために、
(19) 前記画像入力手段の入力方向を変更することが可能なカメラ取付方向変更手段をさらに備えたことを特徴とする(7)乃至(15)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(19)の発明によれば、現在の環境の中で検出に適した方向にカメラを向けることで、動体の少ない固定画像情報が多い画像処埋による条件の良い方向へ向けることができる。
また、本発明によると、上記課題を解決するために、
(20) 変更されたカメラ取付方向情報を前記画像ベクトル推定手段に知らせるカメラ姿勢パラメータ保持手段をさらに備えたことを特徴とする(19)に記載の移動体姿勢検出装置が提供される。
この(20)の発明によれば、使用している環境下で測定に良い条件の画像が得られる方向に向けた場合の姿勢パラメータを設定することが可能となる。
また、本発明によると、上記課題を解決するために、
(21) 前記画像入力手段の入力方向が変更されたことを検知し、その情報をカメラ姿勢保持手段へ転送するカメラ姿勢検知手段をさらに備えたことを特徴とする(20)に記載の移動体姿勢検出装置が提供される。
この(21)の発明によれば、傾斜センサなどをカメラユニットに組み込むことで、取付方向を自動的に検出し設定を自動的に行うことができるため、使用者への負担を減らすことができる。
また、本発明によると、上記課題を解決するために、
(22) 移動体を運動をさせたときの前記第1姿勢演算手段の情報と前記第2姿勢演算手段の情報と前記第3手段姿勢演算手段の情報とによりカメラ姿勢パラメータを演算し、その情報を前記カメラ姿勢パラメータ保持手段に送るカメラ姿勢パラメータ演算手段をさらに備えたことを特徴とする(21)に記載の移動体姿勢検出装置が提供される。
この(22)の発明によれば、カメラ取り付け方向変更手段に関してはより自由度のある方法を用いることができ、カメラ方向の設定もより自由度が増し、どのような方向に向けてもキャリブレーションをすれば使うことができるようになると共に、個人差などの誤差も解消することができ、またカメラ姿勢検知手段などは不要となる。
また、本発明によると、上記課題を解決するために、
(23) ある特定のマークに対しての特徴点を予め記憶した固定マーク情報記憶手段と、
前記特定のマークに対してのみのテンプレートマッチングを行うように指示する固定マーク指示手段と、
をさらに備えたことを特徴とする(7)乃至(22)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(23)の発明によれば、特徴点抽出処理を省略することができるため、画像処理においてより演算負荷を少なくすることが可能となり、またより高速化を計ることができると共に、記憶メモリを多く必要としないのでシステム構成をより簡単にすることができる。
また、本発明によると、上記課題を解決するために、
(24) 前記固定マーク情報記憶手段に対して、前記画像入力手段により入力された画像デ一タを登録することを特徴とする(23)に記載の移動体姿勢検出装置が提供される。
この(24)の発明によれば、特徴点抽出処理を省略することができるため、画像処理においてより演算負荷を少なくする事が可能となり、またより高速化を計ることができると共に、画像処理による安定的な信号を得たいときには、識別しやすいマーカーなどを配置することでより精度をあげることができ、記憶メモリを多く必要としないのでシステム構成をより簡単にすることができ、更に、個人でマークを製作したり、特別なマークを設置することもなく、使用環境内にある画像をマークとして登録することが可能なことで、使用環境内における周辺環境の設計の自由度が増し、より利便性を向上することができる。
また、本発明によると、上記課題を解決するために、
(25) 前記画像入力手段による画像入力範囲を照射するように配置された赤外線発光手段をさらに備えたことを特徴とする(7)乃至(24)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(25)の発明によれば、夜間や暗い場所でも画像入力処理が可能となるので、夜間や暗い場所などで、照明器具を使用しない環境でも装置を使用することが可能となる。
また、本発明によると、上記課題を解決するために、
(26) 前記画像入力手段から前記特徴点検出手段と前記動きベクトル検出手段までを人工網膜チップにより構成したことを特徴とする(7)乃至(25)のいずれか一に記載の移動体姿勢検出装置が提供される。
この(26)の発明によれば、演算処理のための処理系もより低価格で汎用的な処理システムで構成することが可能となり、更に、このような構成とすることでシステムの小型化、低価格化、高速化、低消費電力化を計ることが可能となる。
また、図9は、周辺画像の撮像手段であるカメラ62を操作者の頭上方向に向けた場合を例示する図である。
そして、上述したような実施の形態で示した本発明には、特許請求の範囲に示した請求項1乃至26に記載されているような発明が含まれている。
そして、上述したような実施の形態で示した本発明には、特許請求の範囲に示した請求項1乃至26に記載されているような発明が含まれている。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10269558A JP2000097637A (ja) | 1998-09-24 | 1998-09-24 | 姿勢位置検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10269558A JP2000097637A (ja) | 1998-09-24 | 1998-09-24 | 姿勢位置検出装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008202066A Division JP4422777B2 (ja) | 2008-08-05 | 2008-08-05 | 移動体姿勢検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000097637A JP2000097637A (ja) | 2000-04-07 |
JP2000097637A5 true JP2000097637A5 (ja) | 2009-01-08 |
Family
ID=17474061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10269558A Pending JP2000097637A (ja) | 1998-09-24 | 1998-09-24 | 姿勢位置検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000097637A (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002007030A (ja) * | 2000-06-16 | 2002-01-11 | Olympus Optical Co Ltd | 運動検出装置及び操作入力装置 |
JP3486613B2 (ja) | 2001-03-06 | 2004-01-13 | キヤノン株式会社 | 画像処理装置およびその方法並びにプログラム、記憶媒体 |
JP4007899B2 (ja) * | 2002-11-07 | 2007-11-14 | オリンパス株式会社 | 運動検出装置 |
JP4142460B2 (ja) * | 2003-01-31 | 2008-09-03 | オリンパス株式会社 | 運動検出装置 |
JP4743818B2 (ja) * | 2003-04-04 | 2011-08-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
JP2005141655A (ja) * | 2003-11-10 | 2005-06-02 | Olympus Corp | 3次元モデリング装置及び3次元モデリング方法 |
EP1728142B1 (en) * | 2004-03-23 | 2010-08-04 | Fujitsu Ltd. | Distinguishing tilt and translation motion components in handheld devices |
FR2868281B1 (fr) * | 2004-03-30 | 2023-06-23 | Commissariat Energie Atomique | Procede de determination des mouvements d'une personne. |
JP4492322B2 (ja) * | 2004-12-02 | 2010-06-30 | トヨタ自動車株式会社 | 歩行ロボット |
JP4767578B2 (ja) * | 2005-02-14 | 2011-09-07 | 株式会社岩根研究所 | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 |
JP2007041733A (ja) * | 2005-08-01 | 2007-02-15 | Toyota Motor Corp | 運動体の姿勢角検出装置 |
JP4684147B2 (ja) * | 2006-03-28 | 2011-05-18 | 任天堂株式会社 | 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム |
JP2009123042A (ja) * | 2007-11-16 | 2009-06-04 | Nikon Corp | 制御装置、及びヘッドマウントディスプレイ装置 |
JP5541851B2 (ja) * | 2008-06-30 | 2014-07-09 | 任天堂株式会社 | 姿勢算出装置、姿勢算出プログラム、ゲーム装置、およびゲームプログラム |
US7925467B2 (en) | 2008-06-30 | 2011-04-12 | Nintendo Co., Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
EP2140917B1 (en) | 2008-06-30 | 2018-01-03 | Nintendo Co., Ltd. | Orientation calculation apparatus and storage medium having orientation calculation program stored therein |
EP2140915B1 (en) | 2008-06-30 | 2019-03-06 | Nintendo Co., Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
JP4265814B1 (ja) * | 2008-06-30 | 2009-05-20 | 任天堂株式会社 | 姿勢算出装置、姿勢算出プログラム、ゲーム装置、およびゲームプログラム |
EP2140916B1 (en) | 2008-06-30 | 2018-10-31 | Nintendo Co., Ltd. | Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein |
EP2140919B1 (en) | 2008-06-30 | 2018-09-05 | Nintendo Co., Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
JP4422777B2 (ja) * | 2008-08-05 | 2010-02-24 | オリンパス株式会社 | 移動体姿勢検出装置 |
KR101480410B1 (ko) | 2008-12-04 | 2015-01-08 | 삼성전자주식회사 | 디지털 영상 처리기에서 스포츠 자세 교정 장치 및 방법 |
EP2228110B1 (en) | 2009-03-09 | 2017-08-30 | Nintendo Co., Ltd. | Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein |
JP5267256B2 (ja) * | 2009-03-19 | 2013-08-21 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
JP5434608B2 (ja) * | 2010-01-08 | 2014-03-05 | トヨタ自動車株式会社 | 測位装置及び測位方法 |
JP5863034B2 (ja) * | 2012-02-17 | 2016-02-16 | Kddi株式会社 | 情報端末装置 |
JP6204686B2 (ja) * | 2013-04-12 | 2017-09-27 | 任天堂株式会社 | 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法 |
US9908048B2 (en) * | 2013-06-08 | 2018-03-06 | Sony Interactive Entertainment Inc. | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
US9390344B2 (en) * | 2014-01-09 | 2016-07-12 | Qualcomm Incorporated | Sensor-based camera motion detection for unconstrained slam |
US10073270B2 (en) | 2014-11-21 | 2018-09-11 | Seiko Epson Corporation | Image display apparatus |
JP6582398B2 (ja) * | 2014-11-21 | 2019-10-02 | セイコーエプソン株式会社 | 画像表示装置 |
JP6405991B2 (ja) * | 2014-12-24 | 2018-10-17 | セイコーエプソン株式会社 | 電子機器、表示装置、及び、電子機器の制御方法 |
CN108113700B (zh) * | 2017-12-07 | 2023-01-31 | 成都优途科技有限公司 | 一种应用于三维超声成像数据采集中的位置标定方法 |
CN110274594B (zh) * | 2018-03-14 | 2021-04-23 | 京东方科技集团股份有限公司 | 一种室内定位设备及方法 |
CN114446030B (zh) * | 2022-01-25 | 2024-04-09 | 惠州Tcl移动通信有限公司 | 姿势识别方法、装置、存储介质及电子设备 |
-
1998
- 1998-09-24 JP JP10269558A patent/JP2000097637A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2000097637A5 (ja) | 姿勢位置検出装置及び移動体姿勢検出装置 | |
US10545031B2 (en) | Portable terminal device, recording medium, and correction method | |
JP6442193B2 (ja) | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム | |
JP4422777B2 (ja) | 移動体姿勢検出装置 | |
US9672630B2 (en) | Contour line measurement apparatus and robot system | |
JP4809291B2 (ja) | 計測装置及びプログラム | |
JP2000097637A (ja) | 姿勢位置検出装置 | |
JP5227139B2 (ja) | 建設機械 | |
JP4914039B2 (ja) | 情報処理方法および装置 | |
KR100922494B1 (ko) | 이동 로봇의 자세 측정 방법 및 상기 방법을 이용한 위치측정 방법 및 장치 | |
US10341647B2 (en) | Method for calibrating a camera and calibration system | |
KR101553653B1 (ko) | 로봇의 슬립 감지 장치 및 방법 | |
JP2004157850A (ja) | 運動検出装置 | |
KR20090009172A (ko) | 이동 로봇의 위치 측정 방법 및 장치 | |
JP2008506953A5 (ja) | ||
JP2004144557A (ja) | 3次元視覚センサ | |
KR20150107597A (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
Núnez et al. | Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data. | |
JP2006350897A (ja) | 運動計測装置 | |
US20140191959A1 (en) | Pointing system and display having improved operable range | |
JP4227037B2 (ja) | 撮像システム及び校正方法 | |
JP4638670B2 (ja) | 方位角計測方法および方位角計測装置 | |
JP5267100B2 (ja) | 運動推定装置及びプログラム | |
US20100262290A1 (en) | Data matching apparatus, data matching method and mobile robot |