JP2004264892A - 運動検出装置及び通信装置 - Google Patents
運動検出装置及び通信装置 Download PDFInfo
- Publication number
- JP2004264892A JP2004264892A JP2003024103A JP2003024103A JP2004264892A JP 2004264892 A JP2004264892 A JP 2004264892A JP 2003024103 A JP2003024103 A JP 2003024103A JP 2003024103 A JP2003024103 A JP 2003024103A JP 2004264892 A JP2004264892 A JP 2004264892A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion detection
- feature point
- motion
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】操作者の身体に装着され、操作者の身体の装着部の動きまたは姿勢を検出する自立型運動検出部2と、周囲の画像を同時に入力する光学系からの射影像を撮像する撮像部40と、撮像部40の撮像した全方位画像を円筒パノラマ画像に変換する画像変換部50と、異なる時点の円筒パノラマ画像を比較する画像認識部60と、この画像認識部60の比較結果に基づいて、撮像部40の運動情報を獲得するカメラ姿勢推定部70と、自立型運動検出部2とカメラ姿勢推定部70の情報をもとに装着部の空間上での位置・姿勢を獲得する空間センサ姿勢推定部80とを備える。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は人の動作や身体の一部の動きなどを計測する運動検出装置、及びこのような運動検出装置とその他の制御装置とで情報を相互に通信するための通信装置に関するものである。
【0002】
【従来の技術】
操作者の手にセンサを装着し、このセンサにより手の形状や動きを検出してこの検出結果に基づいてコマンドやステータスを生成させる技術は従来から知られていた。例えば、特許文献1には、光源と光センサとを光ファイバ等の導光路で接続してなるセンサを手の関節に複数取り付けて当該関節の曲がりを検出する技術が提案されている。また手の空間位置の認識においては、超音波センサをモニタの隅に配置し、手に装着された超音波発信機からの信号を計測することにより手のモニタに対する空間的位置を測定している例が挙げられている。
【0003】
また、その他の例には、XYZ方向に静止磁界を発生させる交番磁界発生器を用いて、計測したい場所付近に基準磁界を与えておき、また、測定対象物側にはXYZ方向の磁界を検出する磁気センサを取り付けておく。このような状態において、磁気センサで測定される信号強度と距離との関係より、測定対象物の基準磁界からの位置と姿勢を測定する装置も利用されている。
【0004】
更にその他の例には、基準位置となる光源(LED、ランプ、レーザ光など)を使用し、受光素子(PD)、位置検出素子(PSD、CCD)あるいは光学系などを組み合わせ、三角測量の原理を利用して位置や姿勢を測定するものなどの多くの方式が提案されている。例えば、特許文献2には4個の発光素子と1個の受光素子とを組み合わせ、反射光の受光量の和に応じて手の移動方向や移動速度を検出する手振り検出装置が提案されている。また、特許文献3にはポインティング装置の移動位置をGPS(Global Positioning System)測位方式によって検出する移動検出装置が提案されている。
【0005】
さらに、本出願人による特許文献4では、手甲の位置に、位置及び姿勢を検出する慣性センサ(3軸角速度センサと3軸加速度センサ)を配置しておき、手甲の位置・姿勢をストラップダウン演算により求め、また、人差し指の端部、中指の端部、親指の端部及び中央部に指の折り曲げを検出する1軸角速度センサを配置して、手甲の姿勢と指の姿勢とから手指の形状を推定し、推定した手・指の形状や動きなどのジェスチャに基づいてコマンド信号を生成する操作入力装置が提案されている。
【0006】
【特許文献1】
米国特許第5097252号公報
【0007】
【特許文献2】
特開平10−148640号公報
【0008】
【特許文献3】
特開平10−171591号公報
【0009】
【特許文献4】
特開2000−132305号公報
【0010】
【発明が解決しようとする課題】
しかしながら、前述した特許文献1の提案による超音波による手の位置計測方式や、基準位置に基準磁界を設けて基準位置に対する位置や姿勢を計測する方式では、その基準位置からの信号が及ぶ範囲内でなければ位置や姿勢を測定することができない。
【0011】
また、前述した光源と光学系による三角測量方式や特許文献2の方式においても、同様に基準光源の設置とそのビーコンが観測できる範囲内でなければ利用することができない。
【0012】
更に特許文献3のGPSによる方式でも、GPS衛星からの電波を受信する必要があり、電波の届かない建物の中や、電波が陰になるような場所では利用できない。そこで、この特許文献3の提案では、そのような場所でも測定できるように、電波発信機となるビーコンを設置することで、それらの問題を回避する方法を提案している。しかし、その方法にしても前述した提案と同様に、基準となる電波発信機の設置を必要としなければならず、どのような場所でも常に利用することはできない。
【0013】
また、本出願人による特許文献4に記載の方法では、速度、位置などの並進運動の検出には加速度センサの時間積分の演算により行われるが、手甲の位置・姿勢を求める技術では、停止している場合と定速移動をしている場合の区別が困難であり、また、そのようなジェスチャの認識に課題があった。また、一般に高性能な慣性センサは大きく重量も重いので、身体に装着して利用するような用途には大きな負担となり、実際に利用するのが困難な場合が多い。それに対して小型の慣性センサを利用すると、そのセンサ信号のドリフトやノイズによる誤差が多く、高い精度を出すことができない。
【0014】
したがって慣性センサによる方式においては、前述した方式のような基準の発信機の必要性や測定範囲の制限などがないが、その測定精度をより向上させることが重要な課題である。
【0015】
また、操作入力装置や運動検出装置によって検出した情報を他の制御装置、例えばコンピュータ(以下PCと称する)などと接続して利用する使用形態においては、検出情報の通信を無線通信で行い、さらにこのとき複数のPCの中のひとつのPCを操作する場合も想定される。このとき、ひとつの操作入力装置に対して、同時に複数の装置が反応しては操作上問題となる。また複数の操作入力装置が存在する場合も同様の問題が考えられる。
【0016】
しかし、操作入力装置とPCとを接続するため及び接続の切り替えを行うために、わざわざ他の操作入力装置(マウスやキーボードなど)を使用して切り替えを行っていては、非常に煩雑な作業となり、その操作性も不便なものになってしまう。
【0017】
本発明はこのような課題に着目してなされたものであり、その目的は、被装着物の空間位置と姿勢及び動きを光や電波のビーコンや基地局、さらには基準マーカーなどを常に必要とすることがなく、いつでも、どこでも、より正確に認識できる運動検出装置を提供することにある。
【0018】
またさらに、本発明の目的は、複数のPCと操作入力装置との接続と通信設定を、操作者の意思により、簡単に切り替えることのできる通信装置を提供することにある。
【0019】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明の運動検出装置は、他の基準装置を必要としない自立型運動検出手段を装着した対象物自身の位置・姿勢を検出する運動検出装置であって、前記自立型運動検出手段に固定され、前記対象物の周囲の画像を射影し、その射影画像を連続して撮像する撮像手段と、前記撮像手段が撮像した射影画像を円筒パノラマ画像に変換する画像変換手段と、前記画像変換手段により異なる時点で変換された2つの円筒パノラマ画像を比較認識する画像認識手段と、前記画像認識手段の認識結果に基づいて、前記対象物の位置・姿勢情報を推定するカメラ姿勢推定手段と、前記自立型運動検出手段の検出結果と前記カメラ姿勢推定手段の推定結果とに基づいて前記対象物の空間上での位置・姿勢を推定する空間センサ姿勢推定手段とを備える。
【0020】
また、第2の発明は、第1の発明において前記自立型運動検出手段は、角速度センサ、加速度センサあるいは地磁気センサのうち、少なくとも2種類を組み合わせて構成される。
また、第3の発明は、第1の発明において前記自立型運動検出手段は、3軸が直交した角速度センサ及び少なくとも2軸以上が直交した加速度センサを含んで構成される。
また、第4の発明は、第1の発明において前記自立型運動検出手段は、3軸が直交した角速度センサ及び少なくとも2軸以上が直交した地磁気センサを含んで構成される。
【0021】
また、第5の発明は、第1の発明において前記撮像手段が、前記対象物の周囲の全方位像を射影し、その射影画像を連続して撮像する全方位撮像手段を具備する。
また、第6の発明は、第5の発明において前記全方位撮像手段は、少なくとも4面の平面ミラーにより前記対象物の周囲の画像を射影する光学系を備える。
また、第7の発明は、第5の発明において前記全方位撮像手段は、曲面ミラーにより前記対象物の周囲の画像を射影する光学系を備える。
また、第8の発明は、第5の発明において前記全方位撮像手段は、魚眼レンズ、等距離射影レンズ、等立体角射影レンズの何れかのレンズを用いて前記対象物の周囲の画像を射影する光学系を備える。
また、第9の発明は、第5の発明において前記全方位撮像手段は、光軸が一致しており、さらにその光軸方向が逆方向である二つの全方位撮像手段を備える。
【0022】
また、第10の発明は、第1の発明において前記画像変換手段は、前記撮像手段が撮像した画像を前記円筒パノラマ画像に変換するときに、重力軸方向のベクトルの向きと前記自立型運動検出手段で検出された重力軸周りの回転角とを考慮した重力補正パノラマ画像に変換する。
【0023】
また、第11の発明は、第1の発明において前記カメラ姿勢推定手段は、前記対象物の位置・姿勢情報を推定するのに先立って、前記円筒パノラマ画像の中の特徴点の新規登録を行い、この特徴点の新規登録において、特徴点情報としてフレーム画像から見た3次元情報と現在のカメラフレームとを登録し、前記特徴点が現れてから消えるまでの間の特徴点を追跡し、それに応じて前記フレーム画像から見た3次元情報を更新し、さらに、別の特徴点が現れたときに、現在のカメラフレームから求められる前記別の特徴点の3次元情報を登録することにより、連続する画像の中で現れては消えてゆく複数の特徴点の位置を追跡し、前記複数の特徴点の動きよりワールド座標空間に対する現在のカメラフレームを獲得する。
また、第12の発明は、第10の発明において前記画像変換手段により得られた重力補正パノラマ画像の中から垂直方向の線分を複数抽出し、この抽出した複数の線分が前記画像変換手段によって異なる時点で得られた重力補正パノラマ画像の中のどの位置に存在するのかを追跡することにより対象物の位置・姿勢情報を推定する。
また、第13の発明は、第10の発明において前記画像変換手段により得られた重力補正パノラマ画像の中のオプティカルフローにより、対象物の位置・姿勢情報を推定する。
【0024】
また、第14の発明は、第1の発明において前記運動検出装置の初期化のときに、既知の大きさまたは既知の間隔の特徴点認識用識別マークの画像を前記撮像手段によって取り込み、この取り込んだ特徴点認識用識別マークの画像の大きさまたは間隔より奥行き情報を求めて初期化登録する初期化手段をさらに有する。
また、第15の発明は、第1の発明において前記運動検出装置の初期化のときに、予め定められた位置に設けられた特徴点認識用識別マークの画像を前記撮像手段によって前記特徴点認識用識別マークから既知の距離だけ離れた位置から取り込み、そのときの特徴点の奥行き情報を初期化登録する初期化手段をさらに有する。
また、第16の発明は、第1の発明において前記運動検出装置の初期化のときに、身体の一部または全体の画像を前記撮像手段によって取り込み、その取り込んだ画像と、予め登録しておいた身体の一部または全体の形状の大きさから求められる特徴点の奥行き情報を初期化登録する初期化手段をさらに具備する。
また、第17の発明は、第1の発明において前記運動検出装置の初期化の時に、身体の特徴部の画像を前記撮像手段によって既知の距離から取り込み、この取り込んだ画像に基づいて特徴点の奥行き情報を初期化登録する初期化手段をさらに具備する。
また、第18の発明は、第1の発明において前記運動検出装置の初期化の時に、前記運動検出装置を装着した部位から予め定められた方向及び距離の画像を前記撮像手段によって取り込み、この取り込んだ画像中の特徴点の奥行き情報を初期化登録する初期化手段をさらに具備する。
また、第19の発明は、第1の発明において前記運動検出装置の初期化の時に、前記運動検出装置を装着した部位を既定の距離だけ移動させる動作を行ったときの画像を前記撮像手段によって取り込み、この取り込んだ画像中の特徴点の奥行き情報を初期化登録する初期化手段をさらに具備する。
【0025】
また、第20の発明は、第1〜第19のいずれかの発明の運動検出装置を、身体の一部に装着することで、前記運動検出装置を装着した身体の一部の動きや姿勢を検出する。
また、第21の発明は、第1〜第19のいずれかの発明の運動検出装置を、手甲に装着することで、前記運動検出装置を装着した対象物の手の動きや姿勢を検出する。
また、第22の発明は、第1〜第19のいずれかの発明の運動検出装置を、頭部に装着することで、前記運動検出装置を装着した対象物の頭部の動きや姿勢を検出する。
【0026】
また、第23の発明の通信装置は、無指向性の搬送メディアによる無線通信機能を備えた無指向型無線通信手段と、指向性を有し、前記搬送メディアと異なる搬送メディアあるいは周波数による無線通信機能を備えた指向型無線通信手段とを備え、通常の通信には前記無指向型無線通信手段を使用し、通信相手を決定する時には前記指向型無線通信手段を使用する。
また、第24の発明は、第23の発明において前記無指向型無線通信手段は電波による通信を行うものであり、前記指向型無線通信手段は光または音波による通信を行うものである。
【0027】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
まず、本発明の実施形態に係る運動検出装置を含む空間姿勢センサシステム(運動計測装置3)の概略構成を図1に示す。またワールド座標空間{W}における各センサの姿勢フレームの関係を図3に示す。
【0028】
つまり、図1においてワールド座標空間{W}に対する姿勢・位置(ポーズ)を検出する運動検出装置が空間姿勢センサ1である。また、空間姿勢センサ1が求めようとする位置・姿勢を表すフレームは、図3で示される空間センサフレーム{H}である。
【0029】
図1において、空間姿勢センサ1は、角速度センサ10と加速度センサ20の慣性センサにより構成された自立型運動検出部2と、撮像部40とにより構成されている。
【0030】
自立型運動検出部2に含まれる3軸の角速度センサ10と3軸の加速度センサ20は、空間センサフレーム{H}上のXYZ軸方向にそれぞれ固定配置され、また同じフレーム上、つまり同じ支持部材上に撮像部40も固定される。
【0031】
自立型運動検出部2の、角速度センサ10と加速度センサ20である慣性センサフレームと、撮像部40であるカメラセンサフレーム{C}とは、共に空間センサフレーム{H}に固定されているので、これらのフレームは空間姿勢センサ1自身の運動により時々刻々変化する座標系となる。
【0032】
ここでは取り扱いを簡単にするために、自立型運動検出部2の慣性センサフレームは空間姿勢センサ1のフレームと一致しているものとする。また撮像部40より求められるカメラ位置姿勢情報は、ワールド座標空間{W}に対するカメラセンサフレーム{C}の位置姿勢情報である。
【0033】
自立型運動検出部2からの信号は姿勢演算部30により取り込まれた後、自立型運動検出部2の姿勢情報を演算する処理において利用される。なお、この処理については後で詳しく述べる。
【0034】
また、周辺像を射影する光学系と、その射影された像を画像情報に変換する撮像部40により連続的に取り込まれる周辺画像情報は、画像変換部50により円筒パノラマ画像に変換される。
【0035】
その後、画像認識部60において、画像変換部50によって変換された円筒パノラマ画像の中から特徴点を抽出する処理と1つ前の変換画像からその特徴点を追跡する処理が行われる。
【0036】
これらの処理に続いて、カメラ姿勢推定部70では、画像認識部60で取得した特徴点追跡情報と、姿勢演算部30で取得した自立型運動検出部2の姿勢情報、つまり、空間姿勢センサ1の姿勢情報により、カメラセンサフレーム{C}の位置・姿勢が推定される。
【0037】
また、このカメラ姿勢推定部70で推定されたカメラセンサフレーム{C}の位置・姿勢の情報は、前記姿勢演算部30において空間姿勢センサ1の姿勢情報を補正するための処理で利用される。
【0038】
さらに、空間センサ姿勢推定部80では、前記姿勢演算部30において求められた姿勢情報がワールド座標空間{W}における空間センサフレーム{H}に変換される。
【0039】
なお、画像変換部50及び画像認識部60では、姿勢演算部30からの空間姿勢センサの情報を利用することにより、計算処理コストを下げている。
【0040】
次に、図1の空間姿勢センサを利用した操作入力装置の概略を説明する。
図2は、姿勢・位置検出用の運動検出センサ群(前述の自立型運動検出部2)と同一の基板上に前述の撮像部40である全方位画像センサ40aを構成した空間姿勢センサ1を手に装着して使用する操作入力装置の概要を示したものである。
【0041】
なお、ここでの自立型運動検出部2は、操作者の手の位置と姿勢、及び動きを検出するために、前述の3軸の角速度センサ10X、10Y、10Z(以下これらをまとめて角速度センサ10と称する)及び3軸の加速度センサ20X、20Y、20Z(以下これらをまとめて加速度センサ20と称する)を含むセンサ群で構成されている。
【0042】
このとき、手甲の回転運動と並進運動は、加速度センサ20と角速度センサ10から得られる情報をストラップダウン演算処理することにより求めることができる。
【0043】
しかし、加速度センサ20から出力される慣性運動による加速度情報は、加速度運動が無い場合、つまり、物体が定速移動している場合や停止している場合にはゼロとなる。このような2つの場合の操作入力装置の運動状態は、加速度センサ20では区別できない。また並進運動は加速度信号を1回時間積分することで速度が求まり、さらにもう一回時間積分することで距離を求めることができる。しかし、2回の時間積分と信号のノイズ成分により誤差を大きく生じさせてしまう。
【0044】
さらに角速度センサ10による回転姿勢情報には、ドリフトによる誤差成分が加わるので、加速度センサ20の重力加速度成分が基準となるように補正処理を行う。しかし、重力ベクトルは重力軸周りの回転情報をもっていないので、この補正処理では、重力軸周りの回転に対する補正はできない。
【0045】
そこで本実施形態では、手の甲の位置と姿勢をより高精度に検出するために、撮像部に周囲の画像を射影し、その画像より空間6軸方向の運動情報を検出する全方位画像センサ40aを備える。
【0046】
なお、この全方位画像センサ40aに用いる光学系は、光軸方向が手甲Z座標軸方向(手甲面垂直方向)と一致するように配置され、180°の画角を有した魚眼レンズを含む。
【0047】
したがって、装着者の手甲の側の全天周の画像を同時に撮像し、それらの画像の変化より、全方位画像センサ40aと周辺物体との間の相対的な運動を知ることができる。この全方位画像センサ40aで検出した相対運動の情報と自立型運動検出部2の情報とをセンサ融合することで手甲の空間上での姿勢と位置を、より高精度に測定することが可能となる。
【0048】
一方、光軸方向は前述した手甲Z座標軸方向に限るわけではなく、測定する環境や、運動情報として特に精度が必要な運動方向などによって、その方向を切り替えて利用することもできる。また、この切り替えを利用時に切り替えて使用可能にしても良い。また画角に関しても180°迄ではなく、さらに広画角でもかまわない。
【0049】
ここで、この操作入力装置の運動検出装置部分のみを見る場合には、加速度センサ20と角速度センサ10により構成される自立型運動検出部2と周辺画像より姿勢を獲得する撮像部40からなる空間姿勢センサ1のみに注目し、指先のセンサ群7は考える必要がない。
【0050】
図4(A)に本実施形態の光学系の入射光線と射出光線の概略を示す。また、図4(B)は入射光線角に対する像高の関係と方位角の関係を、射影画像上で示した図である。
【0051】
なお、この光学系は入射角(θ)に対して結像面での像高(y’)がy’=2f・sin(θ/2)となる等立体角射影レンズの例で構成されている。この場合、得られる像は、物体の見かけの面積、つまり、物体の立体角に比例した像となる。しかし、像の形状は入射角が大きくなるに従って変化し、扁平になる。また画角も180°の光学系となっており、天頂方向に光軸を向けた場合、全天周の画像が射影される。また、その射影画像は図4(B)に示すように、円形のイメージとなる(以下、この画像を全方位画像と称する)。
【0052】
入射光線は光学系の射影関係式より、天頂からの角度、つまり光軸中心に対する角度(θ)に対して、全方位画像の同心円の円周上に射影される。つまり、角度が大きくなる、つまり、水平方向に傾くにつれて、図4(B)の同心円の半径が大きくなる位置に射影位置が変わる。例えば、入射角が90°の光線は水平線からの光線で、円周の端に射影されることとなる。また方位角方向からの光線は、全方位画像の円の中心線の方位角と一致する線上に射影される。
【0053】
したがって、全方位画像上の円の中心位置と半径がわかっているので、全方位画像センサ40a上での2次元座標位置が与えられれば、入射光線の入射角と方位角を求めることができる。
【0054】
なお、ここでの光学系は、超広画角の光学系であり、空間上の点と画像上の点が定式化できる光学系であればよく、射影方式もここで説明したものに限るものではない。例えば、超広画角のピンホールカメラであれば、中心射影による関係式(y’=f・tanθ)により導くことができる。また魚眼レンズ等であれば、等距離射影レンズ(y’=fθ)、正射影レンズ(y’=f・sinθ)、立体射影レンズ(y’=2f・tan(θ/2))などの光学系を利用することも可能である。
【0055】
図5に、この全方位画像センサ光学系による撮像系と自立型運動検出部2を組み込んだ運動検出装置のその他の実装形態の例を示す。この例では、円筒形の筐体46上部に超広角光学系のレンズ410を配置し、その下に撮像素子420を前記射影条件となるように配置する。なお、本光学系はピンホールカメラのような結像系となり、近点から遠点まで焦点の合った映像が結像される。さらにその下部に、角速度センサと加速度センサからなる自立型運動検出部2が、直交する空間3軸方向を検出可能なように配置される。その他にこれらの信号を処理する処理系が組み込まれており、この装置単独で空間上の姿勢・位置を検出することが可能である。
【0056】
また図6(A)、図6(B)及び図7(A)、図7(B)にはその他の光学系を用いた変形例と、その変形例による撮像イメージを示す。
【0057】
図6(A)は平面ミラー4枚6a、6b、6c、6dを四角錐411の側面に貼り付けた構成例である。この四角錐411は頂点側がカットされた形状であり、それを図のように逆さまに配置したときに、平面ミラー6a、6b、6c、6dに反射された像が結像レンズ系47を通して撮像素子420に射影される。また四角錐411の底面6fと上面6eは共に透明、あるいは透過であり、結像レンズ系47の光軸方向の周辺像が、底面6f及び上面6eを透過した後、撮像素子420に射影される。したがって、図6(B)のようにレンズ光軸と直交する4方向の画像6A、6B、6C、6Dと光軸方向6Eの計5軸方向の画像が同時に撮像される。なお、ミラー枚数をさらに増やすことでさらに多くの方向の画像を撮影することも可能である。この光学系による射影像は5つの領域に分割された中心射影であるので、画像情報の一次変換式により特徴点の空間位置方向を容易に求めることができる。
【0058】
次の図7(A)は放物面ミラーを利用した変形例である。この例では、放物面形状412の外面をミラーとしたものを配置する。放物面ミラー7aに反射された周辺像は結像レンズ系47を通して撮像素子420に射影される。なお、前記同様に、放物面形状412の頂点はカットされている。また、上面7cと底面7bは共に透明、あるいは透過であり、結像レンズ系47の光軸方向の周辺像がこれらの面を透過した後、撮像素子420に射影される。
【0059】
したがって、図7(B)のように光軸と直交する全方向の画像7Aと光軸方向の画像7Bが同時に撮像される。さらに放物面ミラーでの反射像のイメージは円形となるが、この外側には中央の透過した画像と同じ方向の画像7Dが射影される。この例では前記平面ミラーのタイプよりも、より多くの画像を同時に撮像することが可能となる。
【0060】
次に、全方位画像センサのカメラセンサフレームである全方位センサ座標系{C}(図に示す斜線部分がXc−Yc面を示す)と従来のパノラマ座標系の関係を図8の(a)〜(c)に示す。
【0061】
図8の(a)は、全方位画像センサに入射する面をイメージ的に球体の面で表している。入射光線はこの球体の中心位置Ocに向かって入射する。この入射光線は球体表面の位置Qcで交差する。そして、このときの入射角(θc、φc)と、等立体角射影レンズの関係により変換された後、イメージセンサ上に入射される。このとき、イメージセンサ上には、図8の(b)に示すような全方位画像が生成される。
【0062】
また、図8の(a)で示す円筒形は、全方位画像を光軸中心点を中心に円筒パノラマ画像に展開したときの、画像と球面との位置関係を理解し易くするために配置したパノラマ画像円筒面である。つまりこのパノラマ画像円筒面を2次元状に展開したのが図8の(c)に示す円筒パノラマ画像である。
【0063】
この円筒パノラマ画像の円筒形は全方位画像センサの光軸と回転中心軸とが常に一致したカメラ座標系に固定される。
【0064】
ここでカメラ座標系{C}に固定された全方位画像センサから得られる全方位画像は、常にZc軸に対して、下から覗いたような画像となる。
【0065】
この全方位画像を変換したパノラマ画像[Pc]の画像領域は、高さが全方位センサ座標軸Zcに対する入射角度θの入射範囲に対応し、横幅が方位角度φの範囲に対応する矩形画像に変換される。
【0066】
つまり、球体の全ての方向(θは0〜180°、φは0〜360°である)からの入射光を射影可能な画像センサならば、パノラマ画像領域全面に映像を生成することができる。しかし、実際的には半球となるので、入射角度θ(0〜90°)に相当する上半分の領域のパノラマ画像[Pc]となる。この場合には、センサがどのような姿勢になってもこの範囲外に変換画像が生成されることはない。
【0067】
このような従来のパノラマ画像処理では、全方位画像センサの光軸を中心として円筒パノラマ画像に展開するので光軸中心に相当するパノラマ画像領域の上部ほど画像歪みが大きくなる。これにより、特徴点の画像位置によっては全方位画像センサの動きに対する画像歪みの変化が大きくなり、追跡が困難となってしまう。
【0068】
そこで、本実施形態では、全方位画像センサの回転姿勢が変化してもその射影画像の表示位置が変化しない、ワールド座標に回転運動が固定されたパノラマ画像面を実装する。このときのパノラマ画像の関係を図8の(d)〜(f)に示す。
【0069】
まず、重力軸と平行な重力方位座標系{P}に円筒パノラマ画像面を定義する。図8の(f)は、重力方位座標系{P}(Xp−Yp−Zp)を基準にした円筒パノラマ画像面に対してパノラマ画像変換した重力補正パノラマ画像[Pp]を示している。
【0070】
つまり、重力補正された円筒パノラマ画像[Pp]の座標系{P}は図8の(d)に示すように中心軸Zpが常に天頂方向を向いており、また、他の座標軸もワールド座標系{W}と一致している。つまり図8の(d)における座標系{P}の各座標軸は、回転がなく並進方向に変位するだけの座標軸となる。
【0071】
なお、この場合の重力補正処理には、自立型運動検出部2の加速度センサ20による重力ベクトル情報と、角速度センサ10の回転情報を、パノラマ変換時の情報として利用する。
【0072】
ここでワールド座標系{W}のZw軸は地球の重力ベクトルと一致した座標軸であり、したがってパノラマ座標系{P}のZp軸も同様に重力ベクトルと一致している。なお、Xp、Yp軸は空間姿勢センサが初期化されたときの方位方向を示す軸である。
【0073】
したがって初期化のときには、パノラマ座標系{P}とワールド座標系{W}とは完全に一致している。それに対して全方位画像センサの全方位パノラマ座標系{C}は少なくとも回転中心位置Ocだけがワールド座標系{W}の中心位置と一致するが、その他の座標系は必ずしもワールド座標系{W}と一致しない。
【0074】
また、全方位画像センサのカメラセンサフレーム{C}は、空間姿勢センサの動きとともに、ワールド座標系{W}に対して空間6軸の自由度を持って変位するが、パノラマ座標系{P}はワールド座標系{W}に対して並進3軸の自由度を持った変位しかしない、回転3軸が固定された座標系となる。
【0075】
つまり、ワールド座標空間上の任意の点δw(x,y,z)から全方位パノラマ座標系{C}への入射光線は全方位画像センサのQc点に入射角(θc,φc)で入射する。しかし、重力補正パノラマ座標系{P}に変換した全方位画像センサから同じ点δw(x,y,z)を見た場合、Qp点には入射角(θp,φp)で入射することになる。なお、それぞれの座標系での画像上でのQ点の位置を図において小丸で示す。
【0076】
従来の全方位画像でのパノラマ画像への変換では、光軸中心であるZc軸の球面上の交点に相当する全方位画像の円の中心位置、つまり、図8の(b)で示す破線の交点を基準として、図8の(c)のようにパノラマ画像[Pc]に展開していた。しかし、重力補正方式では重力ベクトルであるZp軸と球面上の交点、つまり、図8の(e)で示す破線の交点を求め、そこを中心として全方位画像からパノラマ画像に展開することで、図8の(f)に示す重力補正されたパノラマ画像[Pp]を生成する。ここで図8の(e)は仮想的なイメージを示すものであり、実際に取得される画像ではない。
【0077】
次に、このときの、重力補正全方位座標系の仮想的な画素(up,vp)に対応するカメラ座標系の画像(uc,vc)を求める。
【0078】
なお、ここでは、全方位画像センサの光学系は等立体角射影変換のもので構成されている例で説明するが、等距離射影方式やその他の光学系においても基本的な考え方は同じである。
【0079】
まず、実際に取得される全方位画像より以下の関係式が導かれる。
【数1】
【0080】
なお、この(式1)の左式はカメラ画像内での画像表現を示し、右式はカメラ座標系での三次元座標値を示す。また、dcはOcからδc(xc,yc,zc)までの未知の距離を表す。
さらに(式1)の両式より、(式2)が導かれる。
【数2】
【0081】
同様に重力補正された全方位画像からは以下の関係式が導かれる。
【数3】
なお、この(式3)の左式はあたかも同じカメラで重力ベクトルの方向に見たかのごとく画像を回転したときに与えられる画像表現を示し、右式は重力補正全方位画像の座標系での三次元座標値を示す。また、dpはOpからδp(xp,yp,zp)までの未知の距離を表す。
【0082】
ここで、重力補正パノラマ座標系{P}の原点Opと全方位画像センサのカメラ座標系{C}の原点Ocは一致しているので、それぞれの座標系での三次元座標値の関係は、
【数4】
となる。
ここで、(式4)のcRpまたはpRcはカメラ座標系{C}の回転姿勢情報であり、角速度センサ10と加速度センサ20とから推定された、重力ベクトルを含む回転マトリックスである。
【0083】
以上の関係式より、実際には図10のような重力補正されたパノラマ画像[Pp]の各画素位置(i,j)に対応する全方位画像センサ画像{C}上の画素情報を求め、重力補正パノラマ画像を生成する。
【0084】
実際の全方位画像上の座標位置(Uc,Vc)と正規化された画像位置(uc,vc)の関係は(式5)となる。
【数5】
【0085】
ここで、αは入射角度の最小値θpminと最大値θpmaxの関係により決定される。また、(U0,V0)は全方位画像の光軸中心画像位置である。このような(α,U0,V0)を求めることが画像のキャリブレーションに相当する。
【0086】
重力補正パノラマ画像[Pp](Ip−Jp)領域上の画像位置を(i,j)とすると、パノラマ画像座標系{P}に対する光線入射角度θpとφpの関係は下記の(式6)のようになる。
【数6】
【0087】
ここで、(Pmax,Qmax)はパノラマ画像処理領域の縦横の画像サイズを表す。こうしてθpとφpが求められると、(式3)より(xp,yp,zp)を求めることができる。ここで、dp=1として、予め(θp,φp)、あるいは(i,j)から(xp,yp,zp)を求めるテーブルを作成しておいても良い。
【0088】
次に、加速度センサより求められるXw,Yw軸に対する水平傾き情報(φx,φy)、角速度センサより推定される重力軸まわり回転角(φz)とすると、ワールド座標系{W}から見た慣性センサ座標系{S}(カメラ座標系{C}と同じ)の回転姿勢情報の推定値cRpまたはpRcは(φx,φy,φz)より求めることができる。
【0089】
よって、(式4)の関係より、(xp,yp,zp)とcRpから(xc,yc,zc)を算出する。次にこの算出した(xc,yc,zc)と(式2)より実際のカメラ座標系における入射光線角(θc,φc)を求める。
【0090】
さらに前記(式1)より、全方位画像上の正規化された座標位置(uc,vc)を計算し、これらの値と(式5)より実際の画像位置の座標(Uc,Vc)を求める。この座標の画素情報を読出すことで、前記パノラマ画像の画像位置(i,j)の情報を求める。
【0091】
以上の操作を、パノラマ画像の各画素に対して繰り返しながら行うことで、重力補正パノラマ画像を生成する。
【0092】
なお、以上の処理の中で、パノラマ画像の座標位置に対応する全方位画像領域は、その全方位画像センサの姿勢によって対応する点が存在しない場合がある。それは、(式2)から求められるθcが入射画角範囲外のときである。今回の半球型の画像センサでは、0≦θc≦90°の範囲外の光線は入射しない。そこで、この範囲外のときのパノラマ画像の輝度値を0とする。
【0093】
また、半球型の全方位画像センサでは、パノラマ画像の画像全体に占める領域の割合が50%となるので、処理された画素数が50%に達したならば途中で演算を取りやめて、その後の領域は全て0とすることで演算処理を高速化することもできる。
【0094】
また重力ベクトルの傾きや方位角の値により、パノラマ画像の画素走査を開始する位置や方向、さらに終了する位置などの範囲を適応化させることで、変換処理を高速化することが可能である。
【0095】
図9は、前記した図1の中の画像認識部60とカメラ姿勢推定部70の内部で行われる処理をより詳細に示している。この図をもとに、画像認識部60及びカメラ姿勢推定部70における処理の流れを説明する。
【0096】
まず、全方位画像データを射影光学系410と撮像素子420を含んで構成される撮像部40において取得する。次に、取得した全方位画像データを画像変換部50において前述した重力補正パノラマ画像に変換する。その後、重力補正パノラマ画像に変換した画像を画像認識部60に出力する。
【0097】
画像認識部60では周辺画像の相対的な動きを求めるために、連続するフレーム画像から特徴点の抽出や探索等の特徴点処理を行う。
【0098】
まずは、重力補正パノラマ画像に変換されたフレーム画像データから特徴点を求めるために新規特徴点抽出処理64を行う。ここでは、特徴点となる画像を探すために、まず、予め決められた座標位置周りの入力画像のエッジを検出する。その後、検出したエッジを評価することにより特徴点の探索を行う。そのために、パノラマ画像領域を任意の矩形領域で分割して探索範囲とした特徴点初期探索領域を定義する。この定義した領域における中心位置付近が特徴点の探索を開始する座標位置となる。
【0099】
なお、探索を開始する座標位置を定義した領域内付近とするのは、特徴点情報として、空間姿勢センサ1に対して分散された多くの方向からのデータが利用できるようにするためであり、また、空間姿勢センサ1の前後左右上の周辺方向からの特徴点の動きを比較することで、空間姿勢センサ1自身の空間内での動きをより正しく推定できるようにするためである。
【0100】
また、入力画像のエッジを検知する方法として、ここでは、X方向及びY方向の微分オペレータ(例えばSobelオペレータ)によるエッジ検出を行うことによって、エッジが存在する場所をXY両方向で探す。これは、後の特徴点画像のマッチング処理63での誤りを減らすためである。
【0101】
新規特徴点抽出処理64の結果、特徴点が抽出されると特徴点登録処理66を行う。この特徴点登録処理66においては、新規の特徴点情報として、特徴点登録座標(uk,vk)と、特徴点を中心位置とするある一定の矩形領域の特徴点画像と、この登録時に既に求めれらているワールド座標空間{W}に対する姿勢情報である空間センサフレーム{H}とを登録し、さらに登録済みフラッグにも情報をセットする。
【0102】
なお、特徴点登録処理66では初期探索位置付近で抽出することができたすべての特徴点に対して前記した特徴点情報の登録処理を行う。
【0103】
最初のシステム初期化の時点においては、画像認識部60の処理はここで終了する。そして、その次から入力される2フレーム目の処理において、これらの特徴点情報が一つ前の情報としてマッチング処理63において利用される。
【0104】
次の2フレーム目以降からの画像処理においても、前記と同様のエッジ検出の処理を行う。また、このときに、予め登録された特徴点情報の登録済みフラッグを調べる。なお、この処理を図では、「フレーム間処理62」で示している。
【0105】
登録済みフラッグを調べた結果、登録されている特徴点が存在する場合には、現在のフレーム画像内での特徴点登録座標(uk,vk)付近で、登録しておいた画像と最も相関の高い部分を探索する。ここで、正しい位置、つまり、相関の高い部分が見つかった場合には、現在の特徴点座標として記憶し、特徴点探索フラッグの情報をセットする。一方、相関の高い部分が見つからなかった場合には、登録情報の登録済みフラッグ及び特徴点探索フラッグをリセットする。
【0106】
ここでの処理では、特徴点登録位置に対してある一定の範囲内を特徴点画像を走査しながらマッチング処理63を行う。マッチング処理63においては、相関値の最も高い場所をマッチング位置として検出し、この位置を特徴点マッチング座標(U´,V´)とする。さらに、その相関値がある基準値を超えているか否かを判定し、ある基準値を超える相関値であった場合には、正しく探索できたと判定する。
【0107】
また、マッチング処理63におけるマッチング位置の検出では、入力されたフレーム画像に対して、特徴点画像データを少しずつ移動走査しながら相関値が最も高くなる位置を検出する。これは、画素情報の集合である特徴点画像データと入力されたフレーム画像とを重ね合わせ、各画素の差分の絶対値を全画素分だけ積分したときの値が最も小さなところを探すことにより行う。そのために従来の相関処理では、開始アドレスである特徴点座標(uk,uk)に探索領域の大きさの平行移動分のアドレス操作と、さらにアフィン変換による回転操作を加える必要があった。このため、平行移動と回転移動を組合わせた操作を、ひとつの特徴点画像を探索するために行わなければならず、非常に多くの計算処理が必要であった。さらにこの処理を、登録されているすべての特徴点に対して行わなければならず、非常に多くの計算処理コストがかかっていた。
【0108】
そこで、本実施形態では、フレーム画像として重力補正パノラマ画像データを利用している。また、この重力補正パノラマ画像データを作成する際には、前述したように常に画像の上下方向が重力ベクトル軸方向に、また画像の左右方向が水平回転方向のある向きに、常に一定になるように回転補正し、画像変換している。
【0109】
したがって、正しく重力補正の画像変換がなされており、さらに空間姿勢センサ1が回転運動だけの動きであるならば、その特徴点画像は、常に同じ位置に固定されることになる。そして、このときの回転運動に対しては、パノラマ画像領域内での射影画像の表示範囲が変化するだけである。
【0110】
よってテンプレートマッチング処理を行う際に、画像のアフィン変換による回転操作を加える必要がなく、また、さらに空間姿勢センサ1の回転運動に伴う動きに対してもテンプレート画像を大きく走査する必要も無く、マッチング処理の負荷を非常に少なくすることができる。
【0111】
なお、実際のパノラマ画像変換には、自立型運動検出部2のセンサ信号を利用しているので、この姿勢情報の推定誤差の量と、さらに空間姿勢センサ1の並進移動による特徴点の位置の変位が現れることになる。しかしこの場合においても画像の回転操作の必要は無く、並行移動の操作だけの非常に簡単なマッチング処理を行うだけでよい。
【0112】
また、加速度センサ20により推定される並進移動情報を用い、特徴点の移動画像位置を推定して、その推定位置付近を走査することで、よりマッチング処理を高速化することも可能である。
【0113】
したがって、空間センサフレームの対応でみると、この現時点で更新されている空間センサフレームnの位置姿勢{0Hn}(ワールド座標系からみた現在のセンサフレームnへの座標変換を意味する)を算出する場合には、各特徴点が登録された時点でのセンサフレームkである{0Hk}の逆変換{kH0}と、各特徴点が登録されてから現在の空間センサフレームnまでの座標変換を表す相対運動パラメータ{kHn}あるいはその逆変換である{nHk}を利用して推定する。数学的には、例えば、センサフレームkでの座標値(xk,yk,zk)が、センサフレームnでの座標値(xn,yn,zn)に対応するとすれば、
【数7】
のように座標変換で表されるものとなる。ここでnRkは回転行列であり、rij(i=1,2,3,j=1,2,3)を要素とする3×3行列を表す。この行列は、3個の独立なパラメータ(φx,φy,φz)により表現できる。一方、nTkは並進ベクトルを表し、独立な3個のパラメータ(tx,ty,tz)で表現することができる。すなわち、各フレーム間の位置姿勢関係は計6個のパラメータ、例えば(φx,φy,φz,tx,ty,tz)で表すことが可能である。
【0114】
つまり、0Hn=0HkkHn、あるいはnH0=nHkkH0の関係式を利用しながら、現時点のセンサフレームnのワールド座標系における位置姿勢関係を推定するわけである。
【0115】
次に、この運動パラメータの中の(φx,φy,φz)を近似的に0とすることで、パノラマ画像の中の特徴点登録座標(uk,vk)の現在のフレーム画像内での座標位置を推定する。
【0116】
このような特徴点移動推定処理67により得られた特徴点移動推定座標(uprev,vprev)付近を探索することで、探索領域を狭めることができ、計算処理コストを下げることができる。
【0117】
重力補正パノラマ画像データから動き情報を取得する他の方式として、オプティカルフローによる方式でも実施できる。
これは、画像全面に一定の間隔でサンプリング点を定義し、このサンプリング点周りの画像情報をフレーム画像ごとに記録し、次のフレーム画像内でこの記録画像をテンプレートとするマッチング処理を行う。このとき、正しくマッチングが取れたならば、サンプリング点ごとの画像の動きベクトルが検出される。この処理を単純に連続するフレーム画像に対して行うことで、各フレーム画像間の動きベクトルを取得することができる。
【0118】
このような処理を用いた場合でも、前記した処理と同様に、テンプレートマッチングを行う際に、画像のアフィン変換による回転操作を加える必要がない。また、前記加速度センサ20により推定される並進移動情報を用い、サンプリング画像の移動画像位置を推定し、その推定位置付近を走査することで、よりマッチング処理を高速化することも可能である。処理的には単純な操作を高速に繰り返すことが可能となり、より高速に画像から運動ベクトルの抽出処理が可能となる。
【0119】
ここまでの処理で得られた特徴点情報により、カメラ姿勢推定部70において現在のカメラ姿勢情報{nC0}を求める。ここで、カメラ姿勢推定部70においては、カメラ座標系を中心としたワールド座標系の動きを追跡するものとして定式化される。一旦、カメラ座標系に対するワールド座標系の位置姿勢{nH0}を算出すれば、ワールド座標系に対するカメラ座標系(すなわち空間センサ系)の位置姿勢{0Hn}は、その逆行列(逆変換)として容易に求めることができるわけである。
【0120】
ここで図3のように、カメラセンサフレームは空間センサフレームである空間姿勢センサ1上に構築されているので、空間センサフレーム{H}に、一定の変換マトリックス{CRH}を加えることで常にカメラセンサフレーム{C}に変換することができる。なお、ここでは、説明を簡単にするために、カメラセンサフレーム{C}と空間センサフレーム{H}が一致しているものとして説明する。
【0121】
ここで、以後の説明においてnは求めるフレームの番号、0は最初のフレーム、kは特徴点が登録された時のフレーム番号であるとする。
【0122】
後でも詳細に説明するが、最初のフレーム0では、初期化処理74が行われる。このときの空間センサフレームはn=0である。つまり、{0H0}と{0HW}が一致、つまり空間センサフレーム{H}とワールド座標空間{W}とが一致した状態である。また、この初期化処理74のときには、撮像部40から得られる特徴点としては、奥行き情報zが既知である特徴点を登録する。ここでこの奥行き情報zは、センサフレーム系に対する奥行き情報を示す。なお、この初期化処理74については後でさらに述べる。これより{nC0}と{nH0}は等価なものとして以下の説明を行う。
【0123】
複数の画像イメージ・ストリームに特徴点が現われてから、消えるまでのイメージを図11に示す。図11において、特徴点iは最初にフレームkで現れ、また、特徴点jはフレーム(n−2)で消えている。これらのフレーム画像ごとに前述したマッチング処理63や特徴点登録処理66が行われる。
【0124】
特徴点が最初に登録された時点から、この特徴点の関連パラメータとして、特徴点座標(u,v)と奥行き情報zを用いる。また、奥行き情報zに対する不確定要素σzに最大値を割り当てる。なお、この特徴点座標(u,v)と奥行き情報zのイメージを図12に示す。この図において点zの周りの楕円形が不確定要素σzである。
【0125】
特徴点が新しいフレーム画像において正しくマッチングが取れたときに、この特徴点が最初に登録されたときのカメラフレーム{kC0}(これは{kH0}と等価である)からの回転及び並進情報の推定値を利用して現在の空間センサフレーム{nH0}を更新する。フレームkからフレームnへの変換、すなわち、
【数8】
と、それに関連する不確定要素σzを最初に更新し、それからフレーム0、フレームk及びフレームnの間の関係式nH0=nHkkH0を使用して、フレーム0からフレームnまでの変換と、それに関連する不確定要素σzを更新する。図13及び14にその様子のイメージ図を示す。なお、pは運動ベクトルを示す。また、{kH0}は、ここまでの処理で変換・更新されている既知の値である。
【0126】
次に、{nH0}と関連する不確定要素σzを順に更新することによって、特徴点画像の奥行き情報zも更新する。これは、{nHk}=nH00Hkを計算することにより得られる特徴点画像iのための最初の{nHk}の再計算によるものと、フレームkとフレームnとの対応関係である(u,v)と(u´,v´)を基準とした奥行き情報zを更新することによって行われる。
【0127】
この新しく求められたzが、次のフレーム変換の推定にも用いられる。なお、各特徴点情報の内容は以下のように表される。
1) 特徴点が最初に現れて登録されたときのフレーム番号k
2) フレームkの中の標準化された特徴点座標(u,v)
3) フレームkにおいて定義される奥行き情報z((u,v)と関連する形状ベクトル構成要素)
【数9】
5) ひとつ前の空間センサフレーム{n−1H0}(すでに、前のフレーム(n−1)において計算済み)
6) ひとつ前のフレーム(n−1)の中の標準化された特徴点座標(uprev,vprev)
7) ひとつ前のフレーム(n−1)での共分散マトリックスcov(uprev,vprev)
新たなフレーム画像において、各特徴点を目印として、前述したパラメータを各特徴点と関連させる。ここで、各フレームの関係を図15に示す。
【0128】
次に、前述の奥行き情報z、{nHk}、及び、その他の値を求めるために以下の処理を行う。なお、この時点で、前のフレームまでの運動パラメータは評価し終わっていると仮定する。さらに、{kH0}及び{n−1Hk}はすでに平均値と共分散マトリックスで評価されているものとする。このとき、
【数10】
を不確定要素を考慮しながら推定する。これにより、推定値{nHn−1}が与えられる。この推定値{nHn−1}から{nH0}を推定する。
【0129】
次に、フレーム(n−1)の中で特徴点リストにすでに登録されている特徴点のマッチングを行う。
【数11】
ここで、(u´,v´)がフレームnの中の測定値であり、そして平均値と共分散マトリックスに関して小さな測定不確定要素を持っている。
【0130】
【数12】
これによって{nHk}が更新される。
【0131】
次に{nH0}の更新を行う。これらの処理において{nHk}の更新が得られたならば、再びKalmanフィルタを使用して{nH0}を更新する。
【0132】
さらに、nH0=nHkkH0は、{nHk}と{kH0}の測定、及び、Kalmanフィルタによって算定されるパラメータ{nH0}において考慮される。ここで、
【数13】
とすれば、このときのcov(a)及びcov(b)は非常に小さな値を持つ。なお、(式11)のa,b,pは共にベクトル量である。さらに、3次元式としては、以下の式をもつ。
f(p,a,b)=0 (式12)
このpを更新するために、Kalmanフィルタを使用する。更新後のpの様子を図16に示す。なお、図16において、kは特徴点が最初に画像に現れたフレーム番号で、(u´,v´)はフレームnにおける特徴点位置の座標である。そして、cov(u´,v´)はフレームnでの共分散マトリックスである。
【数14】
【0133】
また、Kalmanフィルタを順に運動ベクトルpに適用することができる場合には、pの不確定要素を非常に大きく減らすことができる。
【0134】
次に、フレームkにおいて定義される奥行き情報zを推定する。これ以降、Kalmanフィルタを順に運動ベクトルpだけに適用する。そして、pを更新した後、再びKalmanフィルタを適用する。これにより、zの不確定要素σzを減らすことができる。これは、以下の方法によってなされる。
【数15】
【0135】
最初に以下の式を使用して不確定要素を伝播させる。
【数16】
【0136】
これらは共に、{nHk}に対応する非常に小さい不確定要素を、個々の特徴点によって運んでもらわなければならない。そこで、前述の(式13)を考慮する。
【数17】
【0137】
ここで、フレームnの奥行き情報zに適合させるフレームkを持つ(u´,v´)は、前述の(式10)で定義される。
【0138】
【数18】
【0139】
以上のようにして、現在の状態を示すフレームnを基準とした最初のフレーム0の位置姿勢関係{nH0}が推定(更新)されると、ワールド座標系を基準とした現在フレームの位置姿勢{0Hn}は、その逆行列(逆変換)として算出される。すなわち、
0Hn=(nH0)−1
である。
【0140】
このようにしてカメラ座標系に対するワールド座標系の位置姿勢{nH0}(つまり{nC0}である。)を算出すれば、ワールド座標系に対するカメラ座標系(すなわち空間センサ系)の位置姿勢{0Hn}は、その逆行列(逆変換)として容易に求めることができる。
【0141】
ここまで、カメラ姿勢推定部70では、運動ベクトルpの中の6つの未知数を用いた処理について説明しているが、本実施例においては重力ベクトルに相当する回転パラメータ(φx,φy)を既知として解くこともできる。また、重力軸周りの回転パラメータ(φz)及び並進パラメータ(tx,ty,tz)は、ある程度の誤差を持つが、推定範囲を狭められるようなパラメータとして与えることもできる。
【0142】
なお、これらのパラメータは自立型運動検出部2から入力された情報を姿勢演算部30において処理した結果として求められるものである。また、カメラ姿勢推定部70において推定された運動ベクトルpは、再度、姿勢演算部30に戻される。その後、姿勢演算部30において、重力軸周りの回転パラメータ(φz)及び並進パラメータ(tx,ty,tz)が補正される。
【0143】
つまり、自立型運動検出部2から姿勢演算部30に入力される情報は、カメラ姿勢推定部70から戻された情報に基づいて補正された値からの誤差量となる。通常、画像処理による演算時間程度では、慣性センサのドリフトやノイズによる誤差も非常に小さいので、真の値に近い情報となっている。
【0144】
最終的に空間センサ姿勢推定部80において、姿勢演算部30の姿勢情報が、ワールド座標空間{W}に対する姿勢・位置情報に変換される。
【0145】
なお、姿勢演算部30においては、自立型運動検出部2からの姿勢情報の処理とカメラ姿勢推定部の情報による補正処理とが、同時にあるいは交互に順番に行われているわけではなく、非同期で行われている。
【0146】
通常では自立型運動検出部2から姿勢演算部30に情報が入力されてくるほうが、カメラ姿勢推定部70における処理よりも高速なので、自立型運動検出部2から入力されてくる情報を処理する回数も多く、また、更新情報も多くなる。
【0147】
したがって、空間センサ姿勢推定部80において得られる姿勢情報は、自立型運動検出部2から入力されてきた情報に基づいて処理された情報がメインの情報として利用されることになる。また、この姿勢情報は、画像処理時間での更新間隔で補正された情報で更新される。
【0148】
以上により、自立型運動検出部2の姿勢情報からは、応答性及び分解能が高い情報が得られることになるが、ドリフトやノイズによる誤差が蓄積されていく。そこで、定期的に画像センサにより補正することで、そのリファレンス精度を維持する。これにより、応答性と分解能、及び精度などの各センサの長所をセンサ融合により生かした、空間姿勢センサ1を構築することが可能となる。
【0149】
さらに本実施形態において、前述したパノラマ画像から特徴点を抽出する方法の変形例を述べる。この変形例における重力補正パノラマ画像[Pp]の解析の流れを図17(A),図17(B)を参照して簡単に説明する。
【0150】
前述した新規特徴点抽出処理64は、パノラマ画像の中のXY微分処理によって特徴位置(エッジ)を検出し、その周りの画像を特徴点画像として利用していた。一方、この変形例では、重力補正されたパノラマ画像データにおいて、画像の垂直成分を抽出し、その線分を特徴点として利用する。
【0151】
まず、垂直線の抽出処理として、パノラマ画像データを水平方向にSobel微分処理を行い縦方向(図17(A)のJp方向)の信号成分を取り出す。次に、この水平微分処理画像を垂直方向への加算処理をし、1次ヒストグラムの作成を行う。次にこの1次ヒストグラムより明から暗と暗から明へと画像が変化している位置の画像を抽出する。このときの輝度レベルの閾値処理で、その垂直方向に特徴のある画像位置を抽出し、さらにその位置を図17(A)のV1〜V5の縦線(以下、垂直特徴線と称する)として登録する。そしてその次は前述した新規特徴点抽出処理64と同様に特徴線の抽出の処理を繰り返しながら、同一の垂直特徴線を追跡する。
【0152】
なお、登録された特徴線情報には、現在求められている姿勢情報も関連付けて記録される。さらにカメラ姿勢の演算処理においても、前述した例と同様に、追跡中の垂直特徴線とその登録時の姿勢情報とから、Kalmanフィルタ等を用いて、現在の姿勢を演算し推定する。
【0153】
ただし、前述のカメラ姿勢推定部70におけるKalmanフィルタ処理では、求める運動パラメータ(φx,φy,φz,tx,ty,tz)の初期値において、(φx,φy,φz)を近似的に0とすることで、処理の収束を早めることができた。それに加えてこの変形例では、さらに、tz=0の拘束条件を加えることが可能である。これにより、より処理を高速化することができる。
【0154】
ここで、このときのワールド座標系{W}上のZw軸方向から見た、空間センサフレーム{H}(=カメラセンサフレーム{C})の動きと、3次元空間上のオブジェクトの垂直特徴線V1〜V5のイメージを図17(B)に示す。ここで、特徴点の周りの斜線は不確定要素の値を示している。このように、空間センサフレーム{H}が移動することによって、各特徴点の奥行き情報zの正確性が増し、不確定要素σzが小さくなっていくことが分かる。
【0155】
また垂直特徴線V1〜V5は、Zw軸から見ると近似的に点として表すことができるので、空間姿勢センサ1の動きも2次元平面(Xw−Yw)内の運動パラメータを求めることで推定が可能となる。
【0156】
なお、この重力補正パノラマ画像から検出した垂直特徴線は重力軸に並行なオブジェクトである確率が高い。また、重力軸に並行な垂直の線となるオブジェクトは、人工物及び自然物のどちらでも、また、どこにでも存在する確率が高いものと考えられる。したがって全方位画像センサの周辺の環境画像の中から、常にいくつかの特徴的な垂線を見つけ出すことが可能となり、それらの垂直特徴線を追跡することでカメラ姿勢(特に水平方向の並進と回転運動)を効率よく推定することが可能となる。
【0157】
ここで、パノラマ画像が展開される全方位画像の重力ベクトル軸の交点(南北の極点)付近は、パノラマ画像の上辺あるいは下辺付近の画像となり、大きな歪みを伴なって変換される。しかしこの付近の環境画像としては天井や空、および地面などの画像が多く、情報的にも重要なオブジェクトが存在する確率が低い。
【0158】
なお、垂直特徴線の抽出は、前述した重力補正パノラマ画像を水平微分と垂直1次ヒストグラム処理により求める方法や、垂直方向の不連続線などを接続処理(エッジリペア処理)することで高速で簡単に認識することもできる。これらの方法は、周辺環境画像の中から2次元位置の自然特徴点を見つけて追跡する手法に比べて、視点移動に伴う特徴情報であるオブジェクト画像の変形や位置ずれなどが少なく、より正確でロバストな追跡が可能となる。
【0159】
また上下の画像部分は有用な情報が少ない可能性が高く、また、画像歪みが大きいので、これらの領域はマスク情報等を利用して、最初から変換領域外、あるいは特徴線抽出範囲外とすることで、さらに高速化を計ることもできる。このようにすれば、1次元データによる処理となり、非常に簡単な処理となる。
【0160】
次に、カメラ姿勢推定部70における、最初のフレーム0における初期化処理74について説明する。
カメラ姿勢推定部70は、特徴点が現れてから消えるまでの間の特徴点情報を追いつづけ、この特徴点の3次元情報を更新し続ける。さらに、別の特徴点が現れたときには、現在の特徴点情報の3次元情報を引き継ぐことで、カメラフレーム情報を更新し続ける。しかし、最初に空間姿勢センサが起動した時点では、どの特徴点も3次元情報を持っていないので、各特徴点は相対的な奥行き情報しか獲得することができない。したがって、初期化処理74において、ひとつ以上の既知の特徴点に、奥行き情報を与える処理を行う。
【0161】
例えば、身体運動の検出装置としてこの運動検出装置を利用する場合には、手や頭などに取り付けた運動検出装置から、装着者自身の体の少なくとも一部が見える部分に、既知の大きさの識別マークを取り付ける。この識別マークは例えばある既知の間隔だけ離れた特徴点マークとしたり、あるいはある既知の大きさの形をした識別マークなどである。
【0162】
なお、初期化処理74は、例えば電源が入力された後のパワーオンリセット処理やリセットスイッチによる強制リセット処理等の状態のときに行われる。初期化処理74において、装着者はこの識別マークが撮像部40に入力される位置でこの処理を行うようにする。
【0163】
また、図2に示すような、手の形状などの認識が可能な操作入力装置を利用する場合には、手のリセットジェスチャ動作(例えばグー・パーと手の形状を変化させたときの動作をリセット操作と定義しておく)を認識した場合に初期化処理を行うこともできる。初期化処理のときに、撮像部40はこれらの識別マークを検出した後、その既知の大きさからその識別マークより抽出される特徴点の奥行き情報zを初期登録する。この処理以降、カメラ姿勢推定部70では、この奥行き情報を、他の特徴点情報に対応付けしながら、カメラフレームを更新し続ける。
【0164】
つまり、この初期化方式では、初期化時に特別なマークがある特定の場所などで行う必要がなく、いつでもどこでも簡単に初期化処理を行うことができる。
【0165】
次に初期化処理の第2の方式を説明する。この第2の方式では、前記した方式と同様に、装着者自身の体の一部に識別マークを取り付けるが、大きさや、間隔などの情報は必要ない。つまり、この第2の方式では、前記した初期化動作のときの身体のポーズをある決められた状態(例えば、ある決められた手の位置・姿勢や頭の位置・姿勢など)で行うことで、初期化処理を行うものである。この場合には、例えば胸に識別マークとなるペンダント等を取り付ける。次に、操作入力装置を装着している装着者は、身体の前の決められた位置でリセットジェスチャ動作を行う。この初期化処理においては、手甲部に設けられた撮像部40が、予め決められた画像入力領域の特徴点を認識し、その奥行き情報zを既知の値で登録する。このため、初期化のポーズとそのときの撮像部40から既知の特徴点までの距離を装着者自身が予め測定し、その値を初期値として入力しておく必要がある。
【0166】
つまり、この初期化処理の第2の方式においても、特徴点の大きさや距離や形状などを認識する必要がない。すなわち、特徴点の位置が認識できればよいので、識別マークを小さくすることができる。
【0167】
次に初期化処理の第3の方式は、身体に特別な識別マークを装着することなく、身体自身の寸法や位置関係が既知の特徴点として利用する方式である。これも前記同様2種類の方式がある。
【0168】
まず、ひとつめの方式は装着者自身の身体のなかで初期特徴点となる部分の寸法を予め測定し、初期登録する方法である。例えば顔の中の目を特徴点とする場合には眼幅の距離を利用する。また、顔の幅や、肩幅などを既知の距離として利用してもよい。
【0169】
第3の方式のもうひとつの方式は、装着者が予め決められたポーズで初期化動作を行っているときに、常に一定の距離から身体の一部の特徴点位置を抽出し、その特徴点位置が撮像部40に入力されるようにするものである。例えば、手を身体の前に出したときの初期化動作において、頭の距離を既知の距離として登録したり、両手を一定間隔で開き、片方の手からもう片方の手の位置までの距離を測定するためのジェスチャを初期化ポーズとしたりすることで、既知の距離を登録する。
【0170】
この操作を前記の操作入力装置で行う場合には、体の前の決められた位置でリセットジェスチャ動作を行うようにする。すると手甲部に設けられた撮像部40は常にある一定範囲の方位と入射角の領域内にある顔の画像(特徴点画像)を抽出し、その特徴点を既知の特徴点情報として登録する。つまり、この方式では初期化処理のときの既知の特徴点の探索範囲を限定することもできる。
【0171】
なお、両方式をあわせた方法とすることも当然可能で、特徴点の既知の間隔と既知の距離情報を初期登録することで、精度を上げることができる。
【0172】
このような第3の方式によれば身体に特徴点となる特別な識別マークを装着することなく初期化処理が行え、さらにその操作性を向上することが可能となる。
【0173】
更に初期化処理の第4の方式は、初期化時の周りの環境と姿勢の関係を利用する方式である。この操作を前記の操作入力装置で行う場合には、リセットジェスチャ動作時の姿勢を、例えば、起立した状態で、さらに手の甲を下に向けた状態、あるいは撮像部40に足元の情報が見えるような姿勢で行うと予め決めておく。さらにこの姿勢での手の甲から床までの距離を予め測定し、初期登録しておく。このときに足元方向の画像より抽出される特徴点は、略この既知の距離情報の特徴点として登録される。
【0174】
また頭部などに取り付けた運動検出装置の場合には、起立状態の身長データを距離情報として利用できる。また、首などの曲げによる周辺画像の変化に対しても、足元や天井方向の画像を、空間姿勢センサ1内の加速度センサ20の情報により検出できるので、常に足元や天井の画像情報となる特徴点とを識別することができる。したがって、重力軸に対する頭から足元や天井の特徴点の角度情報と空間姿勢センサ1と足元や天井までの距離により、特徴点までの距離を推定することができる。つまり、このような特徴点は、常に奥行き情報がわかる特徴点として、初期化処理以外にも利用することもできる。ただし、このような利用法はある程度足元が開けていたり、天井がある様な室内などの限定された環境で利用することが条件となる。
【0175】
次に初期化処理の第5の方式は、初期化動作として、予め既知の運動を行うジェスチャなどの動作を行うことで、初期化処理を行う方式である。
【0176】
この操作を前記した操作入力装置で行う場合では、初期化処理として、まず初期化開始ジェスチャ動作(例えば、グー・パー動作を開始動作とする。)により初期化処理を開始する。そして装着者は、予め設定していた初期位置から終了位置まで手を動かした後、初期化終了ジェスチャ動作(例えば、パー・グー動作を終了動作とする。)により初期化情報の入力を終了させる。なお、この動作としては、最初と最後の動作を結ぶ直線距離が常に一定で、かつ、既知の距離となることが重要である。例えば、手をいっぱいに前に伸ばした状態から身体に着くまでの一連の動作により動く距離は略一定の距離情報として利用できる。
【0177】
以上の一連の初期化ジェスチャ動作の開始と終了の間に処理された周辺画像からの特徴点情報の運動パラメータと奥行き推定情報に対して既知の移動距離情報を加えることで、各特徴点の奥行き情報を登録することができる。つまり、この方式は身体の寸法や位置関係情報を直接利用する方式ではなく、身体の操作部の動作範囲などの身体情報を利用するものである。
【0178】
以上のように初期化処理74ではさまざまな方式で初期特徴点に対する奥行き情報zの初期登録が可能である。なお、これらの初期化方式は、単独で使用することも可能であるが、それぞれを組合わせて使用することも可能である。また、初期化時点でのジェスチャ動作により利用する方式を変えることもできる。
【0179】
次に、本実施形態の空間姿勢センサ1は、手や頭に装着するだけではなく身体の中の測定したい部分に装着することで、その部分の6自由度の空間姿勢を計測することが可能な、身体運動検出装置としても利用することができる。
【0180】
この場合、光や磁気などを利用したセンサのように近くや周りに基準となる信号源を設置する必要がなく、どこででも利用することができる。また複数の身体運動検出装置を同時に取り付けても、相互の干渉や、データ更新レートの低下などもなく利用することができる。
【0181】
また、本実施形態の図5のような運動検出装置を、仮想的なあるいは実際の筆記用具の末端部分に取り付けることで、筆記状態のペン先の動きを計測することもできるので、この運動検出装置をペン入力型の操作入力装置などにも利用することができる。
【0182】
さらに、本実施形態の運動検出装置をデジタルカメラなどに取り付け、画像を連続して撮影する時に空間姿勢情報を同時に記録し、この撮影画像と空間姿勢情報をもとに、撮影画像の対象物の3次元情報を再構築する情報に使用するようにすれば、本実施形態の運動検出装置を3Dモデルデータ構築カメラシステムにも利用することができる。
【0183】
以上説明したように、本実施形態の運動検出装置は、身体に直接装着して利用するだけでなく、身体に着けたり、手に持って利用したりする道具などに取り付けることで、それ自身の運動を計測することも可能である。
【0184】
ここで、本実施形態における自立型運動検出部2の他の実施例として、地磁気センサを用いたものについて説明する。
【0185】
地磁気センサは、地球上の地磁気に対して3軸に配置した磁気抵抗素子(以下MR素子と称する)が出力する情報により、地球の概ね北向きの地磁気ベクトルの方向に対する磁気の強さを検出することができる。これにより、各MR素子の3つの信号より地磁気ベクトルを求めることができる。
【0186】
因みに、地磁気ベクトルは、地球上の地域毎に固有な、地理上の北に対して偏角と呼ばれるわずかながらの誤差が存在する。さらに、地磁気ベクトルは地球上の地域毎に固有な垂直面内の仰角と呼ばれる傾きを持っている。この仰角は、例えば、東京辺りでは北向きに対して約48度前後下を向いている。
【0187】
したがって、車のナビゲーションシステムなどに利用する姿勢検出装置ではこれらによる誤差を補正しておかなければならない。しかし、本実施形態の運動検出装置のように相対的な運動状態を検出するという用途においては、あるローカルな空間での基準ベクトル情報として利用するだけなので、絶対的な方向の精度は必要ない。
【0188】
よって、その地磁気ベクトル情報と例えば角速度センサの情報を比較することにより、角速度センサのドリフトなどによる誤差を検知することができる。また、角速度センサの積算情報である角度データがリセットされたときを初期状態とし、また、そのときの地磁気ベクトルを測定しておき、さらにその場所の仰角を予め調べておくことにより、ジャイロの積算結果との比較により絶対方位としても、またリファレンス補正も可能である。また重力ベクトル方向も知ることができる。
【0189】
さらに、3軸の地磁気センサによる地磁気ベクトル情報と、3軸の加速度センサによる重力ベクトル情報を利用することにより、2つのベクトルをリファレンスとする運動検出装置が構成でき、姿勢や運動をより正確に検出することができる。またこの構成にさらに3軸の角速度センサを加えることにより、より高速な応答特性と高分解能な自立型慣性運動検出部を構成することもできる。
【0190】
また、前述した実施形態における入射画角θが±90°の全方位画像センサを、中心光軸線方向を一致させ、その入射方向を逆方向に向けて2個配置することで、仮想的に360°すべての方角からの画像を射影することのできる真の全方位画像センサを構築することも可能である。この場合には、パノラマ画像においても、すべての画像領域に射影画像を表示することができ、特徴点がカメラ視野内から消えることがより少なくなり、姿勢情報をより精確に追跡し続けることが可能である。
【0191】
次に、これらの操作入力装置を利用してPCとの無線通信によるインタフェースを行う際の実施形態について説明する。
【0192】
通常の電波による通信は広く無指向性の通信となる。このとき、通信可能範囲以内ならば装置がどのような姿勢や運動状態にあってもよく、操作入力装置としてのインタフェースとしては使い勝手の良い通信方式である。しかし近くに多くの受信装置となる機器があると、電波の混信や信号の衝突が発生し、通信接続の確立と切り替えには何らかの対応操作が必要になる。ただし、自動的に接続を切り替えるローミング方式のような場合だと、本人の意思とは関係なく、繋がってしまう可能性があり、これもまた問題の解決方法にはならない。
【0193】
一方、IrDA通信のような光通信方式は、一般的にお互いの受発光手段の光軸を合わせ、さらに送受信可能距離内にそれぞれの装置を置かなければ通信の確立ができない。また通信が行われているときにもその状態を保ちつづけなければならなく、電波に比べると使い勝手が悪いが、混信などの問題は少ない。
【0194】
そこで、本実施形態の通信装置においては2つの通信手段を備える。ひとつは電波による無指向性の通信手段(無指向型無線通信手段)を備える。これは、例えば、無線LANやBluetooth、PHSなどのような近距離無線通信手段が考えられる。さらに、本実施形態の操作入力装置の通信装置としては、光による通信手段(指向型無線通信手段)を備える。これは、例えばIrDAのような赤外光で、ある角度範囲の指向性を有した通信手段である。
【0195】
なお、同様に、通信相手となるコンピュータ装置(以下PCと称する)においても、電波及び光の2種類の無線通信手段を備えるものとする。
【0196】
つまり、通信の確立に際しては、指向性の強い光通信手段を用いる。このとき、操作者が操作したいPCのIrDA送受信部に対して、操作入力装置のIrDA送受信装置を向けることにより、双方の通信確立の手続きがおこなわれ、自動的に通信接続がなされ、操作入力装置による操作が可能な状態になる。
【0197】
一度、通信接続が確立した後、以降の情報の通信には光による通信は使用されず、電波による通信で相互のデータ通信が行われる。
【0198】
つまり、接続後は、操作者は、操作入力装置をPCのIrDA送受信部を常に向けている必要も、また、通信到達距離を気にする必要もない。さらに、どのような姿勢や運動状態においても通信接続が維持され、操作入力装置による操作が可能である。
【0199】
また、他のPCを操作する場合には、前記同様に操作対象とするPCのIrDA送受信部に対して、操作入力装置のIrDA送受信部を向けることで、簡単に目的のPCへ切り替えることができる。
【0200】
次に、複数のPCに対して通信可能な操作入力装置の、通信切り替え時の処理手順を説明する。なお、通信確立モードには下記の3つのモードがあり、操作者は3つのモードの中から予め利用するモードを設定しておくこととする。
(A)PC固定通信モード・・・一度通信が確立すると他の装置との接続も探索も行わないモード
(B)PC自動切換えモード・・・通信相手を固定することなく自動的に切り替えることができるモード
(C)PC切り替え確認モード・・・通信相手を固定することなく切り替えることが可能であるが、切り替え時に確認応答が行われるモード
ここで、本実施形態の通信装置の通信時における操作入力装置側の主な処理の流れを図18に従って説明する。
まず、操作入力装置は、自身の通信モードが前述の(A)モード〜(C)モードの何れのモードであるかを判定する(S1)。通信モードが(B)または(C)モードの場合には現在の通信接続状態を判定する(S2)。
【0201】
現在の通信状態が未接続状態の場合には、操作入力装置の周辺にあるPCの電波をスキャンし(S3)、現在、操作入力装置周辺の接続準備状態であるPCが1台のみであるか否かを判定する(S4)。接続準備状態であるPCが1台のみの場合にはS7に移行する。一方、S4の判定において接続準備状態であるPCが複数台存在する場合には、それら接続準備状態であるPCに対して、PCのIrDAによる送信要求命令を電波で送った後(S5)、PCからのIrDAの受信を待つ(S6)。送信要求を受けたPCは自身のIDと共にIrDA通信確立メッセージを赤外光で送信する。S6の判定において、操作入力装置のIrDA送受信部がPCのIrDA送受信部の近くにあり、PCの赤外光信号を受信できたと判定された場合にはS7に移行する。
【0202】
S7では現在の通信モードを判定して、このまま自動で通信を行うか((B)モード)、または通信を行う前に確認を行うか((C)モード)を判定する(S7)。(C)モードの場合には通信接続するか否かを操作者に確認をする(S8)。そしてS7の判定で(B)モードであると判定された場合、またはS8の判定で通信接続が承認された場合には通信接続が確立する(S9)。
【0203】
一方、S6においてPCからのIrDAの受信が無いと判定された場合、またはS8で通信接続が否認された場合には通信未接続となる(S10)。
【0204】
一方、S2において通信接続済みである場合には、操作入力装置の周辺にあるPCの電波をスキャンし(S12)、現在、通信中のPC以外のPCが存在するか否かを判定する(S13)。PCが1台のみの場合にはS16に移行する。一方、S13の判定において他のPCが存在する場合には、それら接続準備のあるPCに対して、PCのIrDAによる送信要求命令を電波で送り(S14)、PCからのIrDAの受信を待つ。PCからのIrDAの受信があった場合にはその信号よりPCのIDを読取って、受信したIrDAが他のPCからのものであるか否かを判定する(S15)。S14で他のPCが存在しないと判定された場合、またはS15で他のPCからのIrDAの受信がないと判定された場合には現在の通信を維持する(S16)。一方、S15で他のPCからIrDAの受信があったと判定された場合には、現在の通信を切断した後(S17)、S7に移行する。
【0205】
また、S1の判定で自身の通信モードが(A)モードであると判定された場合には(A)モードの処理を行う(S11)。この(A)モードの処理を簡単に説明すると、まず、周辺のPCからの電波をスキャンし、スキャンされたPCに対してIrDAの送信要求を電波で送り、PCからIrDAを受信したならば、そのまま通信接続を確立して、以後もその通信を維持する。
【0206】
ここで、接続切り替え時の赤外光の発光はPC側が主導になっている。これは操作入力装置の電力消費を減らすための方策である。操作入力装置の電力消費を考慮しなくても良いのであれば、操作入力装置側から赤外光を発光させて、PCの切り替えを行っても良い。
【0207】
このように、利用したいPCに向かって操作入力装置を向ける(つまり、赤外光による通信が行われるようにPCのIrDA送受信部に操作入力装置のIrDA送受信部を近づける動作)という非常に簡単で、理解しやすいジェスチャー動作により、操作者自身の意志で簡単に使いたいPCを切り替えることができるようになる。
【0208】
またこれらの動作を利用することで、あるPC(A)の画面上のデータオブジェクトを操作入力装置でコピーし(例えば、掴むジェスチャー操作)、そのまま別のPC(B)の画面上に移動し、ペーストする(例えば、放すジェスチャー操作)というような、ジェスチャー操作によるPC間を越えたコピー&ペースト操作なども、日常の動作感覚で、操作が可能となる。
【0209】
ここで、無線通信に利用される搬送メディアとしては、光や電波などの電磁波や、超音波などの音波も利用できる。また同じ搬送メディアでも異なる波長を利用することも可能である。つまり、同じ搬送メディアの場合では、前記の例のような指向性と無指向性の機能が利用できれば可能となる。
【0210】
【発明の効果】
以上説明したように、本発明によれば、運動する物体の空間位置と姿勢及び動きを正確に認識できる運動検出装置を提供することができる。
特に、第1の発明によれば、測定対象物の位置・姿勢を正確に測定ができる運動検出装置を提供することが可能になる。
【0211】
また、第2〜4の発明によれば、角速度センサ、加速度センサ、地磁気センサを利用することにより、自立型の基準発信機などを必要とすることなく運動を検出することができる。
【0212】
また、第5の発明によれば、全方位撮像手段によって全天周からの画像を同時に射影して取り込むことができる。
また、第6の発明によれば、4面の平面ミラーによる射影像が5つの領域に分割された中心射影になるので、画像情報の一次変換式により特徴点の空間位置方向を求めることができる。また、平面ミラーによる簡単な光学系との組合わせで全方位撮像手段を構築することができる。
また、第7の発明によれば、曲面ミラーにより全天周からの画像を同時に射影し、連続的な画像として取り込むことができる。
また、第8の発明によれば、魚眼レンズ、魚眼レンズ、等距離射影レンズ、等立体角射影レンズの何れかにより全天周からの画像を同時に射影し、取り込むことができる。
さらに、第9の発明によれば、2個の全方位画像センサをそれぞれ逆向きに配置して使用することで、真の全天周(全方向)からの画像を同時に射影し、取り込むことができる。
【0213】
また、第10の発明によれば、円筒パノラマ画像に変換する際に重力軸方向のベクトルの向きと前記自立型運動検出手段で検出された重力軸周りの回転角を考慮した重力補正パノラマ画像に変換するので、重力画像マッチング処理のアフィン回転処理や、全方位画像センサの回転動作による画像の動きをキャンセルすることができ、マッチング処理を高速化することができる。
【0214】
また、第11の発明によれば、複数の特徴点の動きからカメラフレームの動きを推定することができる。
また、第12の発明によれば、垂直方向の特徴線の動きから、水平方向の動きをより簡単に推定することができる。
また、第13の発明によれば、画像内の動きベクトルからカメラ姿勢を推定する。
【0215】
また、第14の発明によれば、特別なマークがある特定の場所などで初期化処理を行う必要がなく、いつでもどこでも簡単に初期化処理を行うことができる。
また、第15の発明によれば、特別なマークがある特定の場所などで初期化処理を行う必要がなく、いつでもどこでも簡単に初期化処理を行うことができる。さらに識別マークの形状などが変わっても対応できる。
さらに、第16及び17の発明によれば、初期化手段用に特別な識別マークを装着する必要がない。
また、第18の発明によれば、特別な識別マークを利用することなく初期化が行え、また初期化後の計測中における特徴点データの補正にも利用できる。
さらに、第19の発明によれば、初期化手段用に特別な識別マークを装着する必要がない。
【0216】
また、第20の発明によれば、光や磁気などを利用したセンサのように近くや周りに基準となる信号源を設置する必要がなく、どこででも身体運動検出装置を利用することができる。また複数を同時に取り付けても、相互の干渉や、データ更新レートの低下などもなく利用することができる。
また、第21の発明によれば、身体運動検出装置を利用して手甲に装着して手の動きを測定することができる。
さらに第22の発明によれば、身体運動検出装置を利用して頭部に装着して頭部の動きを測定することができる。
【0217】
またさらに、本発明によれば、複数のPCと操作入力装置との接続と通信設定を、操作者の意思により、簡単に切り替えることのできる通信装置を提供することができる。
特に、第23の発明によれば、無指向性の通信手段と指向性の通信手段の2種類の無線通信手段により、通信相手との通信切り替え操作が容易である。
また、第24の発明によれば、無指向性の通信手段として電波による通信を、指向性の通信手段てして光による通信を用いることが可能である。
【図面の簡単な説明】
【図1】本発明の実施形態に係る運動検出装置の機能動作の概要を説明するためのブロック図である。
【図2】撮像部を含む操作入力装置の概観図である。
【図3】ワールド座標空間に対する空間センサフレームとカメラセンサフレームの関係図である。
【図4】図4(A)は等立体射影レンズに入射する光線とその射影像の関係を示す図であり、図4(B)は全方位画像の入射角と方位角の関係を示した図である。
【図5】画像空間センサを搭載した画像処理チップを配置した操作入力装置の他の構成例を示す図である。
【図6】図6(A)は4面ミラー方式による光学系の構成図であり、図6(B)はミラー方式の光学系による撮像画像を示す図である。
【図7】図7(A)は放物面ミラー方式による光学系の構成図であり、図7(B)は放物面ミラーの光学系による撮像画像を示す図である。
【図8】従来のパノラマ画像と本発明の実施の形態に係る運動検出装置を用いた場合に得られるパノラマ画像との比較図である。
【図9】本発明の実施形態に係る運動検出装置の中の画像処理に関する機能動作を説明するためのブロック図である。
【図10】重力補正パノラマ画像の変換を説明するための全方位画像との関係を示す図である。
【図11】連続するフレーム画像上での特徴点の振る舞いに関するイメージ図である。
【図12】画像センサにより得られる特徴点画像のカメラフレームの画像位置と奥行き情報及び不確定要素に関するイメージ図である。
【図13】特徴点のマッチング処理を繰り返すことで、特徴点情報に関係付けられている姿勢情報と奥行き情報の誤差が徐々に小さくなる様子を示したイメージ図である。
【図14】運動ベクトルの不確定要素が徐々に小さくなる様子を示したイメージ図である。
【図15】ある特徴点の登録時の空間姿勢情報kとひとつ前の姿勢情報(n−1)と、次に求めようとする姿勢情報nの間の関係図である。
【図16】運動ベクトルの不確定要素の関係を示した図である。
【図17】図17(A)は重力パノラマ画像の中の垂直特徴線のイメージ図であり、図17(B)はそのときのワールド座標空間での特徴点の様子を示したイメージ図である。
【図18】本実施形態に係る無線通信機能の操作入力装置側のフローチャートである。
【符号の説明】1…空間姿勢センサ、2…自立型運動検出部、10…角速度センサ、20…加速度センサ、30…姿勢演算部、40…撮像部、50…画像変換部、60…画像認識部、80…空間センサ姿勢推定部
Claims (24)
- 他の基準装置を必要としない自立型運動検出手段を装着した対象物自身の位置・姿勢を検出する運動検出装置であって、
前記自立型運動検出手段に固定され、前記対象物の周囲の画像を射影し、その射影画像を連続して撮像する撮像手段と、
前記撮像手段が撮像した射影画像を円筒パノラマ画像に変換する画像変換手段と、
前記画像変換手段により異なる時点で変換された2つの円筒パノラマ画像を比較認識する画像認識手段と、
前記画像認識手段の認識結果に基づいて、前記対象物の位置・姿勢情報を推定するカメラ姿勢推定手段と、
前記自立型運動検出手段の検出結果と前記カメラ姿勢推定手段の推定結果とに基づいて前記対象物の空間上での位置・姿勢を推定する空間センサ姿勢推定手段とを備えたことを特徴とする運動検出装置。 - 前記自立型運動検出手段は、角速度センサ、加速度センサあるいは地磁気センサのうち、少なくとも2種類を組み合わせて構成されることを特徴とする請求項1に記載の運動検出装置。
- 前記自立型運動検出手段は、3軸が直交した角速度センサ及び少なくとも2軸以上が直交した加速度センサを含んで構成されることを特徴とする請求項1に記載の運動検出装置。
- 前記自立型運動検出手段は、3軸が直交した角速度センサ及び少なくとも2軸以上が直交した地磁気センサを含んで構成されることを特徴とする請求項1に記載の運動検出装置。
- 前記撮像手段が、前記対象物の周囲の全方位像を射影し、その射影画像を連続して撮像する全方位撮像手段を具備したことを特徴とする請求項1に記載の運動検出装置。
- 前記全方位撮像手段は、少なくとも4面の平面ミラーにより前記対象物の周囲の画像を射影する光学系を備えたことを特徴とする請求項5に記載の運動検出装置。
- 前記全方位撮像手段は、曲面ミラーにより前記対象物の周囲の画像を射影する光学系を備えたことを特徴とする請求項5に記載の運動検出装置。
- 前記全方位撮像手段は、魚眼レンズ、等距離射影レンズ、等立体角射影レンズの何れかのレンズを用いて前記対象物の周囲の画像を射影する光学系を備えたことを特徴とする請求項5に記載の運動検出装置。
- 前記全方位撮像手段は、光軸が一致しており、さらにその光軸方向が逆方向である二つの全方位撮像手段を備えたことを特徴とする請求項5に記載の運動検出装置。
- 前記画像変換手段は、前記撮像手段が撮像した画像を前記円筒パノラマ画像に変換するときに、重力軸方向のベクトルの向きと前記自立型運動検出手段で検出された重力軸周りの回転角とを考慮した重力補正パノラマ画像に変換することを特徴とする請求項1に記載の運動検出装置。
- 前記カメラ姿勢推定手段は、前記対象物の位置・姿勢情報を推定するのに先立って、前記円筒パノラマ画像の中の特徴点の新規登録を行い、この特徴点の新規登録において、特徴点情報としてフレーム画像から見た3次元情報と現在のカメラフレームとを登録し、前記特徴点が現れてから消えるまでの間の特徴点を追跡し、それに応じて前記フレーム画像から見た3次元情報を更新し、さらに、別の特徴点が現れたときに、現在のカメラフレームから求められる前記別の特徴点の3次元情報を登録することにより、連続する画像の中で現れては消えてゆく複数の特徴点の位置を追跡し、前記複数の特徴点の動きよりワールド座標空間に対する現在のカメラフレームを獲得することを特徴とする請求項1に記載の運動検出装置。
- 前記画像変換手段により得られた重力補正パノラマ画像の中から垂直方向の線分を複数抽出し、この抽出した複数の線分が前記画像変換手段によって異なる時点で得られた重力補正パノラマ画像の中のどの位置に存在するのかを追跡することにより対象物の位置・姿勢情報を推定することを特徴とする請求項10に記載の運動検出装置。
- 前記画像変換手段により得られた重力補正パノラマ画像の中のオプティカルフローにより、対象物の位置・姿勢情報を推定することを特徴とする請求項10に記載の運動検出装置。
- 前記運動検出装置の初期化のときに、既知の大きさまたは既知の間隔の特徴点認識用識別マークの画像を前記撮像手段によって取り込み、この取り込んだ特徴点認識用識別マークの画像の大きさまたは間隔より奥行き情報を求めて初期化登録する初期化手段をさらに有することを特徴とする請求項1に記載の運動検出装置。
- 前記運動検出装置の初期化のときに、予め定められた位置に設けられた特徴点認識用識別マークの画像を前記撮像手段によって前記特徴点認識用識別マークから既知の距離だけ離れた位置から取り込み、そのときの特徴点の奥行き情報を初期化登録する初期化手段をさらに有することを特徴とする請求項1に記載の運動検出装置。
- 前記運動検出装置の初期化のときに、身体の一部または全体の画像を前記撮像手段によって取り込み、その取り込んだ画像と、予め登録しておいた身体の一部または全体の形状の大きさから求められる特徴点の奥行き情報を初期化登録する初期化手段をさらに具備することを特徴とする請求項1に記載の運動検出装置。
- 前記運動検出装置の初期化の時に、身体の特徴部の画像を前記撮像手段によって既知の距離から取り込み、この取り込んだ画像に基づいて特徴点の奥行き情報を初期化登録する初期化手段をさらに具備することを特徴とする請求項1に記載の運動検出装置。
- 前記運動検出装置の初期化の時に、前記運動検出装置を装着した部位から予め定められた方向及び距離の画像を前記撮像手段によって取り込み、この取り込んだ画像中の特徴点の奥行き情報を初期化登録する初期化手段をさらに具備することを特徴とする請求項1に記載の運動検出装置。
- 前記運動検出装置の初期化の時に、前記運動検出装置を装着した部位を既定の距離だけ移動させる動作を行ったときの画像を前記撮像手段によって取り込み、この取り込んだ画像中の特徴点の奥行き情報を初期化登録する初期化手段をさらに具備することを特徴とする請求項1に記載の運動検出装置。
- 請求項1乃至19の何れかに記載の運動検出装置を、身体の一部に装着することで、前記運動検出装置を装着した身体の一部の動きや姿勢を検出することを特徴とする運動検出装置。
- 請求項1乃至19の何れかに記載の運動検出装置を、手甲に装着することで、前記運動検出装置を装着した対象物の手の動きや姿勢を検出することを特徴とする運動検出装置。
- 請求項1乃至19の何れかに記載の運動検出装置を、頭部に装着することで、前記運動検出装置を装着した対象物の頭部の動きや姿勢を検出することを特徴とする運動検出装置。
- 無指向性の搬送メディアによる無線通信機能を備えた無指向型無線通信手段と、
指向性を有し、前記搬送メディアと異なる搬送メディアあるいは周波数による無線通信機能を備えた指向型無線通信手段とを備え、
通常の通信には前記無指向型無線通信手段を使用し、通信相手を決定する時には前記指向型無線通信手段を使用することを特徴とする通信装置。 - 前記無指向型無線通信手段は電波による通信を行うものであり、前記指向型無線通信手段は光または音波による通信を行うものであることを特徴とする請求項23に記載の通信装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003024103A JP4142460B2 (ja) | 2003-01-31 | 2003-01-31 | 運動検出装置 |
PCT/JP2004/000539 WO2004068326A1 (ja) | 2003-01-31 | 2004-01-22 | 運動検出装置及び通信装置 |
EP04704355A EP1596272A4 (en) | 2003-01-31 | 2004-01-22 | MOTION DETECTION DEVICE AND COMMUNICATION DEVICE |
US11/190,562 US7405725B2 (en) | 2003-01-31 | 2005-07-27 | Movement detection device and communication apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003024103A JP4142460B2 (ja) | 2003-01-31 | 2003-01-31 | 運動検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004264892A true JP2004264892A (ja) | 2004-09-24 |
JP4142460B2 JP4142460B2 (ja) | 2008-09-03 |
Family
ID=32820751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003024103A Expired - Fee Related JP4142460B2 (ja) | 2003-01-31 | 2003-01-31 | 運動検出装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7405725B2 (ja) |
EP (1) | EP1596272A4 (ja) |
JP (1) | JP4142460B2 (ja) |
WO (1) | WO2004068326A1 (ja) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010005331A (ja) * | 2008-06-30 | 2010-01-14 | Nintendo Co Ltd | 姿勢算出装置、姿勢算出プログラム、ゲーム装置、およびゲームプログラム |
JP2010005332A (ja) * | 2008-06-30 | 2010-01-14 | Nintendo Co Ltd | 姿勢算出装置、姿勢算出プログラム、ゲーム装置、およびゲームプログラム |
US7711505B2 (en) | 2008-06-30 | 2010-05-04 | Nintendo Co., Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
JP2011040003A (ja) * | 2009-08-18 | 2011-02-24 | Sony Corp | 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法 |
WO2011033922A1 (ja) * | 2009-09-16 | 2011-03-24 | ブラザー工業株式会社 | 入力システム、入力装置及び入力方法 |
JP2011237953A (ja) * | 2010-05-10 | 2011-11-24 | Nec Corp | ユーザーインターフェース装置 |
US8219347B2 (en) | 2008-06-30 | 2012-07-10 | Nintendo Co., Ltd. | Orientation calculation apparatus and storage medium having orientation calculation program stored therein |
US8405611B2 (en) | 2008-06-30 | 2013-03-26 | Nintendo Co., Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
US8437971B2 (en) | 2008-06-30 | 2013-05-07 | Nintendo Co. Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
US8614672B2 (en) | 2009-03-09 | 2013-12-24 | Nintendo Co., Ltd. | Information processing apparatus, storage medium having information processing program stored therein, information processing system, and display range control method |
CN103907340A (zh) * | 2011-11-07 | 2014-07-02 | 索尼电脑娱乐公司 | 图像生成装置和图像生成方法 |
WO2014128748A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 |
JP2014186731A (ja) * | 2013-03-25 | 2014-10-02 | Samsung Electronics Co Ltd | ユーザのモーションを検出するウェアラブル装置及びその処理方法 |
JP2014199673A (ja) * | 2014-06-23 | 2014-10-23 | 日本電気株式会社 | ユーザーインターフェース装置 |
JP2015507263A (ja) * | 2011-12-19 | 2015-03-05 | マイクロソフト コーポレーション | 複数センサ入力のためのセンサフュージョンインタフェース |
US9079102B2 (en) | 2008-06-30 | 2015-07-14 | Nintendo Co., Ltd. | Calculation of coordinates indicated by a handheld pointing device |
WO2016028095A1 (ko) * | 2014-08-20 | 2016-02-25 | 재단법인 아산사회복지재단 | 도구의 위치 추적장치 |
US9560274B2 (en) | 2011-11-07 | 2017-01-31 | Sony Corporation | Image generation apparatus and image generation method |
US9894272B2 (en) | 2011-11-07 | 2018-02-13 | Sony Interactive Entertainment Inc. | Image generation apparatus and image generation method |
US10284776B2 (en) | 2011-11-07 | 2019-05-07 | Sony Interactive Entertainment Inc. | Image generation apparatus and image generation method |
KR102097033B1 (ko) * | 2019-10-16 | 2020-04-03 | 주식회사 코탁스 | 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 |
JP2021033563A (ja) * | 2019-08-22 | 2021-03-01 | 三菱鉛筆株式会社 | 筆記具 |
Families Citing this family (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7148879B2 (en) | 2000-07-06 | 2006-12-12 | At&T Corp. | Bioacoustic control system, method and apparatus |
KR20070024657A (ko) * | 2004-06-01 | 2007-03-02 | 스위스콤 모빌 아게 | 선택가능한 데이터 요소의 단말기로의 촉각-제어 전송을위한 방법, 시스템 및 장치 |
GB2419433A (en) * | 2004-10-20 | 2006-04-26 | Glasgow School Of Art | Automated Gesture Recognition |
US8659546B2 (en) | 2005-04-21 | 2014-02-25 | Oracle America, Inc. | Method and apparatus for transferring digital content |
ITTO20050628A1 (it) * | 2005-09-15 | 2007-03-16 | St Microelectronics Srl | Dispositivo stabilizzatore di immagini, in particolare per l'acquisizione mediante un sensore di immagini digitali |
CN100444612C (zh) * | 2005-12-14 | 2008-12-17 | 日本胜利株式会社 | 电子设备 |
US7810504B2 (en) * | 2005-12-28 | 2010-10-12 | Depuy Products, Inc. | System and method for wearable user interface in computer assisted surgery |
US20070205985A1 (en) * | 2006-03-05 | 2007-09-06 | Michael Trzecieski | Method of using optical mouse scanning assembly for facilitating motion capture |
US20080007617A1 (en) * | 2006-05-11 | 2008-01-10 | Ritchey Kurtis J | Volumetric panoramic sensor systems |
KR100815565B1 (ko) * | 2006-08-23 | 2008-03-20 | 삼성전기주식회사 | 동작 감지 시스템 및 그 방법 |
US8496575B2 (en) * | 2006-11-14 | 2013-07-30 | Olympus Corporation | Measuring endoscope apparatus, program and recording medium |
JP2008305198A (ja) * | 2007-06-07 | 2008-12-18 | Fujitsu Component Ltd | 入力システム及び入力装置 |
US20090054067A1 (en) * | 2007-08-23 | 2009-02-26 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for gesture-based command and control of targets in wireless network |
JP5091591B2 (ja) * | 2007-08-30 | 2012-12-05 | 株式会社東芝 | 情報処理装置、プログラム及び情報処理方法 |
HK1125531A2 (en) * | 2008-12-24 | 2009-08-07 | Leung Shiu Ming | Action simulation device and method |
US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
US20100295667A1 (en) * | 2009-05-22 | 2010-11-25 | Electronics And Telecommunications Research Institute | Motion based pointing apparatus providing haptic feedback and control method thereof |
JP2011128846A (ja) * | 2009-12-17 | 2011-06-30 | Sony Corp | 操作入力装置および方法、プログラム、並びに電子機器 |
TWI438645B (zh) * | 2011-02-14 | 2014-05-21 | Wistron Corp | 指控裝置 |
JP5510401B2 (ja) * | 2011-06-27 | 2014-06-04 | 株式会社デンソー | 操作端末 |
US20130113704A1 (en) * | 2011-11-04 | 2013-05-09 | The Regents Of The University Of California | Data fusion and mutual calibration for a sensor network and a vision system |
US8908894B2 (en) | 2011-12-01 | 2014-12-09 | At&T Intellectual Property I, L.P. | Devices and methods for transferring data through a human body |
EP2605107A1 (en) * | 2011-12-13 | 2013-06-19 | Research In Motion Limited | Methods and devices for identifying a gesture |
US8698746B1 (en) * | 2012-04-24 | 2014-04-15 | Google Inc. | Automatic calibration curves for a pointing device |
US8988341B2 (en) | 2012-06-08 | 2015-03-24 | Apple Inc. | Camera-assisted motion estimation for application control |
CN104508706B (zh) | 2012-08-15 | 2017-03-22 | 国际商业机器公司 | 特征提取方法、程序和系统 |
US20140085177A1 (en) * | 2012-09-21 | 2014-03-27 | Nokia Corporation | Method and apparatus for responding to input based upon relative finger position |
JP5846385B2 (ja) * | 2012-11-07 | 2016-01-20 | 国立大学法人東京工業大学 | 内視鏡操作システム |
EP2813810A1 (en) * | 2013-06-13 | 2014-12-17 | inos Automationssoftware GmbH | Method for calibrating an optical arrangement comprising a carrier unit, an optical acquiring unit and a light emitting unit both connected to the carrier unit |
US10108984B2 (en) | 2013-10-29 | 2018-10-23 | At&T Intellectual Property I, L.P. | Detecting body language via bone conduction |
US9594433B2 (en) | 2013-11-05 | 2017-03-14 | At&T Intellectual Property I, L.P. | Gesture-based controls via bone conduction |
US10678322B2 (en) | 2013-11-18 | 2020-06-09 | At&T Intellectual Property I, L.P. | Pressure sensing via bone conduction |
US9349280B2 (en) | 2013-11-18 | 2016-05-24 | At&T Intellectual Property I, L.P. | Disrupting bone conduction signals |
US9715774B2 (en) | 2013-11-19 | 2017-07-25 | At&T Intellectual Property I, L.P. | Authenticating a user on behalf of another user based upon a unique body signature determined through bone conduction signals |
US9405892B2 (en) | 2013-11-26 | 2016-08-02 | At&T Intellectual Property I, L.P. | Preventing spoofing attacks for bone conduction applications |
JP5843033B1 (ja) * | 2014-05-15 | 2016-01-13 | 株式会社リコー | 撮像システム、撮像装置、プログラムおよびシステム |
US9882992B2 (en) | 2014-09-10 | 2018-01-30 | At&T Intellectual Property I, L.P. | Data session handoff using bone conduction |
US9589482B2 (en) | 2014-09-10 | 2017-03-07 | At&T Intellectual Property I, L.P. | Bone conduction tags |
US10045732B2 (en) | 2014-09-10 | 2018-08-14 | At&T Intellectual Property I, L.P. | Measuring muscle exertion using bone conduction |
US9582071B2 (en) | 2014-09-10 | 2017-02-28 | At&T Intellectual Property I, L.P. | Device hold determination using bone conduction |
US9600079B2 (en) | 2014-10-15 | 2017-03-21 | At&T Intellectual Property I, L.P. | Surface determination via bone conduction |
US9652038B2 (en) | 2015-02-20 | 2017-05-16 | Sony Interactive Entertainment Inc. | Magnetic tracking of glove fingertips |
JP2017134467A (ja) * | 2016-01-25 | 2017-08-03 | 富士通株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
CN110769731B (zh) * | 2017-06-15 | 2022-02-25 | 奥林巴斯株式会社 | 内窥镜系统、内窥镜用处理系统、图像处理方法 |
CN107316025B (zh) * | 2017-06-27 | 2021-04-06 | 北京康邦科技有限公司 | 一种手部姿态识别方法及识别系统 |
KR101971882B1 (ko) * | 2017-08-18 | 2019-04-24 | 재단법인 실감교류인체감응솔루션연구단 | 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치 |
CN110019886A (zh) * | 2017-08-28 | 2019-07-16 | 富泰华工业(深圳)有限公司 | 全景影像生成装置及方法 |
CN110520694A (zh) * | 2017-10-31 | 2019-11-29 | 深圳市大疆创新科技有限公司 | 一种视觉里程计及其实现方法 |
CN108377167A (zh) * | 2018-04-25 | 2018-08-07 | 深圳市迈步机器人科技有限公司 | 一种信息处理方法、电子设备和数据手套 |
US10831316B2 (en) | 2018-07-26 | 2020-11-10 | At&T Intellectual Property I, L.P. | Surface interface |
US20220222846A1 (en) * | 2019-05-20 | 2022-07-14 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
CN111240469B (zh) * | 2019-12-31 | 2023-04-25 | 北京诺亦腾科技有限公司 | 手部动作捕捉的校准方法、装置、电子设备及存储介质 |
CN111240468B (zh) * | 2019-12-31 | 2023-04-25 | 北京诺亦腾科技有限公司 | 手部动作捕捉的校准方法、装置、电子设备及存储介质 |
CN111178300B (zh) * | 2019-12-31 | 2021-01-29 | 北京城市网邻信息技术有限公司 | 目标检测方法、装置、设备、介质 |
CN111862210B (zh) * | 2020-06-29 | 2023-05-12 | 辽宁石油化工大学 | 一种基于环视相机的目标物检测定位方法及装置 |
CN115311359B (zh) * | 2022-07-18 | 2023-06-16 | 北京城市网邻信息技术有限公司 | 相机位姿校正方法、装置、电子设备及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5097252A (en) * | 1987-03-24 | 1992-03-17 | Vpl Research Inc. | Motion sensor which produces an asymmetrical signal in response to symmetrical movement |
JP2853283B2 (ja) * | 1989-09-18 | 1999-02-03 | 三菱電機株式会社 | 全方位観測装置 |
JP2698320B2 (ja) * | 1993-08-31 | 1998-01-19 | 日本電信電話株式会社 | 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム |
JPH0981309A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 入力装置 |
JP3240941B2 (ja) | 1996-11-18 | 2001-12-25 | 松下電器産業株式会社 | 手振り検出方法及び装置 |
JPH10171591A (ja) | 1996-12-06 | 1998-06-26 | Seiko Epson Corp | ポインティング装置、ポインタの移動方法および携帯型情報処理装置 |
US6070269A (en) * | 1997-07-25 | 2000-06-06 | Medialab Services S.A. | Data-suit for real-time computer animation and virtual reality applications |
JP2001523080A (ja) * | 1997-11-07 | 2001-11-20 | ヴィーア・インコーポレイテッド | インタラクティブ装置および方法 |
JP2000097637A (ja) * | 1998-09-24 | 2000-04-07 | Olympus Optical Co Ltd | 姿勢位置検出装置 |
JP2000132305A (ja) * | 1998-10-23 | 2000-05-12 | Olympus Optical Co Ltd | 操作入力装置 |
JP2000132329A (ja) * | 1998-10-27 | 2000-05-12 | Sony Corp | 面認識装置、面認識方法及び仮想画像立体合成装置 |
US6744420B2 (en) * | 2000-06-01 | 2004-06-01 | Olympus Optical Co., Ltd. | Operation input apparatus using sensor attachable to operator's hand |
JP2002007030A (ja) * | 2000-06-16 | 2002-01-11 | Olympus Optical Co Ltd | 運動検出装置及び操作入力装置 |
JP4803875B2 (ja) * | 2000-12-21 | 2011-10-26 | Tdk株式会社 | 認証マスタとして運用する情報処理装置 |
-
2003
- 2003-01-31 JP JP2003024103A patent/JP4142460B2/ja not_active Expired - Fee Related
-
2004
- 2004-01-22 EP EP04704355A patent/EP1596272A4/en not_active Withdrawn
- 2004-01-22 WO PCT/JP2004/000539 patent/WO2004068326A1/ja active Application Filing
-
2005
- 2005-07-27 US US11/190,562 patent/US7405725B2/en not_active Expired - Fee Related
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8437971B2 (en) | 2008-06-30 | 2013-05-07 | Nintendo Co. Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
JP2010005332A (ja) * | 2008-06-30 | 2010-01-14 | Nintendo Co Ltd | 姿勢算出装置、姿勢算出プログラム、ゲーム装置、およびゲームプログラム |
US7711505B2 (en) | 2008-06-30 | 2010-05-04 | Nintendo Co., Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
US9079102B2 (en) | 2008-06-30 | 2015-07-14 | Nintendo Co., Ltd. | Calculation of coordinates indicated by a handheld pointing device |
JP2010005331A (ja) * | 2008-06-30 | 2010-01-14 | Nintendo Co Ltd | 姿勢算出装置、姿勢算出プログラム、ゲーム装置、およびゲームプログラム |
US7925467B2 (en) | 2008-06-30 | 2011-04-12 | Nintendo Co., Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
US8749490B2 (en) | 2008-06-30 | 2014-06-10 | Nintendo Co., Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
US8219347B2 (en) | 2008-06-30 | 2012-07-10 | Nintendo Co., Ltd. | Orientation calculation apparatus and storage medium having orientation calculation program stored therein |
US8405611B2 (en) | 2008-06-30 | 2013-03-26 | Nintendo Co., Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
US8614672B2 (en) | 2009-03-09 | 2013-12-24 | Nintendo Co., Ltd. | Information processing apparatus, storage medium having information processing program stored therein, information processing system, and display range control method |
US8704759B2 (en) | 2009-03-09 | 2014-04-22 | Nintendo Co., Ltd. | Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein |
US9772694B2 (en) | 2009-03-09 | 2017-09-26 | Nintendo Co., Ltd. | Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein |
JP2011040003A (ja) * | 2009-08-18 | 2011-02-24 | Sony Corp | 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法 |
WO2011033922A1 (ja) * | 2009-09-16 | 2011-03-24 | ブラザー工業株式会社 | 入力システム、入力装置及び入力方法 |
JP2011237953A (ja) * | 2010-05-10 | 2011-11-24 | Nec Corp | ユーザーインターフェース装置 |
US9729788B2 (en) | 2011-11-07 | 2017-08-08 | Sony Corporation | Image generation apparatus and image generation method |
CN103907340A (zh) * | 2011-11-07 | 2014-07-02 | 索尼电脑娱乐公司 | 图像生成装置和图像生成方法 |
US10284776B2 (en) | 2011-11-07 | 2019-05-07 | Sony Interactive Entertainment Inc. | Image generation apparatus and image generation method |
US9894272B2 (en) | 2011-11-07 | 2018-02-13 | Sony Interactive Entertainment Inc. | Image generation apparatus and image generation method |
US9560274B2 (en) | 2011-11-07 | 2017-01-31 | Sony Corporation | Image generation apparatus and image generation method |
JP2015507263A (ja) * | 2011-12-19 | 2015-03-05 | マイクロソフト コーポレーション | 複数センサ入力のためのセンサフュージョンインタフェース |
WO2014128748A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 |
JPWO2014128748A1 (ja) * | 2013-02-19 | 2017-02-02 | 株式会社ブリリアントサービス | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 |
US9906778B2 (en) | 2013-02-19 | 2018-02-27 | Mirama Service Inc. | Calibration device, calibration program, and calibration method |
JP2014186731A (ja) * | 2013-03-25 | 2014-10-02 | Samsung Electronics Co Ltd | ユーザのモーションを検出するウェアラブル装置及びその処理方法 |
JP2014199673A (ja) * | 2014-06-23 | 2014-10-23 | 日本電気株式会社 | ユーザーインターフェース装置 |
WO2016028095A1 (ko) * | 2014-08-20 | 2016-02-25 | 재단법인 아산사회복지재단 | 도구의 위치 추적장치 |
JP2021033563A (ja) * | 2019-08-22 | 2021-03-01 | 三菱鉛筆株式会社 | 筆記具 |
KR102097033B1 (ko) * | 2019-10-16 | 2020-04-03 | 주식회사 코탁스 | 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 |
Also Published As
Publication number | Publication date |
---|---|
EP1596272A4 (en) | 2011-12-21 |
US7405725B2 (en) | 2008-07-29 |
WO2004068326A1 (ja) | 2004-08-12 |
US20070002015A1 (en) | 2007-01-04 |
JP4142460B2 (ja) | 2008-09-03 |
EP1596272A1 (en) | 2005-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4142460B2 (ja) | 運動検出装置 | |
CN106643699B (zh) | 一种虚拟现实系统中的空间定位装置和定位方法 | |
US11432879B2 (en) | Method and apparatus for wide area multi-body 6D pose tracking system | |
KR101285360B1 (ko) | 증강현실을 이용한 관심 지점 표시 장치 및 방법 | |
US10162057B2 (en) | Portable distance measuring device and method for capturing relative positions | |
US9083859B2 (en) | System and method for determining geo-location(s) in images | |
JP2004144557A (ja) | 3次元視覚センサ | |
JP2000097637A (ja) | 姿勢位置検出装置 | |
KR20170094030A (ko) | 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법 | |
CN109974687A (zh) | 一种基于深度摄像头的多传感器室内协同定位方法、装置及系统 | |
Aliakbarpour et al. | An efficient algorithm for extrinsic calibration between a 3d laser range finder and a stereo camera for surveillance | |
WO2019153855A1 (zh) | 一种360度环绕方位及位置感知物件信息获取系统及其应用 | |
JP4077385B2 (ja) | 画像処理を用いたグローバル座標取得装置 | |
JP2022544002A (ja) | 少なくとも一つのスキャン装置のためのフレームと少なくとも一つのスキャン装置を備える空間検出装置 | |
Núnez et al. | Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data. | |
KR102389762B1 (ko) | 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 인식 시스템 및 그 방법 | |
JPH11183172A (ja) | 写真測量支援システム | |
US20230388643A1 (en) | Portable device | |
CN117647217A (zh) | 混合现实设备定向及物体定位方法 | |
US11614835B2 (en) | Information processing device that projects drawing information according to ratio of distances, information processing method, and recording medium | |
JP2007226580A (ja) | 画像出力装置、及び画像出力方法 | |
CN109032330A (zh) | 无缝桥接ar装置和ar系统 | |
CN111133274B (zh) | 用于估计在环境和磁场中运动的对象的运动的方法 | |
KR101858488B1 (ko) | 구 형상의 좌표계 장치와 그를 이용한 lbs 위치 정보 산출 방법, 어플리케이션 및 서버 | |
Nakazawa et al. | Precise indoor localization method using dual-facing cameras on a smart device via visible light communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080603 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080612 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |