JP2004264892A - 運動検出装置及び通信装置 - Google Patents

Abstract

【課題】運動する物体の空間位置と姿勢及び動きを正確に認識できる運動検出装置を提供すること。
【解決手段】操作者の身体に装着され、操作者の身体の装着部の動きまたは姿勢を検出する自立型運動検出部２と、周囲の画像を同時に入力する光学系からの射影像を撮像する撮像部４０と、撮像部４０の撮像した全方位画像を円筒パノラマ画像に変換する画像変換部５０と、異なる時点の円筒パノラマ画像を比較する画像認識部６０と、この画像認識部６０の比較結果に基づいて、撮像部４０の運動情報を獲得するカメラ姿勢推定部７０と、自立型運動検出部２とカメラ姿勢推定部７０の情報をもとに装着部の空間上での位置・姿勢を獲得する空間センサ姿勢推定部８０とを備える。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は人の動作や身体の一部の動きなどを計測する運動検出装置、及びこのような運動検出装置とその他の制御装置とで情報を相互に通信するための通信装置に関するものである。
【０００２】
【従来の技術】
操作者の手にセンサを装着し、このセンサにより手の形状や動きを検出してこの検出結果に基づいてコマンドやステータスを生成させる技術は従来から知られていた。例えば、特許文献１には、光源と光センサとを光ファイバ等の導光路で接続してなるセンサを手の関節に複数取り付けて当該関節の曲がりを検出する技術が提案されている。また手の空間位置の認識においては、超音波センサをモニタの隅に配置し、手に装着された超音波発信機からの信号を計測することにより手のモニタに対する空間的位置を測定している例が挙げられている。
【０００３】
また、その他の例には、ＸＹＺ方向に静止磁界を発生させる交番磁界発生器を用いて、計測したい場所付近に基準磁界を与えておき、また、測定対象物側にはＸＹＺ方向の磁界を検出する磁気センサを取り付けておく。このような状態において、磁気センサで測定される信号強度と距離との関係より、測定対象物の基準磁界からの位置と姿勢を測定する装置も利用されている。
【０００４】
更にその他の例には、基準位置となる光源（ＬＥＤ、ランプ、レーザ光など）を使用し、受光素子（ＰＤ）、位置検出素子（ＰＳＤ、ＣＣＤ）あるいは光学系などを組み合わせ、三角測量の原理を利用して位置や姿勢を測定するものなどの多くの方式が提案されている。例えば、特許文献２には４個の発光素子と１個の受光素子とを組み合わせ、反射光の受光量の和に応じて手の移動方向や移動速度を検出する手振り検出装置が提案されている。また、特許文献３にはポインティング装置の移動位置をＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）測位方式によって検出する移動検出装置が提案されている。
【０００５】
さらに、本出願人による特許文献４では、手甲の位置に、位置及び姿勢を検出する慣性センサ（３軸角速度センサと３軸加速度センサ）を配置しておき、手甲の位置・姿勢をストラップダウン演算により求め、また、人差し指の端部、中指の端部、親指の端部及び中央部に指の折り曲げを検出する１軸角速度センサを配置して、手甲の姿勢と指の姿勢とから手指の形状を推定し、推定した手・指の形状や動きなどのジェスチャに基づいてコマンド信号を生成する操作入力装置が提案されている。
【０００６】
【特許文献１】
米国特許第５０９７２５２号公報
【０００７】
【特許文献２】
特開平１０−１４８６４０号公報
【０００８】
【特許文献３】
特開平１０−１７１５９１号公報
【０００９】
【特許文献４】
特開２０００−１３２３０５号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、前述した特許文献１の提案による超音波による手の位置計測方式や、基準位置に基準磁界を設けて基準位置に対する位置や姿勢を計測する方式では、その基準位置からの信号が及ぶ範囲内でなければ位置や姿勢を測定することができない。
【００１１】
また、前述した光源と光学系による三角測量方式や特許文献２の方式においても、同様に基準光源の設置とそのビーコンが観測できる範囲内でなければ利用することができない。
【００１２】
更に特許文献３のＧＰＳによる方式でも、ＧＰＳ衛星からの電波を受信する必要があり、電波の届かない建物の中や、電波が陰になるような場所では利用できない。そこで、この特許文献３の提案では、そのような場所でも測定できるように、電波発信機となるビーコンを設置することで、それらの問題を回避する方法を提案している。しかし、その方法にしても前述した提案と同様に、基準となる電波発信機の設置を必要としなければならず、どのような場所でも常に利用することはできない。
【００１３】
また、本出願人による特許文献４に記載の方法では、速度、位置などの並進運動の検出には加速度センサの時間積分の演算により行われるが、手甲の位置・姿勢を求める技術では、停止している場合と定速移動をしている場合の区別が困難であり、また、そのようなジェスチャの認識に課題があった。また、一般に高性能な慣性センサは大きく重量も重いので、身体に装着して利用するような用途には大きな負担となり、実際に利用するのが困難な場合が多い。それに対して小型の慣性センサを利用すると、そのセンサ信号のドリフトやノイズによる誤差が多く、高い精度を出すことができない。
【００１４】
したがって慣性センサによる方式においては、前述した方式のような基準の発信機の必要性や測定範囲の制限などがないが、その測定精度をより向上させることが重要な課題である。
【００１５】
また、操作入力装置や運動検出装置によって検出した情報を他の制御装置、例えばコンピュータ（以下ＰＣと称する）などと接続して利用する使用形態においては、検出情報の通信を無線通信で行い、さらにこのとき複数のＰＣの中のひとつのＰＣを操作する場合も想定される。このとき、ひとつの操作入力装置に対して、同時に複数の装置が反応しては操作上問題となる。また複数の操作入力装置が存在する場合も同様の問題が考えられる。
【００１６】
しかし、操作入力装置とＰＣとを接続するため及び接続の切り替えを行うために、わざわざ他の操作入力装置（マウスやキーボードなど）を使用して切り替えを行っていては、非常に煩雑な作業となり、その操作性も不便なものになってしまう。
【００１７】
本発明はこのような課題に着目してなされたものであり、その目的は、被装着物の空間位置と姿勢及び動きを光や電波のビーコンや基地局、さらには基準マーカーなどを常に必要とすることがなく、いつでも、どこでも、より正確に認識できる運動検出装置を提供することにある。
【００１８】
またさらに、本発明の目的は、複数のＰＣと操作入力装置との接続と通信設定を、操作者の意思により、簡単に切り替えることのできる通信装置を提供することにある。
【００１９】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明の運動検出装置は、他の基準装置を必要としない自立型運動検出手段を装着した対象物自身の位置・姿勢を検出する運動検出装置であって、前記自立型運動検出手段に固定され、前記対象物の周囲の画像を射影し、その射影画像を連続して撮像する撮像手段と、前記撮像手段が撮像した射影画像を円筒パノラマ画像に変換する画像変換手段と、前記画像変換手段により異なる時点で変換された２つの円筒パノラマ画像を比較認識する画像認識手段と、前記画像認識手段の認識結果に基づいて、前記対象物の位置・姿勢情報を推定するカメラ姿勢推定手段と、前記自立型運動検出手段の検出結果と前記カメラ姿勢推定手段の推定結果とに基づいて前記対象物の空間上での位置・姿勢を推定する空間センサ姿勢推定手段とを備える。
【００２０】
また、第２の発明は、第１の発明において前記自立型運動検出手段は、角速度センサ、加速度センサあるいは地磁気センサのうち、少なくとも２種類を組み合わせて構成される。
また、第３の発明は、第１の発明において前記自立型運動検出手段は、３軸が直交した角速度センサ及び少なくとも２軸以上が直交した加速度センサを含んで構成される。
また、第４の発明は、第１の発明において前記自立型運動検出手段は、３軸が直交した角速度センサ及び少なくとも２軸以上が直交した地磁気センサを含んで構成される。
【００２１】
また、第５の発明は、第１の発明において前記撮像手段が、前記対象物の周囲の全方位像を射影し、その射影画像を連続して撮像する全方位撮像手段を具備する。
また、第６の発明は、第５の発明において前記全方位撮像手段は、少なくとも４面の平面ミラーにより前記対象物の周囲の画像を射影する光学系を備える。
また、第７の発明は、第５の発明において前記全方位撮像手段は、曲面ミラーにより前記対象物の周囲の画像を射影する光学系を備える。
また、第８の発明は、第５の発明において前記全方位撮像手段は、魚眼レンズ、等距離射影レンズ、等立体角射影レンズの何れかのレンズを用いて前記対象物の周囲の画像を射影する光学系を備える。
また、第９の発明は、第５の発明において前記全方位撮像手段は、光軸が一致しており、さらにその光軸方向が逆方向である二つの全方位撮像手段を備える。
【００２２】
また、第１０の発明は、第１の発明において前記画像変換手段は、前記撮像手段が撮像した画像を前記円筒パノラマ画像に変換するときに、重力軸方向のベクトルの向きと前記自立型運動検出手段で検出された重力軸周りの回転角とを考慮した重力補正パノラマ画像に変換する。
【００２３】
また、第１１の発明は、第１の発明において前記カメラ姿勢推定手段は、前記対象物の位置・姿勢情報を推定するのに先立って、前記円筒パノラマ画像の中の特徴点の新規登録を行い、この特徴点の新規登録において、特徴点情報としてフレーム画像から見た３次元情報と現在のカメラフレームとを登録し、前記特徴点が現れてから消えるまでの間の特徴点を追跡し、それに応じて前記フレーム画像から見た３次元情報を更新し、さらに、別の特徴点が現れたときに、現在のカメラフレームから求められる前記別の特徴点の３次元情報を登録することにより、連続する画像の中で現れては消えてゆく複数の特徴点の位置を追跡し、前記複数の特徴点の動きよりワールド座標空間に対する現在のカメラフレームを獲得する。
また、第１２の発明は、第１０の発明において前記画像変換手段により得られた重力補正パノラマ画像の中から垂直方向の線分を複数抽出し、この抽出した複数の線分が前記画像変換手段によって異なる時点で得られた重力補正パノラマ画像の中のどの位置に存在するのかを追跡することにより対象物の位置・姿勢情報を推定する。
また、第１３の発明は、第１０の発明において前記画像変換手段により得られた重力補正パノラマ画像の中のオプティカルフローにより、対象物の位置・姿勢情報を推定する。
【００２４】
また、第１４の発明は、第１の発明において前記運動検出装置の初期化のときに、既知の大きさまたは既知の間隔の特徴点認識用識別マークの画像を前記撮像手段によって取り込み、この取り込んだ特徴点認識用識別マークの画像の大きさまたは間隔より奥行き情報を求めて初期化登録する初期化手段をさらに有する。
また、第１５の発明は、第１の発明において前記運動検出装置の初期化のときに、予め定められた位置に設けられた特徴点認識用識別マークの画像を前記撮像手段によって前記特徴点認識用識別マークから既知の距離だけ離れた位置から取り込み、そのときの特徴点の奥行き情報を初期化登録する初期化手段をさらに有する。
また、第１６の発明は、第１の発明において前記運動検出装置の初期化のときに、身体の一部または全体の画像を前記撮像手段によって取り込み、その取り込んだ画像と、予め登録しておいた身体の一部または全体の形状の大きさから求められる特徴点の奥行き情報を初期化登録する初期化手段をさらに具備する。
また、第１７の発明は、第１の発明において前記運動検出装置の初期化の時に、身体の特徴部の画像を前記撮像手段によって既知の距離から取り込み、この取り込んだ画像に基づいて特徴点の奥行き情報を初期化登録する初期化手段をさらに具備する。
また、第１８の発明は、第１の発明において前記運動検出装置の初期化の時に、前記運動検出装置を装着した部位から予め定められた方向及び距離の画像を前記撮像手段によって取り込み、この取り込んだ画像中の特徴点の奥行き情報を初期化登録する初期化手段をさらに具備する。
また、第１９の発明は、第１の発明において前記運動検出装置の初期化の時に、前記運動検出装置を装着した部位を既定の距離だけ移動させる動作を行ったときの画像を前記撮像手段によって取り込み、この取り込んだ画像中の特徴点の奥行き情報を初期化登録する初期化手段をさらに具備する。
【００２５】
また、第２０の発明は、第１〜第１９のいずれかの発明の運動検出装置を、身体の一部に装着することで、前記運動検出装置を装着した身体の一部の動きや姿勢を検出する。
また、第２１の発明は、第１〜第１９のいずれかの発明の運動検出装置を、手甲に装着することで、前記運動検出装置を装着した対象物の手の動きや姿勢を検出する。
また、第２２の発明は、第１〜第１９のいずれかの発明の運動検出装置を、頭部に装着することで、前記運動検出装置を装着した対象物の頭部の動きや姿勢を検出する。
【００２６】
また、第２３の発明の通信装置は、無指向性の搬送メディアによる無線通信機能を備えた無指向型無線通信手段と、指向性を有し、前記搬送メディアと異なる搬送メディアあるいは周波数による無線通信機能を備えた指向型無線通信手段とを備え、通常の通信には前記無指向型無線通信手段を使用し、通信相手を決定する時には前記指向型無線通信手段を使用する。
また、第２４の発明は、第２３の発明において前記無指向型無線通信手段は電波による通信を行うものであり、前記指向型無線通信手段は光または音波による通信を行うものである。
【００２７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
まず、本発明の実施形態に係る運動検出装置を含む空間姿勢センサシステム（運動計測装置３）の概略構成を図１に示す。またワールド座標空間｛Ｗ｝における各センサの姿勢フレームの関係を図３に示す。
【００２８】
つまり、図１においてワールド座標空間｛Ｗ｝に対する姿勢・位置（ポーズ）を検出する運動検出装置が空間姿勢センサ１である。また、空間姿勢センサ１が求めようとする位置・姿勢を表すフレームは、図３で示される空間センサフレーム｛Ｈ｝である。
【００２９】
図１において、空間姿勢センサ１は、角速度センサ１０と加速度センサ２０の慣性センサにより構成された自立型運動検出部２と、撮像部４０とにより構成されている。
【００３０】
自立型運動検出部２に含まれる３軸の角速度センサ１０と３軸の加速度センサ２０は、空間センサフレーム｛Ｈ｝上のＸＹＺ軸方向にそれぞれ固定配置され、また同じフレーム上、つまり同じ支持部材上に撮像部４０も固定される。
【００３１】
自立型運動検出部２の、角速度センサ１０と加速度センサ２０である慣性センサフレームと、撮像部４０であるカメラセンサフレーム｛Ｃ｝とは、共に空間センサフレーム｛Ｈ｝に固定されているので、これらのフレームは空間姿勢センサ１自身の運動により時々刻々変化する座標系となる。
【００３２】
ここでは取り扱いを簡単にするために、自立型運動検出部２の慣性センサフレームは空間姿勢センサ１のフレームと一致しているものとする。また撮像部４０より求められるカメラ位置姿勢情報は、ワールド座標空間｛Ｗ｝に対するカメラセンサフレーム｛Ｃ｝の位置姿勢情報である。
【００３３】
自立型運動検出部２からの信号は姿勢演算部３０により取り込まれた後、自立型運動検出部２の姿勢情報を演算する処理において利用される。なお、この処理については後で詳しく述べる。
【００３４】
また、周辺像を射影する光学系と、その射影された像を画像情報に変換する撮像部４０により連続的に取り込まれる周辺画像情報は、画像変換部５０により円筒パノラマ画像に変換される。
【００３５】
その後、画像認識部６０において、画像変換部５０によって変換された円筒パノラマ画像の中から特徴点を抽出する処理と１つ前の変換画像からその特徴点を追跡する処理が行われる。
【００３６】
これらの処理に続いて、カメラ姿勢推定部７０では、画像認識部６０で取得した特徴点追跡情報と、姿勢演算部３０で取得した自立型運動検出部２の姿勢情報、つまり、空間姿勢センサ１の姿勢情報により、カメラセンサフレーム｛Ｃ｝の位置・姿勢が推定される。
【００３７】
また、このカメラ姿勢推定部７０で推定されたカメラセンサフレーム｛Ｃ｝の位置・姿勢の情報は、前記姿勢演算部３０において空間姿勢センサ１の姿勢情報を補正するための処理で利用される。
【００３８】
さらに、空間センサ姿勢推定部８０では、前記姿勢演算部３０において求められた姿勢情報がワールド座標空間｛Ｗ｝における空間センサフレーム｛Ｈ｝に変換される。
【００３９】
なお、画像変換部５０及び画像認識部６０では、姿勢演算部３０からの空間姿勢センサの情報を利用することにより、計算処理コストを下げている。
【００４０】
次に、図１の空間姿勢センサを利用した操作入力装置の概略を説明する。
図２は、姿勢・位置検出用の運動検出センサ群（前述の自立型運動検出部２）と同一の基板上に前述の撮像部４０である全方位画像センサ４０ａを構成した空間姿勢センサ１を手に装着して使用する操作入力装置の概要を示したものである。
【００４１】
なお、ここでの自立型運動検出部２は、操作者の手の位置と姿勢、及び動きを検出するために、前述の３軸の角速度センサ１０Ｘ、１０Ｙ、１０Ｚ（以下これらをまとめて角速度センサ１０と称する）及び３軸の加速度センサ２０Ｘ、２０Ｙ、２０Ｚ（以下これらをまとめて加速度センサ２０と称する）を含むセンサ群で構成されている。
【００４２】
このとき、手甲の回転運動と並進運動は、加速度センサ２０と角速度センサ１０から得られる情報をストラップダウン演算処理することにより求めることができる。
【００４３】
しかし、加速度センサ２０から出力される慣性運動による加速度情報は、加速度運動が無い場合、つまり、物体が定速移動している場合や停止している場合にはゼロとなる。このような２つの場合の操作入力装置の運動状態は、加速度センサ２０では区別できない。また並進運動は加速度信号を１回時間積分することで速度が求まり、さらにもう一回時間積分することで距離を求めることができる。しかし、２回の時間積分と信号のノイズ成分により誤差を大きく生じさせてしまう。
【００４４】
さらに角速度センサ１０による回転姿勢情報には、ドリフトによる誤差成分が加わるので、加速度センサ２０の重力加速度成分が基準となるように補正処理を行う。しかし、重力ベクトルは重力軸周りの回転情報をもっていないので、この補正処理では、重力軸周りの回転に対する補正はできない。
【００４５】
そこで本実施形態では、手の甲の位置と姿勢をより高精度に検出するために、撮像部に周囲の画像を射影し、その画像より空間６軸方向の運動情報を検出する全方位画像センサ４０ａを備える。
【００４６】
なお、この全方位画像センサ４０ａに用いる光学系は、光軸方向が手甲Ｚ座標軸方向（手甲面垂直方向）と一致するように配置され、１８０°の画角を有した魚眼レンズを含む。
【００４７】
したがって、装着者の手甲の側の全天周の画像を同時に撮像し、それらの画像の変化より、全方位画像センサ４０ａと周辺物体との間の相対的な運動を知ることができる。この全方位画像センサ４０ａで検出した相対運動の情報と自立型運動検出部２の情報とをセンサ融合することで手甲の空間上での姿勢と位置を、より高精度に測定することが可能となる。
【００４８】
一方、光軸方向は前述した手甲Ｚ座標軸方向に限るわけではなく、測定する環境や、運動情報として特に精度が必要な運動方向などによって、その方向を切り替えて利用することもできる。また、この切り替えを利用時に切り替えて使用可能にしても良い。また画角に関しても１８０°迄ではなく、さらに広画角でもかまわない。
【００４９】
ここで、この操作入力装置の運動検出装置部分のみを見る場合には、加速度センサ２０と角速度センサ１０により構成される自立型運動検出部２と周辺画像より姿勢を獲得する撮像部４０からなる空間姿勢センサ１のみに注目し、指先のセンサ群７は考える必要がない。
【００５０】
図４（Ａ）に本実施形態の光学系の入射光線と射出光線の概略を示す。また、図４（Ｂ）は入射光線角に対する像高の関係と方位角の関係を、射影画像上で示した図である。
【００５１】
なお、この光学系は入射角（θ）に対して結像面での像高（ｙ’）がｙ’＝２ｆ・ｓｉｎ（θ／２）となる等立体角射影レンズの例で構成されている。この場合、得られる像は、物体の見かけの面積、つまり、物体の立体角に比例した像となる。しかし、像の形状は入射角が大きくなるに従って変化し、扁平になる。また画角も１８０°の光学系となっており、天頂方向に光軸を向けた場合、全天周の画像が射影される。また、その射影画像は図４（Ｂ）に示すように、円形のイメージとなる（以下、この画像を全方位画像と称する）。
【００５２】
入射光線は光学系の射影関係式より、天頂からの角度、つまり光軸中心に対する角度（θ）に対して、全方位画像の同心円の円周上に射影される。つまり、角度が大きくなる、つまり、水平方向に傾くにつれて、図４（Ｂ）の同心円の半径が大きくなる位置に射影位置が変わる。例えば、入射角が９０°の光線は水平線からの光線で、円周の端に射影されることとなる。また方位角方向からの光線は、全方位画像の円の中心線の方位角と一致する線上に射影される。
【００５３】
したがって、全方位画像上の円の中心位置と半径がわかっているので、全方位画像センサ４０ａ上での２次元座標位置が与えられれば、入射光線の入射角と方位角を求めることができる。
【００５４】
なお、ここでの光学系は、超広画角の光学系であり、空間上の点と画像上の点が定式化できる光学系であればよく、射影方式もここで説明したものに限るものではない。例えば、超広画角のピンホールカメラであれば、中心射影による関係式（ｙ’＝ｆ・ｔａｎθ）により導くことができる。また魚眼レンズ等であれば、等距離射影レンズ（ｙ’＝ｆθ）、正射影レンズ（ｙ’＝ｆ・ｓｉｎθ）、立体射影レンズ（ｙ’＝２ｆ・ｔａｎ（θ／２））などの光学系を利用することも可能である。
【００５５】
図５に、この全方位画像センサ光学系による撮像系と自立型運動検出部２を組み込んだ運動検出装置のその他の実装形態の例を示す。この例では、円筒形の筐体４６上部に超広角光学系のレンズ４１０を配置し、その下に撮像素子４２０を前記射影条件となるように配置する。なお、本光学系はピンホールカメラのような結像系となり、近点から遠点まで焦点の合った映像が結像される。さらにその下部に、角速度センサと加速度センサからなる自立型運動検出部２が、直交する空間３軸方向を検出可能なように配置される。その他にこれらの信号を処理する処理系が組み込まれており、この装置単独で空間上の姿勢・位置を検出することが可能である。
【００５６】
また図６（Ａ）、図６（Ｂ）及び図７（Ａ）、図７（Ｂ）にはその他の光学系を用いた変形例と、その変形例による撮像イメージを示す。
【００５７】
図６（Ａ）は平面ミラー４枚６ａ、６ｂ、６ｃ、６ｄを四角錐４１１の側面に貼り付けた構成例である。この四角錐４１１は頂点側がカットされた形状であり、それを図のように逆さまに配置したときに、平面ミラー６ａ、６ｂ、６ｃ、６ｄに反射された像が結像レンズ系４７を通して撮像素子４２０に射影される。また四角錐４１１の底面６ｆと上面６ｅは共に透明、あるいは透過であり、結像レンズ系４７の光軸方向の周辺像が、底面６ｆ及び上面６ｅを透過した後、撮像素子４２０に射影される。したがって、図６（Ｂ）のようにレンズ光軸と直交する４方向の画像６Ａ、６Ｂ、６Ｃ、６Ｄと光軸方向６Ｅの計５軸方向の画像が同時に撮像される。なお、ミラー枚数をさらに増やすことでさらに多くの方向の画像を撮影することも可能である。この光学系による射影像は５つの領域に分割された中心射影であるので、画像情報の一次変換式により特徴点の空間位置方向を容易に求めることができる。
【００５８】
次の図７（Ａ）は放物面ミラーを利用した変形例である。この例では、放物面形状４１２の外面をミラーとしたものを配置する。放物面ミラー７ａに反射された周辺像は結像レンズ系４７を通して撮像素子４２０に射影される。なお、前記同様に、放物面形状４１２の頂点はカットされている。また、上面７ｃと底面７ｂは共に透明、あるいは透過であり、結像レンズ系４７の光軸方向の周辺像がこれらの面を透過した後、撮像素子４２０に射影される。
【００５９】
したがって、図７（Ｂ）のように光軸と直交する全方向の画像７Ａと光軸方向の画像７Ｂが同時に撮像される。さらに放物面ミラーでの反射像のイメージは円形となるが、この外側には中央の透過した画像と同じ方向の画像７Ｄが射影される。この例では前記平面ミラーのタイプよりも、より多くの画像を同時に撮像することが可能となる。
【００６０】
次に、全方位画像センサのカメラセンサフレームである全方位センサ座標系｛Ｃ｝（図に示す斜線部分がＸ_ｃ−Ｙ_ｃ面を示す）と従来のパノラマ座標系の関係を図８の（ａ）〜（ｃ）に示す。
【００６１】
図８の（ａ）は、全方位画像センサに入射する面をイメージ的に球体の面で表している。入射光線はこの球体の中心位置Ｏ_ｃに向かって入射する。この入射光線は球体表面の位置Ｑ_ｃで交差する。そして、このときの入射角（θ_ｃ、φ_ｃ）と、等立体角射影レンズの関係により変換された後、イメージセンサ上に入射される。このとき、イメージセンサ上には、図８の（ｂ）に示すような全方位画像が生成される。
【００６２】
また、図８の（ａ）で示す円筒形は、全方位画像を光軸中心点を中心に円筒パノラマ画像に展開したときの、画像と球面との位置関係を理解し易くするために配置したパノラマ画像円筒面である。つまりこのパノラマ画像円筒面を２次元状に展開したのが図８の（ｃ）に示す円筒パノラマ画像である。
【００６３】
この円筒パノラマ画像の円筒形は全方位画像センサの光軸と回転中心軸とが常に一致したカメラ座標系に固定される。
【００６４】
ここでカメラ座標系｛Ｃ｝に固定された全方位画像センサから得られる全方位画像は、常にＺ_ｃ軸に対して、下から覗いたような画像となる。
【００６５】
この全方位画像を変換したパノラマ画像［Ｐ_ｃ］の画像領域は、高さが全方位センサ座標軸Ｚ_ｃに対する入射角度θの入射範囲に対応し、横幅が方位角度φの範囲に対応する矩形画像に変換される。
【００６６】
つまり、球体の全ての方向（θは０〜１８０°、φは０〜３６０°である）からの入射光を射影可能な画像センサならば、パノラマ画像領域全面に映像を生成することができる。しかし、実際的には半球となるので、入射角度θ（０〜９０°）に相当する上半分の領域のパノラマ画像［Ｐ_ｃ］となる。この場合には、センサがどのような姿勢になってもこの範囲外に変換画像が生成されることはない。
【００６７】
このような従来のパノラマ画像処理では、全方位画像センサの光軸を中心として円筒パノラマ画像に展開するので光軸中心に相当するパノラマ画像領域の上部ほど画像歪みが大きくなる。これにより、特徴点の画像位置によっては全方位画像センサの動きに対する画像歪みの変化が大きくなり、追跡が困難となってしまう。
【００６８】
そこで、本実施形態では、全方位画像センサの回転姿勢が変化してもその射影画像の表示位置が変化しない、ワールド座標に回転運動が固定されたパノラマ画像面を実装する。このときのパノラマ画像の関係を図８の（ｄ）〜（ｆ）に示す。
【００６９】
まず、重力軸と平行な重力方位座標系｛Ｐ｝に円筒パノラマ画像面を定義する。図８の（ｆ）は、重力方位座標系｛Ｐ｝（Ｘ_ｐ−Ｙ_ｐ−Ｚ_ｐ）を基準にした円筒パノラマ画像面に対してパノラマ画像変換した重力補正パノラマ画像［Ｐ_ｐ］を示している。
【００７０】
つまり、重力補正された円筒パノラマ画像［Ｐ_ｐ］の座標系｛Ｐ｝は図８の（ｄ）に示すように中心軸Ｚ_ｐが常に天頂方向を向いており、また、他の座標軸もワールド座標系｛Ｗ｝と一致している。つまり図８の（ｄ）における座標系｛Ｐ｝の各座標軸は、回転がなく並進方向に変位するだけの座標軸となる。
【００７１】
なお、この場合の重力補正処理には、自立型運動検出部２の加速度センサ２０による重力ベクトル情報と、角速度センサ１０の回転情報を、パノラマ変換時の情報として利用する。
【００７２】
ここでワールド座標系｛Ｗ｝のＺ_ｗ軸は地球の重力ベクトルと一致した座標軸であり、したがってパノラマ座標系｛Ｐ｝のＺ_ｐ軸も同様に重力ベクトルと一致している。なお、Ｘ_ｐ、Ｙ_ｐ軸は空間姿勢センサが初期化されたときの方位方向を示す軸である。
【００７３】
したがって初期化のときには、パノラマ座標系｛Ｐ｝とワールド座標系｛Ｗ｝とは完全に一致している。それに対して全方位画像センサの全方位パノラマ座標系｛Ｃ｝は少なくとも回転中心位置Ｏ_ｃだけがワールド座標系｛Ｗ｝の中心位置と一致するが、その他の座標系は必ずしもワールド座標系｛Ｗ｝と一致しない。
【００７４】
また、全方位画像センサのカメラセンサフレーム｛Ｃ｝は、空間姿勢センサの動きとともに、ワールド座標系｛Ｗ｝に対して空間６軸の自由度を持って変位するが、パノラマ座標系｛Ｐ｝はワールド座標系｛Ｗ｝に対して並進３軸の自由度を持った変位しかしない、回転３軸が固定された座標系となる。
【００７５】
つまり、ワールド座標空間上の任意の点δ_ｗ（ｘ，ｙ，ｚ）から全方位パノラマ座標系｛Ｃ｝への入射光線は全方位画像センサのＱ_ｃ点に入射角（θ_ｃ，φ_ｃ）で入射する。しかし、重力補正パノラマ座標系｛Ｐ｝に変換した全方位画像センサから同じ点δ_ｗ（ｘ，ｙ，ｚ）を見た場合、Ｑ_ｐ点には入射角（θ_ｐ，φ_ｐ）で入射することになる。なお、それぞれの座標系での画像上でのＱ点の位置を図において小丸で示す。
【００７６】
従来の全方位画像でのパノラマ画像への変換では、光軸中心であるＺ_ｃ軸の球面上の交点に相当する全方位画像の円の中心位置、つまり、図８の（ｂ）で示す破線の交点を基準として、図８の（ｃ）のようにパノラマ画像［Ｐ_ｃ］に展開していた。しかし、重力補正方式では重力ベクトルであるＺ_ｐ軸と球面上の交点、つまり、図８の（ｅ）で示す破線の交点を求め、そこを中心として全方位画像からパノラマ画像に展開することで、図８の（ｆ）に示す重力補正されたパノラマ画像［Ｐ_ｐ］を生成する。ここで図８の（ｅ）は仮想的なイメージを示すものであり、実際に取得される画像ではない。
【００７７】
次に、このときの、重力補正全方位座標系の仮想的な画素（ｕ_ｐ，ｖ_ｐ）に対応するカメラ座標系の画像（ｕ_ｃ，ｖ_ｃ）を求める。
【００７８】
なお、ここでは、全方位画像センサの光学系は等立体角射影変換のもので構成されている例で説明するが、等距離射影方式やその他の光学系においても基本的な考え方は同じである。
【００７９】
まず、実際に取得される全方位画像より以下の関係式が導かれる。
【数１】

【００８０】
なお、この（式１）の左式はカメラ画像内での画像表現を示し、右式はカメラ座標系での三次元座標値を示す。また、ｄ_ｃはＯ_ｃからδ_ｃ（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）までの未知の距離を表す。
さらに（式１）の両式より、（式２）が導かれる。
【数２】

【００８１】
同様に重力補正された全方位画像からは以下の関係式が導かれる。
【数３】

なお、この（式３）の左式はあたかも同じカメラで重力ベクトルの方向に見たかのごとく画像を回転したときに与えられる画像表現を示し、右式は重力補正全方位画像の座標系での三次元座標値を示す。また、ｄ_ｐはＯ_ｐからδ_ｐ（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）までの未知の距離を表す。
【００８２】
ここで、重力補正パノラマ座標系｛Ｐ｝の原点Ｏ_ｐと全方位画像センサのカメラ座標系｛Ｃ｝の原点Ｏ_ｃは一致しているので、それぞれの座標系での三次元座標値の関係は、
【数４】

となる。
ここで、（式４）の_ｃＲ_ｐまたは_ｐＲ_ｃはカメラ座標系｛Ｃ｝の回転姿勢情報であり、角速度センサ１０と加速度センサ２０とから推定された、重力ベクトルを含む回転マトリックスである。
【００８３】
以上の関係式より、実際には図１０のような重力補正されたパノラマ画像［Ｐ_ｐ］の各画素位置（ｉ，ｊ）に対応する全方位画像センサ画像｛Ｃ｝上の画素情報を求め、重力補正パノラマ画像を生成する。
【００８４】
実際の全方位画像上の座標位置（Ｕ_ｃ，Ｖ_ｃ）と正規化された画像位置（ｕ_ｃ，ｖ_ｃ）の関係は（式５）となる。
【数５】

【００８５】
ここで、αは入射角度の最小値θ_ｐｍｉｎと最大値θ_ｐｍａｘの関係により決定される。また、（Ｕ_０，Ｖ_０）は全方位画像の光軸中心画像位置である。このような（α，Ｕ_０，Ｖ_０）を求めることが画像のキャリブレーションに相当する。
【００８６】
重力補正パノラマ画像［Ｐ_ｐ］（Ｉ_ｐ−Ｊ_ｐ）領域上の画像位置を（ｉ，ｊ）とすると、パノラマ画像座標系｛Ｐ｝に対する光線入射角度θ_ｐとφ_ｐの関係は下記の（式６）のようになる。
【数６】

【００８７】
ここで、（Ｐ_ｍａｘ，Ｑ_ｍａｘ）はパノラマ画像処理領域の縦横の画像サイズを表す。こうしてθ_ｐとφ_ｐが求められると、（式３）より（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）を求めることができる。ここで、ｄ_ｐ＝１として、予め（θ_ｐ，φ_ｐ）、あるいは（ｉ，ｊ）から（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）を求めるテーブルを作成しておいても良い。
【００８８】
次に、加速度センサより求められるＸ_ｗ，Ｙ_ｗ軸に対する水平傾き情報（φ_ｘ，φ_ｙ）、角速度センサより推定される重力軸まわり回転角（φ_ｚ）とすると、ワールド座標系｛Ｗ｝から見た慣性センサ座標系｛Ｓ｝（カメラ座標系｛Ｃ｝と同じ）の回転姿勢情報の推定値_ｃＲ_ｐまたは_ｐＲ_ｃは（φ_ｘ，φ_ｙ，φ_ｚ）より求めることができる。
【００８９】
よって、（式４）の関係より、（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）と_ｃＲ_ｐから（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）を算出する。次にこの算出した（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）と（式２）より実際のカメラ座標系における入射光線角（θ_ｃ，φ_ｃ）を求める。
【００９０】
さらに前記（式１）より、全方位画像上の正規化された座標位置（ｕ_ｃ，ｖ_ｃ）を計算し、これらの値と（式５）より実際の画像位置の座標（Ｕ_ｃ，Ｖ_ｃ）を求める。この座標の画素情報を読出すことで、前記パノラマ画像の画像位置（ｉ，ｊ）の情報を求める。
【００９１】
以上の操作を、パノラマ画像の各画素に対して繰り返しながら行うことで、重力補正パノラマ画像を生成する。
【００９２】
なお、以上の処理の中で、パノラマ画像の座標位置に対応する全方位画像領域は、その全方位画像センサの姿勢によって対応する点が存在しない場合がある。それは、（式２）から求められるθ_ｃが入射画角範囲外のときである。今回の半球型の画像センサでは、０≦θ_ｃ≦９０°の範囲外の光線は入射しない。そこで、この範囲外のときのパノラマ画像の輝度値を０とする。
【００９３】
また、半球型の全方位画像センサでは、パノラマ画像の画像全体に占める領域の割合が５０％となるので、処理された画素数が５０％に達したならば途中で演算を取りやめて、その後の領域は全て０とすることで演算処理を高速化することもできる。
【００９４】
また重力ベクトルの傾きや方位角の値により、パノラマ画像の画素走査を開始する位置や方向、さらに終了する位置などの範囲を適応化させることで、変換処理を高速化することが可能である。
【００９５】
図９は、前記した図１の中の画像認識部６０とカメラ姿勢推定部７０の内部で行われる処理をより詳細に示している。この図をもとに、画像認識部６０及びカメラ姿勢推定部７０における処理の流れを説明する。
【００９６】
まず、全方位画像データを射影光学系４１０と撮像素子４２０を含んで構成される撮像部４０において取得する。次に、取得した全方位画像データを画像変換部５０において前述した重力補正パノラマ画像に変換する。その後、重力補正パノラマ画像に変換した画像を画像認識部６０に出力する。
【００９７】
画像認識部６０では周辺画像の相対的な動きを求めるために、連続するフレーム画像から特徴点の抽出や探索等の特徴点処理を行う。
【００９８】
まずは、重力補正パノラマ画像に変換されたフレーム画像データから特徴点を求めるために新規特徴点抽出処理６４を行う。ここでは、特徴点となる画像を探すために、まず、予め決められた座標位置周りの入力画像のエッジを検出する。その後、検出したエッジを評価することにより特徴点の探索を行う。そのために、パノラマ画像領域を任意の矩形領域で分割して探索範囲とした特徴点初期探索領域を定義する。この定義した領域における中心位置付近が特徴点の探索を開始する座標位置となる。
【００９９】
なお、探索を開始する座標位置を定義した領域内付近とするのは、特徴点情報として、空間姿勢センサ１に対して分散された多くの方向からのデータが利用できるようにするためであり、また、空間姿勢センサ１の前後左右上の周辺方向からの特徴点の動きを比較することで、空間姿勢センサ１自身の空間内での動きをより正しく推定できるようにするためである。
【０１００】
また、入力画像のエッジを検知する方法として、ここでは、Ｘ方向及びＹ方向の微分オペレータ（例えばＳｏｂｅｌオペレータ）によるエッジ検出を行うことによって、エッジが存在する場所をＸＹ両方向で探す。これは、後の特徴点画像のマッチング処理６３での誤りを減らすためである。
【０１０１】
新規特徴点抽出処理６４の結果、特徴点が抽出されると特徴点登録処理６６を行う。この特徴点登録処理６６においては、新規の特徴点情報として、特徴点登録座標（ｕ_ｋ，ｖ_ｋ）と、特徴点を中心位置とするある一定の矩形領域の特徴点画像と、この登録時に既に求めれらているワールド座標空間｛Ｗ｝に対する姿勢情報である空間センサフレーム｛Ｈ｝とを登録し、さらに登録済みフラッグにも情報をセットする。
【０１０２】
なお、特徴点登録処理６６では初期探索位置付近で抽出することができたすべての特徴点に対して前記した特徴点情報の登録処理を行う。
【０１０３】
最初のシステム初期化の時点においては、画像認識部６０の処理はここで終了する。そして、その次から入力される２フレーム目の処理において、これらの特徴点情報が一つ前の情報としてマッチング処理６３において利用される。
【０１０４】
次の２フレーム目以降からの画像処理においても、前記と同様のエッジ検出の処理を行う。また、このときに、予め登録された特徴点情報の登録済みフラッグを調べる。なお、この処理を図では、「フレーム間処理６２」で示している。
【０１０５】
登録済みフラッグを調べた結果、登録されている特徴点が存在する場合には、現在のフレーム画像内での特徴点登録座標（ｕ_ｋ，ｖ_ｋ）付近で、登録しておいた画像と最も相関の高い部分を探索する。ここで、正しい位置、つまり、相関の高い部分が見つかった場合には、現在の特徴点座標として記憶し、特徴点探索フラッグの情報をセットする。一方、相関の高い部分が見つからなかった場合には、登録情報の登録済みフラッグ及び特徴点探索フラッグをリセットする。
【０１０６】
ここでの処理では、特徴点登録位置に対してある一定の範囲内を特徴点画像を走査しながらマッチング処理６３を行う。マッチング処理６３においては、相関値の最も高い場所をマッチング位置として検出し、この位置を特徴点マッチング座標（Ｕ´，Ｖ´）とする。さらに、その相関値がある基準値を超えているか否かを判定し、ある基準値を超える相関値であった場合には、正しく探索できたと判定する。
【０１０７】
また、マッチング処理６３におけるマッチング位置の検出では、入力されたフレーム画像に対して、特徴点画像データを少しずつ移動走査しながら相関値が最も高くなる位置を検出する。これは、画素情報の集合である特徴点画像データと入力されたフレーム画像とを重ね合わせ、各画素の差分の絶対値を全画素分だけ積分したときの値が最も小さなところを探すことにより行う。そのために従来の相関処理では、開始アドレスである特徴点座標（ｕ_ｋ，ｕ_ｋ）に探索領域の大きさの平行移動分のアドレス操作と、さらにアフィン変換による回転操作を加える必要があった。このため、平行移動と回転移動を組合わせた操作を、ひとつの特徴点画像を探索するために行わなければならず、非常に多くの計算処理が必要であった。さらにこの処理を、登録されているすべての特徴点に対して行わなければならず、非常に多くの計算処理コストがかかっていた。
【０１０８】
そこで、本実施形態では、フレーム画像として重力補正パノラマ画像データを利用している。また、この重力補正パノラマ画像データを作成する際には、前述したように常に画像の上下方向が重力ベクトル軸方向に、また画像の左右方向が水平回転方向のある向きに、常に一定になるように回転補正し、画像変換している。
【０１０９】
したがって、正しく重力補正の画像変換がなされており、さらに空間姿勢センサ１が回転運動だけの動きであるならば、その特徴点画像は、常に同じ位置に固定されることになる。そして、このときの回転運動に対しては、パノラマ画像領域内での射影画像の表示範囲が変化するだけである。
【０１１０】
よってテンプレートマッチング処理を行う際に、画像のアフィン変換による回転操作を加える必要がなく、また、さらに空間姿勢センサ１の回転運動に伴う動きに対してもテンプレート画像を大きく走査する必要も無く、マッチング処理の負荷を非常に少なくすることができる。
【０１１１】
なお、実際のパノラマ画像変換には、自立型運動検出部２のセンサ信号を利用しているので、この姿勢情報の推定誤差の量と、さらに空間姿勢センサ１の並進移動による特徴点の位置の変位が現れることになる。しかしこの場合においても画像の回転操作の必要は無く、並行移動の操作だけの非常に簡単なマッチング処理を行うだけでよい。
【０１１２】
また、加速度センサ２０により推定される並進移動情報を用い、特徴点の移動画像位置を推定して、その推定位置付近を走査することで、よりマッチング処理を高速化することも可能である。
【０１１３】
したがって、空間センサフレームの対応でみると、この現時点で更新されている空間センサフレームｎの位置姿勢｛_０Ｈ_ｎ｝（ワールド座標系からみた現在のセンサフレームｎへの座標変換を意味する）を算出する場合には、各特徴点が登録された時点でのセンサフレームｋである｛_０Ｈ_ｋ｝の逆変換｛_ｋＨ_０｝と、各特徴点が登録されてから現在の空間センサフレームｎまでの座標変換を表す相対運動パラメータ｛_ｋＨ_ｎ｝あるいはその逆変換である｛_ｎＨ_ｋ｝を利用して推定する。数学的には、例えば、センサフレームｋでの座標値（ｘ_ｋ，ｙ_ｋ，ｚ_ｋ）が、センサフレームｎでの座標値（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）に対応するとすれば、
【数７】

のように座標変換で表されるものとなる。ここで_ｎＲ_ｋは回転行列であり、ｒ_ｉｊ（ｉ＝１，２，３，ｊ＝１，２，３）を要素とする３×３行列を表す。この行列は、３個の独立なパラメータ（φ_ｘ，φ_ｙ，φ_ｚ）により表現できる。一方、_ｎＴ_ｋは並進ベクトルを表し、独立な３個のパラメータ（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）で表現することができる。すなわち、各フレーム間の位置姿勢関係は計６個のパラメータ、例えば（φ_ｘ，φ_ｙ，φ_ｚ，ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）で表すことが可能である。
【０１１４】
つまり、_０Ｈ_ｎ＝_０Ｈ_ｋｋＨ_ｎ、あるいは_ｎＨ_０＝_ｎＨ_ｋｋＨ_０の関係式を利用しながら、現時点のセンサフレームｎのワールド座標系における位置姿勢関係を推定するわけである。
【０１１５】
次に、この運動パラメータの中の（φ_ｘ，φ_ｙ，φ_ｚ）を近似的に０とすることで、パノラマ画像の中の特徴点登録座標（ｕ_ｋ，ｖ_ｋ）の現在のフレーム画像内での座標位置を推定する。
【０１１６】
このような特徴点移動推定処理６７により得られた特徴点移動推定座標（ｕ_ｐｒｅｖ，ｖ_ｐｒｅｖ）付近を探索することで、探索領域を狭めることができ、計算処理コストを下げることができる。
【０１１７】
重力補正パノラマ画像データから動き情報を取得する他の方式として、オプティカルフローによる方式でも実施できる。
これは、画像全面に一定の間隔でサンプリング点を定義し、このサンプリング点周りの画像情報をフレーム画像ごとに記録し、次のフレーム画像内でこの記録画像をテンプレートとするマッチング処理を行う。このとき、正しくマッチングが取れたならば、サンプリング点ごとの画像の動きベクトルが検出される。この処理を単純に連続するフレーム画像に対して行うことで、各フレーム画像間の動きベクトルを取得することができる。
【０１１８】
このような処理を用いた場合でも、前記した処理と同様に、テンプレートマッチングを行う際に、画像のアフィン変換による回転操作を加える必要がない。また、前記加速度センサ２０により推定される並進移動情報を用い、サンプリング画像の移動画像位置を推定し、その推定位置付近を走査することで、よりマッチング処理を高速化することも可能である。処理的には単純な操作を高速に繰り返すことが可能となり、より高速に画像から運動ベクトルの抽出処理が可能となる。
【０１１９】
ここまでの処理で得られた特徴点情報により、カメラ姿勢推定部７０において現在のカメラ姿勢情報｛_ｎＣ_０｝を求める。ここで、カメラ姿勢推定部７０においては、カメラ座標系を中心としたワールド座標系の動きを追跡するものとして定式化される。一旦、カメラ座標系に対するワールド座標系の位置姿勢｛_ｎＨ_０｝を算出すれば、ワールド座標系に対するカメラ座標系（すなわち空間センサ系）の位置姿勢｛_０Ｈ_ｎ｝は、その逆行列（逆変換）として容易に求めることができるわけである。
【０１２０】
ここで図３のように、カメラセンサフレームは空間センサフレームである空間姿勢センサ１上に構築されているので、空間センサフレーム｛Ｈ｝に、一定の変換マトリックス｛_ＣＲ_Ｈ｝を加えることで常にカメラセンサフレーム｛Ｃ｝に変換することができる。なお、ここでは、説明を簡単にするために、カメラセンサフレーム｛Ｃ｝と空間センサフレーム｛Ｈ｝が一致しているものとして説明する。
【０１２１】
ここで、以後の説明においてｎは求めるフレームの番号、０は最初のフレーム、ｋは特徴点が登録された時のフレーム番号であるとする。
【０１２２】
後でも詳細に説明するが、最初のフレーム０では、初期化処理７４が行われる。このときの空間センサフレームはｎ＝０である。つまり、｛_０Ｈ_０｝と｛_０Ｈ_Ｗ｝が一致、つまり空間センサフレーム｛Ｈ｝とワールド座標空間｛Ｗ｝とが一致した状態である。また、この初期化処理７４のときには、撮像部４０から得られる特徴点としては、奥行き情報ｚが既知である特徴点を登録する。ここでこの奥行き情報ｚは、センサフレーム系に対する奥行き情報を示す。なお、この初期化処理７４については後でさらに述べる。これより｛_ｎＣ_０｝と｛_ｎＨ_０｝は等価なものとして以下の説明を行う。
【０１２３】
複数の画像イメージ・ストリームに特徴点が現われてから、消えるまでのイメージを図１１に示す。図１１において、特徴点ｉは最初にフレームｋで現れ、また、特徴点ｊはフレーム（ｎ−２）で消えている。これらのフレーム画像ごとに前述したマッチング処理６３や特徴点登録処理６６が行われる。
【０１２４】
特徴点が最初に登録された時点から、この特徴点の関連パラメータとして、特徴点座標（ｕ，ｖ）と奥行き情報ｚを用いる。また、奥行き情報ｚに対する不確定要素σ_ｚに最大値を割り当てる。なお、この特徴点座標（ｕ，ｖ）と奥行き情報ｚのイメージを図１２に示す。この図において点ｚの周りの楕円形が不確定要素σ_ｚである。
【０１２５】
特徴点が新しいフレーム画像において正しくマッチングが取れたときに、この特徴点が最初に登録されたときのカメラフレーム｛_ｋＣ_０｝（これは｛_ｋＨ_０｝と等価である）からの回転及び並進情報の推定値を利用して現在の空間センサフレーム｛_ｎＨ_０｝を更新する。フレームｋからフレームｎへの変換、すなわち、
【数８】

と、それに関連する不確定要素σ_ｚを最初に更新し、それからフレーム０、フレームｋ及びフレームｎの間の関係式_ｎＨ_０＝_ｎＨ_ｋｋＨ_０を使用して、フレーム０からフレームｎまでの変換と、それに関連する不確定要素σ_ｚを更新する。図１３及び１４にその様子のイメージ図を示す。なお、ｐは運動ベクトルを示す。また、｛_ｋＨ_０｝は、ここまでの処理で変換・更新されている既知の値である。
【０１２６】
次に、｛_ｎＨ_０｝と関連する不確定要素σ_ｚを順に更新することによって、特徴点画像の奥行き情報ｚも更新する。これは、｛_ｎＨ_ｋ｝＝_ｎＨ_００Ｈ_ｋを計算することにより得られる特徴点画像ｉのための最初の｛_ｎＨ_ｋ｝の再計算によるものと、フレームｋとフレームｎとの対応関係である（ｕ，ｖ）と（ｕ´，ｖ´）を基準とした奥行き情報ｚを更新することによって行われる。
【０１２７】
この新しく求められたｚが、次のフレーム変換の推定にも用いられる。なお、各特徴点情報の内容は以下のように表される。
１） 特徴点が最初に現れて登録されたときのフレーム番号ｋ
２） フレームｋの中の標準化された特徴点座標（ｕ，ｖ）
３） フレームｋにおいて定義される奥行き情報ｚ（（ｕ，ｖ）と関連する形状ベクトル構成要素）
【数９】

５） ひとつ前の空間センサフレーム｛_ｎ−１Ｈ_０｝（すでに、前のフレーム（ｎ−１）において計算済み）
６） ひとつ前のフレーム（ｎ−１）の中の標準化された特徴点座標（ｕ_ｐｒｅｖ，ｖ_ｐｒｅｖ）
７） ひとつ前のフレーム（ｎ−１）での共分散マトリックスｃｏｖ（ｕ_ｐｒｅｖ，ｖ_ｐｒｅｖ）
新たなフレーム画像において、各特徴点を目印として、前述したパラメータを各特徴点と関連させる。ここで、各フレームの関係を図１５に示す。
【０１２８】
次に、前述の奥行き情報ｚ、｛_ｎＨ_ｋ｝、及び、その他の値を求めるために以下の処理を行う。なお、この時点で、前のフレームまでの運動パラメータは評価し終わっていると仮定する。さらに、｛_ｋＨ_０｝及び｛_ｎ−１Ｈ_ｋ｝はすでに平均値と共分散マトリックスで評価されているものとする。このとき、
【数１０】

を不確定要素を考慮しながら推定する。これにより、推定値｛_ｎＨ_ｎ−１｝が与えられる。この推定値｛_ｎＨ_ｎ−１｝から｛_ｎＨ_０｝を推定する。
【０１２９】
次に、フレーム（ｎ−１）の中で特徴点リストにすでに登録されている特徴点のマッチングを行う。
【数１１】

ここで、（ｕ´，ｖ´）がフレームｎの中の測定値であり、そして平均値と共分散マトリックスに関して小さな測定不確定要素を持っている。
【０１３０】
【数１２】

これによって｛_ｎＨ_ｋ｝が更新される。
【０１３１】
次に｛_ｎＨ_０｝の更新を行う。これらの処理において｛_ｎＨ_ｋ｝の更新が得られたならば、再びＫａｌｍａｎフィルタを使用して｛_ｎＨ_０｝を更新する。
【０１３２】
さらに、_ｎＨ_０＝_ｎＨ_ｋｋＨ_０は、｛_ｎＨ_ｋ｝と｛_ｋＨ_０｝の測定、及び、Ｋａｌｍａｎフィルタによって算定されるパラメータ｛_ｎＨ_０｝において考慮される。ここで、
【数１３】

とすれば、このときのｃｏｖ（ａ）及びｃｏｖ（ｂ）は非常に小さな値を持つ。なお、（式１１）のａ，ｂ，ｐは共にベクトル量である。さらに、３次元式としては、以下の式をもつ。
ｆ（ｐ，ａ，ｂ）＝０ （式１２）
このｐを更新するために、Ｋａｌｍａｎフィルタを使用する。更新後のｐの様子を図１６に示す。なお、図１６において、ｋは特徴点が最初に画像に現れたフレーム番号で、（ｕ´，ｖ´）はフレームｎにおける特徴点位置の座標である。そして、ｃｏｖ（ｕ´，ｖ´）はフレームｎでの共分散マトリックスである。
【数１４】

【０１３３】
また、Ｋａｌｍａｎフィルタを順に運動ベクトルｐに適用することができる場合には、ｐの不確定要素を非常に大きく減らすことができる。
【０１３４】
次に、フレームｋにおいて定義される奥行き情報ｚを推定する。これ以降、Ｋａｌｍａｎフィルタを順に運動ベクトルｐだけに適用する。そして、ｐを更新した後、再びＫａｌｍａｎフィルタを適用する。これにより、ｚの不確定要素σ_ｚを減らすことができる。これは、以下の方法によってなされる。
【数１５】

【０１３５】
最初に以下の式を使用して不確定要素を伝播させる。
【数１６】

【０１３６】
これらは共に、｛_ｎＨ_ｋ｝に対応する非常に小さい不確定要素を、個々の特徴点によって運んでもらわなければならない。そこで、前述の（式１３）を考慮する。
【数１７】

【０１３７】
ここで、フレームｎの奥行き情報ｚに適合させるフレームｋを持つ（ｕ´，ｖ´）は、前述の（式１０）で定義される。
【０１３８】
【数１８】

【０１３９】
以上のようにして、現在の状態を示すフレームｎを基準とした最初のフレーム０の位置姿勢関係｛_ｎＨ_０｝が推定（更新）されると、ワールド座標系を基準とした現在フレームの位置姿勢｛_０Ｈ_ｎ｝は、その逆行列（逆変換）として算出される。すなわち、
_０Ｈ_ｎ＝（_ｎＨ_０）^−１
である。
【０１４０】
このようにしてカメラ座標系に対するワールド座標系の位置姿勢｛_ｎＨ_０｝（つまり｛_ｎＣ_０｝である。）を算出すれば、ワールド座標系に対するカメラ座標系（すなわち空間センサ系）の位置姿勢｛_０Ｈ_ｎ｝は、その逆行列（逆変換）として容易に求めることができる。
【０１４１】
ここまで、カメラ姿勢推定部７０では、運動ベクトルｐの中の６つの未知数を用いた処理について説明しているが、本実施例においては重力ベクトルに相当する回転パラメータ（φ_ｘ，φ_ｙ）を既知として解くこともできる。また、重力軸周りの回転パラメータ（φ_ｚ）及び並進パラメータ（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）は、ある程度の誤差を持つが、推定範囲を狭められるようなパラメータとして与えることもできる。
【０１４２】
なお、これらのパラメータは自立型運動検出部２から入力された情報を姿勢演算部３０において処理した結果として求められるものである。また、カメラ姿勢推定部７０において推定された運動ベクトルｐは、再度、姿勢演算部３０に戻される。その後、姿勢演算部３０において、重力軸周りの回転パラメータ（φ_ｚ）及び並進パラメータ（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）が補正される。
【０１４３】
つまり、自立型運動検出部２から姿勢演算部３０に入力される情報は、カメラ姿勢推定部７０から戻された情報に基づいて補正された値からの誤差量となる。通常、画像処理による演算時間程度では、慣性センサのドリフトやノイズによる誤差も非常に小さいので、真の値に近い情報となっている。
【０１４４】
最終的に空間センサ姿勢推定部８０において、姿勢演算部３０の姿勢情報が、ワールド座標空間｛Ｗ｝に対する姿勢・位置情報に変換される。
【０１４５】
なお、姿勢演算部３０においては、自立型運動検出部２からの姿勢情報の処理とカメラ姿勢推定部の情報による補正処理とが、同時にあるいは交互に順番に行われているわけではなく、非同期で行われている。
【０１４６】
通常では自立型運動検出部２から姿勢演算部３０に情報が入力されてくるほうが、カメラ姿勢推定部７０における処理よりも高速なので、自立型運動検出部２から入力されてくる情報を処理する回数も多く、また、更新情報も多くなる。
【０１４７】
したがって、空間センサ姿勢推定部８０において得られる姿勢情報は、自立型運動検出部２から入力されてきた情報に基づいて処理された情報がメインの情報として利用されることになる。また、この姿勢情報は、画像処理時間での更新間隔で補正された情報で更新される。
【０１４８】
以上により、自立型運動検出部２の姿勢情報からは、応答性及び分解能が高い情報が得られることになるが、ドリフトやノイズによる誤差が蓄積されていく。そこで、定期的に画像センサにより補正することで、そのリファレンス精度を維持する。これにより、応答性と分解能、及び精度などの各センサの長所をセンサ融合により生かした、空間姿勢センサ１を構築することが可能となる。
【０１４９】
さらに本実施形態において、前述したパノラマ画像から特徴点を抽出する方法の変形例を述べる。この変形例における重力補正パノラマ画像［Ｐ_ｐ］の解析の流れを図１７（Ａ），図１７（Ｂ）を参照して簡単に説明する。
【０１５０】
前述した新規特徴点抽出処理６４は、パノラマ画像の中のＸＹ微分処理によって特徴位置（エッジ）を検出し、その周りの画像を特徴点画像として利用していた。一方、この変形例では、重力補正されたパノラマ画像データにおいて、画像の垂直成分を抽出し、その線分を特徴点として利用する。
【０１５１】
まず、垂直線の抽出処理として、パノラマ画像データを水平方向にＳｏｂｅｌ微分処理を行い縦方向（図１７（Ａ）のＪ_ｐ方向）の信号成分を取り出す。次に、この水平微分処理画像を垂直方向への加算処理をし、１次ヒストグラムの作成を行う。次にこの１次ヒストグラムより明から暗と暗から明へと画像が変化している位置の画像を抽出する。このときの輝度レベルの閾値処理で、その垂直方向に特徴のある画像位置を抽出し、さらにその位置を図１７（Ａ）のＶ_１〜Ｖ_５の縦線（以下、垂直特徴線と称する）として登録する。そしてその次は前述した新規特徴点抽出処理６４と同様に特徴線の抽出の処理を繰り返しながら、同一の垂直特徴線を追跡する。
【０１５２】
なお、登録された特徴線情報には、現在求められている姿勢情報も関連付けて記録される。さらにカメラ姿勢の演算処理においても、前述した例と同様に、追跡中の垂直特徴線とその登録時の姿勢情報とから、Ｋａｌｍａｎフィルタ等を用いて、現在の姿勢を演算し推定する。
【０１５３】
ただし、前述のカメラ姿勢推定部７０におけるＫａｌｍａｎフィルタ処理では、求める運動パラメータ（φ_ｘ，φ_ｙ，φ_ｚ，ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）の初期値において、（φ_ｘ，φ_ｙ，φ_ｚ）を近似的に０とすることで、処理の収束を早めることができた。それに加えてこの変形例では、さらに、ｔ_ｚ＝０の拘束条件を加えることが可能である。これにより、より処理を高速化することができる。
【０１５４】
ここで、このときのワールド座標系｛Ｗ｝上のＺ_ｗ軸方向から見た、空間センサフレーム｛Ｈ｝（＝カメラセンサフレーム｛Ｃ｝）の動きと、３次元空間上のオブジェクトの垂直特徴線Ｖ_１〜Ｖ_５のイメージを図１７（Ｂ）に示す。ここで、特徴点の周りの斜線は不確定要素の値を示している。このように、空間センサフレーム｛Ｈ｝が移動することによって、各特徴点の奥行き情報ｚの正確性が増し、不確定要素σ_ｚが小さくなっていくことが分かる。
【０１５５】
また垂直特徴線Ｖ_１〜Ｖ_５は、Ｚ_ｗ軸から見ると近似的に点として表すことができるので、空間姿勢センサ１の動きも２次元平面（Ｘｗ−Ｙｗ）内の運動パラメータを求めることで推定が可能となる。
【０１５６】
なお、この重力補正パノラマ画像から検出した垂直特徴線は重力軸に並行なオブジェクトである確率が高い。また、重力軸に並行な垂直の線となるオブジェクトは、人工物及び自然物のどちらでも、また、どこにでも存在する確率が高いものと考えられる。したがって全方位画像センサの周辺の環境画像の中から、常にいくつかの特徴的な垂線を見つけ出すことが可能となり、それらの垂直特徴線を追跡することでカメラ姿勢（特に水平方向の並進と回転運動）を効率よく推定することが可能となる。
【０１５７】
ここで、パノラマ画像が展開される全方位画像の重力ベクトル軸の交点（南北の極点）付近は、パノラマ画像の上辺あるいは下辺付近の画像となり、大きな歪みを伴なって変換される。しかしこの付近の環境画像としては天井や空、および地面などの画像が多く、情報的にも重要なオブジェクトが存在する確率が低い。
【０１５８】
なお、垂直特徴線の抽出は、前述した重力補正パノラマ画像を水平微分と垂直１次ヒストグラム処理により求める方法や、垂直方向の不連続線などを接続処理（エッジリペア処理）することで高速で簡単に認識することもできる。これらの方法は、周辺環境画像の中から２次元位置の自然特徴点を見つけて追跡する手法に比べて、視点移動に伴う特徴情報であるオブジェクト画像の変形や位置ずれなどが少なく、より正確でロバストな追跡が可能となる。
【０１５９】
また上下の画像部分は有用な情報が少ない可能性が高く、また、画像歪みが大きいので、これらの領域はマスク情報等を利用して、最初から変換領域外、あるいは特徴線抽出範囲外とすることで、さらに高速化を計ることもできる。このようにすれば、１次元データによる処理となり、非常に簡単な処理となる。
【０１６０】
次に、カメラ姿勢推定部７０における、最初のフレーム０における初期化処理７４について説明する。
カメラ姿勢推定部７０は、特徴点が現れてから消えるまでの間の特徴点情報を追いつづけ、この特徴点の３次元情報を更新し続ける。さらに、別の特徴点が現れたときには、現在の特徴点情報の３次元情報を引き継ぐことで、カメラフレーム情報を更新し続ける。しかし、最初に空間姿勢センサが起動した時点では、どの特徴点も３次元情報を持っていないので、各特徴点は相対的な奥行き情報しか獲得することができない。したがって、初期化処理７４において、ひとつ以上の既知の特徴点に、奥行き情報を与える処理を行う。
【０１６１】
例えば、身体運動の検出装置としてこの運動検出装置を利用する場合には、手や頭などに取り付けた運動検出装置から、装着者自身の体の少なくとも一部が見える部分に、既知の大きさの識別マークを取り付ける。この識別マークは例えばある既知の間隔だけ離れた特徴点マークとしたり、あるいはある既知の大きさの形をした識別マークなどである。
【０１６２】
なお、初期化処理７４は、例えば電源が入力された後のパワーオンリセット処理やリセットスイッチによる強制リセット処理等の状態のときに行われる。初期化処理７４において、装着者はこの識別マークが撮像部４０に入力される位置でこの処理を行うようにする。
【０１６３】
また、図２に示すような、手の形状などの認識が可能な操作入力装置を利用する場合には、手のリセットジェスチャ動作（例えばグー・パーと手の形状を変化させたときの動作をリセット操作と定義しておく）を認識した場合に初期化処理を行うこともできる。初期化処理のときに、撮像部４０はこれらの識別マークを検出した後、その既知の大きさからその識別マークより抽出される特徴点の奥行き情報ｚを初期登録する。この処理以降、カメラ姿勢推定部７０では、この奥行き情報を、他の特徴点情報に対応付けしながら、カメラフレームを更新し続ける。
【０１６４】
つまり、この初期化方式では、初期化時に特別なマークがある特定の場所などで行う必要がなく、いつでもどこでも簡単に初期化処理を行うことができる。
【０１６５】
次に初期化処理の第２の方式を説明する。この第２の方式では、前記した方式と同様に、装着者自身の体の一部に識別マークを取り付けるが、大きさや、間隔などの情報は必要ない。つまり、この第２の方式では、前記した初期化動作のときの身体のポーズをある決められた状態（例えば、ある決められた手の位置・姿勢や頭の位置・姿勢など）で行うことで、初期化処理を行うものである。この場合には、例えば胸に識別マークとなるペンダント等を取り付ける。次に、操作入力装置を装着している装着者は、身体の前の決められた位置でリセットジェスチャ動作を行う。この初期化処理においては、手甲部に設けられた撮像部４０が、予め決められた画像入力領域の特徴点を認識し、その奥行き情報ｚを既知の値で登録する。このため、初期化のポーズとそのときの撮像部４０から既知の特徴点までの距離を装着者自身が予め測定し、その値を初期値として入力しておく必要がある。
【０１６６】
つまり、この初期化処理の第２の方式においても、特徴点の大きさや距離や形状などを認識する必要がない。すなわち、特徴点の位置が認識できればよいので、識別マークを小さくすることができる。
【０１６７】
次に初期化処理の第３の方式は、身体に特別な識別マークを装着することなく、身体自身の寸法や位置関係が既知の特徴点として利用する方式である。これも前記同様２種類の方式がある。
【０１６８】
まず、ひとつめの方式は装着者自身の身体のなかで初期特徴点となる部分の寸法を予め測定し、初期登録する方法である。例えば顔の中の目を特徴点とする場合には眼幅の距離を利用する。また、顔の幅や、肩幅などを既知の距離として利用してもよい。
【０１６９】
第３の方式のもうひとつの方式は、装着者が予め決められたポーズで初期化動作を行っているときに、常に一定の距離から身体の一部の特徴点位置を抽出し、その特徴点位置が撮像部４０に入力されるようにするものである。例えば、手を身体の前に出したときの初期化動作において、頭の距離を既知の距離として登録したり、両手を一定間隔で開き、片方の手からもう片方の手の位置までの距離を測定するためのジェスチャを初期化ポーズとしたりすることで、既知の距離を登録する。
【０１７０】
この操作を前記の操作入力装置で行う場合には、体の前の決められた位置でリセットジェスチャ動作を行うようにする。すると手甲部に設けられた撮像部４０は常にある一定範囲の方位と入射角の領域内にある顔の画像（特徴点画像）を抽出し、その特徴点を既知の特徴点情報として登録する。つまり、この方式では初期化処理のときの既知の特徴点の探索範囲を限定することもできる。
【０１７１】
なお、両方式をあわせた方法とすることも当然可能で、特徴点の既知の間隔と既知の距離情報を初期登録することで、精度を上げることができる。
【０１７２】
このような第３の方式によれば身体に特徴点となる特別な識別マークを装着することなく初期化処理が行え、さらにその操作性を向上することが可能となる。
【０１７３】
更に初期化処理の第４の方式は、初期化時の周りの環境と姿勢の関係を利用する方式である。この操作を前記の操作入力装置で行う場合には、リセットジェスチャ動作時の姿勢を、例えば、起立した状態で、さらに手の甲を下に向けた状態、あるいは撮像部４０に足元の情報が見えるような姿勢で行うと予め決めておく。さらにこの姿勢での手の甲から床までの距離を予め測定し、初期登録しておく。このときに足元方向の画像より抽出される特徴点は、略この既知の距離情報の特徴点として登録される。
【０１７４】
また頭部などに取り付けた運動検出装置の場合には、起立状態の身長データを距離情報として利用できる。また、首などの曲げによる周辺画像の変化に対しても、足元や天井方向の画像を、空間姿勢センサ１内の加速度センサ２０の情報により検出できるので、常に足元や天井の画像情報となる特徴点とを識別することができる。したがって、重力軸に対する頭から足元や天井の特徴点の角度情報と空間姿勢センサ１と足元や天井までの距離により、特徴点までの距離を推定することができる。つまり、このような特徴点は、常に奥行き情報がわかる特徴点として、初期化処理以外にも利用することもできる。ただし、このような利用法はある程度足元が開けていたり、天井がある様な室内などの限定された環境で利用することが条件となる。
【０１７５】
次に初期化処理の第５の方式は、初期化動作として、予め既知の運動を行うジェスチャなどの動作を行うことで、初期化処理を行う方式である。
【０１７６】
この操作を前記した操作入力装置で行う場合では、初期化処理として、まず初期化開始ジェスチャ動作（例えば、グー・パー動作を開始動作とする。）により初期化処理を開始する。そして装着者は、予め設定していた初期位置から終了位置まで手を動かした後、初期化終了ジェスチャ動作（例えば、パー・グー動作を終了動作とする。）により初期化情報の入力を終了させる。なお、この動作としては、最初と最後の動作を結ぶ直線距離が常に一定で、かつ、既知の距離となることが重要である。例えば、手をいっぱいに前に伸ばした状態から身体に着くまでの一連の動作により動く距離は略一定の距離情報として利用できる。
【０１７７】
以上の一連の初期化ジェスチャ動作の開始と終了の間に処理された周辺画像からの特徴点情報の運動パラメータと奥行き推定情報に対して既知の移動距離情報を加えることで、各特徴点の奥行き情報を登録することができる。つまり、この方式は身体の寸法や位置関係情報を直接利用する方式ではなく、身体の操作部の動作範囲などの身体情報を利用するものである。
【０１７８】
以上のように初期化処理７４ではさまざまな方式で初期特徴点に対する奥行き情報ｚの初期登録が可能である。なお、これらの初期化方式は、単独で使用することも可能であるが、それぞれを組合わせて使用することも可能である。また、初期化時点でのジェスチャ動作により利用する方式を変えることもできる。
【０１７９】
次に、本実施形態の空間姿勢センサ１は、手や頭に装着するだけではなく身体の中の測定したい部分に装着することで、その部分の６自由度の空間姿勢を計測することが可能な、身体運動検出装置としても利用することができる。
【０１８０】
この場合、光や磁気などを利用したセンサのように近くや周りに基準となる信号源を設置する必要がなく、どこででも利用することができる。また複数の身体運動検出装置を同時に取り付けても、相互の干渉や、データ更新レートの低下などもなく利用することができる。
【０１８１】
また、本実施形態の図５のような運動検出装置を、仮想的なあるいは実際の筆記用具の末端部分に取り付けることで、筆記状態のペン先の動きを計測することもできるので、この運動検出装置をペン入力型の操作入力装置などにも利用することができる。
【０１８２】
さらに、本実施形態の運動検出装置をデジタルカメラなどに取り付け、画像を連続して撮影する時に空間姿勢情報を同時に記録し、この撮影画像と空間姿勢情報をもとに、撮影画像の対象物の３次元情報を再構築する情報に使用するようにすれば、本実施形態の運動検出装置を３Ｄモデルデータ構築カメラシステムにも利用することができる。
【０１８３】
以上説明したように、本実施形態の運動検出装置は、身体に直接装着して利用するだけでなく、身体に着けたり、手に持って利用したりする道具などに取り付けることで、それ自身の運動を計測することも可能である。
【０１８４】
ここで、本実施形態における自立型運動検出部２の他の実施例として、地磁気センサを用いたものについて説明する。
【０１８５】
地磁気センサは、地球上の地磁気に対して３軸に配置した磁気抵抗素子（以下ＭＲ素子と称する）が出力する情報により、地球の概ね北向きの地磁気ベクトルの方向に対する磁気の強さを検出することができる。これにより、各ＭＲ素子の３つの信号より地磁気ベクトルを求めることができる。
【０１８６】
因みに、地磁気ベクトルは、地球上の地域毎に固有な、地理上の北に対して偏角と呼ばれるわずかながらの誤差が存在する。さらに、地磁気ベクトルは地球上の地域毎に固有な垂直面内の仰角と呼ばれる傾きを持っている。この仰角は、例えば、東京辺りでは北向きに対して約４８度前後下を向いている。
【０１８７】
したがって、車のナビゲーションシステムなどに利用する姿勢検出装置ではこれらによる誤差を補正しておかなければならない。しかし、本実施形態の運動検出装置のように相対的な運動状態を検出するという用途においては、あるローカルな空間での基準ベクトル情報として利用するだけなので、絶対的な方向の精度は必要ない。
【０１８８】
よって、その地磁気ベクトル情報と例えば角速度センサの情報を比較することにより、角速度センサのドリフトなどによる誤差を検知することができる。また、角速度センサの積算情報である角度データがリセットされたときを初期状態とし、また、そのときの地磁気ベクトルを測定しておき、さらにその場所の仰角を予め調べておくことにより、ジャイロの積算結果との比較により絶対方位としても、またリファレンス補正も可能である。また重力ベクトル方向も知ることができる。
【０１８９】
さらに、３軸の地磁気センサによる地磁気ベクトル情報と、３軸の加速度センサによる重力ベクトル情報を利用することにより、２つのベクトルをリファレンスとする運動検出装置が構成でき、姿勢や運動をより正確に検出することができる。またこの構成にさらに３軸の角速度センサを加えることにより、より高速な応答特性と高分解能な自立型慣性運動検出部を構成することもできる。
【０１９０】
また、前述した実施形態における入射画角θが±９０°の全方位画像センサを、中心光軸線方向を一致させ、その入射方向を逆方向に向けて２個配置することで、仮想的に３６０°すべての方角からの画像を射影することのできる真の全方位画像センサを構築することも可能である。この場合には、パノラマ画像においても、すべての画像領域に射影画像を表示することができ、特徴点がカメラ視野内から消えることがより少なくなり、姿勢情報をより精確に追跡し続けることが可能である。
【０１９１】
次に、これらの操作入力装置を利用してＰＣとの無線通信によるインタフェースを行う際の実施形態について説明する。
【０１９２】
通常の電波による通信は広く無指向性の通信となる。このとき、通信可能範囲以内ならば装置がどのような姿勢や運動状態にあってもよく、操作入力装置としてのインタフェースとしては使い勝手の良い通信方式である。しかし近くに多くの受信装置となる機器があると、電波の混信や信号の衝突が発生し、通信接続の確立と切り替えには何らかの対応操作が必要になる。ただし、自動的に接続を切り替えるローミング方式のような場合だと、本人の意思とは関係なく、繋がってしまう可能性があり、これもまた問題の解決方法にはならない。
【０１９３】
一方、ＩｒＤＡ通信のような光通信方式は、一般的にお互いの受発光手段の光軸を合わせ、さらに送受信可能距離内にそれぞれの装置を置かなければ通信の確立ができない。また通信が行われているときにもその状態を保ちつづけなければならなく、電波に比べると使い勝手が悪いが、混信などの問題は少ない。
【０１９４】
そこで、本実施形態の通信装置においては２つの通信手段を備える。ひとつは電波による無指向性の通信手段（無指向型無線通信手段）を備える。これは、例えば、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ、ＰＨＳなどのような近距離無線通信手段が考えられる。さらに、本実施形態の操作入力装置の通信装置としては、光による通信手段（指向型無線通信手段）を備える。これは、例えばＩｒＤＡのような赤外光で、ある角度範囲の指向性を有した通信手段である。
【０１９５】
なお、同様に、通信相手となるコンピュータ装置（以下ＰＣと称する）においても、電波及び光の２種類の無線通信手段を備えるものとする。
【０１９６】
つまり、通信の確立に際しては、指向性の強い光通信手段を用いる。このとき、操作者が操作したいＰＣのＩｒＤＡ送受信部に対して、操作入力装置のＩｒＤＡ送受信装置を向けることにより、双方の通信確立の手続きがおこなわれ、自動的に通信接続がなされ、操作入力装置による操作が可能な状態になる。
【０１９７】
一度、通信接続が確立した後、以降の情報の通信には光による通信は使用されず、電波による通信で相互のデータ通信が行われる。
【０１９８】
つまり、接続後は、操作者は、操作入力装置をＰＣのＩｒＤＡ送受信部を常に向けている必要も、また、通信到達距離を気にする必要もない。さらに、どのような姿勢や運動状態においても通信接続が維持され、操作入力装置による操作が可能である。
【０１９９】
また、他のＰＣを操作する場合には、前記同様に操作対象とするＰＣのＩｒＤＡ送受信部に対して、操作入力装置のＩｒＤＡ送受信部を向けることで、簡単に目的のＰＣへ切り替えることができる。
【０２００】
次に、複数のＰＣに対して通信可能な操作入力装置の、通信切り替え時の処理手順を説明する。なお、通信確立モードには下記の３つのモードがあり、操作者は３つのモードの中から予め利用するモードを設定しておくこととする。
（Ａ）ＰＣ固定通信モード・・・一度通信が確立すると他の装置との接続も探索も行わないモード
（Ｂ）ＰＣ自動切換えモード・・・通信相手を固定することなく自動的に切り替えることができるモード
（Ｃ）ＰＣ切り替え確認モード・・・通信相手を固定することなく切り替えることが可能であるが、切り替え時に確認応答が行われるモード
ここで、本実施形態の通信装置の通信時における操作入力装置側の主な処理の流れを図１８に従って説明する。
まず、操作入力装置は、自身の通信モードが前述の（Ａ）モード〜（Ｃ）モードの何れのモードであるかを判定する（Ｓ１）。通信モードが（Ｂ）または（Ｃ）モードの場合には現在の通信接続状態を判定する（Ｓ２）。
【０２０１】
現在の通信状態が未接続状態の場合には、操作入力装置の周辺にあるＰＣの電波をスキャンし（Ｓ３）、現在、操作入力装置周辺の接続準備状態であるＰＣが１台のみであるか否かを判定する（Ｓ４）。接続準備状態であるＰＣが１台のみの場合にはＳ７に移行する。一方、Ｓ４の判定において接続準備状態であるＰＣが複数台存在する場合には、それら接続準備状態であるＰＣに対して、ＰＣのＩｒＤＡによる送信要求命令を電波で送った後（Ｓ５）、ＰＣからのＩｒＤＡの受信を待つ（Ｓ６）。送信要求を受けたＰＣは自身のＩＤと共にＩｒＤＡ通信確立メッセージを赤外光で送信する。Ｓ６の判定において、操作入力装置のＩｒＤＡ送受信部がＰＣのＩｒＤＡ送受信部の近くにあり、ＰＣの赤外光信号を受信できたと判定された場合にはＳ７に移行する。
【０２０２】
Ｓ７では現在の通信モードを判定して、このまま自動で通信を行うか（（Ｂ）モード）、または通信を行う前に確認を行うか（（Ｃ）モード）を判定する（Ｓ７）。（Ｃ）モードの場合には通信接続するか否かを操作者に確認をする（Ｓ８）。そしてＳ７の判定で（Ｂ）モードであると判定された場合、またはＳ８の判定で通信接続が承認された場合には通信接続が確立する（Ｓ９）。
【０２０３】
一方、Ｓ６においてＰＣからのＩｒＤＡの受信が無いと判定された場合、またはＳ８で通信接続が否認された場合には通信未接続となる（Ｓ１０）。
【０２０４】
一方、Ｓ２において通信接続済みである場合には、操作入力装置の周辺にあるＰＣの電波をスキャンし（Ｓ１２）、現在、通信中のＰＣ以外のＰＣが存在するか否かを判定する（Ｓ１３）。ＰＣが１台のみの場合にはＳ１６に移行する。一方、Ｓ１３の判定において他のＰＣが存在する場合には、それら接続準備のあるＰＣに対して、ＰＣのＩｒＤＡによる送信要求命令を電波で送り（Ｓ１４）、ＰＣからのＩｒＤＡの受信を待つ。ＰＣからのＩｒＤＡの受信があった場合にはその信号よりＰＣのＩＤを読取って、受信したＩｒＤＡが他のＰＣからのものであるか否かを判定する（Ｓ１５）。Ｓ１４で他のＰＣが存在しないと判定された場合、またはＳ１５で他のＰＣからのＩｒＤＡの受信がないと判定された場合には現在の通信を維持する（Ｓ１６）。一方、Ｓ１５で他のＰＣからＩｒＤＡの受信があったと判定された場合には、現在の通信を切断した後（Ｓ１７）、Ｓ７に移行する。
【０２０５】
また、Ｓ１の判定で自身の通信モードが（Ａ）モードであると判定された場合には（Ａ）モードの処理を行う（Ｓ１１）。この（Ａ）モードの処理を簡単に説明すると、まず、周辺のＰＣからの電波をスキャンし、スキャンされたＰＣに対してＩｒＤＡの送信要求を電波で送り、ＰＣからＩｒＤＡを受信したならば、そのまま通信接続を確立して、以後もその通信を維持する。
【０２０６】
ここで、接続切り替え時の赤外光の発光はＰＣ側が主導になっている。これは操作入力装置の電力消費を減らすための方策である。操作入力装置の電力消費を考慮しなくても良いのであれば、操作入力装置側から赤外光を発光させて、ＰＣの切り替えを行っても良い。
【０２０７】
このように、利用したいＰＣに向かって操作入力装置を向ける（つまり、赤外光による通信が行われるようにＰＣのＩｒＤＡ送受信部に操作入力装置のＩｒＤＡ送受信部を近づける動作）という非常に簡単で、理解しやすいジェスチャー動作により、操作者自身の意志で簡単に使いたいＰＣを切り替えることができるようになる。
【０２０８】
またこれらの動作を利用することで、あるＰＣ（Ａ）の画面上のデータオブジェクトを操作入力装置でコピーし（例えば、掴むジェスチャー操作）、そのまま別のＰＣ（Ｂ）の画面上に移動し、ペーストする（例えば、放すジェスチャー操作）というような、ジェスチャー操作によるＰＣ間を越えたコピー＆ペースト操作なども、日常の動作感覚で、操作が可能となる。
【０２０９】
ここで、無線通信に利用される搬送メディアとしては、光や電波などの電磁波や、超音波などの音波も利用できる。また同じ搬送メディアでも異なる波長を利用することも可能である。つまり、同じ搬送メディアの場合では、前記の例のような指向性と無指向性の機能が利用できれば可能となる。
【０２１０】
【発明の効果】
以上説明したように、本発明によれば、運動する物体の空間位置と姿勢及び動きを正確に認識できる運動検出装置を提供することができる。
特に、第１の発明によれば、測定対象物の位置・姿勢を正確に測定ができる運動検出装置を提供することが可能になる。
【０２１１】
また、第２〜４の発明によれば、角速度センサ、加速度センサ、地磁気センサを利用することにより、自立型の基準発信機などを必要とすることなく運動を検出することができる。
【０２１２】
また、第５の発明によれば、全方位撮像手段によって全天周からの画像を同時に射影して取り込むことができる。
また、第６の発明によれば、４面の平面ミラーによる射影像が５つの領域に分割された中心射影になるので、画像情報の一次変換式により特徴点の空間位置方向を求めることができる。また、平面ミラーによる簡単な光学系との組合わせで全方位撮像手段を構築することができる。
また、第７の発明によれば、曲面ミラーにより全天周からの画像を同時に射影し、連続的な画像として取り込むことができる。
また、第８の発明によれば、魚眼レンズ、魚眼レンズ、等距離射影レンズ、等立体角射影レンズの何れかにより全天周からの画像を同時に射影し、取り込むことができる。
さらに、第９の発明によれば、２個の全方位画像センサをそれぞれ逆向きに配置して使用することで、真の全天周（全方向）からの画像を同時に射影し、取り込むことができる。
【０２１３】
また、第１０の発明によれば、円筒パノラマ画像に変換する際に重力軸方向のベクトルの向きと前記自立型運動検出手段で検出された重力軸周りの回転角を考慮した重力補正パノラマ画像に変換するので、重力画像マッチング処理のアフィン回転処理や、全方位画像センサの回転動作による画像の動きをキャンセルすることができ、マッチング処理を高速化することができる。
【０２１４】
また、第１１の発明によれば、複数の特徴点の動きからカメラフレームの動きを推定することができる。
また、第１２の発明によれば、垂直方向の特徴線の動きから、水平方向の動きをより簡単に推定することができる。
また、第１３の発明によれば、画像内の動きベクトルからカメラ姿勢を推定する。
【０２１５】
また、第１４の発明によれば、特別なマークがある特定の場所などで初期化処理を行う必要がなく、いつでもどこでも簡単に初期化処理を行うことができる。
また、第１５の発明によれば、特別なマークがある特定の場所などで初期化処理を行う必要がなく、いつでもどこでも簡単に初期化処理を行うことができる。さらに識別マークの形状などが変わっても対応できる。
さらに、第１６及び１７の発明によれば、初期化手段用に特別な識別マークを装着する必要がない。
また、第１８の発明によれば、特別な識別マークを利用することなく初期化が行え、また初期化後の計測中における特徴点データの補正にも利用できる。
さらに、第１９の発明によれば、初期化手段用に特別な識別マークを装着する必要がない。
【０２１６】
また、第２０の発明によれば、光や磁気などを利用したセンサのように近くや周りに基準となる信号源を設置する必要がなく、どこででも身体運動検出装置を利用することができる。また複数を同時に取り付けても、相互の干渉や、データ更新レートの低下などもなく利用することができる。
また、第２１の発明によれば、身体運動検出装置を利用して手甲に装着して手の動きを測定することができる。
さらに第２２の発明によれば、身体運動検出装置を利用して頭部に装着して頭部の動きを測定することができる。
【０２１７】
またさらに、本発明によれば、複数のＰＣと操作入力装置との接続と通信設定を、操作者の意思により、簡単に切り替えることのできる通信装置を提供することができる。
特に、第２３の発明によれば、無指向性の通信手段と指向性の通信手段の２種類の無線通信手段により、通信相手との通信切り替え操作が容易である。
また、第２４の発明によれば、無指向性の通信手段として電波による通信を、指向性の通信手段てして光による通信を用いることが可能である。
【図面の簡単な説明】
【図１】本発明の実施形態に係る運動検出装置の機能動作の概要を説明するためのブロック図である。
【図２】撮像部を含む操作入力装置の概観図である。
【図３】ワールド座標空間に対する空間センサフレームとカメラセンサフレームの関係図である。
【図４】図４（Ａ）は等立体射影レンズに入射する光線とその射影像の関係を示す図であり、図４（Ｂ）は全方位画像の入射角と方位角の関係を示した図である。
【図５】画像空間センサを搭載した画像処理チップを配置した操作入力装置の他の構成例を示す図である。
【図６】図６（Ａ）は４面ミラー方式による光学系の構成図であり、図６（Ｂ）はミラー方式の光学系による撮像画像を示す図である。
【図７】図７（Ａ）は放物面ミラー方式による光学系の構成図であり、図７（Ｂ）は放物面ミラーの光学系による撮像画像を示す図である。
【図８】従来のパノラマ画像と本発明の実施の形態に係る運動検出装置を用いた場合に得られるパノラマ画像との比較図である。
【図９】本発明の実施形態に係る運動検出装置の中の画像処理に関する機能動作を説明するためのブロック図である。
【図１０】重力補正パノラマ画像の変換を説明するための全方位画像との関係を示す図である。
【図１１】連続するフレーム画像上での特徴点の振る舞いに関するイメージ図である。
【図１２】画像センサにより得られる特徴点画像のカメラフレームの画像位置と奥行き情報及び不確定要素に関するイメージ図である。
【図１３】特徴点のマッチング処理を繰り返すことで、特徴点情報に関係付けられている姿勢情報と奥行き情報の誤差が徐々に小さくなる様子を示したイメージ図である。
【図１４】運動ベクトルの不確定要素が徐々に小さくなる様子を示したイメージ図である。
【図１５】ある特徴点の登録時の空間姿勢情報ｋとひとつ前の姿勢情報（ｎ−１）と、次に求めようとする姿勢情報ｎの間の関係図である。
【図１６】運動ベクトルの不確定要素の関係を示した図である。
【図１７】図１７（Ａ）は重力パノラマ画像の中の垂直特徴線のイメージ図であり、図１７（Ｂ）はそのときのワールド座標空間での特徴点の様子を示したイメージ図である。
【図１８】本実施形態に係る無線通信機能の操作入力装置側のフローチャートである。
【符号の説明】１…空間姿勢センサ、２…自立型運動検出部、１０…角速度センサ、２０…加速度センサ、３０…姿勢演算部、４０…撮像部、５０…画像変換部、６０…画像認識部、８０…空間センサ姿勢推定部

Claims (24)

1. 他の基準装置を必要としない自立型運動検出手段を装着した対象物自身の位置・姿勢を検出する運動検出装置であって、
   前記自立型運動検出手段に固定され、前記対象物の周囲の画像を射影し、その射影画像を連続して撮像する撮像手段と、
   前記撮像手段が撮像した射影画像を円筒パノラマ画像に変換する画像変換手段と、
   前記画像変換手段により異なる時点で変換された２つの円筒パノラマ画像を比較認識する画像認識手段と、
   前記画像認識手段の認識結果に基づいて、前記対象物の位置・姿勢情報を推定するカメラ姿勢推定手段と、
   前記自立型運動検出手段の検出結果と前記カメラ姿勢推定手段の推定結果とに基づいて前記対象物の空間上での位置・姿勢を推定する空間センサ姿勢推定手段とを備えたことを特徴とする運動検出装置。
2. 前記自立型運動検出手段は、角速度センサ、加速度センサあるいは地磁気センサのうち、少なくとも２種類を組み合わせて構成されることを特徴とする請求項１に記載の運動検出装置。
3. 前記自立型運動検出手段は、３軸が直交した角速度センサ及び少なくとも２軸以上が直交した加速度センサを含んで構成されることを特徴とする請求項１に記載の運動検出装置。
4. 前記自立型運動検出手段は、３軸が直交した角速度センサ及び少なくとも２軸以上が直交した地磁気センサを含んで構成されることを特徴とする請求項１に記載の運動検出装置。
5. 前記撮像手段が、前記対象物の周囲の全方位像を射影し、その射影画像を連続して撮像する全方位撮像手段を具備したことを特徴とする請求項１に記載の運動検出装置。
6. 前記全方位撮像手段は、少なくとも４面の平面ミラーにより前記対象物の周囲の画像を射影する光学系を備えたことを特徴とする請求項５に記載の運動検出装置。
7. 前記全方位撮像手段は、曲面ミラーにより前記対象物の周囲の画像を射影する光学系を備えたことを特徴とする請求項５に記載の運動検出装置。
8. 前記全方位撮像手段は、魚眼レンズ、等距離射影レンズ、等立体角射影レンズの何れかのレンズを用いて前記対象物の周囲の画像を射影する光学系を備えたことを特徴とする請求項５に記載の運動検出装置。
9. 前記全方位撮像手段は、光軸が一致しており、さらにその光軸方向が逆方向である二つの全方位撮像手段を備えたことを特徴とする請求項５に記載の運動検出装置。
10. 前記画像変換手段は、前記撮像手段が撮像した画像を前記円筒パノラマ画像に変換するときに、重力軸方向のベクトルの向きと前記自立型運動検出手段で検出された重力軸周りの回転角とを考慮した重力補正パノラマ画像に変換することを特徴とする請求項１に記載の運動検出装置。
11. 前記カメラ姿勢推定手段は、前記対象物の位置・姿勢情報を推定するのに先立って、前記円筒パノラマ画像の中の特徴点の新規登録を行い、この特徴点の新規登録において、特徴点情報としてフレーム画像から見た３次元情報と現在のカメラフレームとを登録し、前記特徴点が現れてから消えるまでの間の特徴点を追跡し、それに応じて前記フレーム画像から見た３次元情報を更新し、さらに、別の特徴点が現れたときに、現在のカメラフレームから求められる前記別の特徴点の３次元情報を登録することにより、連続する画像の中で現れては消えてゆく複数の特徴点の位置を追跡し、前記複数の特徴点の動きよりワールド座標空間に対する現在のカメラフレームを獲得することを特徴とする請求項１に記載の運動検出装置。
12. 前記画像変換手段により得られた重力補正パノラマ画像の中から垂直方向の線分を複数抽出し、この抽出した複数の線分が前記画像変換手段によって異なる時点で得られた重力補正パノラマ画像の中のどの位置に存在するのかを追跡することにより対象物の位置・姿勢情報を推定することを特徴とする請求項１０に記載の運動検出装置。
13. 前記画像変換手段により得られた重力補正パノラマ画像の中のオプティカルフローにより、対象物の位置・姿勢情報を推定することを特徴とする請求項１０に記載の運動検出装置。
14. 前記運動検出装置の初期化のときに、既知の大きさまたは既知の間隔の特徴点認識用識別マークの画像を前記撮像手段によって取り込み、この取り込んだ特徴点認識用識別マークの画像の大きさまたは間隔より奥行き情報を求めて初期化登録する初期化手段をさらに有することを特徴とする請求項１に記載の運動検出装置。
15. 前記運動検出装置の初期化のときに、予め定められた位置に設けられた特徴点認識用識別マークの画像を前記撮像手段によって前記特徴点認識用識別マークから既知の距離だけ離れた位置から取り込み、そのときの特徴点の奥行き情報を初期化登録する初期化手段をさらに有することを特徴とする請求項１に記載の運動検出装置。
16. 前記運動検出装置の初期化のときに、身体の一部または全体の画像を前記撮像手段によって取り込み、その取り込んだ画像と、予め登録しておいた身体の一部または全体の形状の大きさから求められる特徴点の奥行き情報を初期化登録する初期化手段をさらに具備することを特徴とする請求項１に記載の運動検出装置。
17. 前記運動検出装置の初期化の時に、身体の特徴部の画像を前記撮像手段によって既知の距離から取り込み、この取り込んだ画像に基づいて特徴点の奥行き情報を初期化登録する初期化手段をさらに具備することを特徴とする請求項１に記載の運動検出装置。
18. 前記運動検出装置の初期化の時に、前記運動検出装置を装着した部位から予め定められた方向及び距離の画像を前記撮像手段によって取り込み、この取り込んだ画像中の特徴点の奥行き情報を初期化登録する初期化手段をさらに具備することを特徴とする請求項１に記載の運動検出装置。
19. 前記運動検出装置の初期化の時に、前記運動検出装置を装着した部位を既定の距離だけ移動させる動作を行ったときの画像を前記撮像手段によって取り込み、この取り込んだ画像中の特徴点の奥行き情報を初期化登録する初期化手段をさらに具備することを特徴とする請求項１に記載の運動検出装置。
20. 請求項１乃至１９の何れかに記載の運動検出装置を、身体の一部に装着することで、前記運動検出装置を装着した身体の一部の動きや姿勢を検出することを特徴とする運動検出装置。
21. 請求項１乃至１９の何れかに記載の運動検出装置を、手甲に装着することで、前記運動検出装置を装着した対象物の手の動きや姿勢を検出することを特徴とする運動検出装置。
22. 請求項１乃至１９の何れかに記載の運動検出装置を、頭部に装着することで、前記運動検出装置を装着した対象物の頭部の動きや姿勢を検出することを特徴とする運動検出装置。
23. 無指向性の搬送メディアによる無線通信機能を備えた無指向型無線通信手段と、
    指向性を有し、前記搬送メディアと異なる搬送メディアあるいは周波数による無線通信機能を備えた指向型無線通信手段とを備え、
    通常の通信には前記無指向型無線通信手段を使用し、通信相手を決定する時には前記指向型無線通信手段を使用することを特徴とする通信装置。
24. 前記無指向型無線通信手段は電波による通信を行うものであり、前記指向型無線通信手段は光または音波による通信を行うものであることを特徴とする請求項２３に記載の通信装置。

Images