JP2010534316A - 対象物の動きを捕捉するシステム及び方法 - Google Patents

Abstract

対象物の動きを捕捉するシステム及び方法において、追跡装置が使用され、追跡装置は、光学マーカと、追跡装置の位置及び向きを表わす動きデータを提供する動きセンサと、を有する。追跡装置は、対象物に接続され、光学マーカの動きは、カメラによって記録され、それにより追跡装置の位置を表わすビデオデータを提供する。動きデータ及びビデオデータは、ある時間期間にわたる追跡装置の空間的な位置及び向きを決定するために、組み合わせにおいて処理される。

Description

本発明は、対象物の動きを捕捉するシステム及び方法に関する。

スポーツの分野、ヘルスケアの分野、映画及びアニメーションの分野及びリハビリテーションの分野のような多くの分野において、動く対象物の動きを捕捉することは、極めて重要な役割を果たす。動きが捕捉されると、ある時間における位置、速度、加速度、距離、飛行時間、スピンレート等のさまざまな異なる動き特性が決定されることができる。対象物は、人間、動物、植物又は任意の無生物の装置でありうる。動きは、全体としての対象物の動き、対象物の一部の動き、又はこのような動きの組み合わせでありえ、対象物の異なる部分が、同じ時間に異なる動きを行うことがありうる。

多くの技術開発が、例えば（アスリートのような）スポーツマン及びスポーツウーマンの動きや、フットボール、野球、ゴルフクラブ等のスポーツ又はゲーム対象物の動きのような、スポーツに関する動きを捕捉するためになされてきた。

第１のタイプの知られているシステムにおいて、１又は複数のカメラが、動く対象物の画像を捕捉するために使用される。対象物は、予め決められた位置に１又は複数の光学マーカを具え、１又は複数のカメラが、ある時間におけるマーカの位置を記録する。この記録は、次いで、ある時間における対象物の動きを再構成するために、画像の処理において使用される。一例は、例えば米国特許第４，１６３，９４１号明細書に開示されるような、ゴルフクラブの動きの捕捉である。別の例は、（複数の）カメラの前で動く人間の動きの捕捉であり、この場合、マーカは、例えば頭部、胴体、腕及び脚のようなそれぞれ異なる身体部分に取り付けられ又は接続される。異なるマーカの、記録され調整された動きから、データ処理手段は、データを抽出して、動きの特性を提供し、又は対象物又は元の動きをシミュレートする関連する対象物のレンダリングされた画像を提供する。

第２のタイプの知られているシステムにおいて、動きセンサが、対象物に取り付けられ若しくは接続され、又はそれに組み込まれる。動きセンサは、例えば３つの相互に直交する方向Ｘ、Ｙ及びＺのような異なる方向における加速度を表わす信号を提供することができ、磁気計は、例えば３つの相互に直交する方向Ｘ、Ｙ及びＺのようなそれぞれ異なる方向の磁界を表わす信号、及びタイミング信号を提供する。このような動きセンサの使用の例は、再び、例えば国際公開第２００６／０１０９３４号パンフレットに開示されるゴルフクラブの動きの捕捉である。動きセンサは更に、ジャイロスコープをＸ、Ｙ及びＺ方向に有することができ、それらジャイロスコープは、Ｘ、Ｙ、Ｚ軸の周りの動きセンサの回転スピードを測定する。

対象物の動きを捕捉するために１又は複数の光学マーカを使用する上述の第１のタイプのシステムにおいて、光学マーカが、光学マーカの動きを記録することが意図されるカメラの視野外に移動する場合、又はなおカメラの視野内にあるが、別の光学マーカ、対象物の一部又は別の対象物の後に隠れる（見通し線から外れる）場合、問題が生じる。このような状況において、カメラは、光学マーカを追跡することができず、対応する動き捕捉は、不完全になり又は少なくとも信頼できなくなる。この問題に対する可能な解決策は、複数のカメラの使用であるが、これは、問題の全体を解決せず、非常に高価であり、動き捕捉システムの複雑さを増す。

対象物の動きを捕捉するために動きセンサを使用する上述の第２のタイプのシステムにおいて、動きセンサの位置が、拡張された時間期間をわたって基準又は較正位置がないことにより正確に決定されることができない場合、問題が生じる。動きセンサの初期位置が較正される場合も、動きセンサが移動する間、ある時間における位置及び向きは、即座に、非常に大きなエラーをもつようになり、動きセンサの動きデータが信頼できなくなる。

更に対象物がカメラの見通し線から外れるとき、位置、向き、速度、ある時間期間にわたる加速度のような動き特性を、正確に且つ信頼性をもって測定することができる動き捕捉システム及び方法を提供することが望ましい。

本発明の一実施例において、対象物の動きを捕捉するシステムであって、対象物に接続されるように構成される追跡装置を有するシステムが提供される。追跡装置は、少なくとも１つの光学マーカと、追跡装置の位置及び向きを表わす動きデータを提供する少なくとも１つの動きセンサと、を有する。システムは更に、光学マーカの動きを記録して、追跡装置の位置を表わすビデオデータを提供する少なくとも１つのカメラと、ある時間期間にわたる追跡装置の空間的な位置及び向きを決定するために、ビデオデータ及び動きデータを組み合わせにおいて処理するリンクデータプロセッサと、を有する。

本発明の実施例におけるシステムは、ビデオデータから決定される位置に基づいて、動きデータから決定される位置を補正することを可能にし、それによって、ある時間期間にわたる対象物（の一部）の一層正確な位置評価を提供する。ビデオデータが、一時的に利用可能でないときでさえ、対象物（の一部）の位置が、なお評価されうる。更に、本発明の実施例におけるシステムは、動きデータから決定される位置に基づいて、ビデオデータから決定される位置を補正することを可能にする。

本発明の別の実施例において、少なくとも１つの光学マーカと、追跡装置の位置及び向きを表わす動きデータを提供する少なくとも１つの動きセンサと、を有する追跡装置を使用して、対象物の動きを捕捉する方法が提供される。この方法において、追跡装置は、対象物に接続され、光学マーカの動きが、カメラによって記録され、それによって追跡装置の位置を表わすビデオデータを提供し、動きデータ及びビデオデータが、ある時間期間にわたる追跡装置の空間的な位置及び向きを決定するために、組み合わせにおいて処理される。

請求項及び利点は、以下の詳細な説明を参照することによってよりよく理解され、添付の図面に関連してよりよく考えられるとき、より容易に認められる。図面において、同様の参照符号は、同様の部分を指す。

本発明のシステムの実施例を概略的に示す図。

図１は、対象物１００の動きを捕捉するシステムのコンポーネントを表わす図を示している。図１の例において、対象物１００は、人間を表そうとするものである。しかしながら、対象物１００は、動物、植物又は装置であってもよい。対象物は、例えば並進及び／又は回転移動を行うように、全体として動いていてもよく、及び／又は対象物は、互いに相対的に動くそれぞれ異なる部分を有してもよい。以下の記述は、人間の動きに焦点を合わせているが、記述されるシステムは、人間の動きを捕捉することに限定されないことは明らかである。

図１に示される対象物１００は、例えば頭部、胴体、腕及び脚のような、互いに対して移動可能なさまざまな異なる部分を有する。例示として概略的に示されるように、対象物１００の頭部及び胴体は、それぞれ、１つの追跡装置１１０を備え、各々の腕及び各々の脚は、２つの追跡装置１１０を備える。

追跡装置１１０は、動きセンサを有する。動きセンサは、追跡装置の加速度を表わす加速度信号を提供する少なくとも１つの加速度計、又は互いに直交する方向における加速度を測定し、個々の加速度計の加速度を表わす加速度信号を提供する複数の加速度計（例えば３つの加速度計）を有することができる。動きセンサは更に、予め決められた方向の地球磁界を測定し、追跡装置の向きを表わす向き信号を提供する少なくとも１つの磁気計、又は互いに直交する方向における地球磁界を測定し、追跡装置の向きを表わす向き信号を提供する複数の磁気計（例えば３つの磁気計）を有することができる。動きセンサは更に、予め決められた軸を中心とする追跡装置の回転スピードを表わす回転信号を提供する少なくとも１つのジャイロスコープ、又は互いに直交する方向における回転スピードを測定し、個々の直交する方向における軸を中心とする追跡装置の回転スピードを表わす回転信号を提供する複数のジャイロスコープ（例えば３つのジャイロスコープ）を有することができる。追跡装置１１０は更に、タイミング信号を提供するタイマを有する。

実際、追跡装置１１０の動きセンサが、（直交方向を向く）３つの加速度計及び（直交方向を向く）３つの磁気計から信号を生成して、前記信号から追跡装置１１０の３次元の位置及び向きを決定する必要はない。当業者に良く知られている事項を使用することにより、追跡装置１１０の位置及び向きは、３つの加速度計及び２つの磁気計からの信号、２つの加速度計及び３つの磁気計からの信号、２つの加速度計及び２つの磁気計からの信号、２つの加速度計及び１つの磁気計からの信号、３つのジャイロスコープからの信号、又は加速度計、磁気計及びジャイロスコープの他の組み合わせからの信号、から決定されることもできる。

追跡装置１１０は、追跡装置１１０の識別（以下：動き識別）、位置及び向きを表わす動きデータを保持する動き信号を提供するように構成される。動き信号は、タイマによって決定される特定の時間に、１又は複数の加速度計、１又は複数の磁気計及び／又は１又は複数のジャイロスコープによって出力される信号を有する。ワイヤード通信も可能であるが、動きデータは、ワイヤレス通信で送信されることができる。

動きデータは、受信機３００によって受け取られ、追跡装置１１０の位置及び向きを決定するためにデータプロセッサ３１０に出力され処理される。

追跡装置１１０は、カメラ２００、２０１にとって良好な可視性を有するように、例えば反射コーティング又は予め決められた色エリアのような光学マーカを保持する。カメラは、可視光及び／又は赤外光を検出するように構成されることができる。カメラ２００、２０１は、追跡装置１１０の光学マーカの動きを検出し、カメラ２００、２０１によって出力されるビデオデータを処理するためにビデオ処理システム２１０に結合される。ビデオ処理システム２１０において、各々の追跡装置１１０は、それに割り当てられる識別（以下：ビデオ識別）を有し、その識別は、追跡装置１１０によって生成される動き信号に含まれる動き識別と同一であり又はそれに対応する。こうして、ビデオデータにおける光学マーカの検出によって、ビデオ処理システム２１０は、ある時間における追跡装置１１０の位置を提供する。

カメラ２００、２０１及びビデオ処理システム２１０は、動きセンサ１１０の位置座標の正確な初期化及び更新のために使用され、これは、ビデオ処理システム２１０によって出力される、特定の時間に得られた（そのビデオ識別によって識別される）特定の追跡装置のビデオデータを、データプロセッサ３１０によって出力される、同じ時間に得られた同じ追跡装置（動き識別によって識別される）の動きデータに、リンクすることによって、行われる。リンクは、特定の目的のための１又は複数の他の処理装置に、位置データ及び向きデータを提供するリンクデータプロセッサ４００において実施される。

位置座標の初期化は、追跡装置１１０の動きセンサに関する瞬時の位置座標を、同じ動きセンサの光学マーカに関する同じ時間のビデオデータから決定される位置座標に、最初に設定することを含む。追跡装置１１０の動きセンサの新しい位置座標は、最初に設定された位置座標に関して、動きデータから計算されるが、やがて、追跡装置１１０の動きセンサの１又は複数の加速度計、磁気計及び／又はジャイロスコープによって行われる測定及び計算の不正確さにより、エラーを含む。

位置座標の更新は、追跡装置１１０の動きセンサの瞬時の位置座標を、同じ動きセンサの光学マーカに関する同じ時間のビデオデータから決定される位置座標に、新たに設定することを含む。こうして、追跡装置１１０の動きセンサの新しい位置座標の計算において積み重なるエラーは、更新において補正され、それにより低い状態のままである。光学マーカが特定の時間間隔においてカメラ２００、２０１の少なくとも一方にとって可視である場合、位置座標の更新は、その特定の時間間隔において行われることができる。光学マーカが、更新時に可視でない場合、動きデータのみが、追跡装置１１０の位置及び向きを決定するために使用され、それにより、特定のマーカのビデオデータが利用可能でない場合も、対象物１００の動きを連続的に捕捉し続け、ある時間における対象物１００（の一部）の位置及び向きの再構成を可能にする。

動きデータから、ある時間における追跡装置１１０の位置及び向きを再構成する場合、以下のアルゴリズムが使用される：
（ａ）１又は複数の個々の加速度計によって測定されるような、１又は複数の加速度の方向及び大きさを決定する；及び／又は
（ｂ）１又は複数の個々の磁気計によって測定されるような、１又は複数の向きを決定する；及び／又は
（ｃ）１又は複数の個々のジャイロスコープによって測定されるような、１又は複数の回転スピードを決定する；
（ｄ）ジャイロスコープデータが利用可能な場合、ジャイロスコープデータを使用して、追跡装置の向きの前の評価から、新しい評価を計算する；
（ｅ）ジャイロスコープデータが利用可能でない場合、加速度計データ及び／又は磁気計データを使用して、追跡装置の向きの前の評価から追跡装置の向きの新しい評価を計算する；
（ｆ）利用可能な場合、重力を加速度計データから減算する；
（ｇ）任意には、対象物１００の機構のコンピュータモデルを使用し、利用可能な場合、遠心力を加速度計データから減算する。

上述のステップを実施する結果として、異なる座標フレームへの起こりうる座標フレーム変形を考慮して、追跡装置の並進加速度が得られることができる。

ステップ（ｄ）において、ソフトローパス帰還ループが、ジャイロスコープのドリフトを補償するために、１又は複数の加速度計及び／又は１又は複数の磁気計の測定データを組み込んで、追跡装置の向きの新しい評価において適用されることができる。

ステップ（ｄ）又は（ｅ）の後、追跡装置の間の関係が知られている場合、特に良好に利用されることができる位置情報が、利用可能である。例えば、追跡装置が、人体の一部に、例えば上腕に、取り付けられ、腕が上方を向いていることが知られており、腕の長さもまた知られている場合、腕の手の位置が、相対的に正確に計算されることができる。

動きセンサから得られる位置情報は、相対的に高い周波数に関して、すなわち対象物（の一部）の位置の相対的に速い変化に関して、相対的に信頼性がある。他方、ビデオカメラから得られる位置情報は、相対的に低いフレームレートがビデオカメラにおいて使用されるので、相対的に低い周波数に関して相対的に信頼性がある。リンクデータプロセッサ４００は、位置変化のスピードに依存して、対応する区別が位置及び向きの計算において行われるように、動作することができる。

ビデオ処理システム２１０、データプロセッサ３１０及びリンクデータプロセッサ４００は、それぞれ、必要なタスクを実施するためのコンピュータ命令を含む１又は複数のコンピュータプログラムを含んで、適切にプログラムされる。

本発明によれば、対象物に接続される光学マーカが、一時的に可視でない場合でも、光学マーカを備える追跡装置の動きセンサからの動きデータが、追跡装置の位置及び向きの続行される測定を可能にする。

本発明のアプリケーションは、動き及び歩行解析を含み、その結果は、リハビリテーションリサーチ及び治療のために使用される。他のアプリケーションは、ゲーム及び映画産業において見つけられることができる。他のアプリケーションは、スポーツマン能力モニタリング及びアドバイスにおいて見つけられることができる。更に別のアプリケーションが、医用ロボット工学において認識されることができる。

必要に応じて、本発明の詳細な実施例が、ここに開示されている。しかしながら、開示される実施例は、様々な形態で実現されることができる本発明の単なる例示にすぎないことが理解されるべきである。従って、ここに開示される特定の構造的及び機能的な詳細は、限定するものとして解釈されるべきではなく、単に請求項の基礎として、及び事実上任意の適当な詳細の構造において本発明を多様に用いるために当業者に教示するための代表的な基礎としてのみ、解釈されるべきである。更に、ここで使用される語及び表現は、限定することを意図するものではなく、本発明の理解できる記述を提供することを意図するものである。

ここで使用される「a」又は「an」は、１又は複数として規定される。ここで使用される、複数、なる語は、２又はそれ以上として規定される。ここで使用される、別の、他の、なる語は、少なくとも第２の又はそれ以上として規定される。ここで使用される、有する及び／又は含む、なる語は、広い意味で規定される。ここで使用される、結合、なる語は、必ずしも直接的でなく、必ずしも機械的でなく、接続されるものとして規定される。ここで使用されるプログラム、ソフトウェアアプリケーション等の語は、コンピュータシステム上で実行されるように設計される命令のシーケンスとして規定される。プログラム、コンピュータプログラム又はソフトウェアアプリケーションは、コンピュータシステム上で実行されるように設計される命令の、サブルーチン、ファンクション、プロシージャ、オブジェクト方法、オブジェクト実現、実行可能なアプリケーション、アプレット、サーブレット、ソースコード、オブジェクトコード、共用ライブラリ／ダイナミックロードライブラリ及び／又は他のシーケンスを含むことができる。

Claims (12)

1. 対象物の動きを捕捉するシステムであって、
   前記対象物に接続されるとともに、少なくとも１つの光学マーカと、追跡装置の位置及び向きを表わす動きデータを提供する少なくとも１つの動きセンサと、を有する該追跡装置と、
   前記光学マーカの動きを記録して、前記追跡装置の位置を表わすビデオデータを提供する少なくとも１つのカメラと、
   ある時間期間にわたる前記追跡装置の空間的な位置及び向きを決定するために、前記ビデオデータ及び前記動きデータを組み合わせにおいて処理するリンクデータプロセッサと、
   を有するシステム。
2. 前記リンクデータプロセッサは、前記ビデオデータから決定される前記位置に基づいて、前記動きデータから決定される位置を補正する、請求項１に記載のシステム。
3. 前記リンクデータプロセッサは、前記動きデータから決定される前記位置に基づいて、前記ビデオデータから決定される前記位置を補正する、請求項１に記載のシステム。
4. 前記光学マーカは、前記追跡装置上の反射コーティングによって構成される、請求項１乃至３のいずれか１項に記載のシステム。
5. 前記追跡装置は更にタイマを有する、請求項１乃至４のいずれか１項に記載のシステム。
6. 前記動きセンサは、少なくとも１つの加速度計を有する、請求項１乃至５のいずれか１項に記載のシステム。
7. 前記動きセンサは、少なくとも１つの磁気計を有する、請求項１乃至６のいずれか１項に記載のシステム。
8. 前記動きセンサは、少なくとも１つのジャイロスコープを有する、請求項１乃至７のいずれか１項に記載のシステム。
9. 前記動きセンサから前記データプロセッサに前記動きデータを送るワイヤレス通信リンクを更に有する、請求項１乃至８のいずれか１項に記載のシステム。
10. 対象物の動きを捕捉する方法であって、
    少なくとも１つの光学マーカと、追跡装置の位置及び向きを表わす動きデータを提供する少なくとも１つの動きセンサと、を有する該追跡装置を準備するステップと、
    前記追跡装置を前記対象物に接続するステップと、
    カメラによって前記光学マーカの動きを記録して、前記追跡装置の位置を表わすビデオデータを提供するステップと、
    ある時間期間にわたる前記追跡装置の空間的な位置及び向きを決定するために、前記動きデータ及び前記ビデオデータを組み合わせにおいて処理するステップと、
    を含む方法。
11. 前記動きデータ及び前記ビデオデータを組み合わせにおいて処理する前記ステップは、前記ビデオデータから決定される前記位置に基づいて、前記動きデータから決定される前記位置を補正することを含む、請求項１０に記載の方法。
12. 前記動きデータ及び前記ビデオデータを組み合わせにおいて処理する前記ステップは、前記動きデータから決定される前記位置に基づいて、前記ビデオデータから決定される前記位置を補正することを含む、請求項１０に記載の方法。

Images