JP2015503393A - 運動を行っているユーザーの手及び／又は手首の回転を追跡するための方法及び装置 - Google Patents

Abstract

本発明は、運動を行っているユーザーの手及び／又は手首の回転を追跡するための方法及び装置を提供する。本発明の一態様は、運動を行っているユーザーの手及び／又は手首の回転を追跡する方法を提供する。前記ユーザーは自身の手にマーカーを装着しており、当該方法は、前記手が第１の位置及び第２の位置にある場合に、前記マーカーの第１の画像及び第２の画像をそれぞれカメラで取得する工程；前記第１の画像及び前記第２の画像並びに前記ユーザーが行っている運動の種類に基づいて、前記第１の位置から前記第２の位置への変化から前記手及び／又は手首の角度変化を導出する工程；及び前記手及び／又は手首の角度変化を出力する工程；を含む。前記マーカーは長方形のブロックに近似しており、前記マーカーは、前記ユーザーの掌を収容するための開口部を有し、前記掌に垂直な方向に沿った前記マーカーの辺は、他の２つの辺よりも実質的に短い。このように、手／手首の回転の追跡を１つの手装着マーカーで十分行えるため、システム実装が簡略化され、マーカー又は加速度計のコストを削減することができる。

Description

本発明は手及び／又は手首の回転の追跡に関し、特に、運動を行っているユーザーの手及び／又は手首の回転を追跡するための方法及び装置に関する。

ビデオカメラとマーカーとに基づく単一の脳卒中リハビリテーションシステム（single video-camera and marker-based stroke rehabilitation system）は、新興市場にとってコスト効率のよい解決法である。脳卒中後患者は、テレビを用い、画面上に表示される医師／療法士が定めた指示に従って、自分たちでリハビリ運動を行うことができる。

国際公開第２００８／０９９３０１号には、運動を指導及び監督するためのフィードバック装置が開示されている。このフィードバック装置は装着式のセンサ又はマーカーと、カメラシステムとを用いて人の体位及び／又は体の動きを検出するが、このフィードバック装置は体位全体しか検出することができないため、例えば、手及び／又は手首の回転運動での角度変化を正確に検出することができない。

具体的には、全てのリハビリ運動の中でも、手及び／又は手首に関する回転動作は脳卒中後患者にとって重要な運動である。楕円球又は立方体の様な任意形状を有する手装着マーカー（hand-worn marker）の場合、単一のカメラに基づくシステムで３自由度の手の回転を追跡するのは難しく、この作業を完遂するためには、手に装着する付加的なマーカー又は加速度計の様な他のモダリティーを用いて回転の追跡を支援しなければならない場合がほとんどである。

システム実装を簡素化し且つ手及び／又は手首の回転を追跡するためのマーカーの数を低減するために、本発明の発明者らは、あらゆる手／手首の回転に関連する運動を詳しく調査し、これらの運動を２つのカテゴリーに、即ち、カメラで取得したマーカーの画像の面積変化に関連しない（例えば、前腕の回内及び外回に伴う手／手首の回転）第１のカテゴリーと、カメラで取得したマーカーの画像の面積変化に関連する（例えば、手首の背屈及び掌屈）第２のカテゴリーとに分類でき得ることを見出した。

また、本発明者らは、第１のカテゴリーに属する運動のための手及び／又は手首の回転の追跡は直線当てはめアルゴリズム（line-fitting algorithm）により実現され、第２のカテゴリーに属する運動のための手／手首の回転の追跡は面積−角度マッピングアルゴリズム（area-angle mapping algorithm）によって実現され得ることを認識した。

それにもかかわらず、これら２つのアルゴリズムで任意形状のマーカーの全てを用いることができるわけではない。即ち、これらの２つのアルゴリズムを同時に実行できるようにするには、特別に設計した手装着マーカーと併せて２つのアルゴリズムを使用する必要がある。このように、手及び／又は手首の回転の追跡が１つの手装着マーカーで十分行えるため、システム実装が簡素化され、マーカー又は他の加速度計のコストを削減することができる。

先に述べたように、手装着マーカーの形状は、特に直線当てはめアルゴリズムの場合に任意であってはならないことを本発明の発明者は見出した。例えば、マーカーからカメラへの突出（projection）が円形又は正方形状だと、カメラで取得した画像を直線に当てはめることができないため、マーカーの動きによって表される手／手首の回転を直線当てはめアルゴリズムで特定することができない。

そのため、上記に鑑みて、本発明者らは、１つのマーカーで、手及び／又は手首の回転の追跡を、面積−角度マッピングアルゴリズム及び直線当てはめアルゴリズムの双方に対して同時に適したものにするには、マーカーからカメラへの突出が長方形様の形状、好ましくは直線当てはめに適した薄い長方形状であるべきこと見出した。即ち、マーカーの突出は円形又は正方形等であってはならない。

具体的には、本発明の一態様によれば、運動を行っているユーザーの手及び／又は手首の回転を追跡する方法が提供される。前記ユーザーは自身の手にマーカーを装着しており、当該方法は、前記手が第１の位置及び第２の位置にある場合に、前記マーカーの第１の画像及び第２の画像をそれぞれカメラで取得する工程；前記第１の画像及び前記第２の画像並びに前記ユーザーが行っている運動の種類に基づいて、前記第１の位置から前記第２の位置への変化から前記手及び／又は手首の角度変化を導出する工程；及び前記手及び／又は手首の角度変化を出力する工程；を含み、前記マーカーは長方形のブロックに近似しており、前記マーカーは、前記ユーザーの掌を収容するための開口部を有し、前記掌に垂直な方向に沿った前記マーカーの辺は、他の２つの辺よりも実質的に短い。

掌に垂直な方向に沿ったマーカーの辺は、他の２つの辺よりも実質的に短いため、マーカーからカメラへの突出は長方形状であり、直線に当てはめることができる。従って、上記の形状を有する手装着マーカーは直線当てはめアルゴリズムに好適である。そのため、本発明の方法により、手及び／又は手首の回転の追跡を１つの手装着マーカーで十分行えるため、システム実装が簡素化され、マーカー又は他の加速度計のコストを削減することができる。

本発明の一実施形態によれば、前記ユーザーが行っている運動の種類が前腕の回内及び外回に関連し且つ前記第１の画像及び前記第２の画像が細長い場合、前記導出工程は、前記第１の画像及び前記第２画像を第１の線及び第２の線にそれぞれ当てはめるサブ工程；及び前記手及び／又は手首の角度変化として前記第１の線と前記第２の線との間の角度を算出するサブ工程；を含む。

先に説明したように、単純な手装着マーカーと併せて直線当てはめアルゴリズムを用いることで、この種類の運動のための手及び／又は手首の回転の追跡をこのような形で容易に行え得る。

また、本発明の一実施形態によれば、前記ユーザーが行っている運動の種類が手首の背屈及び掌屈に関連する場合、前記導出工程は、前記第１の画像の第１の面積及び前記第２の画像の第２の面積をそれぞれ算出するサブ工程；前記マーカーが前記第１の位置にある場合に前記マーカーが横たわる面の基準面に対する角度を示す第１の角度に、所定のテーブルを参照して前記第１の面積をマッピングするサブ工程；前記マーカーが前記第２の位置にある場合に前記マーカーが横たわる面の前記基準面に対する角度を示す第２の角度に、前記所定のテーブルを参照して前記第２の面積をマッピングするサブ工程；及び前記第１の角度と前記第２の角度との間の角度差を、前記手及び／又は手首の角度変化として算出するサブ工程；を含む。

先に説明したように、単純な手装着マーカーと併せて面積マッピングアルゴリズムを用いることで、この種類の運動のための手及び／又は手首の回転の追跡をこのような形で容易に行え得る。

参照テーブルを確立する方法に関して、本発明の好ましい実施形態によれば、面積が同じであるが異なる位置に対応する２つの画像（例えば、面積が同じであるが、手首の屈曲及び伸展時にそれぞれ得られた２つの画像）を区別するために、任意で、取得したマーカーの画像の面積が最も小さいマーカーの面を基準面とし、マーカーの中心を参照して、取得した画像の同じ面積に対応する異なる位置のためのサインが区別される。

本発明の他の態様によれば、運動を行っているユーザーの手及び／又は手首の回転を追跡するための装置が提供される。前記ユーザーは自身の手にマーカーを装着しており、当該装置は、前記手が第１の位置及び第２の位置にある場合に、前記マーカーの第１の画像及び第２の画像をそれぞれ取得するように構成されたカメラ；前記第１の画像及び前記第２の画像並びに前記ユーザーが行っている運動の種類に基づいて、前記第１の位置から前記第２の位置への変化から前記手及び／又は手首の角度変化を導出するように構成されたプロセッサ；及び前記手及び／又は手首の角度変化を出力するように構成されたインターフェース；を含み、前記マーカーは長方形のブロックに近似しており、前記マーカーは、前記ユーザーの掌を収容するための開口部を有し、前記掌に垂直な方向に沿った前記マーカーの辺は、他の２つの辺よりも実質的に短い。

先に説明したように、上記の形状を有する手装着マーカーは直線当てはめアルゴリズムに好適であることから、本発明の装置を用いることで、手及び／又は手首の回転の追跡を１つの手装着マーカーで十分行えるため、システム実装が簡素化され、マーカー又は他の加速度計のコストを削減することができる。

本発明のさらなる実施形態によれば、前記プロセッサは、前記角度変化及び前記運動の設定目標に基づいて、指示情報を生成するようにさらに構成され、前記インターフェースは、映像及び／又は音声で前記指示情報を前記ユーザーに提供するようにさらに構成されている。

このように、上記装置は、基本的に検出の結果を表示したもの又は声によるプロンプトであり、ユーザーが理解できる形で示されるか又は提供されるリアルタイムフィードバックを提供し得る。従って、ユーザーの体験が向上する。

本発明の一実施形態によれば、前記マーカーは、前記ユーザーが自身の掌を前記開口部に挿入した場合に、該掌の厚さ、長さ及び幅にそれぞれ対応する３つの辺ａ、ｂ及びｃを有する。好ましい実施形態では、人の手の形にフィットするように、ａ、ｂ及びｃの大きさは、ａ＝５５ｍｍ〜７５ｍｍ、ｂ＝１９５ｍｍ〜２２０ｍｍ、ｃ＝１５５ｍｍ〜１７０ｍｍである。そのため、ユーザーにとってマーカーがより快適で且つより簡便なものとなる。

本発明で用いるマーカー及びカメラの種類について、逆反射マーカー及び赤外線カメラの組み合わせが好ましい。逆反射マーカーを用いることの利点は、非反射領域と比べて非常に高いコントラストを得ることができる点であり、画像の区分けに有益である。上肢関節等の患者の特定位置にマーカーを取り付けることで、腕の動きを追跡することができる。

それでもなお、本発明の実施は「逆反射マーカーと赤外線カメラ」との組み合わせに限定されておらず、他の「マーカー＋カメラ」に基づく構成でも用いることができる。

例えば、マーカーは必ずしも逆反射マーカーではなく、赤色又はマーカーの周辺環境と区別可能な任意の他の色の一般的なマーカーであり得る。この場合、カメラで用いられるアルゴリズムが色認識により画素を区分できるのであれば、カメラは一般的なカメラであってもよい。即ち、カメラで取得したマーカーの画像を周囲の画像と区別できる限り、他の種類のマーカー及びカメラを用いてもよい。

本発明の他の目的及び利点は、添付の図面と組み合わせた説明から一層明らかとなり、それらの組み合わせを参照することで容易に理解できる。

以下、図面を参照しながら、実施形態と組み合わせて、本発明をより詳細に記載及び説明する。
図１ａ〜図１ｃは、手装着マーカーの上面図、前面図及び側面図をそれぞれ示す。 図２は、手装着マーカーの斜視図を示す。 図３は、本発明の一実施形態に係る手装着マーカーの形状を示す。 図４は、前腕の回内及び回外時の手の初期位置の定義を示す説明図である。 図５は、直線あてはめアルゴリズムを利用して得た手及び／又は手首の角度変化を示す説明図である。 図６は、手首の屈曲及び伸展時の手装着マーカーの面積変化を前面から示す説明図である。 図７は、本発明の一実施形態に係る、運動を行っているユーザーの手及び／又は手首の回転を追跡するための方法のフローチャートである。 図８は、本発明の一実施形態に係る、運動を行っているユーザーの手及び／又は手首の回転を追跡するための装置のブロック図である。 図９は、ディスプレイ上でのリアルタイムフィードバックにおける角度変化の提示を示す。 図面中の同じ参照符号は、同様の又は対応する特徴及び／又は機能を示す。

図面を参照しながら、本発明の実施形態を以下でより詳細に説明する。

手装着マーカーは、脳卒中後患者が装着するのに適しているだけでなく、３自由度の回転の追跡を技術的にサポートしたものでなければならない。鞘が別になったデザインのグローブ（glove with a separate sheath design）の装着は脳卒中患者にとって困難なため、指なしのグローブとしてマーカーの基本形状を設計すべきである。

図１ａ〜図１ｃは、手装着マーカーの上面図、前面図及び側面図をそれぞれ示す。赤外線を反射させるために、グローブ（即ち、手装着マーカー）の外側に逆反射性材料が張り付けられている。

図２は、手装着マーカーの斜視図をさらに示す。図２から分かるように、とりわけ、一方側の手足に機能障害を持つユーザーがより簡便にグローブを身に着けれるように、グローブはフリップオーバーデザイン（flip-over design）を有する。

図３は、本発明の一実施形態に係る手装着マーカーの形状を示す。

図３から分かるように、マーカーの形状は実質的に立方体である。マーカーは、ユーザーが自身の掌を開口部に挿入した場合に、その掌の厚さ、長さ及び幅にそれぞれ対応する３つの辺ａ、ｂ及びｃを有する。

本発明によれば、ａ、ｂ及びｃのうちの少なくとも１つは、他の２つと異なるため、立方体を構成する６つの側面のうちの１対の側面は長方形であり、それらを直線に当てはめることができる。

図３に示す実施形態では、マーカーは長方形のブロックに近似しており、マーカーはユーザーの掌を収容するための開口部を有し、ユーザーの掌に垂直な方向に沿ったマーカーの辺は、他の２つの辺よりも実質的に短い。

掌に垂直な方向に沿ったマーカーの辺は他の２つの辺よりも実質的に短いため、マーカーからカメラへの突出は長方形状であり、それを直線に当てはめることができる。従って、上記の形状の手装着マーカーは直線当てはめアルゴリズムに好適である。

本発明の一実施形態によれば、マーカーを人間の手の形に適したものにするために、ｂ＞ｃ＞ａであることが好ましい。

また、ユーザーが装着し易くするために、ａは５５ｍｍ〜７５ｍｍの範囲から選択されることが好ましく、ｂは１９５ｍｍ〜２２０ｍｍの範囲から選択されることが好ましく、ｃは１５５〜１７０ｍｍの範囲から選択されることが好ましい。

男性又は女性のユーザーの手の形を考慮に入れるために、これらのパラメータをユーザーの性別に従って選択することがさらに好ましい。

例えば、大人の男性ユーザーの場合、ａ＝６０ｍｍ〜７５ｍｍ、ｂ＝２０５ｍｍ〜２２０ｍｍ、ｃ＝１６０ｍｍ〜１７０ｍｍであり、大人の女性ユーザーの場合、ａ＝５５ｍｍ〜６５ｍｍ、ｂ＝１９５ｍｍ〜２１０ｍｍ、ｃ＝１５５ｍｍ〜１６５ｍｍである。

本発明の好ましい実施形態では、ａとして６３ｍｍが選択され、ｂとして２１０ｍｍが選択され、ｃとして１６５ｍｍが選択され得る。

先に述べたように、本発明の発明者らは、これらの手及び／又は手首に関する運動を２つのカテゴリーに、即ち、カメラで取得したマーカーの画像の面積変化に関連しない（例えば、前腕の回内及び外回に伴う手／手首の回転）第１のカテゴリーと、カメラで取得したマーカーの画像の面積変化に関連する（例えば、手首の背屈及び掌屈）第２のカテゴリーとに分類でき得ることを見出した。

また、本発明者らは、第１のカテゴリーに属する運動のための手及び／又は手首の回転の追跡は直線当てはめアルゴリズムによって実行でき、第２のカテゴリーに属する運動のための手及び／又は手首の回転の追跡は面積−角度マッピングアルゴリズムによって実行でき得ることを認識した。

以下では、第１のカテゴリーの運動の例として、前腕の回内及び外回に伴う手及び／又は手首の回転を、図４及び図５を参照しながら説明する。

図４は、前腕の回内及び外回時の手の初期位置の定義を示す説明図である。

図４から分かるように、手が水平面に垂直な位置（即ち、図４に示す手が０°の位置）が、前腕の回内及び外回運動における手の初期位置として選択され得る。

図５は、直線当てはめアルゴリズムを用いて得た手及び／又は手首の角度変化を示す説明図である。

直線当てはめアルゴリズムによれば、マーカーを手に装着してマーカーをカメラで撮像すると、第１の画像及び第２の画像は細長く、マーカーの画像の全ての画素が画像の長さ方向に沿った直線に当てはめられる。

手が第１の位置にある場合に取得したマーカーの画像を第１の線に当てはめ、手が第２の位置にある場合に取得したマーカーの画像を第２の線に当てはめたとすると、第１の線と第２の線との間の角度を、手及び／又は手首の角度変化として算出することができる。

なお、本実施形態における第１の位置は初期位置と同じであるが、第１の位置は初期位置から逸れていてもよい。例えば、第１の位置は図４に示す手が０°の位置ではなく、図４の左側に示す手が８０°の位置であり得る。

以下では、第２のカテゴリーの運動の例として、手首の背屈及び掌屈を、図６を参照しながら説明する。

図６は、手首の背屈及び掌屈時の手装着マーカーの面積変化を前面から示す説明図である。

図６から分かるように、マーカーの面積は、手首の様々な屈曲及び伸展角度により変化する。手装着マーカーは、ユーザーが手首の背屈及び掌屈を行った場合に横断面が特定の形状を有するように設計されている。マーカーの画像の最も小さい面積が手首の自然な位置を表し、マーカーの画像の面積が最も小さいマーカーの面を基準面（０°位置）とした場合、マーカーの画像の最も大きい面積は、手首が９０°屈曲又は伸展したことを表す。

手首の伸展又は屈曲を区別するために、手首が自然な位置にある時に、マーカーの中心を追跡し、その元の位置と比較され得る。屈曲運動の場合のマーカーの中心位置は、伸展運動の場合での位置と逆であるべきである。

この点に関して、当業者であれば容易に分かるように、マーカーの中央位置は伸展と屈曲とを区別する方法の一例に過ぎず、この目的のためにグローブの他の位置又は他の基準を用いることができる限り、それらが採用され得る。

図７は、本発明の一実施形態に係る、運動を行っているユーザーの手／手首の回転を追跡する方法のフローチャートである。

図７から分かるように、運動を行っているユーザーの手／手首の回転を追跡する方法７０を提案する。具体的には、この方法７０は、先に説明した手装着マーカーと併せて用いられ、取得工程７１、導出工程７２及び出力工程７３を含む。

先ず、手が第１の位置及び第２の位置にある場合に、マーカーの第１の画像及び第２の画像をそれぞれカメラで取得する（ステップ７１）。

そして、第１の画像及び第２の画像並びにユーザーが行っている運動の種類に基づいて、第１の位置から第２の位置への変化に関連する手及び／又は手首の角度変化を導出する（ステップ７２）。

用いるアルゴリズムは、ユーザーが行っている運動の種類に応じて選択される。例えば、ユーザーが行っている運動の種類が前腕の回内及び外回に関連し且つ第１の画像及び第２の画像が細長い場合、手及び／又は手首の角度変化は直線当てはめアルゴリズムを用いて導出される。また、ユーザーが行っている運動の種類が手首の背屈及び掌屈に関連する場合、手及び／又は手首の角度変化は面積−角度マッピングアルゴリズムを用いて導出される。

本発明の一実施形態によれば、ユーザーが行っている運動の種類が前腕の回内及び外回に関連し且つ第１の画像及び第２の画像が細長い場合、導出工程は、第１の画像及び第２の画像を第１の線及び第２の線にそれぞれに当てはめるサブ工程と、第１の線と第２の線との間の角度を手及び／又は手首の角度変化として算出するサブ工程とを含む。

直線当てはめアルゴリズムの詳細は、図４〜図５との組み合わせで先に説明したため、ここでは省略する。

本発明の一実施形態によれば、ユーザーが行っている運動の種類が手首の背屈及び掌屈に関連する場合、導出ステップは、第１の画像の第１の面積及び第２の画像の第２の面積をそれぞれ算出するサブ工程と、マーカーが第１の位置にある場合にマーカーが横たわる面の基準面に対する角度を示す第１の角度に、所定のテーブルを参照して第１の面積をマッピングするサブ工程と、マーカーが第２の位置にある場合にマーカーが横たわる面の基準面に対する角度を示す第２の角度に、所定のテーブルを参照して第２の面積をマッピングするサブ工程と、第１の角度と第２の角度との間の角度差を、手及び／又は手首の角度変化として算出するサブ工程とを含む。

参照テーブルの確立方法に関して、本発明の好ましい実施形態によれば、マーカーの画像の面積が最も小さいマーカーの面を基準面（０°位置）とする。従って、マーカーの画像の面積が最も小さい位置が運動の初期位置として選択され得る。

直線当てはめの場合と同様に、本実施形態における第１の位置は初期位置と同じであり得るが、第１の位置は初期位置と同じでなくてもよい。即ち、第１の位置は０°の位置（図６の中央に示す位置）ではなく図６に示す任意の他の位置であってもよい。

さらなる実施形態では、マーカーの画像の面積が同じであり且つマーカーの面が基準面の両側に位置する２つの手の位置を区別するために、任意で、マーカーの中心を参照してこれら２つの位置を区別し、それらの位置に、大きさは同じであるが符号が異なる２つの角度を割り当てる。

先に述べたように、当業者であれば、マーカーの中心位置を参照することは、伸展及び屈曲を区別する方法の一例に過ぎないことが容易に分かる。この目的のためにマーカーの他の位置又は他の基準が使用できる限り、それらが採用され得る。

手及び／又は手首の角度変化が一度得られると、それがユーザーに出力され得る（ステップ７３）。

図７に図示していないが、本発明の一実施形態では、本発明の方法が、角度変化及び運動の設定目標に基づいて指示情報を生成する工程と、映像及び／又は音声によりユーザーに該指示情報を提供する工程とをさらに含み得る。

例えば、ユーザーが行っている運動のための角度変化に関する設定目標が参照図（reference figure）として表示されるように、手及び／又は手首の角度変化がリアルタイムで表示され得る。このように、基本的には検出の結果を表示したものであるリアルタイムフィードバックを、ユーザーが理解できるような形で提供することができる。従って、ユーザーの体験が向上する。

図９を参照することで上記の考えをより容易に理解でき得る。具体的には、図９は、ディスプレイ上のリアルタイムフィードバックにおける角度変化の提示を示す。

各回転運動の設定目標が扇状の図（sector-shaped figure）として表示され、動作線及び回転角度が表示される（図９ａ）。ユーザーが自身の手及び／又は手首を回転させると、扇の円弧に合致して動作線が移動する。それに従って、回転角度が変化する（図９ｂ及び９ｃ）。

画面上での回転動作があまりにも僅かであると、回転を視覚的に認識するのが難しいとユーザーが考え得ることが時折ある。その場合、ユーザーの実施状況や、回転させた程度をユーザーが実際に見ることができるように、回転に関連する領域を拡大させ得る拡大機能を設けてもよい。回転運動についてのユーザーの理解を高め且つユーザーが運動を行っている間にユーザーの意欲を刺激するために、リアルタイムフィードバックの傍にマンガキャラクターの紹介を配して、ユーザーが具体的に行うべきことや、現在の運動についてユーザーが注意すべき要点をユーザーに伝えるようにすることができる。

図８は、本発明の一実施形態に係る、運動を行っているユーザーの手及び／又は手首の回転を追跡するための装置のブロック図である。

図８から分かるように、運動を行っているユーザーの手及び／又は手首の回転を追跡するための装置８０を提案する。具体的には、この装置８０は先に説明した手装着マーカーと併せて用いられ、カメラ８１、プロセッサ８２及びインターフェース８３を含む。

図８のカメラ８１は、手が第１の位置及び第２の位置にある場合に、マーカーの第１の画像及び第２の画像をそれぞれ取得するのに用いられる。

画像を取得した後、第１の画像及び第２の画像並びにユーザーが行っている運動の種類に基づいて、第１の位置から第２の位置への変化から手及び／又は手首の角度変化を導出するのにプロセッサ８２が用いられる。

インターフェース８３は、手及び／又は手首の角度変化をユーザーに出力するように構成されている。

本発明の一実施形態では、インターフェース８３は、手及び／又は手首の角度変化をディスプレイ上に視覚的に表示するか又はスピーカーにより角度変化を出力するように構成され得る。

このように、上記装置は、基本的に検出の結果を表示したもの又は声によるプロンプトであり、ユーザーが理解できるような形で示されるか又は提供されるリアルタイムフィードバックを提供する。従って、ユーザーの体験が向上する。

なお、本実施形態における逆反射マーカー及び赤外線カメラの説明は、例示を目的としたものでしかなく、限定的な意味合いで解釈すべきでない。先に説明したように、本発明の実施は「逆反射マーカーと赤外線カメラ」との組み合わせに限定されるものではなく、他の「マーカー＋カメラ」に基づく構成でも用いることができる。

例えば、マーカーは必ずしも逆反射マーカーではなく、赤色又は手の周辺環境と区別可能な任意の他の色の一般的なマーカーであり得る。この場合、カメラは、カメラで取得したマーカーの画像が周囲の画像と区別できる限り、一般的なカメラであり得る。

なお、前述の実施形態は、本発明を限定するものではなく説明するものであり、当業者は、添付の請求項の範囲から逸脱することなく代替的な実施形態を設計することができる。請求項内の括弧に入った参照符号は請求項を限定すると解釈してはならない。「含む（comprising）」という用語は、請求項に記載の要素又は工程以外のものの存在を排除しない。要素に先行する「ａ」又は「ａｎ」という用語は、その要素が複数存在することを排除しない。いくつかのユニットが列挙されるシステムクレームでは、これらのユニットのいくつかは全く同一のシステム及び／又はハードウェアによって実施され得る。第１、第２及び第３という用語の使用は、順序を何ら示すものではない。これらの用語は名前として解釈すべきである。

Claims (12)

1. 運動を行っているユーザーの手及び／又は手首の回転を追跡する方法であって、
   前記ユーザーは自身の手にマーカーを装着しており、
   当該方法は、
   前記手が第１の位置及び第２の位置にある場合に、前記マーカーの第１の画像及び第２の画像をそれぞれカメラで取得する工程；
   前記第１の画像及び前記第２の画像並びに前記ユーザーが行っている運動の種類に基づいて、前記第１の位置から前記第２の位置への変化から前記手及び／又は手首の角度変化を導出する工程；及び
   前記手及び／又は手首の角度変化を出力する工程；
   を含み、
   前記マーカーは長方形のブロックに近似しており、前記マーカーは、前記ユーザーの掌を収容するための開口部を有し、前記掌に垂直な方向に沿った前記マーカーの辺は、他の２つの辺よりも実質的に短い、方法。
2. 前記ユーザーが行っている運動の種類が前腕の回内及び外回に関連し且つ前記第１の画像及び前記第２の画像が細長い場合、前記導出工程は、
   前記第１の画像及び前記第２画像を第１の線及び第２の線にそれぞれ当てはめるサブ工程；及び
   前記手及び／又は手首の角度変化として前記第１の線と前記第２の線との間の角度を算出するサブ工程；を含む、請求項１に記載の方法。
3. 前記ユーザーが行っている運動の種類が手首の背屈及び掌屈に関連する場合、前記導出工程は、
   前記第１の画像の第１の面積及び前記第２の画像の第２の面積をそれぞれ算出するサブ工程；
   前記マーカーが前記第１の位置にある場合に前記マーカーが横たわる面の基準面に対する角度を示す第１の角度に、所定のテーブルを参照して前記第１の面積をマッピングするサブ工程；
   前記マーカーが前記第２の位置にある場合に前記マーカーが横たわる面の前記基準面に対する角度を示す第２の角度に、前記所定のテーブルを参照して前記第２の面積をマッピングするサブ工程；及び
   前記第１の角度と前記第２の角度との間の角度差を、前記手及び／又は手首の角度変化として算出するサブ工程；を含む、請求項１に記載の方法。
4. 前記基準面は、前記取得した画像の面積が最も小さい面と定義される、請求項３に記載の方法。
5. 前記角度変化及び前記運動の設定目標に基づいて、指示情報を生成する工程；及び
   映像及び／又は音声で前記指示情報を前記ユーザーに提供する工程；
   をさらに含む、請求項１に記載の方法。
6. 運動を行っているユーザーの手及び／又は手首の回転を追跡するための装置であって、
   前記ユーザーは自身の手にマーカーを装着しており、
   当該装置は、
   前記手が第１の位置及び第２の位置にある場合に、前記マーカーの第１の画像及び第２の画像をそれぞれ取得するように構成されたカメラ；
   前記第１の画像及び前記第２の画像並びに前記ユーザーが行っている運動の種類に基づいて、前記第１の位置から前記第２の位置への変化から前記手及び／又は手首の角度変化を導出するように構成されたプロセッサ；及び
   前記手及び／又は手首の角度変化を出力するように構成されたインターフェース；
   を含み、
   前記マーカーは長方形のブロックに近似しており、前記マーカーは、前記ユーザーの掌を収容するための開口部を有し、前記掌に垂直な方向に沿った前記マーカーの辺は、他の２つの辺よりも実質的に短い、装置。
7. 前記ユーザーが行っている運動の種類が前腕の回内及び外回に関連し且つ前記第１の画像及び前記第２の画像が細長い場合、前記プロセッサは、
   前記第１の画像及び前記第２画像を第１の線及び第２の線にそれぞれ当てはめるように構成された当てはめ部；及び
   前記手及び／又は手首の角度変化として前記第１の線と前記第２の線との間の角度を算出するように構成された第１の計算器；を含む、請求項６に記載の装置。
8. 前記ユーザーが行っている運動の種類が手首の背屈及び掌屈に関連する場合、前記プロセッサは、
   前記第１の画像の第１の面積及び前記第２の画像の第２の面積をそれぞれ算出するように構成された第２の計算器；
   前記マーカーが前記第１の位置にある場合に前記マーカーが横たわる面の基準面に対する角度を示す第１の角度に、所定のテーブルを参照して前記第１の面積をマッピングするように構成された第１のマッピング部；
   前記マーカーが前記第２の位置にある場合に前記マーカーが横たわる面の前記基準面に対する角度を示す第２の角度に、前記所定のテーブルを参照して前記第２の面積をマッピングするように構成された第２のマッピング部；及び
   前記第１の角度と前記第２の角度との間の角度差を、前記手及び／又は手首の角度変化として算出するように構成された第３の計算器；を含む、請求項６に記載の装置。
9. 前記基準面は、前記取得した画像の面積が最も小さい面と定義される、請求項８に記載の装置。
10. 前記プロセッサは、前記角度変化及び前記運動の設定目標に基づいて、指示情報を生成するようにさらに構成され、前記インターフェースは、映像及び／又は音声で前記指示情報を前記ユーザーに提供するようにさらに構成されている、請求項６に記載の装置。
11. 前記マーカーをさらに含み、前記カメラは赤外線カメラであり、前記マーカーの外面は、赤外線カメラで撮像可能な逆反射材料で被覆されている、請求項６に記載の装置。
12. 前記マーカーは、前記ユーザーが自身の掌を前記開口部に挿入した場合に、該掌の厚さ、長さ及び幅にそれぞれ対応する３つの辺ａ、ｂ及びｃを有し、該ａ、ｂ及びｃの大きさは、ａ＝５５ｍｍ〜７５ｍｍ、ｂ＝１９５ｍｍ〜２２０ｍｍ、ｃ＝１５５ｍｍ〜１７０ｍｍである、請求項１１に記載の装置。

Images