【０００１】
【発明の属する技術分野】
本発明は、主としてリハビリテーションやトレーニングのためのバーチャルスポーツシステム等で使用するセンシングデバイスに関する。
【０００２】
【従来の技術】
バーチャルスポーツシステムは種々提供されているが、多くのものは実際の動作に近づけることを目的としたゲームの進行手段を持っているが、リハビリテーションを苦痛なく効果的に行えるものはない（特許文献１、２）
【０００３】
そこで、本発明者は、バーチャルテニスのリハビリテーション効果を明らかにし、リハビリ、トレーニング等に適したバーチャルスポーツシステムを提供した（特願２００１−３８３２５８）。
【０００４】
しかし、上記出願のものは、ラケットに内蔵した加速度センサーおよび角速度センサーと、赤外線投光装置とラケットからの反射光の受光センサーと、ラケットに付けた光源をカメラで撮像し光源を撮像するバーチャルスポーツシステムであり、バーチャルスポーツシステムをリハビリまたはトレーニングに適用することを可能にしたが、次のような問題がある。
【０００５】
（１）加速度サンサー、ジャイロセンサーでは誤差の累積により誤作動を起こす。これをなくすためにキャリブレーションをする必要があり、そのときに決められた方向姿勢にしなければならない。
（２）赤外線投受光の場合、投光から受光までの距離が長くしかも拡散しているために光量が足りない。また外光の影響を受けやすい。
（３）カメラによる画像計測の場合、単一の受光素子のものではレンズ等で集光するため測定範囲を大きくするとそれに応じて受光素子の位置も対象物から離さねばならず設置のために広い面積を要しており、その解決には、高額な広画角レンズを必要とする。
（４）ＣＣＤやＣＭＯＳカメラによる撮像を画像処理する場合、素子自体のフレームレートの不足や画像処理に時間がかかるため、判定の遅れが生じる。リアルタイムの判定を行うには高額な高速のカメラや画像処理装置が必要とする。
（５）正確なセンサーは複雑かつ高価である。すでに簡易な方式で振ったか、否かを判定するセンサーはあるが動作について現実感の必要なリハビリ／トレーニングには不十分であった。
【０００６】
【特許文献１】特開平３−０７３４０号公報
【特許文献２】特開平０９−３１３５５２号公報
【０００７】
【発明が解決しようとする課題】
ラケットのスイングとボールの衝突判定する方法については、
バーチャルテニスにおいてはショットの瞬間のバーチャルなボールの位置とラケット位置の整合性を細かく合わせることは必ずしも重要でなく、リハビリやトレーニングに重要であるのはリハビリする体の部位に対応するゾーンでラケットをスイングすることである。
ボールの位置とラケットの位置の整合性から衝突判定することは現実感を追求した場合必要であるが、リハビリやトレーニングを目的とした場合、必ずしも必要ではない。
この場合、ボールの表示位置はラケットのスイングのための指示を直感的に行うものといってもよい。
以上のことから、リハビリやトレーニングにおけるバーチャルテニスを例にすると重要なのは、打球タイミング内におけるアイテムの光源位置の高速な判定であり、判定はアイテムの標識の座標値ではなくアイテムが位置するゾーンがどこであるかを直接的に高速に判定することを課題とする。
また、リハビリとゾーン判定という考え方の組み合わせを用いることで、判定の対象とするタイミングにおいて検出ゾーン内だけでの標識のありなしを判別する簡単な方法で安価に実現できるセンシングを実現することを課題とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本発明のバーチャルスポーツシステムは、
請求項１に係る発明は、リハビリテーションまたはトレーニングシステムに用いる、動く物体の位置と方向をリアルタイムで計測するシステムであり、用具または体の一部に設けられた標識と、空間内にある光源の位置を計測するために光源の光を受光する光電変換素子と、標識の２次元位置をリアルタイムで計測するプログラムを内蔵する信号処理装置または画像処理装置と、ゾーン判定装置を含むことを特徴とする。
請求項２に係る発明は、請求項１に係る発明において、複数の光電変換素子をプレイヤーに向けて設置され、設定された測定空間内の区切られた光源の位置範囲（ゾーン）に対応した光電変換素子が標識からの光を受光するように構成され、複数のゾーンをそれぞれに対応する光電変換素子により受光すべく構成したことを特徴とする。
請求項３に係る発明は、請求項１または２に係る発明において、２つの方向からプレイヤーに向けてセンサーを設置し、１つの光源を２方向から位置または標識が存在するゾーンをセンサーが検出することにより３次元の位置またはゾーン判定が計測可能な計測システムを備えることを特徴とする。
請求項４に係る発明は、請求項１ないし３のいずれかに係る発明において、光源が複数存在し、駆動回路によりパルス発光し、センサーの受光タイミングと同期させることで複数の光源位置の位置計測をおこなうことを特徴とする。
請求項５に係る発明は、請求項１ないし４のいずれかに係る発明において、ラケットにジャイロ、加速度センサーまたは姿勢検知センサーを内蔵したことを特徴とする。
【０００９】
【作用】
リハビリまたは筋力トレーニングを行うプレイヤーは、赤外線ＬＥＤ光源が取り付けられているラケットを持ち、ゾーン分割された空間内でスイングすると、プレイヤーから離れて設置されているゾーンに対応する光電変換素子が、受光し光源位置の抽出と位置座標の出力を行ってゾーン判定を行い、その判定結果にもとづいて球の飛行軌跡を３Ｄ表示可能なＨＭＤまたはディスプレイ画面によりバーチャルリアリティー表示を行う。
【００１０】
【発明の実施の形態】
最初に一つの実施の形態をテニスを例に取り、説明する。ラケットには赤外ＬＥＤが取り付けられており、プレイヤーはそのラケットを振ることによって、仮想空間内のボールを打つ。
モニターや大型スクリーンによる視覚呈示装置の周辺には、多数の受光素子が設置されている。受光素子としては、フォトトランジスタか、フォトダイオードを用いてもよい。受光素子の出力段には、入射光量に応じたアナログ信号が出力される。この信号の強弱を、周りの素子との相関として見ることにより、ラケットの存在するゾーンを判定する。受光素子から出力されたアナログ信号は、一度マルチプレクサに接続され、高速に１チャンネルずつ信号処理回路とＡ／Ｄ変換カードに接続され、送信される。ＡＤ変換カードからのデジタル信号は、ＢＵＳを介してＣＰＵ、ＲＡＭ、ストレージデバイスからなるコンピュータへ送られる。コンピュータ内にはゾーン判定プログラムが動作しており、データよりゾーン判定を行う。
【００１１】
また別の形態として以下のようなものがある
図２は、ＣＣＤカメラおよび、Ｃ−ＭＯＳイメージセンサーおよび人工網膜チップを用いたゾーン判定装置の構成例を表す。
まずＣＣＤカメラを用いた構成では、１台もしくは２台のＣＣＤカメラが、画像入力装置に接続されている。画像入力装置では、センサーから送られてきたＮＴＳＣ信号を、デジタル信号に変換し、バスを介してコンピュータへ画像信号を送信する。コンピュータ内にはゾーン判定アルゴリズムを搭載したゾーン判定ソフトウェアが動作しており、入力された画像よりゾーンの判定を行う。
次いで、Ｃ−ＭＯＳセンサー、人工網膜チップによるゾーン判定について説明する。まず、Ｃ−ＭＯＳセンサー／人工網膜チップが、信号処理回路に接続されている。信号処理回路では、センサーの駆動を行ったり、データ変換を行っている。その結果は、信号入出力装置を介してコンピュータに入力される。コンピュータ内にはゾーン判定ソフトウェアが動作しており、光源またはマーカーのゾーンが判定できる。
【００１２】
図３は、ＰＳＤを用いたゾーン判定装置の構成例を示す。
上段の例では、１台のＰＳＤ素子があり、それが信号処理回路に接続されている。ここでは、ＰＳＤ素子の出力を電圧変換などを行う。信号処理回路の出力はＡ／Ｄ変換カードを介してコンピュータに取り込まれる。コンピュータ内にはゾーン判定ソフトウェアが内蔵されており、ＰＳＤの入力値よりリアルタイムでゾーンが出力される。
また、下段の例では、ＰＳＤの出力が信号処理回路に接続され、その出力が、ゾーン判定回路に接続されている。ゾーン判定回路では、ＰＳＤで計測した光源重心位置から、光源の位置するゾーンを判別する。ゾーンを確定する信号は、信号入出力装置を介して、ＰＣに取り込まれる。このとき、コンピュータ側にはゾーン判定ソフトウェアは不要であるが、ゾーンを取り込むインタフェースソフトを動作する。
【００１３】
図４は、赤外リモコン受光ユニットを用いた、赤外ＬＥＤと複数のフォトダイオードの組み合わせによるゾーン判定装置の構成例を示す。
パルス幅変調等により赤外ＬＥＤを駆動し、その赤外光を、面上に複数個配列された赤外リモコン受光ユニットで受ける。赤外リモコン受光ユニットは、フォトダイオードと信号処理回路よりなっており、復調と、あるしきい値によるＯｎ−Ｏｆｆ信号への変換を行っている。赤外リモコン受光ユニットの出力は、信号入出力装置を介し、コンピュータへ入力される。コンピュータ内にはゾーン判定ソフトウェアが動作しており、信号のＯｎ−Ｏｆｆのパターンによってゾーン判別を行う。
【００１４】
図５は、赤外ＬＥＤと複数のフォトトランジスタの組み合わせによるゾーン判定装置の構成例を示す。
赤外ＬＥＤの赤外光を検出するフォトトランジスタが面状に複数個配置されている。受光素子の出力段には、入射光量に応じたアナログ信号が出力される。この信号の強弱を、周りの素子との相関として見ることにより、ラケットの存在するゾーンを判定する。受光素子から出力されたアナログ信号は、一度マルチプレクサに接続され、高速に１チャンネルずつ信号処理回路とＡ／Ｄ変換カードに接続され、送信される。ＡＤ変換カードからのデジタル信号は、ＢＵＳを介してＣＰＵ、ＲＡＭ、ストレージデバイスからなるコンピュータへ送られる。コンピュータ内にはゾーン判定プログラムが動作しており、データよりゾーン判定を行う。
【００１５】
図６は、画像処理によるゾーン判定のフローチャートである。
フローチャートの左側より説明する。
まずＣＣＤもしくはＣ−ＭＯＳカメラから、光源またはマーカーの画像を入力する。入力された画像を一時的に記憶し、あらかじめ設定されたボールとラケットの判定を行うタイミング内であれば、標識の抽出を行う。標識の重心位置を計算し、ゾーン判定を行い、その結果をリハビリ／トレーニングプログラムに送る。
次いで、フローチャート右側を説明する。
まずＣＣＤもしくはＣ−ＭＯＳカメラから、光源またはマーカーの画像を入力する。入力された画像を一時的に記憶し、あらかじめ設定されたボールとラケットの判定を行うタイミング内であれば、指定ゾーン以外にマスクをかける。指定ゾーンの中に標識が有るかを判別し、有りの場合はそのゾーンに標識があると見なし、ゾーン判定が実現される。その結果をリハビリ／トレーニングプログラムに送る。
【００１６】
図７は、２次元でのゾーン判定を行う場合の一例である。本例では空間コード化法を本システムに応用した例で説明するが、これ以外にも複数の受光センサーを構えてそれらの受光状態の組み合わせで行ってもよく、これに限定するものではない。
設定範囲の中でプレイヤーはリハビリプログラムからのモニターの表示に合わせてスイングを行う。
設定範囲内に存在するプレイヤーのもつ標識からの光は、受光センサーの間にあるカバーの開口部を通過し、受光センサーに到達した場合にのみ出力信号を出すように構成され、それぞれのセンサーからの信号は同時に入出力装置を経てコンピュータのプログラムに取り込まれ、プログラム進行の際に、分岐のための判定を行う。
図の例では１つのセンサーは設定範囲の全範囲から標識の光が受光可能である場合には、たとえば図７のように設定範囲内でハッチングがかかっていない部分からの光のみが受光可能になるように受光センサーのカバーを開口する。標識からの光は受光センサーが出力した信号の組み合わせにより標識の１次元におけるゾーンを判定する。これを右のように直行する軸方向でも同様に開口されたカバーを持つ受光センサーの組み合わせを設けることで２次元における格子状に分割されたゾーン判定を行うことができる。
【００１７】
なお、バーチャルスポーツにおいては測定対象とするゾーンをゲーム進行中の状況に応じてあらかじめ設定し、そのゾーンのみを計測対象とするとよい。この場合、たとえば左図において受光した場合に信号が１、受光しない場合には０の信号出力し、さらに左から４番目のゾーンをゾーン判定対象とする場合、条件はセンサーａの開口部のみがそのゾーンからの光を通過するのが条件になるためａからの信号が１となり、ｂ、ｃのセンサーからの信号は、標識からの光が通過しないため０であることが条件となる。ここで、あらかじめこのゾーン判定の場合にはｂ、ｃのセンサー信号については反転する処理を加えるようにして、ａ、ｂ、ｃすべてのセンサーが１を出力した場合、標識がゾーン内にあると判定できる。
【００１８】
図８は、３次元でのゾーン判定を行う場合の１例であり、図７のうちａｂｃのセンサー構成をプレイヤーの側面に配置して、さらにセンサーが標識を側面方向からも認識可能なように標識をラケットに配置し、前項の構成に加え側面からの位置判定機能を追加しスイングの前後での標識の位置が判定可能になることで３次元の判定が可能になる。
【００１９】
本発明に用いるセンサーの一例である、フォトトランジスタと赤外線ＬＥＤを用いた３次元センサーを説明する。
フォトトランジスタと赤外線ＬＥＤを用いた３次元センサーは、ＬＥＤの３次元座標値と２自由度の姿勢角度（φ、ψ）を求めるものであり、図９に示すようにフォトトランジスタをＹＺ平面にマトリックス状に配置する。位置、姿勢を求めたい物体にＬＥＤを取り付け、そのＬＥＤの位置と姿勢をフォトトランジスタの出力の変化から計測するものである。
【００２０】
上記３次元センサーの動作原理は、それぞれのフォトトランジスタの出力は、フォトトランジスタ、ＬＥＤの方向特性、ＬＥＤの距離特性によって決まる。ＬＥＤの位置、姿勢が変化することで、これらのパラメータが変化し、出力の変化が得られる。一つのフォトトランジスタ出力から位置、姿勢を求めることは困難であるが、出力が最も強いフォトトランジスタを中心に周辺素子の出力の相関を見ることで、ＬＥＤの光軸、位置を大まかに推測できる。その後はあらかじめ計測したデータベースを元にＬＥＤのゾーンを求める。
【００２１】
次に、フォトトランジスタと赤外線ＬＥＤを用いた３次元センサーの具体例を説明する。
【００２２】
フォトトランジスタの指向特性、ＬＥＤの指向特性がそれぞれ図１０（ａ）、（ｂ）で与えられたとする。まず、Ｘ方向の移動の例を示す。図１１（ａ）の結果では（１、２）、（２、２）が最も出力が大きく、この間に光軸があることが予測できる。また（１、２）、（２、２）を含むＹ軸、Ｚ軸の出力がこの二つのフォトトランジスタを中心として左右及び上下対称になっている。このことにより、光軸が受光面（Ｙ−Ｚ平面）に対して垂直に入射していることが分かり、ＬＥＤのＹ座標、Ｚ座標は（１、２）、（２、２）の間にあることになる。
【００２３】
ＬＥＤのＸ座標値は周りのフォトトランジスタの関係から分かる。図１１（ｂ）では図１１（ａ）と同様に出力は左右、上下ともに対称であり、ＬＥＤのＹ座標、Ｚ座標が決定される。図１１（ｂ）の出力結果を図１１（ａ）と比較すると、全体的にフォトトランジスタの出力が減少している。これはＬＥＤのＸ座標が遠くなることによる入射光の減少を示している。また、図１１（ｂ）において光軸の近くにある（１、２）と（０、２）の出力の差が図１１（ａ）と比較すると小さい。これは二つのフォトトランジスタの角度差があまりないことを示す。これらの結果、ＬＥＤが受光面から離れていることが分かる。このように出力の変化が距離の変化による入射光の増減によるものか、それに伴う角度変化によるかは周りのフォトトランジスタの出力の相関から決定される。具体的なＸ座標値は、事前に計測し記録したデータベースにもとづいて求めることができる。
【００２４】
次にＬＥＤの光が角度をもって入射した場合の例を示す。図１１（ｃ）に示すような出力が得られた場合、出力が最も大きい（１、２）、（２、２）のフォトトランジスタの間にＬＥＤの光軸が当たっていることが分かる。その際に最も出力が大きかった（１、２）のフォトトランジスタがあるＹ軸方向の出力を見る。（０、２）と（３、２）のフォトトランジスタでは左側のフォトトランジスタの出力が大きい。つまりＬＥＤの位置が左の方にあることが分かる。またＺ軸方向を見ると（１、３）のフォトトランジスタの出力が大きく、ＬＥＤは上の方向にあることが分かる。つまり、Ｙ軸の方向とＺ軸の方向を合成すると左上方向にＬＥＤがあることが推測できる。ＬＥＤの大まかな位置と向いている方向が分かれば、データベースと周りのフォトトランジスタの出力と比較することでＬＥＤの位置と姿勢を求めることができる。
【００２５】
以上の結果のもとづき、あらかじめゾーン位置、姿勢と周辺出力電圧の関係のデータベースを構築し、最も出力の大きい受光素子とその周辺の受光素子の出力の相関を見てデータベースと比較することにより、ＬＥＤの位置と姿勢を求めることができる。
【００２６】
バーチャルスポーツとして行うスポーツは、リハビリ、トレーニングを行うのに必要な身体の部位の動作を伴うスポーツであれば何でも良いが、スポーツする上で自由度の大きい動作表現をするスポーツが望ましく、特に上半身のリハビリ、トレーニングとしてはラケットを用いて行うものは適度な負荷があり、なお良い。
【００２７】
《具体的な空間のサイズ》
ＶＲテニスの場合には、巾２．５ｍ、奥行き１．５ｍ、高さ２．５ｍ程度の空間設定し、例えば図１２のような２０のゾーンに分割する。
【００２８】
《標識》
標識には光源またはマーカーを採用した。以下にそれぞれについて述べる
（１）光源
光源に対応する光電変換素子がその光源の光のみを受光するように設計されたものであれば何でも良いが、特に、指向特性の低い高輝度赤外ＬＥＤを外光に対する影響を最小限にするため、パルス変調回路により駆動することにより大きな放射束、放射強度を得られ、また外乱光やアイテムの姿勢変化による減光の影響を受けにくくする。
（２）マーカー
受光センサーによっては一定の面積、形状であればそれを抽出可能である。たとえばラケットの適当な位置に球状のマーカーをセットすることで標識となりうる。
【００２９】
《光電変換素子》
光源が決められた周波数であり、この周波数の光のみをバンドパスさせるフィルタにより前記光源から赤外光のみを受光するように構成することが望ましい。
実施形態としては以下のようなものがある。
（１）ＣＣＤ、ＣＭＯＳイメージセンサーのような光電変換素子のアレイから成るチップから画像データをコンピュータに入力して処理する方法。
ＣＣＤ、ＣＭＯＳイメージセンサー等のアレイから読み込んだ画像により計測する方法としては、使用する素子は一般的なフレームレートが毎秒３０枚のものでよいが、現実感を増すためには画像取り込みのフレームレートが毎秒１００枚以上のものが望ましく、各フレーム出力毎に画像信号を入力装置からコンピュータに読み込み適度な閾値で２値化し、光源を抽出し重心位置を計算、ゾーン判定しリハビリ／トレーニングプログラムに出力する。
この場合にリハビリまたはトレーニングシステムで用いるゾーン判定では進行プログラムから打球をプレイヤーに返球し到達する前に標識のゾーン判定を行う場所を判定装置が知ることで入力される画像のうち、配球ポイントが含まれるゾーンのみを標識の存在のありなしの判定をすることで画像処理によるゾーン判定が高速になる。
（２）人工網膜チップにより素子内で光源の抽出から座標計測してゾーン判定する方法。
人工網膜チップを利用すると、直接光源の重心座標位置をチップから直接出力し、コンピュータまたは人工網膜内部の或いは外部の信号処理回路によりゾーン判定を行う。例えば受光状態においてランダムアクセス機能を利用し指示ゾーンに対応する範囲のみをアクセスして光源が有るか高速にゾーン判定する。
（３）２次元ＰＳＤにより光源の位置を２つの電流信号の強弱で出力し、電圧出力に変換し、Ａ／Ｄ変換して座標値を得てゾーン判定をする方法。
２次元ＰＳＤの場合には信号処理装置によってＰＳＤからの電流信号を電流値に対応した電圧値に変換させ、Ａ／Ｄ変換したデータから光源の位置をゾーン判定し、リハビリ／トレーニングプログラムに出力する。
（４）フォトダイオード、フォトトランジスタによる方法。
複数のフォトダイオードまたはフォトトランジスタを各ゾーンに１対１で対応させる。
この場合に、光源からの距離が遠距離であることと室内で使用する場合、外光を誤認識しないように前述の赤外光ＬＥＤをパルス変調回路により発光させ、受光センサーの構成として例えば赤外リモコン受光ユニットを用いると良い。赤外リモコンユニットはフォトダイオードにより受光し、信号処理回路を内蔵したものであり受光の有り無しの外にデータ転送が可能である。各赤外光ユニットの前面及び周囲には対応ゾーンからの光のみに対応するようなマスク板を付けさらに反射光による受光を防ぐためにマスク板は複数有っても良い。マスク板の表面は赤外光を吸収する素材であればなお良い。
さらに、ＬＥＤ光源を複数にしてそれぞれ別のタイミングで変調波をパルス発光し、その発光タイミングに合わせて受光信号を得ることで多点の位置計測が可能になる。
【００３０】
光電変換素子としてＣＣＤやＣＭＯＳイメージセンサー、ＰＳＤ、フォトダイオード、フォトトランジスタを複数にして１個当たりの担当範囲を分担することで小さくして設定空間から素子までの距離を短くできる。この場合光源が写った光電変換素子とそれから得たゾーン番号の組合せでゾーン判定する。
【００３１】
また、フォトダイオードを使用したリモコン受光ユニットを使用する場合、ゾーン数が多くなるとコストがかさんでくる。このため例えば隣り合う２つまたは、できれば３つのゾーンを一つの受光ユニットに担当させる。そしてその内の一つはそのセンサーのみが担当し、他のゾーンは違う他のセンサーに担当させると、１次元においてｎ個の受光センサーを使用する場合２ｎ−１のゾーン分割が可能になる。Ｘ、Ｙの２次元で考えるとＸ方向にｎ個、Ｙ方向にｍ個とすると、ｎ×ｍ個の受光センサーを配列した場合（２ｎ−１）×（２ｍ−１）のゾーン分割が可能になる。また、円を放射状に分割する場合には２ｎのゾーン分割が可能になる。ここで各受光センサーそれぞれの出力状態の組合せにより光源の位置するゾーンがリアルタイムで可能になる。
【００３２】
上記の場合各ゾーンに対応する受光センサーの数は最大２個であるが、これに限定する必要は無く、例えば一つのセンサーが対応する範囲を使用する受光センサーの個数分に均等分割しずらして分割しても良い。
【００３３】
一つの受光素子が設定空間全体に対して対応可能な場合には、空間コード化法の手法を用いてそれぞれのセンサーの対応範囲を設定し、例えばバーチャルテニスの場合には、ボールが返球されるゾーンのみを検出の対象とすることで高速な判定を少ないセンサーの構成で行うことができ、一方向でｎ個のセンサーで２ｎ−１個のゾーン分割、２次元方向でこれを用いれば、ｎ＋ｍ個のセンサーで（２ｎ−１）×（２ｎ−１）のゾーン分割が可能になり、８個のセンサーで２２５のゾーン分割が可能になる。バーチャルテニスの場合、ボールを配球するゾーンに対応して受光すべきセンサーからの信号はそのまま、受光すべきでないセンサーの信号は反転出力して全てのセンサーのアンドが１になれば衝突と判定できる。
【００３４】
実施の形態の一例で正面と横にセンサーを配置する。
正面または背面からプレイヤーセンサーユニットを配置し、さらにプレイヤーと側面または上面から配置してもよい。
１面のセンサーにより得たゾーン判定結果と他の面得たゾーン判定結果の組合せで３次元のゾーン判定が可能になる。この場合プレイヤーが死角にならないように構成する。
プレイヤー正面に対して４５度ずつ斜めに配置してもゾーン分割可能である。
【００３５】
それぞれが離れた状態で同一方向に向けて設置し、光源のみの画像をＣＣＤ、ＣＭＯＳイメージセンサー、人工網膜チップ等のイメージセンサー、双方の画像処理手段より得て、双方の光源の位置座標の間隔の変化により奥行き方向の位置変化を検出する。図中ＹＺ方向はどちらかのイメージセンサーから得た画像信号または信号情報ゾーン判定し、奥行き方向は視差の変化により動作の方向を検出する。
また、奥行き方向の動きを検知するために、上記センサーをプレイヤー側面または上面に配置して標識の座標を得ることによりこれを判定する。また標識が高速で移動している場合には上記センサーから得られる画像は残像となる。この長さを検知することでも奥行き方法の移動速度を求めることができる。
【００３６】
２次元ＰＳＤ、双方の信号検出手段により得て、双方の光源の位置座標の間隔の変化により奥行き方向の位置変化を検出する。受光面上に入った座標値により電流が比例出力されるため電流値の差を検知する信号処理を行う。図中ＹＺ方向はどちらかのユニットから得た信号情報からゾーン判定し、Ｘ方向は視差量の変化により動作方向を検出する。
【００３７】
プレイヤーの姿勢を認識するために、ジャイロは１軸または２軸、加速度センサーの場合は１〜３軸のものを用い、スイングの開始時から打撃持までの変化をリハビリプログラムに送信する。この送信には、赤外線転送することが望ましい。
上記センサーからの信号により光源駆動制御、例えばバーチャルテニスの場合、ラケット内部に加速度センサーおよび／またはジャイロセンサー、およびＬＥＤ光源のパルス変調発光駆動回路にスイングの速さや姿勢によりスイング強度や姿勢をコード化してその時のセンサーからの信号状態に応じて出力する。例として、ジャイロセンサーによりラケットの軸方向の回転をとらえスピンのショットの寸前での回転方向を検知し、回転方向により違うコードを発信する。
【００３８】
具体的には、プレイヤーの姿勢を認識し、ゲームをよりリアルにするために、図１４に示すような、ラケットのグリップ部に設けたジャイロセンサーのより、プレイヤーのスイングにもとづき生じた角加速度を検出し、この検出された角加速度にもとづき、フレーム部に取り付けられた信号処理装置および信号発信装置を介して、ＬＥＤ光源のパルス変調発光駆動回路にスイングの速さや姿勢によりスイング強度や姿勢をコード化してその時のセンサーからの信号状態に応じて出力する。
図１５に示すように、ＬＥＤ光源からの上記出力信号はフォトトランジスタで受信され、フォトトランジスタが受信した信号は信号処理部により処理され、信号入出力装置を介してＣＰＵに送られる。
ＣＰＵは、信号入出力装置から送られてきた信号にもとづきボールの回転方向を演算し、画像処理部を介して、回転方向を勘案したボールの軌跡を画像呈示部に表示する。
【００３９】
【実施例】
本発明の実施例を、バーチャルスポーツの一例としてテニスに適用した例に説明する。
ラケットをスイングする空間を設定し、例えば図１２のように分割し、分割されたそれぞれの空間はゾーンと呼ぶ。
リハビリまたは筋力トレーニングを行うプレイヤーはラケットを持ちラケットの一部に赤外線ＬＥＤ光源が取り付けられている。ゾーンに対応する光電変換素子が、プレイヤーから離れて設置されている。赤外線ＬＥＤは駆動回路により発光する。
光電変換素子としてＣＣＤ、ＣＭＯＳイメージセンサーの場合には素子からの画像信号を画像処理装置で光源位置の抽出と位置座標の出力を行う。
ＰＳＤの場合信号処理回路により位置座標を得てその結果から判定装置によってスイングがどのゾーンでなされたかを出力する。
光電変換素子としてフォトダイオードまたはフォトトランジスタを含む赤外光受光ユニットを使用し光源からの赤外光を受光しコンピュータに出力する。
光電変換素子に複数の赤外光受光ユニットを用いる場合は受光ユニットに対応するゾーンを設定するためユニットの前面にそのゾーンのみに開口したカバーを設けている。光源のゾーンに対応する受光ユニットのみ変化を出力し、出力したユニットの組合せゾーンの判定を行う。
上記構成のゾーン判定装置をプレイヤーに向かって２方向から観察、３次元でのゾーン判定を行う。
３Ｄ表示可能なＦＭＤまたは画面によりバーチャルリアリティー表示を行う。
【００４０】
次に、図１３のフローチャートにもとづいて作動を説明する。
バーチャルテニススタート（ステップＳ１）
リハビリテーションを選択する（ステップＳ２）
プレイヤー身体能力や症状により程度を設定する（ステップＳ３）
関節可動域訓練か筋力増強訓練の選択（ステップＳ４）
関節可動域訓練ならば、関節を動かしたい方向を設定（ステップＳ５）
筋力増強訓練ならば、どの筋肉繊維を鍛えるかを設定（ステップＳ６）
以上の処理で初期設定が終了する。
【００４１】
相手プレイヤーのサーブ（ステップＳ７）
患者の症状に合わせてボールの速度・方向を決める軌道生成ルーチン（ステップＳ８）
軌道更新、時々刻々ボールの軌道を更新し描画（ステップＳ９）
センサーによりプレイヤーのラケット位置を検出（ステップＳ１０）
非衝突なら２バウンド設置判定へ、衝突なら軌道計算へ進むラケット−ボール間の衝突判定（ステップＳ１１）
２バウンド目が発生していなかったら、軌道更新に戻る２バウンドの接地判定（ステップＳ１２）
プレイヤーが打ったときのラケットの速度・角度より計算する（ステップＳ１３）
軌道計算で得られたパラメータ（向き）に重みをかけ、軌道を修正する軌道計算（ステップＳ１４）
相手プレイヤー側のコートか、プレイヤー側かもしくはアウトかを判定し、相手プレイヤー側ならば次へ、それ以外（プレイヤー側もしくはアウト）は、相手プレイヤーのサーブに戻る（ステップＳ１５）
相手プレイヤー（バーチャル）は、ボールラケット位置まで走る（ステップＳ１６）
相手プレイヤー（バーチャル）の返球（ステップＳ１７）
軌道生成ルーチンへ戻る（ステップＳ１８）
【００４２】
本発明の「バーチャルスポーツシステム」を用いたリハビリテーションの実例を、前記のように、打球領域を図１２に示すように２０に分割した場合で説明する。
【００４３】
〈パターン１〉
上腕二頭筋を強調して鍛えたいときは▲２▼、▲４▼、▲８▼、（１０）領域に返球する。（１０）領域では低い位置にボールを返球することで前腕を屈曲する運動が行われる。▲８▼領域も同じである。▲２▼、▲４▼領域では、前腕の屈曲運動ではなく、前腕を伸展する際にラケットを止めるために必要な遠心性収縮で上腕二頭筋を使用すると考えられる。
〈パターン２〉
負荷を弱めにする場合は▲１▼、▲３▼、▲７▼、▲９▼、（１２）、（１４）、（１６）領域に返球する。▲１▼、▲３▼、▲７▼、▲９▼、領域では体にボールが近いため前腕の運動が小さくなることが予想でき上腕二頭筋に対する負荷が小さくなると思われる。（１２）、（１４）、（１６）領域はバックハンド領域であり、テイクバックで前腕の屈曲が行われ、フォロースルーで前腕の伸展運動における遠心性収縮が生じ、上腕二頭筋が使われている。この領域では比較ため負荷が弱いため無理なく鍛えることができると考えられる。
〈パターン３〉
上腕三頭筋を強調して鍛えたいときは▲２▼、▲４▼、（１４）、（１６）、（１８）、（２０）領域に返球するのが効果的である。▲２▼、▲４▼、（１８）、（２０）領域ではボールを打った場合に前腕の伸展運動が生じる。そのため伸展筋である上腕三頭筋に大きな負荷がかかる。
〈パターン４〉
負荷を弱めにする場合は▲１▼、▲３▼、（１２）、（１４）、（１６）領域に返球すると良い。▲１▼、▲３▼領域ではボールを打った場合に前腕の伸展運動が生じ上腕三頭筋に負荷がかかる。（１２）、（１４）、（１６）領域ではバックハンドを行うことで同様に前腕の伸展運動がおこり、上腕三頭筋に負荷がかかる。どちらの領域でも比較的負荷は小さいと思われ軽めの負荷が必要な場合にはこの領域に返球すると良い。
〈パターン５〉
三角筋前部線維を強調して鍛える場合は▲２▼、▲４▼、▲６▼、▲８▼、（１０）領域に返球すると良い。三角筋前部線維は主に屈曲運動に使用される。そのため（１０）領域に返球することで屈曲運動に近いスイングを行わせる。また大胸筋のように腕を前に押し出す場合にも用いられるため▲６▼、▲８▼領域のように前に押し出すようなフォアハンドを行わせる領域にボールを返球することで効果的に三角筋前部線維を鍛えることができる。また▲２▼、▲４▼領域でも三角筋前部線維がよく使用される。
〈パターン６〉
負荷を軽めにする場合には▲５▼、▲７▼、▲９▼、（１２）、（１４）、（１６）領域に返球すると良い。▲５▼、▲７▼、▲９▼領域では体に近い位置にボールを返球することで肩の可動域が小さくなり三角筋前部線維に対する負荷が小さくなる。また（１２）、（１４）、（１６）領域ではバックハンドを行わすため三角筋後部線維がメインであり、拮抗筋の三角筋前部線維に対する負荷が小さくなると思われる。
〈パターン７〉
三角筋中部線維を強調して鍛える場合は▲２▼、▲４▼、（１８）、（２０）領域に返球すると効果的である。三角筋中部線維は外転を行う筋である。そのため腕を上げることで負荷がかかると考えられる。▲２▼、▲４▼、（１８）、（２０）領域にボールを返球することで肩を上げさせ三角筋中部線維に負荷を与える。
〈パターン８〉
負荷を軽めにする場合は▲１▼、▲３▼、▲６▼、▲８▼、（１４）、（１６）、（１７）、（１９）領域に返球すると良い。スイングの際に肩があまりあがらないため三角筋中部線維に対する負荷が小さくなる。
〈パターン９〉
三角筋後部線維を強調して鍛える場合は▲２▼、▲４▼、（１２）、（１４）、（１６）領域に返球すると効果的である。三角筋後部線維は大胸筋、三角筋前部線維と逆の動きで使われる筋である。そのためバックハンド領域の（１２）、（１４）、（１６）に返球しバックハンドを行わすことでこの筋を鍛えることができる。また▲２▼、▲４▼領域に返球することでラケットを減速する際の遠心性収縮で負荷を与えることも可能である。
〈パターン１０〉
負荷を軽めにする場合は▲６▼、▲８▼、（１０）、（１１）、（１３）、（１５）領域に返球すると良い。▲６▼、▲８▼、（１０）領域ではフォアハンドを行うため三角筋後部線維にはあまり大きな負荷がかからない。また（１１）、（１３）、（１５）領域では体幹にボールが近いため肩の可動域が狭くなり三角筋後部線維にかかる負荷が小さくなると思われる。
〈パターン１１〉
大胸筋を強調して鍛える場合は▲６▼、▲８▼、（１０）領域に返球すると効果的である。大胸筋は主に水平内転を行う筋であり、フォアハンドの動きでよく使用される。
〈パターン１２〉
負荷を軽めにする場合は▲５▼、▲７▼、▲９▼、（１２）、（１４）、（１６）領域に返球すると良い。▲５▼、▲７▼、▲９▼は体幹にボールが近いため肩の可動域が狭くなり大胸筋に対する負荷が小さくなる。（１２）、（１４）、（１６）領域ではバックハンド領域であり、大胸筋に対する負荷が小さくなるため軽めの負荷が必要な場合に適している。
なお、上記のリハビリテーションの目的および内容を一覧表にすると表１のようになる。
【００４４】
【表１】
＊ 長い・・・１０〜３０分 普通・・・５〜１０分 短い・・・３〜５分
＊ 多い・・・７０％ 普通・・・３０〜７０％ 少ない・・・３０％
＊ 遅い・・・〜２．０ｍ／ｓ 普通・・・２．０〜３．０ｍ／ｓ 速い・・・３．０ｍ／ｓ
※・・・禁止領域は特定の症状にのみ設ける
＊１・・・上腕三頭筋、三角筋中部線維を鍛える場合は表に示す箇所にボールを返球する以外あまりそれぞれの筋を使用しない可能性がある。そのためこの領域に多くのボールを返球する。ただし、この領域はテニスの大部分を占めるフォアハンド、バックハンド領域に属していないため不自然なボール配給になってしまう恐れがある。場合によっては負荷は小さくなるが症状が重度のボール配給を混ぜることでゲーム性を持たせる必要がある。
＊ ２・・・速度に関して、上腕三頭筋、三角筋前部線維、三角筋後部線維においてスウィング速度を上げることでそれぞれの筋に対する負荷を上げることができたと思われるので速度を速くしている。
【００４５】
【発明の効果】
上記構成を備える本発明は次のような効果を期待することができる。
（１）請求項１の発明では、リハビリ／トレーニングを目的にバーチャルスポーツと組み合わした構成においては、プレイヤーに動作を要求するタイミングと判定するゾーンを限定することにより目的達成に必要な動作判定を簡単安価な構成で高速に行うことが可能であり、また、高速画像処理の方法として取り込んだ画像のうち判定するゾーンのみを観察するので、高速化が可能である。
（２）請求項２の発明では、位置信号電流→電圧→ゾーン判定までを信号処理回路で行うことができる。
ゾーンの数だけ受光ユニットを揃えれば安価な構成で外乱光に影響されにくい広範囲のゾーン判定が可能になる。ゾーン分割が少数の場合、低コストで構成できる。
あるいは少ない数の受光ユニットでもそれを組み合わせて判定することにより数多くのゾーンを設定可能になり低価格で高精度なゾーン判定が可能になる。
（３）請求項３の発明では、２次元でのゾーン判定では、スイングを行わなくてもプレイを続行することが可能になるが３次元でのゾーン判定を行うことにより標識の動作判定がより現実感をもって行うことでスイングを含めたゾーン判定が可能となり、より高度なリハビリ／トレーニングを行うことが可能になる。
（４）請求項４の発明では、多点計測を可能にしたので、ラケット部の他に比較的動作の少ない頭や胸に光源をセットすることで、ゾーン設定を体験者の体格に応じて設定したり、足にセットしてステップ動作のゾーン検知を行うことが可能になる。
（５）請求項５の発明では、前述の構成に加えて姿勢判定に内部センサーを用いることでたとえばバーチャルテニスのリハビリ／トレーニングプログラム進行においてショット時前後のラケットの姿勢変化を得ることにより返球の軌道を変えることが可能になり、より現実感に近いプレイとなり、さらにリハビリへの効果がある。
【図面の簡単な説明】
【図１】システムの概略図である。
【図２】システムのブロック図である。
【図３】ＰＳＤを用いたゾーン判定装置のブロック図である。
【図４】赤外線ＬＥＤと複数のフォトダイオードを用いたゾーン判定装置のブロック図である。
【図５】赤外線ＬＥＤと複数のフォトダイオードを用いたゾーン判定装置の他の例のブロック図である。
【図６】画像処理によるゾーン判定のフローチャートである。
【図７】２次元センサーの概念説明図である。
【図８】３次元センサーの概念説明図である。
【図９】３次元センサーの概要設図である。
【図１０】３次元センサーの特性説明図である。
【図１１】３次元センサーの作動説明図である。
【図１２】ゾーン分割の一例の説明図である。
【図１３】ゲーム進行のフローチャートである。
【図１４】テニスラケットの説明図である。
【図１５】システムの他の例の説明図である。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a sensing device mainly used in a virtual sports system or the like for rehabilitation or training.
[0002]
[Prior art]
Although various virtual sports systems are provided, many of them have a game proceeding means aiming at approximating actual operations, but there is no one that can perform rehabilitation effectively without pain (Patent Document 1) 2)
[0003]
Therefore, the present inventors clarified the rehabilitation effect of virtual tennis and provided a virtual sports system suitable for rehabilitation, training, and the like (Japanese Patent Application No. 2001-383258).
[0004]
However, in the above-mentioned application, an acceleration sensor and an angular velocity sensor built in a racket, an infrared light emitting device and a light receiving sensor for reflected light from the racket, and a virtual sport in which a light source attached to the racket is imaged with a camera and the light source is imaged. System, which makes it possible to apply the virtual sports system to rehabilitation or training, but has the following problems.
[0005]
(1) Acceleration sensors and gyro sensors cause malfunctions due to accumulation of errors. In order to eliminate this, it is necessary to perform calibration, and it is necessary to set the orientation and orientation determined at that time.
(2) In the case of infrared projection and reception, the distance from the projection to the reception is long and diffused, so that the quantity of light is insufficient. In addition, it is easily affected by external light.
(3) In the case of image measurement by a camera, if a single light receiving element is used, light is condensed by a lens or the like, so that if the measurement range is enlarged, the position of the light receiving element must be moved away from the object accordingly, and it is wide for installation. It requires a large area, and its solution requires an expensive wide-angle lens.
(4) In the case of performing image processing of image pickup by a CCD or CMOS camera, a shortage of the frame rate of the element itself or a long time for image processing causes a delay in determination. To perform real-time determination, an expensive high-speed camera or image processing device is required.
(5) Accurate sensors are complex and expensive. Although there is a sensor for judging whether or not the player has shaken in a simple manner, it is insufficient for rehabilitation / training that requires a realistic sense of operation.
[0006]
[Patent Document 1] JP-A-3-07340
[Patent Document 2] JP-A-09-313552
[0007]
[Problems to be solved by the invention]
For how to determine the racket swing and ball collision,
In virtual tennis, it is not always important to finely match the position of the virtual ball at the moment of the shot with the racket position, and it is important for rehabilitation and training that the racket be placed in the zone corresponding to the body part to be rehabilitated. It is to swing.
Although it is necessary to determine a collision based on the consistency between the position of the ball and the position of the racket when pursuing a sense of reality, it is not always necessary for the purpose of rehabilitation and training.
In this case, the display position of the ball may be intuitively instructed to swing the racket.
From the above, when taking virtual tennis in rehabilitation and training as an example, it is important to quickly determine the light source position of an item within the hit ball timing, and the determination is not the coordinate value of the sign of the item but the zone where the item is located. It is an object of the present invention to directly determine at a high speed whether or not there is an object.
Another object of the present invention is to realize inexpensive sensing by a simple method of determining the presence or absence of a sign only in a detection zone at a timing to be determined by using a combination of the concepts of rehabilitation and zone determination. And
[0008]
[Means for Solving the Problems]
In order to solve the above problems, the virtual sports system of the present invention
The invention according to claim 1 is a system used in a rehabilitation or training system that measures the position and direction of a moving object in real time, and includes a sign provided on a tool or a part of a body and a position of a light source in a space. It is characterized by including a photoelectric conversion element for receiving light from a light source to measure the distance, a signal processing device or an image processing device having a program for measuring a two-dimensional position of a marker in real time, and a zone determination device.
According to a second aspect of the present invention, in the first aspect of the present invention, a plurality of photoelectric conversion elements are installed facing the player, and the photoelectric conversion elements correspond to the divided light source position ranges (zones) within the set measurement space. The conversion element is configured to receive light from the marker, and the plurality of zones are configured to be received by the corresponding photoelectric conversion elements.
According to a third aspect of the present invention, in the first or second aspect of the present invention, sensors are provided to the player from two directions, and one light source is detected from two directions by the sensor in a zone where a position or a sign is present. Thus, a measurement system capable of measuring a three-dimensional position or zone is provided.
According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, a plurality of light sources are present, a pulse is emitted by a driving circuit, and the position of the plurality of light sources is measured by synchronizing with a light receiving timing of a sensor. It is characterized by performing.
According to a fifth aspect of the present invention, in the invention according to any one of the first to fourth aspects, a gyro, an acceleration sensor, or a posture detection sensor is built in the racket.
[0009]
[Action]
A player performing rehabilitation or strength training has a racket to which an infrared LED light source is attached, and when swinging in a zone-divided space, a photoelectric conversion element corresponding to a zone set apart from the player receives light. The zone determination is performed by extracting the light source position and outputting the position coordinates, and based on the determination result, virtual reality is displayed on an HMD or a display screen capable of displaying the flight trajectory of the ball in 3D.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
First, one embodiment will be described using tennis as an example. An infrared LED is attached to the racket, and the player hits a ball in the virtual space by shaking the racket.
A large number of light receiving elements are installed around a monitor or a visual presenting device using a large screen. As the light receiving element, a phototransistor or a photodiode may be used. An analog signal corresponding to the amount of incident light is output to the output stage of the light receiving element. By observing the strength of this signal as a correlation with surrounding elements, the zone where the racket exists is determined. The analog signal output from the light receiving element is once connected to the multiplexer, and is connected to the signal processing circuit and the A / D conversion card at high speed one channel at a time and transmitted. The digital signal from the AD conversion card is sent to a computer including a CPU, a RAM, and a storage device via a BUS. A zone determination program runs in the computer, and performs zone determination from data.
[0011]
Another form is as follows
FIG. 2 illustrates a configuration example of a zone determination device using a CCD camera, a C-MOS image sensor, and an artificial retinal chip.
First, in a configuration using a CCD camera, one or two CCD cameras are connected to an image input device. The image input device converts the NTSC signal sent from the sensor into a digital signal, and transmits the image signal to the computer via the bus. Zone determination software loaded with a zone determination algorithm is operating in the computer, and determines a zone from an input image.
Next, zone determination using a C-MOS sensor and an artificial retinal chip will be described. First, a C-MOS sensor / artificial retina chip is connected to a signal processing circuit. The signal processing circuit drives a sensor and performs data conversion. The result is input to the computer via the signal input / output device. Zone determination software is running in the computer to determine the zone of the light source or marker.
[0012]
FIG. 3 shows a configuration example of a zone determination device using a PSD.
In the example at the top, there is one PSD element, which is connected to the signal processing circuit. Here, the output of the PSD element is subjected to voltage conversion and the like. The output of the signal processing circuit is taken into a computer via an A / D conversion card. Zone determination software is built in the computer, and the zone is output in real time from the input value of the PSD.
In the lower example, the output of the PSD is connected to the signal processing circuit, and the output is connected to the zone determination circuit. The zone determination circuit determines the zone where the light source is located from the light source gravity center position measured by the PSD. The signal for determining the zone is taken into the PC via the signal input / output device. At this time, the computer does not need zone determination software, but operates interface software for capturing zones.
[0013]
FIG. 4 shows a configuration example of a zone determination device using an infrared remote control light receiving unit and a combination of an infrared LED and a plurality of photodiodes.
The infrared LED is driven by pulse width modulation or the like, and the infrared light is received by infrared remote control light receiving units arranged on the surface. The infrared remote control light receiving unit includes a photodiode and a signal processing circuit, and performs demodulation and conversion to an On-Off signal using a certain threshold. The output of the infrared remote control light receiving unit is input to a computer via a signal input / output device. Zone determination software is operated in the computer, and performs zone determination based on a signal On-Off pattern.
[0014]
FIG. 5 shows a configuration example of a zone determination device using a combination of an infrared LED and a plurality of phototransistors.
A plurality of phototransistors for detecting infrared light of the infrared LED are arranged in a plane. An analog signal corresponding to the amount of incident light is output to the output stage of the light receiving element. By observing the strength of this signal as a correlation with surrounding elements, the zone where the racket exists is determined. The analog signal output from the light receiving element is once connected to the multiplexer, and is connected to the signal processing circuit and the A / D conversion card at high speed one channel at a time and transmitted. The digital signal from the AD conversion card is sent to a computer including a CPU, a RAM, and a storage device via a BUS. A zone determination program runs in the computer, and performs zone determination from data.
[0015]
FIG. 6 is a flowchart of zone determination by image processing.
Description will be made from the left side of the flowchart.
First, an image of a light source or a marker is input from a CCD or C-MOS camera. The input image is temporarily stored, and the marker is extracted if it is within the preset timing of determining the ball and racket. The center of gravity of the sign is calculated, the zone is determined, and the result is sent to a rehabilitation / training program.
Next, the right side of the flowchart will be described.
First, an image of a light source or a marker is input from a CCD or C-MOS camera. The input image is temporarily stored, and a mask is applied to a zone other than the designated zone if it is within a preset timing of judging a ball and a racket. It is determined whether or not there is a sign in the designated zone, and if so, it is considered that there is a sign in that zone, and zone determination is realized. Send the results to a rehabilitation / training program.
[0016]
FIG. 7 is an example of a case where a two-dimensional zone determination is performed. In this example, an example in which the spatial coding method is applied to the present system will be described. However, other than this, a plurality of light receiving sensors may be provided and a combination of their light receiving states may be used, and the present invention is not limited to this.
Within the set range, the player swings according to the display on the monitor from the rehabilitation program.
Light from the player's sign within the set range passes through the cover opening between the light receiving sensors, and is configured to output an output signal only when reaching the light receiving sensor, from each sensor Are simultaneously taken into a computer program via an input / output device, and a decision for branching is made when the program proceeds.
In the example shown in the figure, when one sensor can receive the light of the sign from the entire range of the setting range, for example, as shown in FIG. 7, only one light can be received from the portion that is not hatched in the setting range. Open the cover of the light receiving sensor so that The light from the sign determines the one-dimensional zone of the sign based on a combination of the signals output by the light receiving sensors. By providing a combination of light receiving sensors having covers that are similarly opened in the axial direction orthogonal to the right direction, it is possible to perform zone determination divided into a two-dimensional lattice.
[0017]
In a virtual sport, a zone to be measured may be set in advance according to a situation where a game is in progress, and only that zone may be set as a measurement target. In this case, for example, a signal of 1 is output when light is received in the left diagram, and a signal of 0 is output when no light is received. Further, when the fourth zone from the left is to be subjected to zone determination, the condition is that only the opening of the sensor a is to be used. The condition is that light from that zone must pass, so the signal from a must be 1, and the signals from sensors b, c must be 0 because light from the sign does not pass. Here, in the case of this zone determination, a process of inverting the sensor signals b and c is added in advance, and if all the sensors a, b, and c output 1, the sign is in the zone. Can be determined.
[0018]
FIG. 8 shows an example in which zone determination is performed in three dimensions. In FIG. 7, the sensor configuration of abc in FIG. 7 is arranged on the side of the player so that the sensor can recognize the sign from the side. The sign is arranged on the racket, and a position judging function from the side is added to the configuration described in the preceding paragraph, so that the position of the sign before and after the swing can be judged, so that three-dimensional judgment can be made.
[0019]
A three-dimensional sensor using a phototransistor and an infrared LED, which is an example of a sensor used in the present invention, will be described.
The three-dimensional sensor using the phototransistor and the infrared LED is for obtaining the three-dimensional coordinate value of the LED and the posture angle (φ, ψ) with two degrees of freedom. As shown in FIG. Place in a shape. An LED is attached to an object whose position and orientation are to be obtained, and the position and orientation of the LED are measured from changes in the output of the phototransistor.
[0020]
In the operation principle of the three-dimensional sensor, the output of each phototransistor is determined by the phototransistor, the directional characteristics of the LED, and the distance characteristics of the LED. When the position and orientation of the LED change, these parameters change, and a change in output is obtained. Although it is difficult to determine the position and orientation from the output of one phototransistor, the optical axis and position of the LED can be roughly estimated by checking the correlation between the outputs of peripheral elements centering on the phototransistor having the strongest output. After that, the LED zone is obtained based on the database measured in advance.
[0021]
Next, a specific example of a three-dimensional sensor using a phototransistor and an infrared LED will be described.
[0022]
It is assumed that the directional characteristics of the phototransistor and the directional characteristics of the LED are given in FIGS. 10A and 10B, respectively. First, an example of movement in the X direction will be described. In the result of FIG. 11A, (1, 2) and (2, 2) have the largest outputs, and it can be predicted that there is an optical axis therebetween. Outputs on the Y axis and the Z axis including (1, 2) and (2, 2) are symmetrical left and right and up and down about these two phototransistors. This shows that the optical axis is perpendicularly incident on the light receiving surface (YZ plane), and the Y coordinate and Z coordinate of the LED are between (1, 2) and (2, 2). There will be.
[0023]
The X coordinate value of the LED can be determined from the relationship between the surrounding phototransistors. In FIG. 11B, the output is symmetrical in the left, right, up, and down directions as in FIG. 11A, and the Y coordinate and the Z coordinate of the LED are determined. When the output result of FIG. 11B is compared with FIG. 11A, the output of the phototransistor is reduced as a whole. This indicates a decrease in incident light due to the farther X coordinate of the LED. Also, in FIG. 11B, the difference between the outputs of (1, 2) and (0, 2) near the optical axis is smaller than that of FIG. 11A. This indicates that there is not much angle difference between the two phototransistors. As a result, it is understood that the LED is separated from the light receiving surface. Whether the output change is caused by the increase or decrease of the incident light due to the change in the distance or the angle change accompanying the change is determined from the correlation between the outputs of the surrounding phototransistors. The specific X coordinate value can be obtained based on a database measured and recorded in advance.
[0024]
Next, an example in which light from an LED is incident at an angle will be described. When the output as shown in FIG. 11C is obtained, it can be seen that the optical axis of the LED is located between the phototransistors (1, 2) and (2, 2) having the largest outputs. At that time, the output in the Y-axis direction in which the (1, 2) phototransistor having the largest output is observed. In the phototransistors (0, 2) and (3, 2), the output of the left phototransistor is large. That is, it can be seen that the position of the LED is on the left side. Looking at the Z-axis direction, it can be seen that the output of the phototransistor of (1, 3) is large, and the LED is in the upward direction. That is, when the direction of the Y axis and the direction of the Z axis are combined, it can be estimated that the LED is located in the upper left direction. If the approximate position of the LED and the direction in which the LED is facing are known, the position and orientation of the LED can be obtained by comparing the database with the output of the surrounding phototransistor.
[0025]
Based on the above results, a database of the relationship between the zone position, attitude, and peripheral output voltage is constructed in advance, and the correlation between the output of the light-receiving element having the largest output and the light-receiving elements in the vicinity is compared with the database to obtain the LED. Position and attitude can be obtained.
[0026]
The sport to be performed as a virtual sport may be any sport that involves the movement of the body parts necessary for rehabilitation and training, but a sport that expresses a movement with a high degree of freedom in sport is desirable, especially the upper body Rehabilitation and training using a racket have a moderate load and are even better.
[0027]
《Specific space size》
In the case of VR tennis, a space having a width of about 2.5 m, a depth of about 1.5 m, and a height of about 2.5 m is set, and is divided into, for example, 20 zones as shown in FIG.
[0028]
《Signs》
A light source or a marker was used as the sign. Each is described below
(1) Light source
Any device may be used as long as the photoelectric conversion element corresponding to the light source is designed to receive only the light of the light source. In particular, a high-brightness infrared LED having a low directional characteristic minimizes the influence on external light. Therefore, a large radiant flux and radiant intensity can be obtained by being driven by the pulse modulation circuit, and it is hard to be affected by disturbance light or dimming due to a change in the posture of the item.
(2) Marker
Depending on the light receiving sensor, it can be extracted if it has a certain area and shape. For example, it can be a marker by setting a spherical marker at an appropriate position on the racket.
[0029]
《Photoelectric conversion element》
It is desirable that the light source has a predetermined frequency, and a filter that band-passes only light of this frequency receives only infrared light from the light source.
Embodiments include the following.
(1) A method in which image data is input to a computer from a chip including an array of photoelectric conversion elements such as a CCD or a CMOS image sensor and processed.
As a method of measuring an image read from an array such as a CCD or a CMOS image sensor, a device to be used may have a general frame rate of 30 frames per second. Is preferably 100 or more per second, the image signal is read into the computer from the input device at each frame output, binarized with an appropriate threshold value, the light source is extracted, the center of gravity is calculated, the zone is determined, and output to the rehabilitation / training program I do.
In this case, in the zone determination used in the rehabilitation or training system, in the image input by the determination device knowing a place to perform the zone determination of the sign before returning and hitting the hit ball from the advancing program to the player, By judging the presence / absence of the sign only in the included zones, the zone judgment by the image processing becomes faster.
(2) A method of zone determination by measuring the coordinates from the extraction of the light source in the element by the artificial retinal chip.
When an artificial retinal chip is used, the barycentric position of the light source is directly output from the chip, and zone determination is performed by a computer or a signal processing circuit inside or outside the artificial retinal. For example, in the light receiving state, only the range corresponding to the designated zone is accessed using the random access function, and the zone is determined at a high speed as to whether there is a light source.
(3) A method in which the position of a light source is output by two-dimensional PSD according to the strength of two current signals, converted into a voltage output, A / D converted to obtain a coordinate value, and zone determination is performed.
In the case of a two-dimensional PSD, the current signal from the PSD is converted into a voltage value corresponding to the current value by the signal processing device, the position of the light source is zone-determined from the A / D converted data, and output to the rehabilitation / training program. .
(4) A method using a photodiode and a phototransistor.
A plurality of photodiodes or phototransistors are associated with each zone on a one-to-one basis.
In this case, if the distance from the light source is a long distance and the device is used indoors, the above-mentioned infrared light LED is caused to emit light by a pulse modulation circuit so as not to erroneously recognize external light. An external remote control light receiving unit is preferably used. The infrared remote control unit receives light by a photodiode and has a built-in signal processing circuit, so that data can be transferred in the presence or absence of light reception. A mask plate for only the light from the corresponding zone may be provided on the front surface and the periphery of each infrared light unit, and a plurality of mask plates may be provided in order to prevent reception of reflected light. It is more preferable that the surface of the mask plate be made of a material that absorbs infrared light.
Furthermore, a plurality of LED light sources are used, and a modulated wave is pulse-light-emitted at different timings, and a light-receiving signal is obtained in accordance with the light-emission timing, thereby enabling multi-point position measurement.
[0030]
By using a plurality of CCDs, CMOS image sensors, PSDs, photodiodes, and phototransistors as photoelectric conversion elements and sharing the assigned range per one, the distance from the set space to the element can be shortened. In this case, the zone is determined by the combination of the photoelectric conversion element in which the light source is captured and the zone number obtained from the photoelectric conversion element.
[0031]
Further, when a remote control light receiving unit using a photodiode is used, the cost increases when the number of zones increases. For this purpose, for example, two adjacent, or preferably three, zones are assigned to one light receiving unit. If one of them is assigned to only that sensor, and the other zone is assigned to another sensor, 2n-1 zone division becomes possible when n light receiving sensors are used in one dimension. Considering the two dimensions of X and Y, if there are n in the X direction and m in the Y direction, (2n-1) x (2m-1) zone division is possible when nxm light receiving sensors are arranged. become. When a circle is radially divided, 2n zone divisions can be performed. Here, the zone where the light source is located can be set in real time by the combination of the output states of the respective light receiving sensors.
[0032]
In the above case, the number of light receiving sensors corresponding to each zone is a maximum of two. However, it is not necessary to limit to this, and for example, the number of light receiving sensors that use the range corresponding to one sensor is equally divided and shifted by the number of light receiving sensors. It may be divided.
[0033]
If one light receiving element can support the entire set space, the corresponding range of each sensor is set using the method of space coding, for example, in the case of virtual tennis, the ball is returned High-speed determination can be performed with a configuration of a small number of sensors by using only the zones as detection targets. If n sensors are used in one direction, 2n-1 zone divisions are used, and in two-dimensional directions, n + m (2n-1) * (2n-1) zone divisions are possible with eight sensors, and 225 zone divisions are possible with eight sensors. In the case of virtual tennis, the signal from the sensor that should receive light corresponding to the zone where the ball is to be arranged is output as it is, the signal from the sensor that should not receive light is inverted, and if all sensors have ANDs of 1, it is determined that a collision has occurred. it can.
[0034]
In one example of the embodiment, sensors are arranged on the front and side.
The player sensor unit may be arranged from the front or the back, and may be arranged with the player from the side or the top.
A three-dimensional zone determination can be performed by combining a zone determination result obtained by one surface sensor and a zone determination result obtained by another surface. In this case, the player is configured not to be in a blind spot.
Even if it is arranged at an angle of 45 degrees with respect to the front of the player, it can be divided into zones.
[0035]
They are installed in the same direction in a state where they are separated from each other, and an image of only the light source is obtained from an image sensor such as a CCD, a CMOS image sensor or an artificial retinal chip, and both image processing means, and the interval between the position coordinates of both light sources , A position change in the depth direction is detected. In the figure, the image signal or signal information zone obtained from one of the image sensors is determined in the YZ directions, and the direction of the motion is detected based on a change in parallax in the depth direction.
Further, in order to detect the movement in the depth direction, the sensor is disposed on the side surface or the upper surface of the player, and the determination is made by obtaining the coordinates of the sign. When the sign is moving at high speed, the image obtained from the sensor becomes an afterimage. By detecting this length, the moving speed of the depth method can also be obtained.
[0036]
A two-dimensional PSD, which is obtained by both signal detecting means, detects a change in position in the depth direction based on a change in an interval between position coordinates of both light sources. Since the current is proportionally output based on the coordinate value entered on the light receiving surface, signal processing for detecting a difference in the current value is performed. In the figure, the zone determination is performed from the signal information obtained from either unit in the YZ directions, and the motion direction is detected from the change in the amount of parallax in the X direction.
[0037]
In order to recognize the posture of the player, a gyro having one axis or two axes and an acceleration sensor having one to three axes is used, and a change from the start of the swing to the holding of the hit is transmitted to the rehabilitation program. For this transmission, infrared transmission is desirable.
Light source drive control by a signal from the above sensor, for example, in the case of virtual tennis, an acceleration sensor and / or a gyro sensor in a racket, and a pulse modulation light emission drive circuit of an LED light source encode a swing intensity and a posture by a swing speed and a posture. And output according to the signal state from the sensor at that time. As an example, the gyro sensor detects the rotation of the racket in the axial direction, detects the rotation direction just before a spin shot, and transmits a different code depending on the rotation direction.
[0038]
Specifically, in order to recognize the player's posture and make the game more realistic, the gyro sensor provided on the grip portion of the racket as shown in FIG. 14 is used to calculate the angular acceleration generated based on the swing of the player. Based on the detected angular acceleration, the swing intensity and posture are coded into the pulse modulation light emission drive circuit of the LED light source through the signal processing device and the signal transmission device attached to the frame unit, based on the swing speed and posture. And output according to the signal state from the sensor at that time.
As shown in FIG. 15, the output signal from the LED light source is received by a phototransistor, the signal received by the phototransistor is processed by a signal processing unit, and sent to the CPU via a signal input / output device.
The CPU calculates the rotation direction of the ball based on the signal sent from the signal input / output device, and displays the trajectory of the ball in consideration of the rotation direction on the image presentation unit via the image processing unit.
[0039]
【Example】
An embodiment of the present invention will be described as an example applied to tennis as an example of virtual sports.
A space for swinging the racket is set and divided as shown in FIG. 12, for example, and each divided space is called a zone.
A player performing rehabilitation or strength training has a racket, and an infrared LED light source is attached to a part of the racket. The photoelectric conversion element corresponding to the zone is set apart from the player. The infrared LED emits light by the driving circuit.
In the case of a CCD or CMOS image sensor as a photoelectric conversion element, the image signal from the element is used to extract the light source position and output the position coordinates using an image processing device.
In the case of the PSD, the position coordinates are obtained by the signal processing circuit, and the zone where the swing is made is output by the determination device from the result.
An infrared light receiving unit including a photodiode or a phototransistor is used as a photoelectric conversion element to receive infrared light from a light source and output the infrared light to a computer.
When a plurality of infrared light receiving units are used for the photoelectric conversion element, a cover that is open only to that zone is provided on the front surface of the unit to set a zone corresponding to the light receiving unit. Only the light receiving unit corresponding to the zone of the light source outputs a change, and the combination zone of the output unit is determined.
The zone determination device having the above configuration is observed from two directions toward the player, and three-dimensional zone determination is performed.
The virtual reality display is performed by the FMD or the screen which can display 3D.
[0040]
Next, the operation will be described based on the flowchart of FIG.
Virtual Tennis Start (Step S1)
Select rehabilitation (step S2)
Set the degree according to the player's physical abilities and symptoms (step S3)
Selection of range of motion training or strength training (step S4)
If it is joint range-of-motion training, set the direction in which you want to move the joint (step S5)
If the training is to strengthen muscles, set which muscle fiber to train (step S6).
With the above processing, the initial setting is completed.
[0041]
Serve of opponent player (step S7)
Trajectory generation routine for determining the speed and direction of the ball according to the patient's symptoms (step S8)
Update the trajectory, update and draw the trajectory of the ball every moment (step S9)
The racket position of the player is detected by the sensor (Step S10)
If no collision, proceed to 2-bound installation determination; if collision, proceed to trajectory calculation. Racket-ball collision determination (step S11)
If the second bound has not occurred, the process returns to the trajectory update. The determination of the second bound landing (step S12)
It is calculated from the speed and angle of the racket when the player hits (step S13)
Trajectory calculation for correcting the trajectory by weighting the parameters (directions) obtained in the trajectory calculation (step S14)
It is determined whether the court is the opponent player's side, the player's side, or the out side. If the opponent player's side is next, the next step is performed.
The opponent player (virtual) runs to the ball racket position (Step S16)
Return ball of opponent player (virtual) (step S17)
Return to trajectory generation routine (step S18)
[0042]
An example of rehabilitation using the “virtual sports system” of the present invention will be described in the case where the hitting area is divided into 20 as shown in FIG. 12 as described above.
[0043]
<Pattern 1>
If you want to emphasize your biceps and train, return to the areas (2), (4), (8) and (10). In the area (10), the ball is returned to a lower position, so that the forearm is bent. (8) The same applies to the area. In the areas (2) and (4), it is considered that the biceps is used not for the bending movement of the forearm but for the efferent contraction necessary for stopping the racket when the forearm is extended.
<Pattern 2>
When the load is reduced, the ball is returned to the areas (1), (3), (7), (9), (12), (14), and (16). In the areas (1), (3), (7), and (9), since the ball is close to the body, the movement of the forearm can be expected to be small, and the load on the biceps muscles is likely to be small. Areas (12), (14), and (16) are the backhand areas, in which the forearm flexes in takeback, elongative contraction in the extension movement of the forearm occurs in follow-through, and the biceps muscle is used. ing. In this region, it is considered that the forging can be performed without difficulty because the load is weak for comparison.
<Pattern 3>
It is effective to return the ball to the areas (2), (4), (14), (16), (18), and (20) when the triceps muscles are to be emphasized and trained. In regions (2), (4), (18) and (20), the forearm extends when the ball is hit. Therefore, a large load is applied to the triceps, which is an extension muscle.
<Pattern 4>
To reduce the load, it is preferable to return the ball to the areas (1), (3), (12), (14) and (16). In the areas (1) and (3), when the ball is hit, an extension movement of the forearm occurs and a load is applied to the triceps. In the regions (12), (14) and (16), the backhand performs the extension movement of the forearm similarly, and places a load on the triceps. It is considered that the load is relatively small in both areas, and when a light load is required, it is better to return to this area.
<Pattern 5>
If the anterior deltoid muscle is emphasized and trained, the ball should be returned to the areas (2), (4), (6), (8) and (10). Anterior deltoid fibers are mainly used for flexion. Therefore, a swing close to a bending motion is performed by returning the ball to the area (10). It is also used for pushing the arm forward like the pectoralis major muscle, so that the ball can be effectively returned to the area where the forehand is pushed forward, such as the areas (6) and (8). Anterior muscle fibers can be trained. Also, the anterior deltoid fibers are frequently used in the areas (2) and (4).
<Pattern 6>
In order to reduce the load, it is preferable to return the ball to the areas (5), (7), (9), (12), (14) and (16). In the areas (5), (7), and (9), by returning the ball to a position close to the body, the range of motion of the shoulder is reduced, and the load on the anterior deltoid fibers is reduced. In regions (12), (14), and (16), backhand is performed, so that the posterior deltoid muscle is the main fiber, and the load on the anterior deltoid muscle of the antagonist muscle is likely to be small.
<Pattern 7>
It is effective to return the ball to the areas (2), (4), (18), and (20) when strengthening and training the middle deltoid fibers. The deltoid middle fiber is the muscle that abducts. Therefore, it is considered that the load is applied by raising the arm. By returning the ball to the areas (2), (4), (18) and (20), the shoulder is raised and a load is applied to the fibers of the deltoid muscle.
<Pattern 8>
In order to reduce the load, it is preferable to return the ball to the areas (1), (3), (6), (8), (14), (16), (17) and (19). Since the shoulder is not raised so much during the swing, the load on the middle deltoid muscle fiber is reduced.
<Pattern 9>
It is effective to return the ball to regions (2), (4), (12), (14) and (16) when strengthening and training the posterior deltoid fibers. The posterior deltoid fiber is the muscle used in the opposite movement to the pectoralis major and the anterior deltoid fiber. Therefore, by returning the ball to (12), (14), and (16) in the backhand area and performing the backhand, the muscle can be trained. In addition, by returning the ball to the areas (2) and (4), it is possible to apply a load by centrifugal contraction when the racket is decelerated.
<Pattern 10>
If the load is lighter, the ball should be returned to the areas (6), (8), (10), (11), (13) and (15). In regions (6), (8), and (10), forehand is performed, so that a large load is not applied to the fibers of the deltoid muscle. In the regions (11), (13), and (15), the ball is close to the trunk, so that the range of motion of the shoulder is narrowed, and the load on the fibers of the deltoid muscle is considered to be small.
<Pattern 11>
When training with emphasis on the pectoralis major muscles, it is effective to return the ball to areas (6), (8), and (10). The pectoralis major is a muscle that performs horizontal adduction and is often used in forehand movements.
<Pattern 12>
If the load is lighter, the ball should be returned to the areas (5), (7), (9), (12), (14) and (16). In (5), (7) and (9), since the ball is close to the trunk, the range of motion of the shoulders is narrowed, and the load on the pectoralis major is reduced. The regions (12), (14), and (16) are backhand regions, and are suitable when a lighter load is required because the load on the pectoralis major is reduced.
Table 1 shows the purpose and contents of the rehabilitation described above.
[0044]
[Table 1]
* Long: 10 to 30 minutes Normal: 5 to 10 minutes Short: 3 to 5 minutes
* More ... 70% Normal ... 30-70% Less ... 30%
* Slow ... ~ 2.0m / s Normal ... 2.0 ~ 3.0m / s Fast ... 3.0m / s
* ・ ・ ・ Prohibited areas are provided only for specific symptoms
* 1: When the triceps brachii and the deltoid muscle are trained, there is a possibility that each muscle is not used much except for returning the ball to the location shown in the table. Therefore, many balls are returned to this area. However, since this area does not belong to the forehand and backhand areas that occupy most of tennis, there is a possibility that an unnatural ball distribution may occur. In some cases, the load is reduced, but it is necessary to provide a game by mixing a ball distribution with a severe symptom.
* 2 Regarding the speed, increasing the swing speed in the triceps, anterior deltoid, and posterior deltoid fibers could increase the load on each muscle, so the speed was increased. .
[0045]
【The invention's effect】
The present invention having the above configuration can expect the following effects.
(1) According to the first aspect of the invention, in a configuration combined with virtual sports for the purpose of rehabilitation / training, a zone for determining a timing for requesting a player to perform a motion is limited to simplify a motion determination necessary for achieving the purpose. High-speed processing can be performed with an inexpensive configuration, and only the zone to be determined is observed among images captured as a method of high-speed image processing, so that high-speed processing is possible.
(2) According to the second aspect of the present invention, the processing from position signal current → voltage → zone determination can be performed by the signal processing circuit.
If the number of light receiving units is equal to the number of zones, it is possible to determine a zone in a wide range that is not easily affected by disturbance light with an inexpensive configuration. If the number of zoning is small, it can be configured at low cost.
Alternatively, a large number of zones can be set by judging a small number of light receiving units in combination with each other, and low-cost and highly accurate zone judgment can be performed.
(3) According to the third aspect of the present invention, in the two-dimensional zone determination, the play can be continued without performing the swing, but by performing the three-dimensional zone determination, the operation determination of the sign becomes more efficient. By performing with realism, zone determination including a swing can be performed, and more advanced rehabilitation / training can be performed.
(4) According to the fourth aspect of the present invention, since multipoint measurement is enabled, the zone setting can be set according to the physique of the user by setting a light source on the head or chest, which has relatively little movement, in addition to the racket. It can be set or set on the foot to perform zone detection of the step operation.
(5) According to the fifth aspect of the present invention, in addition to the above-described configuration, the internal sensor is used for posture determination, for example, in the progress of a rehabilitation / training program of virtual tennis, a change in the racket posture before and after a shot is obtained, so that the trajectory of the returning ball is obtained. Can be changed, the play becomes more realistic, and it has an effect on rehabilitation.
[Brief description of the drawings]
FIG. 1 is a schematic diagram of a system.
FIG. 2 is a block diagram of a system.
FIG. 3 is a block diagram of a zone determination device using a PSD.
FIG. 4 is a block diagram of a zone determination device using an infrared LED and a plurality of photodiodes.
FIG. 5 is a block diagram of another example of a zone determination device using an infrared LED and a plurality of photodiodes.
FIG. 6 is a flowchart of zone determination by image processing.
FIG. 7 is a conceptual explanatory diagram of a two-dimensional sensor.
FIG. 8 is a conceptual explanatory diagram of a three-dimensional sensor.
FIG. 9 is a schematic diagram of a three-dimensional sensor.
FIG. 10 is a diagram illustrating characteristics of a three-dimensional sensor.
FIG. 11 is a diagram illustrating the operation of the three-dimensional sensor.
FIG. 12 is an explanatory diagram of an example of zone division.
FIG. 13 is a flowchart of a game progress.
FIG. 14 is an explanatory diagram of a tennis racket.
FIG. 15 is an explanatory diagram of another example of the system.
