JP2010509000A - ユーザの足の動きを検出して組み込む電子ゲーム - Google Patents

Abstract

電子ビデオシステムは、ユーザの足の運動をビデオプログラムに組み込む。該システムは、受信機とコンピュータプロセッサを含む。受信機は、ユーザが装着した履き物から送信される信号を無線により受信するように構成される。該信号は、ユーザの一連の足の運動に対応する。コンピュータプロセッサは、受信機に連動的に接続され、ビデオプログラムを実行するように構成される。ビデオプログラムは、受信機が受信した信号を入力データとして利用する。コンピュータプロセッサは、該入力データを処理してユーザの一連の足の運動を認識し、該一連の足の運動をシミュレートするビデオ信号を出力する。

Description

関連出願の相互参照
本発明は、２００６年１１月１０日米国仮特許出願通し番号第６０／８６５，２８３号の優先権及び利益を請求する。該仮出願の全開示は参照によって本明細書に組み込まれる。

発明の分野
本発明は、一般に、ユーザの身体運動及び位置を追跡し、該身体運動及び位置の追跡によって得たデータを電子計算機プログラムで利用するためのシステム及び方法に関する。更に詳しくは、本発明は、ユーザの足の動き及び位置を追跡し、該足の動き及び位置の追跡によって得たデータを、例えば電子ゲーム（コンピュータゲーム）等の電子計算機プログラムで利用することに関する。

現存するゲーミングシステムは、ユーザのステップの位置及びタイミングに関するデータを受信して処理するように設計された圧力センサ付きのダンスパッドを提供する。他のゲーミングシステムは、ゲームパッド、ジョイスティック、コントローラ、マウス、及びキーパッド等の手動操作される装置を使用する。一般に、そのような慣用のゲーミングシステムは、測定されるデータ信号の複雑さ並びにそれらのデータ信号が処理される方法の複雑さで制限される。

例えば、ダンスダンスレボリューション（一般に「ＤＤＲ」と呼ばれる）等のゲーミングコンソールは、ゲームプレイ中にユーザの足の運動から信号をインタラクティブに受信するある技術を利用する。具体的には、ＤＤＲは、コナミ株式会社が製造したミュージックビデオゲーミングシステムであり、これは足パネル又は足スイッチから成るダンスパッドを使用し、該パッドは、ユーザのステップを検出するように設計された複数の圧力センサを含む。圧力センサ付きの足スイッチ又はパネルの使用は、コナミ株式会社に譲渡された米国特許第６，４５０，８８６号において論じられ、これは参照によりここに組み込まれる。更には、ＤＤＲゲームプレイ中、選択した歌の全体的なリズム又はビートに同期される矢印がユーザの前のスクリーン上に現れる。ユーザは、該矢印に従って指定されたパネル上にステップしなければならず、ここで、ゲーミングの成功は、それ相応にユーザのステップのタイミングとりかつ該ステップを位置付ける彼又は彼女の能力に依存する。

ＤＤＲはユーザのステップを検出し、歌のリズム又はビートと相互作用するように該ステップの位置及びタイミングを処理することができるが、ダンスパッドの使用は、処理中のデータ信号を、ユーザがなすステップのタイミング及び位置に制限する。更には、ダンスパッドは大きく、重く持ち運びにくく、比較的高価である。

ニンテンドーのＷｉｉ（ウィー（登録商標））システム等の他のゲーミングコンソールは、モーションキャプチャリング構成要素を利用し、無線データ送信のスピードを改善している。特に、Ｗｉｉ（登録商標）システムはコントローラを使用し、該コントローラは、加速度計及び赤外線検出技術の組合せを含み、また、３次元空間内の該コントローラの位置を感知するため、いわゆる「センサバー」内部に発光ダイオード（「ＬＥＤ」）の配列を利用する。従って、ユーザは、身体的な腕の運動又はジェスチャーを用いてＷｉｉ（登録商標）ゲームをプレイすることができ、ここで、ジェスチャーに対応するデータはブルートゥース（登録商標）技術を介してコンソールに送信される。

しかしながら、Ｗｉｉ（登録商標）システムは、ゲームが休止するか又はジェスチャーをなすことによりユーザに入力を供給させる際に、コントローラが該コントローラを握るユーザの手及び腕がなす身体的ジェスチャー（例えばゴルフスイングのジェスチャー等）に対応するデータを検出することに制限される。Ｗｉｉ（登録商標）コントローラはユーザの足の動きを検出するようには設計されていない。更には、Ｗｉｉ（登録商標）コントローラによって送信されるデータの処理は、一般に、複数のアクション及びステップを含む複雑な一連の連続運動ではなく、一度の単一のジェスチャーに制限される。更に、Ｗｉｉ（登録商標）システムは、ゲームをプレイしている間にリアルタイム又はリアルタイム付近ではなく、かなりの時間遅れた後、そのジェスチャーの表示がディスプレイスクリーン上に示されるように、そのような各単一ジェスチャーを処理する。

米国特許第６，４５０，８８６号明細書

上記より、ユーザの身体的な運動及び位置を追跡し、かつ該身体的運動及び位置の追跡によって取得したデータを、電子ゲーム等の電子コンピュータプログラムにおいて利用するシステムに対するニーズが存在する。更に詳しくは、システムに対するニーズが存在する。ユーザの履き物の身体的な運動及び位置を追跡し、該足の動きに対応する信号を無線送信し、コンソールにより信号を無線受信し、かつ、受信した信号を入力データとして利用するプログラムを実行するシステムに対するニーズが存在する。

本発明は、ユーザの履き物のセンサから運動及び位置データを取得し、かつ対応するデータ信号を受信機に無線送信するシステム及び方法を提供する。該受信機は、次いで、これらの信号をデータとしてプロセッサに入力し、プロセッサは、このデータを利用するコンピュータプログラムを実行するように構成される。加速度計、圧力センサ、タッチセンサ又はその他はすべて、ユーザの足の動きを検出する容認できる手段である。更には、データ送信は、既知の任意の無線送信技術により実行され得る。

本発明の一実施形態において、コンピュータプログラムが生成する見ることができる画像（イメージ）を提示するディスプレイユニットが提供される。特に、コンピュータプログラムは、ユーザの履き物の運動に対応するビデオキャラクタの運動を示すためにデータ信号を利用し得る。該実施形態の一側面において、コンピュータプログラムは、ユーザの履き物の異なる運動に関連付けられたセンサデータを認識及び識別するように設計される。更には、コンピュータプログラムは、ユーザの履き物の運動に関連付けられた個別イベントのパターンを認識し、該パターンを解釈して事前に設定した複雑な又は高度な運動を表し、かつ、ディスプレイユニット上で表示されるビデオキャラクタによって実行されるべきそのような運動を引き起こし得る。

本発明の別の実施形態において、受信機は、コンピュータプログラムにおいてあるイベントが生じた際にユーザの履き物に信号を返送する送信機を含み得る。この実施形態のある側面によれば、履き物は、力（フォース）フィードバック振動システム又は照明システム又はサウンドシステムを含み得、これにより、ユーザは、例えば、どこへステップするか、どのように動くかについてコンピュータプログラムによって定義されるように指示され得る。

該発明の更なる実施形態において、ソフトウェアプログラムは、次のうちの一つであり得る。すなわち、エアロビクスビデオプログラム、武道（武術）ビデオプログラム、ダンスビデオプログラム、チアリーディングビデオプログラム、ヨガビデオプログラム、ピラティスビデオプログラム、ドライビングビデオプログラム、スポーツビデオプログラム、減量ビデオプログラム、エクササイズビデオプログラム、又は、ビデオゲームプログラムである。

該発明の更なる実施形態において、受信機は、一人又は複数人の他のユーザが装着した履き物からの信号を受信するように構成される。従って、例えば、コンピュータプログラムがビデオゲーム、ダンスプログラム、又はその他である場合、二人以上のユーザが競争的に又は協調的にプレイし得る。

本発明は、以下の詳細な説明が添付図面と共に検討されることにより、より良く理解される。

図１は、本発明の実施形態に従う模範的なシステムのシステム図である。 図２は、本発明の実施形態に従う履き物の例を示す。 図３は、本発明の実施形態に従う受信機の例を示す。 図４は、本発明の実施形態に従う、複数の受信ユニットを利用する中央システム受信機の例を示す。 図５Ａは、本発明の実施形態に従う、模範的なプロセスを例示するフローチャートを示す。 図５Ｂは、本発明の実施形態に従う、模範的なプロセスを例示するフローチャートを示す。

本発明の一側面によれば、ユーザの足の運動に対応するデータを利用するコンピュータシステムが提供される。該システムは、ユーザが履いた履き物から送信される無線で信号（該信号はユーザの一連の足の動きに対応する）を受信するように構成された受信機と、受信機に連動的（動作可能）に接続され、受信機で受信した信号を入力データとして利用するプログラムを実行するように構成されたコンピュータプロセッサとを含む。該プロセッサは、記入力データを処理してユーザの一連の足の動きを認識する。一連の足の動きは、例えば、一つ又は複数のキック、タップ、ステップ、持ち上げ、強打、足の踏み鳴らし、及び、これらの組合せを含む。更に、プロセッサは、入力データから認識した一連の足の動きをシミュレートするビデオ信号を出力する。付随的に、コンピュータシステムは、プロセッサが出力したビデオ信号に基づいて、一連の足の動きをシミュレートするビデオ表現を表示するように構成されたディスプレイユニットを更に含む。

本発明のこの側面において、受信機は、上記履き物における少なくとも一つの少なくとも一つのセンサから信号を受信するように構成され得る。該少なくとも一つのセンサは、加速度計、圧力センサ、タッチ（接触）センサ、ジャイロスコープ、磁力計、光（光学）センサ、赤外線センサ、及び慣性トラッカー（慣性追跡器）のうちの少なくとも一つを含み得る。

本発明のこの側面において、プロセッサは、ユーザの一連の足の動きに対応するデータパターンを認識するため、履き物から受信した信号をフィルタ処理するためのフィルタを含む。

随意的に、上記プログラムはビデオゲームである。

随意的に、受信機は、ブルートゥース（登録商標）技術を介して履き物から信号を受信する。

本発明のこの側面において、該システムは、履き物に信号を無線で送信するように構成された送信機を更に含み得る。送信される信号は、履き物に振動を起こすための振動信号、履き物の照明要素が光りを発するようにさせるための照明信号、及び、音要素が音（サウンド）を発するようにさせるための音信号のうちの少なくとも一つを含む。

図１は、本発明の一実施形態に従う模範的なシステム１００を概略的に示す。例えば、スニーカー、靴（シューズ）、サンダル、ブーツ、上靴（スリッパ）その他の履き物１０４は、履き物１０４のユーザ１０２の足の動き及び足の位置を追跡するように構成された少なくとも一つのセンサ１０６を該履き物１０４に組み込んでいる。履き物１０４は、ユーザ１０２の各足に一つずつの一組のユニットを含み得、少なくとも一つのセンサ１０６は履き物１０４の各ユニットに設けられる。随意的に、履き物１０４は、少なくとも一つのセンサ１０６が設けられた単一のユニットであり得る。例えば、履き物１０４は、一組の運動競技用シューズであり得、例えば、一組のランニングシューズ、ジョギングシューズ、クロストレーング用シューズ、スニーカー、ウォーキングシューズ、その他であり得る。

上記実施形態の一側面において、センサ１０６は、三軸加速度計を含む回路である。そのような回路の例は、Freescale Semiconductor,Inc.（フリースケールセミコンダクタ社）製のＺＳＴＡＲリファレンスボードである。一般に、三軸加速度計は、三方向（即ち、前後、左右及び上下の運動に対応するｘ、ｙ及びｚ方向）の運動を感知することができる。三軸加速度計が静止している場合、加速度の大きさは、ｌｇ（９．８ｍ／ｓ²）であり、その三次元方向は、配向（向き）及びレベル情報を提供する。三軸加速度計が移動する場合、それが受ける加速度は、その運動と地球の重力（引力）の合成である。従って、三軸加速度計は、運動、加速度、及び、地球の重力に対する位置関係を検出することができる。

上記実施形態の本側面において、センサ１０６は、ユーザの足の運動及び位置に関するデータを有する無線信号１０８を送信する。三軸加速度計は位置の急激な変化又は緩慢な変化に応答し、また重力の影響を受けるので、ユーザが、例えば歩行中に足を持ち上げる等、彼又は彼女の足を移動させる時、加速度データがセンサ１０６に伝えられる。運動に加えて、三軸加速度計は地球の重力に対する位置を検出することができるので、センサ１０６は、履き物１０４が傾斜位置又は降下位置へと移動させられるか否かを検出することができる。一旦、センサ１０６が運動、又は位置の変化を検出すると、データ信号１０８は、システム受信機１１０の無線データ受信ユニット１１２へと無線送信される。

実施形態の一側面によれば、履き物１０４は、別個のセンサ１０６を有する一組のユニット、例えば、それぞれセンサを有する左右のユニット等を含む場合、別個のデータ信号は、無線データ受信ユニット１１２に送信され、該二つのユニット間の相対距離が検出され得る。

この実施形態の別の側面によれば、センサ１０６は、次のものを検出する測定機能のうちの一つ又は複数を含み得る。すなわち、（１）地面に接する履き物１０４の衝撃強度；（２）ある一定のステップ又は運動で履き物１０４が進んだ距離；（３）履き物１０４が地面から離れる高さ；（４）ユーザ１０２の胴体に対する履き物１０４の位置；（５）周囲環境に対する上記胴体回転位置；及び（６）履き物１０４の方向における変化又は地面に接触する、履き物１０４を伴わない運動における変化、である。

この発明の別の実施形態において、センサ１０６は、ユーザ１０２が歩行中にステップを踏む（一歩進む）際にある面を打つ履き物１０４の衝撃によって生じる圧力等の圧力データを測定することができる。この実施形態において、圧力はある面（例えば地面）に対して測定される。例えば、トータップ（つまさきのタップ）からの圧力が履き物１０４の前部を向いて配置されるセンサにより、ヒールストンプ（かかとの踏み鳴らし）からの圧力が履き物１０４の後部に向いて配置されるセンサにより、更に、ジャンプ及び扁平足の着地からの圧力が履き物１０４のソール（靴底）の中央付近に配置されるセンサにより、測定され得る。履き物の単一ユニットに複数のセンサが使用される場合、二つ以上のセンサ間の相対圧力が該足の角度を検出するのに用いられ得る。先の実施形態と同様に、複数のセンサが一組の履き物ユニットで使用される場合、履き物ユニット間の距離が検出され得る。

更なる実施形態において、センサ１０６はタッチセンサであり得、タッチセンサは接触を検出する。使用され得るタッチセンサの一つのタイプは、物体が触れたすなわち接した際の電気スイッチの閉鎖を通じて電子回路を完成させることにより、接触を検出する単純なタッチセンサである。使用され得るタッチセンサの別のタイプは、歪みゲージセンサであり、これは、物体との接触を検出するのみならず、該接触によってセンサに与えられる歪みの量を通じて接触の力も検出し得る。

センサの他のタイプが、履き物１０４の動き及び位置を検出及び追跡するためにも使用され得る。これらのセンサは次のものを含むが、それらに限定はされない。すなわち、（１）ジャイロスコープ、これは、角運動量保存の法則に基づき配向を測定又は維持する；（２）磁力計、これは、該機器（磁力計）付近の磁界の強さ及び／又は方向を測定する；（３）慣性追跡装置、これは、現実世界の動きを正確に測定するために加速度計、ジャイロスコープ及び磁力計を組み込む；（４）光学位置センサ、これは、センサ面上の一次元又は二次元の光点の位置を測定する；及び（５）赤外線追跡装置、これは、一つ又は複数の赤外線受信機によって検出される赤外線信号を全方向に連続的に発するビーコンを含む、である。

再び図１を参照して、システム受信機１１０は、中央処理装置（ＣＰＵ）１１４を含む。センサ１０６からデータ信号１０８を受信するや否や、無線データ受信ユニット１１２は、これらのデータ信号１０８を運動及び位置データとしてＣＰＵ１１４に入力する。これらのデータを利用して、ＣＰＵ１１４は、履き物１０４から受信したデータで作動するように設計された電子プログラムを実行する。すなわち、プログラムに対応するソフトウェアは、プログラムの動作中、運動及び位置データを受け取ってこのデータを利用するようにコード化される。該プログラムは、例えば、ビデオゲーム、エクササイズビデオ、ダンスビデオ等であり得る。コンピュータ処理の当業者によって認識されるように、一般用語のコンピュータプログラム又はプログラムは、任意の形式のソフトウェアアプリケーションを意味し得る。

該実施形態の一側面によれば、プログラムは、センサ１０６によって計算される運動及び位置データを利用して、ディスプレイユニット１１６上のビデオキャラクタ、例えばビデオゲームにおけるアニメ化されたキャラクタ等の対応する運動及び位置を示す。ディスプレイユニット１１６は、テレビ、コンピュータモニタ、ビデオディスプレイユニット等であり得る。

該実施形態の別の側面によれば、コンピュータプログラムは、特定のダンス運動に関連付けられるセンサデータを認識及び識別するように設計される。更に詳しくは、コンピュータプログラムは、例えば、ユーザが独特なダンス運動を行うとビデオキャラクタが一致するダンス運動を行うといった具合に、動き又はジェスチャー認識を用いることができる。動き及びジェスチャー認識技術を実行するため、コンピュータプログラムは機械学習ソフトウェアを利用し得る。最初、コンピュータプログラムは、一人又は複数人の被験者の特定の運動中に測定される一つ又は複数のセンサから供給されたデータにより訓練（トレーニング）される。例えば、ダンシングルーチンコンピュータプログラムでは、被験者は、所期のダンス運動を行うことができるプロのダンサーであり得る。被験者の履き物の一つ又は複数のセンサから得たデータがダンス運動中に取り込まれ、機械学習ソフトウェアに与えられる。機械学習ソフトウェアは次いで、例えば、特定のデータパターンと被験者の履き物がなした既知の運動とを関連付け得る。

この実施形態の一側面において、身体的に意味のある個別のイベントを特定（識別）するため、被験者の履き物の一つ又は複数のセンサから出力された生データが分析される。例えば、被験者がある特定の運動を行った場合、このイベントに関連付けられた加速度データは、スラスト（押す／突く）、自由落下、スナップ（素早く動かす／パチッと音を鳴らす）等の個別のイベントとして特定され得る。そのような運動が行われる場合、個別のイベントに関連付けられたデータがコンピュータプログラムに与えられる。同様に、一連の足の動き（すなわち、一連の個別のイベント）が実行される場合、該一連の足の動きに関連付けられたデータがコンピュータプログラムに与えられる。該一連の足の動きは、コンピュータプログラムに連続的にデータを与えるために連続的な態様で処理され得る。

本発明の別の側面において、コンピュータプログラムは、特定の足／脚運動又はジェスチャーに対応するように、一連の個別イベントに対する一連のデータパターンを解釈すべく訓練され得る。例えば、コンピュータプログラムがダンスルーチンに関連して、ユーザが彼又は彼女の右足を後方にスナップし、次いで右足を前方にスラストし、その後、右足を上方にスナップする場合、コンピュータプログラムは、この一連のデータパターンを、ユーザの前方フリップを行う要望として認識するように訓練され得る。コンピュータプログラムは、一連の個別イベントを実行する被験者がなした足の動きから得たデータに基づき、該一連の個別イベントに対する一連のデータパターンを分類するように訓練され得る。上述したように、機械学習アルゴリズムは、個別イベントのあるパターンを、例えば前方フリップ等の一つ又は複数の運動又はジェスチャーと共に分類することができる。すなわち、足の動きの一つ又は複数の特定パターンは、ユーザは現実のフリップ又は宙返りを実行する必要はないが、ゲームにおけるフリップ又は宙返りに対応するように分類され得る。従って、分類スキームは、個別イベントの一つ又は複数のパターンを一つ又は複数の事前に設定したダンス運動又はジェスチャーに関連付け得る。機械学習技術の当業者によって認識されるように、分類スキームの信頼性及び広範さは、コンピュータプログラムを訓練する（仕込む）ために利用した被験者の数に直接左右される。

図１に戻り、ユーザ１０２による動作において、ユーザの運動に関連するある数の個別イベントに対応する、センサ１０６が出力したデータはＣＰＵ１１４に入力される。次に、ＣＰＵ１１４は、パターン認識アルゴリズムを実行し、ユーザの運動が分類スキーム内の一つ又は複数の運動又はジェスチャーと関連付けられるか又は特定され得るように、これらの個別イベントと分類スキーム内の既知のパターンとを比較する。一旦運動又はジェスチャーが特定されると、コンピュータプログラムは、ディスプレイユニット１１６が対応するユーザの足／脚運動（例えばダンス運動）を表示するようにさせる。

該実施形態の一側面によれば、一つ又は複数の個別イベントに関連付けられる生データを処理する利点は、既知のデータ−パターン認識技術を用いて、各イベントが、実質的に遅延時間を全く伴わずに、センサ１０６により検出され、ＣＰＵ１１４により分類され得ることである。従って、コンピュータプログラムは、ユーザの足の動きをリアルタイム又はリアルタイム付近でシミュレートするビデオ信号を作り出すことができる。

この実施形態の別の側面において、機械学習アルゴリズムは、最初に訓練された後、学習し続けるようにコード化され得る。この点に関し、コンピュータプログラムは、その分類スキームを個々のユーザの固有の運動及びジェスチャーに変更することができる。

図２は、本発明の実施形態に従う履き物２０４の例を示す。履き物２０４の各ユニットは少なくとも一つのセンサ２０６を組み込んでいる。好ましくは、センサ２０６は、データ精度を最大にしかつノイズを最小にするため、履き物２０４にしっかりと取り付けられ、かつ地面付近に設置される。別の実施形態（図示せず）において、一つ又は複数のセンサは、靴のソール（靴底）、靴の中底、もしくは靴の舌部、又はこれらの任意の組合せ位置に組み込まれ得る。履き物ユニットごとに複数のセンサを使用することは、複数方向（例えば、前方、後方、左方、右方、上方、下方）及び異なる角度におけるユーザの運動の検出を含む履き物２０４の運動又は位置に対応するデータの精度を高める。複数のセンサが組み込まれた場合、各センサからのデータは、個々の信号として個別に送信され、これらは、個々の信号として又は互いに組み合わされて、無線データ受信ユニット１１２で受信されＣＰＵ１１４で処理される。

該実施形態の一側面によれば、センサ２０６は、上述したＺＳＴＡＲリファレンスボードに類似の回路であり、これは、運動及び位置データを図１に示すように無線データ受信ユニット１１２に送信するため、三軸加速度計及び低出力無線機能の両方を組み込む。別の実施形態において、履き物１０４、２０４は、三軸加速度計と、無線データ受信ユニット１１２と通信する別個の送信機及び受信機ユニット（図示せず）とを組み込み得る。

別の実施形態において、履き物１０４、２０４は、システム１１０から信号を受信する無線受信機を含み得る。更には、システム１１０は、あるイベントがコンピュータプログラムにおいて発生した場合に履き物１０４、２０４に信号を送る送信機を含み得る。

該実施形態の一側面によれば、履き物２０４は、力フィードバック振動システム（図示せず）を含み得、これは、あるイベントがソフトウェアプログラムにおいて生じた際に振動信号をユーザに供給する。例えば、ソフトウェアプログラムがゲームである場合、該振動信号は、ユーザがエラーしたこと、もしくはユーザがボーナススコアを取得したこと、又はその他のことをユーザに対して示し得る。別の実施形態において、ソフトウェアプログラムが教育用ダンスビデオである場合、振動信号は、ユーザがテンポから外れたステップを行ったことを示し得る。

該実施形態の別の実施形態によれば、履き物靴は、照明システム（図示せず）を含み、これは、次に行う運動を示すために光信号をユーザに供給する。例えば、プログラムが子供の学習ゲームである場合、照明システムは、子供に、ステップする方向もしくはタップする足の部分又はこれらの両方を示す。（複数の）照明装置は、子供に次になされるべき動きを示すため、靴の異なる部分に取り付けられ得る。あるいは、照明装置に代えて又はそれに加えて、サウンドシステムが使用され得る。

該実施形態の更に別の側面によれば、センサ２０６は、履き物２０４に設けられた凹部２０８に容易に挿入及び取外し可能な着脱可能な回路又はシステムである。そのような設計は、ユーザが、センサ２０６が機能しなくなった場合に迅速にセンサ２０６を取り替えること、又は、二つ以上の履き物間でセンサ２０６を交換することを可能にする。更には、センサ２０６自体は、ユーザの履き物に直接配置される必要はなく、その代わり、従来の履き物で使用される靴付属品であり得る。例えば、該靴付属品は、従来の履き物の内部に置かれるインサート（該インサートには一つ又は複数のセンサが組み込まれる）等の内部付属品であり得る。別の実施例において、靴付属品は、従来の履き物に対して装着されるブーツカバー（該ブーツカバーには一つ又は複数のセンサが組み込まれる）等の外部付属品であり得る。

別の実施形態において、センサ２０６は、履き物２０４の一部として製造され得る。また、センサ２０６は取外しできないものである。これらの実施形態は、履き物２０４が複数のセンサ又は異なるタイプのセンサを使用する場合と同じ態様で適用可能であることが理解される。

図３に示す本発明の別の実施形態において、ゲームシステムは、履き物（例えば２０４）の一つ又は複数のセンサから電気（電子）信号を無線で受信するシステム受信機３１０を含む。システム受信機３１０は、無線で信号を受信するための既知の技術を利用する。一つのそのような技術はブルートゥース（登録商標）技術を利用する。無線信号送信の当業者には認識されるように、他の無線技術が知られており、使用され得る。

システム受信機３１０は無線データ受信ユニット３１２を含み、該ユニットは履き物１０４、２０４に信号を送るための送信機を随意的に含み得る。無線データ受信ユニット３１２は、履き物１０４、２０４から信号３０８を受信した場合、データをＣＰＵ３１４に入力し、ＣＰＵ３１４は、該データを処理してソフトウェアプログラムを実行する。

該実施形態の一側面によれば、システム受信機３１０はゲーミングプラットフォームであり得、これは、例えば、ソニープレイステーション（登録商標）、マイクロソフトＸボックス（登録商標）、ニンテンドーゲームキューブ（登録商標）、無線通信用のトランシーバが装備されたパーソナルコンピュータ、又はその他等である。

該実施形態の別の側面によれば、システム受信機３１０は、複数のユーザ（図示せず）が装着した履き物ユニットから複数の電気信号３０８を受信するように構成され得る。すなわち、二人以上のユーザからの信号が、無線データ受信ユニット３１２によって受信され得る。無線データ受信ユニット３１２は、各ユーザからデータ信号を取得し、このデータをＣＰＵ３１４に供給し、ソフトウェアプログラムが各ユーザのデータを個々に処理し得るような態様でソフトウェアプログラムを実行する。この方法において、例えば、二人以上のユーザは協調的に又は競争的に同じゲームをプレイし得る。

該発明の別の実施形態において、図４に示すように、複数の無線データ受信ユニット４１２ａ及び４１２ｂは、中央システム受信機４１０に接続され得、該中央システム受信機４１０において、各無線データ受信ユニット４１２ａ及び４１２ｂは、異なるユーザの４０２ａ及び４０２ｂの各履き物ユニット４０４ａ及び４０４ｂから別個のデータ信号４０８ａ及び４０８ｂを受信する。中央システム受信機４１０は、複数の無線データ受信ユニット４１２ａ及び４１２ｂから出力信号を受信し、データをＣＰＵ４１４に供給してソフトウェアプログラムを実行する。ソフトウェアプログラムは、例えば、複数のユーザ４０２ａ及び４０２ｂが同じゲームを協調的に又は競争的にプレイし得るように、複数の無線データ受信ユニット４１２ａ及び４１２ｂからのデータを別々に処理する。

この実施形態の一側面によれば、中央システム受信機４１０がソニープレイステーション（登録商標）又はその他のゲーミングプラットフォームである場合、各データ受信ユニット４１０は、コントローラインプットを介してゲーミングコンソールにプラグで接続することができる。当業者によって認識されるように、履き物ユニット４０４ａ及び４０４ｂと無線データ受信ユニット４１２ａ及び４１２ｂとの間の無線通信は、そのようなゲーミングコンソールに対して現在市販されている無線コントローラと同程度の又は類似の態様で実行するであろう。そのような無線コントローラの一例は、ソニープレイステーション（登録商標）２システムに対して現在販売されるロジテック（Logitech）（登録商標）コードレスコントローラである。

図５Ａは、本発明の実施形態に従う、該システムのプロセス５００を例示するフローチャートを示す。好ましくは、該プロセスはシステム１００を使用する。プロセス５００はステップ５０２で始まり、ステップ５０２においてセンサ１０６はユーザ１０２が装着した履き物１０４の運動及び位置データを検出する。ステップ５０４において、該運動データ又は位置データは、受信機１１０にデータ信号として無線送信される。上述したように、センサ１０６は、センサと無線データ送信のための送信機とを含む単一の回路であり得、又は、履き物１０４は、センサと、受信機１１０と通信する別個の送信機及び受信機ユニットとを使用し得る。

ステップ５０６において、無線データ受信ユニット１１２は、運動及び位置データに対応するデータ信号１０８を受信し、このデータをＣＰＵ１１４に入力する。ステップ５０８において、ＣＰＵ１１４は、該データがプログラムが実行された場合に該プログラムの結果又は出力に影響を及ぼすように該データを処理する。ステップ５１０において、コンピュータプログラムが生成した見ることができる動画がユーザに対しディスプレイユニット１１６上に提示される。

このプロセスの例として、プログラムがビデオゲームであり、かつユーザがビデオゲーム中のキャラクタによって表される場合、ユーザが素早いウォーキングステップをなすと、ユーザ１０２が装着した履き物１０４のセンサ１０６は、ユーザの（複数）ステップの迅速なペースを検出し（ステップ５０２）、対応する信号を送信する（ステップ５０４）。信号からのデータは受信機に受信され（ステップ５０６）、プログラムに入力される（ステップ５０８）。ここで、プログラムは、ユーザを表すビデオキャラクタが素早く歩行するように示されるように、該データを処理する（ステップ５１０）。

本発明の一実施形態によれば、履き物１０４の一つ又は複数のセンサ１０６から取得した情報は、ビデオシステムのコントローラに対する入力データとして用いられる（ステップ５０６）。一つ又は複数のセンサ１０６が送った運動及び位置データは、入力データとしてコントローラに供給され、ＣＰＵ１１４とのインタラクト（情報のやり取り）のために使用され、ＣＰＵ１１４はビデオシステムのソフトウェアプログラムを実行する（ステップ５０８）。すなわち、ＣＰＵ１１４は、入力データをプログラムの動作に組み込み、これは、プログラムが作り出してディスプレイユニット１１６に提示されるビデオが該入力データを反映するようになされる。

該実施形態の一側面によれば、ビデオシステムは、履き物１０４の一つ又は複数のセンサ１０６から取得したＣＰＵ１１４を介する（ステップ５０８）情報を無電で受信して処理するように装備されたビデオゲームシステムである。履き物１０４の一つ又は複数のセンサが感知する運動及び位置は、プレイ中のビデオゲームで発生するイベントに組み込まれ、ディスプレイユニット１１６に提示される（ステップ５１０）。

該実施形態の別の側面によれば、コンピュータプログラムは、特定の運動に関連付けられたセンサデータを認識しかつ識別するように設計される（ステップ５０８）。更に、ビデオシステムのＣＰＵ１１４は、個別イベントに関連付けられたデータのパターンを組み込み、ビデオゲームがプレイされている間に生じるビデオキャラクタの複雑な運動を提供する（ステップ５０８）。例えば、プレイ中のビデオゲームがダンシングルーチンに関連し、かつユーザが彼又は彼女の右足を後方にスナップし、右足を前方にトラストし、その後、右足を上方にスナップする場合、コンピュータプログラムは、個別イベントのこのパターンを前方フリッタを行うユーザの要望として認識するように訓練され得る。その結果、個別イベントのパターンは、ディスプレイユニット１１４上でユーザを表示するビデオキャラクタに、関連付けられた前方フリップを実行させる。

該実施形態の更に別の側面によれば、ビデオシステムは、履き物ユニット１０４の一つ又は複数のセンサ１０６から取得した情報を無線で受信して処理する（ステップ５０６）ように装備された汎用コンピュータである。ビデオシステムによって利用され実行される（ステップ５０８）ソフトウェアプログラムは、例えば、ヨガ、エアロビクス、スポーツトレーニング、ダンシング、チアリーディング、体力トレーニング、武道（武術）、なわとび、ミニゲーム、又はその他等に対する実行ルーチンに関連したプログラムであり得る。プログラムは、テレビ画面又はコンピュータスクリーン上に表示されるビデオからプレイヤー（すなわちユーザ）の行動を誘導し、履き物１０４の一つ又は複数のセンサ１０６によって感知される運動及び衝撃に基づいてプレイヤーの成功を測定する。随意的又は付加的に、プログラムは、一つ又は複数のセンサ１０６により感知される運動によって見積もられるような、例えば、プレイヤーによって燃焼されるカロリーの量等の他の量も測定し得る。

図５Ｂを参照して、本発明の更に別の実施形態を例示するフローチャートが示され、ここでは、履き物１０４は、ホストコンピュータ１１０から信号を受信することができる。上述したように、ステップ５０８において、ＣＰＵ１１４は、プログラムの実行時に、センサ１０６からのデータがプログラムの結果又は出力に影響を及ぼすように、該データを処理する。本実施形態において、ステップ５０８において、データが処理されている際、あるイベントがソフトウェアプログラムに生じると、ＣＰＵ１１４は応答信号を発生させ、該応答信号は、ステップ５１２で履き物１０４に無線送信される。ステップ５１４において、履き物１０４は、該応答信号を受信し、ステップ５１６でこれらの信号を処理し、これは、例えば、履き物１０４の振動又は履き物１０４に取り付けられた光源の照明、履き物１０４から発する音等の物理的反応を生成する。

以下は、本発明の応用（アプリケーション）例である。もちろん、本発明は、後述する模範的用途に限定されず、他の用途も包含し得る。

ヨガ／ピラティストレーニングルーチン：このアプリケーションにおいて、ソフトウェアプログラムは、例えば、どのように立つか、並びに足、脚及び／又は手をどこに置くか等に関して、プレイヤーすなわちユーザに指示する。ビデオシステムは、足の配置及び足の位置を読取り又は感知する。ソフトウェアプログラムは、プレイヤーが積極的にトレーニングルーチンに参加している時間の量を測定し、また、プレイヤーが燃焼したカロリーの量も測定する。随意的に、ビデオシステムは、プレイヤーのトレーニングルーチンを記録するメモリ（記憶装置）を含み、これにより、プレイヤーは彼又は彼女のトレーニングの視覚的プレイバック（再生）を見ることができる。

エアロビクス／武道練習（エクササイズ）ルーチン：このアプリケーションにおいて、プレイヤーすなわちユーザは、彼又は彼女の経験レベル及び所望する練習結果に関する一連の問題に対する回答を供給する。ソフトウェアプログラムは、該回答に基づいて、練習ルーチンを該プレイヤーに対してカスタマイズする。エアロビクスルーチンは、ランニング・イン・プレイス、腹筋運動、ステッピングパターン、階段ドリル、腕立て伏せ等を含むいくつかの異なる練習を含み得る。武道ルーチンは、プレイヤーが繰り返す動き及び機動操作行動の実演を含み得る。ユーザがなす脚の運動及び足の動きはディスプレイユニットに現れるであろう。付随的に、ユーザの運動は、該運動を正確に行うビデオキャラクタと並行して、ディスプレイユニット上にビデオキャラクタを介して現れるであろう。

ダンシング／チアリーディングルーチン：このアプリケーションにおいて、ソフトウェアプログラムは、一つ又は複数の特定のダンスのタイプ、例えば、社交ダンス、バレエ、ヒップホップ及びその他等を教示する。随意的に、ビデオシステムは、プレイヤーの運動を記録するメモリを含み、これにより、プレイヤーは、彼又は彼女のダンシング又はチアリーディングセッションの視覚的プレイバックを見ることができる。このオプションによれば、プレイヤーは、オリジナルなダンス又はチアリーディングの振付けの視覚的プレイバックを見ることもできる。

ドライビングゲーム：このアプリケーションにおいて、ソフトウェアプログラムはビデオドライビングゲームであり、これは、プレイヤーが装着した履き物又は靴の一つ又は複数のセンサを介してドライビング経験をシミュレートするため、プレイヤーが椅子に座り、彼又は彼女の足又は脚の角度を用いて加速度及びブレーキングを制御することを可能にする。付随的に、ビデオシステムは、ステアリング装置を含み、これは、プレイヤーが、プログラムによって制御されるテレビ又はコンピュータスクリーンに表示される仮想車両を操縦及び制御することを可能にする。

スポーツゲーム：このアプリケーションにおいて、ソフトウェアプログラムは、プレイヤーが該ゲームに参加することを可能にするビデオスポーツゲームである。例えば、プレイヤーは、プレイヤーの履き物の一つ又は複数のセンサが感知した足の衝撃及び運動を通じてビデオフットボール又はビデオサッカーボールを制御及びキックし得る。足の衝撃及び運動に関する電子情報は、ビデオシステムのシステム受信機に無線送信され、また、プログラムは、該情報を利用して、例えば、一つ又は複数のセンサから得た該情報に基づいてビデオフットボール又はビデオサッカーボールが採る軌道を示す。

「ウォークアラウンド」ポイントエクササイズ／ゲームルーチン：このアプリケーションにおいて、ソフトウェアプログラムは、例えば、小児肥満症との戦い及び子供の練習への促進を支援するフィットネスルーチンに対するものである。プレイヤーが装着した履き物の一つ又は複数のセンサは、日毎基準又は週毎基準でプレイヤーが歩いた距離を検出し、期間（例えば、１日、１週間等）中に目標距離をプレイヤーが歩行した場合、プレイヤーは、プログラムの次のレベルへと進むことを許容される。付随的に、プログラムはゲームを含み、プレイヤーは、該ゲームの異なるレベルを通じて進み、又は、プレイヤーがある一定の時間で歩行したステップ数に基づいてほうびを受け取る。例えば、プレイヤーが毎日七日間３０００ステップ歩いた場合、プログラムは、プレイヤーがほうびのクーポンを印刷することを可能にし得、プレイヤーが毎日七日間５０００ステップ歩いた場合、プログラムは、ビデオゲームに対するロックを解くか又はビデオゲームに対するアクセスを提供することにより、プレイヤーが特定のビデオゲームをプレイすることを可能にし得る。

子供のミニゲーム：このアプリケーションにおいて、ソフトウェアプログラムは、一連の単純な子供のゲーム（Simon-Sez（サイモン・セズ）のような）に対するものであるか、又は、子供が共に演奏できる活動的な歌（例えばHokey Pokey（ホンキーポンキー））に対するものである。履き物は、プレイヤーが、子供が装着した履き物の一つ又は複数のセンサによって感知される正しい動きをなした時に点灯する照明を含み得る。

複数ユーザ：随意的に、これらのソフトウェアアプリケーションのいずれも、複数のプレイヤーに対して実行され得る。例えば、ビデオスポーツゲーム又はドライビングゲームは、二人以上のプレイヤーが互いに競争することを可能にし得る。更には、ダンシングゲーム等のアプリケーションにおいて、複数プレイヤーは、特定のダンスの動きを互いに練習することができ、また、彼らのダンスルーチンの視覚的プレイバックを見ることができる。

オンラインオプション：随意的に、ビデオシステムは、インターネット等の通信ネットワークにアクセスし得る。このように、プレイヤーのスコア、ゲームレベル、ダンス振付け等は、オンラインで掲示され、互いに共有され得る。

他のオプション：随意的に、履き物は、プロセッサと、ビデオシステムが使用されていない場合であってもユーザの行動を追跡及び格納するメモリとを含み得る。プロセッサは、例えば、履き物の一つ又は複数のセンサがビデオシステムのシステム受信機と通信しない場合であっても、履き物の一つ又は複数のセンサによって感知されるユーザが踏むステップ数をカウントするための計数プログラムを含み得る。メモリは、数えたステップ数を格納し、この情報をしばらく後にビデオシステムへと中継することができる。ユーザが歩くスピード及び距離もプロセッサ及びメモリによって追跡及び格納され得る。

別のオプションにおいて、本発明は、履き物の一つ又は複数のセンサに類似の態様で腕の配置及び運動を決定するための一つ又は複数のセンサを有するリストバンドを含み得る。

上述した本発明の種々の実施形態が例示目的で提供され、これらは限定ではない。当業者には、本発明の精神及び範囲から逸脱することなく、形態及び詳細において種々の変更がなされ得ることが明らかであろう。従って、本発明は、上記模範実施形態のいずれにも限定されるべきではなく、特許請求の範囲及びそれらの均等物に従ってのみ範囲が定められるべきである。特許請求の範囲に記載したステップ及びプロセス（方法）は、提示した順番で実行される必要はないことも理解されるべきである。

１００ システム
１０２ ユーザ
１０４ 履き物
１０６ センサ
１０８ 無線信号
１１０ システム受信機
１１２ 無線データ受信ユニット
１１４ ＣＰＵ
１１６ ディスプレイユニット

Claims (24)

1. ユーザの足の動きに対応するデータを利用するコンピュータシステムであって、
   ユーザが装着する履き物から送信される信号を無線により受信するように構成された受信機にして、該信号がユーザの一連の足の動きに対応する受信機と、
   受信機に連動的に接続され、かつ、受信機が受信した信号を入力データとして利用するプログラムを実行するように構成されたコンピュータプロセッサとを備え、
   前記コンピュータプロセッサは、前記入力データを処理してユーザの前記一連の足の動きを認識し、該一連の足の動きは、キック、タップ、ステップ、持ち上げ、強打、足の踏み鳴らし、及び、これらの組合せのうちの一つ又は複数を含み、
   前記コンピュータプロセッサは、前記入力データから認識した前記一連の足の動きをシミュレートするビデオ信号を出力するコンピュータシステム。
2. 前記コンピュータプロセッサが出力したビデオ信号に基づいて、前記一連の足の動きをシミュレートするビデオ表現を表示するように構成されたディスプレイユニットを更に備える請求項１のコンピュータシステム。
3. 前記受信機は、前記履き物の少なくとも一つのセンサから信号を受信するように構成される請求項１のコンピュータシステム。
4. 前記プログラムはビデオゲームである請求項１のコンピュータシステム。
5. 前記受信機は、ブルートゥース（登録商標）技術により履き物から前記信号を受信する請求項１のコンピュータシステム。
6. 前記受信機は、ユーザの左右の足に対応する、履き物の左右のユニットから信号を受信するように構成される請求項１のコンピュータシステム。
7. 前記少なくとも一つのセンサは、加速度計、圧力センサ、タッチセンサ、ジャイロスコープ、磁力計、光センサ、赤外線センサ、及び慣性トラッカのうちの少なくとも一つを含む請求項３のコンピュータシステム。
8. 前記コンピュータプロセッサは、ユーザの前記一連の足の動きに対応するデータパターンを認識するため、履き物から受信した信号をフィルタ処理するフィルタを含む請求項１のコンピュータシステム。
9. 前記履き物に信号を無線送信するように構成された送信機を更に備え、該送信された信号は、履き物に信号を生じさせるための振動信号、及び、履き物の照明要素を発光させるための照明信号のうちの少なくとも一つを含む請求項１のコンピュータシステム。
10. 前記受信機は、二人以上のユーザの履き物から送信される信号を無線により受信するように構成され、該信号は二人以上のユーザの一連の足の動きに対応し、前記コンピュータプロセッサは、該受信した信号を処理し、前記二人以上のユーザの一連の足の動きをシミュレートするビデオ信号を出力する請求項１のコンピュータシステム。
11. 前記プログラムは、エアロビクスビデオプログラム、武道ビデオプログラム、ダンスビデオプログラム、チアリーディングビデオプログラム、ヨガビデオプログラム、ピラティスビデオプログラム、ドライビングビデオプログラム、スポーツビデオプログラム、減量ビデオプログラム、エクササイズビデオプログラム、及び、ビデオゲームプログラムのうちの一つである請求項１のコンピュータシステム。
12. ユーザの足の動きに対応するデータを利用する、コンピュータが実行する方法であって、
    ユーザが装着する履き物から送信される信号を無線により受信する工程にして、該信号がユーザの一連の足の動きに対応する該工程と、
    受信機が受信した信号を入力データとして利用するコンピュータプログラムを実行する工程と、
    前記入力データを処理してユーザの前記一連の足の動きを認識する工程にして、該一連の足の動きが、キック、タップ、ステップ、持ち上げ、強打、足の踏み鳴らし、及び、これらの組合せをのうちの一つ又は複数を含む該工程と、
    前記入力データから認識した前記一連の足の動きをシミュレートするビデオ信号を出力する工程とを含む方法。
13. 前記出力されたビデオ信号に基づいて、前記一連の足の動きをシミュレートするビデオ表現を表示する工程を更に含む請求項１２の方法。
14. 足の動きに対応する複数のトレーニングデータを取得する工程と、
    該複数のトレーニングデータを処理して、前記足の動きを表すデータパターンを決定する工程とを更に含み、
    ユーザの前記一連の足の動きを認識するための前記入力されたデータの処理工程は、前記足の動きを表す前記データパターンを認識するために前記入力されたデータをフィルタ処理する工程を含む請求項１２の方法。
15. 前記入力されたデータを処理する工程は、ユーザの前記一連の足の動きに対応するデータパターンを認識するために該入力されたデータをフィルタ処理する工程を含む請求項１２の方法。
16. ビデオゲームシステムのための履き物であって、
    ユーザの足に取り付けられるように構成されたハウジングユニットと、
    該ハウジングユニットに取り付けられるセンサ組立体とを備え、
    前記センサ組立体は、
    ユーザの一連の足の動きを検出するための少なくとも一つのセンサと、
    ビデオゲームシステムに信号を無線送信するための送信機にして、該信号がユーザの前記一連の足の動きに対応する該送信機とを含む履き物。
17. 前記少なくとも一つのセンサは、加速度計、圧力センサ、タッチセンサ、ジャイロスコープ、磁力計、光センサ、赤外線センサ、及び慣性トラッカのうちの少なくとも一つを含む請求項１６の履き物。
18. 前記ハウジングユニットは靴であり、前記センサ組立体は該靴に組み込まれる請求項１６の履き物。
19. 前記ハウジングユニットは靴であり、前記センサ組立体は該靴に着脱自在に取り付けられる請求項１６の履き物。
20. 前記ハウジングユニットは、靴又はユーザの足に取り付けることができるように構成される請求項１６の履き物。
21. 前記ビデオゲームシステムから信号を受信するための受信機を更に備える請求項１６の履き物。
22. 照明要素を更に備え、前記ビデオゲームシステムから受信した信号は該照明要素を発光させる請求項２１の履き物。
23. 振動要素を更に備え、前記ビデオゲームシステムから受信した信号は該振動要素を振動させる請求項２１の履き物。
24. サウンド要素を更に備え、前記ビデオゲームシステムから受信した信号は、該サウンド要素がサウンドを発するようにさせる請求項２１の履き物。

Images