JP2021073598A - ウェアラブルワイヤレスｈｍｉデバイス - Google Patents

Abstract

【課題】ウェアラブルヒューマンマシンインターフェース（ＨＭＩ: Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）デバイスを提供する。【解決手段】ウェアラブルジェスチャ制御インターフェース装置（ジェスチャグローブ）を使用して、ユーザによって提供されるジェスチャに基づいて、制御可能デバイスを制御する。ウェアラブルジェスチャ制御インターフェース装置は、ユーザの向きと動きとを検出し、対応するセンサデータを生成するセンサ１１０、１１１と、センサからのセンサデータをサンプリングし、センサの１つからのセンサデータが、送信基準を満たしているかどうかを決定するマイクロコントローラユニット１３０とを含んでいる。センサデータが、送信基準を満たしている場合に、制御可能デバイスに対して、センサのすべてに対応する制御データを送信している。【選択図】図２

Description

[0001] 開示された実施形態は、ウェアラブル技術のジェスチャ制御に関する。より詳細には、開示された実施形態は、ウェアラブルヒューマンマシンインターフェース（HMI: Human Machine Interface）デバイスに関し、すなわち、着用者が、入力パラメータをワイヤレスに制御し、また電子レシーバとコンピューティングデバイスとに対して、送信することを可能にしている、センサと、スイッチと、制御ユニットと、ワイヤレス通信モジュールと、電源とを取り付けられたグローブおよび他の衣類に関する。

[0002] ウェアラブル技術は、最近ますます受け入れられているが、ほとんどのそのようなデバイスは、依然として実験段階にあり、また商用で使用可能なデバイスは、依然として、非常に多くの欠点を有している。ウェアラブル技術分野内では、ジェスチャ制御グローブは、市場に現れた最も早期の製品のうちであったが、それらは現在、依然として、機能が制限され、汎用性を著しく欠いている。例えば、ニンテンドーパワーグローブは、もっぱらゲームの目的のためだけに使用されるウェアラブルハンドデバイスの早期の一例であった。

[0003] 汎用性の欠如をさらに悪化させているのは、ほとんどの現在のウェアラブルグローブ技術が、ワイヤレス機能を欠いていることであり、ユーザは、ケーブル／配線の長さで可能になるだけ受信デバイスから離れて移動することができるにすぎない。埋め込まれた機械的スプリングの使用もまた、そのようなデバイスの剛直性の一因になり、消費者への魅力を低下させ、一方、多数のそのようなデバイスについてのカスタム通信プロトコルに対する依存は、さらにそれらの広範な採用を阻害している。

[0004] 市場には、エレクトロニクスおよびコンピュータ（すなわち、キーボード、マウス、ジョイスティック−よく一体化された機能）とインターフェースするために、業界において知られている通信プロトコル規格を実施し、またマウス、ゲームパッド、およびジョイスティックに置き換わり、電子デバイス（ドローン、ゲームコンソール、コンピュータ、TVセット、ホームオートメーション家庭電化製品など）を制御し、手話をより理解可能な通信手段（テキストワードや話し言葉など）に変換することができるウェアラブルジェスチャグローブに対する満たされていないニーズがある。

[0005] 添付の特許請求の範囲内のデバイスと、装置と、方法とについての様々な実施形態は、それぞれ、いくつかの態様を有しており、それらの態様のうちのどの単一の態様も、もっぱら、本明細書において説明される属性についての役割を担うだけのものではない。この開示を考慮した後に、またとりわけ「詳細な説明」という名称の節を考慮した後に、添付の特許請求の範囲を限定することなしに、人は、どのようにして様々な実施形態の態様が、コンテキストベースのイベントエントリを生成するために使用されるかを理解するであろう。

[0006] いくつかの実施形態によれば、ウェアラブルジェスチャ制御インターフェース装置は、ユーザによって提供されるジェスチャに基づいて、制御可能デバイスを制御するために使用される。いくつかの実施形態においては、ウェアラブルジェスチャ制御インターフェース装置は、ユーザの向き、位置、動き、および／または屈曲を検出し、また向き、位置、動き、および／または屈曲に対応するセンサデータを生成するように構成された複数のセンサと、サンプリングモジュールを使用して、複数のセンサからのセンサデータをサンプリングし、決定モジュールを使用して、複数のセンサの１つからのセンサデータが、送信基準を満たしているかどうかを決定し、また複数のセンサの１つからのセンサデータが、送信基準を満たしているという決定に従って、送信モジュールを使用して、制御可能デバイスに対して、複数のセンサのすべてに対応する制御データを送信するように構成されたマイクロコントローラとを含むことができる。

[0007] いくつかの実施形態においては、ウェアラブルジェスチャ制御インターフェース装置は、ユーザによって提供されるジェスチャに基づいて、制御可能デバイスを制御するために使用される。ウェアラブルジェスチャ制御インターフェース装置は、ユーザの向き、位置、動き、および／または屈曲を検出し、また向き、位置、動き、および／または屈曲に対応するセンサデータを生成するように構成された複数のセンサと、低レイテンシモードと高精度モードとにおいて動作可能なマイクロコントローラであって、サンプリングモジュールを使用して、複数のセンサからのセンサデータをサンプリングし、生成モジュールを使用して、低レイテンシモードで動作するときに、複数のセンサの一部分からのセンサデータに基づいて、センサ出力を生成し、また生成モジュールを使用して、高精度モードで動作するときに複数のセンサのすべてからのセンサデータに基づいて、センサ出力を生成するように構成されたマイクロコントローラと、を含む。

[0008] いくつかの実施形態においては、センサは、物体の屈曲または曲げを測定するために使用される。センサは、第１の柔軟性のある導電性プレート、および第２の柔軟性のある導電性プレートと、第１の導電性プレートと第２の導電性プレートとの間に配置され、また第１の導電性プレートと第２の導電性プレートとに接触する柔軟性のある半導体多孔質基板であって、ここで、半導体多孔質基板の抵抗は、半導体多孔質基板の屈曲の量に基づいて変化する、半導体多孔質基板と、第１の柔軟性のある導電性プレートに接続された第１のリードであって、出力信号を生成するように半導体多孔質基板の抵抗に基づいて変更されている駆動信号を受信するように構成された第１のリードと、第２の柔軟性のある導電性プレートに接続された第２のリードであって、追加の信号条件付けを必要とすることなしに、マイクロコントローラに対して直接に出力信号を送信するように構成された第２のリードとを含む。

[0009] いくつかの実施形態においては、ウェアラブルジェスチャ制御インターフェース装置は、ユーザによって提供されるジェスチャに基づいて制御可能デバイスを制御するために使用される。ウェアラブルジェスチャ制御インターフェース装置は、ユーザの向き、位置、動き、および／または屈曲を検出し、また向き、位置、動き、および／または屈曲に対応するセンサデータを生成するように構成された複数のセンサと、低レイテンシモードと高精度モードとにおいて動作可能なマイクロコントローラであって、サンプリングモジュールを使用して、複数のセンサからのセンサデータをサンプリングし、決定モジュールを使用して、複数のセンサの１つからのセンサデータが、送信基準を満たしているかどうかを決定するように構成されており、また複数のセンサの１つからのセンサデータが、送信基準を満たしているという決定に従って、生成モジュールを使用して、低レイテンシモードで動作するときに、複数のセンサの一部分からのセンサデータに基づいて、制御データを生成し、また生成モジュールを使用して、高精度モードで動作するときに複数のセンサのすべてからのセンサデータに基づいて、制御データを生成し、また送信モジュールを使用して、制御可能デバイスに対して、制御データを送信するように構成されたマイクロコントローラと、を含む。

[0010] 本出願の様々な利点は、以下の説明を考慮すると明らかである。

[0011] 本発明の上記の態様、ならびに追加の態様およびその実施形態についてのよりよい理解のために、添付の図面と併せて、以下の詳細な説明に対して参照が行われるべきであり、これらの図面において、同様な参照番号は、図面全体を通して対応する部分のことを意味している。

[0012]ジェスチャグローブの内側のライニングの背面図である。 [0013]ジェスチャグローブのすべてのセンサと、スイッチと、バッテリと、電子コンポーネントとについての相対的位置決めを示す図である。 [0014]屈曲センサについてのジェスチャグローブの正（＋）の電圧配線層を示す図である。 [0015]屈曲センサと、マイクロコントローラユニット（MCU: Microcontroller Unit）との間の接続を示す図である。 [0016]スイッチについてのジェスチャグローブの負（−）の電圧配線層を示す図である。 [0017]プッシュボタンスイッチと、ＭＣＵとの間の接続を示す図である。 [0018]ジェスチャグローブの指の上のプッシュボタンスイッチの取り付け位置を示す図である。 [0019]ジェスチャグローブのフェルトタイプ材料の一次層を示す図である。 [0020]ＭＣＵ（上記の図８の中に示される層の最上部の上の）からスイッチおよびセンサ（図８の中に示される層の最上部の下に見出される）への配線を示す図である。 [0021]ＭＣＵの最上部の上に、また屈曲センサの最上部の上に貼り付けられるフェルトタイプ材料の保護層を示す図である。 [0022]ジェスチャグローブ（下のすべての複合層を包み込む）の最終的な外側ジャケットを示す図である。 [0023]外側ジャケットの下に部分的に見えるエレクトロニクスのすべてのその基層と、ファブリックのライニングとを示す全体的なアセンブルされたジェスチャグローブの部分的な透視図である。 [0024]その外側ジャケットを有する完成されたジェスチャグローブの等角図である。 [0025]完成されたジェスチャグローブの表面レンダリングされた図である。 [0026]ジェスチャグローブのために開発された新規の屈曲センサの機能的構造を示す図である。 [0027]ジェスチャグローブのＭＣＵによって実行される処理工程の流れ図である。 [0028]ＲＦレシーバデバイス（例えば、コンソールアプリケーションまたは制御可能な電子デバイス）によって実行される処理工程の流れ図である。 [0029]レシーバデバイスにより、個別のジェスチャ位置と、手の向きとを抽出する処理工程の一般化された表現である。 [0030]レシーバコンピュータによるマウス制御およびジョイスティック制御のためのアプリケーションによって実行される処理工程の流れ図である。 [0031]ジェスチャグローブが、ウェアラブルＨＭＩデバイスによって制御可能な実施形態と電子デバイスとである、ウェアラブルヒューマンマシンインターフェース（HMI: human machine interface）デバイスのブロック図である。 [0032]図２０ａに類似しているが、（ジェスチャライブラリとジェスチャ検出とが、制御可能デバイスそれ自体の上に位置している図２０ａとは対照的に）ジェスチャライブラリとジェスチャ検出とがＨＭＩの上に位置している実施形態を示すブロック図である。 [0033]図２０ａのウェアラブルＨＭＩデバイスの機能的詳細を示すブロック図である。 [0034]図２０ａのウェアラブルＨＭＩデバイスによって制御可能な電子デバイスの機能的詳細を示すブロック図である。

[0035] 同様な参照番号は、図面のうちのいくつかの図全体を通して対応する部分のことを意味している。

[0036] 非常に多数の詳細が、本明細書において説明されて、添付の図面において示される例示の実施形態についての完全な理解を提供している。しかしながら、いくつかの実施形態は、特定の詳細のうちの多くのものなしに実行されることもあり、また特許請求の範囲は、特許請求の範囲の中で具体的に列挙されるこれらの特徴および態様によって限定されるだけである。さらに、よく知られている方法およびシステムは、本明細書において説明される実施形態についてのより関連のある態様を不必要に曖昧にしないようにするために、徹底的に詳細に説明されてきてはいない。

[0037] 次に、より詳細に本発明に言及すると、図１は、ジェスチャグローブの例示の実施形態の内側のライニング１００についての背面図を示すものである。いくつかの実施形態においては、ポリエステルファブリックまたは綿ファブリックの心地よい混合物が、内側のライニング１００のために使用される。中手指節関節１０１と、近位指節間関節１０２とはまた、センサと、電子コンポーネントとの位置的参照のために、図１の中に示されている。

[0038] 図２は、ジェスチャグローブの例示の一実施形態についての背面透視図であり、関節センサ１１０、１１１と、プッシュボタンスイッチ１２０、１２１、１２２と、マイクロコントローラ（MCU）１３０と、運動処理ユニット（MPU: Motion Processing Unit）１３１と、無線周波数送信ユニット（RFTX: Radio Frequency Transmission Unit）１３２と、電源（例えば、バッテリパック、あるいは再充電可能タイプなど、１つまたは複数のリチウムポリマーバッテリ）１３３との相対的位置決めを示している。より明確にするために、この開示全体を通しての単語「スイッチ」または「複数のスイッチ」は、位置的スイッチ、方向性スイッチ、方向性制御、ミニチュアジョイスティックなどのうちのどれかに限定することのないように、意味するべきである。いくつかの実施形態においては、本明細書において説明されるセンサとスイッチとに追加して、ジェスチャグローブは、１つまたは複数のジョイスティック、赤外線センサ、全地球測位システムセンサ、あるいはユーザのジェスチャ、またはユーザ入力を検出するように構成された任意の類似したセンサを含むことができる。いくつかの実施形態においては、センサと、スイッチと、電子コンポーネント（例えば、MCU、MPU、RFTXおよび電源）と、代替的な入力デバイス（例えば、ジョイスティックなど）との位置と数とは、図２において示されるようなこれらのコンポーネントの位置と数とから、全体的に、または部分的に異なっている。そのような違いは、異なる実施形態のパッケージング制約条件（例えば、電源のために使用可能な余裕）、あるいはセンサおよび／またはユーザ入力デバイスに対して適用可能な動作制約条件および／または人間工学的制約条件（例えば、ジョイスティックのユーザフレンドリな位置決め）に起因したものである可能性がある。

[0039] ４つの屈曲センサ１１０が、近位指節間関節１０２の背面側に配置され、また１つの屈曲センサ１１１が、親指と、人さし指との間に配置される。追加の屈曲センサ（屈曲センサ１１１に類似している）が、任意選択により、他の指のそれぞれの間に配置されることもある。４つのスイッチが、各指１２０の医学的な指の骨の上に、斜めに取り付けられる。人さし指は、基節骨１２１の上に追加のスイッチを含んでいる。さらに２つのスイッチが、補助的制御機能のために、親指の基部にある手の背面表面１２２の上に取り付けられる。

[0040] 図３は、屈曲センサ１１０および１１１を駆動するために使用される正（＋）の電圧配線層１１２を示すものである。各屈曲センサは、並列配線スキーマを用いて、ソース電圧を受け取る。

[0041] 図４は、個別の屈曲センサ１１０、１１１と、マイクロコントローラユニット（MCU）１３０を有する信号配線１１３との接続を示すものである。各屈曲センサは、状態変化についてＭＣＵソフトウェアによって個別に監視される。

[0042] 図５は、プッシュボタンスイッチ１２０、１２１、１２２を駆動するために使用される負（−）の電圧配線層１２３を示すものである。各プッシュボタンスイッチは、並列配線スキーマを用いてソース電圧にリンクされる。各プッシュボタンスイッチは、プッシュボタンが、「押しつけられ」ており、または「押しつけられ」ていないことを示しているデジタル信号をＭＣＵに対して供給することができる。

[0043] 図６は、個別のプッシュボタンスイッチ１２０、１２１、１２２と、マイクロコントローラユニット（MCU）に対する信号配線１２４との接続を示すものである。各プッシュボタンスイッチの位置は、状態変化についてＭＣＵソフトウェアによって監視される。

[0044] 図７は、中間指骨の上のプッシュボタンスイッチ１２０の斜めの取り付けと、４本の指についての典型的な配列と、矢状面に平行な人さし指の基節骨の上の追加のプッシュボタンスイッチ１２１とを示すものである。この向きは、指を曲げながらのスイッチの思いがけない作動を防止する。

[0045] 図８は、配線階層の上の柔らかい、薄い、フェルトタイプ材料１４０の一次層を示すものである。配線は、ファブリックの上張りの下を走っている。スロットまたは開口部が、配線がそれらのそれぞれの宛先ポイントとの接続のために、ファブリックの最上部側を貫通するためのファブリックの中央部１４１に提供される。

[0046] 図９は、フェルトタイプのファブリック１４０の最上部の上に取り付けられたＭＣＵに対する通信配線１４１の接続を示すものである。ファブリック層は、その下にある配線と、上にある電子モジュール（MPU、MCU、バッテリ、RFTX）とを保護し、また絶縁分離する。

[0047] 図１０は、電子モジュール（MPU、MCU、RFTX）と屈曲センサ１１０、１１１とをそれぞれ保護する薄いフェルトタイプ材料１５０、１５１、１５２の最終層を示すものである。

[0048] 図１１は、下にある複合層の上への最終外側ジャケット（１６０）の取り付けを示すものであり、最終外側ジャケットは、圧縮に適合したファブリックから作られて、グローブを完成させている。フェルトなど、追加のパッキング材料１６１を使用して、指の中間指骨の上に斜めに取り付けられた埋め込まれたプッシュボタンスイッチ１２０によって引き起こされる、指骨におけるグローブの突出ポイントにいっぱいに満たし、またバランスさせることができる。

[0049] 図１２は、エレクトロニクスのその基層と、ファブリックのライニングとが、外側ジャケット１６０の下に部分的に見える、ジェスチャグローブの全体的アセンブリを示すものである。

[0050] 図１３は、外側ジャケット１６０を有する完成されたジェスチャグローブの等角図である。

[0051] 図１４は、圧縮に適合した材料を使用した完成されたジェスチャグローブの表面をレンダリングされた図である。

[0052] 図１５は、ジェスチャグローブにおいて指の屈曲位置を検出するために使用される典型的な屈曲センサ１１０、１１１の機能的構造を示すものである。この屈曲センサは、近位指節間関節の背面側の上に取り付けられる。屈曲センサは、エタノールと、イソブタンと、プロパンと、１，１−ジフルロエタンと、粉末のカーボンと、粉末のグラファイトとの１つまたは複数を任意選択により含浸させられている可能性があるポリウレタンやポリエチレンの多孔質基板材料など、半導体カーボンを注入された弾力のあるプラスチックのコア１７０を用いて構築される。コア１７０の上側と下側に、全体の上位半導体コア表面と下位半導体コア表面との上の導電性経路を完成する２枚の薄い柔軟性のある導電性プレート１７１（導電性のある、また耐腐食性のシート材料から成る）がある。一実施形態においては、より幅の広い導電性プレート１７１が、最適な検知のために使用され、導電性層と接触した幅の広い表面は、信号のノイズを低下させ、また製造プロセス中に生成される表面の不規則性によって引き起こされるローカルな信号劣化を克服する。幅の広い接触表面エリアはまた、電流経路冗長性と、フォールトトレランスと、同じ全体的な寸法を有する製品ユニットまたはセンサの異なるバッチの間のより高い精度および再現性とを提供する。接着の任意の知られている導電性手段（ろう付け、溶接、はんだ付けなど）１７２を使用して、上位導電性プレート１７１と、下位導電性プレート１７１とに対して導電性配線リード１７３を取り付けることができる。加えられた電流の極性は、上位導電性プレート１７１と、下位導電性プレート１７１との間で交換可能である。コア半導体層１７０と、取り付けられた配線リード１７３と一緒に、導電性プレート１７１は、柔軟性のある、また耐久性のある薄いプラスチック被覆材料１７４の中に包み込まれる。被覆材料は、平坦なテーパーの付けられた領域１７５を用いて製造され、この平坦なテーパーの付けられた領域は、ジェスチャグローブの残りにセンサアセンブリを留めるための指定された表面の役割を果たす（領域１７５に適用されるどのような留める手段も、コア検知エリア１７０および１７１の圧縮を引き起こさないであろう）。領域１７５と反対側のセンサ端部においては、配線リード１７３が、被覆材料１７４を抜け出ているエリアは、非導電性エポキシグルーシール１７６を用いてシールされて、コアの滑りを防止しており、また配線リードが、反復された動きからの導電性プレート１７１の上のそれらのそれぞれの取り付けポイント１７２における切断または疲労を防止するためのアンカーポイントを提供する。エポキシシール１７６はまた、屈曲センサのための第２の留める表面としての機能を果たす。センサの長さに沿ったいずれかの方向にこのセンサアセンブリを曲げることは、半導体材料を延ばし、また圧縮することになり、導電性密度を増大させ、またセンサアセンブリの抵抗を低下させている。

[0053] いくつかの実施形態においては、カーボンを注入された多孔質基板は、さらに、エタノール、イソブタン、プロパン、１，１−ジフルロエタン、粉末のカーボン、粉末のグラファイトなどの電気抵抗を変化させる化学添加物を用いて含浸させられていることもある。この目的を達成するために、多孔質基板は、２４時間など、１時間以上にわたっての低温乾燥が続いている、エタノール、イソブタン、プロパン、１，１−ジフルロエタン、粉末のカーボン、粉末のグラファイトを含む様々な溶液または懸濁液の中に浸されることにより、含浸させられて、科学的な追加の含浸の様々な重み％レベルを達成することができる。いくつかの実施形態においては、多孔質基板材料は、化学溶液を吸収する高い浸透性との、吸収性のあるスポンジのような、また吸収性のある整合性とを有している。

[0054] 異なる実施形態においては、材料と化学的濃度とを調整して、必要に応じて、抵抗の変化についての望ましいダイナミックレンジを生成することができる。例えば、より高いカーボンの沈着は、より高い導電性と、より小さなダイナミックレンジとを生成するであろう。代わりに、より高い化学的な追加の沈着は、材料が曲げられていないときの、より高い抵抗と、屈曲中のより大きなダイナミックレンジとを生成することになる。それゆえに、レンジは、曲げられていない屈曲から曲げられた屈曲への間で調整される可能性がある。例えば、最大から最小への抵抗レンジは、多孔質基板内に約１０％の化学的沈着を有するいくつかの実施形態においては、それぞれ、約３０ｋオームから約２ｋオームまでのものとすることができ、また他の実施形態においては、多孔質基板内に１００％の化学的沈着を有する、それぞれ、約２００ｋオームから約５ｋオームまでのものとすることができる。

[0055] 動作中に、センサは、ＨＭＩデバイスのユーザの指もしくは手の関節または筋肉の近くのウェアラブルＨＭＩデバイスの中に位置決めされ、その結果、そのような関節または筋肉の運動がセンサの変形を引き起こし、変形の範囲を表すそれぞれのアナログ信号をセンサがＭＣＵに対して直接に出力するようになっている可能性がある。屈曲センサは、その物理的コンポーネントの曲げ、または屈曲の量に対して相対的に変化する可変抵抗を有するので、アナログ信号は、変化する。いくつかの実施形態においては、屈曲センサ（例えば、屈曲センサ１１０または１１１）は、フルレンジの信号（例えば、約１ボルトから約３．３ボルトまでの）を供給して、マイクロコントローラ（例えば、図２におけるMCU１３０）などのコンピューティングデバイスに対して屈曲センサの位置を通信する。いくつかの実施形態においては、屈曲センサは、重み当たりに１０％の化学的添加物を含浸された、１．５ｍｍの厚みの、低密度の、カーボンを注入されたポリウレタン多孔質基板１７０を使用して、９０度の曲げにおける約２０００オームから、まっすぐの中立位置における約３０，０００オームまでの広い抵抗レンジを示す。このレンジは、外部の信号条件付け回路についての必要性を取り除き、屈曲センサが、マイクロコントローラと直接にインターフェースし、またそれによってレイテンシを低減させることを可能にしている。いくつかの実施形態においては、屈曲センサは、３．３ボルトほどの低い印加されたソース駆動電圧で動作することができる。

[0056] 図１６は、ジェスチャグローブのＭＣＵによって実行される処理工程の流れ図である。

[0057] 工程１６０１において、ＭＣＵは、システムを初期化する。システムは、（MPU、MCU、バッテリ、RFTX）などの電子モジュールを含むことができる。システムを初期化する例は、ある種の電子モジュールについてのデバイス設定またはデフォルトをロードすること、およびいつセンサデータを通信すべきかを決定するしきい値を設定することを含むことができる。

[0058] 工程１６０１ａ〜１６０１ｄは、本発明の少なくとも一実施形態による、システムを初期化するためのプロセスを説明している。工程１６０１ａにおいて、ＭＣＵは、システム通信設定およびデバイス設定をロードする。工程１６０１ｂにおいて、ＭＣＵは、通信モジュールに対してデフォルトをロードする。工程１６０１ｃにおいて、ＭＣＵは、ＭＰＵを初期化する。工程１６０１ｄにおいて、ＭＣＵは、運動センサについての、また屈曲センサについてのしきい値を設定する。運動センサと、屈曲センサとによって生成される値が、ＭＣＵによって設定されるしきい値を超えたとき、ＭＣＵは、屈曲センサなど、１つまたは複数のセンサによって測定されるセンサデータを別のコンピューティングデバイスに対して送信するであろう。

[0059] 工程１６０２において、ＭＣＵは、屈曲センサ、プッシュボタンスイッチ、ミニチュアジョイスティック、ＭＰＵなど、１つまたは複数のセンサからデータをサンプリングする。本明細書において考察されるように、センサは、ユーザの向き、位置、動き、および／または屈曲を検出し、またそのような向き、位置、動き、および／または屈曲に対応するセンサデータを生成するように構成されていることもある。

[0060] 工程１６０３において、ＭＣＵは、各センサからのサンプリングされたデータをしきい値と比較することにより、センサデータが、所定の送信基準を満たしているかどうかを決定する。サンプリングされたデータが、しきい値を超えていない場合、ＭＣＵは、工程１６０２に戻り、また１つまたは複数の電子デバイスからデータをサンプリングし続ける。サンプリングされたデータが、しきい値を超える場合、ＭＣＵは、工程１６０４に進む。いくつかの実施形態においては、ＭＣＵは、１つまたは複数のセンサからのサンプリングされたデータが、しきい値を超えたとき、すべてのセンサからデータをサンプリングすることができる。センサデータが、所定の送信基準を満たしているかどうかを決定することにより、ＭＣＵは、データを送信すべきか、またはデータを送信することをやめるべきかを思慮深く決定することができる。データを送信することは、電力を必要とし、またＨＭＩが、固定された電源の上で動作して、ユーザが、動きの自由なレンジを有することを可能にしており、電力を節約することは、ユーザについてのよりよい全体的な経験を提供している。

[0061] 工程１６０４において、ＭＣＵは、ＭＣＵが低レイテンシモードで動作しているか、または高精度モードで動作しているかに基づいて、統計的な条件付けを用いて、サンプリングされたデータを平均する。

[0062] 低レイテンシモードでは、ユーザのそれぞれの特定の向き、または動きを測定する単一のセンサが、使用されることもある。単一のセンサを使用することにより、より短い処理時間が、必要とされ、より低いレイテンシが、システムによって全体的に実現されることを意味している。低レイテンシアプリケーションについてのこれらの実施形態においては、ジャイロスコープのデータと、加速度計のデータと、磁力計のデータとについての生のセンサデータは、任意の知られているフィルタリングアルゴリズムまたは融合アルゴリズム（例えば、カルマンフィルタまたはカスタムフィルタ）を使用して、センサ出力（１つのジャイロスコープ、１つの加速度計、１つの磁力計）に１対１ベースで、関連づけられることもある。次いで、センサデータは、複数の読み取りの上で集約され、また時間的に平均されて、非常に低いドリフトと低いノイズを伴う安定した出力を生成する。時間平均されたデータストリームがサンプリングされた後に使用される低域通過フィルタアルゴリズムは、ノイズを最小にしており、効率的に、また正確に、コンソールアプリケーションを制御するために使用され得る非常に安定した向きデータと運動データとを与える。低域通過フィルタリングに先行した時間平均化は、出力における高精度を達成する際に、不可欠である。

[0063] 高精度モードでは、ＭＣＵは、複数の冗長なセンサ（例えば、同じ線形方向を測定する２つ以上の加速度計、または同じ角運動を測定する２つ以上のジャイロスコープ）からセンサデータを受信することができる。慣性センサは、長期間のドリフトを、すなわち、センサデータの中でそれ自体を明らかにするノイズのタイプを起こす傾向があるので、冗長なセンサは、助けになる可能性がある。複数の冗長なセンサからのサンプリングされたデータを平均することにより、ＭＣＵは、サンプリングされたデータの中のノイズの量を低減させることができる。例えば、サンプリングされたデータが、複数のサンプリングを含む場合、サンプリングのうちのいくつかは、かなりのノイズ成分を有し得ることが、可能である。しかしながら、他のサンプリングが、限られたノイズ成分を有する場合に、サンプリングの平均化は、サンプリングされたデータにおける全体的なノイズ成分を低減させるであろう。ノイズを低減させることにより、本明細書において説明される電子デバイスは、サンプリングされたデータの望ましい信号成分をもっと簡単に処理することができる。

[0064] いくつかの実施形態においては、複数の冗長なセンサが、カスタムプリント回路基板の上で互いに対して固定され、また知られている距離に取り付けられることもある。それらの距離は、回路基板の製造中にあらかじめ決定される可能性がある。複数の冗長なセンサからのセンサデータは、上記で説明されるように、低レイテンシモードでフィルタリング方法の影響を受けている各出力と共に使用される。各センサからの位置データおよび向きデータは、次いで、知られている実際の物理データおよび向きデータと共に考慮されて、最適な精度のために、ドリフトと、ノイズと、位置とをさらに取り除く。ＭＰＵボードの上にはんだ付けされたセンサの間の実際の距離と角度とは、既に知られているので、この構成は、長期間のドリフトとノイズ偏差とを最小にする。

[0065] ハイブリッドの低レイテンシ高精度モードでは、ＭＣＵは、２０Ｈｈｚから５０Ｍｈｚまでのプロセッサを含むことができる。この実施形態においては、上記で説明される高精度の方法と低レイテンシの方法とは、より高いバッテリ消費の名目のトレードオフと共に使用される可能性がある。いくつかの実施形態においては、複数の低周波数ＭＣＵは、Ｉ２Ｃ通信バスまたはＳＰＩ通信バスを使用して協力して接続されて、各組のジャイロスコープ、加速度計、および／または磁力計からのデータを収集し、また処理して、処理負荷を分割し、またより高いバッテリ消費の類似したトレードオフを有するより高いスループットを達成することができる。

[0066] いくつかの実施形態においては、工程１６０３および１６０４においてＭＣＵによって実行されるプロセスは、逆に実行されることもある。これらの実施形態においては、ＭＣＵは、サンプリングされたデータを平均して、ノイズを低減させ、また次いでサンプリングされたデータをしきい値と比較する。

[0067] 工程１６０５において、ＭＣＵは、各センサからのサンプリングされたデータの名前＝値の対としてＡＳＣＩＩデータストリームを生成する。いくつかの実施形態においては、名前は、電子コンポーネント（例えば、屈曲センサまたはプッシュボタンスイッチ）に対応し、また値は、電子コンポーネントによって測定される人間のアクションまたはジェスチャに対応する。例えば、「Ｂ０＝Ｈ」は、「Ｂ０」が、垂直に取り付けられた人さし指の基節骨の上に位置するプッシュボタンスイッチ１２１であり、また「＝Ｈ」が、「Ｈ」が「押された」ボタン状態である場合の「Ｂ０」の値を表す場合である。「Ｂ０＝Ｌ」におけるようなゼロ（０）の値は、プッシュボタンが「押されて」いないことを意味するであろう。いくつかの実施形態においては、それぞれの名前および／または値は、キャラクタ当たりに８バイトによって表される。ＡＳＣＩＩデータストリームと、名前＝値の対との使用は、コンソールアプリケーションと通信するアプリケーションプラットフォームインターフェース（API: application platform interface）の使用に対して導電性を有する。ＡＳＣＩＩデータを使用することにより、コンソールアプリケーションまたは類似した電子デバイスをプログラムするどのような開発者も、このデータフォーマットを簡単に解釈し、また処理することができ、ジェスチャ処理システムを普遍的にし、またはデバイスを不可知論的にしている。

[0068] いくつかの実施形態においては、ＭＣＵは、符号化された（例えば、圧縮された）データストリームを生成する。これらの実施形態においては、サンプルデータの各バイトが、さらなる処理とコンソールアプリケーションに対する送信のための対応する値に符号化される。データを符号化する利点の１つは、グローブと、コンソールアプリケーションとの間で送信されるデータの量を低減させることであり、それによってジェスチャ処理レイテンシを改善している。

[0069] 工程１６０６において、ＭＣＵは、ワイヤレスモジュール（例えば、無線周波数送信ユニット（RFTX: Radio Frequency Transmission Unit）１３２）を使用して、１つまたは複数のセンサからコンソールアプリケーション（すなわち、制御可能デバイス）にセンサデータを送信する。

[0070] いくつかの実施形態においては、ＭＣＵは、データ送信パケットとしてデータを送信する。データ送信パケットは、ｉ）名前の付けられた変数とそれらのそれぞれの値とを説明する標準のＡＳＣＩＩキャラクタ、またはｉｉ）センサデータに対応する符号化された値から構成されている。ＨＭＩのスイッチと、屈曲センサと、運動処理ユニットとを含む、すべてのデータ変数を含む完全なパケットは、次いで、無線周波数送信ユニット（RFTX）１３２、ブルートゥースまたはワイファイ（IEEE 802.1）のモジュールを通してプッシュされる。

[0071] いくつかの実施形態においては、少なくとも１つのセンサからのセンサデータが、工程１６０３において説明されるようにしきい値を超える場合に、ＭＣＵは、少なくとも２つ（任意選択により、すべて）のセンサからコンソールアプリケーションにセンサデータを送信し、このようにして改善された精度を達成している。

[0072] 工程１６０７において、ＭＣＵは、そのメモリに記憶されるすべての変数と、レジスタと、カウンタとをリセットし、また工程１６０２に戻って、センサデータをサンプリングし続ける。

[0073] 図１７は、ＲＦレシーバデバイス（例えば、無人の航空機の乗り物、ゲームコンソール、制御可能デバイス、コンソールアプリケーション）によって実行される処理工程の流れ図である。図１７は、ジェスチャグローブからのデータをインターセプトする一次的なレイヤ、クラス、またはプロセスを示すものである。このレイヤは、任意の電子デバイスまたはコンピューティングデバイスの上で使用される可能性がある。このレイヤの出力は、より高いレイヤまたはカプセル化するクラスに対して転送されるイベントである、図１７の最下部にある「Ａ」によって表される。名前と値の対は、プッシュボタンスイッチ１２０、１２１、１２２、屈曲センサ位置１１０、１１１などの変数状態、ならびに手の向きおよび動き（ＭＣＵ）１３１を評価するようにループされ、また構文解析されるアレイまたはリストに変換される。任意の変数が、それらの与えられたしきい値を超える場合、イベント「Ａ」は、それぞれ図１８および１９において説明されるジェスチャ制御アプリケーションやマウス制御アプリケーションなど、カプセル化されたクラスのより高いレイヤのアプリケーションのために呼び出される。ＲＦレシーバデバイスによってデータを処理することにより、ＭＣＵは、動作する、より少ない処理電力を必要とし、それによってバッテリ電力を節約している。また、ＲＦレシーバデバイスは、より高速な処理能力を有することができ、それによって、ＭＣＵにおいてジェスチャコマンドを解釈することに比べて、レシーバデバイスにおいてジェスチャコマンドを解釈することにより、レイテンシを低減させている。しかしながら、図２０ｂの中に示される実施形態など、いくつかの代替的な実施形態においては、センサデータを処理し、ジェスチャを解釈し、またジェスチャコマンドを生成するのはＭＣＵであることが、企図される。そのような実施形態においては、ＭＣＵは、ジェスチャコマンドをＲＦレシーバデバイスに対して送信する。ジェスチャコマンドは、コンソールアプリケーションによって実行されたとき、コンソールアプリケーションにアクションを実行させる（例えば、無人の航空機の乗り物にバレルロールを実行させる）。ＭＣＵは、上記の工程１６０５および工程１６０６において説明されるような類似した技法（例えば、ＡＳＣＩＩ名前＝値対技法または圧縮符号化技法）を使用して、ジェスチャコマンドをＲＦレシーバデバイスに対して送信することができる。

[0074] 図１８は、本発明の一実施形態における個別のジェスチャ位置と手の向きとを抽出する処理工程の一般化された表現である。図１７において説明されるような出力「Ａ」から受信されるイベントは、各変数についてのしきい値限界を超える値について評価される。値が、しきい値よりも下にある場合、そのときにはプロセスは、図１８において終了し、または抜け出す。しきい値を超える場合、そのときにはそのトリガの後の進行中の入力は、それらの値が、与えられた変数についてしきい値を下回る瞬間までメモリに記憶される。その後に、収集されるデータは、トレースされ、また隠れマルコフモデルや統合されたファジーロジックを有するニューラルネットワークなどのパターン認識アルゴリズムの影響を受け、この出力は、アクション、マクロ、記憶されたプロシージャ、プログラムなどをトリガする前記運動を識別する。

[0075] 図１９は、マウスおよびジョイスティックの制御のためにアプリケーションによって実行される処理工程の流れ図である。図１７の中に説明されるような出力「Ａ」から受信されるイベントは、レシーバコンピュータのオペレーティングシステムにおいて様々なマウスボタン状態をエミュレートするマウスの動きとプッシュボタン状態に変換される手の向きと運動とについて構文解析される。

[0076] さらに詳細に、図１〜１９についての本発明を依然として参照すると、ジェスチャグローブは、ワイヤレス送信を使用して、複数の方法を使用して電子デバイスを制御する。一実施形態においては、ジェスチャグローブを通してワイヤレスにデバイスを制御する３つの方法がある。第１に、指１１０と、親指１１１との曲げの向きを入力方法として使用して、ワイヤレスに接続されたデバイスを制御することができる。第２に、埋め込まれたスイッチ１２０または代替的なユーザ制御手段（例えば、ジョイスティックまたは容量性タッチパッド）を使用して、リンクされたデバイスを制御することができる。第３に、手の向きおよび運動（MPU）１３１は、ジェスチャ制御パラメータとして使用される可能性もある。さらに、これらの３つの方法の任意の組合せが、複数の追加のジェスチャ制御のために使用される可能性がある。以下で詳細に説明される、新しい、また普遍的なデータ送信パケットと組み合わされた入力方法のこの新規の混合物は、ジェスチャグローブを多機能のヒューマンマシンインターフェースデバイスとしての固有の問題解決手法にする。

[0077] ジェスチャグローブの最もはっきりと異なる、また固有の機能的特徴の１つは、屈曲センサ１１０が、機能する方法である。いくつかの実施形態においては、四（４）つの屈曲センサ１１０は、各指の背面側の上の近位指節間関節１０２における四（４）本の指の屈曲位置を測定する。第５の（5th）屈曲センサ１１１は、親指と、人さし指との間に配置される。指がまっすぐである（曲がっていない）ときに、センサは、圧縮されず、それゆえに、コア材料１７０の導電性密度は、最低であり、またセンサの抵抗は、二（２）枚の導電性プレート１７１の間の経路の電流フロー経路の中で最高である。この抵抗は、屈曲位置に応じて、また５，０００Ω（９０度の屈曲）から２００，０００Ω（まっすぐな、非屈曲位置）までの間で変化して、マイクロ秒の時間の程度におけるいくつかの読み取りの上でサンプリングされ、また平均されて、またワイヤレス無線周波数送信ユニット（RFTX）１３２を通してワイヤレスレシーバデバイスに対して中継される。

[0078] ジェスチャグローブが実施する制御の第２の方法は、プッシュボタンスイッチ１２０の使用を通したものである。マイクロコントローラユニット（MCU）１３０は、データパケット送信中にプッシュボタンスイッチ１２０の二（２）つの状態（オンまたはオフ）を監視し、また与えられたワイヤレス受信デバイスに対して中継する。

[0079] ジェスチャグローブが利用する制御の第３のはっきりと異なる方法は、手の向きと運動との使用を通したものである。これを容易にするために慣性運動処理ユニット（MPU）１３１を使用して、ＸＹＺ軸の上の静的な重力加速度を測定する。これらの値は、手の傾き−向きとして、マイクロコントローラユニット（MCU）１３０によって読み取られ、またワイヤレスデータパケット送信内のワイヤレスレシーバデバイスに対して送信される。手の空間的運動は、同じＭＰＵ１３１を使用して測定される。任意の軸平面における動きは、ワイヤレスデータパケット送信内のＭＣＵ１３０によってやはり読み取られ、また中継される、ＭＰＵ１３１の上の慣性力を引き起こす。ジェスチャ検出のために、ジェスチャグローブは、以下を、すなわち、
ｉ）ユーザが、ユーザの５本の指をばらばらに広げて、依然としてユーザのグローブを着用した手を上げ、また保持するときに、５単位の値（５分間または５つのポイント）を検出するなど、静的な位置のジェスチャ検出、
ｉｉ）ピシャリとたたくこと、または投げること、あるいは「取り消すこと」を意味する空中における手の簡単な運動を解釈することなど、単純化した動きのジェスチャ検出、
ｉｉｉ）ある種の位置において指を同時に保持しながら、実行される手のある種の動きにある種の意味を割り当てることなど、組み合わされたジェスチャ検出、
を実行するように構成可能である。

[0080] 手の向きと、空間的運動とを測定するために、ＭＰＵ１３１は、磁力計、ジャイロスコープ、慣性センサ、加速度計、筋電図など、１つまたは複数のセンサを含むことができる。磁力計は、地球の磁界に対するユーザの身体の部分の向きを測定することができる。ジャイロスコープは、１つまたは複数の軸におけるユーザの身体の部分の角度配向における変化を測定することができる。加速度計は、１つまたは複数の（例えば、３つの）軸におけるユーザの身体の部分の動きにおける変化を測定することができる。筋電図は、ユーザによる筋肉収縮中に生成される電気信号を測定することができる。ＭＰＵ１３１は、ユーザの皮膚の上の緊張レベルまたは応力レベルを検出し、また使用についての身体の部分（例えば、手）の一般的な構成に対応するセンサデータを符号化するように構成されていることもある。そのような構成においては、ＭＰＵ１３１は、ユーザの手のひらの上の緊張を検出し、あるいはユーザの手が握り拳の形であるか、または指が広げられているかを検出することができる。

[0081] いくつかの実施形態においては、ＭＰＵ１３１は、磁力計、ジャイロスコープ、加速度計、筋電図など、冗長な対の（例えば、２個の、４個の、６個の）センサを含むことができる。これらの構成においては、ＭＰＵ１３１は、冗長度を組み込むこと、および冗長なセンサのグループからのセンサデータを平均することにより、センサノイズを低減することができる。冗長なセンサのグループからのセンサデータを平均することにより、１つのセンサにおいて見出される異常なノイズは、適切に機能するセンサからのセンサデータを用いて、異常なノイズを有するセンサデータを平均することにより、最小化される可能性がある。

[0082] いくつかの実施形態においては、ＭＰＵ１３１は、時間と共に蓄積するセンサデータの中のドリフトまたは不正確さ／ノイズを低減させるマルチセンサアレイを含むことができる。

[0083] いくつかの実施形態においては、ＭＰＵ１３１は、センサのアレイを有するカスタムプリント回路基板である。いくつかの実施形態においては、ＭＰＵ１３１は、センサと、ＭＣＵ１３０との間でデータを送信するマルチマスタの、マルチスレーブの、シングルエンドの、シリアルコンピュータバスを含んでいる。ＭＣＵ１３０は、フィリップスセミコンダクタ（登録商標）によって開発されるＩ２Ｃプロトコルを使用して、ＭＰＵ１３１からのセンサデータを処理することができる。いくつかの実施形態においては、各センサは、アドレス指定可能であり、またバスは、２つの出力を、すなわち、クロック信号と、センサデータとを含んでいる。各クロックサイクルにおいて、ＭＣＵ１３０は、すべてのセンサデータが、サンプリングされるまで、各センサからのデータの１ビットをサンプリングする。次いで、ＭＣＵ１３０は、サンプリングプロセスを反復する。

[0084] ひとたびデータパケットが、ワイヤレスレシーバデバイスによって受信された後に、それは、それぞれが互換性のあるように結合され、または切り離されるように設計された処理レイヤのカスケードを通して影響を受け、ジェスチャグローブが、最小のアドオンエレクトロニクスの、または計算の電力を有する広範なレンジのフィールドアプリケーションのために普遍的に適用可能にしている。図１７は、より高いレイヤの処理に伝えられる前に、ジェスチャグローブによって送信される、データパケットをインターセプトし、また各変数の値を前処理するためのプロセスを説明している。この方法は、一次レイヤの標準プロシージャを使用して、ジェスチャ制御データをインターセプトし、またより複雑な制御アプリケーションを構築したカプセル化したクラスにインポート可能なソフトウェアクラスの形式で標準化され得る、通信のための基本レイヤを確立する。一例として、より高いレベルのクラスまたはプロシージャが、図１８の中で説明されて、所定のジェスチャまたは手の動きを検出して、プログラム、方法、マクロなどをさらにチェーンの上にトリガする。マウス制御のための別のアプリケーションが、図１９において説明される。ブルートゥース、無線周波数（例えば、振幅変調、周波数変調、位相変調）またはワイファイを経由してコンピュータによって受信されるデータは、マウスについての位置のＸ値、Ｙ値を表すように、構文解析され、また変換され、同様に、ボタン状態は、マッピングされて、コンピュータの残りのオペレーティングシステムの上でマウスの動きとクリックとをエミュレートすることができる。さらに、ジェスチャ制御アプリケーションとマウス制御アプリケーションとは、一緒にカスケードされて、ジェスチャグローブにおける指、スイッチ、運動のセンサの組み合わせの使用を通して、非常に多数の制御を有するより堅牢なアプリケーションでさえも生成することができる。さらに左手のグローブと、右手のグローブとは、レシーバデバイスのより大きな制御のためにさえ、協調して使用される可能性もある。

[0085] さらなる詳細においては、図１〜１９についての本発明をさらに参照すると、ジェスチャグローブは、いくつかの商用サイズ（例えば、小、中、および大）で作られて、大人と子どもとについての、ほとんどの普通の手のサイズに適合させることができる。

[0086] 改善された弾力性の圧縮適合材料の任意選択による使用を用いて、可能性のあるユーザのほとんどの手のサイズを依然として対象として含むことになるちょうどいくつかのあらかじめ設定されたサイズでジェスチャグローブを製造することが可能である可能性がある。

[0087] その構成について、当技術分野において知られている任意の適切なグローブ製造技法を使用して、ジェスチャグローブをアセンブルすることができる。本発明の一実施形態においては、図１〜１９において示されるように、それは、ジェスチャグローブを薄い、耐久性があり、また実用的にするために、レイヤの中でアセンブルされる。第１の（最も内側の）層から開始されて、内側のライニング１００は、綿材料、またはポリエステル材料、あるいは任意の適切な材料の柔らかい、また心地よい混合物から作られる。内側のライニング１００の最上部に取り付けられて、屈曲センサ１１０、１１１と、プッシュボタンスイッチ１２０、１２１、１２２と、それらのそれぞれの電源配線および通信配線１１２，１１３、１２３、１２４とが、ある。フェルトタイプの材料１４０の層（または任意の他の適切な材料）は、エレクトロニクス層が従うための絶縁と保護とのためのこの配線層の上に導入される。スリット、開口部、またはカットアウト１４１が、このフェルトタイプ材料１４０の中央に作られて、より低い階層の配線が、図９に示されるようにフェルトタイプ材料の最上部に配置されるエレクトロニクス層の上に現れることを可能にしている。それらのそれぞれの通信配線と電源配線とを有するマイクロコントローラユニット（MCU）１３０と、運動処理ユニット（MPU）１３１と、無線周波数トランスミッタ（RFTX）１３２と、バッテリ１３３とが、エレクトロニクス層の中に位置している。エレクトロニクスと、屈曲センサとは、次いで、フェルトタイプ材料の別の層（図１０のエリア１５０、１５１、１５２の中に貼り付けられる）を用いてカバーされて、エレクトロニクスと、センサと、スイッチと、配線とによって引き起こされる任意の突出部を抑制することにより、使用中の物理的損傷からそれらを保護し、また滑らかな輪郭を提供し、またはグローブを完成させる。最終的に、グローブの形態における圧縮適合材料が、下のすべての層の最上部の上に配置されて、完成したグローブを生成する。一実施形態においては、最終的なグローブアセンブリの柔軟性と感触とは、在庫があってすぐに入手可能な高品質の、高性能の、身体にぴったりのグローブに非常に近い。別の実施形態においては、カスタム製造された足場の、内骨格または外骨格は、ジェスチャグローブに対して適合されて、あるいはジェスチャグローブの１つもしくは複数の層、またはすべての層を置換して、それに取り付けられた電子コンポーネントのための支持物を提供することができる。さらに別の実施形態においては、本発明の電子コンポーネントは、衣類のグローブに似た１つまたは複数のカバーする層（単数または複数）を用いた、または用いていない任意の知られている手段により、ユーザの指、親指、手のひら、または手の甲に、直接に、かつ／または個別に取り付けられる可能性がある。

[0088] 本発明の様々な実施形態の利点は、限定することなしに、その標準プロトコルと、基底クラスソフトウェアとの結果としてのプラグアンドプレイ能力を含んでいる。ジェスチャグローブは、その様々な実施形態において、数百個のはっきり異なるジェスチャを可能にする複数の制御入力を提供する。ＡＳＣＩＩデータパケット送信実施形態は、多種多様のデバイスに対する入力インターフェースとしてジェスチャグローブを使用することができるアプリケーションについての迅速で簡単な開発を可能にする。スリムで柔軟性のある外観は、通常のグローブを着用している感覚をユーザに与える。いくつかの実施形態は、類似したデータ処理原理と、指のないグローブや、１本または複数本の指の周囲に、あるいは１つまたは複数の手首、前腕、肘、足首、足、ふくらはぎなど、別の身体の部分の周囲に適合するスリーブなど、異なるウェアラブルＨＭＩデバイスのフォームファクタにおけるコンポーネントとを使用している。

[0089] いくつかの実施形態においては、本発明は、より動的な、また自然なやり方で、電子機械デバイスおよび電子デバイスとインターフェースする能力をそのユーザに可能にするウェアラブルデバイスである。

[0090] 図２０ａは、ジェスチャグローブがその一実施形態であるウェアラブルヒューマンマシンインターフェース（HMI）デバイス２００１と、いくつかの実施形態によればウェアラブルＨＭＩデバイスにより制御可能な電子デバイス２０２０とを含むマスタスレーブ環境２０００のブロック図である。いくつかの実施形態においては、マスタスレーブ環境１００は、電子デバイス２０２０（例えば、無人の航空機の乗り物、コンソールアプリケーション、ＲＦレシーバデバイス）と、これらのコンポーネントを相互接続するための通信ネットワーク（単数または複数）２０１０とに結合されたＨＭＩデバイス２００１（例えば、ジェスチャグローブ）を含んでいる。１つまたは複数のネットワーク２０１０の例は、ローカルエリアネットワーク（LAN: local area network）と、インターネットなどの広域ネットワーク（WAN: wide area network）とを含む。１つまたは複数のネットワーク２０１０は、任意選択により、イーサネット、ユニバーサルシリアルバス（USB: Universal Serial Bus）、ファイヤワイヤ、移動通信用グローバルシステム（GSM: Global System for Mobile Communication）、強化データＧＳＭ環境（EDGE: Enhanced Data GSM Environment）、符号分割多元接続（CDMA: code division multiple access）、時分割多元接続（TDMA: time division multiple access）、ブルートゥース、ワイファイ、ボイスオーバーインターネットプロトコル（VoIP: voice over Internet Protocol）、Ｗｉ−ＭＡＸ、任意の他の適切な通信プロトコルなど、様々な有線プロトコルまたはワイヤレスプロトコルを含めて、任意の知られているネットワークプロトコルを使用して、実施される。

[0091] いくつかの実施形態においては、ＨＭＩデバイス２００１は、センサ（単数もしくは複数）２００２および／またはマイクロコントローラ２００４を含んでいる。センサ（単数または複数）２００２は、ユーザ（すなわち、ジェスチャ）の向き、位置、動き、および／または屈曲を検出し、向き、位置、動き、および／または屈曲に対応するセンサデータを生成するように構成されている。マイクロコントローラ２００４は、センサ（単数または複数）２００２からのセンサデータをサンプリングし、またセンサデータを電子デバイス２０２０に対して送信すべきか、または対応するジェスチャ制御データを電子デバイス２０２０に対して送信すべきかを決定するように構成されている。本明細書において説明されるように、マイクロコントローラ２００４は、低レイテンシモードや高精度モードなど、異なるモードで動作し、またモードに基づいて電子デバイス２０２０に対して制御データを送信するように構成されている可能性がある。制御データは、電子デバイス２０２０によって処理されるときに、電子デバイス２０２０が、アクションを実行する（例えば、マウスクリック機能を実行し、または無人の航空機の乗り物を操縦する）ようにさせるデータである。

[0092] いくつかの実施形態においては、電子デバイス２０２０は、アプリケーション２０２２、ジェスチャライブラリ２０２４、および／またはインテリジェントジェスチャ検出アルゴリズム２０２６を含むことができる。アプリケーション２０２２は、ＨＭＩデバイス２００１から受信される制御データを処理し、また電子デバイス２０２０にアクションを実行させるコマンドを実行するように構成されている。いくつかの実施形態においては、制御データは、センサデータである。これらの実施形態においては、アプリケーション２０２２は、センサデータを分析し、またセンサデータに基づいて、ジェスチャライブラリ２０２４からジェスチャコマンドを取り出す。ジェスチャライブラリ２０２４は、センサデータに対して相互に関連づけるジェスチャコマンドのデータベースである。ジェスチャライブラリ２０２４の一例は、図１９において、「センサ状態に基づいて、コマンドカスケードを実行する」という名称のセクションの中に示される。インテリジェントジェスチャ検出アルゴリズム２０２６は、ジェスチャライブラリ２０２４が、センサデータに対して相互に関連づけるどのようなあらかじめ設定されたジェスチャコマンドも有していないときでさえも、ジェスチャのインテリジェントな検出を可能にしており、その代わりに、新しいジェスチャが、オンザフライで、インテリジェントな処理、推測、および／または算出によって検出される可能性がある。図２０ａおよび２０ｂにおいて示されるように、ジェスチャライブラリと、インテリジェントジェスチャ検出とは、制御されたデバイスそれ自体の上に（図２０ａにおけるように）、またはＨＭＩデバイスの上に（図２０ｂにおけるように）のいずれかに存在することができる。

[0093] いくつかの実施形態においては、ＨＭＩデバイス２００１から送信される制御データは、ジェスチャコマンドである。これらの実施形態においては、ジェスチャライブラリ２０２４は、ＨＭＩデバイス２００１の上に存在することができる。これらの実施形態においては、マイクロコントローラ２００４は、センサデータを分析し、またセンサデータに基づいて、ジェスチャライブラリ２０２４からジェスチャコマンドを取り出すことができる。ひとたびジェスチャコマンドが、電子デバイス２０２０に対して送信された後に、アプリケーション２０２２は、コマンドを実行し、また電子デバイス２０２０にアクションを実行させる。

[0094] 図２１は、図２０ａのウェアラブルＨＭＩデバイス２００１の機能的詳細を示すブロック図である。

[0095] いくつかの実施形態においては、ＨＭＩデバイス２００１は、図２０の中に示されるマイクロコントローラ２００２（すなわち、MCU）、ＭＰＵ２１０２、１つまたは複数のネットワークインターフェースあるいは他の通信インターフェース２１０４（例えば、RFTX）、ユーザインターフェース２１１０、メモリ２１０６、これらのコンポーネントを相互接続するための１つまたは複数の通信バス２１０８などの制御処理ユニットＣＰＵ（単数または複数）を含んでいる。通信バス２１０８は、システムコンポーネントを相互に接続し、またシステムコンポーネントの間の通信を制御する回路（時として、チップセットと呼ばれる）を含むことができる。

[0096] いくつかの実施形態においては、ＨＭＩデバイス２００１は、１つまたは複数の運動センサ２１１６を含んでおり、この運動センサは、ユーザの身体の部分の向きと動きとを直接に、または間接的に決定する。いくつかの実施形態においては、ロケーション／運動センサ３１６は、それだけには限定されないが、ジャイロスコープと、加速度計と、ＧＰＳデバイスとを含む。いくつかの実施形態においては、ＨＭＩデバイス２００１はまた、１つまたは複数の屈曲センサ２１１０を含むこともでき、これらの屈曲センサは、ユーザの身体の部分の屈曲を決定する。いくつかの実施形態においては、ＨＭＩデバイス２００１はまた、１つまたは複数のプッシュボタンセンサ（単数または複数）２１１２を含むこともでき、これらのプッシュボタンセンサは、ボタンのユーザによって開始された押すことを検出する。上記センサのうちのどれかによって発生されるセンサデータは、任意の組合せの形で、ＨＭＩデバイス２００１によって使用されて、ユーザジェスチャを追跡し、また追跡されたユーザジェスチャに対応するジェスチャコマンドに基づいて、電子デバイス２０２０を制御することができる。

[0097] メモリ２１０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含んでおり、また任意選択により、１つまたは複数の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、ＥＰＲＯＭ、ＥＥＰＲＯＭ、他の知られている不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでいる。メモリ２１０６は、任意選択により、ＣＰＵ（単数または複数）２００２からリモートに位置している１つまたは複数のストレージデバイス（例えば、クラウドストレージ）をさらに含んでいる。メモリ２１０６、または、代わりに、メモリ２１０６内の不揮発性メモリデバイス（単数または複数）は、非一時的なコンピュータ読取り可能ストレージ媒体を備える。いくつかの実施形態においては、メモリ２１０６、またはメモリ２１０６のコンピュータ読取り可能ストレージ媒体は、以下のプログラム、モジュール、およびデータ構造、あるいはそれらのサブセットまたはスーパーセットを、すなわち、
・ 様々な基本的システムサービスを取り扱うための、またハードウェアに依存したタスクを実行するためのプロシージャを含む、オペレーティングシステム２１２０と、
・ 例えば、ＲＦＴＸ２１０４（有線またはワイヤレス）と、インターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなど、１つまたは複数のネットワーク２０１０（図２０ａ）とを経由して、電子デバイス２０２０にＨＭＩデバイス２００１を接続するために使用されるネットワーク通信モジュール２１２２（または送信モジュール）と、
・ 複数のセンサ２２１６、２１１０および２１１２からセンサデータをサンプリングするためのサンプリングモジュール２１２４と、
・ 複数のセンサの１つからのセンサデータが、送信基準を満たしているかどうかを決定するための決定モジュール２１２６と、
・ 低レイテンシモードで動作するときに、複数のセンサの一部分からのセンサデータに基づいて、制御データを生成し、また高精度モードで動作するときに、複数のセンサのすべてからのセンサデータに基づいて、制御データを生成するための生成モジュール２１２７と、
・ 複数のセンサからのセンサデータに基づいて、制御可能デバイスに対するジェスチャコマンドを選択するための選択モジュール２１２８と
を記憶する。

[0098] 上記で識別された要素のそれぞれは、ＨＭＩデバイス２００１の上記で述べられたメモリデバイスの１つまたは複数に記憶されることもあり、また上記で説明される機能を実行するための１組の命令に対応する。上記で識別されたモジュールまたはプログラム（すなわち、命令の組）は、別個のソフトウェアプログラム、プロシージャ、モジュール、またはデータ構造として実施される必要はなく、またこのようにしてこれらのモジュールの様々なサブセットは、組み合わされ、またはそれ以外の方法で様々な実施形態において再配列されることもある。いくつかの実施形態においては、メモリ２１０６は、任意選択により、上記で識別されるモジュールとデータ構造とのサブセットを記憶する。さらに、メモリ２１０６は、任意選択により、上記で説明されていない追加のモジュールと、データ構造とを記憶する。

[0099] 図２２は、図２０ａのウェアラブルＨＭＩデバイス２００１によって制御可能な電子デバイス２０２０のさらなる詳細を示すブロック図である。いくつかの実施形態においては、電子デバイス２０２０は、１つまたは複数の処理ユニット（CPU）２２０４と、１つまたは複数のネットワークインターフェースまたは他の通信インターフェース２２０４と、メモリ２２０６と、これらのコンポーネントを相互接続するための１つまたは複数の通信バス２２０８とを含む。通信バス２２０８は、システムコンポーネントを相互接続し、またシステムコンポーネントの間の通信を制御する回路（時として、チップセットと呼ばれる）を含むことができる。

[00100] いくつかの任意選択による実施形態においては、電子デバイス２０２０はまた、１つまたは複数の出力デバイスを使用して、グラフィカルユーザーインターフェース（GUI: graphical user interface）を提示し、また１つまたは複数の入力デバイスを経由してユーザ入力を受信するユーザインターフェースを含んでいる。いくつかの任意選択による実施形態においては、電子デバイス２０２０は、ゼロ個以上のディスプレイデバイス２２１２（例えば、スクリーンまたはモニタ）と、ゼロ個以上の入力のデバイスまたはメカニズム２２１４とを備えるユーザインターフェース２２１０を含んでいる。任意選択により１つまたは複数のビジュアルディスプレイを含んでおり、また任意選択により１つまたは複数のスピーカを含んでいる１つまたは複数の出力デバイスは、電子デバイス２０２０によるメディアコンテンツのプレゼンテーションを可能にする。いくつかの実施形態においては、１つまたは複数の入力デバイスは、キーボード、マウス、音声コマンド入力ユニットまたはマイクロフォン、タッチスクリーンディスプレイ、タッチセンサ方式入力パッド、カメラ、ジェスチャ取り込みカメラ、および／または他の入力ボタンもしくは制御など、ユーザ入力を容易にするユーザインターフェースコンポーネントを含んでおり、また任意選択により、２つ以上のそのような入力デバイスを含んでいる。さらに、電子デバイス２０２０は、マイクロフォンおよび音声認識、またはカメラおよび虹彩／顔認識を使用して、物理的キーボードまたは仮想キーボードを補完し、あるいは置き換えることができる。

[00101] メモリ２２０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含んでおり、また任意選択により、１つまたは複数の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、ＥＰＲＯＭ、ＥＥＰＲＯＭ、他の知られている不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでいる。メモリ２２０６は、任意選択により、ＣＰＵ（単数または複数）２２０４からリモートに位置している１つまたは複数のストレージデバイス（例えば、クラウドストレージ）をさらに含んでいる。メモリ２２０６、または、代わりに、メモリ２２０６内の不揮発性メモリデバイス（単数または複数）は、非一時的なコンピュータ読取り可能ストレージ媒体を備える。いくつかの実施形態においては、メモリ２２０６、またはメモリ２２０６のコンピュータ読取り可能ストレージ媒体は、以下のプログラム、モジュール、およびデータ構造、あるいはそれらのサブセットまたはスーパーセット、すなわち、
・ 様々な基本的システムサービスを取り扱うための、またハードウェアに依存したタスクを実行するためのプロシージャを含む、オペレーティングシステム２２２０と、
・ １つまたは複数の通信ネットワークインターフェース２２０４（有線またはワイヤレス）と、インターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなど、１つまたは複数のネットワーク２０１０（図２０ａ）とを経由して、ＨＭＩデバイス２００１に電子デバイス２０２０を接続するために使用されるネットワーク通信モジュール２２２２と、
・ 電子デバイス２０２０にアクションを実行させるように、対応するジェスチャコマンドおよび／または実行するジェスチャコマンドを決定するためにＨＭＩデバイス２００１からのセンサデータ（すなわち、制御データ）を分析するためのアプリケーションモジュール２２２４と、
・ ジェスチャコマンドと、対応するセンサデータと、アプリケーションモジュール２２２４からのジェスチャコマンドについての処理要求とを記憶するためのジェスチャライブラリ２２３０と
を記憶する。

[00102] 上記で識別された要素のそれぞれは、電子デバイス２０２０の上記で述べられたメモリデバイスの１つまたは複数に記憶されることもあり、また上記で説明される機能を実行するための１組の命令に対応する。上記で識別されたモジュールまたはプログラム（すなわち、命令の組）は、別個のソフトウェアプログラム、プロシージャ、モジュール、またはデータ構造として実施される必要はなく、またこのようにしてこれらのモジュールの様々なサブセットは、組み合わされ、またはそれ以外の方法で様々な実施形態において再配列されることもある。いくつかの実施形態においては、メモリ２２０６は、任意選択により、上記で識別されるモジュールとデータ構造とのサブセットを記憶する。さらに、メモリ２２０６は、任意選択により、上記で説明されていない追加のモジュールと、データ構造とを記憶する。

[00103] いくつかの実施形態においては、電子デバイス２０２０の機能の少なくともいくつかが、ＨＭＩデバイス２００１によって実行され、またこれらの機能の対応するサブモジュールは、ＨＭＩデバイス２００１内に位置している可能性がある。さらに、いくつかの実施形態においては、ＨＭＩデバイス２００１の機能の少なくともいくつかは、電子デバイス２０２０によって実行され、またこれらの機能の対応するサブモジュールは、電子デバイス２０２０内に位置している可能性がある。ＨＭＩデバイス２００１と、図２０の中に示される電子デバイス２０２０とは、単に例証的であるにすぎず、また本明細書において説明される機能を実施するためのモジュールの異なる構成は、様々な実施形態において可能である。

[00104] 本明細書において、説明されるデバイスおよび技法を使用して、ユーザは、ＨＭＩデバイス２００１の制御モダリティ（ボタン、指、運動、センサ、スイッチ、ミニチュアジョイスティックなど）のうちのどれかを使用して、数百のカスタムジェスチャを規定し、また電子デバイス２０２０が、実行されたとき、アクションを実行させる数百個のカスタムジェスチャコマンドを実施することができることが、企図される。これは、他の理由のうちでも、開示された処理技法、冗長なセンサ、および／または開示された曲げセンサの精度によって可能にされる精度に起因して可能である。

[00105] カスタムジェスチャを作り出すために、ＨＭＩデバイスまたは別の電子デバイスの上で実行されるジェスチャグローブコンソールアプリケーションは、学習モードに入れられる可能性があり、この学習モード中に、カスタムジェスチャの反復された試行が、ジェスチャグローブを着用したユーザ／オペレータによって実行される。

[00106] 業界標準のパターン認識アルゴリズムを使用した現在の最高の状態のアプリケーションにおいては、同じジェスチャパターンの約１００回の試行が、与えられたカスタムジェスチャがデータ分散を低減させ、またフィールドアプリケーションにおけるジェスチャパターンの再使用のための適切な決定境界を推定するための良好な統計的データセットを確立するために必要とされる。これらの技法は、依然として、研究と開発との下にある。

[00107] ジェスチャグローブコンソールアプリケーションは、対照的に、カスタムジェスチャが、パターン認識アルゴリズムによって適切に認識されるための１０回よりも少ないトレーニングの反復を必要とする。これは、Ｋ近傍法からの部分的アルゴリズムの組合せと、ダイナミックタイムワーピングと、サポートベクトルマシンと、カスタムジェスチャのためのより少ないトレーニングセットを有する決定境界のよりよい予測を可能にする新しい計算上の方法の中に融合される非線形相関とを含めて、重み付けされた統計的尺度を使用したアルゴリズムまたは方程式によって達成される。この方法からの予測出力は、低レイテンシアプリケーションのために直接に使用され、または、さらに、ニューラルネットワーク、決定ツリー、高精度アプリケーションのための隠れマルコフなど追加の認識レイヤの影響を受ける可能性がある。

[00108] ひとたびカスタムジェスチャが、ジェスチャライブラリに付け加えられた後に、ジェスチャライブラリは、コンソールアプリケーションから使用され、または直接のフィールド使用のためにジェスチャグローブＭＣＵに対してアップロードされる可能性がある。

[00109] 本明細書において説明される方法のそれぞれは、一般的に、コンピュータ読取り可能ストレージ媒体に記憶され、また１つまたは複数のサーバまたはクライアントデバイスの１つまたは複数のプロセッサによって実行される命令によって支配される。上記で識別されるモジュールまたはプログラム（すなわち、命令の組）は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実施される必要はなく、またこのようにしてこれらのモジュールの様々なサブセットは、様々な実施形態において組み合わされ、またはそれ以外の方法で再配列されることになる。

[00110] 説明の目的のための、上記の説明は、特定の実施形態に関連して、説明されてきている。しかしながら、上記の例証的な考察は、網羅的であることも、または開示される正確な形態だけに本発明を限定することも意図してはいない。多数の修正形態と変形形態とが、上記の教示を考慮して、可能である。実施形態は、本発明の原理と、その実用的なアプリケーションとを最もよく説明するために、選択され、また説明されて、それによって、他の当業者が、企図される特定の使用に適合するように、様々な修正形態と共に、本発明と様々な実施形態とを最もよく利用することを可能にしている。

[0044] 図７は、それぞれの指の中間指骨の上のプッシュボタンスイッチ１２０の斜めの取り付けと、４本の指についての典型的な配列と、矢状面に平行な人さし指の基節骨の上の追加のプッシュボタンスイッチ１２１とを示すものである。この向きは、指を曲げながらのスイッチの思いがけない作動を防止する。

[0090] 図２０aは、ジェスチャグローブがその一実施形態であるウェアラブルヒューマンマシンインターフェース（HMI）デバイス２００１と、いくつかの実施形態によればウェアラブルＨＭＩデバイスにより制御可能な電子デバイス２０２０とを含むマスタスレーブ環境２０００のブロック図である。いくつかの実施形態においては、マスタスレーブ環境２０００は、電子デバイス２０２０（例えば、無人の航空機の乗り物、コンソールアプリケーション、ＲＦレシーバデバイス）と、これらのコンポーネントを相互接続するための通信ネットワーク（単数または複数）２０１０とに結合されたＨＭＩデバイス２００１（例えば、ジェスチャグローブ）を含んでいる。１つまたは複数のネットワーク２０１０の例は、ローカルエリアネットワーク（LAN: local area network）と、インターネットなどの広域ネットワーク（WAN: wide area network）とを含む。１つまたは複数のネットワーク２０１０は、任意選択により、イーサネット、ユニバーサルシリアルバス（USB: Universal Serial Bus）、ファイヤワイヤ、移動通信用グローバルシステム（GSM: Global System for Mobile Communication）、強化データＧＳＭ環境（EDGE: Enhanced Data GSM Environment）、符号分割多元接続（CDMA: code division multiple access）、時分割多元接続（TDMA: time division multiple access）、ブルートゥース、ワイファイ、ボイスオーバーインターネットプロトコル（VoIP: voice over Internet Protocol）、Ｗｉ−ＭＡＸ、任意の他の適切な通信プロトコルなど、様々な有線プロトコルまたはワイヤレスプロトコルを含めて、任意の知られているネットワークプロトコルを使用して、実施される。

[0096] いくつかの実施形態においては、ＨＭＩデバイス２００１は、１つまたは複数の運動センサ２１１６を含んでおり、この運動センサは、ユーザの身体の部分の向きと動きとを直接に、または間接的に決定する。いくつかの実施形態においては、運動センサ２１１６は、それだけには限定されないが、ジャイロスコープと、加速度計と、ＧＰＳデバイスとを含む。いくつかの実施形態においては、ＨＭＩデバイス２００１はまた、１つまたは複数の屈曲センサ２１１０を含むこともでき、これらの屈曲センサは、ユーザの身体の部分の屈曲を決定する。いくつかの実施形態においては、ＨＭＩデバイス２００１はまた、１つまたは複数のプッシュボタンセンサ（単数または複数）２１１２を含むこともでき、これらのプッシュボタンセンサは、ボタンのユーザによって開始された押すことを検出する。いくつかの実施形態においては、ＨＭＩデバイス２００１はまた、ジョイスティック２１１２ｂを含むこともできる。上記センサのうちのどれかによって発生されるセンサデータは、任意の組合せの形で、ＨＭＩデバイス２００１によって使用されて、ユーザジェスチャを追跡し、また追跡されたユーザジェスチャに対応するジェスチャコマンドに基づいて、電子デバイス２０２０を制御することができる。

Claims (68)

1. ユーザによって提供されるジェスチャに基づいて、制御可能デバイスを制御するためのウェアラブルジェスチャ制御インターフェース装置であって、
   向き、動き、位置、屈曲を含む、前記ユーザの１つまたは複数のパラメータを検出し、前記ユーザの前記１つまたは複数のパラメータに対応するセンサデータを生成するように構成された複数のセンサと、
   サンプリングモジュールを使用して、前記複数のセンサから前記センサデータをサンプリングし、
   決定モジュールを使用して、前記複数のセンサの１つからの前記センサデータが、送信基準を満たしているかどうかを決定し、
   前記複数のセンサの前記１つからの前記センサデータが、前記送信基準を満たしているという決定に従って、送信モジュールを使用して、前記制御可能デバイスに対して、前記複数のセンサのすべてに対応する制御データを送信する
   ように構成されたマイクロコントローラと
   を備える、ウェアラブルジェスチャ制御インターフェース装置。
2. 前記送信基準は、前記複数のセンサの前記１つからの前記センサデータがしきい値を超えたとき満たされる、請求項１に記載のウェアラブルジェスチャ制御インターフェース装置。
3. 前記制御データは、前記複数のセンサからの前記センサデータを含む、請求項１に記載のウェアラブルジェスチャ制御インターフェース装置。
4. 前記制御データは、前記制御可能デバイスによって実行されたとき、前記制御可能デバイスにアクションを実行させるジェスチャコマンドを含む、請求項１に記載のウェアラブルジェスチャ制御インターフェース装置。
5. 前記マイクロコントローラは、さらに、選択モジュールを使用して、前記複数のセンサからの前記センサデータに基づいて、前記制御可能デバイスに対するジェスチャコマンドを選択するように構成されている、請求項４に記載のウェアラブルジェスチャ制御インターフェース装置。
6. 前記複数のセンサおよび前記マイクロコントローラは、前記ユーザの手に取り付け可能なグローブに取り付けるように構成されている、請求項１から５までのいずれか一項に記載のウェアラブルジェスチャ制御インターフェース装置。
7. ユーザによって提供されるジェスチャに基づいて、制御可能デバイスを制御するためのウェアラブルジェスチャ制御インターフェース装置であって、
   向き、動き、位置、屈曲を含む、前記ユーザの１つまたは複数のパラメータを検出し、前記ユーザの前記１つまたは複数のパラメータに対応するセンサデータを生成するように構成された複数のセンサと、
   低レイテンシモードおよび高精度モードで動作可能なマイクロコントローラであって、
   サンプリングモジュールを使用して、前記複数のセンサから前記センサデータをサンプリングし、
   生成モジュールを使用して、前記低レイテンシモードで動作するときに、前記複数のセンサの一部分からの前記センサデータに基づいて、センサ出力を生成し、
   前記生成モジュールを使用して、前記高精度モードで動作するときに、前記複数のセンサのすべてからの前記センサデータに基づいて、センサ出力を生成する
   ように構成されたマイクロコントローラと
   を備える、ウェアラブルジェスチャ制御インターフェース装置。
8. 前記センサ出力を生成する工程は、前記センサデータの中のノイズ成分を最小にするように、前記複数のセンサからの前記センサデータを平均する工程を含む、請求項７に記載のウェアラブルジェスチャ制御インターフェース装置。
9. 前記複数のセンサの前記一部分を構成する前記複数のセンサのそれぞれは、異なる機能を有しており、また前記複数のセンサの少なくとも２つは、同じ向きまたは動きを測定するように構成されている、請求項６または７に記載のウェアラブルジェスチャ制御インターフェース装置。
10. 複数のセンサの数は、前記複数のセンサがマイクロコントローラに接続された後に、ユーザ選択可能である、請求項６または７に記載のウェアラブルジェスチャ制御インターフェース装置。
11. 前記複数のセンサのそれぞれは、前記複数のセンサのうちの別のものに対して、固定された所定の距離で回路基板の上で分離される、請求項６または７に記載のウェアラブルジェスチャ制御インターフェース装置。
12. 前記マイクロコントローラは、前記複数のセンサを分離する前記固定された所定の距離に基づいて、前記センサ出力を生成する、請求項１１に記載のウェアラブルジェスチャ制御インターフェース装置。
13. 物体の曲げまたは屈曲を測定するためのセンサであって、
    第１の柔軟性のある導電性プレート、および第２の柔軟性のある導電性プレートと
    前記の第１の導電性プレートと第２の導電性プレートとの間に配置され、前記の第１の導電性プレートと第２の導電性プレートとに接触する、柔軟性のある半導体多孔質基板であって、前記半導体多孔質基板の抵抗は、前記半導体多孔質基板の屈曲の量に基づいて変化する、柔軟性のある半導体多孔質基板と、
    前記第１の柔軟性のある導電性プレートに接続された第１のリードであって、出力信号を生成するように前記半導体多孔質基板の前記抵抗に基づいて変更されている駆動信号を、マイクロコントローラから受信するように構成された第１のリードと、
    前記第２の柔軟性のある導電性プレートに接続された第２のリードであって、追加の信号条件付けを必要とすることなしに、前記マイクロコントローラに対して直接に前記出力信号を送信するように構成された第２のリードと
    を備えるセンサ。
14. 前記半導体多孔質基板は、前記半導体多孔質基板の屈曲の前記量に基づいて、約１，０００オームから約３０，０００オームまでの可変抵抗を有する、請求項１３に記載のセンサ。
15. 前記半導体多孔質基板は、前記半導体多孔質基板の屈曲の前記量に基づいて、約５，０００オームから約２００，０００オームまでの可変抵抗を有する、請求項１３に記載のセンサ。
16. 前記半導体多孔質基板は、前記半導体多孔質基板の屈曲の前記量に基づいて、約５０，０００オームから約１，０００，０００オームまでの可変抵抗を有する、請求項１３に記載のセンサ。
17. 前記出力信号は、約１ボルトから約４ボルトまでのレンジを有する、請求項１３に記載のセンサ。
18. 前記出力信号は、約１．２５ボルトから約３．７３ボルトまでのレンジを有する、請求項１３に記載のセンサ。
19. ウェアラブルＨＭＩデバイスにおいて、前記ＨＭＩデバイスのユーザの指もしくは手の関節または筋肉の近くに位置決めされ、その結果、そのような関節または筋肉の運動が前記センサの変形を引き起こし、前記変形の範囲を表すそれぞれのアナログ信号を前記センサが前記ＭＣＵに対して直接に出力するようになっている、請求項１３から１８までのいずれか一項に記載のセンサ。
20. 前記ウェアラブルＨＭＩデバイスにおいて、前記ユーザの指関節の近くに位置決めされる、請求項１９に記載のセンサ。
21. ２本の指の間の相対的な運動が、前記センサの変形を引き起こすように、前記ウェアラブルＨＭＩデバイスにおいて、前記２本の指の間のユーザの手のエリアの近くに位置決めされる、請求項１９に記載のセンサ。
22. ユーザによって提供されるジェスチャに基づいて、制御可能デバイスを制御するためのウェアラブルジェスチャ制御インターフェース装置であって、
    向き、動き、位置、屈曲を含む、前記ユーザの１つまたは複数のパラメータを検出し、前記ユーザの前記１つまたは複数のパラメータに対応するセンサデータを生成するように構成された複数のセンサと、
    低レイテンシモードおよび高精度モードで動作可能なマイクロコントローラであって、
    サンプリングモジュールを使用して、前記複数のセンサから前記センサデータをサンプリングし、
    決定モジュールを使用して、前記複数のセンサの１つからの前記センサデータが、送信基準を満たしているかどうかを決定し、
    前記複数のセンサの前記１つからの前記センサデータが、前記送信基準を満たしているという決定に従って、
    生成モジュールを使用して、前記低レイテンシモードで動作するときに、前記複数のセンサの一部分からの前記センサデータに基づいて、制御データを生成し、また
    前記生成モジュールを使用して、前記高精度モードで動作するときに、前記複数のセンサのすべてからの前記センサデータに基づいて、制御データを生成し、また
    送信モジュールを使用して、前記制御可能デバイスに対して前記制御データを送信する
    ように構成されたマイクロコントローラと
    を備える、ウェアラブルジェスチャ制御インターフェース装置。
23. 前記送信基準は、前記複数のセンサの前記１つからの前記センサデータがしきい値を超えたとき満たされている、請求項２２に記載のウェアラブルジェスチャ制御インターフェース装置。
24. 前記制御データは、前記制御可能デバイスによって実行されたとき、前記制御可能デバイスにアクションを実行させるジェスチャコマンドを含む、請求項２２に記載のウェアラブルジェスチャ制御インターフェース装置。
25. 前記マイクロコントローラは、さらに、選択モジュールを使用して、前記複数のセンサからの前記センサデータに基づいて、前記制御可能デバイスに対するジェスチャコマンドを選択するように構成されている、請求項２２に記載のウェアラブルジェスチャ制御インターフェース装置。
26. 前記装置のユーザによって制御可能な複数のスイッチをさらに備える、請求項２２に記載のウェアラブルジェスチャ制御インターフェース装置。
27. 前記センサは、前記装置のユーザの動きによって変形され得る前記ウェアラブルジェスチャ制御装置の上のロケーションに貼り付けられた１つまたは複数の曲げセンサを備えており、前記動きは、１つまたは複数の指または手の関節の動きを含む、請求項２２に記載のウェアラブルジェスチャ制御装置。
28. 前記制御データを生成する工程は、センサデータの中のノイズ成分を最小にするように前記複数のセンサからの前記センサデータを平均する工程を含む、請求項２２から２７までのいずれか一項に記載のウェアラブルジェスチャ制御インターフェース装置。
29. 前記複数のセンサの前記一部分を構成する前記複数のセンサのそれぞれは、異なる機能を有しており、また前記複数のセンサの少なくとも２つは、同じ向きまたは動きを測定するように構成されている、請求項２２から２７までのいずれか一項に記載のウェアラブルジェスチャ制御インターフェース装置。
30. 複数のセンサの数は、前記複数のセンサが、マイクロコントローラに接続された後に、ユーザ選択可能である、請求項２２から２７までのいずれか一項に記載のウェアラブルジェスチャ制御インターフェース装置。
31. 前記複数のセンサのそれぞれは、前記複数のセンサのうちの別のものに対して、固定された所定の距離で、回路基板の上で分離される、請求項２２から２７までのいずれか一項に記載のウェアラブルジェスチャ制御インターフェース装置。
32. 前記マイクロコントローラは、前記複数のセンサを分離する前記固定された所定の距離に基づいて、前記センサ出力を生成する、請求項３１に記載のウェアラブルジェスチャ制御インターフェース装置。
33. 前記マイクロコントローラが前記低レイテンシモードで動作するとき、前記制御可能デバイスは、ゲームコンソールと、コンピュータジョイスティックと、コンピュータマウスとの１つである、請求項２２から２７までのいずれか一項に記載のウェアラブルジェスチャ制御インターフェース装置。
34. 前記マイクロコントローラが前記高精度モードで動作するとき、前記制御可能デバイスは、無人の航空機の乗り物と、手話ソフトウェアとのうちの一方である、請求項２２から２７までのいずれか一項に記載のウェアラブルジェスチャ制御インターフェース装置。
35. 前記マイクロコントローラが前記高精度モードで動作するとき、前記マイクロコントローラは、少なくとも１つの慣性測定センサと、少なくとも１つの曲げセンサと、少なくとも１つのプッシュボタンスイッチとのうちのどれかの組合せに基づいて、数百のハンドジェスチャを追跡するように構成されている、請求項２２から２７までのいずれか一項に記載のウェアラブルジェスチャ制御インターフェース装置。
36. 前記制御データは、名前と値の対のフォーマットのセンサデータを含む、請求項２２から２７までのいずれか一項に記載のウェアラブルジェスチャ制御インターフェース装置。
37. ユーザによって提供されるジェスチャに基づいて、制御可能デバイスを制御するための方法であって、
    マイクロコントローラと、複数のセンサと、１つまたは複数の機能モジュールと、前記マイクロコントローラによる実行のためのプログラムを記憶するメモリとを有するウェアラブルジェスチャ制御インターフェース装置において、請求項１から６までのいずれか一項に記載の前記ウェアラブルジェスチャ制御インターフェース装置のオペレーションを実行する工程を含む方法。
38. ユーザによって提供されるジェスチャに基づいて、制御可能デバイスを制御するための方法であって、
    マイクロコントローラと、複数のセンサと、１つまたは複数の機能モジュールと、前記マイクロコントローラによる実行のためのプログラムを記憶するメモリとを有するウェアラブルジェスチャ制御インターフェース装置において、請求項７から１２までのいずれか一項に記載の前記ウェアラブルジェスチャ制御インターフェース装置のオペレーションを実行する工程を含む方法。
39. ユーザによって提供されるジェスチャに基づいて、制御可能デバイスを制御するための方法であって、
    マイクロコントローラと、複数のセンサと、１つまたは複数の機能モジュールと、前記マイクロコントローラによる実行のためのプログラムを記憶するメモリとを有するウェアラブルジェスチャ制御インターフェース装置において、請求項２２から３６までのいずれか一項に記載の前記ウェアラブルジェスチャ制御インターフェース装置のオペレーションを実行する工程を含む方法。
40. マイクロコントローラと、複数のセンサと、１つまたは複数の機能モジュールとを有するウェアラブルジェスチャ制御インターフェース装置における使用のためのメモリであって、前記マイクロコントローラによって実行されたとき、前記ウェアラブルジェスチャ制御インターフェース装置に、請求項１から６までのいずれか一項に記載のように動作させるプログラムを記憶するメモリを備える非一時的コンピュータ読取り可能ストレージ媒体。
41. マイクロコントローラと、複数のセンサと、１つまたは複数の機能モジュールとを有するウェアラブルジェスチャ制御インターフェース装置における使用のためのメモリであって、前記マイクロコントローラによって実行されたとき、前記ウェアラブルジェスチャ制御インターフェース装置に、請求項７から１２までのいずれか一項に記載のように動作させるプログラムを記憶するメモリを備える非一時的コンピュータ読取り可能ストレージ媒体。
42. マイクロコントローラと、複数のセンサと、１つまたは複数の機能モジュールとを有するウェアラブルジェスチャ制御インターフェース装置における使用のためのメモリであって、前記マイクロコントローラによって実行されたとき、前記ウェアラブルジェスチャ制御インターフェース装置に、請求項２２から３６までのいずれか一項に記載のように動作させるプログラムを記憶するメモリを備える非一時的コンピュータ読取り可能ストレージ媒体。
43. ユーザジェスチャに基づいて、制御可能デバイスを制御するための方法であって、
    マイクロコントローラと、複数のセンサと、送信モジュールと、前記マイクロコントローラによる実行のためのプログラムを記憶するメモリとを有するウェアラブルジェスチャ制御インターフェース装置において、
    前記ジェスチャに応答して前記複数のセンサからセンサデータをサンプリングする工程と、
    前記複数のセンサの１つからの前記センサデータが、送信基準を満たしているかどうかを決定する工程と、
    前記複数のセンサの前記１つからの前記センサデータが、前記送信基準を満たしているという決定に従って、前記送信モジュールを使用して、前記複数のセンサのすべてから前記制御可能デバイスに、センサデータに対応する制御データを送信する工程と
    を含む方法。
44. 前記センサは、１つまたは複数の曲げセンサと、１つまたは複数のボタン、スライダ、スイッチ、ジョイスティック、およびタッチパッドを含む、ユーザ作動可能なスイッチセンサと、１つまたは複数のジャイロスコープ、磁力計、および加速度計を含む、１つまたは複数の運動センサとを備える、請求項４３に記載の方法。
45. 前記複数のセンサおよび前記マイクロコントローラは、前記ユーザの手に取り付け可能なグローブに、またはその一部分に取り付けられる、請求項４３に記載の方法。
46. 前記制御データは、前記制御可能デバイスによって実行されたとき、前記制御可能デバイスに、前記ジェスチャに関連する１つまたは複数のそれぞれのアクションを実行させるジェスチャコマンドを含む、請求項４３から４５までのいずれか一項に記載の方法。
47. 前記複数のセンサからの前記センサデータに基づいて、ジェスチャコマンドを選択する工程、および前記制御可能デバイスに対して送信する工程をさらに含む、請求項４３から４５までのいずれか一項に記載の方法。
48. ユーザによって提供されるジェスチャに基づいて、制御可能デバイスを制御するための方法であって、
    マイクロコントローラと、複数のセンサと、前記マイクロコントローラによる実行のためのプログラムを記憶するメモリとを有するウェアラブルジェスチャ制御インターフェース装置において、
    前記複数のセンサを使用して、前記ユーザの向きと動きとを検出する工程と、
    前記の向きと動きとに対応するセンサデータを生成する工程と、
    前記ウェアラブルジェスチャ制御デバイスの動作モードを決定する工程と、
    前記複数のセンサから前記センサデータをサンプリングする工程と、
    前記動作モードが低レイテンシモードであるときに、前記複数のセンサの一部分からの前記サンプリングされたセンサデータに基づいて、センサ出力を生成する工程と、
    前記動作モードが高精度モードであるときに、前記複数のセンサのすべてからの前記センサデータに基づいて、前記センサ出力を生成する工程と
    を含む方法。
49. 前記センサは、１つまたは複数の曲げセンサと、１つまたは複数のボタン、スライダ、スイッチ、ジョイスティック、およびタッチパッドを含む、ユーザ作動可能なスイッチセンサと、１つまたは複数のジャイロスコープ、磁力計、および加速度計を含む、１つまたは複数の運動センサとを備える、請求項４８に記載の方法。
50. 前記複数のセンサおよび前記マイクロコントローラは、前記ユーザの手に取り付け可能なグローブに、またはその一部分に取り付けられる、請求項４８に記載の方法。
51. 前記センサ出力を生成する工程は、前記センサデータの中のノイズ成分を最小にするように、前記複数のセンサからの前記センサデータを平均する工程を含む、請求項４８から５０までのいずれか一項に記載の方法。
52. 前記複数のセンサの前記一部分を構成する前記複数のセンサのそれぞれは、異なる機能を有しており、また前記複数のセンサの少なくとも２つは、同じ向きまたは動きを測定するように構成されている、請求項４８から５０までのいずれか一項に記載の方法。
53. 前記複数のセンサのそれぞれは、前記複数のセンサのうちの別のものに対して、固定された知られている距離で、回路基板の上で分離される、請求項４８から５０までのいずれか一項に記載の方法。
54. 前記複数のセンサを分離する前記固定された所定の距離に基づいて、前記センサ出力を生成する工程をさらに含む、請求項５３に記載の方法。
55. ユーザによって提供されるジェスチャに基づいて、制御可能デバイスを制御するための方法であって、
    マイクロコントローラと、複数のセンサと、前記マイクロコントローラによる実行のためのプログラムを記憶するメモリとを有するウェアラブルジェスチャ制御インターフェース装置において、
    複数のセンサを使用して、前記ユーザの向きと動きとを検出する工程と、
    前記の向きと動きとに対応するセンサデータを生成する工程と、
    前記ウェアラブルジェスチャ制御インターフェース装置の動作モードを検出する工程と、
    前記複数のセンサから前記センサデータをサンプリングする工程と、
    前記複数のセンサの１つからの前記センサデータが、送信基準を満たしているかどうかを決定する工程と、
    前記複数のセンサの前記１つからの前記センサデータが、前記送信基準を満たしているという決定に従って、
    前記動作モードが低レイテンシモードであるときに、前記複数のセンサの一部分からの前記センサデータに基づいて、制御データを生成する工程と、
    前記動作モードが高精度モードであるときに、前記複数のセンサのすべてからの前記センサデータに基づいて、前記制御データを生成する工程と、
    前記制御可能デバイスに対して前記制御データを送信する工程と
    を含む方法。
56. 前記送信基準は、前記複数のセンサの前記１つからの前記センサデータが所定のしきい値を超えたとき満たされている、請求項５５に記載の方法。
57. 前記制御データは、前記制御可能デバイスによって実行されたとき、前記制御可能デバイスに、１つまたは複数のそれぞれのジェスチャコマンドに関連するアクションを実行させる前記１つまたは複数のそれぞれのジェスチャコマンドを含む、請求項５５に記載の方法。
58. 前記複数のセンサからのセンサデータに基づいて、前記１つまたは複数のそれぞれのジェスチャコマンドをジェスチャデータベースから選択する工程をさらに含み、前記ジェスチャデータベースは、それぞれのジェスチャコマンドと、センサデータとの間の関連付けを記憶する、請求項５７に記載の方法。
59. 前記ウェアラブルジェスチャ制御インターフェース装置は、前記装置のユーザによって制御可能な複数のスイッチをさらに含む、請求項５５に記載の方法。
60. 前記センサは、前記装置のユーザの動きによって変形させられ得る前記ウェアラブルジェスチャ制御インターフェース装置の上のロケーションに貼り付けられた１つまたは複数の曲げセンサを備えており、前記動きは、１つまたは複数の指または手の関節の動きを含む、請求項５５に記載の方法。
61. 前記制御データを生成する工程は、前記センサデータの中のノイズ成分を最小にするように、前記複数のセンサからの前記センサデータを平均する工程を含む、請求項５５から６０までのいずれか一項に記載の方法。
62. 前記複数のセンサの前記一部分を構成する前記複数のセンサのそれぞれは、異なる機能を有しており、また前記複数のセンサの少なくとも２つは、同じ向きまたは動きを測定するように構成されている、請求項５５から６０までのいずれか一項に記載の方法。
63. 前記複数のセンサの数は、前記複数のセンサがマイクロコントローラに接続された後に、ユーザ選択可能である、請求項５５から６０までのいずれか一項に記載の方法。
64. 前記複数のセンサのそれぞれは、前記複数のセンサのうちの別のものに対して、固定された知られている距離で、回路基板の上で分離される、請求項５５から６０までのいずれか一項に記載の方法。
65. 前記複数のセンサを分離する前記固定された知られている距離に基づいて、前記センサ出力を生成する工程をさらに含む、請求項６４に記載の方法。
66. 前記マイクロコントローラが前記低レイテンシモードで動作するとき、前記制御可能デバイスは、ゲームコンソールと、コンピュータジョイスティックと、コンピュータマウスとの１つである、請求項５５から６０までのいずれか一項に記載の方法。
67. 前記マイクロコントローラが前記高精度モードで動作するとき、前記制御可能デバイスは、無人の航空機の乗り物と手話ソフトウェアとのうちの一方である、請求項５５から６０までのいずれか一項に記載の方法。
68. 前記動作モードが前記高精度モードであるとき、少なくとも１つの慣性測定センサと、少なくとも１つの曲げセンサと、少なくとも１つのプッシュボタンスイッチとのうちのどれかの組合せに基づいて、数百のハンドジェスチャを追跡する工程をさらに含む、請求項５５から６０までのいずれか一項に記載の方法。

Images