JP2020529067A - 電気インピーダンス測定値を使用して手の動きを追跡するためのアームバンド - Google Patents

Abstract

システムが、ウェアラブルデバイス上の異なるロケーションに配置されたセンサーを含むウェアラブルデバイスを含む。各センサーは、ユーザの手首または腕から送信される電気信号を測定する。位置算出回路がセンサーに結合される。位置算出回路は、機械学習モデルとともに電気信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力を算出する。【選択図】図１

Description

本開示は、一般に、センサーを使用する身体の動きの追跡に関し、詳細には、電気インピーダンス測定値を使用する人間の手の位置（ｈａｎｄ ｐｏｓｉｔｉｏｎ）の追跡に関する。

関連技術の説明
ジェスチャーなどの身体的動きは、ジェスチャーが、すでに、人々が伝達を行うための自然なやり方であるので、ユーザがコンピューティングデバイスと対話するための魅力的なやり方であり得る。ハンドジェスチャー追跡デバイスは、ユーザが、コンピューティングデバイスに物理的に触れることなしにコンピューティングデバイスを制御することまたはコンピューティングデバイスと対話することを可能にし得る。たとえば、ジェスチャー追跡デバイスは、ローカルまたはリモート環境においてメモリまたはディスプレイデバイスを制御するためにユーザによって使用され得る。

ジェスチャー認識システムは、使用するのに扱いにくく、抑制的であり、不快であり得る。たとえば、手の動き（ｈａｎｄ ｍｏｔｉｏｎ）を追跡するために機械的信号を使用するグローブ状のデバイスは、手の触覚を妨害し得る。グローブ状のデバイスはまた、様々な手のサイズを有する異なるユーザにカスタマイズすることが困難であり得る。カメラベースのジェスチャー追跡システムは、キャプチャされた画像からユーザの手のエリアを検出するが、しばしば、ユーザの手全体がカメラビュー範囲にあることを必要とする。カメラベースのジェスチャー追跡システムはまた、画像中に物体のオクルージョンがあるとき、失敗を経験し得る。

したがって、ジェスチャー追跡器は、使用するのがやっかいであり、管理することが困難であり、システム構成または周囲環境からひずみを受ける。また、旧来のジェスチャー追跡器のコストは高く、したがって、ユーザ普及率を制限し得る。さらに、ジェスチャー認識システムは、あらかじめ規定されたジェスチャーの小さいセットに限定される。これらおよび他の理由のために、そのようなジェスチャー認識システムは、ヘッドマウントディスプレイ（ＨＭＤ）のための有効な手の追跡にとって不適当である。

実施形態は、ユーザの腕の電気インピーダンス測定値を使用して人間の手の動きを追跡するためのウェアラブルデバイスに関する。ウェアラブルデバイス上に位置するセンサーが、ユーザの手首または腕から、ユーザの手の位置に対応する電気信号を受信する。電気信号（たとえば、腱などのユーザの腕の構造の状態を示し、したがって、ユーザの手の位置または姿勢をも示すインピーダンス値）から情報が抽出される。電気信号からのインピーダンスまたは他の抽出された値は、機械学習モデルを実装する位置算出回路への入力として使用され得る。位置算出回路は、機械学習モデルを使用して、入力からユーザの手の位置を決定する。いくつかの実施形態では、ウェアラブルデバイスは、ユーザの腕の動きを測定する慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）を含み、手の位置の決定のために、入力として位置算出回路に慣性信号を与える。いくつかの実施形態では、機械学習モデルは、電子信号のキャプチャと同時に撮られるユーザの手のビデオ画像から抽出されるグランドトゥルースの手の位置を使用してトレーニングされる。

一実施形態では、システムがウェアラブルデバイスを含み、ウェアラブルデバイスは、ウェアラブルデバイス上に配置されたセンサーを含む。各センサーは、ユーザの手首または腕から送信される電気信号を測定する。位置算出回路がセンサーに結合される。位置算出回路は、機械学習モデルとともに電気信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力を算出する。

一実施形態では、位置算出回路は、ウェアラブルデバイス中に位置する。

一実施形態では、位置算出回路は、ホストシステム、またはウェアラブルデバイスの外部の他のコンピューティングデバイス中に位置する。

一実施形態では、各センサーは、電極、および電極とユーザの手首または腕との間に位置する導電剤を含む。各センサーは、好ましくはユーザの手首または腕中に、交流（ＡＣ：ａｌｔｅｒｎａｔｉｖｅ ｃｕｒｒｅｎｔ）信号、直流（ＤＣ：ｄｉｒｅｃｔ ｃｕｒｒｅｎｔ）信号、または複数の周波数を含む広帯域幅ＡＣ信号を送信することができる。

一実施形態では、各電気信号は、電圧および電圧の位相、電流および電流の位相、またはＤＣ信号の大きさのうちの１つを含み得る。

一実施形態では、センサーはグリッドアレイまたはチェッカーボードパターンにおいて配置される。

一実施形態では、電気信号から導出された情報は、センサーの各ペア間で測定される電気インピーダンスに基づくアグリゲート値を含む。電気インピーダンスは、センサーのペアによってユーザの手首または腕中に送信されるプローブ信号と測定された電気信号とに基づいて決定される。一実施形態では、導出された情報は、電気信号の波の形状、電気信号の周波数領域表現、または電気信号の時間領域サンプルを含み得る。

一実施形態では、位置算出回路は、電気信号から導出された情報から特徴を抽出する。特徴は、ユーザの手首または腕の手の手の位置を規定する関節間の角度と、ユーザの手首または腕の手の手の位置の変化の低減された表現とのうちの１つまたは複数を含む。低減された表現は、ユーザの手首または腕の手の前の手の位置から、ユーザの手首または腕の手の現在の手の位置の間の差を規定する。

一実施形態では、各センサーは、プローブ信号の時間期間、プローブ信号の振幅、またはプローブ信号の位相を変動させることによって、ユーザの手首または腕中にプローブ信号をさらに送信する。

一実施形態では、第１のセンサーが、他のセンサーによる他のプローブ信号の送信に対してプローブ信号の送信をスタッガする（ｓｔａｇｇｅｒ）ことによって、ユーザの手首または腕中にプローブ信号を送信する。

一実施形態では、慣性測定ユニットが、ウェアラブルデバイスとユーザの腕との移動に対応する慣性信号を生成する。位置算出回路は、機械学習モデルとともに慣性信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力をさらに算出する。

一実施形態では、慣性測定ユニットは、ジャイロスコープと、加速度計と、磁力計とのうちの１つまたは複数を含む。

一実施形態では、１つまたは複数のカメラが、１つまたは複数の角度からの手の位置を示す画像など、ユーザの手の画像信号を生成する。位置算出回路は、機械学習モデルとともに画像信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力をさらに算出する。

一実施形態では、カメラは、深度カメラ、赤緑青（ＲＧＢ）カメラ、赤外線カメラ、またはＨＭＤ上に取り付けられたカメラである。

一実施形態では、慣性測定ユニットが、ウェアラブルデバイスの移動に対応する慣性信号を生成する。位置算出回路は、慣性信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力を生成するように、機械学習モデルをさらにトレーニングする。

一実施形態では、カメラが、ユーザの手首または腕の手の画像信号を生成する。位置算出回路は、機械学習モデルとともに画像信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力を生成するように、機械学習モデルをさらにトレーニングする。

一実施形態では、算出された出力は、ユーザの手に触れている物体上にユーザの手によって加えられる力をさらに表す。腱などのユーザの腕の構造は、手が弛緩しているときと比較して、手が力を加えているとき、手の全体的位置が似て見える場合でも、異なる状態にある。したがって、手の追跡のための電気信号の使用は、他のタイプのセンサー追跡システムの場合に可能であるものよりもさらに多くのタイプのデータ抽出を可能にする。

一実施形態では、位置算出回路は、ＨＭＤ上に取り付けられたカメラから画像信号をさらに受信する。画像信号を算出された出力と比較することによって、比較信号が決定される。比較信号はホストシステムに送信される。

一実施形態では、算出された出力は手形状モデルのパラメータを含む。パラメータは、ユーザの手首または腕の手の関節と、関節のペア間のエッジ（ｅｄｇｅ）と、エッジのペア間の角度と、頂点を含むメッシュと、各頂点についての、頂点と１つまたは複数の関節との間の距離とに対応する。

一実施形態では、ＨＭＤ（ヘッドマウントディスプレイ）は、
ウェアラブルデバイス上の異なるロケーションに配置された複数のセンサーに結合された位置算出回路であって、各センサーが、ユーザの手首または腕から送信される電気信号を測定するように設定され、位置算出回路が、機械学習モデルとともに電気信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力を算出するように設定された、位置算出回路と、
位置算出回路からの算出された出力を受信するように設定されたディスプレイパネルと
を備え得る。

一実施形態では、ＨＭＤは、
ユーザの手首または腕の手の画像信号を生成するように設定されたカメラであって、位置算出回路が、機械学習モデルとともに画像信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力を算出するようにさらに設定された、カメラ
を備え得る。

カメラは、深度カメラ、赤緑青（ＲＧＢ）カメラ、赤外線カメラ、またはＨＭＤ上に取り付けられたカメラであり得る。

一実施形態では、ＨＭＤは、
ユーザの手首または腕の手の画像信号を生成するように設定されたカメラであって、位置算出回路が、機械学習モデルとともに画像信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力を生成するように、機械学習モデルをトレーニングするようにさらに設定された、カメラ
を備え得る。

位置算出回路は、
画像信号を算出された出力と比較することによって比較信号を決定することと、比較信号をホストシステムに送信することとを行うようにさらに設定され得る。

一実施形態では、方法は、
ウェアラブルデバイス上の異なるロケーションに配置された複数のセンサーからトレーニング電気信号を受信することであって、トレーニング電気信号がユーザの手首または腕から送信される、トレーニング電気信号を受信することと、トレーニング電気信号からトレーニング特徴を抽出することと、
ユーザの手首または腕の手の手の位置を決定するように、抽出されたトレーニング特徴を使用して機械学習モデルをトレーニングすることと、
複数のセンサーから電気信号を受信することであって、電気信号がユーザの手首または腕から送信される、電気信号を受信することと、
電気信号から特徴を抽出することと、
ユーザの手首または腕の手の手の位置を表す出力を算出するために、特徴を機械学習モデルに送信することと、
出力をホストシステムに送信することと
を含み得る。

一実施形態では、方法が、
ユーザの手首または腕中に、ＡＣ信号、ＤＣ信号、または複数の周波数を含む広帯域幅ＡＣ信号を送信すること
を含み得る。

一実施形態では、方法は、電気信号から情報を導出することをさらに含み得、情報は、
センサーの各ペア間で測定される電気インピーダンスに基づくアグリゲート値であって、電気インピーダンスが、センサーのペアによってユーザの手首または腕中に送信されるプローブ信号と電気信号とに基づいて決定される、アグリゲート値と、
電気信号の波の形状と、
電気信号の周波数領域表現と、電気信号の時間領域サンプルと
のうちの１つまたは複数を含む。

一実施形態では、方法は、電気信号から導出された情報から特徴を抽出することを含み得、特徴は、
ユーザの手首または腕の手の手の位置を規定する関節間の角度と、
ユーザの手首または腕の手の手の位置の変化の低減された表現であって、低減された表現が、ユーザの手首または腕の手の前の手の位置から、ユーザの手首または腕の手の現在の手の位置の間の差を規定する、低減された表現と
のうちの１つまたは複数を含む。

一実施形態では、方法が、
プローブ信号の時間期間と、
プローブ信号の振幅と、プローブ信号の位相と
のうちの１つまたは複数を変動させることによって、ユーザの手首または腕中にプローブ信号を送信することを含み得る。

一実施形態では、方法は、
第１のセンサーによって、ユーザの手首または腕中にプローブ信号を送信することであって、他のセンサーによって送信される他のプローブ信号の送信に対してプローブ信号の送信をスタッガすることによって、プローブ信号を送信すること
を含み得る。

一実施形態では、方法が、
慣性測定ユニットによって、ウェアラブルデバイスの移動に対応する慣性信号を生成することと、
機械学習モデルとともに慣性信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力を算出することと
を含み得る。

一実施形態では、方法が、
１つまたは複数のカメラによって、ユーザの手首または腕の手の画像信号を生成することと、
機械学習モデルとともに画像信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力を算出することと
を含み得る。

一実施形態では、方法は、
慣性測定ユニットによって、ウェアラブルデバイスの移動に対応する慣性信号を生成することと、
慣性信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力を生成するように、機械学習モデルをトレーニングすることと
を含み得る。

一実施形態では、方法が、
１つまたは複数のカメラによって、ユーザの手首または腕の手の画像信号を生成することと、
画像信号から導出された情報を使用して、ユーザの手首または腕の手の手の位置を表す出力を生成するように、機械学習モデルをトレーニングすることと
を含み得る。

一実施形態では、方法が、
１つまたは複数のカメラから、ユーザの手首または腕の手の画像信号を受信することと、
画像信号を算出された出力と比較することによって比較信号を決定することと、
比較信号をホストシステムに送信することと
を含み得る。

本発明による一実施形態では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、実行されたとき、本発明による方法または上述の実施形態のいずれかを実施するように動作可能であるソフトウェアを具現し得る。

本発明による一実施形態では、システムは、１つまたは複数のプロセッサと、プロセッサに結合され、プロセッサによって実行可能な命令を備える少なくとも１つのメモリとを備え得、プロセッサは、命令を実行するとき、本発明による方法または上述の実施形態のいずれかを実施するように動作可能である。

本発明による一実施形態では、好ましくはコンピュータ可読非一時的記憶媒体を備えるコンピュータプログラム製品は、データ処理システム上で実行されるとき、本発明による方法または上述の実施形態のいずれかを実施するように動作可能であり得る。

本発明による実施形態は、特に、システム、ＨＭＤ、および方法を対象とする添付の特許請求の範囲において開示され、１つの請求項カテゴリー、たとえば、システムにおいて言及された特徴は、別の請求項カテゴリー、たとえば、ＨＭＤ、システム、記憶媒体、およびコンピュータプログラム製品においても請求され得る。添付の特許請求の範囲における従属性または参照は、形式的理由のみで選定される。ただし、前の請求項への意図的な参照（特に複数の従属性）から生じる主題も請求され得、その結果、請求項とその特徴との任意の組合せが、開示され、添付の特許請求の範囲で選定された従属性にかかわらず請求され得る。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれかは、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。

実施形態の教示は、添付の図面とともに以下の発明を実施するための形態を考慮することによって容易に理解され得る。

一実施形態による、センサーのアレイを含むウェアラブルデバイスの例示的な図である。 一実施形態による、図１中のラインＸＹに沿ってとられたウェアラブルデバイスの例示的な断面図である。 一実施形態による、ユーザの腕の周囲のセンサーを有するウェアラブルデバイスの例示的な断面図である。 一実施形態による、ユーザの手形状モデルの例示的な説明である。 一実施形態による、センサーのアレイの例示的な図である。 一実施形態による、センサーのチェッカーボードパターンの例示的な図である。 一実施形態による、センサーの不均一分布の例示的な図である。 一実施形態による、ユーザの手の位置の変化を追跡するためのシステムの例示的なブロック図である。 一実施形態による、機械学習モデルをトレーニングすることに関連する構成要素を表す例示的なブロック図である。 一実施形態による、ユーザの手の位置を追跡するための例示的なプロセスである。

図は、単に例示の目的で様々な実施形態を示す。

実施形態の以下の説明では、より完全な理解を与えるために、多数の具体的な詳細が記載される。ただし、実施形態が、これらの具体的な詳細のうちの１つまたは複数なしに実施され得ることに留意されたい。他の事例では、説明を不必要に複雑にすることを回避するために、よく知られている特徴は詳細に説明されていない。

実施形態は、同様の参照番号が同等または機能的に同様の要素を示す図を参照しながら本明細書で説明される。また、図において、各参照番号の最左の数字は、参照番号が最初に使用される図に対応する。

実施形態は、電気インピーダンス測定値を使用して人間の手の動きを追跡するためのウェアラブルデバイスに関する。デバイス上に位置するセンサーは、ユーザの腕の、腱および筋肉などの内部構造にプローブ信号を送信し、ユーザの腕から電気信号を受信し得る。特に、腕の内部構造およびそれらの状態により、プローブ信号は変化し、その結果、異なる電気信号がセンサーによって受信される。別の例では、センサーは、プローブ信号を使用せずにユーザの腕および内部構造のインピーダンスを測定する。受信される電気信号は変動し、ユーザの手の位置に対応することができる。特徴が電気信号から抽出され得る。たとえば、電気信号は、電気信号に対応する手の位置をプログラム的に検出するために、各ユーザについてトレーニングされ得る機械学習モデルを使用してニューラルネットワークによって処理され得る。

ウェアラブルデバイスの例示的な図
図１は、一実施形態による、センサーのアレイ１０８を含むウェアラブルデバイス１００の例示的な図である。ウェアラブルデバイス１００は、プラスチック（たとえば、ポリエチレンまたはポリプロピレン）、ゴム、ナイロン、合成繊維、ポリマーなど、可とう性機械基板であり得るウェアラブル構造１１６を含む。ウェアラブル構造１１６は、ユーザの手首または腕１０４の少なくとも一部分の周りに着用されるように設定される。ウェアラブルデバイス１００は、ウェアラブル構造１１６上の異なるロケーションに配置されたセンサー１１２を含む。たとえば、センサーは、センサーが腕１０４に電気的に接触しているように、腕１０４に面するウェアラブル構造１１６の内面に沿ったパターンにおいて配置され得る。

各センサー１１２は、ユーザの手首または腕１０４内の内部身体的構造の移動または状態に対応する電気信号を測定する。いくつかの実施形態では、センサー１１２は、ユーザの手首または腕１０４の電気インピーダンスを測定するためにウェアラブル構造１１６上に取り付けられた電極を含む。

いくつかの実施形態では、慣性測定ユニット１２８がウェアラブル構造１１６に固定され、慣性測定ユニット１２８の移動、したがって、ユーザの腕１０４の移動に対応する慣性信号を生成する。ウェアラブル構造１１６は、ウェアラブルデバイス１００をユーザの手首または腕１０４に留める。いくつかの実施形態では、ウェアラブル構造１１６の一部または全部は、可とう性材料ではなく剛性材料であり得る。たとえば、ウェアラブル構造１１６は、センサー１１２を含む剛性本体部分と、本体部分をユーザの腕１０４に留めるバンド部分とを含み得る。いくつかの実施形態では、ウェアラブルデバイス１００は、慣性測定ユニット１２８を含まない。

ウェアラブルデバイス１００は、ユーザの手１２０の手の位置を検出するためにユーザの腕１０４上に置かれる。手の位置は、ユーザの手の手のひらと指関節（ｋｎｕｃｋｌｅ）と指との角度および位置を含み、図２Ｃに関して以下で詳細に図示および説明されるように、手の関節と、関節のペア間のエッジと、エッジのペア間の角度とに対応するパラメータを含む。ウェアラブルデバイス１００上の各センサー１１２は、腕１０４を通して電気信号を受信するために個々に機能し得る。別の例では、センサーのペアは一緒に動作し、いくつかのセンサーはプローブ信号を送信し、いくつかのセンサーは電気信号を受信する。センサー１１２は、ユーザの腕１０４から、ユーザの手１２０の位置を表現する電気信号を受信する。

ウェアラブルデバイス１００は、ポータブルで、軽量で、低電力であり得、ゲームコントローラ、メディアコントローラ、キーボードコントローラ、ロボットデバイスコントローラなどとしての使用に好適である。ウェアラブルデバイス１００は、コンピューティングデバイス、ＶＲシステム、またはＨＭＤとインターフェースするためにマイクロＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷｉ−Ｆｉコネクティビティを含み得る。いくつかの実施形態では、ウェアラブルデバイス１００は、ＶＲシステムにおいて完全な手のモデルをレンダリングするために、または実環境において人間と物体との対話を追跡するために使用され得る。

いくつかの実施形態では、センサー１１２は、ユーザの手１２０の手の位置を決定するために使用される入力を生成するために電気インピーダンス断層撮影（ＥＩＴ）を使用する電極を含む。ＥＩＴは、ユーザの手１２０の導電率、誘電率、またはインピーダンスが表面電極測定値から推論され得る非侵襲性方法である。ウェアラブルデバイス１００は、単一の周波数においてＡＣ信号を印加するか、またはユーザの手１２０内の組織をより良く区別するために複数の周波数を使用し得る。いくつかの実施形態では、ＡＣ信号は、周波数のスペクトルを含む広帯域幅信号に対応する。

ＡＣ信号は、センサー１１２の一部または全部に印加され得、得られた電圧は、センサー１１２によって受信され得る。得られたインピーダンスおよびそれらの位相が、測定された電流および電圧から決定される。インピーダンスの異なる値は、ユーザの手首または腕の内部構造（たとえば、関節、骨、腱など）の異なる状態または構成に対応し、したがって異なる手の位置に対応する。このプロセスは、センサー１１２によって電圧および／または電流の測定値のセットを生成するために繰り返され得る。センサー１１２は、図２Ａ、図２Ｂ、図３Ａ、図３Ｂ、および図３Ｃを参照しながら以下で図示および説明されるように、異なる設定において配置され得る。いくつかの実施形態では、各センサー１１２および慣性測定ユニット１２８は、図２Ｂを参照しながら以下で図示および説明されるように、ウェアラブル構造１１６上に取り付けられ、ウェアラブル構造１１６はユーザの腕１０４に巻き付けられて、センサーのアレイ１０８が、ユーザの腕１０４の異なるエリアからの電気信号をカバーし、受信することができることを確実にする。

いくつかの実施形態では、センサー１１２は、人間の皮膚との接触を行うように設計された電極を含む。電極は、円形、正方形、または矩形であり得、直径または直線寸法が変わり得る。いくつかの実施形態では、電極は、サイズが１〜１０ｍｍで変わり得る。電極は、Ａｇ−ＡｇＣｌなどの金属材料、またはポリウレタン（ＰＵ）と混合された（３，４−エチレンジオキシチオフェン）（ＰＥＤＯＴ）などの伸縮自在の導電性ポリマーから製造され得る。電極は、Ａｇメッキのポリフッ化ビニリデン（ＰＶＤＦ）ナノ繊維ウェブと金属ねじとを使用して作製され得る。対象者の快適さを改善し、接触インピーダンスを低減するために、各電極の後ろでウェアラブルデバイス１００上で、導電剤とパディングとを有する接触エリアが使用され得る。電極と皮膚との間の導電剤は、プロピレングリコールとＮａＣｌとからなり得る導電性ゲルを使用する「ウェット」接続であるか、または導電性ポリマー（たとえば、炭素ドープＰＤＭＳ）の薄層などの「ドライ」接続であり得る。

いくつかの実施形態では、電極は、ユーザの腕１０４中に１０〜１００ｋＨｚの周波数における数ミリアンペアのＡＣ信号を駆動し、次いで、得られた電圧または電流を測定して、インピーダンスのインピーダンス値および位相を決定し得る。いくつかの実施形態では、電極は、ＭＨｚ領域を含む複数の周波数を含む広帯域幅信号に対応するＡＣ信号を送信し得る。

慣性測定ユニット１２８は、ユーザの腕１０４の動きを示す情報を生成する。慣性測定ユニット１２８は、ジャイロスコープ、加速度計、および／または磁力計を含み得る。慣性測定ユニット１２８は、ユーザの手１２０または腕１０４の周囲の力、角速度、および／または磁界を測定および報告する。たとえば、慣性測定ユニット１２８は、１つまたは複数の加速度計を使用して線形加速度を検出し、１つまたは複数のジャイロスコープを使用して回転速度を検出する。慣性測定ユニット１２８の例示的な設定は、３つの軸、すなわち、ピッチ、ロールおよびヨーの各々について、軸ごとに１つの加速度計、ジャイロメータ、および磁力計を含んでいることがある。ウェアラブルデバイス１００は、ユーザの腕１０４が移動していることを検出し得、センサー１１２からの電気信号と組み合わせて、ユーザの手の位置の識別を改善し、ジェスチャー識別を可能にする。生成された慣性信号は、電流、電圧、またはデジタルデータであり得る。

追跡アームバンドの例示的な断面図
図２Ａは、一実施形態による、図１に示されているＸＹラインに沿ってとられたウェアラブルデバイス１００の例示的な断面図２００である。断面図２００は、ユーザの腕１０４と、ユーザの腕１０４内の腱２０４とを示す。

ウェアラブルデバイス１００はユーザの手首または腕１０４上に着用され、センサー１１２は、導電剤１２０を介して腕１０４を通してプローブ信号２１２を送信する。導電剤１２０は、センサー１１２と腕１０４の皮膚との間の接触においてプローブ信号２１２に提示されるインピーダンスを低減する。いくつかの実施形態では、センサー１１２のアレイ１０８は、手首または腕１０４に完全に巻き付けられるとは限らず、図２Ａに示されているように手首または腕１０４の手のひら側上にのみ配置され得る。プローブ信号２１２は、腱２０４など、腕１０４の内部構造を通過し、示されているセンサー１１２（または別のセンサー１１２）によって電気信号２１６として検出され得る。センサー１１２は、ユーザの手首または腕１０４中にＡＣ信号またはＤＣ信号をプローブ信号２１２として送信する電極を含み得る。

いくつかの実施形態では、プローブ信号２１２は、周波数の範囲を含む広帯域幅ＡＣ信号である。たとえば、プローブ信号２１２は周波数領域において拡散され、より広い帯域幅をもつ信号２１２を生じ得る。特に、広帯域幅信号の使用は、信号干渉からの影響を減少させる。いくつかの実施形態では、プローブ信号２１２は、バッテリーなどの電源によって生成され、固定の大きさ（振幅）を有するＤＣ信号であり得る。

いくつかの実施形態では、プローブ信号２１２は、正弦波形またはＡＣ波形など、時間変動波形を有し得る。たとえば、プローブ信号２１２は、時間に関して正の最大値と負の最大値との間でそれぞれ交番して半周期ごとに極性を連続的に変化させ得る。プローブ信号２１２の時間期間は、波形が波形自体を始めから終わりまで繰り返すのにかかる、秒単位の時間の長さである。振幅は、ボルトまたはアンペア単位で測定される信号波形の大きさまたは強度である。各プローブ信号２１２の位相は、接地または別のセンサーのプローブ信号など、共通基準に対して測定される。位相差により、任意のセンサー上の電気信号２１６は、他のセンサーのうちの１つの後に異なる時間においてピーク値に達する。いくつかの実施形態では、各センサー１１２は、プローブ信号２１２の時間期間と、プローブ信号２１２の振幅と、プローブ信号２１２の位相とのうちの１つまたは複数を変動させることによって、ユーザの手首または腕１０４中にプローブ信号２１２をさらに送信する。

いくつかの実施形態では、センサー１１２は、ユーザの手首または腕１０４中にプローブ信号２１２をスタッガ様式で（ｉｎ ａ ｓｔａｇｇｅｒｅｄ ｍａｎｎｅｒ）送信し、ここで、センサーの異なるサブセットが、異なる時間においてプローブ信号１１２を送信する。２つまたはそれ以上のセンサー１１２からのプローブ信号２１２は、１０〜１００ｋＨｚの周波数において、典型的には数ミリアンペアの交流（ａｌｔｅｒｎａｔｉｎｇ ｃｕｒｒｅｎｔ）を送信することができる。残りのセンサーは、得られた電圧信号２１６を測定するために使用され得る。この手順は、次いで、プローブ信号２１２を放出するように選択されたセンサーのペアの順序を規定する複数の刺激パターンについて繰り返され得る。いくつかの実施形態では、単一の電流源が、プローブ信号２１２を生成するためにマルチプレクサを使用して複数のセンサー１１２間で切り替えられる。いくつかの実施形態では、各々がデジタルアナログコンバータによって制御される、各センサー１１２について１つの電圧電流コンバータのシステムが、プローブ信号２１２を生成するために使用される。

各電気信号２１６は、プローブ信号２１２がＡＣ信号である場合、電圧および電圧の位相、または電流および電流の位相などの特性を含み得る。ＤＣ信号がプローブ信号２１２のために使用される場合、電気信号２１６はＤＣ信号の大きさを含む。電気信号２１６の測定値は、センサー１１２にわたって多重化される単一の電圧測定回路、または各センサー１１２についての別個の回路のいずれかによってとられ得る。いくつかの実施形態では、アナログデジタルコンバータによるさらなる処理の前に、交流電圧をＤＣレベルにコンバートするためにアナログ復調回路が使用され得る。いくつかの実施形態では、交流信号は、デジタル復調を実施する直前にコンバートされ得る。デバイス１００は、複数の周波数において動作し、電気信号２１６の電圧の大きさと位相の両方を測定し得る。電気信号２１６から導出されたインピーダンスは、画像再設定を実施し、電気信号２１６に少なくとも部分的に基づいて表示するために、コンピューティングデバイス（たとえば、別個のホストシステム、またはウェアラブルデバイス１００と統合されたプロセッサ）上に受け渡され得る。

いくつかの実施形態では、センサー１１２の各ペア間の電気インピーダンスの位相データは、センサーのペア間の測定された電気信号２１６から抽出される。センサーから位置算出回路に送信されるインピーダンスデータストリームは、センサーの各ペアからのペアごとのインピーダンス測定値のセットを含む。センサーの各組合せは、センサーの数がＮによって示される場合、Ｎ^２インピーダンス値を生じるペアごとの測定を実施するために使用される。いくつかの実施形態では、測定された電気信号２１６から抽出された情報は、センサーの各ペアについての時間によるインピーダンスの変化（インピーダンス／ｓ）を含む。このインピーダンス／ｓは、時間によるユーザの腕１０４の状態の変化を示し、したがって、ユーザの手の位置を決定するために使用される。

センサー１１２は、腱２０４などの軟組織の状態を検出するために、ユーザの手首または腕１０４にわたるウェアラブル構造１１６上に配置される。ウェアラブルデバイス１００は、ユーザの手１２０の手の位置を決定するために、筋収縮と、腱２０４の動きと、腱２０４の長さと、関節の堅さとのいずれかまたはすべてを測定し得る。たとえば、ユーザの腕１０４から測定されたそのような値の組合せは、ユーザの手１２０内の関節間の骨によって形成される角度を示すことができる。手の位置は、電気信号２１６から導出されるような、手における関節間で形成される角度を表現する値の集合によって表現され得る。

ウェアラブルデバイス１００は、手首によって手１２０に接続された腕１０４内の構造の状態を決定することによって動作する。たとえば、橈骨および尺骨、橈骨茎状突起および尺骨茎状突起、手根骨、中手骨など、骨の状態は、ユーザの手１２０の位置を識別するために決定され得る。手根中手関節、中手指節関節、および指節間関節など、関節の状態は、ユーザの手１２０の位置を識別するために電気信号２１６から決定され得る。内在筋などの筋肉、屈筋腱、伸筋腱、腱鞘などの腱、ならびに正中神経および尺骨神経の状態は、ユーザの手１２０の位置を識別するために電気信号２１６から決定され得る。利点の中でも、ウェアラブルデバイス１００は、物体を保持するときのユーザの手の圧力を決定することができ、手１２０において物体を把持しているユーザと、空の手１２０で把持するジェスチャーを行っているユーザとを区別することができる。

図２Ｂは、一実施形態による、ユーザの腕１０４の周囲のセンサー１１２を有するウェアラブルデバイス２５０の例示的な断面図である。ウェアラブル構造１１６は、ユーザの手首または腕１０４に巻き付けられる。腕１０４の一方の側のセンサーは、ユーザの腕中にプローブ信号２１２を送信し得、腕１０４の他方の側のセンサーは、ユーザの腕１０４の腱２０４を通って進む電気信号２５６を受信し得る。このようにして、システムは、手首または腕１０４の断面インピーダンス特性を測定することが可能である。

例示的な手形状モデル
図２Ｃは、一実施形態による、ユーザの手形状モデル２８０の例示的な説明である。いくつかの実施形態では、ユーザの手の位置は、手形状モデル２８０に関して表現される。手形状モデル２８０は、ユーザの手首または腕１０４の手１２０の関節と、関節のペア間のエッジと、エッジのペア間の角度の範囲と、頂点を含むメッシュと、各頂点についての、頂点と１つまたは複数の関節との間の関係（たとえば、距離）とに対応するパラメータを含む。ウェアラブルデバイス１００によって生成される電気信号は、関節間のエッジのペア間で規定される角度など、手形状モデル２８０に関して手の位置を決定するために使用される。

手形状モデル２８０は、手１２０の変形可能な形状およびサイズを規定する。たとえば、手形状モデル２８０は、骨格２８２とメッシュ２８４とを含む。骨格２８２は、骨格のノード（関節）を表現する手の特徴２８６を含む。少なくともいくつかの手の特徴２８６は、骨格２８２の手のエッジ２８８によって示される、他の手の特徴２８６間の固定距離を有する。手のエッジ２８８は、手１２０の骨についてのモデルであり、手の特徴２８６は、骨を接続する関節についてのモデルである。

各手の特徴２８６は、関節の動き範囲を規定する１つまたは複数の自由度（ＤＯＦ）に関連する。たとえば、手首における手の特徴は、２つの自由度（たとえば、ピッチおよびヨー）を含む。別の例では、各指関節における手の特徴２８６は、２つの自由度（たとえば、ロールおよびヨー）を含む。また別の例では、各手指関節（ｆｉｎｇｅｒ ｊｏｉｎｔ）における手の特徴２８６は、１つの自由度（たとえば、ヨー）を含む。自由度は、回転自由度または並進自由度を含み得る。各自由度は、関節が自由度に沿ってどのくらい移動することができるかを表現する、最大値と最小値とによって規定され得るような値の範囲に関連し得る。手の位置は、手形状モデル２８０の特定の状態によって規定される。たとえば、手の特徴２８６の各自由度についての値のセットは、手の特定の姿勢を規定し得る。

手形状モデル２８０のメッシュ２８４は、ユーザの手のモデル２８０の表面を規定する。メッシュ２８４は頂点を含み得、ここで、各頂点は、手の特徴２８６、または手のエッジ２８８に沿ったロケーションなど、骨格２８２の一部とアタッチされる。頂点は、相互接続されたとき、手の表面のモデルを規定する多角形メッシュを形成する。たとえば、頂点は、アタッチされた手の特徴２８６からのあらかじめ規定された距離を有し得る。手の特徴２８６が移動される場合、アタッチされた頂点は、それに応じて、メッシュ２８４が骨格２８２の移動とともに変化するように移動する。いくつかの実施形態では、メッシュ２８４の頂点は、骨格２８２の２つ以上のロケーションにアタッチされ得る。

センサーの例示的なアレイおよびチェッカーボードパターン
図３Ａは、一実施形態による、センサー１１２のアレイ１０８の例示的な図である。各センサー１１２は、図２Ａまたは図２Ｂを参照しながら上記で図示および説明されたように、ウェアラブル構造１１６上に取り付けられる。センサー１１２は、ここで、３つの行と５つの列とを有する矩形格子において配置され得る。アレイ１０８は、慣性測定ユニット１２８とともにウェアラブル構造１１６上に取り付けられ得る。いくつかの実施形態では、慣性測定ユニット１２８はウェアラブル構造１１６から省略される。

図３Ｂは、一実施形態による、センサー１１２のチェッカーボードパターンアレイ３００の例示的な図である。各センサー１１２は、図２Ａまたは図２Ｂを参照しながら上記で図示および説明されたように、ウェアラブル構造１１６上に取り付けられる。センサー１１２は、交互のチェッカーボードパターン３００において配置される。チェッカーボードパターンアレイ３００は、慣性測定ユニット１２８とともにウェアラブル構造１１６上に取り付けられ得る。いくつかの実施形態では、慣性測定ユニット１２８はウェアラブル構造１１６から省略される。

図３Ｃは、一実施形態による、センサー１１２の不均一分布アレイ３６０の例示的な図である。各センサー１１２は、図２Ａまたは図２Ｂを参照しながら上記で図示および説明されたように、ウェアラブル構造１１６上に取り付けられる。ウェアラブル構造１１６上のセンサー１１２の配置は規則的なピッチ値に従わず、センサー１１２は、代わりに腕１０４における重要な構造の検出を最適化するように配置される。たとえば、センサー１１２のより高い集中は、（たとえば、関節と手の位置との間の角度を抽出するために）手根管ゾーンなど、ユーザの腕１０４の内部のより重要性が高いロケーションをカバーするウェアラブル構造１１６上のクラスタ３６８に位置する。センサー１１２のより低い集中は、より重要性が低いエリア３６４に位置する。

手の位置を追跡するための例示的なシステム
図４は、一実施形態による、ユーザの手の位置を追跡するためのシステムの例示的なブロック図である。システムは、ウェアラブルデバイス１００と、ホストシステム４２８と、ヘッドマウントディスプレイ（ＨＭＤ）４２４とを含む。ウェアラブルデバイスは、センサーのアレイ１０８と、センサーのアレイ１０８に結合された回路４００とを含む。図４に示されているシステムは、仮想現実（ＶＲ）システム、拡張現実（ＡＲ）システム、または複合現実（ＭＲ）システムを表現し得る。

センサーのアレイ１０８は、図２Ａおよび図２Ｂに関して上記で図示および説明されたように、ユーザの腕１０４にプローブ信号２１２を送信し、ユーザの腕１０４から電気信号２１６を受信し得る。センサーのアレイ１０８は、回路４００に信号４０４を送信する。信号４０４は電気信号２１６であり得る。回路４００は、ホストシステム４２８に信号４０８を送信する。信号４０８は、電気信号２１６、電気信号２１６から導出された情報、または電気信号２１６から回路４００によって計算されるようなユーザの手１２０の位置を表す算出された出力であり得る。電気信号２１６から導出された情報は、電気インピーダンスと、センサー１１２の各ペア間で測定されたインピーダンスの位相とに基づくアグリゲート値を含み得る。電気インピーダンスは、センサー１１２のペアによってユーザの手首または腕１０４中に送信されるプローブ信号２１２と電気信号２１６とに基づいて決定される。

いくつかの実施形態では、算出された出力は、ユーザの手１２０の手の位置を表す情報の任意の個別の不連続な表現、または連続関数を使用してユーザの手１２０の位置の変化を表現するアナログ信号であり得る。ウェアラブルデバイス１００と、ホストシステム４２８と、ＨＭＤ４２４とは、ネットワーク４１２を介して通信し得、ネットワーク４１２は、有線通信システムおよび／または無線通信システムの両方を使用する、ローカルエリアネットワークおよび／またはワイドエリアネットワークの任意の組合せを含み得る。

ホストシステム４２８は、入力インターフェース回路４３２と、メモリ４３６と、出力インターフェース回路４４０と、位置算出回路４４８と、カメラ４５２とを含み得る。入力インターフェース回路４３２と、メモリ４３６と、出力インターフェース回路４４０と、位置算出回路４４８と、カメラ４５２とは、バス４４４を介して通信し得る。入力インターフェース回路４３２は、センサー１１２から電気信号２１６を受信する。いくつかの実施形態では、入力インターフェース回路４３２は、慣性測定ユニット１２８から慣性信号を受信し、および／または１つまたは複数のカメラから画像を受信する。

入力インターフェース回路４３２は、センサーのアレイ１０８の各センサー１１２から電気信号２１６を受信するためのデジタル論理および／またはアナログ回路から製造されるインターフェース回路である。入力インターフェース回路４３２は、電気信号２１６から、電流の磁界によって自己誘導されるユーザの手首または腕１０４における電圧の誘導（インダクタンス）などの情報を導出し得る。導出された情報は、電圧によって誘導されるユーザの手首または腕１０４の内部構造における電荷の静電記憶（キャパシタンス）を表現し得る。情報を導出することは、アグリゲート値を決定するために、位相決定、ヒルベルト変換（Ｈｉｌｂｅｒｔ ｔｒａｎｓｆｏｒｍ）などを使用することなどによって、電気信号２１６を分析することを含み得る。センサー１１２がユーザの手首または腕１０４中にＤＣ信号を駆動する場合、導出された情報は、ゼロ位相角をもつインピーダンスを表現し得る。

導出された情報は、電気信号２１６の波の形状を表現し得る。たとえば、Ｓ字形状は単一の周波数を表現し得るが、方形パルスは周波数のスペクトルを表現し得る。情報を導出することは、受信された電気信号２１６の波形の分析的に規定された形状を検出するために、たとえば、ハフ変換を使用することによって、受信された電気信号２１６の波形の形状を抽出することを含み得る。

導出された情報は、電気信号２１６の周波数領域表現を表現し得る。情報を導出することは、電気信号２１６の周波数領域表現を作成することを含み得る。たとえば、高速フーリエ変換（ＦＦＴ）などのフーリエ変換を使用して、電気信号２１６を時間領域または空間領域から周波数領域にコンバートすることが、電気信号２１６の周波数領域表現を作成するために使用され得る。電気信号２１６から導出された例示的な周波数領域情報は、各周波数の大きさおよび位相成分、どの周波数が存在するか、どれが消失しているかなどである。

導出された情報は、電気信号２１６の時間領域サンプルを表現し得る。情報を導出することは、電気信号２１６の時間領域サンプリングを実施することを含み得る。時間領域サンプリングは、電気信号２１６を、時間および／または空間におけるある点における値のセットなど、離散時間サンプルのセットまで低減する。

メモリ４３６は、メモリカードおよびコンピュータハードドライブのうちの１つまたは複数に記憶された、データベース、テーブル、ファイルなどとして編成され得る。いくつかの実施形態では、メモリ４３６は、図２Ｃを参照しながら上記で詳細に図示および説明されたように、手の追跡のためにユーザの手形状モデル２８０を記憶する。ユーザの手形状モデル２８０は３次元（３Ｄ）空間における手の形状を規定し、手１２０の姿勢または位置を規定するように変形可能である。ユーザの手形状モデル２８０は、関節を表現する「手の特徴」を含む。これらの「手の特徴」２８６はユーザの関節自体を表現し、電気信号２１６から位置算出回路４４８によって抽出された「特徴５０８」とは異なる。電気信号２１６から位置算出回路４４８によって抽出された特徴５０８は、手の特徴２８６間で規定された角度を表現する値のセットである。

手の特徴２８６は、関節配向を表現する自由度を含み得る。したがって、ユーザの手の位置、または手の位置の変化は、ユーザの手形状モデルの関節の各々についての関節配向を表現する値のセットによって規定され得る。ユーザの手形状モデル２８０の説明は、参照により本明細書にその全体が組み込まれる、２０１７年４月１３日に出願された米国出願第１５／４８７，３５５号にある。いくつかの実施形態では、ユーザについてカスタマイズされたユーザの手形状モデル２８０は、１０個の主成分（ｐｒｉｎｃｉｐｌｅ ｃｏｍｐｏｎｅｎｔ）手形状モデルの重み付けされた組合せなど、主成分手形状モデルのセットとして生成され得る。各主成分手形状モデルは、ユーザの手形状の線形的に無相関なパラメータを制御し得る。限られた数の主成分手形状モデルの使用は、ユーザの手形状の決定をより少ない数の変数まで低減し、参照により本明細書にその全体が組み込まれる、２０１７年４月１３日に出願された米国出願第１５／４８７，３６１号に記載されている。

位置算出回路４４８は、入力インターフェース回路４３２に結合される。位置算出回路４４８は、電気信号２１６から抽出された特徴を機械学習モデルへの入力として使用して、ユーザの手１２０の位置および／またはユーザの手１２０の手の位置の変化を表す出力を算出する。たとえば、機械学習モデルは、入力としての電気信号２１６と、出力としての手形状モデル２８０のパラメータとの間の関係を規定し得る。位置算出回路４４８は、命令によって指定された基本算術演算、論理演算、制御演算および入出力（Ｉ／Ｏ）演算を実施することによってコンピュータプログラムの命令を実行する中央処理ユニット（ＣＰＵ）の一部であり得る。

いくつかの実施形態では、図４に示されているホストシステム４２８の１つまたは複数の構成要素は、ＨＭＤ４２４またはウェアラブルデバイス１００中に位置する。たとえば、算出回路４４８は回路４００中に位置し得、回路４００は、ウェアラブルデバイス１００またはＨＭＤ４２４の一部であり得る。

出力インターフェース回路４４０は位置算出回路４４８に結合され、ユーザの手１２０の手の位置を表す算出された出力を送信する。たとえば、出力インターフェース回路４４０が回路４００中に含まれる場合、出力インターフェース回路４４０は、ホストシステム４２８またはＨＭＤ４２４に算出された出力を通信することになる。出力インターフェース回路４４０がホストシステム４２８中に含まれる場合、出力インターフェース回路４４０は、ＨＭＤ４２４に算出された出力を通信することになる。

図５に関して以下でより詳細に説明されるように、位置算出回路４４８は、機械学習モデルトレーニングおよび／または推論を含む。たとえば、機械学習モデルは、電気信号から抽出された例示的な特徴のトレーニングデータセットと、対応する予想される出力（たとえば、手の位置を規定する値のセット）とを使用してトレーニングされ得る。いくつかの実施形態では、トレーニングデータの少なくとも一部分はトレーニングプロセスにおいて生成され、ここで、ユーザは、図５を参照しながら以下で詳細に説明されるように、光学マーカーを使用してキャプチャされる手の動きおよびジェスチャーを与える。

算出された出力は、ユーザの手１２０に触れている物体上にユーザの手１２０によって加えられる力をさらに表し得る。力は、電気信号２１６に基づいて算出された出力によって表される、ユーザの手首または腕１０４中の筋肉、腱、および他の内部構造の締め付けられた状態によって表現され得る。たとえば、センサーは、組織タイプ間の抵抗率の差と、骨格筋および他の組織の異なるインピーダンススペクトルとに基づいて、物体上に力を加えて締め付けられた生物組織の受動電気特性を測定し得る。

カメラ４５２は、深度カメラ、赤緑青（ＲＧＢ）カメラ、赤外線カメラ、またはＨＭＤ４２４上に取り付けられたカメラであり得る。カメラ４５２は、知られている光速に基づいて距離を決めること、または画像の各点についてのカメラとユーザの手１２０との間の光信号の飛行時間を測定することによって、ユーザの手１２０の画像をキャプチャし得る。カメラ４５２は、ユーザの手１２０のカラー画像収集のための３つのＲＧＢカラー信号を収集するために、独立した電荷結合デバイス（ＣＣＤ）センサーを使用し得る。カメラ４５２は、１４，０００ｎｍ（１４μｍ）と同程度の長さの波長を使用する赤外放射を使用して画像を形成する（赤外線カメラまたはサーマルイメージングカメラとも呼ばれる）サーモグラフィカメラであり得る。いくつかの実施形態では、カメラ４５２は、図５を参照しながら以下で説明されるように、トレーニングデータのためにグランドトゥルースの手の位置をキャプチャし得る。カメラ４５２はトレーニングのために使用され得るが、カメラ４５２は、手の位置の変化を推論するために必要とされない。

ＨＭＤ４２４は、ネットワーク４１２を介してウェアラブルデバイス１００とホストシステム４２８とに接続される。ＨＭＤ４２４は、コンピュータ生成画像（ＣＧＩ）および／または物理世界からのライブ画像を表示するために、ユーザの頭部に、またはユーザの眼の前の電子ディスプレイパネルを有するヘルメットの一部として、着用されるディスプレイデバイスを含み得る。センサーのアレイ１０８の電気信号２１６から生成される、ユーザの手１２０の手の位置を表す算出された出力は、ディスプレイパネルによってユーザに提示される仮想シーンにおけるアクションに変換され得る。ＨＭＤ４２４は、回路４００またはホストシステム４２８が、ユーザの手１２０の位置を決定するために電気信号２１６を処理した後に、ネットワーク４１２から、電気信号２１６、またはユーザの手１２０の手の位置に対応する算出された出力であり得る信号４２０を受信する。別の例では、ＨＭＤ４２４は、ユーザの手の位置に対する変化に少なくとも部分的に基づいて生成される仮想シーンを含むビデオフィードを受信する。

入力インターフェース回路４３２は、カメラ４５２、またはＨＭＤ４２４上に取り付けられたカメラから画像信号を受信し得る。いくつかの実施形態では、機械学習モデルをトレーニングするためのフォワードパス中に、位置算出回路４４８は、画像信号を算出された出力と比較することによって比較信号を決定し得る。たとえば、位置算出回路４４８は、ユーザの手形状モデル２８０の関節配向の値のために画像信号と算出された出力との間の変化を決定するために画像差分（ｄｉｆｆｅｒｅｎｃｉｎｇ）を使用し得る。位置算出回路４４８は、画像から導出された手の位置と、機械学習モデルから導出された手の位置との間の差についての誤差または損失関数をさらに決定し得る。バックワードパスでは、機械学習モデルのパラメータは、損失または誤差関数を最小限に抑えるために更新される。たとえば、機械学習モデルのパラメータに関して勾配が算出され、パラメータは、負の勾配方向に向かって最適化される。いくつかの実施形態では、画像信号と算出された出力との間の誤差は、結果に基づいて画像に変換され得る。たとえば、画像信号と算出された出力との間の不一致を測定するために、ハッチンソンメトリック（Ｈｕｔｃｈｉｎｓｏｎ ｍｅｔｒｉｃ）が使用され得る。出力インターフェース回路４４０は、ホストシステム４２８またはＨＭＤ４２４に比較信号をさらに送信し得る。他のタイプの機械学習が使用され得る。いくつかの実施形態では、機械学習モデルは、勾配ベース最適化ではなく線形回帰を使用する。

上記で説明されたように、電気信号２１６からユーザの手１２０の手の位置を表す出力を算出することは、異なる実施形態では、回路４００、ホストシステム４２８、またはＨＭＤ４２４内の回路によって実施され得る。

例示的な機械学習トレーニング
図５は、一実施形態による、機械学習モデル５５６をトレーニングすることに関連する構成要素を表す例示的なブロック図である。いくつかの実施形態では、プロセスは、図５に関して説明されるプロセスとは異なるおよび／または追加のステップを有し得る。いくつかのステップは、並列に実行され得る。代替的に、ステップのうちのいくつかは、並列に実行され、いくつかのステップは、連続的に実行され得る。代替的に、いくつかのステップは、ステップの実行が前のステップの実行の前に開始されるようなパイプライン様式で実行し得る。

ブロック図は、位置算出回路４４８内の特徴抽出回路５４８および機械学習モデル５５６を示す。電気信号２１６から導出された情報は、図４を参照しながら上記で説明されたように、特徴抽出回路５４８によって受信される。情報は、センサー１１２の各ペア間で測定される電気インピーダンスのインピーダンス値と位相データとを含み得る。たとえば、情報は、ユーザの腕１０４の内部構造２０４がプローブ信号２１２にもたらす電気的対立を表現し得る。情報は、受信される電気的電圧信号２１６と送信されるプローブ電流信号２１２との複素比であり得、大きさと位相の両方を有し得る。センサーの数がＮによって示される場合、これは、Ｎ^２個のそのようなインピーダンス値を生じる。いくつかの実施形態では、情報は、センサーの各ペアについての時間によるインピーダンスの変化（インピーダンス／ｓ）を含む。このインピーダンス／ｓは、時間によるユーザの手１２０における関節間の角度の変化を示す。

特徴抽出回路５４８は、電気信号２１６から、または電気信号２１６から導出された情報から特徴５０８を抽出する。いくつかの実施形態では、特徴５０８は、ユーザの手首または腕の手１２０の手の位置を規定する関節間の角度を含む。この実施形態では、抽出された特徴５０８は、手の特徴２８６間の規定された角度を表現する値のセットである。関節間の角度は、ユーザの手形状モデル２８０に関して規定され得、ユーザの手形状モデル２８０と手の位置とに対応する完全な高忠実度の手をレンダリングするために使用され得る。

いくつかの実施形態では、特徴５０８は、ユーザの手首または腕１０４の手１２０の手の位置の変化の低減された表現を含む。別の例では、特徴抽出回路５４８によって抽出された特徴５０８は、低減された表現を使用して符号化される。低減された表現は、ユーザの手首または腕１０４の手１２０の現在の手の位置と、ユーザの手首または腕１０４の手１２０の前の手の位置との間の差を規定する。低減された表現での圧縮を可能にするために、近隣する画像フレーム間の時間的冗長性が使用され得る。たとえば、センサー１１２によって送信されるデータは、時間サンプリングの場合Ｎ^２×８個の画像フレームに対応し得、ここで、センサー１１２の数はＮであり、Ｎ^２は、ユーザの腕１０４の電気インピーダンスを測定するセンサーペアの数である。

いくつかの実施形態では、手の位置の変化の低減された表現が使用される場合、センサー１１２によって送信されるデータは、画像フレームごとの変形を表す動きベクトルのみを含むことになる。８つの画像フレームについての低減された表現５０８は、したがって、各フレーム中の関節についての値を含まないが、連続フレーム間で変化する関節値のみを含むことになる。特に、手の位置に関係する情報のための処理および記憶要件は、フレーム間の変化のみがデータにおいて表現されるので低減される。さらに、機械学習モデル５５６は、圧縮されたトレーニングデータを使用してトレーニングされ得、圧縮されたトレーニングデータを出力することができる。

いくつかの実施形態では、慣性測定ユニット１２８は、図１を参照しながら上記で図示および説明されたように、ウェアラブルデバイス１００の移動に対応する慣性信号５０４を生成する。位置算出回路４４８は、機械学習モデル５５６とともに、信号２１６からの特徴に加えて、慣性信号５０４から導出された特徴を使用して、ユーザの手首または腕の手１２０の手の位置を表す出力を算出する。

いくつかの実施形態では、カメラ４５２は、ユーザの手首または腕１０４の手１２０の指の間の関節および角度の画像信号５２０を生成する。位置算出回路４４８は、機械学習モデル５５６とともに、信号２１６からの特徴に加えて画像信号５２０から導出された情報を使用して、ユーザの手首または腕１０４の手１２０の手の位置を表す出力を算出する。カメラからの画像信号５２０は、手の位置特徴５０８を抽出するための拡張データセットを与え、抽出の精度を増加させることができる。

いくつかの実施形態では、ユーザの手に触れている物体上にユーザの手によって加えられる力を表すグランドトゥルースの予想される出力は、力センサーのアレイを使用して決定され得る。力データは、グランドトゥルースに対応する。機械学習モデル５５６は、トレーニング入力と手の運動（ｈａｎｄ ｅｘｅｒｔｉｏｎ）との間の連続相関を学習するようにトレーニングされる。トレーニングでは、ユーザは把持力（すなわち、手の運動）の様々な異なるレベルにおいて力センサーアレイを把持し得、ウェアラブルデバイス１００からの電気データが集められる。電気信号２１６は、筋肉、腱、および他の内部構造が手の運動の異なるレベルの下で変化するにつれて変化し得る。力センサーデータ（「グランドトゥルース」）は、機械学習技法を使用して電気信号データ２１６に相関され、電気データ２１６から手の運動を推定するために連続モデルが作成される。

いくつかの実施形態では、ユーザの手によって加えられる力を表すグランドトゥルースの予想される出力は、力センサーを使用せずに決定され得る。たとえば、手の運動の主観的レベル（「グランドトゥルース」）が、電気信号２１６に直接相関され得る。トレーニングでは、ユーザは、「軽」、「中」、または「高」などの把持力（すなわち、手の運動）を用いて物体を把持し得る。電気信号２１６は、次いで、ウェアラブルデバイス１００から測定される。電気信号２１６は、筋肉、腱などが手の運動の異なるレベルの下で変化するにつれて変化し得る。ユーザのラベル付けされた手の運動は、電気信号データ２１６に相関される。機械学習技法は、電気データ２１６から手の運動を推定するためのモデルを作成するために使用される。この手法の利点は、力センサーを必要としないことによって全体的なシステムの複雑さが低減されることである。さらに、この手法は、単一の力センサーが装備された物体のみの代わりに任意の物体／把持を使用してトレーニングすることを容易にする。

機械学習モデル５５６のトレーニング中に、特徴抽出回路５４８は、機械学習モデル５５６のパラメータを調整することを容易にするために特徴５０８を抽出する。抽出された特徴５０８は、機械学習モデル５５６への入力として使用され、機械学習モデル５５６の出力は、トレーニング出力データストア５１６に記憶されたグランドトゥルース出力と比較され得る。特に、電気信号２１６または電気信号２１６の抽出された情報は、トレーニング入力データストア５１２から取り出され、特徴５０８を生成するために特徴抽出回路５４８に入力される。

トレーニング入力データストア５１２は、リムーバブルまたは非リムーバブルメモリカード、コンピュータハードドライブなどのうちの１つまたは複数に記憶された、データベース、テーブル、ファイルなどとして編成され得る。いくつかの実施形態では、トレーニング入力データストア５１２は、トレーニング入力データの１つまたは複数の属性を各々が表す複数のデータフィールドを含む。たとえば、トレーニング入力データストア５１２は、特徴抽出回路５４８への入力として使用される、電気信号２１６、慣性信号５０４、画像信号５２０、またはそれらの抽出された値を含んでいることがある。トレーニング出力データストア５１６は、トレーニングデータ入力ストアに記憶された入力と対応するユーザの手１２０の予想される手の位置を記憶する。いくつかの実施形態では、トレーニング入力データストア５１２およびトレーニング出力データストア５１６は、複数のユーザからキャプチャされた情報を記憶する。

機械学習モデル５５６は、トレーニング入力データストア５１２とトレーニング出力データストア５１６とからの情報を含むトレーニングセットを使用してトレーニングされる。トレーニング出力データストア５１６は、リムーバブルまたは非リムーバブルメモリカード、コンピュータハードドライブなどのうちの１つまたは複数に記憶された、データベース、テーブル、ファイルなどとして編成され得る。トレーニング出力データストア５１６は、知られている特徴５０８と、特徴５０８に対応する知られている手の位置との間の関連付けを記憶し得る。トレーニング出力データストア５１６は、予想される出力、すなわち、慣性信号５０４またはカメラフレームからの情報から抽出された手の位置を記憶し得る。

いくつかの実施形態では、機械学習モデル５５６をトレーニングするために位置が追跡されるべきであるユーザの手１２０は、光学マーカーを装備している。光学マーカーは、光反射体（パッシブマーカー、たとえば、逆反射体）、または発光体（アクティブマーカー、たとえば、ＬＥＤ）であり得る。ユーザの手１２０の配向を決定するために、いくつかの光学マーカーは、知られているジオメトリにおいて配置され得る。光学マーカーから来る光を走査および検出するために追跡カメラが使用され得る。キャプチャされた画像は、（２Ｄ画像座標における）潜在的マーカー位置を識別および計算するように処理される。この２Ｄデータは、光学マーカーの３Ｄ位置を計算するために組み合わせられ得る。そのような測定の結果（光学マーカーの位置、ならびにしたがってマーカーを担持するユーザの手１２０の位置および配向を表す座標）は、トレーニング出力データストア５１６に記憶され、機械学習モデル５５６をトレーニングするために使用される。

いくつかの実施形態では、カメラ４５２は、ユーザの手１２０の移動に対応する画像信号５２０を生成する。別個のニューラルネットワークが、ユーザの手首または腕１０４の手１２０の手の位置を表す、画像信号５２０から導出された予想される出力を生成するようにトレーニングされ得る。このプロセスは、参照により本明細書にその全体が組み込まれる、２０１７年４月１３日に出願された米国出願第１５／４８７，３５５号、および２０１７年４月１３日に出願された米国出願第１５／４８７，３６１号に記載されている。これらの予想される出力は、トレーニング出力データストア５１６に記憶され得る。たとえば、位置算出回路４４８は、機械学習モデル５５６のトレーニングのために、図４を参照しながら上記で図示および説明されたように、カメラ４５２から画像信号５２０を受信し得る。インピーダンスの各Ｎ^２個のサンプルについて、予想される出力は、ユーザの手首または腕１０４の手１２０の位置のキャプチャされた変化を表現する８つのカメラフレームに対応する。位置算出回路４４８はまた、ＨＭＤ上に取り付けられたカメラから画像信号５２０を受信することによって、トレーニング出力データストア５１６のためのトレーニングデータセットを作成し得る。

いくつかの実施形態では、慣性測定ユニット１２８は、ウェアラブルデバイス１００の移動に対応する慣性信号５０４を生成する。機械学習モデル５５６は、ユーザの手首または腕１０４の手１２０の手の位置を表す、慣性信号５０４から導出された予想される出力を生成するようにトレーニングされる。これらの予想される出力は、トレーニング出力データストア５１６に記憶され得る。

機械学習モデル５５６をトレーニングする目的は、機械学習モデル５５６が、新しい、初見の入力を受けて、トレーニングデータセットの結果を予想した後に、それらの入力に対して正確に作用することを可能にすることである。決定ツリー学習、相関ルール学習、ニューラルネットワーク、深層学習、帰納論理プログラミング、サポートベクターマシン、クラスタリング、ベイジアンネットワーク、強化学習、および表現学習などを含む、トレーニングに対するいくつかの異なる手法が使用され得る。勾配ベース最適化手法では、（フォワードパスにおける）コスト関数の誤差、およびモデルのパラメータに関する勾配が算出され得、次いで、パラメータは、（バックワードパスにおける）負の勾配方向のほうへ移動され得る。ニューラルネットワークでは、コスト関数の複数の層があり得、トレーニングは、各層について実施される。線形回帰では、閉形式解が算出され、出力は、直接書かれ得る。

いくつかの実施形態では、機械学習モデル５５６のトレーニングは、２つのパスにおいて達成され得る。第１に、フォワードパスにおいて、トレーニング特徴５０８は、電気信号２１６から導出されたインピーダンスと慣性信号５０４とから抽出される。このようにして、電気信号２１６から導出された情報は、特徴抽出回路５４８中に入力される。特徴抽出回路５４８の出力は、特徴５０８のセットである。特徴５０８は、手の位置を規定する関節間の角度に対応する。いくつかの実施形態では、特徴は、ユーザの手首または腕１０４の手１２０の手の位置の変化の低減された表現に対応する。各特徴５０８は、したがって、入力２１６および５０４のセットから抽出された出力である。位置算出回路４４８は、各特徴５０８と、トレーニングデータ出力ストア５１６に記憶された（たとえば、カメラ４５２からの）予想される出力との間の誤差または損失関数を決定し得る。第２に、バックワードパスにおいて、機械学習モデル５５６のパラメータは、誤差または損失関数を最小限に抑えるように調整される。次のフォワードパスにおいて、この更新された機械学習モデル５５６が使用される。このようにして、複数のユーザにわたって、大量のトレーニングセットが集められ得る。

いくつかの実施形態では、機械学習モデル５５６はリカレントニューラルネットワーク（ＲＮＮ）モデルであり得、ＲＮＮモデルは、ユニット間の結合が有向巡回を形成する人工ニューラルネットワークのクラスである。これは、機械学習モデル５５６が動的時間挙動を呈することを可能にする、機械学習モデル５５６の内部状態を作成する。この実施形態では、位置算出回路４４８は、電気信号２１６から抽出された特徴など、入力の任意のシーケンスを処理するために位置算出回路４４８の内部メモリを使用することができる。

いくつかの実施形態では、特徴５０８におけるデータの量を低減し、機械学習問題の複雑さを低減するために、完全な手形状モデルの次元を低減するために、（たとえば、線形判別分析（ＬＤＡ）、主成分分析（ＰＣＡ）などを介した）次元低減が使用され得る。ＰＣＡは、特徴ベクトル４１０におけるデータの量をデータのより小さく、より代表的なセットまで低減するために、（たとえば、線形判別分析（ＬＤＡ）、主成分分析（ＰＣＡ）などを介して）次元低減を適用し得る。ＰＣＡは、場合によっては相関変数の観測値のセットを、主成分（ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ）と呼ばれる線形的無相関変数の値のセットにコンバートするために、直交変換を使用する統計的手順である。主成分の数は、元の変数の数または観測値の数のうちのより小さいものよりも少数であるか、またはその数に等しい。

たとえば、完全な手形状モデルが２２個の関節角度を有する場合、完全な手形状モデルに対応する予想される出力は、画像信号５２０としてカメラ４５２によって測定され得る。これらの予想される出力は、ＰＣＡを使用してより小さいモデル（たとえば、１０個の特徴）まで低減され、トレーニング出力データストア５１６に記憶され得る。機械学習モデル５５６は、電気信号２１６、慣性信号５０４、画像信号５２０、またはトレーニング入力データストア５１２に記憶された低減されたモデル（１０個の特徴）に対応するそれらの抽出された値のトレーニングセットを使用してトレーニングされ得る。オンライン予測または推論プロセスでは、入力データは、低減された手形状モデル（１０個の特徴）に対応する出力を予測するために学習モデルによって使用される。低減された手形状モデル（１０個の特徴）に対応する出力は、次いで、使用のために完全な手形状モデル（２２個の関節角度）に投影され得る。

オンライン予測または推論プロセスでは、位置算出回路４４８は、（たとえば、ライブ環境において）センサー１１２および慣性測定ユニット１２８から入力２１６および／または５０４を受信し、トレーニングされた機械学習モデル５５６とともに、抽出された特徴５０８を使用して、出力を算出する。この方法の利益および利点は、入力データ（電気信号２１６）の小さいセットがユーザのために生成されることである。カメラまたは画像処理は必要とされないが、実施形態では、画像信号は、モデル５５６をトレーニングする際にモデル５５６への入力として使用されるか、またはモデル５５６によって算出された出力とライブ画像信号との間の誤差を決定するためのシステムの較正のために使用されるかのいずれかであり得る。

手の位置を追跡するための例示的なプロセス
図６は、一実施形態による、トレーニング電気信号に基づいてユーザの手の位置を追跡するように機械学習モデル５５６をトレーニングするためのプロセス６５０と、電気信号２１６に基づいてユーザの手の位置を推論するためのプロセス６５４とを示すフローチャートである。いくつかの実施形態では、プロセスは、図６に関して説明されるプロセスとは異なるおよび／または追加のステップを有し得る。プロセスのステップは、図６に関して説明される順序とは異なる順序において実施され得る。いくつかのステップは、並列に実行され得る。代替的に、ステップのうちのいくつかは、並列に実行され、いくつかのステップは、連続的に実行され得る。代替的に、いくつかのステップは、ステップの実行が前のステップの実行の前に開始されるようなパイプライン様式で実行し得る。

機械学習トレーニングプロセス６５０では、６００において、回路４００またはホストシステム４２８は、ユーザの手首または腕１０４の少なくとも一部分の周りに着用されたウェアラブル構造１１６上の異なるロケーションに配置されたセンサー１１２から電気信号２１６を受信する。各センサー１１２は、ユーザの手首または腕１０４内の構造の移動に対応する電気信号２１６を測定する。

６０８において、特徴抽出回路５４８は、電気信号２１６からトレーニング特徴５０８を抽出する。いくつかの実施形態では、センサー１１２の各ペア間で測定される電気インピーダンスのインピーダンスおよび位相が導出される。いくつかの実施形態では、測定された電気信号２１６から導出された情報は、センサーの各ペアについての時間によるインピーダンスの変化（インピーダンス／ｓ）を含む。電気信号２１６から抽出された特徴５０８、または電気信号２１６から導出された情報から抽出された特徴５０８は、ユーザの手首または腕１０４の手１２０の位置を規定する関節間の角度と、ユーザの手首または腕１０４の手１２０の手の位置の変化の低減された表現とを含み得る。

プロセス６５０は、機械学習モデル５５６を実装するニューラルネットワーク層についてのパラメータを導出することなどによって、機械学習モデル５５６を生成するために使用されるトレーニングプロセスである。プロセス６５０では、６１２において、機械学習モデル５５６は、特徴５０８に基づいてユーザの手１２０の手の位置を決定するために、抽出された特徴５０８と、トレーニング入力データストア５１２からの知られている手の位置に対応する情報と、トレーニング出力データストア５１６からの予想される出力とを使用してトレーニングされる。トレーニングセットを作成するために、位置算出回路４４８は、図４または図５を参照しながら上記で図示および説明されたように、カメラ４５２から画像信号５２０を受信し得る。インピーダンスの各Ｎ^２個のサンプルについて、予想される出力は、ユーザの手首または腕１０４の手１２０のキャプチャされた位置を表現する８つのカメラフレームに対応し得る。トレーニングプロセス６５０の後に、推論プロセス６５４は、ユーザのためのリアルタイムのユーザの手の追跡のために実施され得る。

手の位置推論プロセス６５４では、６１６において、ウェアラブルデバイス１００中のセンサー１１２は、図２Ａに関して上記で図示および説明されたように、ユーザの腕１０４の内部構造２０４にプローブ信号２１２を送信する。６２０において、入力インターフェース回路４３２は、センサー１１２から電気信号２１６を受信する。電気信号２１６は、ユーザの手首または腕１０４内の構造の移動に対応する。

６２８において、特徴抽出回路５４８は、電気信号２１６から導出されたインピーダンス値などの情報から特徴５０８を抽出する。位置算出構成要素４４８は、６３２においてユーザの手１２０の手の位置を表す出力を生成するために、機械学習モデル５５６に推論のための特徴５０８を送信する。同様の特徴セットを使用してトレーニングされた機械学習モデル５５６は、推論中に抽出された特徴５０８に適用される。

いくつかの実施形態では、機械学習モデル５５６を使用して、新しい特徴に基づく分類、２進数または他のスコアが決定される。いくつかの実施形態では、トレーニング出力データストア５１６中の各ユーザの手の位置に関連するスコアが決定される。各ユーザの手の位置に関連するスコアは、電気信号２１６がそのユーザの手の位置に対応する尤度を示し得る。

いくつかの実施形態では、各ユーザの手の位置に関連するスコアは、特徴５０８に関連するスコアの重み付けされたアグリゲートを表現する式を評価することによって決定される。特徴に関連する重みは、あらかじめ決定され、たとえば、専門家ユーザによって設定され得る。特定のユーザについてのいくつかの手の位置の最も決定力のある特徴は、より多く重み付けされ得る。６３６において、出力インターフェース回路４４０は、ホストシステム４２８またはＨＭＤ４２４に算出された出力を送信する。

実施形態の上記の説明は、説明の目的で提示されており、網羅的であること、または実施形態を開示される正確な形態に限定することは意図されない。当業者は、上記の開示に照らして多くの修正および変形が可能であることを諒解することができる。

最終的に、本明細書において使用される言い回しは、主に読みやすさおよび教育目的で選択されており、本明細書において使用される言い回しは、本発明の主題を画定または制限するように選択されていないことがある。したがって、その範囲はこの詳細な説明によって限定されず、むしろ、本明細書に基づく適用例に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される範囲を例示するものであり、限定するものではない。
追加の開示および請求可能な主題は、以下を含む。

Claims (64)

1. ウェアラブルデバイスであって、前記ウェアラブルデバイス上の異なるロケーションに配置された複数のセンサーを備え、各センサーが、ユーザの手首または腕から送信される電気信号を測定するように設定された、ウェアラブルデバイスと、
   前記センサーに結合された位置算出回路であって、前記位置算出回路が、機械学習モデルとともに前記電気信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の手の手の位置を表す出力を算出するように設定された、位置算出回路と
   を備える、システム。
2. 前記位置算出回路が前記ウェアラブルデバイス上に位置するか、または前記ウェアラブルデバイス内に位置する、請求項１に記載のシステム。
3. 前記位置算出回路が前記ウェアラブルデバイスの外部のホストシステム上に位置するか、または前記ウェアラブルデバイスの外部の前記ホストシステム内に位置する、請求項１に記載のシステム。
4. 各センサーが、電極、および前記電極と前記ユーザの前記手首または前記腕との間に位置する導電剤を備え、各センサーが、前記ユーザの前記手首または前記腕中に、交流（ＡＣ）信号、直流（ＤＣ）信号、または複数の周波数を含む広帯域幅ＡＣ信号を送信するようにさらに設定された、請求項１に記載のシステム。
5. 各電気信号が、
   電圧および前記電圧の位相、
   電流および前記電流の位相、または
   ＤＣ信号の大きさ
   のうちの１つを含む、請求項１に記載のシステム。
6. 前記センサーがグリッドアレイまたはチェッカーボードパターンにおいて配置された、請求項１に記載のシステム。
7. 前記電気信号から導出された前記情報は、
   センサーの各ペア間で測定される電気インピーダンスに基づくアグリゲート値であって、前記電気インピーダンスが、センサーの前記ペアによって前記ユーザの前記手首または前記腕中に送信されるプローブ信号と前記電気信号とに基づいて決定される、アグリゲート値と、
   前記電気信号の波の形状と、
   前記電気信号の周波数領域表現と、
   前記電気信号の時間領域サンプルと
   のうちの１つまたは複数を含む、請求項１に記載のシステム。
8. 前記位置算出回路が、前記電気信号から導出された前記情報から特徴を抽出するようにさらに設定され、前記特徴は、
   前記ユーザの前記手首または前記腕の手の前記手の位置を規定する関節間の角度と、
   前記ユーザの前記手首または前記腕の手の前記手の位置の変化の低減された表現であって、前記低減された表現が、前記ユーザの前記手首または前記腕の前記手の現在の手の位置と、前記ユーザの前記手首または前記腕の前記手の前の手の位置との間の差を規定する、低減された表現と
   のうちの１つまたは複数を含む、請求項１に記載のシステム。
9. 各センサーが、
   プローブ信号の時間期間と、
   前記プローブ信号の振幅と、
   前記プローブ信号の位相と
   のうちの１つまたは複数を変動させることによって、前記ユーザの前記手首または前記腕中に前記プローブ信号を送信するようにさらに設定された、請求項１に記載のシステム。
10. 第１のセンサーが、前記ユーザの前記手首または前記腕中にプローブ信号を送信することであって、他のセンサーによる他のプローブ信号の送信に対して前記プローブ信号の前記送信をスタッガすることによって、プローブ信号を送信することを行うように設定された、請求項１に記載のシステム。
11. 前記ウェアラブルデバイスと前記ユーザの腕との移動に対応する慣性信号を生成するように設定された慣性測定ユニットであって、前記位置算出回路が、前記機械学習モデルとともに前記慣性信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を算出するようにさらに設定された、慣性測定ユニット
    をさらに備える、請求項１に記載のシステム。
12. 前記慣性測定ユニットが、
    ジャイロスコープと、
    加速度計と、
    磁力計と
    のうちの１つまたは複数を備える、請求項１１に記載のシステム。
13. １つまたは複数の角度から前記ユーザの前記手首または前記腕の前記手の画像信号を生成するように設定された１つまたは複数のカメラであって、前記位置算出回路が、前記機械学習モデルとともに前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を算出するようにさらに設定された、１つまたは複数のカメラ
    をさらに備える、請求項１に記載のシステム。
14. 前記カメラが、深度カメラ、赤緑青（ＲＧＢ）カメラ、赤外線カメラ、またはヘッドマウントディスプレイ（ＨＭＤ）上に取り付けられたカメラである、請求項１３に記載のシステム。
15. 前記ウェアラブルデバイスの移動に対応する慣性信号を生成するように設定された慣性測定ユニットであって、前記位置算出回路が、前記慣性信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を生成するように、前記機械学習モデルをトレーニングするようにさらに設定された、慣性測定ユニット
    をさらに備える、請求項１に記載のシステム。
16. 前記ユーザの前記手首または前記腕の前記手の画像信号を生成するように設定された１つまたは複数のカメラであって、前記位置算出回路が、前記機械学習モデルとともに前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を生成するように、前記機械学習モデルをトレーニングするようにさらに設定された、１つまたは複数のカメラ
    をさらに備える、請求項１に記載のシステム。
17. 前記算出された出力が、前記ユーザの前記手首または前記腕の前記手に触れている物体上に前記ユーザの前記手首または前記腕の前記手によって加えられる力をさらに表す、請求項１に記載のシステム。
18. 前記位置算出回路が、
    ＨＭＤ上に取り付けられたカメラから画像信号を受信することと、
    前記画像信号を前記算出された出力と比較することによって比較信号を決定することと、
    前記比較信号をホストシステムに送信することと
    を行うようにさらに設定された、請求項１に記載のシステム。
19. 前記算出された出力が手形状モデルのパラメータを備え、前記パラメータが、
    前記ユーザの前記手首または前記腕の前記手の複数の関節と、
    前記関節のペア間の複数のエッジと、
    前記エッジのペア間の複数の角度と、
    複数の頂点を備えるメッシュと、各頂点についての、前記頂点と１つまたは複数の関節との間の距離と
    に対応する、請求項１に記載のシステム。
20. ウェアラブルデバイス上の異なるロケーションに配置された複数のセンサーに結合された位置算出回路であって、各センサーが、ユーザの手首または腕から送信される電気信号を測定するように設定され、前記位置算出回路が、機械学習モデルとともに前記電気信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の手の手の位置を表す出力を算出するように設定された、位置算出回路と、
    前記位置算出回路からの前記算出された出力を受信するように設定されたディスプレイパネルと
    を備える、ＨＭＤ。
21. 前記ユーザの前記手首または前記腕の前記手の画像信号を生成するように設定されたカメラであって、前記位置算出回路が、前記機械学習モデルとともに前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を算出するようにさらに設定された、カメラ
    をさらに備える、請求項２０に記載のＨＭＤ。
22. 前記カメラが、深度カメラ、赤緑青（ＲＧＢ）カメラ、赤外線カメラ、または前記ＨＭＤ上に取り付けられたカメラである、請求項２１に記載のＨＭＤ。
23. 前記ユーザの前記手首または前記腕の前記手の画像信号を生成するように設定されたカメラであって、前記位置算出回路が、前記機械学習モデルとともに前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を生成するように、前記機械学習モデルをトレーニングするようにさらに設定された、カメラ
    をさらに備える、請求項２０に記載のＨＭＤ。
24. 前記位置算出回路が、
    前記画像信号を前記算出された出力と比較することによって比較信号を決定することと、
    前記比較信号をホストシステムに送信することと
    を行うようにさらに設定された、請求項２３に記載のＨＭＤ。
25. ウェアラブルデバイス上の異なるロケーションに配置された複数のセンサーからトレーニング電気信号を受信することであって、前記トレーニング電気信号がユーザの手首または腕から送信される、トレーニング電気信号を受信することと、
    前記トレーニング電気信号からトレーニング特徴を抽出することと、
    前記ユーザの前記手首または前記腕の手の手の位置を決定するように、前記抽出されたトレーニング特徴を使用して機械学習モデルをトレーニングすることと、
    前記複数のセンサーから電気信号を受信することであって、前記電気信号がユーザの前記手首または前記腕から送信される、電気信号を受信することと、
    前記電気信号から特徴を抽出することと、
    前記ユーザの前記手首または前記腕の前記手の手の位置を表す出力を算出するために、前記特徴を前記機械学習モデルに送信することと、
    前記出力をホストシステムに送信することと
    を含む、方法。
26. 前記ユーザの前記手首または前記腕中に、ＡＣ信号、ＤＣ信号、または複数の周波数を含む広帯域幅ＡＣ信号を送信すること
    をさらに含む、請求項２５に記載の方法。
27. 前記電気信号から情報を導出することをさらに含み、前記情報は、
    センサーの各ペア間で測定される電気インピーダンスに基づくアグリゲート値であって、前記電気インピーダンスが、センサーの前記ペアによって前記ユーザの前記手首または前記腕中に送信されるプローブ信号と前記電気信号とに基づいて決定される、アグリゲート値と、
    前記電気信号の波の形状と、
    前記電気信号の周波数領域表現と、
    前記電気信号の時間領域サンプルと
    のうちの１つまたは複数を含む、請求項２５に記載の方法。
28. 前記電気信号から導出された前記情報から特徴を抽出することをさらに含み、前記特徴は、
    前記ユーザの前記手首または前記腕の前記手の前記手の位置を規定する関節間の角度と、
    前記ユーザの前記手首または前記腕の前記手の前記手の位置の変化の低減された表現であって、前記低減された表現が、前記ユーザの前記手首または前記腕の前記手の前の手の位置から、前記ユーザの前記手首または前記腕の前記手の現在の手の位置の間の差を規定する、低減された表現と
    のうちの１つまたは複数を含む、請求項２７に記載の方法。
29. プローブ信号の時間期間と、
    前記プローブ信号の振幅と、
    前記プローブ信号の位相と
    のうちの１つまたは複数を変動させることによって、前記ユーザの前記手首または前記腕中に前記プローブ信号を送信することをさらに含む、請求項２５に記載の方法。
30. 第１のセンサーによって、前記ユーザの前記手首または前記腕中にプローブ信号を送信することであって、他のセンサーによって送信される他のプローブ信号の送信に対して前記プローブ信号の前記送信をスタッガすることによって、プローブ信号を送信すること
    をさらに含む、請求項２５に記載の方法。
31. 慣性測定ユニットによって、前記ウェアラブルデバイスの移動に対応する慣性信号を生成することと、
    前記機械学習モデルとともに前記慣性信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を算出することと
    をさらに含む、請求項２５に記載の方法。
32. １つまたは複数のカメラによって、前記ユーザの前記手首または前記腕の前記手の画像信号を生成することと、
    前記機械学習モデルとともに前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を算出することと
    をさらに含む、請求項２５に記載の方法。
33. 慣性測定ユニットによって、前記ウェアラブルデバイスの移動に対応する慣性信号を生成することと、
    前記慣性信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を生成するように、前記機械学習モデルをトレーニングすることと
    をさらに含む、請求項２５に記載の方法。
34. １つまたは複数のカメラによって、前記ユーザの前記手首または前記腕の前記手の画像信号を生成することと、
    前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を生成するように、前記機械学習モデルをトレーニングすることと
    をさらに含む、請求項２５に記載の方法。
35. １つまたは複数のカメラから、前記ユーザの前記手首または前記腕の前記手の画像信号を受信することと、
    前記画像信号を前記算出された出力と比較することによって比較信号を決定することと、
    前記比較信号をホストシステムに送信することと
    をさらに含む、請求項２５に記載の方法。
36. ウェアラブルデバイスであって、前記ウェアラブルデバイス上の異なるロケーションに配置された複数のセンサーを備え、各センサーが、ユーザの手首または腕から送信される電気信号を測定するように設定された、ウェアラブルデバイスと、
    前記センサーに結合された位置算出回路であって、前記位置算出回路が、機械学習モデルとともに前記電気信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の手の手の位置を表す出力を算出するように設定された、位置算出回路と
    を備える、システム。
37. 前記位置算出回路が前記ウェアラブルデバイス上に位置するか、または前記ウェアラブルデバイス内に位置し、および／あるいは前記位置算出回路が前記ウェアラブルデバイスの外部のホストシステム上に位置するか、または前記ウェアラブルデバイスの外部の前記ホストシステム内に位置する、請求項３６に記載のシステム。
38. 各センサーが、電極、および前記電極と前記ユーザの前記手首または前記腕との間に位置する導電剤を備え、各センサーが、前記ユーザの前記手首または前記腕中に、交流（ＡＣ）信号、直流（ＤＣ）信号、または複数の周波数を含む広帯域幅ＡＣ信号を送信するようにさらに設定された、請求項３６または３７に記載のシステム。
39. 各電気信号が、
    電圧および前記電圧の位相、
    電流および前記電流の位相、または
    ＤＣ信号の大きさ
    のうちの１つを含む、請求項３６から３８のいずれか一項に記載のシステム。
40. 前記センサーがグリッドアレイまたはチェッカーボードパターンにおいて配置された、請求項３６から３９のいずれか一項に記載のシステム。
41. 前記電気信号から導出された前記情報は、
    センサーの各ペア間で測定される電気インピーダンスに基づくアグリゲート値であって、前記電気インピーダンスが、センサーの前記ペアによって前記ユーザの前記手首または前記腕中に送信されるプローブ信号と前記電気信号とに基づいて決定される、アグリゲート値と、
    前記電気信号の波の形状と、
    前記電気信号の周波数領域表現と、
    前記電気信号の時間領域サンプルと
    のうちの１つまたは複数を含む、請求項３６から４０のいずれか一項に記載のシステム。
42. 前記位置算出回路が、前記電気信号から導出された前記情報から特徴を抽出するようにさらに設定され、前記特徴は、
    前記ユーザの前記手首または前記腕の手の前記手の位置を規定する関節間の角度と、
    前記ユーザの前記手首または前記腕の手の前記手の位置の変化の低減された表現であって、前記低減された表現が、前記ユーザの前記手首または前記腕の前記手の現在の手の位置と、前記ユーザの前記手首または前記腕の前記手の前の手の位置との間の差を規定する、低減された表現と
    のうちの１つまたは複数を含む、請求項３６から４１のいずれか一項に記載のシステム。
43. 各センサーが、
    プローブ信号の時間期間と、
    前記プローブ信号の振幅と、
    前記プローブ信号の位相と
    のうちの１つまたは複数を変動させることによって、前記ユーザの前記手首または前記腕中に前記プローブ信号を送信するようにさらに設定された、請求項３６から４２のいずれか一項に記載のシステム。
44. 第１のセンサーが、前記ユーザの前記手首または前記腕中にプローブ信号を送信することであって、他のセンサーによる他のプローブ信号の送信に対して前記プローブ信号の前記送信をスタッガすることによって、プローブ信号を送信することを行うように設定された、請求項３６から４３のいずれか一項に記載のシステム。
45. 前記ウェアラブルデバイスと前記ユーザの腕との移動に対応する慣性信号を生成するように設定された慣性測定ユニットであって、前記位置算出回路が、前記機械学習モデルとともに前記慣性信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を算出するようにさらに設定された、慣性測定ユニット
    をさらに備え、
    随意に、前記慣性測定ユニットが、
    ジャイロスコープと、
    加速度計と、
    磁力計と
    のうちの１つまたは複数を備える、請求項３６から４４のいずれか一項に記載のシステム。
46. １つまたは複数の角度から前記ユーザの前記手首または前記腕の前記手の画像信号を生成するように設定された１つまたは複数のカメラであって、前記位置算出回路が、前記機械学習モデルとともに前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を算出するようにさらに設定された、１つまたは複数のカメラ
    をさらに備え、
    随意に、前記カメラが、深度カメラ、赤緑青（ＲＧＢ）カメラ、赤外線カメラ、またはヘッドマウントディスプレイ（ＨＭＤ）上に取り付けられたカメラである、請求項３６から４５のいずれか一項に記載のシステム。
47. 前記ウェアラブルデバイスの移動に対応する慣性信号を生成するように設定された慣性測定ユニットであって、前記位置算出回路が、前記慣性信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を生成するように、前記機械学習モデルをトレーニングするようにさらに設定された、慣性測定ユニット
    をさらに備える、請求項３６から４６のいずれか一項に記載のシステム。
48. 前記ユーザの前記手首または前記腕の前記手の画像信号を生成するように設定された１つまたは複数のカメラであって、前記位置算出回路が、前記機械学習モデルとともに前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を生成するように、前記機械学習モデルをトレーニングするようにさらに設定された、１つまたは複数のカメラ
    をさらに備える、請求項３６から４７のいずれか一項に記載のシステム。
49. 前記算出された出力が、前記ユーザの前記手首または前記腕の前記手に触れている物体上に前記ユーザの前記手首または前記腕の前記手によって加えられる力をさらに表す、請求項３６から４８のいずれか一項に記載のシステム。
50. 前記位置算出回路が、
    ＨＭＤ上に取り付けられたカメラから画像信号を受信することと、
    前記画像信号を前記算出された出力と比較することによって比較信号を決定することと、
    前記比較信号をホストシステムに送信することと
    を行うようにさらに設定された、請求項３６から４９のいずれか一項に記載のシステム。
51. 前記算出された出力が手形状モデルのパラメータを備え、前記パラメータが、
    前記ユーザの前記手首または前記腕の前記手の複数の関節と、
    前記関節のペア間の複数のエッジと、
    前記エッジのペア間の複数の角度と、
    複数の頂点を備えるメッシュと、各頂点についての、前記頂点と１つまたは複数の関節との間の距離と
    に対応する、請求項３６から５０のいずれか一項に記載のシステム。
52. ウェアラブルデバイス上の異なるロケーションに配置された複数のセンサーに結合された位置算出回路であって、各センサーが、ユーザの手首または腕から送信される電気信号を測定するように設定され、前記位置算出回路が、機械学習モデルとともに前記電気信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の手の手の位置を表す出力を算出するように設定された、位置算出回路と、
    前記位置算出回路からの前記算出された出力を受信するように設定されたディスプレイパネルと
    を備える、ＨＭＤ。
53. 前記ユーザの前記手首または前記腕の前記手の画像信号を生成するように設定されたカメラであって、前記位置算出回路が、前記機械学習モデルとともに前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を算出するようにさらに設定された、カメラ
    をさらに備え、
    随意に、前記カメラが、深度カメラ、赤緑青（ＲＧＢ）カメラ、赤外線カメラ、または前記ＨＭＤ上に取り付けられたカメラである、請求項５２に記載のＨＭＤ。
54. 前記ユーザの前記手首または前記腕の前記手の画像信号を生成するように設定されたカメラであって、前記位置算出回路が、前記機械学習モデルとともに前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を生成するように、前記機械学習モデルをトレーニングするようにさらに設定された、カメラ
    をさらに備え、
    随意に、前記位置算出回路が、
    前記画像信号を前記算出された出力と比較することによって比較信号を決定することと、
    前記比較信号をホストシステムに送信することと
    を行うようにさらに設定された、請求項５２または５３に記載のＨＭＤ。
55. ウェアラブルデバイス上の異なるロケーションに配置された複数のセンサーからトレーニング電気信号を受信することであって、前記トレーニング電気信号がユーザの手首または腕から送信される、トレーニング電気信号を受信することと、
    前記トレーニング電気信号からトレーニング特徴を抽出することと、
    前記ユーザの前記手首または前記腕の手の手の位置を決定するように、前記抽出されたトレーニング特徴を使用して機械学習モデルをトレーニングすることと、
    前記複数のセンサーから電気信号を受信することであって、前記電気信号がユーザの前記手首または前記腕から送信される、電気信号を受信することと、
    前記電気信号から特徴を抽出することと、
    前記ユーザの前記手首または前記腕の前記手の手の位置を表す出力を算出するために、前記特徴を前記機械学習モデルに送信することと、
    前記出力をホストシステムに送信することと
    を含む、方法。
56. 前記ユーザの前記手首または前記腕中に、ＡＣ信号、ＤＣ信号、または複数の周波数を含む広帯域幅ＡＣ信号を送信すること
    をさらに含む、請求項５５に記載の方法。
57. 前記電気信号から情報を導出することをさらに含み、前記情報は、
    センサーの各ペア間で測定される電気インピーダンスに基づくアグリゲート値であって、前記電気インピーダンスが、センサーの前記ペアによって前記ユーザの前記手首または前記腕中に送信されるプローブ信号と前記電気信号とに基づいて決定される、アグリゲート値と、
    前記電気信号の波の形状と、
    前記電気信号の周波数領域表現と、
    前記電気信号の時間領域サンプルと
    のうちの１つまたは複数を含み、
    随意に、前記電気信号から導出された前記情報から特徴を抽出することをさらに含み、前記特徴は、
    前記ユーザの前記手首または前記腕の前記手の前記手の位置を規定する関節間の角度と、
    前記ユーザの前記手首または前記腕の前記手の前記手の位置の変化の低減された表現であって、前記低減された表現が、前記ユーザの前記手首または前記腕の前記手の前の手の位置から、前記ユーザの前記手首または前記腕の前記手の現在の手の位置の間の差を規定する、低減された表現と
    のうちの１つまたは複数を含む、請求項５５または５６に記載の方法。
58. プローブ信号の時間期間と、
    前記プローブ信号の振幅と、
    前記プローブ信号の位相と
    のうちの１つまたは複数を変動させることによって、前記ユーザの前記手首または前記腕中に前記プローブ信号を送信することをさらに含む、請求項５５から５７のいずれか一項に記載の方法。
59. 第１のセンサーによって、前記ユーザの前記手首または前記腕中にプローブ信号を送信することであって、他のセンサーによって送信される他のプローブ信号の送信に対して前記プローブ信号の前記送信をスタッガすることによって、プローブ信号を送信すること
    をさらに含む、請求項５５から５８のいずれか一項に記載の方法。
60. 慣性測定ユニットによって、前記ウェアラブルデバイスの移動に対応する慣性信号を生成することと、
    前記機械学習モデルとともに前記慣性信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を算出することと
    をさらに含む、請求項５５から５９のいずれか一項に記載の方法。
61. １つまたは複数のカメラによって、前記ユーザの前記手首または前記腕の前記手の画像信号を生成することと、
    前記機械学習モデルとともに前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を算出することと
    をさらに含む、請求項５５から６０のいずれか一項に記載の方法。
62. 慣性測定ユニットによって、前記ウェアラブルデバイスの移動に対応する慣性信号を生成することと、
    前記慣性信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を生成するように、前記機械学習モデルをトレーニングすることと
    をさらに含む、請求項５５から６１のいずれか一項に記載の方法。
63. １つまたは複数のカメラによって、前記ユーザの前記手首または前記腕の前記手の画像信号を生成することと、
    前記画像信号から導出された情報を使用して、前記ユーザの前記手首または前記腕の前記手の前記手の位置を表す前記出力を生成するように、前記機械学習モデルをトレーニングすることと
    をさらに含む、請求項５５から６２のいずれか一項に記載の方法。
64. １つまたは複数のカメラから、前記ユーザの前記手首または前記腕の前記手の画像信号を受信することと、
    前記画像信号を前記算出された出力と比較することによって比較信号を決定することと、
    前記比較信号をホストシステムに送信することと
    をさらに含む、請求項５５から６３のいずれか一項に記載の方法。

Images