JP2021535465A - 神経筋信号のカメラ誘導による解釈 - Google Patents

神経筋信号のカメラ誘導による解釈 Download PDF

Info

Publication number
JP2021535465A
JP2021535465A JP2021506985A JP2021506985A JP2021535465A JP 2021535465 A JP2021535465 A JP 2021535465A JP 2021506985 A JP2021506985 A JP 2021506985A JP 2021506985 A JP2021506985 A JP 2021506985A JP 2021535465 A JP2021535465 A JP 2021535465A
Authority
JP
Japan
Prior art keywords
user
image
information
neuromuscular
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021506985A
Other languages
English (en)
Inventor
アダム ベレンツヴァイク，
トーマス リアドン，
クリストファー オズボーン，
パトリック カイフォッシュ，
ブレット ジャーマン，
ダニエル ウェットモア，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of JP2021535465A publication Critical patent/JP2021535465A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報が使用される、コンピュータ化システム、方法、およびこれらの方法を実装するためのコードを記憶したコンピュータ可読記憶媒体が提供される。１つのそのようなシステムは、少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、ユーザからの複数の神経筋信号を感知して記憶するように構成された複数の神経筋センサーと、少なくとも１つのコンピュータプロセッサとを含む。複数の神経筋センサーは、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置される。少なくとも１つのコンピュータプロセッサは、複数の神経筋信号および少なくとも１つの画像に少なくとも部分的に基づいて、１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、１つまたは複数の推論モデルを較正するようにプログラムされる。【選択図】図１０

Description

関連出願の相互参照
本出願は、その内容全体が参照により本明細書に組み込まれる、「ＣＡＭＥＲＡ−ＧＵＩＤＥＤ ＩＮＴＥＲＰＲＥＴＡＴＩＯＮ ＯＦ ＮＥＵＲＯＭＵＳＣＵＬＡＲ ＳＩＧＮＡＬＳ」と題する２０１８年８月３１日に出願した、米国仮特許出願第６２／７２６、１５９号の米国特許法第１１９（ｅ）条による利益を主張するものである。
本技術は、拡張現実環境または仮想現実環境内で機能を実行する際に使用するための神経筋信号を検出および解釈し、神経筋信号を解釈するために使用されるモデルを較正する、システムおよび方法に関する。
人体の筋骨格表現を生成するいくつかのコンピュータアプリケーションにおいて、アプリケーションが、ユーザの身体の空間的位置調整、方向、および動きを知り、身体の動きの写実的表現を提供することが望ましい。たとえば、拡張現実（ＡＲ）環境または仮想現実（ＶＲ）環境内で、ユーザの手の空間的位置を追跡することは、アプリケーションがＡＲ環境またはＶＲ環境内で手の動きを表すことを可能にし、これは、ユーザがＡＲ環境またはＶＲ環境内で仮想オブジェクトと（たとえば、把持することまたは操作することによって）対話することができるようにする。ユーザの身体の異なる部分に関する位置情報および／または方向情報を取得するために、ユーザの身体の異なる部分に貼り付けられた慣性計測装置（ＩＭＵ）など、着用可能センサーを使用して、ユーザの身体の動きを追跡するための技法が開発されている。
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムが提供される。このシステムは、少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、少なくとも１つのコンピュータプロセッサとを備え得る。少なくとも１つのプロセッサは、複数の神経筋信号および少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、１つまたは複数の推論モデルを較正するようにプログラムされ得る。
一態様では、少なくとも１つのパラメータの更新は、１つまたは複数の推論モデルを較正するために、複数の神経筋信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルを較正するために少なくとも１つの画像に対応する画像信号が使用される前に、その画像信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新、１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新のうちのいずれか１つまたは任意の組み合わせを含み得る。
別の態様では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、少なくとも１つのカメラは、ユーザに対して固定されたロケーションに配設されたカメラを備え得る。
一態様では、少なくとも１つのカメラは、ユーザの上に装着されるように構成されたカメラを備え得る。
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
一態様では、１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、複数の神経筋信号、または複数の神経筋信号から導出された情報、または複数の神経筋信号および複数の神経筋信号から導出された情報の両方が１つまたは複数の推論モデルに対する入力として提供されるとき、少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように１つまたは複数の推論モデルをトレーニングすることを含み得る。
一態様では、コンピュータ化システムは、拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムをさらに備え得る。少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像に少なくとも部分的に基づいて、ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出し、ユーザによって実行されるジェスチャが特定のジェスチャに整合すると検出された場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新するようにさらにプログラムされ得る。
本態様の変形形態では、少なくとも１つのカメラは、ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備え得る。
本態様の別の変形形態では、少なくとも１つのコンピュータプロセッサは、特定のジェスチャを実行するためのユーザに対する可視プロンプトを提供するようにＸＲシステムに命令するようにさらにプログラムされ得る。
本態様の別の変形形態では、少なくとも１つのコンピュータプロセッサは、特定のジェスチャを実行するためのユーザに対する可聴プロンプトを提供するようにＸＲシステムに命令するようにさらにプログラムされ得る。
本態様の別の変形形態では、ジェスチャは、外部ソースからの命令に基づいてユーザによって実行され得る。
本態様の別の変形形態では、ユーザによって実行されるジェスチャと特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、ユーザによって実行されるジェスチャは特定のジェスチャに整合すると検出され得る。
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、手の視覚表現を備え得る。
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、ユーザに対する命令を備え得る。
本態様の別の変形形態では、特定のジェスチャを実行するためのユーザに対するプロンプトは、ユーザが見ることができるディスプレイスクリーン上に提供される特定のジェスチャの視覚表現であってよい。
本態様の様々な変形形態では、視覚表現はＸＲ環境内にあり得る。
本態様の変形形態では、特定のジェスチャは、動きまたは動的ジェスチャ、および姿勢または静止ジェスチャのうちの１つであってよい。
本態様の変形形態では、少なくとも１つの画像は、ユーザによるジェスチャの実行中に少なくとも１つのカメラによってキャプチャされ得、少なくとも１つのコンピュータプロセッサは、ユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックをユーザに提供させるようにさらにプログラムされ得る。一例では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内に完全に含まれているかどうかを示し得る。別の例では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内で完全にまたは部分的に遮蔽されているかどうかを示し得る。別の例では、少なくとも１つのコンピュータプロセッサは、フィードバックをＸＲ環境内で提供するようにＸＲシステムに命令し得る。別の例では、フィードバックは、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を含み得る。たとえば、可視フィードバックは、特定のジェスチャを実行するやり方を示す動画像または静止画像であってよい。
一態様では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメント（ｓｅｇｍｅｎｔ）に関する位置情報を含むかどうかを判定するようにさらにプログラムされ得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、複数の神経筋信号に対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することを含み得る。
一態様では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されるＸＲ環境内でタスクを実行するためにユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合するかどうかを検出し、ユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合する場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新するようにさらにプログラムされ得る。
本態様の変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、記憶されたジェスチャに整合すると検出され得る。
本態様の別の変形形態では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像に基づいて、ユーザに対応するユーザ固有の骨格形状を判定するようにさらにプログラムされ得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、判定されたユーザ固有の骨格形状に基づいて、１つまたは複数の推論モデルの少なくとも１つのパラメータを更新することを含み得る。
本態様の変形形態では、ユーザ固有の骨格形状は、ユーザの少なくとも１本の指の長さを備え得る。
一態様では、少なくとも１つのカメラは、複数の画像を時系列でキャプチャするように構成され得る。１つまたは複数の推論モデルの少なくとも１つのパラメータの更新は、時系列でキャプチャされた複数の画像に少なくとも部分的にさらに基づき得る。
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムの方法が提供される。この方法は、少なくとも１つのコンピュータプロセッサによって、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像および少なくとも１つの画像から導出された情報のうちの一方または両方を受信することと、少なくとも１つのコンピュータプロセッサによって、ユーザからの複数の神経筋信号、および複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、複数の神経筋信号が、ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、少なくとも１つのプロセッサによって、複数の神経筋信号および少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、１つまたは複数の推論モデルを較正することとを含み得る。
一態様では、少なくとも１つのパラメータの更新は、１つまたは複数の推論モデルを較正するために複数の神経筋信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルを較正するために少なくとも１つの画像に対応する画像信号が使用される前に、その画像信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新と、１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新のうちのいずれか１つまたは任意の組み合わせを含み得る。
一態様では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、少なくとも１つのカメラは、ユーザに対して固定されたロケーションに配設されたカメラを備え得る。
一態様では、少なくとも１つのカメラは、ユーザの上に装着されるように構成されたカメラを備え得る。
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
一態様では、１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、複数の神経筋信号、または複数の神経筋信号から導出された情報、または複数の神経筋信号および複数の神経筋信号から導出された情報の両方が１つまたは複数の推論モデルに対する入力として提供されるとき、少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように１つまたは複数の推論モデルをトレーニングすることを含み得る。
一態様では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像に少なくとも部分的に基づいて、ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、ユーザによって実行されるジェスチャが特定のジェスチャに整合すると検出された場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することとをさらに含み得る。少なくとも１つのプロセッサは、拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムと通信中であり得る。
本態様の変形形態では、少なくとも１つのカメラは、ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備え得る。
本態様の別の変形形態では、この方法は、少なくとも１つのプロセッサによって、特定のジェスチャを実行するためのユーザに対する可視プロンプトを提供するようにＸＲシステムに命令することをさらに含み得る。
本態様の別の変形形態では、この方法は、少なくとも１つのプロセッサによって、特定のジェスチャを実行するためのユーザに対する可聴プロンプトを提供するようにＸＲシステムに命令することをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、ジェスチャは、外部ソースからの命令に基づいてユーザによって実行され得る。
これらの態様のうちのいくつかの変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、特定のジェスチャに整合すると検出され得る。
これらの態様のうちのいくつかの変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、手の視覚表現を備え得る。
これらの態様のうちのいくつかの変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、ユーザに対する命令を備え得る。
これらの態様のうちのいくつかの変形形態では、特定のジェスチャを実行するためのユーザに対するプロンプトは、ユーザが見ることができるディスプレイスクリーン上に提供される特定のジェスチャの視覚表現であってよい。
これらの態様のうちのいくつかの変形形態では、視覚表現はＸＲ環境内にあり得る。
これらの態様のうちのいくつかの変形形態では、特定のジェスチャは、動きまたは動的ジェスチャ、および姿勢または静止ジェスチャのうちの１つであってよい。
これらの態様のうちのいくつかの変形形態では、少なくとも１つの画像は、ユーザによるジェスチャの実行中に、少なくとも１つのカメラによってキャプチャされ得る。この方法は、少なくとも１つのプロセッサが、ユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックをユーザに提供させることをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内に完全に含まれているかどうかを示し得る。
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内で完全または部分的に遮蔽されているかどうかを示し得る。
これらの態様のうちのいくつかの変形形態では、少なくとも１つのコンピュータプロセッサは、ＸＲシステムにフィードバックをＸＲ環境内に提供させ得る。
これらの態様のうちのいくつかの変形形態では、フィードバックは、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を備え得る。さらなる変形形態では、可視フィードバックは、特定のジェスチャを実行するやり方を示す動画像または静止画像であってよい。
一態様では、この方法は、少なくとも１つのコンピュータプロセッサによって、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むかどうかを判定することをさらに含み得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、複数の神経筋信号に対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することを含み得る。
一態様では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内でタスクを実行するためにユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合するかどうかを検出することと、ユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合する場合、少なくとも１つのプロセッサによって、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することとをさらに含み得る。
本態様の変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、記憶されたジェスチャに整合すると検出され得る。
本態様の別の変形形態では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、この方法は、少なくとも１つのコンピュータプロセッサによって、少なくとも１つの画像に基づいて、ユーザに対応するユーザ固有の骨格形状を判定することをさらに含み得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、判定されたユーザ固有の骨格形状に基づいて、１つまたは複数の推論モデルの少なくとも１つのパラメータを更新することを含み得る。
本態様の変形形態では、ユーザ固有の骨格形状は、ユーザの少なくとも１本の指の長さを備え得る。
一態様では、少なくとも１つのカメラは、複数の画像を時系列でキャプチャするように構成され得る。１つまたは複数の推論モデルの少なくとも１つのパラメータの更新は、時系列でキャプチャされた複数の画像に少なくとも部分的にさらに基づき得る。
本明細書で説明する技術の態様によれば、コードを記憶した非一時的コンピュータ可読記憶媒体であって、そのコードが、少なくとも１つのコンピュータによって実行されるとき、少なくとも１つのコンピュータに筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するための方法を実行させる、非一時的コンピュータ可読記憶媒体が提供される。この方法は、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像および少なくとも１つの画像から導出された情報のうちの一方または両方を受信することと、ユーザからの複数の神経筋信号、および複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、複数の神経筋信号が、ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、複数の神経筋信号および少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、１つまたは複数の推論モデルを較正することとを含み得る。
一態様では、少なくとも１つのパラメータの更新は、１つまたは複数の推論モデルを較正するために、複数の神経筋信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルを較正するために少なくとも１つの画像に対応する画像信号が使用される前に、その画像信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新、１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新のうちのいずれか１つまたは任意の組み合わせを含む。
一態様では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、少なくとも１つのカメラは、ユーザに対して固定されたロケーションに配設されたカメラを備え得る。
一態様では、少なくとも１つのカメラは、ユーザの上に装着されるように構成されたカメラを備え得る。
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
一態様では、１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、複数の神経筋信号、または複数の神経筋信号から導出された情報、または複数の神経筋信号および複数の神経筋信号から導出された情報の両方が１つまたは複数の推論モデルに対する入力として提供されるとき、少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように１つまたは複数の推論モデルをトレーニングすることを含み得る。
一態様では、少なくとも１つのコンピュータは、拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムと通信中であり得る。この方法は、少なくとも１つの画像に少なくとも部分的に基づいて、ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、ユーザによって実行されるジェスチャが特定のジェスチャに整合すると検出された場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することとをさらに含み得る。
本態様の変形形態では、少なくとも１つのカメラは、ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備え得る。
本態様の別の変形形態では、この方法は、特定のジェスチャを実行するためのユーザに対する可視プロンプトを提供するようにＸＲシステムに命令することをさらに含み得る。
本態様の別の変形形態では、この方法は、特定のジェスチャを実行するためのユーザに対する可聴プロンプトを提供するようにＸＲシステムに命令することをさらに含み得る。
本態様の別の変形形態では、ジェスチャは、外部ソースからの命令に基づいてユーザによって実行され得る。
本態様の別の変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、特定のジェスチャに整合すると検出され得る。
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、手の視覚表現を備え得る。
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、ユーザに対する命令を備え得る。
本態様の別の変形形態では、特定のジェスチャを実行するためのユーザに対するプロンプトは、ユーザが見ることができるディスプレイスクリーン上に提供される特定のジェスチャの視覚表現であってよい。
これらの態様のうちのいくつかの変形形態では、視覚表現はＸＲ環境内にあり得る。
これらの態様のうちのいくつかの変形形態では、特定のジェスチャは、動きまたは動的ジェスチャ、および姿勢または静止ジェスチャのうちの１つであってよい。
これらの態様のうちのいくつかの変形形態では、少なくとも１つの画像は、ユーザによるジェスチャの実行中に少なくとも１つのカメラによってキャプチャされ得る。この方法は、ユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックをユーザに提供させることをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内に完全に含まれているかどうかを示し得る。
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内で完全にまたは部分的に遮蔽されているかどうかを示し得る。
これらの態様のうちのいくつかの変形形態では、フィードバックはＸＲ環境内に提供させられ得る。
これらの態様のうちのいくつかの変形形態では、フィードバックは、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を備え得る。さらなる変形形態では、可視フィードバックは、特定のジェスチャを実行するやり方を示す動画像または静止画像であってよい。
一態様では、この方法は、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むかどうかを判定することをさらに含み得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、複数の神経筋信号に対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することを含み得る。
一態様では、この方法は、少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内でタスクを実行するためにユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャと整合するかどうかを検出することと、ユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャと整合する場合、少なくとも１つのプロセッサによって、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することとをさらに含み得る。
本態様の変更形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、記憶されたジェスチャに整合すると検出され得る。
これらの態様のうちのいくつかの変形形態では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
一態様では、この方法は、少なくとも１つの画像に基づいて、ユーザに対応するユーザ固有の骨格形状を判定することをさらに含み得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、判定されたユーザ固有の骨格形状に基づいて、１つまたは複数の推論モデルの少なくとも１つのパラメータを更新することを含み得る。
本態様の変形形態では、ユーザ固有の骨格形状は、ユーザの少なくとも１本の指の長さを備え得る。
一態様では、少なくとも１つのカメラは、複数の画像を時系列でキャプチャするように構成され得る。１つまたは複数の推論モデルの少なくとも１つのパラメータの更新は、時系列でキャプチャされた複数の画像に少なくとも部分的にさらに基づき得る。
本明細書で説明する技術の態様によれば、動的に更新された筋骨格情報を提供するためのコンピュータ化システムが提供される。このシステムは、少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、少なくとも１つのコンピュータプロセッサとを備え得る。少なくとも１つのプロセッサは、トレーニングされた推論モデルに対する入力として、複数の神経筋信号に基づく情報および少なくとも１つの画像に基づく情報を提供し、トレーニングされた推論モデルの出力に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、またはユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または位置情報および力情報の両方を判定し、位置情報、または力情報、または位置情報および力情報の両方を出力するようにプログラムされ得る。
一態様では、位置情報は、手の状態、手の状態の尤度、静止姿勢、静止姿勢の尤度、動的ジェスチャ、および動的ジェスチャの尤度のうちのいずれか１つまたは任意の組み合わせを含み得る筋骨格位置情報であってよい。
一態様では、少なくとも１つのコンピュータプロセッサは、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定し、複数の神経筋信号および少なくとも１つの画像に基づいて情報を判定するために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重するようにさらにプログラムされ得る。
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも１つのコンピュータプロセッサは、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定するようにさらにプログラムされ得る。
一態様では、２つ以上の接続された筋骨格セグメントは、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み得る。複数の神経筋センサーは、複数の筋電図（ＥＭＧ）センサーを含み得る。少なくとも１つのコンピュータプロセッサは、複数のＥＭＧセンサーから出力された複数の神経筋信号に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報を判定し、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する位置情報を判定するようにさらにプログラムされ得る。
一態様では、ユーザの手首、手首に接続された手、および手の指は、少なくとも１つの画像によってキャプチャされ得る。２つ以上の接続された筋骨格セグメントは、ユーザの手首、手、および指を含み得る。少なくとも１つのコンピュータプロセッサは、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報および力情報のうちの少なくとも１つを判定するようにプログラムされ得る。
本態様の変形形態では、少なくとも１つのカメラは、複数の神経筋信号が感知され記録される間に、少なくとも１つの画像をキャプチャし得る。１つまたは複数の着用可能デバイスは、複数の神経筋信号が感知され記録されるとき、ユーザの手首またはユーザの前腕の上に着用され得る。少なくとも１つのコンピュータプロセッサは、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定するようにプログラムされ得る。
これらの態様のうちのいくつかの変形形態では、コンピュータ化システムは、少なくとも１つの慣性計測装置（ＩＭＵ）センサーをさらに備え得る。少なくとも１つのコンピュータプロセッサは、少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的にさらに基づいて、前腕剛体セグメントに関する位置情報を判定するようにさらにプログラムされ得る。さらなる変形形態では、少なくとも１つのコンピュータプロセッサは、少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的に基づいて、前腕剛体セグメントの初期の位置を判定し、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する初期の位置情報を調整するようにプログラムされ得る。
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
一態様では、トレーニングされた推論モデルは、少なくとも１つの画像に少なくとも部分的に基づいて位置情報を判定し、複数の神経筋信号に基づいて力情報を判定するようにトレーニングされ得る。
本態様の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像のみに基づいて、位置情報を判定するようにトレーニングされ得る。
本態様の別の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの接続された筋骨格セグメントのうちの少なくとも２つが接触していることを判定することによって、位置情報を判定し得る。トレーニングされた推論モデルは、複数の神経筋信号に基づいて、接触している、ユーザの接続された筋骨格セグメントのうちの少なくとも２つの間にかけられた力を判定することによって、力情報を判定し得る。
様々なさらなる変形形態では、ユーザの接続された筋骨格セグメントのうちの少なくとも２つは、ユーザの親指およびユーザの少なくとも１本の他の指を含み得る。トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指とユーザの少なくとも１本の他の指とが接触していると判定し得る。トレーニングされた推論モデルは、ユーザの親指とユーザの少なくとも１本の他の指との間にかけられた力を判定し得る。トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指の先とユーザの少なくとも１本の他の指の先とが接触しているとさらに判定し得る。
一態様では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置を判定し、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置に少なくとも部分的に基づいて、位置情報、または力情報、または位置情報および力情報の両方を判定するようにさらにプログラムされ得る。
本態様の変形形態では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像から、ユーザが物理的オブジェクトまたは仮想オブジェクトを把持していると判定し、複数の神経筋信号のみに基づいて、力情報を判定するようにプログラムされ得る。
本態様の別の変形形態では、物理的オブジェクトは、柔軟な（ｐｌｉａｂｌｅ）面を有し得る。少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像内でキャプチャされた柔軟な面における変形に基づいて、ユーザが物理的オブジェクトを把持していると判定し、複数の神経筋信号、および少なくとも１つの画像内でキャプチャされた柔軟な面における変形のうちの一方または両方に基づいて、力情報を判定するようにプログラムされ得る。
これらの態様のうちのいくつかの変形形態では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
これらの態様のうちのいくつかの変形形態では、複数の神経筋信号に基づく情報は、複数の神経筋信号および複数の神経筋信号から導出された情報のうちの一方または両方を備え得る。
これらの態様のうちのいくつかの変形形態では、少なくとも１つの画像に基づく情報は、少なくとも１つの画像の画像信号および少なくとも１つの画像の画像信号から導出された情報のうちの一方または両方を備え得る。
これらの態様のうちのいくつかの変形形態では、物理的オブジェクトは面であってよい。少なくとも１つのコンピュータプロセッサは、面に対する手の少なくとも一部分の位置に少なくとも部分的に基づいて、力情報を判定するようにさらにプログラムされ得る。
これらの態様のうちのいくつかの変形形態では、仮想オブジェクトは、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内に表示される仮想オブジェクトであってよい。少なくとも１つのコンピュータプロセッサは、ユーザの手がＸＲ環境内で仮想オブジェクトに接触しているかどうかに基づいて、位置情報を判定するようにさらにプログラムされ得る。
本明細書で説明する技術の態様によれば、動的に更新された筋骨格情報を提供するためのコンピュータ化システムの方法が提供される。この方法は、少なくとも１つのプロセッサによって、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、少なくとも１つのプロセッサによって、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、複数の神経筋センサーが、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置される、複数の神経筋信号を受信することと、少なくとも１つのプロセッサによって、トレーニングされた推論モデルに対する入力として、複数の神経筋信号に基づく情報および少なくとも１つの画像に基づく情報を提供することと、少なくとも１つのプロセッサによって、トレーニングされた推論モデルの出力に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、またはユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または位置情報および力情報の両方を判定することと、少なくとも１つのプロセッサによって、位置情報、または力情報、または位置情報および力情報の両方を出力することとを含み得る。
一態様では、位置情報は、手の状態、手の状態の尤度、静止姿勢、静止姿勢の尤度、動的ジェスチャ、および動的ジェスチャの尤度のうちのいずれか１つまたは任意の組み合わせを含む筋骨格位置情報であってよい。
一態様では、この方法は、少なくとも１つのプロセッサによって、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定することと、少なくとも１つのプロセッサによって、複数の神経筋信号および少なくとも１つの画像に基づいて情報を判定するために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重することとをさらに含み得る。
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、この方法は、少なくとも１つのプロセッサによって、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定することをさらに含み得る。
一態様では、２つ以上の接続された筋骨格セグメントは、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み得る。複数の神経筋センサーは、複数の筋電図（ＥＭＧ）センサーを含み得る。この方法は、少なくとも１つのプロセッサによって、複数のＥＭＧセンサーから出力された複数の神経筋信号に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報を判定することと、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。
一態様では、ユーザの手首、手首に接続された手、および手の指は、少なくとも１つの画像によってキャプチャされ得る。２つ以上の接続された筋骨格セグメントは、ユーザの手首、手、および指を含み得る。この方法は、少なくとも１つのプロセッサによって、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報および力情報のうちの少なくとも１つを判定することをさらに含み得る。
本態様の変形形態では、少なくとも１つのカメラは、複数の神経筋信号が感知され記録される間に、少なくとも１つの画像をキャプチャし得る。１つまたは複数の着用可能デバイスは、複数の神経筋信号が感知され記録されるとき、ユーザの手首またはユーザの前腕の上に着用され得る。この方法は、少なくとも１つのプロセッサによって、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定することをさらに含み得る。
本態様のうちのいくつかの変形形態では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの慣性計測装置（ＩＭＵ）センサーによって感知され記録されたＩＭＵ信号を受信することと、少なくとも１つのプロセッサによって、ＩＭＵ信号に少なくとも部分的にさらに基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。さらなる変形形態では、この方法は、少なくとも１つのプロセッサによって、ＩＭＵ信号に少なくとも部分的に基づいて、前腕剛体セグメントの初期の位置を判定することと、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する初期の位置情報を調整することとを含み得る。
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
一態様では、トレーニングされた推論モデルは、少なくとも１つの画像に少なくとも部分的に基づいて位置情報を判定し、複数の神経筋信号に基づいて力情報を判定するようにトレーニングされ得る。
本態様の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像のみに基づいて、位置情報を判定するようにトレーニングされ得る。
本態様の別の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの接続された筋骨格セグメントのうちの少なくとも２つが接触していると判定することによって、位置情報を判定し得る。トレーニングされた推論モデルは、複数の神経筋信号に基づいて、接触している、ユーザの接続された筋骨格セグメントのうちの少なくとも２つの間にかけられた力を判定することによって、力情報を判定し得る。
これらの態様のうちのいくつかの変形形態では、ユーザの接続された筋骨格セグメントのうちの少なくとも２つは、ユーザの親指およびユーザの少なくとも１本の他の指を含み得る。トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指とユーザの少なくとも１本の他の指とが接触していると判定し得る。トレーニングされた推論モデルは、ユーザの親指とユーザの少なくとも１本の他の指との間にかけられた力を判定し得る。さらなる変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指の先とユーザの少なくとも１本の他の指の先とが接触していると判定し得る。
一態様では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置を判定することと、少なくとも１つのプロセッサによって、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置に少なくとも部分的に基づいて、位置情報、または力情報、または位置情報および力情報の両方を判定することとをさらに含み得る。
本態様の変形形態では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像に基づいて、ユーザが物理的オブジェクトまたは仮想オブジェクトを把持していると判定することと、少なくとも１つのプロセッサによって、複数の神経筋信号のみに基づいて、力情報を判定することとをさらに含み得る。
本態様の別の変形形態では、物理的オブジェクトは、柔軟な面を有し得る。この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像内でキャプチャされた柔軟な面における変形に基づいて、ユーザが物理的オブジェクトを把持しているかどうかを判定することと、少なくとも１つのプロセッサによって、複数の神経筋信号、および少なくとも１つの画像内でキャプチャされた柔軟な面における変形のうちの一方または両方に基づいて、力情報を判定することとをさらに含み得る。
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
一態様では、複数の神経筋信号に基づく情報は、複数の神経筋信号および複数の神経筋信号から導出された情報のうちの一方または両方を備え得る。
一態様では、少なくとも１つの画像に基づく情報は、少なくとも１つの画像の画像信号および少なくとも１つの画像の画像信号から導出された情報のうちの一方または両方を備え得る。
これらの態様のうちのいくつかの変形形態では、物理的オブジェクトは面であり得る。この方法は、少なくとも１つのプロセッサによって、その面に対する手の少なくとも一部分の位置に少なくとも部分的に基づいて、力情報を判定することをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、仮想オブジェクトは、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内で表示される仮想オブジェクトであってよい。この方法は、少なくとも１つのプロセッサによって、ユーザの手がＸＲ環境内で仮想オブジェクトに接触しているかどうかに基づいて、位置情報を判定することをさらに含み得る。
本明細書で説明する技術の態様によれば、コードを記憶した非一時的コンピュータ可読記憶媒体であって、コードが、少なくとも１つのコンピュータによって実行されるとき、少なくとも１つのコンピュータに、動的に更新された筋骨格情報を提供するための方法を実行させる、非一時的コンピュータ可読記憶媒体が提供される。この方法は、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、複数の神経筋センサーが、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置される、複数の神経筋信号を受信することと、トレーニングされた推論モデルに対する入力として、複数の神経筋信号に基づく情報および少なくとも１つの画像に基づく情報を提供することと、トレーニングされた推論モデルの出力に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、またはユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または位置情報および力情報の両方を判定することと、位置情報、または力情報、または位置情報および力情報の両方を出力することとを含み得る。
一態様では、位置情報は、手の状態、手の状態の尤度、静止姿勢、静止姿勢の尤度、動的ジェスチャ、および動的ジェスチャの尤度のうちのいずれか１つまたは任意の組み合わせを含み得る筋骨格位置情報であってよい。
一態様では、この方法は、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定することと、複数の神経筋信号および少なくとも１つの画像に基づいて情報を判定するために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重することとをさらに含み得る。
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、この方法は、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定することをさらに含み得る。
一態様では、２つ以上の接続された筋骨格セグメントは、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み得る。複数の神経筋センサーは、複数の筋電図（ＥＭＧ）センサーを含み得る。この方法は、複数のＥＭＧセンサーから出力された複数の神経筋信号に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報を判定することと、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。
一態様では、ユーザの手首、手首に接続された手、および手の指は、少なくとも１つの画像によってキャプチャされ得る。２つ以上の接続された筋骨格セグメントは、ユーザの手首、手、および指を含み得る。この方法は、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報および力情報のうちの少なくとも１つを判定することをさらに含み得る。
本態様の変形形態では、少なくとも１つのカメラは、複数の神経筋信号が感知され記録される間に、少なくとも１つの画像をキャプチャし得る。１つまたは複数の着用可能デバイスは、複数の神経筋信号が感知され記録されるとき、ユーザの手首の上またはユーザの前腕の上に着用され得る。この方法は、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定することをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、この方法は、少なくとも１つの慣性計測装置（ＩＭＵ）センサーによって感知され記録されたＩＭＵ信号を受信することと、ＩＭＵ信号に少なくとも部分的にさらに基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。さらなる変形形態では、この方法は、ＩＭＵ信号に少なくとも部分的に基づいて、前腕剛体セグメントの初期の位置を判定することと、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する初期の位置情報を調整することとを含み得る。
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
一態様では、トレーニングされた推論モデルは、少なくとも１つの画像に少なくとも部分的に基づいて位置情報を判定し、複数の神経筋信号に基づいて力情報を判定するようにトレーニングされ得る。
本態様の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像のみに基づいて、位置情報を判定するようにトレーニングされ得る。
本態様の別の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの接続された筋骨格セグメントのうちの少なくとも２つが接触していると判定することによって、位置情報を判定し得る。トレーニングされた推論モデルは、複数の神経筋信号に基づいて、接触している、ユーザの接続された筋骨格セグメントのうちの少なくとも２つの間にかけられた力を判定することによって、力情報を判定し得る。
これらの態様のうちのいくつかの変形形態では、ユーザの接続された筋骨格セグメントのうちの少なくとも２つは、ユーザの親指およびユーザの少なくとも１本の他の指を含み得る。トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指とユーザの少なくとも１本の他の指とが接触していると判定し得る。トレーニングされた推論モデルは、ユーザの親指とユーザの少なくとも１本の他の指との間にかけられた力を判定し得る。さらなる変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指の先とユーザの少なくとも１本の他の指の先とが接触していると判定し得る。
一態様では、この方法は、少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置を判定することと、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置に少なくとも部分的に基づいて、位置情報、または力情報、または位置情報および力情報の両方を判定することとをさらに含み得る。
本態様の変形形態では、この方法は、少なくとも１つの画像に基づいて、ユーザが物理的オブジェクトまたは仮想オブジェクトを把持していると判定することと、複数の神経筋信号のみに基づいて、力情報を判定することとをさらに含み得る。
本態様の別の変形形態では、物理的オブジェクトは柔軟な面を有し得る。この方法は、少なくとも１つの画像内でキャプチャされた柔軟な面における変形に基づいて、ユーザが物理的オブジェクトを把持しているかどうかを判定することと、複数の神経筋信号、および少なくとも１つの画像内でキャプチャされた柔軟な面における変形のうちの一方または両方に基づいて、力情報を判定することとをさらに含み得る。
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
一態様では、複数の神経筋信号に基づく情報は、複数の神経筋信号および複数の神経筋信号から導出された情報のうちの一方または両方を含み得る。
一態様では、少なくとも１つの画像に基づく情報は、少なくとも１つの画像の画像信号および少なくとも１つの画像の画像信号から導出された情報のうちの一方または両方を含み得る。
これらの態様のうちのいくつかの変形形態では、物理的オブジェクトは面であってよい。この方法は、その面に対する手の少なくとも一部分の位置に少なくとも部分的に基づいて、力情報を判定することをさらに含み得る。
これらの態様のうちのいくつかの変形形態では、仮想オブジェクトは、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内で表示される仮想オブジェクトであってよい。この方法は、ユーザの手がＸＲ環境内で仮想オブジェクトに接触しているかどうかに基づいて、位置情報を判定することをさらに含み得る。
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムが提供される。このシステムは、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、複数の神経筋信号が感知され記録される間に、少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、少なくとも１つのコンピュータプロセッサとを備え得る。少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像から取得された情報に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定し、複数の神経筋信号に基づいて力情報を判定し、位置情報を力情報に関連付け、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、位置情報、または力情報、または位置情報および力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングし、更新された推論モデルをメモリ内に記憶させるようにプログラムされ得る。
一態様では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像から取得された情報および複数の神経筋信号から取得された情報に基づいて、位置情報を判定し得る。
一態様では、少なくとも１つの画像は、ビデオを形成する一連の時系列画像を備え得る。
一態様では、筋骨格表現は、ユーザの手の状態、ユーザの静止姿勢、およびユーザの動的ジェスチャのうちのいずれか１つまたは任意の組み合わせに対応し得る。
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
一態様では、少なくとも１つのコンピュータプロセッサは、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定し、推論モデルをトレーニングするために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重するようにプログラムされ得る。
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも１つのコンピュータプロセッサは、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定するようにさらにプログラムされ得る。
一態様では、少なくとも１つの所定の特性は、神経筋入力信号の１つのアーチファクトの存在、神経筋入力信号の複数のアーチファクトの存在、神経筋入力信号の複数のアーチファクトの相対的位置、神経筋入力信号の振幅範囲、および神経筋入力信号のアーチファクトの周期周波数のうちのいずれか１つまたは任意の組み合わせを備え得る。
一態様では、コンピュータ化システムは、少なくとも１つの慣性計測装置（ＩＭＵ）センサーをさらに備え得る。少なくとも１つのコンピュータプロセッサは、少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的に基づいて、位置情報を判定するようにさらにプログラムされ得る。
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムの方法が提供される。この方法は、少なくとも１つのプロセッサによって、ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、ユーザの複数の神経筋信号を受信することと、少なくとも１つのプロセッサによって、複数の神経筋信号が感知され記録される間に、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、少なくとも１つのプロセッサによって、少なくとも１つの画像から取得された情報に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、少なくとも１つのプロセッサによって、複数の神経筋信号に基づいて力情報を判定することと、少なくとも１つのプロセッサによって、位置情報を力情報に関連付けることと、少なくとも１つのプロセッサによって、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、位置情報、または力情報、または位置情報および力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングすることと、少なくとも１つのプロセッサによって、更新された推論モデルをメモリ内に記憶させることとを含み得る。
一態様では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像から取得された情報および複数の神経筋信号から取得された情報に基づいて、位置情報を判定することをさらに含み得る。
一態様では、少なくとも１つの画像は、ビデオを形成する一連の時系列画像を備え得る。
一態様では、筋骨格表現は、ユーザの手の状態、ユーザの静止姿勢、およびユーザの動的ジェスチャのうちのいずれか１つまたは任意の組み合わせに対応し得る。
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
一態様では、この方法は、少なくとも１つのプロセッサによって、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定することと、少なくとも１つのプロセッサによって、推論モデルをトレーニングするために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重することとをさらに含み得る。
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、この方法は、少なくとも１つのプロセッサによって、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定することをさらに含み得る。
一態様では、少なくとも１つの所定の特性は、神経筋入力信号の１つのアーチファクトの存在、神経筋入力信号の複数のアーチファクトの存在、神経筋入力信号の複数のアーチファクトの相対的位置、神経筋入力信号の振幅範囲、および神経筋入力信号のアーチファクトの周期周波数のうちのいずれか１つまたは任意の組み合わせを備え得る。
一態様では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの慣性計測装置（ＩＭＵ）センサーから出力されたＩＭＵ信号を受信することと、少なくとも１つのプロセッサによって、少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的に基づいて、位置情報を判定することとをさらに含み得る。
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
本明細書で説明する技術の態様によれば、コードを記録した非一時的コンピュータ可読記憶媒体であって、コードが、少なくとも１つのコンピュータによって実行されるとき、少なくとも１つのコンピュータに、筋骨格表現を生成するために使用される推論モデルをトレーニングするための方法を実行させる、非一時的コンピュータ可読記憶媒体が提供される。この方法は、ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知および記録される、ユーザの複数の神経筋信号を受信することと、複数の神経筋信号が感知され記録される間に、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、少なくとも１つの画像から取得された情報に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、複数の神経筋信号に基づいて力情報を判定することと、位置情報を力情報に関連付けることと、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、位置情報、または力情報、または位置情報および力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングすることと、更新された推論モデルをメモリ内に記憶させることとを含み得る。
一態様では、この方法は、少なくとも１つの画像から取得された情報および複数の神経筋信号から取得された情報に基づいて、位置情報を判定することをさらに含み得る。
一態様では、少なくとも１つの画像は、ビデオを形成する一連の時系列画像を備え得る。
一態様では、筋骨格表現は、ユーザの手の状態、ユーザの静止姿勢、およびユーザの動的ジェスチャのうちのいずれか１つまたは任意の組み合わせに対応し得る。
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
一態様では、この方法は、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定することと、推論モデルをトレーニングするために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重することとをさらに含み得る。
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
本態様の別の変形形態では、この方法は、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定することをさらに含み得る。
一態様では、少なくとも１つの所定の特性は、神経筋入力信号の１つのアーチファクトの存在、神経筋入力信号の複数のアーチファクトの存在、神経筋入力信号の複数のアーチファクトの相対的位置、神経筋入力信号の振幅範囲、および神経筋入力信号のアーチファクトの周期周波数のうちのいずれか１つまたは任意の組み合わせを備え得る。
一態様では、この方法は、少なくとも１つの慣性計測装置（ＩＭＵ）センサーから出力されたＩＭＵ信号を受信することと、少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的に基づいて、位置情報を判定することとをさらに含み得る。
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
前述の概念および以下でより詳細に論じる追加の概念のすべての組み合わせは（そのような概念が相矛盾しないことを条件に）本明細書で開示する発明性のある主題の部分であると企図されることを諒解されたい。具体的には、本開示の最後に出現する、特許請求される主題のすべての組み合わせは、本明細書で開示する発明性のある主題の部分であることが企図される。
本技術の様々な非限定的な実施形態は、以下の図面を参照しながら説明される。これらの図面は必ずしも一定の尺度で示されているとは限らないことを諒解されたい。
本明細書で説明する技術のいくつかの実施形態による、神経筋センサーから取得された信号など、センサーデータを処理するためのコンピュータベースシステムの概略図である。 本明細書で説明する技術のいくつかの実施形態による、拡張現実（ＡＲ）システムを神経筋活動システムと統合する分散型コンピュータベースシステムの概略図である。 本明細書で説明する技術のいくつかの実施形態による、神経筋信号およびカメラデータを処理するためのプロセスのフローチャートである。 本明細書で説明する技術のいくつかの実施形態による、ＸＲシステム内でジェスチャ情報を処理するためのプロセスのフローチャートである。 本明細書で説明する技術のいくつかの実施形態による、神経筋信号とカメラデータとを統合し、フィードバックをユーザに提供するためのプロセスのフローチャートである。 本明細書で説明する技術のいくつかの実施形態による、カメラデータに基づいて推論モデルを更新するためのプロセスのフローチャートである。 本明細書で説明する技術のいくつかの実施形態による、カメラデータに基づいて推論モデルを更新するためのプロセスのフローチャートである。 本明細書で説明する技術のいくつかの実施形態による、位置情報および力情報を判定するためのプロセスのフローチャートである。 本明細書で説明する技術のいくつかの実施形態による、入力信号の品質を判定し、それらの品質に基づいてモデル関数を実行するためのプロセスのフローチャートである。 本明細書で説明する技術のいくつかの実施形態による、ＥＭＧセンサーおよびカメラを使用する、１つの例示的な実装形態を示す図である。 本明細書で説明する技術のいくつかの実施形態による、代表的な入力および出力を備えた、トレーニングされた推論モデルを示す図である。 本明細書で説明する技術のいくつかの実施形態による、周辺にＥＭＧセンサーを配置したリストバンドを示す図である。 本明細書で説明する技術のいくつかの実施形態による、ユーザの前腕または手首の周りに着用されるように構成されたバンドの周り周辺に配置された１６個のＥＭＧセンサーを備えた着用可能システムを示す図である。 図１３Ａに示した１６個のＥＭＧセンサーのうちの１つを通した断面図である。 本明細書で説明する技術のいくつかの実施形態が実装されるコンピュータベースシステムの構成要素を概略的に示す図であり、図１４Ａは、コンピュータベースシステムの着用可能部分を示し、図１４Ｂは、着用可能部分と通信するように構成された、コンピュータに接続されたドングル部分を示す。
いくつかの実施形態は、神経筋センサーを介して神経筋信号を感知するシステムを、拡大現実（ＸＲ）機能を実行するシステムに結合させることに関する。諒解されるように、ＸＲ機能は、拡張現実（ＡＲ）機能、仮想現実（ＶＲ）機能、複合現実（ＭＲ）機能、などを含み得る。具体的には、身体部分（たとえば、手、腕、など）の位置を判定するために神経筋信号を感知するシステムは、改善されたＸＲ体験をユーザに提供するためにＸＲシステムと併せて使用され得る。たとえば、両方のシステム内で得られた情報は、全体的なＸＲ体験を改善するために使用され得る。身体部分に関連する筋骨格表現がセンサーデータに基づいて生成される実施形態では、ＸＲシステム内のカメラは、筋骨格表現のモデルの精度を改善するために使用される、および／またはモデルを較正するために使用され得るデータをキャプチャし得る。さらに、別の実装形態では、センサーデータは、ＸＲ環境内でユーザに対して可視化され表示され得る筋肉活性化情報を提供し得る。さらに別の実装形態では、ＸＲ環境内の表示情報は、ユーザがシステムに対するそのユーザの筋骨格入力（たとえば、動き入力）をより正確に制御することを可能にするためのユーザに対するフィードバックとして使用され得る。さらに、神経筋信号が、ＸＲシステム自体の動作を含めて、ＸＲシステム要素を制御することを可能にする制御特徴が提供され得る。
本発明者らは、カメラまたは神経筋センサーのいずれも、それ自体、理想的な入力システムではないことを認識している。ＸＲシステムによって提供されるカメラなどのカメラは、関節セグメントが明らかに視野内にあるとき、（他の骨格セグメントと外部オブジェクトの両方に対して）良好な位置情報を提供し得るが、視野の制約および遮蔽により限定される可能性があり、力の測定には不適切であり得る。同時に、神経筋センサー（たとえば、筋電図（ＥＭＧ）信号、または本明細書で説明するような神経筋信号の別のモダリティ）による信号の測定は、それ自体では、ユーザが自らにかけている力とユーザが外部オブジェクトにかけている力との間を区別するには不十分である可能性があり、そのような信号は、骨格形状、たとえば、指の長さに関して十分正確な情報を提供し得ない。いくつかの実施形態によれば、より正確かつより現実的なユーザ体験を提供するために、ＸＲシステムおよび神経筋センサーベースのシステムの精度を高めることは有益であることを諒解されたい。
諒解されるように、推論モデルは、ユーザのタイプ（たとえば、典型的な成人男性、典型的な子ども、典型的な成人女性）に対する一般化された骨格形状に関連し得るか、または特定のユーザ（たとえば、Ｊａｎｅ Ｍｉｌｌｅｒ、Ｈｅｎｒｙ Ｓｍｉｔｈ）に対するユーザ固有の骨格情報に関連し得る。
いくつかの実施形態によれば、システムは、神経筋信号、および動きおよび力発生に対する神経筋信号の関係の解釈を改善するためにカメラ情報を使用するように構成される。たとえば、ユーザの身体のセグメントの位置、ユーザの身体の動き、および／またはユーザの身体のセグメントによってもたらされる力の表現をより正確に表すために、神経筋信号に関連して、インサイドアウトカメラ（ｉｎｓｉｄｅ−ｏｕｔ ｃａｍｅｒａ）および／またはＸＲシステムに関連する他のカメラシステムが使用され得る。たとえば、画像、ビデオ、画像の時系列、など、カメラ情報が、神経筋信号からのデータに対してグラウンドトゥルースラベルを提供することによって神経筋系を較正するために使用され得る。一実装形態では、システムは、ＸＲディスプレイまたは他のスクリーン（スマートフォン、スマートウォッチ、タブレットコンピュータ、ラップトップ、デスクトップコンピュータ、ＡＲディスプレイ、ＶＲディスプレイ、などを含み得る）を通してユーザに提供されるプロンプト（たとえば、手のジェスチャ、視覚的または可聴的に提供される言語情報（たとえば、語（たとえば、「拳」）または句（たとえば、「親指を立てるジェスチャをする」））を使用して較正動作を実行することができ、ここで、ユーザは、整合がいつ生じるかを検出する際に、随意に、カメラの助けを得て、自らの手の姿勢をＸＲディスプレイ上に投影された手の姿勢と整合させるように求められる。さらに、カメラデータを使用して骨格形状の形状モデルを較正するなど、神経筋系を較正するために、他のタイプのカメラデータが使用され得る。たとえば、形状モデルの指の長さは、カメラデータを使用して検証および／または補正され得る。別の例では、ユーザの身体の２つ以上の部分が接触している（たとえば、親指の先と人差し指の先が「摘まむ」姿勢で接触している）と判定するためにカメラ情報が使用され得る。そのような場合、ユーザの身体の１つまたは複数の部分（すなわち、手、指、および／または手首）を自動的に識別し、ユーザの身体のそれらの部分の相対的位置を判定するために画像が処理され得る。たとえば、処理されたカメラ情報は、四元数、またはユーザの身体の一部分のセグメントおよび関節を表すための別の数学的枠組みに変換され得る。
いくつかの実施形態では、神経筋信号、カメラデータ、または両方が、筋骨格表現またはジェスチャのリアルタイム判定を提供するために使用され得る。たとえば、神経筋（たとえば、ＥＭＧ）情報およびＩＭＵ情報はより正確な筋骨格表現を判定するために使用され得るため、さらにいっそう正確かつ一致した表現を作成するために、カメラデータなど、他のデータが使用され得る。さらに、リアルタイム筋骨格表現を判定するために、数あるセンサーデータの中でも、１つまたは複数のカメラからの信号、１つまたは複数のデバイスからの神経筋信号を含むが、これらに限定されない、複数の信号が使用され得ることを諒解されたい。ＩＭＵデータおよび／またはカメラデータなど、他のデータが、筋骨格表現に対する推論モデルをトレーニングし改善するために、ならびに骨格位置のリアルタイム表現を改善するために使用され得る。諒解されるように、推論モデルは、結果を推論するために確率分布に基づいて統計的推計を利用するモデルであり得、この点で、推論モデルは、統計モデルを備え得る。
本明細書で使用される「ジェスチャ」という用語は、１つまたは複数の身体部分の位置を含む、１つまたは複数の身体部分およびその構成に関連する力の統計的または動的な構成を指す。たとえば、ジェスチャは、手のひらを固体面の上に置くかもしくは押し付ける、またはボールを把持するなど、離散的ジェスチャ、指を前後に振る、ボールを把持して投げるなど、連続ジェスチャ、または離散的ジェスチャと連続ジェスチャの組み合わせを含む。ジェスチャは、対立筋を共収縮することまたは筋肉下（ｓｕｂ−ｍｕｓｃｕｌａｒ）活性化を使用することによって、関節を若干緊張させるなど、別の人物には知覚できない、内密の（ｃｏｖｅｒｔ）ジェスチャを含み得る。ジェスチャは、ジェスチャを実行するようにユーザを促すように構成されたアプリケーションによって定義され得るか、または代替として、ジェスチャは、ユーザによって任意に定義され得る。ユーザによって実行されるジェスチャは、象徴的なジェスチャ（たとえば、他のジェスチャ、対話、またはコマンドへのマッピングを指定するジェスチャ語彙に基づいて、たとえば、他のジェスチャ、対話、またはコマンドにマッピングされたジェスチャ）を含み得る。場合によっては、手および腕のジェスチャは、象徴的であり得、文化的基準に従って通信するために使用され得る。
いくつかの実施形態では、システムは、神経筋信号とカメラデータ（たとえば、カメラからのカメラ信号または画像信号）を組み合わせて、ユーザの身体のセグメント（すなわち、骨格セグメント）の位置を推論または再構築し得る。システムは、その信号の品質に基づいて、各信号に与えられた影響レベルを調整するように適合され得る。カメラ信号（たとえば、カメラからの画像信号）の場合、信号を信頼できないないものまたは不正確にさせる視野制限または遮蔽制限が存在し得る。ＥＭＧセンサーからの信号など、神経筋信号の場合、ＥＭＧ信号を信頼できないものにする、生み出されたＥＭＧアーチファクトが存在し得る（または、以下で説明するように、他のアーチファクトが神経筋信号の代替モダリティから導出された神経筋信号内に存在する）。そのような場合、システムは、（たとえば、手の状態またはジェスチャを判定するために）信号のうちのいずれかが使用されるべきか、または両方が使用されるべきかを判定するために、信号の各々の品質レベルを査定するように構成され得る。システムは、異なるタイプの信号源（たとえば、異なるセンサータイプ）の間で信号が使用される程度を調整するために、加重方法または別の組み合わせ方法を使用することもできる。また、特定の信号源に対する信頼性が高いとき、別のソースまたはモデルをトレーニングおよび／または補正するために、そのソースからの信号が使用され得る。たとえば、手がカメラの明瞭な視野内にある場合、神経筋信号の品質が評価され得、手の状態モデルの再トレーニングが実行され得る。
いくつかの実施形態では、システムは、神経筋信号に基づいて筋骨格表現を生成するための第１の推論モデル、およびカメラ入力（すなわち、カメラから取得された入力）に基づいて筋骨格表現を生成するため第２の推論モデルを含み得る。システムは、ユーザの手のすべてまたは一部分がカメラの視野内にあるかどうかなど、カメラ入力に関連する情報に少なくとも部分的に基づいて、ユーザの手の状態を表すために、第１の推論モデルの使用と第２の推論モデルの使用との間を遷移するように構成され得る。たとえば、ユーザの手（または、ユーザの身体の別の部分）がカメラの視野の中にあるとき、ユーザの手のセグメントの位置を判定するために、第２の推論モデルが使用されてよく、ユーザの手が完全にまたは部分的にカメラの視野の外にあるとき（ユーザの身体が完全にまたは部分的に遮蔽されている場合を含めて）、手の状態を表すユーザの手のセグメントの部分を判定するために、第１の推論モデルが使用されてよい。代替実装形態として、神経筋信号およびカメラ入力の両方を受信する単一の推論モデルが使用されてよく、上記で説明したように、入力の寄与が加重され得る。ユーザの手がカメラの視野の外にある場合、ユーザの手がカメラの視野の外にあるとき、位置情報を推定するためのカメラ入力の信頼の欠如を反映するために、カメラ入力加重は、ゼロまたは何らかの他の小さな値に設定され得る。
いくつかの実施形態では、１つまたは複数のカメラからのデータは、腕、手、前腕、またはユーザの身体の別の部分の位置を判定するために使用され得る。また、カメラデータは、前腕の方向を測定するためにＩＭＵ情報を使用し、手および手首の構成および力を判定するために神経筋信号を使用して、前腕位置のＩＭＵベースの推定におけるズレの除去に努めるために使用され得る。この実施形態では、特に、ＩＭＵベースのシステムを精錬して、多関節剛体（ａｒｔｉｃｕｌａｔｅｄ ｒｉｇｉｄ ｂｏｄｉｅｓ）の１つまたは複数の位置を追跡するためにカメラが使用されるとき、神経筋センサーの帯域（たとえば、ＥＭＧセンサーの帯域）に対する位置追跡基準マークが使用され得る。諒解されるように、単一のカメラからのデータが使用されてよく、または２つ以上のカメラからのデータが使用されてもよい。
いくつかの実施形態によれば、カメラデータは、オブジェクト（たとえば、手、指、または別の物理的オブジェクト）が力を受けているかどうかを判定するために使用され得る。たとえば、カメラデータは、誰かが自由に移動しているかまたはオブジェクトおよび／または面（ユーザの身体の別の部分を含み得る）に押し付けているかを区別し、どのオブジェクトおよび／または面が対話の対象であるか、面および／またはオブジェクト上のどの位置が接触されているかを判定するために使用可能であり、骨格構成、位置、および／または力を推定するのに役立ち得る。カメラデータは力がかけられているかどうかを判定するために使用され得るが、カメラデータは、かけられている力の大きさを判定するためには特に適していないことを諒解されたい。このために、他の入力信号（たとえば、神経筋信号）が、かけられた力の量を判定するために使用されてよく、骨格構成および／または位置を判定するのに役立ち得る。
ＸＲユーザがそのユーザの自らの身体に自己力をかけている（たとえば、ユーザが自らの腕を摘まんでいる）とき、カメラは、骨格構成および／または位置（たとえば、腕に接触する際にどの関節セグメントが関連するか）を判定するのに役立つことができ、神経筋センサーは、力の強度を判定するために使用され得る。このようにして、腕の位置および／または手の位置ならびに力のより正確な表現が構築され得る。さらに、カメラによって判定される物理的状況は、たとえば、ユーザが特定の環境で一定の動きを実行する可能性が高い場合、神経筋信号からの筋骨格表現を推定するための前例（ｐｒｉｏｒｓ）を知らせることができることをより一般に諒解されよう。
いくつかの実施形態は、関節が剛体系の複数のセグメントを接続する、マルチセグメント多関節剛体系として表現され得る、ユーザの腕および／または手の部分の位置および動きに関する情報を予測することに関する。たとえば、手の動きの場合、ユーザの身体（たとえば、ユーザの腕および／または手首）上のロケーションに配置された着用可能な神経筋センサーによって感知され記録された信号は、ユーザが１つまたは複数の手の動きを実行するとき、位置（たとえば、絶対的位置、相対的位置、方向）および手に関連するコンピュータベースの筋骨格表現内の複数の剛体セグメントに関連する力の推定を予測するためにトレーニングされる推論モデルに対する入力として提供され得る。手に関連する筋骨格表現のセグメントに関連する位置情報および力情報の組み合わせは、本明細書において、口語で筋骨格表現の「手の状態」と呼ばれる。ユーザが異なる動きを実行するにつれて、トレーニングされた推論モデルは、着用可能な神経筋センサーによって記録された神経筋信号を、筋骨格表現を更新するために使用される位置および力の推定（手の状態情報）に解釈する。神経筋信号は、連続的に感知され記録されるため、筋骨格表現は、リアルタイムで更新され、現在の手の状態推定に基づいて（たとえば、拡大現実環境内で）手の視覚表現がレンダリングされ得る。諒解されるように、ユーザの手の状態の推定は、ユーザによって実行されているジェスチャを判定するために、かつ／またはユーザが実行することになるジェスチャを予測するために、使用され得る。
いくつかの実施形態によれば、筋骨格表現（たとえば、手のレンダリング）は、生体模倣（現実的な）手、人工的（ロボットの）手の実際の視覚表現、ならびに（たとえば、他のアプリケーション、システム、などに対する）ジェスチャ制御のための入力としての役割を果たす抽象的な「内部表現」を含み得る。すなわち、手の位置および／または力は、ダウンストリームアルゴリズム（たとえば、ＸＲシステム内の制御アルゴリズム）に提供され得るが、直接的にレンダリングされ得ない。いくつかの実施形態では、カメラデータは、実際の視覚表現を作成する（たとえば、カメラデータに基づいて、ユーザの手のＸＲバージョンを改善する）際に役立つように使用され得る。
いくつかの実施形態によれば、ＥＭＧの状況で受信される情報（たとえば、力）は、コンピュータシステム（たとえば、ＸＲシステム）のモードを制御するために使用され得る。たとえば、（たとえば、指または手によってかけられるような、しきい値量を超える）力の検出は、たとえば、対話支援インターフェースを開くため、グローバルシステムプロパティメニューを開くため、またはモデル切替え機能を実行するためなど、ＸＲシステムを制御するために使用され得る。システムは、位置関連、力関連、またはジェスチャ関連のイベントによりウェイクするか、またはユーザがシステムにそのイベントで従事していることに応じる（たとえば、ユーザが拳を握り締めることは、結果として、ウェイク信号をＸＲシステムに送らせる）ため、そのようなデュアルモード入力は、たとえば、「ウェイク」信号をＸＲシステムまたは重い計算コスト（たとえば、高い電力使用）を有する他のタイプのシステムに提出することをやはり含み得る。別の実装形態では、神経筋信号の任意の数の組み合わせが、コンピュータシステムを制御するためにカメラデータとともに使用され得る。たとえば、ユーザがＸＲ環境内でオブジェクトを選択しているシナリオにおいて、カメラデータは、ユーザの姿勢を判定するために使用され得、ＥＭＧ信号は、（たとえば、ＥＭＧ信号を通じてかけられた力を検出することによって）オブジェクトが活動のために選択されていることをＸＲシステムに知らせるために使用され得る。異なるタイプの入力データを使用した制御モードの任意の組み合わせが実行され得ることを諒解されたい。
いくつかの実施形態は、神経筋信号を感知するシステムを、ＸＲ機能（たとえば、ＡＲ機能、ＶＲ機能、など）を実行するシステムに結合させることに関する。具体的には、身体部分（たとえば、手、腕、など）の位置を判定するために神経筋信号を感知するシステムは、改善されたＸＲ体験をユーザに提供するためにＸＲシステムとともに使用され得る。たとえば、両方のシステム内で得られた情報は、全体的なＸＲ体験を改善するために使用され得る。一例では、ＡＲシステム内のカメラは、筋骨格表現のモデルの精度を改善するため、モデルを較正するため、および／またはカメラ信号と神経筋信号の任意の組み合わせを使用してシステムを制御するために使用されるデータをキャプチャし得る。さらに、別の実装形態では、筋肉活性化データは、ＸＲ環境内でユーザに対して視覚化され表示され得る。さらに別の例では、ＸＲ環境内の表示情報は、ユーザがシステムに対するその筋骨格入力をより正確に制御することを可能にするためのユーザに対するフィードバックとして使用され得る。さらに、神経筋信号がＸＲシステム要素を制御することを可能にするための制御特徴が提供され得る。
上記で論じたように、本技術のいくつかの実施形態によれば、システムは、神経筋信号、および動き、位置、および力生成に対するその関係の解釈を改善するためにカメラ情報を使用するように構成される。諒解されるように、カメラ情報は、たとえば、カメラによってキャプチャされた少なくとも１つの画像に対応する画像信号であり得、したがって、本明細書で使用される、カメラからの画像は、カメラからの画像信号を指すと理解され得る。カメラは、ユーザの画像をキャプチャまたは記録することが可能な、静止カメラ、ビデオカメラ、赤外線カメラ、などであってよい。カメラが光の特定の波長範囲内でのみ画像をキャプチャし得るように、１つまたは複数のフィルタがカメラ上で使用され得る。諒解されるように、画像は、信号としてキャプチャされ記録され得る、静止画像、一連の静止画像（または、画像シーケンス）、動画像（または、ビデオシーケンス）、などであってよい。「カメラ情報」、「カメラデータ」、および「カメラ信号」という用語は、本明細書において、カメラによってキャプチャされ得るユーザに関する情報を表すために使用され得る。様々な実施形態は、「ある（ａ）」カメラまたは「その（ｔｈｅ）」カメラを指すことがあるが、そのような実施形態は、１つのカメラの代わりに２つ以上のカメラを利用し得ることを理解されたい。さらに、カメラ情報は、可視光によって生み出された画像、無可視（たとえば、赤外線）光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせに関係することがある。たとえば、無可視光は、ユーザ内の血流の指示を提供し得、ユーザの状態を推論するために使用され得る、ユーザの身体内の熱分布を示す画像をキャプチャするために使用され得る（たとえば、ユーザの指によってもたらされる力は、力をもたらしていない指とは異なる血流パターンを有し得る）。
カメラは、ユーザの上に（たとえば、ユーザによって着用された頭部装着型ディスプレイ上に、またはユーザの手の上に着用された手袋の上に）装着されてよく、またはユーザおよび／またはユーザの環境をキャプチャするためにユーザの外部に装着されてもよい。カメラがユーザの上に装着されるとき、カメラは、ユーザの環境および／またはユーザの身体の部分をキャプチャするために使用され得る（たとえば、手に装着されたカメラは、ユーザの他の手の画像をキャプチャするために使用され得る）。
ユーザの身体上のロケーションに配置された着用可能センサーによって感知され記録された信号は、人体のマルチセグメント多関節剛体モデルの剛体セグメントに関する空間情報を生成するようにトレーニングされた推論モデルに対する入力として提供され得る。空間情報は、たとえば、１つまたは複数のセグメントの位置情報、１つまたは複数のセグメントの方向情報、セグメント間の関節角度、などを含み得る。トレーニングの結果として、推論モデルは、定義された動き制約下の多関節剛体の推論される動きを暗示的に表し得る。トレーニングされた推論モデルは、ユーザが物理的オブジェクトまたは仮想オブジェクトと対話する仮想環境内でユーザの身体の表現をレンダリングする、および、たとえば、ユーザが所望の方法で身体活動を実行してるかどうかを査定するために、ユーザが身体活動を実行するにつれて、ユーザの動きを監視する、などの適用例に使用可能なデータを出力し得る。諒解されるように、トレーニングされた推論モデルからの出力データは、本明細書で具体的に識別される適用例以外の適用例に対して使用され得る。
たとえば、ユーザの上に（たとえば、ユーザの手首または腕の上に）位置する単一の動きセンサーによって取得された動きデータは、入力データとしてトレーニングされた推論モデルに提供され得る。トレーニングされた推論モデルによって生成される、対応する出力データは、ユーザに対するマルチセグメント多関節剛体モデルの１つまたは複数のセグメントに関する空間情報を判定するために使用され得る。たとえば、出力データは、マルチセグメント多関節剛体モデル内の１つまたは複数のセグメントの位置および／または方向を判定するために使用され得る。別の例では、出力データは、マルチセグメント多関節剛体モデル内の接続されたセグメント間の角度を判定するために使用され得る。
以下で論じるように、入力データをトレーニングされた推論モデルに提供するために、異なるタイプのセンサーが使用され得る。
本明細書で説明するように、いくつかの実施形態では、様々な筋肉活性化状態は、記録されたセンサーデータから直接識別され得る。他の実施形態では、手の状態、ジェスチャ、姿勢、など（筋肉活性化状態と総称される）は、トレーニングされた推論モデルの出力に少なくとも部分的に基づいて識別され得る。いくつかの実施形態では、トレーニングされた推論モデルは、コンピュータ生成された筋骨格モデルのセグメントに対する運動単位、もしくは筋肉活性化および／または位置、方向、および／または力の推定を出力し得る。一例では、関節が異なるセグメント間のインターフェースを形成し、関節角度がモデル内の接続されたセグメント間の空間的関係を定義して、ヒト筋骨格系のすべてまたは部分がマルチセグメント多関節剛体系としてモデル形成され得る。
関節における動きに対する制約は、関節における動きの範囲を制限し得る、セグメントおよび生物学的構造（たとえば、筋肉、腱、靱帯）を接続するタイプの関節によって規定される。たとえば、上腕をヒト被験者の身体の胴体に接続する肩関節、および上腿を胴体と接続する股関節は、伸長および屈曲の動き、ならびに回転運動を可能にする球関節および臼状関節である。対照的に、上腕および前腕（ｌｏｗｅｒ ａｒｍ）（または、前腕（ｆｏｒｅａｒｍ））を接続する肘関節、および上腿および下腿またはヒト被験者を接続する膝関節は、より限定された範囲の動きができるようにする。この例では、マルチセグメント多関節剛体系は、ヒト筋骨格系の部分をモデル形成するために使用され得る。しかしながら、ヒト筋骨格系のいくつかのセグメント（たとえば、前腕）は多関節剛体系における剛体として近似し得るが、そのようなセグメントは、各々、剛体モデルによって明確に考慮されないセグメント内のより複雑な動きを可能にする複数の剛体構造を含み得る（たとえば、前腕は、尺骨および橈骨を含み得る）ことを諒解されたい。したがって、本明細書で説明する技術のいくつかの実施形態とともに使用するための多関節剛体系のモデルは、厳密には剛体ではない身体部分の組み合わせを表すセグメントを含んでよい。マルチセグメント多関節剛体系以外の物理的モデルは、本開示の範囲から逸脱せずに、ヒト筋骨格系の部分をモデル形成するために使用され得ることを諒解されよう。
上記の例を続けると、運動学において、剛体は、動きの様々な属性（たとえば、位置、方向、角速度、加速）を示すオブジェクトである。剛体の１つのセグメントの動き属性を知ることは、剛体の他のセグメントに対する動き属性が、それらのセグメントがどのように接続されるかに対する制約に基づいて判定されることを可能にする。たとえば、手は、手首および各指の中の関節がモデル内で複数のセグメント間のインターフェースを形成する、マルチセグメント多関節体としてモデル形成され得る。いくつかの実施形態では、剛体モデル内のセグメントの動きは、以下でより詳細に説明するように、モデル内の他のセグメントに対するセグメントの位置（たとえば、実際の位置、相対的位置、または方向）情報がトレーニングされた推論モデルを使用して予測される、多関節剛体系としてシミュレートされ得る。
１つの非限定的な例として本明細書で説明するような、筋骨格表現によって近似される人体の部分は、手、または手と１つまたは複数の腕セグメントの組み合わせである。筋骨格表現において、セグメント間の位置関係、個々のセグメントまたはセグメントの組み合わせに対する力関係、およびセグメント間の筋肉および運動単位の活性化関係の現在の状態を記述するために使用される情報は、本明細書において、筋骨格表現の手の状態と呼ばれる。しかしながら、本明細書で説明する技法は、腕、脚、足、胴体、首、または前述の任意の組み合わせを含むが、これらに限定されない、手以外の身体の部分の筋骨格表現にも適用可能であることを諒解されたい。
空間（たとえば、位置および／または方向）情報に加えて、いくつかの実施形態は、筋骨格表現の１つまたは複数のセグメントに関連する力情報の予測を可能にする。たとえば、１つまたは複数のセグメントによってもたらされる直線力または回転（トルク）力が推定され得る。直線力の例は、テーブルなどの固体オブジェクトに対して指または手を押し付ける力、および２つのセグメント（たとえば、２本の指）が共に摘まんでいるときにもたらされる力、を含むが、これらに限定されない。回転力の例は、手首または指などのセグメントが別のセグメントに対してねじられているかまたは曲げられているときに起こされる回転力を含むが、これに限定されない。いくつかの実施形態では、現在の手の状態推定の一部分として判定される力情報は、摘まむ力情報、把持力情報、および筋骨格表現によって表される筋肉間の共収縮力に関する情報のうちの１つまたは複数を含む。
次に図面を参照すると、図１は、本明細書で説明する技術のいくつかの実施形態によるシステム１００、たとえば、神経筋活動システムを概略的に示す。システム１００は、人体の骨格筋内の神経筋活動から起こる信号を感知して記録するように構成された複数のセンサー１１０（たとえば、神経筋センサー）を含む。本明細で使用される「神経筋活動」という用語は、筋肉、筋肉活性化、筋収縮、または神経活性化、筋肉活性化、および筋収縮の任意の組み合わせを刺激する脊髄運動ニューロンの神経活性化を指す。神経筋センサーは、１つまたは複数の筋電図（ＥＭＧ）センサー、１つまたは複数の筋音図法（ＭＭＧ）センサー、１つまたは複数のソノミオグラフィ（ｓｏｎｏｍｙｏｇｒａｐｈｙ）（ＳＭＧ）センサー、２つ以上のタイプのＥＭＧセンサー、ＭＭＧセンサー、およびＳＭＧセンサーの組み合わせ、および／または神経筋信号を検出することができる任意の好適なタイプの１つまたは複数のセンサーを含み得る。いくつかの実施形態では、複数の神経筋センサーは、人体に対して配置され、そこから神経筋センサーによって筋肉活性化が感知される筋肉によって制御される人体の部分の動きに関する筋肉活動を感知するために使用され得る。空間情報（たとえば、位置および／または方向情報）および動きを記述する力情報は、ユーザが経時的に移動するにつれて感知された神経筋信号に基づいて予測され得る。
運動タスクの実行中に筋肉の緊張が高まるにつれて、活性ニューロンの発火率が高まり、追加のニューロンが活発になることがあり、これは、運動単位漸増（ｒｅｃｒｕｉｔｍｅｎｔ）と呼ばれるプロセスである。予想される運動単位漸増パターンが標準または通常の動きに関連する活性多様体（ａｃｔｉｖｉｔｙ ｍａｎｉｆｏｌｄ）を定義し得るように、ニューロンが活発になりその発火率を高めるパターンは類型的である。いくつかの実施形態は、単一の運動単位、または、運動単位活性化のパターンが予想されるまたは典型的な運動単位漸増パターンとは異なる「非多様体（ｏｆｆ−ｍａｎｉｆｏｌｄ）」である運動単位のグループの活性化を記録し得る。そのような非多様体活性化は、本明細書において、「筋肉下活性化」または「筋肉下構造の活性化」と呼ばれることがあり、この場合、筋肉下構造は、単一の運動単位、または非多様体活性化に関連する運動単位のグループを指す。非多様体運動単位漸増パターンの例は、通常、漸増順序で早期に活性化されることになる低しきい値運動単位を活性化せずに高しきい値運動単位を選択的に活性化すること、および、通常、典型的な運動単位漸増パターンにおいて共変調されることになる他のニューロンの活動を変調せずにかなりの範囲にわたって運動単位の発火率を変調すること、を含むが、これらに限定されない。いくつかの実施形態では、複数の神経筋センサーは、人体に対して配置され、観察可能な動きなしに、すなわち、容易に観察され得る人体の対応する動きなしに、筋肉下活性化を感知するために使用され得る。筋肉下活性化は、本明細書で説明する技術のいくつかの実施形態による拡張現実システムを制御するために少なくとも部分的に使用され得る。
センサー１１０は、たとえば、加速度計、ジャイロスコープ、磁力計、または１つまたは複数の加速度計、ジャイロスコープ、および磁力計の任意の組み合わせを使用して、動きの物理的側面の組み合わせを測定する、１つまたは複数の慣性計測装置（ＩＭＵ）を含み得る。いくつかの実施形態では、ＩＭＵは、ＩＭＵが取り付けられた身体の部分の動きに関する情報を感知するために使用可能であり、感知されたデータから導出される情報（たとえば、位置および／または方向情報）は、ユーザが経時的に移動するにつれて追跡され得る。たとえば、１つまたは複数のＩＭＵは、ユーザが経時的に移動するにつれて、ＩＭＵに対するユーザの胴体の近位にあるユーザの身体の部分（たとえば、腕、脚）の動きを追跡するために使用され得る。
少なくとも１つのＩＭＵおよび複数の神経筋センサーを含む実施形態では、ＩＭＵおよび神経筋センサーは、人体の異なる部分の動きを検出するように配置され得る。たとえば、ＩＭＵは、胴体の近位にある１つまたは複数の身体セグメントの動き（たとえば、上腕の動き）を検出するように配置されてよく、神経筋センサーは、胴体に対して遠位の１つまたは複数の身体セグメントの動き（たとえば、前腕（ｌｏｗｅｒ ａｒｍ）（前腕（ｆｏｒｅａｒｍ））または手首の動き）を検出するように配置されてよい。（「前腕（ｌｏｗｅｒ ａｒｍ）」および「前腕（ｆｏｒｅａｒｍ）」という用語は、本明細書で互換的に使用され得る。）しかしながら、センサー（すなわち、ＩＭＵおよび神経筋センサー）は、任意の好適な方法で配置されてよく、本明細書で説明する技術の実施形態は、特定のセンサー配置に基づいて限定されないことを諒解されたい。たとえば、いくつかの実施形態では、少なくとも１つのＩＭＵおよび複数の神経筋センサーは、異なるタイプの測定を使用して、身体セグメントの動きを追跡するために身体セグメント上の同一場所に配置され得る。以下でより詳細に説明する一実装形態では、ＩＭＵおよび複数のＥＭＧセンサーは、ユーザの前腕または手首の周りに着用されるように構築された着用可能デバイス上に配置される。そのような配置では、ＩＭＵは、たとえば、ユーザがその腕を上げたかまたは下げたかを判定するために、１つまたは複数の腕セグメントに関連する動き情報（たとえば、位置調整および／または方向）を経時的に追跡するように構成され得、ＥＭＧセンサーは、たとえば、ユーザが開いた手の構成を有するかまたは閉じた手の構成を有するかを判定するために手首および／または手のセグメントに関連する動き情報を判定するように、または手首および／または手の筋肉の筋肉下構造の活性化に関連する筋肉下情報を判定するように、構成され得る。
センサー１１０のうちのいくつかまたはすべては、ユーザに関する情報を感知するように構成された、１つまたは複数の感知構成要素を含み得る。ＩＭＵの場合、ＩＭＵの感知構成要素は、その例が、身体の動きの間の身体の周りの加速、角速度、および磁場を含むが、これらに限定されない、身体の動きの特性および／または身体の動きに関する特性を測定または感知するための、１つまたは複数の加速度計、ジャイロスコープ、磁力計、またはそれらの任意の組み合わせを含み得る。神経筋センサーの場合、感知構成要素は、１つまたは複数の身体の面上の電位を検出する電極棒（たとえば、ＥＭＧセンサー用）、皮膚表面振動を測定する振動センサー（たとえば、ＭＭＧセンサー用）、筋肉活動から起こる超音波信号を測定する音響感知構成要素（たとえば、ＳＭＧセンサー用）を含み得るが、これらに限定されない。
いくつかの実施形態では、複数のセンサー１１０のうちの少なくともいくつかは、ユーザの身体の一部分の上にまたはその部分の周りに着用されるように構築された着用可能デバイスの一部分として配置され得る。たとえば、１つの非限定的な例では、ＩＭＵおよび複数の神経筋センサーは、ユーザの手首または腕の周りに着用されるように構成された、リストバンドまたはアームバンドなどの、調整可能なかつ／またはゴムのバンド上に、周辺に配置され得る。代替として、センサー１１０のうちの少なくともいくつかは、ユーザの身体の一部分に貼り付けられるように構築された着用可能パッチ上に配置され得る。いくつかの実施形態では、筋肉下構造からの活性化に基づいて、かつ／または身体の複数の部分に関連する動きに基づいて、制御情報を生成するために、各々がその上に１つまたは複数のＩＭＵおよび／または神経筋センサーを含めた複数の着用可能デバイスが使用され得る。
一実装形態では、センサー１１０は、ユーザの前腕の周りに（たとえば、ユーザの前腕を取り囲むように）着用されるように構築されたバンド（たとえば、ゴムバンド）の周り周辺に配置された１６個の神経筋センサーを含み得る。たとえば、図１２は、神経筋センサー１２０４（たとえば、ＥＭＧセンサー）がゴムバンド１２０２の周り周辺に配置された着用可能システムの一実施形態を示す。任意の好適な数の神経筋センサーが使用されてよく、使用される神経筋センサーの数および配置は、着用可能システムが使用される特定の適用例に依存し得ることを諒解されたい。たとえば、着用可能なアームバンドまたはリストバンドは、拡張現実システムを制御するため、ロボットを制御するため、車両を制御するため、テキストに目を通すため、仮想アバターを制御するため、または任意の他の好適な制御タスクのための制御情報を生成するために使用され得る。いくつかの実施形態では、ゴムバンド１２０２は、上記で論じたように、動き情報を感知して記録するように構成された、１つまたは複数のＩＭＵ（図示せず）を含んでもよい。
図１３Ａ〜図１３Ｂおよび図１４Ａ〜図４Ｂは、本技術の着用可能システムの他の実施形態を示す。具体的には、図１３Ａは、ユーザの前腕または手首の周りに着用されるように構築されたゴムバンド１３２０の周り周辺に配置された複数のセンサー１３１０を備えた着用可能システムを示す。センサー１３１０は、神経筋センサー（たとえば、ＥＭＧセンサー）であってよい。示すように、規則的な間隔でゴムバンド１３２０の周り周辺に配置された１６個のセンサー１３１０が存在し得る。任意の好適な数のセンサー１３１０が使用されてよく、間隔は規則的でなくてもよいことを諒解されたい。センサー１３１０の数および配置は、着用可能システムが使用される特定の適用例に依存し得る。たとえば、着用可能システムが、腿と比較して、手首の上に着用されるとき、センサー１３１０の数および配置は異なり得る。着用可能システム（たとえば、アームバンド、リストバンド、腿バンド、など）は、拡張現実システムを制御するため、ロボットを制御するため、車両を制御するため、テキストに目を通すため、仮想アバターを制御するため、および／または任意の他の好適な制御タスクを実行するための制御情報を生成するために使用され得る。
いくつかの実施形態では、センサー１３１０は、神経筋センサー（たとえば、ＥＭＧセンサー）のセットのみを含み得る。他の実施形態では、センサー１３１０は、神経筋センサーのセット、および少なくとも１つの補助デバイスを含み得る。補助デバイスは、１つまたは複数の補助信号を連続的に感知して記録するように構成され得る。補助デバイスの例は、ＩＭＵ、マイクロフォン、撮像デバイス（たとえば、カメラ）、放射線発生デバイス（たとえば、レーザー走査デバイス）とともに使用するための放射線ベースのセンサー、心拍数モニタ、およびユーザの状態またはユーザの他の特性をキャプチャし得る他のタイプのデバイスを含むが、これらに限定されない。図１３Ａに示すように、センサー１３１０は、着用可能システム内に組み込まれたフレキシブルエレクトロニクス１３３０を使用して共に結合され得る。図１３Ｂは、図１３Ａに示した着用可能システムのセンサー１３１０のうちの１つを通した断面図を示す。
いくつかの実施形態では、センサー１３１０の感知構成要素のうちの１つまたは複数の出力は（たとえば、増幅、フィルタリング、および／または整流を実行するために）ハードウェア信号処理回路を使用して随意に処理され得る。他の実施形態では、感知構成要素の出力の少なくともいくつかの信号処理は、ソフトウェアを使用して実行され得る。したがって、本明細書で説明する技術の態様はこの点で限定されないため、センサー１３１０によってサンプリングされる信号の信号処理は、ハードウェアによって、またはソフトウェアによって、またはハードウェアとソフトウェアの任意の好適な組み合わせによって、実行され得る。センサー１３１０から記録されたデータを処理するために使用される信号処理手順の非限定的な例について、図１４Ａおよび図１４Ｂに関して以下でより詳細に論じる。
図１４Ａおよび図１４Ｂは、本明細書で説明する技術のいくつかの実施形態による、１６個のセンサー（たとえば、ＥＭＧセンサー）を備えた着用可能システムの内部構成要素を備えた概略図を示す。示すように、着用可能システムは、着用可能部分１４１０（図１４Ａ）およびドングル部分１４２０（図１４Ｂ）を含む。示されていないが、ドングル部分１４２０は、（たとえば、Ｂｌｕｅｔｏｏｔｈまたは別の好適な短距離ワイヤレス通信技術を介して）着用可能部分１４１０と通信している。図１４Ａに示すように、着用可能部分１４１０は、その例が図１３Ａおよび１３Ｂに関して上記で説明されたセンサー１３１０を含む。センサー１３１０は、記録された信号に対してアナログ処理（たとえば、雑音低減、フィルタリング、など）を実行するアナログフロントエンド１４３０に出力（たとえば、記録された信号）を提供する。アナログフロントエンド１４３０によって生み出された、処理されたアナログ信号は、次いで、処理されたアナログ信号を１つまたは複数のコンピュータプロセッサによって処理され得るデジタル信号に変換するアナログ・デジタル変換機１４３２に提供される。いくつかの実施形態に従って使用され得るコンピュータプロセッサの一例は、マイクロコントローラ（ＭＣＵ）１４３４である、図１４Ａに示すように、ＭＣＵ１４３４は、他のセンサー（たとえば、ＩＭＵ１４４０）から、かつ電力およびバッテリーモジュール１４４２から、入力を受信することもできる。諒解されるように、ＭＣＵ１４３４は、具体的に示されていない他のデバイスからデータを受信し得る。ＭＣＵ１４３４による処理出力は、図１４Ｂに示すように、ドングル部分１４２０への送信のためにアンテナ１４５０に提供され得る。
ドングル部分１４２０は、着用可能部分１４１０のアンテナ１４５０と通信するアンテナ１４５２を含む。アンテナ１４５０と１４５２との間の通信は、その非限定的な例が、無線周波数シグナリングおよびＢｌｕｅｔｏｏｔｈを含む、任意の好適なワイヤレス技術およびプロトコルを使用して生じ得る。示すように、ドングル部分１４２０のアンテナ１４５２によって受信された信号は、さらなる処理のために、表示のために、かつ／または特定の物理的なまたは仮想の１つまたは複数のオブジェクトの制御を実施するために（たとえば、ＡＲ環境またはＶＲ環境内の制御動作を実行するために）ホストコンピュータに提供され得る。
図１３Ａ、図１３Ｂ、図１４Ａ、および図１４Ｂを参照して提供される例についてＥＭＧセンサーとのインターフェースの状況で論じるが、本明細書で説明する着用可能システムは、筋音図法（ＭＭＧ）センサー、ソノミオグラフィ（ＳＭＧ）センサー、および電気インピーダンストモグラフィー（ＥＩＴ）センサーを含むが、これらに限定されない、他のタイプのセンサーを用いて実装されてもよいことを理解されたい。
図１を参照すると、いくつかの実施形態では、以下でより詳細に説明するように、センサー１１０によって記録されるセンサーデータは、次いで、推論モデルに対する入力として提供され得る追加の導出された測定値を計算するために随意に処理され得る。たとえば、ＩＭＵからの記憶された信号は、経時的に剛体のセグメントの方向を指定する方向信号を導出するために処理され得る。センサー１１０が、センサー１１０の感知構成要素と統合された構成要素を使用して信号処理を実装することができるか、または信号処理のうちの少なくとも一部分が、センサー１１０の感知構成要素と通信しているが、その感知構成要素と直接統合されていない、１つまたは複数の構成要素によって実行され得る。
システム１００は、センサー１１０と通信するようにプログラムされた、１つまたは複数のコンピュータプロセッサ１１２をやはり含む。たとえば、センサー１１０のうちの１つまたは複数によって記録された信号は、センサー１１０から出力され、センサー１１０によって出力された信号を処理するために１つまたは複数の機械学習アルゴリズムを実行するようにプログラムされ得るプロセッサ１１２に提供され得る。以下でより詳細に説明するように、アルゴリズムは、１つまたは複数の推論モデル１１４をトレーニングする（または、再トレーニングする）ために信号を処理することができ、生じた、トレーニングされた（または、再トレーニングされた）推論モデル１１４は、制御信号を生成し、ＸＲシステムを制御する際に後で使用するために記憶され得る。
いくつかの実施形態では、推論モデル１１４は、ニューラルネットワークを含み得、たとえば、再帰型ニューラルネットワークであってよい。いくつかの実施形態では、再帰型ニューラルネットワークは、長短期メモリ（ＬＳＴＭ）ニューラルネットワークであってよい。しかしながら、再帰型ニューラルネットワークは、ＬＳＴＭニューラルネットワークであると限定されず、任意の他の好適なアーキテクチャを有し得ることを諒解されたい。たとえば、いくつかの実施形態では、再帰型ニューラルネットワークは、完全な再帰型ニューラルネットワーク、ゲート付き再帰型ニューラルネットワーク、回帰的ニューラルネットワーク、Ｈｏｐｆｉｅｌｄニューラルネットワーク、連想記憶ニューラルネットワーク、Ｅｌｍａｎニューラルネットワーク、Ｊｏｒｄａｎニューラルネットワーク、エコーステート（ｅｃｈｏ ｓｔａｔｅ）ニューラルネットワーク、および二次再帰型ニューラルネットワーク、ならびに／または任意の他の好適なタイプの再帰型ニューラルネットワークのうちのいずれか１つまたは任意の組み合わせであってよい。他の実施形態では、再帰型ニューラルネットワークではないニューラルネットワークが使用されてよい。たとえば、ディープニューラルネットワーク、畳み込みニューラルネットワーク、および／またはフィードフォーワードニューラルネットワークが使用されてよい。
いくつかの実施形態では、推論モデル１１４は、離散的出力を生み出すことができる。離散的出力（たとえば、離散的分類）は、たとえば、所望の出力が活性化の特定のパターン（個々のニューラルスパイキング（ｎｅｕｒａｌ ｓｐｉｋｉｎｇ）イベントを含めて）が現在ユーザによって実行されているかどうかを知るためであるときに使用され得る。たとえば、推論モデル１１４は、ユーザが特定の運動単位を活性化しているか、特定のタイミングで特定の運動単位を活性化しているか、特定の発火パターンで特定の運動単位を活性化しているか、または運動単位の特定の組み合わせを活性化しているかを推定するようにトレーニングされ得る。より短い時間規模で、離散的分類は、いくつかの実施形態では、特定の運動単位が所与の時間量内で活動電位を発火したかどうかを推定するために使用され得る。そのようなシナリオでは、これらの推定は、次いで、その運動単位に対して推定される発火率を取得するために蓄積され得る。
推論モデルが離散的出力を出力するように構成されたニューラルネットワークとして実装される実装形態では、ニューラルネットワークは、推論モデルの出力の合計が１になり、確率として解釈され得るように、ソフトマックス層である出力層を含み得る。たとえば、ソフトマックス層の出力は、各値が、ユーザが特定の制御活動を実行することを望む確率を示す、制御信号のそれぞれのセットに対応する値のセットであり得る。１つの非限定的な例として、ソフトマックス層の出力は、活動の検出されたパターンが３つの知られているパターンのうちの１つであるそれぞれの確率を示す３つの確率（たとえば、０．９２、０．０５、および０．０３）のセットであってよい。
推論モデルが離散的出力（たとえば、離散信号）を出力するように構成されたニューラルネットワークであるとき、ニューラルネットワークは、合計が１になる出力を生み出すことを要求されないことを諒解されたい。たとえば、いくつかの実施形態の場合、ソフトマックス層の代わりに、ニューラルネットワークの出力層は、合計が１になる確率に出力を限定しない、シグモイド層であり得る。そのような実施形態では、ニューラルネットワークは、シグモイド交差エントロピーコストを用いてトレーニングされ得る。そのような実装形態は、複数の異なる制御活動がしきい値時間量内に生じる可能性があり、これらの制御活動が生じる順序を区別することが重要ではない（たとえば、ユーザは２つのパターンの神経活動をしきい値時間量内で活性化し得る）場合、有利であり得る。いくつかの実施形態では、本明細書で説明する技法の態様はこの点で限定されないため、任意の他の好適な非確率的マルチクラス分類器が使用され得る。
いくつかの実施形態では、推論モデル１１４の出力は、離散信号ではなく、連続信号であり得る。たとえば、モデル１１４は、各運動単位の発火率の推定を出力し得るか、またはモデル１１４は、各運動単位または筋肉下構造に対応する時系列電気信号を出力し得る。
いくつかの実施形態では、他のタイプの推論モデルが採用され得るため、本明細書で説明する技法の態様は、ニューラルネットワークを使用することに限定されないことを諒解されたい。たとえば、いくつかの実施形態では、推論モデル１１４は、隠れマルコフモデル（ＨＭＭ）、切替えが、異なる動的システム、動的ベイジアンネットワーク間でトグルすることを可能にする、切替えＨＭＭ、および／または時間成分を有する任意の他の好適なグラフィカルモデルを備え得る。任意のそのような推論モデルは、記録されたセンサー信号を使用してトレーニングされ得る。
別の例として、いくつかの実施形態では、推論モデル１１４は、記録されたセンサー信号から導出された特徴を入力として利用する分類器であり得る。そのような実施形態では、分類器は、センサー信号から抽出された特徴を使用してトレーニングされ得る。本明細書で説明する技法の態様はこの点で限定されないため、分類器は、たとえば、サポートベクトルマシン、混合ガウスモデル、回帰ベースの分類器、決定木分類器、ベース分類器、および／または任意の他の好適な分類器であってよい。分類器に提供されることになる入力特徴は、任意の好適な方法でセンサー信号から導出され得る。たとえば、センサー信号は、ウェーブレット解析技法（たとえば、連続ウェーブレット変換、離散型時間ウェーブレット変換、など）、フーリエ解析技法（たとえば、短期フーリエ変換、フーリエ変換、など）、および／または任意の他の好適なタイプの時間周波数解析技法を使用して、時系列データとして解析され得る。１つの非限定的な例として、センサー信号は、ウェーブレット変換を使用して変換されてよく、生じるウェーブレット係数は、分類器に対する入力として提供され得る。
いくつかの実施形態では、推論モデル１１４のパラメータに関する値は、トレーニングデータから推定され得る。たとえば、推論モデル１１４がニューラルネットワークであるとき、ニューラルネットワークのパラメータ（たとえば、重み）がトレーニングデータから推定され得る。いくつかの実施形態では、推論モデル１１４のパラメータは、勾配降下技法、確率的勾配降下技法、および／または任意の他の好適な反復最適化技法を使用して推定され得る。推論モデル１１４が再帰型ニューラルネットワーク（たとえば、ＬＳＴＭ）である実施形態では、推論モデル１１４は、確率的勾配降下および通時的逆伝搬を使用してトレーニングされ得る。本明細書で説明する技法の態様はこの点で限定されないため、トレーニングは、二乗誤差損失関数または交差エントロピー損失関数および／または任意の他の好適な損失関数を採用し得る。
システム１００は、１つまたは複数のコントローラ１１６を随意に含んでもよい。たとえば、コントローラ１１６は、視覚表現（たとえば、手の表現）を表示するように構成されたディスプレイコントローラを含み得る。以下でより詳細に論じるように、１つまたは複数のコンピュータプロセッサ１１２は、センサー１１０によって感知され記録された信号を入力として受信し、制御信号を生成し、拡張現実システムを制御するために使用され得る情報（たとえば、予測された手の状態情報）を出力として提供する、１つまたは複数のトレーニングされた推論モデルを実装し得る。
システム１００は、ユーザインターフェース１１８を随意に含んでもよい。システム１００がユーザの意図する活性化をどのように解釈するかをユーザが理解することを促すために、センサー１１０によって記録され、プロセッサ１１２によって処理される信号に基づいて判定されるフィードバックがユーザインターフェース１１８を介して提供され得る。ユーザインターフェース１１８は、オーディオインターフェース、ビデオインターフェース、触覚インターフェース、および電気的刺激インターフェース、または前述の任意の組み合わせを含むが、これらに限定されない、任意の好適な方法で実装され得る。
いくつかの実施形態では、仮想現実（ＶＲ）環境または拡張現実（ＡＲ）環境をシミュレートするコンピュータアプリケーションは、（たとえば、コントローラ１１６を介して）アバターなどの視覚的キャラクターを表示することによって視覚表現を提供するように命令され得る。仮想現実環境内の視覚的キャラクターの部分によってかけられた位置調整、動き、および／または力は、トレーニングされた推論モデル１１４の出力に基づいて表示され得る。視覚表現は、リアルタイムで更新されるキャラクターの動きのコンピュータ生成された視覚表現を提供するために、センサー１１０によって感知され記録され、トレーニングされた推論モデル１１４によって処理される連続信号として動的に更新され得る。
いずれかのシステム（ＡＲカメラ入力、センサー入力）内で生成された情報は、ユーザ体験、精度、フィードバック、推論モデル、較正関数、およびシステム全体における他の側面を改善するために使用され得る。このために、ＡＲ環境内で、たとえば、システム１００は、ユーザの視野内にＡＲ情報を提供する、１つまたは複数のプロセッサ、カメラ、およびディスプレイ（たとえば、ユーザインターフェース１１８、またはＡＲ眼鏡または他の視覚デバイスを介した他のインターフェース）を含むＡＲシステムを含み得る。システム１００は、ＡＲシステムをセンサーデータに基づいて筋骨格表現を生成するコンピュータベースシステムと結合させるシステム要素を含んでもよい。たとえば、システムは、専用コンピュータシステム、またはＡＲから入力を受信する他のタイプのコンピュータシステムおよびコンピュータベースの筋骨格表現を生成するシステムを介して結合され得る。そのようなシステムは、ゲームシステム、ロボット制御システム、パーソナルコンピュータ、またはＡＲおよび筋骨格情報を解釈することが可能な他のシステムを含み得る。ＡＲシステム、およびコンピュータベースの筋骨格表現を生成するシステムは、直接通信するようにプログラムされてもよい。そのような情報は、任意の数のインターフェース、プロトコル、または媒体を使用して通信され得る。
上記で論じたように、いくつかの実施形態は、着用可能なセンサーによって感知され記録された信号に基づいて、筋骨格情報を予測するための推論モデルを使用することに関する。ヒト筋骨格系の部分がマルチセグメント多関節剛体系としてモデル形成され得る例において上記で短く論じたように、マルチセグメント多関節剛体モデル内のセグメント間の関節のタイプは、剛体の動きを制約する制約としての役割を果たし得る。加えて、異なる人間一人一人は、個々のユーザ行動に概して適用可能であり得る統計的パターンでキャプチャされ得るタスクを実行するとき、特徴的な方法で移動し得る。人体の動きに対するこれらの制約のうちの少なくともいくつかは、いくつかの実施形態によれば、ユーザの動きの予測のために使用される推論モデル内に明示的に組み込まれ得る。追加または代替として、上記で短く論じたように、これらの制約は、記録されたセンサーデータに基づくトレーニングを通じて推論モデルによって学習され得る。
上記で論じたように、いくつかの実施形態は、手の状態情報を予測して、コンピュータベースの筋骨格表現の生成および／またはコンピュータベースの筋骨格表現のリアルタイム更新を可能にするために、推論モデルを使用することに関する。推論モデルは、ＩＭＵ信号、神経筋信号（たとえば、ＥＭＧ、ＭＭＧ、および／またはＳＭＧ信号）、外部デバイス信号（たとえば、カメラ信号またはレーザー走査信号）、またはＩＭＵ信号、神経筋信号、およびユーザが１つまたは複数の動きを実行するにつれて検出された外部デバイス信号の組み合わせに基づいて、手の状態情報を予測するために使用され得る。たとえば、上記で論じたように、ＡＲシステムに関連するカメラは、コンピュータベースの筋骨格表現のヒト被験者の実際の位置のデータをキャプチャするために使用可能であり、そのような実際の位置情報は、表現の精度を改善するために使用され得る。さらに、推論モデルの出力は、ＸＲ環境内でコンピュータベースの筋骨格表現の視覚表現を生成するために使用され得る。たとえば、筋肉群の発火、かけられた力、動きを介して入力されたテキスト、またはコンピュータベースの筋骨格表現によって生み出された他の情報の視覚表現は、ＸＲシステムの視覚的ディスプレイ内にレンダリングされ得る。いくつかの実施形態では、他の入力／出力デバイス（たとえば、聴覚入力／出力、触覚デバイス、など）が、システム全体の精度をさらに改善するために、かつ／またはユーザ体験を改善するために使用され得る。
本明細書で説明する技法のいくつかの実施形態は、神経筋センサーによって感知され記録された神経筋信号から識別された情報である筋肉活性化状態情報をマッピングして信号を制御するために、少なくとも部分的に、推論モデル使用することに関する。推論モデルは、ＩＭＵ信号、神経筋信号（たとえば、ＥＭＧ、ＭＭＧ、および／またはＳＭＧ信号）、外部デバイス信号（たとえば、カメラ信号またはレーザー走査信号）、またはＩＭＵ信号、神経筋信号、およびユーザが１つまたは複数の筋肉下活性化、１つまたは複数の動き、および／または１つまたは複数のジェスチャを実行するにつれて検出された外部デバイス信号の組み合わせを入力として受信し得る。推論モデルは、ユーザが知覚可能な動きを行う必要なしに、制御情報を予測するために使用され得る。
図２は、拡張現実（ＡＲ）システム２０１を神経筋活動システム２０２と統合する分散型コンピュータベースシステムであってよいＡＲベースのシステム２００の概略図を示す。神経筋活動システム２０２は、図１に関して上記で説明したシステム１００と同様である。
概して、ＡＲシステム２０１など、拡張現実は、一対のゴーグルもしくは眼鏡、またはアイウェア、またはユーザの「現実」に重ね合わせることができる表示要素をユーザに示す、他のタイプの表示デバイスの形をとってよい。この現実は、場合によっては、（たとえば、ユーザの目を通して見た）環境のユーザの視野、または環境のユーザの視野の（たとえば、カメラによって）キャプチャされたバージョンであり得る。いくつかの実施形態では、ＡＲシステム２０１は、ユーザの環境内でユーザが体験する１つまたは複数の視野をキャプチャする、ユーザによって着用されるデバイス内に装着され得る、１つまたは複数のカメラ（たとえば、カメラ２０４）を含み得る。システム２０１は、ユーザによって着用されるデバイス内で、かつ／または周辺デバイスまたはコンピュータシステム内で動作する１つまたは複数のプロセッサ２０５を有してよく、そのようなプロセッサ２０５は、ビデオ情報および他のタイプのデータ（たとえば、センサーデータ）を送信および受信することが可能であり得る。
ＡＲシステム２０１は、マイクロフォン、ＧＰＳ要素、加速度計、赤外線検出器、触覚フィードバック要素、もしくは任意の他のタイプのセンサー、またはそれらの任意の組み合わせなど、１つまたは複数のセンサー２０７を含んでもよい。いくつかの実施形態では、ＡＲシステム２０１は、オーディオベースのＡＲシステムまたは聴覚ＡＲシステムであってよく、１つまたは複数のセンサー２０７は、１つまたは複数のヘッドフォンまたはスピーカーを含んでもよい。さらに、ＡＲシステム２０１は、ＡＲシステム２０１が、ＡＲシステム２０１によって提示されるようなユーザの環境の視野をユーザに提供することに加えて、情報をオーバレイしかつ／またはユーザに表示することを可能にする、１つまたは複数のディスプレイ２０８を有し得る。ＡＲシステム２０１は、情報が１つまたは複数のコンピュータシステム（たとえば、ゲームシステム、またはＡＲデータをレンダリングまたは受信することが可能な他のシステム）に通信されることを可能にする、１つまたは複数の通信インターフェース２０６を含んでもよい。ＡＲシステムは、多くの形をとってよく、いくつかの異なる製造業者から入手可能である。たとえば、様々な実施形態は、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ（Ｒｅｄｍｏｎｄ、Ｗａｓｈｉｎｇｔｏｎ、ＵＳＡ）から入手可能なＨｏｌｏＬｅｎｓホログラフィックリアリティ眼鏡、Ｍａｇｉｃ Ｌｅａｐ（Ｐｌａｎｔａｔｉｏｎ、Ｆｌｏｒｉｄａ、ＵＳＡ）からのＬｉｇｈｔｗｅａｒ ＡＲヘッドセット、Ａｌｐｈａｂｅｔ（Ｍｏｕｎｔａｉｎ Ｖｉｅｗ、Ｃａｌｉｆｏｒｎｉａ、ＵＳＡ）から入手可能なＧｏｏｇｌｅ Ｇｌａｓｓ ＡＲ眼鏡、Ｏｓｔｅｒｈｏｕｔ Ｄｅｓｉｇｎ Ｇｒｏｕｐ（ＯＤＧとも呼ばれる、Ｓａｎ Ｆｒａｎｓｉｃｏ、Ｃａｌｉｆｏｒｎｉａ、ＵＳＡ）から入手可能なＲ−７Ｓｍａｒｔｇｌａｓｓシステム、または任意の他のタイプのＡＲおよび／またはＶＲデバイスなど、１つまたは複数のタイプのＡＲシステムに関連して実装され得る。例として論じるが、１つまたは複数の実施形態は、ＶＲシステム内で実装され得ることを諒解されたい。
ＡＲシステム２０１は、Ｂｌｕｅｔｏｏｔｈプロトコル、Ｗｉ−Ｆｉ、Ｅｔｈｅｒｎｅｔのようなプロトコル、または任意の数の接続タイプ、ワイヤレスおよび／またはワイヤードを含むが、これらに限定されない、１つまたは複数の通信方式または通信方法論によって神経筋活動システム２０２に動作可能に結合され得る。たとえば、システム２０１および２０２は、１つまたは複数の中間コンピュータシステムまたはネットワーク要素を通して直接接続または結合され得ることを諒解されたい。図２の両矢印は、システム２０１および２０２間の通信結合を表す。
先に述べたように、神経筋活動システム２０２は、構造および機能の点で、図１を参照して上記で説明したシステム１００と同様であってよい。具体的には、システム２０２は、１つまたは複数の神経筋センサー２０９、１つまたは複数の推論モデル２１０を含んでよく、筋骨格表現２１１を作成し、保持し、記憶することができる。上記で論じた実施形態と同様の、１つの例示的な実施形態では、システム２０２は、ユーザから神経筋信号を集めて解析するためにユーザによって着用され得るバンドなど、着用可能なデバイスを含み得るか、または着用可能なデバイスとして実装され得る。さらに、システム２０２は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、または他の通信方法など、システム２０２がＡＲシステム２０１と通信することを可能にする１つまたは複数の通信インターフェース２１２を含み得る。とりわけ、ＡＲシステム２０１および神経筋活動システム２０２は、ユーザ体験を拡張するために、かつ／またはＡＲシステム２０１がより正確かつ効果的に機能することができるように、使用され得る情報を通信し得る。
図２は、ＡＲシステム２０１を神経筋活動システム２０２と統合する分散型コンピュータベースシステム２００を示すが、これらのシステム２０１および２０２の統合は、本質的に非分散型であり得ることを理解されよう。いくつかの実施形態では、神経筋活動システム２０２は、神経筋活動システム２０２の様々な構成要素がＡＲシステム２０１の部分と見なされ得るように、ＡＲシステム２０１内に統合されてよい。たとえば、神経筋センサー２０９からの入力は、（たとえば、カメラ２０４からの、センサー２０７からの）ＡＲシステム２０１へのもう１つの入力として扱われてよい。加えて、神経筋センサー２０９から取得された入力（たとえば、センサー信号）の処理はＡＲシステム２０１内に統合されてよい。
図３は、本明細書で説明する技術のいくつかの実施形態による、神経筋信号、およびカメラまたは信号入力を処理するためのプロセス３００のフローチャートを示す。プロセス３００は、たとえば、ＡＲベースのシステム２００、ＡＲシステム２０１、神経筋活動システム２０２、および／またはシステム２０１、２０２が信号入力を提供する、別個のコンピュータシステムなど、システム上で実装され得る。一実装形態では、プロセス３００は、神経筋活動システム２０２によって実行され得る。活動３１０において、センサー信号は、神経筋活動システム２０２の１つまたは複数のセンサー（本明細書で「生センサー信号」と呼ばれることもある）によって感知および記録され得る。いくつかの実施形態では、センサーは、ユーザによって着用される着用可能なデバイス上に配置された複数の神経筋センサー２０９（たとえば、ＥＭＧセンサー）を含み得る。たとえば、センサー２０９は、ユーザが様々な動きまたはジェスチャを実行するにつれて、ユーザからの神経筋信号を記録するためにユーザの手首または前腕の周りに着用されるように構成されたゴムバンド上に配置されたＥＭＧセンサーであってよい。いくつかの実施形態では、ＥＭＧセンサーは、図１２に示すように、バンド１２０２上に配置されたセンサー１２０４であってよい。いくつかの実施形態では、ＥＭＧセンサーは、図１３Ａに示すように、ゴムバンド１３２０上に配置されたセンサー１３１０であってよい。ユーザによって実行されるジェスチャは、ユーザの手のひらをテーブルの上に載せるなどの静止ジェスチャ、指を前後に振るなどの動的ジェスチャ、および対立筋を共収縮することによって関節を若干緊張させる、オブジェクトまたは面の上を圧迫する、または筋肉下活性化を使用するなど、別の人物には知覚不可能な内密のジェスチャを含み得る。ユーザによって実行されるジェスチャは、象徴的なジェスチャ（たとえば、たとえば、他のジェスチャ、対話、またはコマンドに対するマッピングを指定するジェスチャ語彙に基づいて、他のジェスチャ、対話、またはコマンドにマッピングされるジェスチャ）を含み得る。
複数の神経筋センサーに加えて、本明細書で説明する技法のいくつかの実施形態は、上記で論じたように、１つまたは複数のトレーニングされた推論モデルに対する入力として提供されてもよい補助信号を記録するように構成された、１つまたは複数の補助センサーを含み得る。補助センサーの例は、ＩＭＵ、撮像デバイス、放射線検知デバイス（たとえば、レーザー走査デバイス）、心拍数モニタ、または１つまたは複数の動きまたはジェスチャの実行中、ユーザからの生物物理学的情報を感知して記録するように構成された、任意の他のタイプのバイオセンサーを含む。一実施形態によれば、活動３２０において、図３のプロセス３００に示すように、システムは、１つまたは複数のカメラ入力を受信し処理する。そのような入力は、画像、ビデオ、ストリーム、などの信号など、１つまたは複数の生信号、もしくは検出されたオブジェクト、３Ｄモデル、などの表現の信号など、１つまたは複数の前処理された形態の信号、および／またはカメラ入力の状態を反映する情報など、他の情報を含み得る。さらに、いくつかの実施形態は、たとえば、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ（Ｒｅｄｍｏｎｄ、Ｗａｓｈｉｎｇｔｏｎ、ＵＳＡ）から入手可能なＫｉｎｅｃｔシステムおよびＬｅａｐ Ｍｏｔｉｏｎ，Ｉｎｃ．（Ｓａｎ Ｆｒａｎｓｉｃｓｏ、Ｃａｌｉｆｏｒｎｉａ、ＵＳＡ）から入手可能なＬｅａｐ Ｍｏｔｉｏｎシステムなど、骨格追跡を実行するカメラベースのシステムを使用して実装され得ることを諒解されたい。本明細書で説明する様々な実施形態を実装するために、ハードウェアおよび／またはソフトウェアの任意の組み合わせが使用され得ることを諒解されたい。
活動３１０および３２０は、１つまたは複数のセンサー（たとえば、ＥＭＧセンサー、ＩＭＵ）によって感知され記録された信号および／または１つまたは複数のカメラからのカメラ入力信号を含み得る生センサー信号が随意に処理される、処理活動自体を含んでもよい。いくつかの実施形態では、生センサー信号は、（たとえば、増幅、フィルタリング、および／または整流を実行するために）ハードウェア信号処理回路を使用して処理され得る。他の実施形態では、生センサー信号の少なくともいくつかの信号処理は、ソフトウェアを使用して実行され得る。したがって、１つまたは複数のセンサーによって感知され記録された、かつ／または１つまたは複数のカメラから取得された、生センサー信号の信号処理は、ハードウェア、またはソフトウェア、またはハードウェアとソフトウェアの任意の好適な組み合わせを使用して実行され得る。いくつかの実装形態では、生センサー信号は、他の信号データを導出するために処理され得る。たとえば、１つまたは複数のＩＭＵによって記録された加速度計データは、筋肉の活性化中またはジェスチャの実行中に、１つまたは複数の筋肉に関連して導出された信号データを判定するために統合および／またはフィルタリングされ得る。
プロセス３００は、次いで、活動３３０に進み、ここで、生センサー信号（たとえば、神経筋信号およびカメラ入力信号）または生センサー信号の処理されたバージョンは、上記で説明したように、手の状態情報など、ユーザ動き情報を生み出すように構成された、トレーニングされた推論モデルに対する入力として随意に提供される。
プロセス３００は、次いで、活動３４０に進み、ここで、トレーニングされた推論モデルの出力が提供される。たとえば、いくつかの実施形態では、生センサー信号、処理されたセンサー信号、および／またはトレーニングされた推論モデルの出力（たとえば、手の状態情報および／またはトレーニングされた推論モデルの他のレンダリングされた出力、など）に基づいて、システムの制御出力が提供される。たとえば、いくつかの実施形態では、ＡＲシステム２０１は、ＡＲシステム２０１（または、他のシステムディスプレイ）がレンダリングされたジェスチャとして表示され得る、レンダリングされた出力を受信し得る。
いくつかの実施形態によれば、１つまたは複数のコンピュータプロセッサ（たとえば、システム１００のプロセッサ１１２、またはＡＲベースのシステム２００のプロセッサ２０５）は、生センサー信号（たとえば、上記で論じたセンサーによって感知され記録された信号および／またはカメラ入力信号）および／またはこれらの信号に基づく情報からユーザの１つまたは複数の筋肉活性化状態を識別するようにプログラムされ得る。信号 生センサー信号に基づく情報は、処理されたセンサー信号（たとえば、処理されたＥＭＧ信号）に関連する情報、および／またはトレーニングされた推論モデルの出力に関連する情報（たとえば、手の状態情報）を含み得る。ユーザの１つまたは複数の筋肉活性化状態は、ユーザによって実行される静止ジェスチャ、ユーザによって実行される動的ジェスチャ、ユーザの筋肉下活性化状態、および／またはユーザによって実行される筋肉の緊張を含み得る。ユーザの１つまたは複数の筋肉活性化状態は、生センサー信号内で検出された筋肉活動および／または１つまたは複数の運動単位活性化の１つまたは複数のパターン、および／またはユーザによって実行される様々な動きまたはジェスチャに関連する、生センサー信号に基づく情報によって定義され得る。
図４は、本明細書で説明する技術のいくつかの実施形態による、ＡＲベースのシステム内でジェスチャ情報を処理するためのプロセス４００のフローチャートである。具体的には、ＡＲシステムがユーザ体験を提供するための神経筋活動システムに関連して使用され得る、いくつかの異なる使用シナリオが存在し得る。図４に示すように、プロセス４００に従って、活動４１０において、ＡＲベースのシステムは、ＡＲベースのシステムのディスプレイ内でモデルジェスチャをユーザに表示するように構成され得る。たとえば、ＡＲベースのシステムは、投げる動きまたはユーザが模倣するかまたは学習することを望む他のジェスチャタイプを表示するように適合され得る。このために、ＡＲベースのシステムは、ユーザが特定のジェスチャを真似ることを試みる間、ジェスチャの一例をユーザに表示し得る。活動４２０において、神経筋活動システムは、ジェスチャを真似る間に、ユーザによって生み出された神経筋信号を処理する。活動４３０において、神経筋活動システムは、真似されたジェスチャがそのジェスチャのモデルに整合するかどうかを判定する。そのような判定は、たとえば、１つまたは複数の３Ｄ基準モデルを使用して、ユーザが真似たジェスチャを測定するか、またはそのジェスチャをジェスチャの基準モデルと比較する推論モデルの出力を比較することによって行われ得る。許容可能な整合は、一定の事前定義された範囲または２つ以上の基準モデル間の誤差レベル内で生じ得る。整合が生じるかどうかを判定するために、カメラデータ（たとえば、カメラからの入力信号）が（単独で、または神経筋信号と組み合わせて）使用されてもよいことを諒解されたい。たとえば、神経筋信号（たとえば、ＥＭＧ信号）が入手可能でない場合、整合は、もっぱらカメラデータを使用して検出され得る。
さらに、推論モデルは、モデル間の整合の指示を提供するようにトレーニングされてもよい。活動４４０において、ＡＲディスプレイ内の表示指示（たとえば、光、またはジェスチャが整合したかまたは整合しなかったかを識別する他のインジケータ）、オーディオ出力（たとえば、「よくできました」、「整合」、など、発話に対するオーディオ信号）、触覚フィードバック、電気的刺激、および／またはユーザが知覚可能な他の出力など、フィードバックがユーザに提供され得る（図５に関して以下で詳細に説明する）。そのような比較の一態様は、ジェスチャが正確に（または、不正確に）完了されることになるかどうかについての予測を含み得ることを諒解されたい。たとえば、ＡＲベースのシステム内のハードウェアおよび／またはソフトウェアは、ユーザがジェスチャを成功裏に完了する可能性があるかどうかを判定することが可能な予測測定のためのルーチンを実行し得る。１つの例示的な実装形態では、予測測定が、ユーザが成功しないことを示すとき、オーディオ出力がユーザに提示され得る。
諒解されるように、ユーザに対するフィードバックは、カメラに対するユーザの位置に関係し得る。たとえば、ユーザがカメラの視野から完全にまたは部分的に遮蔽されている場合、フィードバックは、ユーザの身体の関連する部分がいつ視野内にあるかをユーザに知らせることができる。
いくつかの実施形態では、ジェスチャの予測に基づいて、ジェスチャの完了前に、いくつかの出力がユーザに配信され得ることを諒解されたい（たとえば、ユーザがジェスチャを完了する前に、ユーザは、ジェスチャの実行に対するユーザの試行が成功しないことを示す電気的刺激を受けることができる）。また、整合動作は、推論モデルをトレーニングするため、ＡＲベースのシステムの較正のため、および／またはＡＲ状況におけるユーザのトレーニングのために実行され得るが、筋骨格推論モデルをリアルタイムでトレーニングおよび／または補正して、より正確な関節角度予測を作成するために、たとえば、ＥＭＧ信号と関節角度とを対にするデータが使用され得ることを諒解されたい。しかしながら、ジェスチャ分類器の場合、ユーザが所与のジェスチャを実行しているかどうかを具体的に判定することが望ましい場合がある。そのような場合、モデルを回帰させる対象である関節角度に対する整合を検出するか、またはその関節角度をターゲットにすることによって、ジェスチャラベルなど、トレーニングおよび／または分類データを提供するために使用可能な情報を取得するために、１つまたは複数のカメラ（たとえば、カメラ２０４）が使用され得る。
図５は、本明細書で説明する技術のいくつかの実施形態による、神経筋信号とカメラ入力信号を統合し、フィードバックをユーザに提供するためのプロセス５００のフローチャートである。プロセス５００は、図２のＡＲベースのシステム２００によって実行され得る。活動５１０において、神経筋活動システム２０２は、図３を参照して上記で論じたのと同様の方法で信号を受信し処理する。さらに、活動５２０において、システム２００は、図３を参照して（たとえば、活動３２０において）上記で論じたのと同様の方法でカメラ入力を受信し処理する。活動５３０において、システム２００は、フィードバックをユーザに（たとえば、ＡＲベースのシステム２００のディスプレイ２０８のうちの１つまたは複数の中で）表示する。代替として、システム２００は、オーディオフィードバック、触覚フィードバック、またはユーザによって知覚可能な他の出力など、いくつかの異なる方法でフィードバックを提供し得る。このために、神経筋活動システム２０２は、フィードバック出力を表示または生成するために、ＡＲベースのシステム２００の他の部分に出力を提供することが可能であり得る。いくつかの実装形態では、ＡＲベースのシステム２００は、フィードバックをユーザに提供またはレンダリングすることができる、１つまたは複数のオーディオ出力、ディスプレイ、インジケータ、および／または他のタイプの出力デバイスを有し得る。代替として、システム２００は、出力信号（たとえば、制御信号）を１つまたは複数の第三者システム（たとえば、マネージャシステム、監視システム、監督システム、または他のタイプの第三者システム）に提供またはレンダリングするように構成され得る。
図６は、本明細書で説明する技術のいくつかの実施形態による、カメラデータに基づいて推論モデルを更新するためのプロセス６００のフローチャートである。プロセス６００は、図２のＡＲベースのシステム２００によって実行され得る。活動６１０において、システム２００は、カメラ入力（たとえば、キャプチャされた画像の入力信号）を受信して処理する。一実施形態では、活動６２０において、システム２００は、キャプチャされた画像からまたは他の入力（たとえば、神経筋データ）から位置情報を判定する。活動６３０において、システム２００は、判定された位置情報に基づいて推論モデルのパラメータを更新し得る。たとえば、神経筋活動システム２０２が手の位置および／または腕の位置を判定する状況において、カメラ入力データ（たとえば、手および／または腕の画像）は、較正活動において特定の推論モデルに関する位置情報を補正するために、すなわち、推論モデルを較正するために、使用され得る。２つ以上のデータソース（たとえば、カメラデータおよびＥＭＧデータ）が存在する場合、推論モデルは、それらのソースからのデータが同時に取得されることを要求し得る。たとえば、ＥＭＧベースの位置情報に対応する信号に誤差またはズレが存在することがあり、カメラ入力信号から判定されたグラウンドトゥルース位置は、ＥＭＧベースの推論モデルのパラメータを調整するために使用され得る。このようにして、ＥＭＧベースの推論モデルの精度は、ＥＭＧベースの推論モデルを較正するために、ＥＭＧ信号およびカメラ入力信号の両方を使用することによって改善され得る。そのようなプロセスは、ユーザが離散的ジェスチャを実行する、かつ／または「通常の」動作においてリアルタイムでジェスチャを実行する較正動作の部分として使用されてよく、ジェスチャに対する推論モデルは、モデルに対する神経筋信号を提供するソース以外の信号源によって生成されたグラウンドトゥルースデータに基づいて調整される必要があり、他の信号源は、たとえば、カメラであってよい。いくつかの実施形態では、カメラデータは、（たとえば、回帰モデルに対する）連続関節角度を推定するために、または（たとえば、分類器に対する）離散的ジェスチャを識別するために、使用され得る。
図７は、本明細書で説明する技術のいくつかの実施形態による、カメラデータに基づいて推論モデルを更新するためのプロセス７００のフローチャートである。プロセス７００は、図２のＡＲベースのシステム２００によって実行され得る。図６の活動６１０と同様に、活動７１０において、システム２００は、カメラ入力（たとえば、キャプチャされた画像の入力信号）を受信して処理する。活動７２０において、システム２００は、キャプチャされた画像から形状情報を判定する。たとえば、手の画像をキャプチャするとき、セグメントの長さ、関節の位置、および手の他の形状関係など、形状情報がキャプチャされ得る。活動７３０において、そのような形状情報は、推論モデルの１つまたは複数のパラメータを更新するために使用され得る。１つの例示的な実装形態では、システム２００は、手のＥＭＧモデルによって使用される形状を補正し得る。たとえば、カメラによってキャプチャされた画像は、ＥＭＧベースの信号を使用して生成された画像よりもユーザの手の形状を正確に描写し得ることを諒解されたい。たとえば、カメラによってキャプチャされるような指のセグメントの長さの画像は、手の形状のＥＭＧベースの推論モデルを更新するために使用され得る。これは、特に、ＥＭＧベースの推論モデルがその特定のユーザと使用するために補正または更新されるときに適切であり得る。
図８は、本明細書で説明する技術のいくつかの実施形態による、位置情報および力情報を判定するためのプロセスのフローチャート８００である。具体的には、上記で論じたように、ＡＲ環境内の位置情報および力情報をより正確に判定するために神経筋情報およびカメラ入力情報の両方を使用することが有益であり得る。プロセス８００は、図２のＡＲベースのシステム２００によって実行され得る。活動８１０において、神経筋活動システム２０２は、神経筋入力信号を受信して処理する。さらに、活動８２０において、ＡＲシステム２０１は、少なくとも１つのカメラ入力信号を受信して処理する。活動８３０において、神経筋入力信号およびカメラ入力信号が推論モデルに提供される。両方の入力に基づいて、システム２００は、位置情報を（たとえば、活動８４０において）判定し得、力情報を（たとえば、活動８６０において）判定し得る。位置情報および力情報は、たとえば、ＡＲディスプレイ内にユーザの手の表現をレンダリングするために使用され得る。たとえば、この表現は、ユーザの手および指といった付属肢のより正確な位置、ならびに手および／または指といった付属肢のうちのいずれかにかけられ得る何らかの力を示し得る。１つの特定の例では、システム２００は、ユーザの親指が同じ手の人差し指を圧迫している、ユーザの手の位置をより正確にレンダリングし得る。カメラ入力は人差し指と親指とが接触している視覚指示を提供し得るが、神経筋信号は人差し指および親指によって同じ相対レベルで力が加えられていること（たとえば、人差し指および親指が軽量の力で共に圧迫されていること）を示し得るため、カメラ入力は特に有用であり得る。このように、システム２００は、ユーザの手の手の状態情報をより正確に表すことができる。随意に、システム２００は、活動８５０および８７０において、それぞれ位置情報および力情報を出力として提供し得る。そのような出力は、指示を提供し、出力または他の表現をレンダリングし、かつ／または他のシステムを制御するために、１つまたは複数の他のシステムによって使用され得る。
いくつかの実装形態では、カメラ入力信号は、１つまたは複数の指がユーザの親指と接触しているかどうかを判定し、接触している場合、どの指が親指と接触しているかを判定するために処理され得る。一実施形態では、接触が存在する場合、次いで、神経筋入力信号を提供した神経筋センサーから記録された信号電力（たとえば、ＥＭＧ信号電力）の対数に応じて、または力の大きさを推論するための別の信号処理技法を用いて、アフィン変換として、親指と接触している指との間の力の大きさが推定され得る。アフィン変換関数の係数は、ユーザが最初にそれらの指に軽く触れ、次いで、後で、それらの指の間の摘まむ力に対応する最大随意収縮を生み出す較正段階によって判定され得る。この実装形態では、推論モデルは、わずかな最大随意収縮単位で力を出力し得る。いくつかの実装形態では、アフィン変換関数の係数は、親指に接触している指のセットに対して特定であり得る。同様に、ＥＭＧ信号電力のアフィン変換関数は、ユーザがオブジェクトまたは面に力をかけている場合、較正され得る。
図９は、本明細書で説明する技術のいくつかの実施形態による、入力信号の品質を判定し、それらの品質に基づいてモデル関数を実行するためのプロセス９００のフローチャートである。プロセス９００は、図２のＡＲベースのシステム２００によって実行され得る。たとえば、一定の入力信号は一定の状況において他の入力信号よりも信頼できるものであり得ることを諒解されたい。たとえば、カメラ入力信号は、モデル形成されることになるオブジェクトが、カメラの視野から遮蔽されているか、またはカメラの視野内にまったくないとき、情報に対する信頼性はより低い可能性がある。同様に、神経筋信号は、変化する物理的条件、雑音、または他の干渉によって生成される誤差を含み得る。したがって、システムが、モデルが適切に更新され得るように、特定の入力信号の品質を適応的に判定することが有利であり得る。
活動９１０において、システム２００は、（たとえば、神経筋活動システム２０２によって受信される）神経筋信号を受信して処理する。活動９２０において、ＡＲシステム２０１は、１つまたは複数のカメラ入力信号を受信して処理する。活動９３０において、システム２００は、神経筋信号の品質を判定する。たとえば、神経筋活動システム２０２または別の好適なシステムは、神経筋信号が使用されるべきであるかどうかを判定し、使用されるべきである場合、何のレベルで使用されるべきかを判定し得る。たとえば、神経筋信号の一定の部分は正確であり得る（たとえば、力測定）が、神経筋信号の他の部分は正確でない可能性がある（たとえば、絶対的な前腕位置）。神経筋信号の一定の部分は、一定の時間枠内で、変化する条件下で、信頼できるものであり得る。たとえば、低周波数（たとえば、２０Ｈｚ未満）または高周波数（たとえば、５００Ｈｚを超える）においてかなりの力（たとえば、所定のしきい値を上回る力）を有するＥＭＧ信号は、低品質のＥＭＧ信号を示し得る。
活動９４０において、システム２００は、カメラ入力信号の品質を判定し得る。上記で論じたように、カメラ信号は、一定のオブジェクトが視野内にあるとき、特定の品質レベルのものであると判定されてよく、カメラ信号は、オブジェクトが遮蔽されているかまたは視野内にないとき、より低い品質レベルであると判定されてよい。活動９５０において、システム２００は、カメラ入力信号および神経筋信号の判定された品質に基づいて、信号を推論モデルに提供し得る。たとえば、１つまたは複数のカメラ入力信号または神経筋信号は、推論モデル内に入力されるのに先立って、フィルタリングまたは廃止され（ｄｅｐｒｅｃａｔｅｄ）得る。別の実装形態では、推論モデルは、変化する条件下でトレーニングされてよく、異なる品質の信号に応じてトレーニングされてよい。別の実装形態では、２つのタイプの入力の各々から別個のベイズ予測およびベイズ信頼性が判定されてよく、（たとえば、加重平均をとることによって）２つの予測を組み合わせるためにベイズ手法が使用され得る。活動９６０において、システム２００は、推論モデルの出力を提供する。
図１０は、本明細書で説明する技術のいくつかの実施形態による、１つまたは複数のＥＭＧセンサー１０４０およびカメラ１０６０を利用するシステム１０００の１つの例示的な実装形態を示す図である。たとえば、図１０は、ユーザの腕、および、１つまたは複数の関節およびセグメントからなり、筋骨格表現として示され得る、付いた手（「腕／手」）１０１０を示す。より具体的には、ユーザの手のセグメント１０２０は、関節によって接続されている。腕および手の位置、および腕および手のセグメントの長さは、システム１０００によって判定され、モデル筋骨格表現の３次元空間内に位置し得る。さらに、ユーザの手は、補間された前腕セグメント１０３０をやはり含み得る。上記で論じたように、神経筋活動システムは、ユーザの手／腕の位置の１つまたは複数の表現を判定するために使用され得る。このために、ユーザは、筋骨格表現を判定するために使用される神経筋信号を感知して記録する、１つまたは複数のＥＭＧセンサー１０４０を備えるバンドを着用し得る。ＥＭＧセンサー１０４０が神経筋信号を感知して記録するのと同時に、カメラ１０６０は、カメラの視野１０５０内のオブジェクトをキャプチャするために使用され得る。たとえば、図１０において、カメラの視野１０５０は、ユーザの腕／手１０１０を含む。カメラデータは、ＥＭＧセンサー１０４０によって判定された神経筋活動信号に加えて、位置、形状、およびユーザの腕／手１０１０によってかけられている力を再構築するために使用され得る。さらに、システム１０００からの出力は、システム１０００がユーザの腕／手１０１０の表現をＡＲディスプレイまたは他のタイプのシステム内などにレンダリングすることができるように提供され得る。
図１１は、本明細書で説明する技術のいくつかの実施形態による、トレーニングされた推論モデルに対する入力を処理するプロセス１１００を示す図である。たとえば、ＩＭＵ入力（１１０１）、ＥＭＧ入力（１１０２）、およびカメラ入力（１１０３）を使用することによって、筋骨格表現のより正確な表現が取得され得ることを諒解されたい。これらの入力１１０１、１１０２、１１０３の各々は、トレーニングされた推論モデル１１１０に提供され得る。推論モデル１１１０は、位置、力、および／または筋骨格状態の表現など、１つまたは複数の出力を提供するように構築され得る。そのような出力は、上記で論じたような、指示または表示のために、またはフィードバックをユーザに提供するために、ＡＲシステムなど、１つまたは複数のシステムに提供され得る。入力１１０１、１１０２、１１０３のうちのいずれも、トレーニングされた推論モデルから出力を導出するために任意の他の入力との任意の組み合わせで使用され得ることを諒解されたい。たとえば、前腕の位置情報は、ＩＭＵ入力１１０１およびカメラ入力１１０３の組み合わせに基づいて導出され得る。一実装形態では、前腕の位置の推定は、ＩＭＵ入力１１０１に基づいて生成され、カメラ入力１１０３から取得されたグラウンドトゥルースデータに基づいて調整され得る。また、前腕の位置および／または前腕の方向は、ＩＭＵ入力１１０１なしに、カメラ入力１１０３のみを使用して導出され得る。別のシナリオでは、ＥＭＧ入力１１０２（たとえば、ＥＭＧ信号）は、力専用情報を導出して、カメラモデルシステムによって提供された姿勢専用情報を拡張するために使用され得る。入力の他の組み合わせは、所望の出力を取得するために使用されてよく、本明細書で説明する様々な実施形態の範囲内である。
いずれかの筋骨格表現の生成の有無にかかわらず、そのような出力が導出され得ることを諒解されたい。ＡＲシステムに提供される制御入力信号として使用される、ＥＭＧベースの制御信号の出力など、１つまたは複数の出力が、任意の他のシステムに対する制御入力として使用され得ることをやはり諒解されたい。
本明細書で説明したいずれの実施形態も、単独で、または本明細書で説明したいずれかの他の実施形態と組み合わせて使用され得ることを諒解されたい。さらに、本明細書で説明した一実施形態の部分は、本明細書で説明した１つまたは複数の他の実施形態の部分と組み合わされてよい。加えて、本明細書で説明した実施形態は、全体または一部において、参照により本明細書に組み込まれる、２０１９年１月２５日に出願した、「ＣＡＬＩＢＲＡＴＩＯＮ ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＨＡＮＤＳＴＡＴＥ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮ ＭＯＤＥＬＩＮＧ ＵＳＩＮＧ ＮＥＵＲＯＭＵＳＣＵＬＡＲ ＳＩＧＮＡＬＳ」と題する米国特許出願第１６／２５７，９７９号、および参照により本明細書に組み込まれる、２０１７年７月２５日に出願した、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＭＥＡＳＵＲＩＮＧ ＴＨＥ ＭＯＶＥＭＥＮＴＳ ＯＦ ＡＲＴＩＣＵＬＡＴＥＤ ＲＩＧＩＤ ＢＯＤＩＥＳ」と題する米国特許出願第１５／６５９，５０４号において説明された実施形態とともに使用され得る。
上記の実施形態は、多数の方法のうちのいずれかで実装され得る。たとえば、これらの実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装され得る。ソフトウェアを使用して実装されるとき、ソフトウェアを備えるコードは、単一のコンピュータ内に提供されるか、または複数のコンピュータにわたって分散されて提供されるかにかかわらず、任意の好適なプロセッサまたはプロセッサの収集物の上で実行され得る。上記で説明した機能を実行するいずれの構成要素または構成要素の収集物も、一般に、上記で論じた機能を制御する、１つまたは複数のコントローラと見なされ得ることを諒解されたい。１つまたは複数のコントローラは、専用ハードウェアとともに、または上記で列挙した機能を実行するためにマイクロコードまたはソフトウェアを使用してプログラムされた１つまたは複数のプロセッサとともになど、多数の方法で実装され得る。
この点で、本発明の実施形態の一実装形態は、プロセッサ上で実行されるとき、本明細書で説明した技術の実施形態の上記で論じた機能を実行するコンピュータプログラム（すなわち、複数の命令）を用いて符号化された、少なくとも１つの非一時的コンピュータ可読記憶媒体（たとえば、コンピュータメモリ、ポータブルメモリ、コンパクトディスク、など）を備えることを諒解されたい。コンピュータ可読記憶媒体は、本明細書で論じた本発明の態様を実装するために、その上に記憶されたプログラムが任意のコンピュータリソース上にロードされ得るように、移送可能であり得る。加えて、実行されると、上記で論じた機能を実行するコンピュータプログラムの参照は、ホストコンピュータ上で実行するアプリケーションプログラムに限定されないことを諒解されたい。むしろ、コンピュータプログラムという用語は、本明細書において、本発明の上記で論じた態様を実装するようにプロセッサをプログラムするために採用され得る任意のタイプのコンピュータコード（たとえば、ソフトウェアまたはマイクロコード）を指すために一般的な意味で使用される。
本明細書で提示した技術の様々な態様は、単独で、組み合わせて、または上記で説明した実施形態において具体的に論じられていない様々な配置で使用可能であり、したがって、その適用例を前述の説明および／または図面において記載された構成要素の詳細および配置に限定しない。
また、上記で説明した実施形態のうちのいくつかは、そのうちのいくつかの例が提供されている、１つまたは複数の方法として実装され得る。方法の部分として実行される活動は、任意の好適な方法で順序付けられてよい。したがって、例示的な実施形態において連続的な活動として示されているとしても、いくつかの活動を同時に実行することを含み得る、本明細書で示した、または説明したのとは異なる順序で活動が実行される実施形態が構築され得る。本明細で使用される表現および専門用語は、説明のためであり、限定的であると見なされるべきではない。「含む」、「備える」、「有する」、「包含する」、「関連する」、およびそれらの変形態の使用は、その後に列挙する項目および追加の項目を網羅することを意味する。
本発明のいくつかの実施形態を詳細に説明してきたが、様々な修正および改善は、当業者に容易に浮かぶであろう。そのような修正および改善は、本発明の趣旨および範囲内であることが意図される。したがって、前述の説明は、単なる例であり、限定的であることは意図されない。本発明は、以下の特許請求の範囲およびその均等物によって定義されるようにのみ限定される。
前述の特徴は、本明細書で論じた実施形態のうちのいずれかにおいて、別々に、または任意の組み合わせで一緒に使用され得る。
さらに、本発明の利点が示されることがあるが、本発明のすべての実施形態がすべての説明した利点を含むことにはならないことを諒解されたい。いくつかの実施形態は、本明細書で利点として説明した任意の特徴を実装しないことがある。したがって、前述の説明および添付の図面は、単なる例示である。
開示した実施形態に対する変形形態が可能である。たとえば、本技術の様々な態様は、単独で、組み合わせて、または前述で説明した実施形態において具体的に論じていない様々な配置で使用可能であり、したがって、これらの態様は、適用の際に、前述の説明で記載した、または図面に示した、構成要素の詳細および配置に限定されない。一実施形態において説明した態様は、他の実施形態において説明した態様といずれかの方法で組み合わされてよい。
要素を修正するための、説明および／または請求項における「第１の」、「第２の」、および「第３の」、などの順序を示す用語の使用は、それ自体、別の要素に対する１つの要素の何らかの優先度、優位、または順序、または方法の活動が実行される時間的順序を含意せず、ある名称を有する１つの要素または活動を同じ名称を有する別の要素または活動と区別してそれらの要素または活動を区別するための（しかしながら、順序を示す用語を使用するための）標示として単に使用される。
明細書および請求項において、本明細書において使用した不定冠詞「ａ」および「ａｎ」は、それと異なる明記がない限り、「少なくとも１つ」を意味すると理解すべきである。
１つまたは複数の要素のリストを参照する際の「少なくとも１つ」という句のいずれの使用も、要素のリスト内の要素のうちのいずれか１つまたは複数から選択された少なくとも１つの要素を意味するが、要素のリスト内に具体的に列挙されたあらゆる要素のうちの少なくとも１つを必ずしも含むとは限らず、要素のリスト内の要素のいずれの組み合わせも排除しないことを理解されたい。この定義は、具体的に識別された要素に関係しようと、または無関係であろうと、「少なくとも１つ」という句が指す要素のリスト内で具体的に識別される要素以外の要素が随意に存在し得ることをやはり可能にする。
２つの値（たとえば、距離、幅、など）を参照する際の「等しい」または「同じ」という句のいずれの使用も、２つの値が製造公差において同じであることを意味する。したがって、等しいまたは同じである２つの値は、これらの２つの値が±５％だけ互いと異なることを意味し得る。
明細書および請求項において、本明細書において使用した「および／または」という句は、そのように結合された要素、すなわち、場合によっては、結合的に存在するか、または他の場合には、分離的に存在する要素の「いずれかまたは両方」を意味すると理解されたい。「および／または」とともに列挙された複数の要素は、同じように、すなわち、そのように結合された要素の「１つまたは複数の」と解釈されるべきである。具体的に識別された要素に関係しようと、または無関係であろうと、「および／または」節によって具体的に識別される要素以外の他の要素が随意に存在し得る。したがって、非限定的な例として、「Ａおよび／またはＢ」の参照は、「含む／備える」などのオープンエンド型（ｏｐｅｎ−ｅｎｄｅｄ）用語とともに使用されるとき、一実施形態において、Ａのみ（随意に、Ｂ以外の要素を含む）を指し得、別の実施形態において、Ｂのみ（随意に、Ａ以外の要素を含む）を指し得、さらに別の実施形態において、ＡとＢの両方（随意に、他の要素を含む）、などを指し得る。
明細書および請求項において、本明細で使用される「または」は、上記で定義した「および／または」と同じ意味を有すると理解すべきである。たとえば、リスト内の項目を分離するとき、「または」または「および／または」は、包括的、すなわち、少なくとも１つを包括するが、いくつかの要素または要素のリストのうちの１つを超える要素も含み、また、随意に、追加の列挙されない項目も含むと解釈すべきである。「のうちの１つのみ」または「のうちのまさに１つ」など、その反対が明確に示されるか、または請求項において使用されるときのみ、「からなる」は、いくつかの要素または要素のリストのうちのまさに１つの要素の包括を指すことになる。概して、本明細で使用される「または」という用語は、「いずれか」、「のうちの１つ」、「のうちの１つのみ」、または「のうちのまさに１つ」など、排他性の用語が先行するときのみ、排他的な代替（すなわち、「両方ではなく、１つまたはもう１つの」）を示すと解釈するべきである。「本質的に〜からなる」は、請求項において使用されるとき、特許法の分野で使用されるその通常の意味を有するものとする。
また、本明細で使用される表現および専門用語は、説明のためであり、限定的であると見なされるべきではない。「含む」、「備える」、「からなる」、「有する」、「包含する」、および「関連する」などの用語、ならびに本明細書におけるその変形態の使用は、その後に列挙する項目およびその均等物、ならびに追加の項目を網羅することを意味する。
「およそ」および「約」という用語は、本明細書で使用される場合、いくつかの実施形態では、目標値の±２０％内を意味し、いくつかの実施形態では、目標値の±１０％内を意味し、いくつかの実施形態では、目標値の±５％以内を意味し、いくつかの実施形態では、目標値の±２％以内を意味すると解釈され得る。「およそ」および「約」という用語は、目標値に等しくてよい。
「実質的に」という用語は、本明細書で使用される場合、いくつかの実施形態では、目標値の９５％内を意味し、いくつかの実施形態では、目標値の９８％内を意味し、いくつかの実施形態では、目標値の９９％以内を意味し、いくつかの実施形態では、目標値の９９．５％以内を意味すると解釈され得る。いくつかの実施形態では、「実質的に」という用語は。目標値の１００％に等しくてよい。

Claims (204)

  1. 筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムであって、
    少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、
    ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、
    前記複数の神経筋信号および前記少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、前記１つまたは複数の推論モデルを較正するようにプログラムされた少なくとも１つのコンピュータプロセッサと
    を備える、コンピュータ化システム。
  2. 前記少なくとも１つのパラメータの前記更新が、
    前記１つまたは複数の推論モデルを較正するために、前記複数の神経筋信号を前処理するためのルーチンの更新、
    前記１つまたは複数の推論モデルを較正するために前記少なくとも１つの画像に対応する画像信号が使用される前に、前記画像信号を前処理するためのルーチンの更新、
    前記１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新、
    前記１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、
    前記１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および
    前記１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項１に記載のコンピュータ化システム。
  3. 前記１つまたは複数の推論モデルが、
    手の状態、
    静止姿勢、および
    動的ジェスチャ
    のうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能である、請求項１に記載のコンピュータ化システム。
  4. 前記少なくとも１つのカメラが、前記ユーザに対して固定されたロケーションに配設されたカメラを備える、請求項１に記載のコンピュータ化システム。
  5. 前記少なくとも１つのカメラが、前記ユーザの上に装着されるように構成されたカメラを備える、請求項１または４に記載のコンピュータ化システム。
  6. 前記少なくとも１つの画像が、
    可視光によって生み出された画像、
    赤外光によって生み出された画像、
    所定の波長範囲の光によって生み出された画像、および
    ２つ以上の異なる所定の波長範囲の光によって生み出された画像
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項１に記載のコンピュータ化システム。
  7. 前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記複数の神経筋信号、または前記複数の神経筋信号から導出された情報、または前記複数の神経筋信号および前記複数の神経筋信号から導出された前記情報の両方が前記１つまたは複数の推論モデルに対する入力として提供されるとき、前記少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように前記１つまたは複数の推論モデルをトレーニングすることを含む、請求項１に記載のコンピュータ化システム。
  8. 拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムをさらに備え、前記少なくとも１つのコンピュータプロセッサが、
    前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出し、
    前記ユーザによって実行される前記ジェスチャが前記特定のジェスチャに整合すると検出された場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新する
    ようにさらにプログラムされる、請求項１に記載のコンピュータ化システム。
  9. 前記少なくとも１つのカメラが、前記ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備える、請求項８に記載のコンピュータ化システム。
  10. 前記少なくとも１つのコンピュータプロセッサが、
    前記特定のジェスチャを実行するための前記ユーザに対する可視プロンプトを提供するように前記ＸＲシステムに命令する
    ようにさらにプログラムされる、請求項８に記載のコンピュータ化システム。
  11. 前記少なくとも１つのコンピュータプロセッサが、
    前記特定のジェスチャを実行するための前記ユーザに対する可聴プロンプトを提供するように前記ＸＲシステムに命令する
    ようにさらにプログラムされる、請求項８に記載のコンピュータ化システム。
  12. 前記ジェスチャが、外部ソースからの命令に基づいて前記ユーザによって実行される、請求項８に記載のコンピュータ化システム。
  13. 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、前記特定のジェスチャに整合すると検出される、請求項８に記載のコンピュータ化システム。
  14. 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、手の視覚表現を備える、請求項８に記載のコンピュータ化システム。
  15. 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、前記ユーザに対する命令を備える、請求項８に記載のコンピュータ化システム。
  16. 前記特定のジェスチャを実行するための前記ユーザに対する前記プロンプトが、前記ユーザが見ることができるディスプレイスクリーン上に提供される前記特定のジェスチャの視覚表現である、請求項８に記載のコンピュータ化システム。
  17. 前記視覚表現が前記ＸＲ環境内にある、請求項１４から１６のいずれか一項に記載のコンピュータ化システム。
  18. 前記特定のジェスチャが、
    動きまたは動的ジェスチャ、および
    姿勢または静止ジェスチャ
    のうちの１つである、請求項８に記載のコンピュータ化システム。
  19. 前記少なくとも１つの画像が、前記ユーザによる前記ジェスチャの実行中に前記少なくとも１つのカメラによってキャプチャされ、
    前記少なくとも１つのコンピュータプロセッサが、前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックを前記ユーザに提供させるようにさらにプログラムされる、
    請求項８に記載のコンピュータ化システム。
  20. 前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるために必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内に完全に含まれているかどうかを示す、請求項１９に記載のコンピュータ化システム。
  21. 前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるために必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内で完全にまたは部分的に遮蔽されているかどうかを示す、請求項１９に記載のコンピュータ化システム。
  22. 前記少なくとも１つのコンピュータプロセッサが、前記フィードバックを前記ＸＲ環境内で提供するように前記ＸＲシステムに命令する、請求項１９に記載のコンピュータ化システム。
  23. 前記フィードバックが、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を含む、請求項１９に記載のコンピュータ化システム。
  24. 前記可視フィードバックが、前記特定のジェスチャを実行するやり方を示す動画像または静止画像である、請求項２３に記載のコンピュータ化システム。
  25. 前記少なくとも１つのコンピュータプロセッサが、前記少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むかどうかを判定するようにさらにプログラムされ、
    前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記少なくとも１つの画像が前記筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、前記複数の神経筋信号に対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することを含む、
    請求項１に記載のコンピュータ化システム。
  26. 前記少なくとも１つのコンピュータプロセッサが、
    前記少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内でタスクを実行するために前記ユーザによって実行されるジェスチャが前記タスクを実行するための記憶されたジェスチャに整合するかどうかを検出し、
    前記ユーザによって実行される前記ジェスチャが前記タスクを実行するための前記記憶されたジェスチャに整合する場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新する
    ようにさらにプログラムされる、請求項１に記載のコンピュータ化システム。
  27. 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、前記記憶されたジェスチャに整合すると検出される、請求項２６に記載のコンピュータ化システム。
  28. 前記１つまたは複数の推論モデルが、
    手の状態、
    静止姿勢、および
    動的ジェスチャ
    のうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能である、請求項２６に記載のコンピュータ化システム。
  29. 前記少なくとも１つのコンピュータプロセッサが、
    前記少なくとも１つの画像に基づいて、前記ユーザに対応するユーザ固有の骨格形状を判定するようにさらにプログラムされ、
    前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新が、前記判定されたユーザ固有の骨格形状に基づいて、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータを更新することを含む、
    請求項１に記載のコンピュータ化システム。
  30. 前記ユーザ固有の骨格形状が、前記ユーザの少なくとも１本の指の長さを含む、請求項２９に記載のコンピュータ化システム。
  31. 前記少なくとも１つのカメラが、複数の画像を時系列でキャプチャするように構成され、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータの前記更新が、時系列でキャプチャされた前記複数の画像に少なくとも部分的にさらに基づく、請求項１に記載のコンピュータ化システム。
  32. 筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムの方法であって、
    少なくとも１つのコンピュータプロセッサによって、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像および前記少なくとも１つの画像から導出された情報のうちの一方または両方を受信することと、
    前記少なくとも１つのコンピュータプロセッサによって、ユーザからの複数の神経筋信号、および前記複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、前記複数の神経筋信号が、前記ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、
    前記少なくとも１つのプロセッサによって、前記複数の神経筋信号および前記少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、前記１つまたは複数の推論モデルを較正することと
    を含む、方法。
  33. 前記少なくとも１つのパラメータの前記更新が、
    前記１つまたは複数の推論モデルを較正するために前記複数の神経筋信号を前処理するためのルーチンの更新、
    前記１つまたは複数の推論モデルを較正するために前記少なくとも１つの画像に対応する画像信号が使用される前に、前記画像信号を前処理するためのルーチンの更新、
    前記１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新、
    前記１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、
    前記１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および
    前記１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項３２に記載の方法。
  34. 前記１つまたは複数の推論モデルが、
    手の状態、
    静止姿勢、および
    動的ジェスチャ
    のうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能である、請求項３２に記載の方法。
  35. 前記少なくとも１つのカメラが、前記ユーザに対して固定されたロケーションに配設されたカメラを備える、請求項３２に記載の方法。
  36. 前記少なくとも１つのカメラが、前記ユーザの上に装着されるように構成されたカメラを備える、請求項３２または３５に記載の方法。
  37. 前記少なくとも１つの画像が、
    可視光によって生み出された画像、
    赤外光によって生み出された画像、
    所定の波長範囲の光によって生み出された画像、および
    ２つ以上の異なる所定の波長範囲の光によって生み出された画像
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項３２に記載の方法。
  38. 前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記複数の神経筋信号、または前記複数の神経筋信号から導出された情報、または前記複数の神経筋信号および前記複数の神経筋信号から導出された前記情報の両方が前記１つまたは複数の推論モデルに対する入力として提供されるとき、前記少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように前記１つまたは複数の推論モデルをトレーニングすることを含む、請求項３２に記載の方法。
  39. 前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、
    前記ユーザによって実行される前記ジェスチャが前記特定のジェスチャに整合すると検出された場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することと
    をさらに含み、
    前記少なくとも１つのプロセッサが、拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムと通信中である
    請求項３２に記載の方法。
  40. 前記少なくとも１つのカメラが、前記ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備える、請求項３９に記載の方法。
  41. 前記少なくとも１つのプロセッサによって、前記特定のジェスチャを実行するための前記ユーザに対する可視プロンプトを提供するように前記ＸＲシステムに命令すること
    をさらに含む、請求項３９に記載の方法。
  42. 前記少なくとも１つのプロセッサによって、前記特定のジェスチャを実行するための前記ユーザに対する可聴プロンプトを提供するように前記ＸＲシステムに命令すること
    をさらに含む、請求項３９に記載の方法。
  43. 前記ジェスチャが、外部ソースからの命令に基づいて前記ユーザによって実行される、請求項３９に記載の方法システム。
  44. 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、前記特定のジェスチャに整合すると検出される、請求項３９に記載の方法。
  45. 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、手の視覚表現を備える、請求項３９に記載の方法。
  46. 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、前記ユーザに対する命令を備える、請求項３９に記載の方法。
  47. 前記特定のジェスチャを実行するための前記ユーザに対する前記プロンプトが、前記ユーザが見ることができるディスプレイスクリーン上に提供される前記特定のジェスチャの視覚表現である、請求項３９に記載の方法。
  48. 前記視覚表現が前記ＸＲ環境内にある、請求項４５から４７のいずれか一項に記載の方法。
  49. 前記特定のジェスチャが、
    動きまたは動的ジェスチャ、および
    姿勢または静止ジェスチャ
    のうちの１つである、請求項３９に記載の方法。
  50. 前記少なくとも１つの画像が、前記ユーザによる前記ジェスチャの実行中に前記少なくとも１つのカメラによってキャプチャされる、請求項３９に記載の方法であって、
    前記少なくとも１つのプロセッサが、前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックを前記ユーザに提供させることをさらに含む、前記方法。
  51. 前記ユーザに提供されることになる前記フィードバックは、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内に完全に含まれているかどうかを示す、請求項５０に記載の方法。
  52. 前記ユーザに提供されることになる前記フィードバックは、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内で完全にまたは部分的に遮蔽されているかどうかを示す、請求項５０に記載の方法。
  53. 前記少なくとも１つのコンピュータプロセッサが、前記ＸＲシステムに前記フィードバックを前記ＸＲ環境内で提供させる、請求項５０に記載の方法。
  54. 前記フィードバックが、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を含む、請求項５０に記載の方法。
  55. 前記可視フィードバックが、前記特定のジェスチャを実行するやり方を示す動画像または静止画像である、請求項５４に記載の方法。
  56. 前記少なくとも１つのコンピュータプロセッサによって、前記少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むかどうかを判定することをさらに含み、
    前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記少なくとも１つの画像が前記筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、前記複数の神経筋信号に対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することを含む、
    請求項３２に記載の方法。
  57. 前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内でタスクを実行するために前記ユーザによって実行されるジェスチャが前記タスクを実行するための記憶されたジェスチャに整合するかどうかを検出することと、
    前記ユーザによって実行される前記ジェスチャが前記タスクを実行するための前記記憶されたジェスチャに整合する場合、前記少なくとも１つのプロセッサによって、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することと
    をさらに含む、
    請求項３２に記載の方法。
  58. 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、前記記憶されたジェスチャに整合すると検出される、請求項５７に記載の方法。
  59. 前記１つまたは複数の推論モデルが、
    手の状態、
    静止姿勢、および
    動的ジェスチャ
    のうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能である、請求項５７に記載の方法。
  60. 前記少なくとも１つのコンピュータプロセッサによって、前記少なくとも１つの画像に基づいて、前記ユーザに対応するユーザ固有の骨格形状を判定すること
    をさらに含み、
    前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新が、前記判定されたユーザ固有の骨格形状に基づいて、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータを更新することを含む、
    請求項３２に記載の方法。
  61. 前記ユーザ固有の骨格形状が、前記ユーザの少なくとも１本の指の長さを含む、請求項６０に記載の方法。
  62. 前記少なくとも１つのカメラが、複数の画像を時系列でキャプチャするように構成され、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータの前記更新が、時系列でキャプチャされた前記複数の画像に少なくとも部分的にさらに基づく、請求項３２に記載の方法。
  63. コードを記憶した非一時的コンピュータ可読記憶媒体であって、前記コードが、少なくとも１つのコンピュータによって実行されるとき、前記少なくとも１つのコンピュータに筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するための方法を実行させ、前記方法が、
    少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像および前記少なくとも１つの画像から導出された情報のうちの一方または両方を受信することと、
    ユーザからの複数の神経筋信号、および前記複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、前記複数の神経筋信号が、前記ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、
    前記複数の神経筋信号および前記少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、前記１つまたは複数の推論モデルを較正することと
    を含む、非一時的コンピュータ可読記憶媒体。
  64. 前記少なくとも１つのパラメータの前記更新が、
    前記１つまたは複数の推論モデルを較正するために、前記複数の神経筋信号を前処理するためのルーチンの更新、
    前記１つまたは複数の推論モデルを較正するために前記少なくとも１つの画像に対応する画像信号が使用される前に、前記画像信号を前処理するためのルーチンの更新
    前記１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新、
    前記１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、
    前記１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および
    前記１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項６３に記載の記憶媒体。
  65. 前記１つまたは複数の推論モデルが、
    手の状態、
    静止姿勢、および
    動的ジェスチャ
    のうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能である、請求項６３に記載の記憶媒体。
  66. 前記少なくとも１つのカメラが、前記ユーザに対して固定されたロケーションに配設されたカメラを備える、請求項６３に記載の記憶媒体。
  67. 前記少なくとも１つのカメラが、前記ユーザの上に装着されるように構成されたカメラを備える、請求項６３または６６に記載の記憶媒体。
  68. 前記少なくとも１つの画像が、
    可視光によって生み出された画像、
    赤外光によって生み出された画像、
    所定の波長範囲の光によって生み出された画像、および
    ２つ以上の異なる所定の波長範囲の光によって生み出された画像
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項６３に記載の記憶媒体方法。
  69. 前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記複数の神経筋信号、または前記複数の神経筋信号から導出された情報、または前記複数の神経筋信号および前記複数の神経筋信号から導出された前記情報の両方が前記１つまたは複数の推論モデルに対する入力として提供されるとき、前記少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように前記１つまたは複数の推論モデルをトレーニングすることを含む、請求項６３に記載の記憶媒体。
  70. 前記少なくとも１つのコンピュータが、拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムと通信中であり、
    前記方法が、
    前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、
    前記ユーザによって実行される前記ジェスチャが前記特定のジェスチャに整合すると検出された場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することと
    をさらに含む、請求項６３に記載の記憶媒体。
  71. 前記少なくとも１つのカメラが、前記ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備える、請求項７０に記載の記憶媒体。
  72. 前記方法が、
    前記特定のジェスチャを実行するための前記ユーザに対する可視プロンプトを提供するように前記ＸＲシステムに命令すること
    をさらに含む、請求項７０に記載の記憶媒体。
  73. 前記方法が、
    前記特定のジェスチャを実行するための前記ユーザに対する可聴プロンプトを提供するように前記ＸＲシステムに命令すること
    をさらに含む、請求項７０に記載の記憶媒体。
  74. 前記ジェスチャが、外部ソースからの命令に基づいて前記ユーザによって実行される、請求項７０に記載の記憶媒体。
  75. 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、前記特定のジェスチャに整合すると検出される、請求項７０に記載の記憶媒体。
  76. 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、手の視覚表現を含む、請求項７０に記載の記憶媒体。
  77. 前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、前記ユーザに対する命令を含む、請求項７０に記載の記憶媒体。
  78. 前記特定のジェスチャを実行するための前記ユーザに対する前記プロンプトが、前記ユーザが見ることができるディスプレイスクリーン上に提供される前記特定のジェスチャの視覚表現である、請求項７０に記載の記憶媒体。
  79. 前記視覚表現が前記ＸＲ環境内にある、請求項７６から７８のいずれか一項に記載の記憶媒体。
  80. 前記特定のジェスチャが、
    動きまたは動的ジェスチャ、および
    姿勢または静止ジェスチャ
    のうちの１つである、請求項７０に記載の記憶媒体。
  81. 前記少なくとも１つの画像が、前記ユーザによる前記ジェスチャの実行中に前記少なくとも１つのカメラによってキャプチャされ、
    前記方法が、
    前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックを前記ユーザに提供させること
    をさらに含む、
    請求項７０に記載の記憶媒体。
  82. 前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内に完全に含まれているかどうかを示す、請求項８１に記載の記憶媒体。
  83. 前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内で完全にまたは部分的に遮蔽されているかどうかを示す、請求項８１に記載の記憶媒体。
  84. 前記フィードバックが前記ＸＲ環境内で提供される、請求項８１に記載の記憶媒体。
  85. 前記フィードバックが、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を含む、請求項８１に記載の記憶媒体。
  86. 前記可視フィードバックが、前記特定のジェスチャを実行するやり方を示す動画像または静止画像である、請求項８５に記載の記憶媒体。
  87. 前記方法が、
    前記少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むかどうかを判定すること
    をさらに含み、
    前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記少なくとも１つの画像が前記筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、前記複数の神経筋信号に対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することを含む、
    請求項６３に記載の記憶媒体。
  88. 前記方法が、
    前記少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内でタスクを実行するために前記ユーザによって実行されるジェスチャが前記タスクを実行するための記憶されたジェスチャに整合するかどうかを検出することと、
    前記ユーザによって実行される前記ジェスチャが前記タスクを実行するための前記記憶されたジェスチャに整合する場合、前記少なくとも１つのプロセッサによって、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することと
    をさらに含む、請求項６３に記載の記憶媒体。
  89. 前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、前記記憶されたジェスチャに整合すると検出される、請求項８８に記載の記憶媒体。
  90. 前記１つまたは複数の推論モデルが、
    手の状態、
    静止姿勢、および
    動的ジェスチャ
    のうちのいずれか１つまたは任意の組み合わせの表示を生成するために使用可能である、請求項８８に記載の記憶媒体。
  91. 前記方法が、
    前記少なくとも１つの画像に基づいて、前記ユーザに対応するユーザ固有の骨格形状を判定すること
    をさらに含み、
    前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新が、前記判定されたユーザ固有の骨格形状に基づいて、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータを更新することを含む、
    請求項６３に記載の記憶媒体。
  92. 前記ユーザ固有の骨格形状が、前記ユーザの少なくとも１本の指の長さを含む、請求項９１に記載の記憶媒体。
  93. 前記少なくとも１つのカメラが、複数の画像を時系列でキャプチャするように構成され、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータの前記更新が、時系列でキャプチャされた前記複数の画像に少なくとも部分的にさらに基づく、請求項６３に記載の記憶媒体。
  94. 動的に更新された筋骨格情報を提供するためのコンピュータ化システムであって、
    少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、
    ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、
    少なくとも１つのコンピュータプロセッサであって、
    トレーニングされた推論モデルに対する入力として、前記複数の神経筋信号に基づく情報および前記少なくとも１つの画像に基づく情報を提供し、
    前記トレーニングされた推論モデルの出力に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、または前記ユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または前記位置情報および前記力情報の両方を判定し、
    前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を出力する
    ようにプログラムされた、少なくとも１つのコンピュータプロセッサと
    を備える、コンピュータ化システム。
  95. 前記位置情報が、
    手の状態、
    手の状態の尤度、
    静止姿勢、
    静止姿勢の尤度、
    動的ジェスチャ、および
    動的ジェスチャの尤度．
    のうちのいずれか１つまたは任意の組み合わせを含む筋骨格位置情報である、請求項９４に記載のコンピュータ化システム。
  96. 前記少なくとも１つのコンピュータプロセッサが、
    前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定し、
    前記複数の神経筋信号および前記少なくとも１つの画像に基づいて前記情報を判定するために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重する
    ようにさらにプログラムされる、請求項９４に記載のコンピュータ化システム。
  97. 前記複数の神経筋信号の前記第１の品質が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項９６に記載のコンピュータ化システム。
  98. 前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または、前記ユーザの前記手のうちの少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項９６に記載のコンピュータ化システム。
  99. 前記少なくとも１つのコンピュータプロセッサが、前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定するようにさらにプログラムされる、請求項９６に記載のコンピュータ化システム。
  100. 前記２つ以上の接続された筋骨格セグメントが、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み、
    前記複数の神経筋センサーが、複数の筋電図（ＥＭＧ）センサーを含み、
    前記少なくとも１つのコンピュータプロセッサが、
    前記複数のＥＭＧセンサーから出力された前記複数の神経筋信号に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報を判定し、
    前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記位置情報を判定する
    ようにさらにプログラムされる、
    請求項９４に記載のコンピュータ化システム。
  101. 前記ユーザの手首、前記手首に接続された手、および前記手の指が、前記少なくとも１つの画像によってキャプチャされ、
    前記２つ以上の接続された筋骨格セグメントが、前記ユーザの前記手首、前記手、および前記指を含み、
    前記少なくとも１つのコンピュータプロセッサが、
    前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報および前記力情報のうちの少なくとも１つを判定する
    ようにプログラムされる、
    請求項９４に記載のコンピュータ化システム。
  102. 前記少なくとも１つのカメラが、前記複数の神経筋信号が感知され記録される間に、前記少なくとも１つの画像をキャプチャし、
    前記１つまたは複数の着用可能デバイスが、前記複数の神経筋信号が感知され記録されるとき、前記ユーザの手首または前記ユーザの前腕に着用され、
    前記少なくとも１つのコンピュータプロセッサが、前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定するようにプログラムされる、
    請求項１０１に記載のコンピュータ化システム。
  103. 少なくとも１つの慣性計測装置（ＩＭＵ）センサーをさらに備え、
    前記少なくとも１つのコンピュータプロセッサが、
    前記少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的にさらに基づいて、前記前腕剛体セグメントに関する前記位置情報を判定するようにさらにプログラムされる、
    請求項１００に記載のコンピュータ化システム。
  104. 前記少なくとも１つのコンピュータプロセッサが、
    前記少なくとも１つのＩＭＵセンサーから出力された前記ＩＭＵ信号に少なくとも部分的に基づいて、前記前腕剛体セグメントの初期の位置を判定し、
    前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記初期の位置情報を調整する
    ようにさらにプログラムされる、請求項１０３に記載のコンピュータ化システム。
  105. 前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
    前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
    請求項９４に記載のコンピュータ化システム。
  106. 前記トレーニングされた推論モデルが、
    前記少なくとも１つの画像に少なくとも部分的に基づいて前記位置情報を判定し、
    前記複数の神経筋信号に基づいて前記力情報を判定する
    ようにトレーニングされる、請求項９４に記載のコンピュータ化システム。
  107. 前記トレーニングされた推論モデルが、前記少なくとも１つの画像のみに基づいて、前記位置情報を判定するようにトレーニングされる、請求項１０６に記載のコンピュータ化システム。
  108. 前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記接続された筋骨格セグメントのうちの少なくとも２つが接触していると判定することによって、前記位置情報を判定し、
    前記トレーニングされた推論モデルが、前記複数の神経筋信号に基づいて、接触している、前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つの間にかけられた力を判定することによって、前記力情報を判定する、
    請求項１０６に記載のコンピュータ化システム。
  109. 前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つが、前記ユーザの親指および前記ユーザの少なくとも１本の他の指を含み、
    前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指とが接触していると判定し、
    前記トレーニングされた推論モデルが、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指との間にかけられた力を判定する、
    請求項１０８に記載のコンピュータ化システム。
  110. 前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指の先と前記ユーザの前記少なくとも１本の他の指の先とが接触していると判定する、請求項１０９に記載のコンピュータ化システム。
  111. 前記少なくとも１つのコンピュータプロセッサが、
    前記少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対する前記ユーザの手の位置を判定し、
    前記物理的オブジェクトまたは前記仮想オブジェクトに対する前記ユーザの前記手の前記位置に少なくとも部分的に基づいて、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を判定する
    ようにさらにプログラムされる、請求項９４に記載のコンピュータ化システム。
  112. 前記少なくとも１つのコンピュータプロセッサが、
    前記少なくとも１つの画像から、前記ユーザが前記物理的オブジェクトまたは前記仮想オブジェクトを把持していると判定し、
    前記複数の神経筋信号のみに基づいて、前記力情報を判定する
    ようにプログラムされる、請求項１１１に記載のコンピュータ化システム。
  113. 前記物理的オブジェクトが柔軟な面を有し、
    前記少なくとも１つのコンピュータプロセッサが、
    前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における変形に基づいて、前記ユーザが前記物理的オブジェクトを把持していると判定し、
    前記複数の神経筋信号、および前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における前記変形のうちの一方または両方に基づいて、前記力情報を判定する
    ようにプログラムされる、
    請求項１１１に記載のコンピュータ化システム。
  114. 前記少なくとも１つの画像が、
    可視光によって生み出された画像、
    赤外光によって生み出された画像、
    所定の波長範囲の光によって生み出された画像、および
    ２つ以上の異なる所定の波長範囲の光によって生み出された画像．
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項９４または１１３に記載のコンピュータ化システム。
  115. 前記複数の神経筋信号に基づく前記情報が、前記複数の神経筋信号および前記複数の神経筋信号から導出された情報のうちの一方または両方を含む、請求項９４または１１１に記載のコンピュータ化システム。
  116. 前記少なくとも１つの画像に基づく前記情報が、前記少なくとも１つの画像の画像信号および前記少なくとも１つの画像の前記画像信号から導出された情報のうちの一方または両方を含む、請求項９４または１１１に記載のコンピュータ化システム。
  117. 前記物理的オブジェクトが面であり、
    前記少なくとも１つのコンピュータプロセッサが、前記面に対する前記手の少なくとも一部分の位置に少なくとも部分的に基づいて、前記力情報を判定するようにさらにプログラムされる、
    請求項１１１に記載のコンピュータ化システム。
  118. 前記仮想オブジェクトが、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内に表示される仮想オブジェクトであり、
    前記少なくとも１つのコンピュータプロセッサが、前記ユーザの前記手が前記ＸＲ環境内で前記仮想オブジェクトに接触しているかどうかに基づいて、前記位置情報を判定するようにさらにプログラムされる、
    請求項１１１に記載のコンピュータ化システム。
  119. 動的に更新された筋骨格情報を提供するためのコンピュータ化システムの方法であって、
    少なくとも１つのプロセッサによって、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、
    前記少なくとも１つのプロセッサによって、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、前記複数の神経筋センサーが、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋信号を受信することと、
    前記少なくとも１つのプロセッサによって、トレーニングされた推論モデルに対する入力として、前記複数の神経筋信号に基づく情報および前記少なくとも１つの画像に基づく情報を提供することと、
    前記少なくとも１つのプロセッサによって、前記トレーニングされた推論モデルの出力に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、または前記ユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または前記位置情報および前記力情報の両方を判定することと、
    前記少なくとも１つのプロセッサによって、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を出力することと
    を含む、方法。
  120. 前記位置情報が、
    手の状態、
    手の状態の尤度、
    静止姿勢、
    静止姿勢の尤度、
    動的ジェスチャ、および
    動的ジェスチャの尤度．
    のうちのいずれか１つまたは任意の組み合わせを含む筋骨格位置情報である、請求項１１９に記載の方法。
  121. 前記少なくとも１つのプロセッサによって、前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定することと、
    前記少なくとも１つのプロセッサによって、前記複数の神経筋信号および前記少なくとも１つの画像に基づいて前記情報を判定するために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重することと
    をさらに含む、請求項１１９に記載の方法。
  122. 前記複数の神経筋信号の前記第１の品質が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項１２１に記載の方法。
  123. 前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項１２１に記載の方法。
  124. 前記少なくとも１つのプロセッサによって、前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定すること
    をさらに含む、請求項１２１に記載の方法。
  125. 前記２つ以上の接続された筋骨格セグメントが、手首関節を介して手の複数の剛体セグメントに接続された前腕剛体セグメントを含み、
    前記複数の神経筋センサーが、複数の筋電図（ＥＭＧ）センサーを含み、
    前記少なくとも１つのプロセッサによって、前記複数のＥＭＧセンサーから出力された前記複数の神経筋信号に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報を判定することと、
    前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
    をさらに含む、請求項１１９に記載の方法。
  126. 前記ユーザの手首、前記手首に接続された手、および前記手の指が、前記少なくとも１つの画像によってキャプチャされ、
    前記２つ以上の接続された筋骨格セグメントが、前記ユーザの前記手首、前記手、および前記指を含み、
    前記少なくとも１つのプロセッサによって、前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報および前記力情報のうちの少なくとも１つを判定すること
    をさらに含む、請求項１１９に記載の方法。
  127. 前記少なくとも１つのカメラが、前記複数の神経筋信号が感知され記録される間に、前記少なくとも１つの画像をキャプチャし、
    前記１つまたは複数の着用可能デバイスが、前記複数の神経筋信号が感知され記録されるとき、前記ユーザの手首または前記ユーザの前腕の上に着用され、
    前記少なくとも１つのプロセッサによって、前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定すること
    をさらに含む、請求項１２６に記載の方法。
  128. 前記少なくとも１つのプロセッサによって、少なくとも１つの慣性計測装置（ＩＭＵ）センサーによって感知され記録されたＩＭＵ信号を受信することと、
    前記少なくとも１つのプロセッサによって、前記ＩＭＵ信号に少なくとも部分的にさらに基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
    をさらに含む、請求項１２６に記載の方法。
  129. 前記少なくとも１つのプロセッサによって、前記ＩＭＵ信号に少なくとも部分的に基づいて、前記前腕剛体セグメントの初期の位置を判定することと、
    前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記初期の位置情報を調整することと
    をさらに含む、請求項１２８に記載の方法。
  130. 前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
    前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
    請求項１１９に記載の方法。
  131. 前記トレーニングされた推論モデルが、
    前記少なくとも１つの画像に少なくとも部分的に基づいて前記位置情報を判定し、
    前記複数の神経筋信号に基づいて前記力情報を判定する
    ようにトレーニングされる、請求項１１９に記載の方法。
  132. 前記トレーニングされた推論モデルが、前記少なくとも１つの画像のみに基づいて、前記位置情報を判定するようにトレーニングされる、請求項１３１に記載の方法。
  133. 前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記接続された筋骨格セグメントのうちの少なくとも２つが接触していると判定することによって、前記位置情報を判定し、
    前記トレーニングされた推論モデルが、前記複数の神経筋信号に基づいて、接触している、前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つの間にかけられた力を判定することによって、前記力情報を判定する、
    請求項１３１に記載の方法。
  134. 前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つが、前記ユーザの親指および前記ユーザの少なくとも１本の他の指を含み、
    前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指とが接触していると判定し、
    前記トレーニングされた推論モデルが、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指との間にかけられた力を判定する、
    請求項１３３に記載の方法。
  135. 前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指の先と前記ユーザの前記少なくとも１本の他の指の先とが接触していると判定する、請求項１３４に記載の方法。
  136. 前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対する前記ユーザの手の位置を判定することと、
    前記少なくとも１つのプロセッサによって、前記物理的オブジェクトまたは前記仮想オブジェクトに対する前記ユーザの前記手の前記位置に少なくとも部分的に基づいて、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を判定することと
    をさらに含む、請求項１１９に記載の方法。
  137. 前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像に基づいて、前記ユーザが前記物理的オブジェクトまたは前記仮想オブジェクトを把持していると判定することと、
    前記少なくとも１つのプロセッサによって、前記複数の神経筋信号のみに基づいて、前記力情報を判定することと
    をさらに含む、請求項１３６に記載の方法。
  138. 前記物理的オブジェクトが柔軟な面を有する、請求項１３６に記載の方法であって、
    前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における変形に基づいて、前記ユーザが前記物理的オブジェクトを把持しているかどうかを判定することと、
    前記少なくとも１つのプロセッサによって、前記複数の神経筋信号、および前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における前記変形のうちの一方または両方に基づいて、前記力情報を判定することと
    をさらに含む、前記方法。
  139. 前記少なくとも１つの画像が、
    可視光によって生み出された画像、
    赤外光によって生み出された画像、
    所定の波長範囲の光によって生み出された画像、および
    ２つ以上の異なる所定の波長範囲の光によって生み出された画像
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項１１９または１３８に記載の方法。
  140. 前記複数の神経筋信号に基づく前記情報が、前記複数の神経筋信号および前記複数の神経筋信号から導出された情報のうちの一方または両方を含む、請求項１１９または１３６に記載の方法。
  141. 前記少なくとも１つの画像に基づく前記情報が、前記少なくとも１つの画像の画像信号および前記少なくとも１つの画像の前記画像信号から導出された情報のうちの一方または両方を含む、請求項１１９または１３６に記載の方法。
  142. 前記物理的オブジェクトが面である、請求項１３６に記載の方法であって、
    前記少なくとも１つのプロセッサによって、前記面に対する前記手の少なくとも一部分の位置に少なくとも部分的に基づいて、前記力情報を判定すること
    をさらに含む、前記方法。
  143. 前記仮想オブジェクトが、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内で表示される仮想オブジェクトである、請求項１３６に記載の方法であって、
    前記少なくとも１つのプロセッサによって、前記ユーザの前記手が前記ＸＲ環境内で前記仮想オブジェクトに接触しているかどうかに基づいて、前記位置情報を判定すること
    をさらに含む、前記方法。
  144. コードを記憶した非一時的コンピュータ可読記憶媒体であって、前記コードが、少なくとも１つのコンピュータによって実行されるとき、前記少なくとも１つのコンピュータに、動的に更新された筋骨格情報を提供するための方法を実行させる非一時的コンピュータ可読記憶媒体において、前記方法が、
    少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、
    ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、前記複数の神経筋センサーが、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋信号を受信することと、
    トレーニングされた推論モデルに対する入力として、前記複数の神経筋信号に基づく情報および前記少なくとも１つの画像に基づく情報を提供することと、
    前記トレーニングされた推論モデルの出力に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、または前記ユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または前記位置情報および前記力情報の両方を判定することと、
    前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を出力することと
    を含む、非一時的コンピュータ可読記憶媒体。
  145. 前記位置情報が、
    手の状態、
    手の状態の尤度、
    静止姿勢、
    静止姿勢の尤度、
    動的ジェスチャ、および
    動的ジェスチャの尤度．
    のうちのいずれか１つまたは任意の組み合わせを含む筋骨格位置情報である、請求項１４４に記載の記憶媒体。
  146. 前記方法が、
    前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定することと、
    前記複数の神経筋信号および前記少なくとも１つの画像に基づいて前記情報を判定するために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重することと
    をさらに含む、請求項１４４に記載の記憶媒体。
  147. 前記複数の神経筋信号の前記第１の品質が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項１４６に記載の記憶媒体。
  148. 前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項１４６に記載の記憶媒体。
  149. 前記方法が、前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定することをさらに含む、請求項１４６に記載の記憶媒体。
  150. 前記２つ以上の接続された筋骨格セグメントが、手首関節を介して手の複数の剛体セグメントに接続された前腕剛体セグメントを含み、
    前記複数の神経筋センサーが、複数の筋電図（ＥＭＧ）センサーを含み、
    前記方法が、
    前記複数のＥＭＧセンサーから出力された前記複数の神経筋信号に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報を判定することと、
    前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
    をさらに含む、
    請求項１４４に記載の記憶媒体。
  151. 前記ユーザの手首、前記手首に接続された手、および前記手の指が、前記少なくとも１つの画像によってキャプチャされ、
    前記２つ以上の接続された筋骨格セグメントが、前記ユーザの前記手首、前記手、および前記指を含み、
    前記方法が、
    前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報および前記力情報のうちの少なくとも１つを判定すること
    をさらに含む、
    請求項１４４に記載の記憶媒体。
  152. 前記少なくとも１つのカメラが、前記複数の神経筋信号が感知され記録される間に、前記少なくとも１つの画像をキャプチャし、
    前記１つまたは複数の着用可能デバイスが、前記複数の神経筋信号が感知され記録されるとき、前記ユーザの手首または前記ユーザの前腕の上に着用され、
    前記方法が、
    前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定すること
    をさらに含む、
    請求項１５１に記載の記憶媒体。
  153. 前記方法が、
    少なくとも１つの慣性計測装置（ＩＭＵ）センサーによって感知され記録されたＩＭＵ信号を受信することと、
    前記ＩＭＵ信号に少なくとも部分的にさらに基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
    をさらに含む、請求項１５０に記載の記憶媒体。
  154. 前記方法が、
    前記ＩＭＵ信号に少なくとも部分的に基づいて、前記前腕剛体セグメントの初期の位置を判定することと、
    前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記初期の位置情報を調整することと
    をさらに含む、請求項１５３に記載の記憶媒体。
  155. 前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
    前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
    請求項１４４に記載の記憶媒体。
  156. 前記トレーニングされた推論モデルが、
    前記少なくとも１つの画像に少なくとも部分的に基づいて前記位置情報を判定し、
    前記複数の神経筋信号に基づいて前記力情報を判定する
    ようにトレーニングされる、請求項１４４に記載の記憶媒体。
  157. 前記トレーニングされた推論モデルが、前記少なくとも１つの画像のみに基づいて、前記位置情報を判定するようにトレーニングされる、請求項１５６に記載の記憶媒体。
  158. 前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記接続された筋骨格セグメントのうちの少なくとも２つが接触していると判定することによって、前記位置情報を判定し、
    前記トレーニングされた推論モデルが、前記複数の神経筋信号に基づいて、接触している、前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つの間にかけられた力を判定することによって、前記力情報を判定する、
    請求項１５６に記載の記憶媒体。
  159. 前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つが、前記ユーザの親指および前記ユーザの少なくとも１本の他の指を含み、
    前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指とが接触していると判定し、
    前記トレーニングされた推論モデルが、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指との間にかけられた力を判定する、
    請求項１５８に記載の記憶媒体。
  160. 前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指の先と前記ユーザの前記少なくとも１本の他の指の先とが接触していると判定する、請求項１５９に記載の記憶媒体。
  161. 前記方法が、
    前記少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対する前記ユーザの手の位置を判定することと、
    前記物理的オブジェクトまたは前記仮想オブジェクトに対する前記ユーザの前記手の前記位置に少なくとも部分的に基づいて、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を判定することと
    をさら含む、請求項１４４に記載の記憶媒体。
  162. 前記方法が、
    前記少なくとも１つの画像に基づいて、前記ユーザが前記物理的オブジェクトまたは前記仮想オブジェクトを把持していると判定することと、
    前記複数の神経筋信号のみに基づいて、前記力情報を判定することと
    をさらに含む、請求項１６１に記載の記憶媒体。
  163. 前記物理的オブジェクトが柔軟な面を有し、
    前記方法が、
    前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における変形に基づいて、前記ユーザが前記物理的オブジェクトを把持しているかどうかを判定することと、
    前記複数の神経筋信号、および前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における前記変形のうちの一方または両方に基づいて、前記力情報を判定することと
    をさらに含む、請求項１６１に記載の記憶媒体。
  164. 前記少なくとも１つの画像が、
    可視光によって生み出された画像、
    赤外光によって生み出された画像、
    所定の波長範囲の光によって生み出された画像、および
    ２つ以上の異なる所定の波長範囲の光によって生み出された画像
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項１４４または１６３に記載の記憶媒体。
  165. 前記複数の神経筋信号に基づく前記情報が、前記複数の神経筋信号および前記複数の神経筋信号から導出された情報のうちの一方または両方を含む、請求項１４４または１６１に記載の記憶媒体。
  166. 前記少なくとも１つの画像に基づく前記情報が、前記少なくとも１つの画像の画像信号および前記少なくとも１つの画像の前記画像信号から導出された情報のうちの一方または両方を含む、請求項１４４または１６１に記載の記憶媒体。
  167. 前記物理的オブジェクトが面であり、
    前記方法が、
    前記面に対する前記手の少なくとも一部分の位置に少なくとも部分的に基づいて、前記力情報を判定すること
    をさらに含む、請求項１６１に記載の記憶媒体。
  168. 前記仮想オブジェクトが、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内で表示される仮想オブジェクトであり、
    前記方法が、
    前記ユーザの前記手が前記ＸＲ環境内で前記仮想オブジェクトに接触しているかどうかに基づいて、前記位置情報を判定すること
    をさらに含む、請求項１６１に記載の記憶媒体。
  169. 筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムであって、
    ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、
    前記複数の神経筋信号が感知され記録される間に、少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、
    少なくとも１つのコンピュータプロセッサであって、
    前記少なくとも１つの画像から取得された情報に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定し、
    前記複数の神経筋信号に基づいて力情報を判定し、
    前記位置情報を前記力情報に関連付け、
    更新された推論モデルを生み出すために、前記推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、前記位置情報、または前記力情報、または前記位置情報および前記力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングし、
    前記更新された推論モデルをメモリ内に記憶させる
    ようにプログラムされた
    少なくとも１つのコンピュータプロセッサと
    を備える、コンピュータ化システム。
  170. 前記少なくとも１つのコンピュータプロセッサが、前記少なくとも１つの画像から取得された前記情報および前記複数の神経筋信号から取得された情報に基づいて、前記位置情報を判定する、請求項１６９に記載のコンピュータ化システム。
  171. 前記少なくとも１つの画像が、ビデオを形成する一連の時系列画像を含む、請求項１６９に記載のコンピュータ化システム。
  172. 前記筋骨格表現が、
    前記ユーザの手の状態、
    前記ユーザの静止姿勢、および
    前記ユーザの動的ジェスチャ
    のうちのいずれか１つまたは任意の組み合わせに対応する、請求項１６９または１７１に記載のコンピュータ化システム。
  173. 前記少なくとも１つの画像が、
    可視光によって生み出された画像、
    赤外光によって生み出された画像、
    所定の波長範囲の光によって生み出された画像、および
    ２つ以上の異なる所定の波長範囲の光によって生み出された画像
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項１６９に記載のコンピュータ化システム。
  174. 前記少なくとも１つのコンピュータプロセッサが、
    前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定し、
    前記推論モデルをトレーニングするために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重する
    ようにプログラムされる、請求項１６９に記載のコンピュータ化システム。
  175. 前記複数の神経筋信号の前記第１の品質が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項１７４に記載のコンピュータ化システム。
  176. 前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項１７４に記載のコンピュータ化システム。
  177. 前記少なくとも１つのコンピュータプロセッサが、前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定するようにさらにプログラムされる、請求項１７４に記載のコンピュータ化システム。
  178. 前記少なくとも１つの所定の特性が、
    前記神経筋入力信号の１つのアーチファクトの存在、
    前記神経筋入力信号の複数のアーチファクトの存在、
    前記神経筋入力信号の複数のアーチファクトの相対的位置、
    前記神経筋入力信号の振幅範囲、および
    前記神経筋入力信号のアーチファクトの周期周波数
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項１６９に記載のコンピュータ化システム。
  179. 少なくとも１つの慣性計測装置（ＩＭＵ）センサー
    をさらに備え、
    前記少なくとも１つのコンピュータプロセッサが、前記少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的に基づいて、前記位置情報を判定するようにさらにプログラムされる、
    請求項１６９に記載のコンピュータ化システム。
  180. 前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
    前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
    請求項１６９に記載のコンピュータ化システム。
  181. 筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムの方法であって、
    少なくとも１つのプロセッサによって、ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、前記ユーザの複数の神経筋信号を受信することと、
    前記少なくとも１つのプロセッサによって、前記複数の神経筋信号が感知され記録される間に、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、
    前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像から取得された情報に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、
    前記少なくとも１つのプロセッサによって、前記複数の神経筋信号に基づいて力情報を判定することと、
    前記少なくとも１つのプロセッサによって、前記位置情報を前記力情報に関連付けることと、
    前記少なくとも１つのプロセッサによって、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、前記位置情報、または前記力情報、または前記位置情報および前記力情報に一致する筋骨格表現を出力するように前記推論モデルをトレーニングすることと、
    前記少なくとも１つのプロセッサによって、前記更新された推論モデルをメモリ内に記憶させることと
    を含む、方法。
  182. 前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像から取得された前記情報および前記複数の神経筋信号から取得された情報に基づいて、前記位置情報を判定することをさらに含む、請求項１８１に記載の方法。
  183. 前記少なくとも１つの画像が、ビデオを形成する一連の時系列画像を含む、請求項１８１に記載の方法。
  184. 前記筋骨格表現が、
    前記ユーザの手の状態、
    前記ユーザの静止姿勢、および
    前記ユーザの動的ジェスチャ
    のうちのいずれか１つまたは任意の組み合わせに対応する、請求項１８１または１８３に記載の方法。
  185. 前記少なくとも１つの画像が、
    可視光によって生み出された画像、
    赤外光によって生み出された画像、
    所定の波長範囲の光によって生み出された画像、および
    ２つ以上の異なる所定の波長範囲の光によって生み出された画像．
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項１８１に記載の方法。
  186. 前記少なくとも１つのプロセッサによって、前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定することと、
    前記少なくとも１つのプロセッサによって、前記推論モデルをトレーニングするために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重することと
    をさらに含む、請求項１８１に記載の方法。
  187. 前記複数の神経筋信号の前記第１の信号が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項１８６に記載の方法。
  188. 前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項１８６に記載の方法。
  189. 前記少なくとも１つのプロセッサによって、前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定すること
    をさらに含む、請求項１８６に記載の方法。
  190. 前記少なくとも１つの所定の特性が、
    前記神経筋入力信号の１つのアーチファクトの存在、
    前記神経筋入力信号の複数のアーチファクトの存在、
    前記神経筋入力信号の複数のアーチファクトの相対的位置、
    前記神経筋入力信号の振幅範囲、および
    前記神経筋入力信号のアーチファクトの周期周波数
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項１８１に記載の方法。
  191. 前記少なくとも１つのプロセッサによって、少なくとも１つの慣性計測装置（ＩＭＵ）センサーから出力されたＩＭＵ信号を受信することと、
    前記少なくとも１つのプロセッサによって、前記少なくとも１つのＩＭＵセンサーから出力された前記ＩＭＵ信号に少なくとも部分的に基づいて、前記位置情報を判定することと
    をさらに含む、請求項１８１に記載の方法。
  192. 前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
    前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
    請求項１８１に記載の方法。
  193. コードを記憶した非一時的コンピュータ可読記憶媒体であって、前記コードが、少なくとも１つのコンピュータによって実行されるとき、前記少なくとも１つのコンピュータに、筋骨格表現を生成するために使用される推論モデルをトレーニングするための方法を実行させる非一時的コンピュータ可読記憶媒体において、前記方法が、
    ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、前記ユーザの複数の神経筋信号を受信することと、
    前記複数の神経筋信号が感知され記録される間に、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、
    前記少なくとも１つの画像から取得された情報に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、
    前記複数の神経筋信号に基づいて力情報を判定することと、
    前記位置情報を前記力情報に関連付けることと、
    更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、前記位置情報、または前記力情報、または前記位置情報および前記力情報に一致する筋骨格表現を出力するように前記推論モデルをトレーニングすることと、
    前記更新された推論モデルをメモリ内に記憶させることと
    を含む、
    非一時的コンピュータ可読記憶媒体。
  194. 前記方法が、
    前記少なくとも１つの画像から取得された前記情報および前記複数の神経筋信号から取得された情報に基づいて、前記位置情報を判定すること
    をさらに含む、請求項１９３に記載の記憶媒体。
  195. 前記少なくとも１つの画像が、ビデオを形成する一連の時系列画像を含む、請求項１９３に記載の記憶媒体。
  196. 前記筋骨格表現が、
    前記ユーザの手の状態、
    前記ユーザの静止姿勢、および
    前記ユーザの動的ジェスチャ
    のうちのいずれか１つまたは任意の組み合わせに対応する、請求項１９３または１９５に記載の記憶媒体。
  197. 前記少なくとも１つの画像が、
    可視光によって生み出された画像、
    赤外光によって生み出された画像、
    所定の波長範囲の光によって生み出された画像、および
    ２つ以上の異なる所定の波長範囲の光によって生み出された画像
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項１９３に記載の記憶媒体。
  198. 前記方法が、
    前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定することと、
    前記推論モデルをトレーニングするために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重することと
    をさらに含む、請求項１９３に記載の記憶媒体。
  199. 前記複数の神経筋信号の前記第１の品質が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項１９８に記載の記憶媒体。
  200. 前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項１９８に記載の記憶媒体。
  201. 前記方法が、
    前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定すること
    をさらに含む、請求項１９８に記載の記憶媒体。
  202. 前記少なくとも１つの所定の特性が、
    前記神経筋入力信号の１つのアーチファクトの存在、
    前記神経筋入力信号の複数のアーチファクトの存在、
    前記神経筋入力信号の複数のアーチファクトの相対的位置、
    前記神経筋入力信号の振幅範囲、および
    前記神経筋入力信号のアーチファクトの周期周波数
    のうちのいずれか１つまたは任意の組み合わせを含む、請求項１９３に記載の記憶媒体。
  203. 前記方法が、
    少なくとも１つの慣性計測装置（ＩＭＵ）センサーから出力されたＩＭＵ信号を受信することと、
    前記少なくとも１つのＩＭＵセンサーから出力された前記ＩＭＵ信号に少なくとも部分的に基づいて、前記位置情報を判定することと
    をさらに含む、請求項１９３に記載の記憶媒体。
  204. 前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
    前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
    請求項１９３に記載の記憶媒体。
JP2021506985A 2018-08-31 2019-08-30 神経筋信号のカメラ誘導による解釈 Pending JP2021535465A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862726159P 2018-08-31 2018-08-31
US62/726,159 2018-08-31
PCT/US2019/049094 WO2020047429A1 (en) 2018-08-31 2019-08-30 Camera-guided interpretation of neuromuscular signals

Publications (1)

Publication Number Publication Date
JP2021535465A true JP2021535465A (ja) 2021-12-16

Family

ID=69639787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506985A Pending JP2021535465A (ja) 2018-08-31 2019-08-30 神経筋信号のカメラ誘導による解釈

Country Status (5)

Country Link
US (3) US20200073483A1 (ja)
EP (2) EP3843617B1 (ja)
JP (1) JP2021535465A (ja)
CN (1) CN112996430A (ja)
WO (1) WO2020047429A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
WO2018022602A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US20200073483A1 (en) 2018-08-31 2020-03-05 Ctrl-Labs Corporation Camera-guided interpretation of neuromuscular signals
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3682373A4 (en) * 2017-09-15 2021-06-09 Tandemlaunch Inc SYSTEM AND METHOD FOR CLASSIFYING PASSIVE HUMAN DEVICE INTERACTIONS VIA A PERCEPTION OF A CURRENT DEVICE CONTEXT
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器系统的自动校准的方法和装置
JP7342491B2 (ja) * 2019-07-25 2023-09-12 オムロン株式会社 推論装置、推論方法、及び推論プログラム
US11175729B2 (en) 2019-09-19 2021-11-16 Finch Technologies Ltd. Orientation determination based on both images and inertial measurement units
US10976863B1 (en) * 2019-09-19 2021-04-13 Finch Technologies Ltd. Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
US11974857B2 (en) 2019-10-08 2024-05-07 Unlimited Tomorrow, Inc. Biometric sensor array
US11645756B2 (en) * 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20210319619A1 (en) * 2020-04-08 2021-10-14 The Boeing Company Method for Ergonomic Scoring From Webcam
US11797086B2 (en) 2020-04-30 2023-10-24 Tap Systems Inc. Wearable finger tap detection system with low power mode
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
CN112454333B (zh) * 2020-11-26 2022-02-11 青岛理工大学 基于图像分割及表面肌电信号的机器人示教系统及方法
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures
CN113657243B (zh) * 2021-08-13 2022-04-12 黄理鑫 一种针对非接触式仿生学遥控手势性能影响的测试方法
US20230060394A1 (en) * 2021-08-27 2023-03-02 Rapsodo Pte. Ltd. Intelligent analysis and automatic grouping of activity sensors
WO2023034631A1 (en) * 2021-09-03 2023-03-09 Meta Platforms Technologies, Llc Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist- wearable device worn by the user, and methods of use thereof
US11829531B2 (en) 2021-09-13 2023-11-28 Htc Corporation Human-computer interaction method and system and non-transitory computer readable storage medium
US11662815B2 (en) * 2021-10-08 2023-05-30 Meta Platforms Technologies, Llc Apparatus, system, and method for detecting user input via hand gestures and arm movements
US20230297167A1 (en) * 2022-03-15 2023-09-21 Port 6 Oy Detecting user input from multi-modal hand bio-metrics
US20240071000A1 (en) * 2022-08-25 2024-02-29 Snap Inc. External computer vision for an eyewear device

Family Cites Families (476)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1411995A (en) 1919-06-20 1922-04-04 Raymond W Dull Link belt
US3580243A (en) 1968-10-21 1971-05-25 Marquette Electronics Inc Means and method for subtracting dc noise from electrocardiographic signals
US3620208A (en) 1969-11-03 1971-11-16 Atomic Energy Commission Ekg amplifying electrode pickup
US3880146A (en) 1973-06-04 1975-04-29 Donald B Everett Noise compensation techniques for bioelectric potential sensing
US4055168A (en) 1976-09-21 1977-10-25 The Rockefeller University Posture training device
LU84250A1 (de) 1982-07-01 1984-03-22 Mardice Holding Verfahren und vorrichtung fuer das kontaktlose messen von spannungsunterschieden bei lebenden organismen
JPS62501646A (ja) 1985-02-05 1987-07-02 ミレス・ヴィクトル・アレキサンダ− 装身具または腕時計の製作方法
US5003978A (en) 1985-08-21 1991-04-02 Technology 21, Inc. Non-polarizable dry biomedical electrode
IL78244A0 (en) 1986-03-24 1986-07-31 Zvi Kamil Instrumentation amplifier arrangement
DE3661161D1 (en) 1986-04-01 1988-12-15 Altop Sa Watch mounted on a clip
EP0301790A3 (en) 1987-07-24 1990-06-06 BioControl Systems, Inc. Biopotential digital controller for music and video applications
USD322227S (en) 1989-03-23 1991-12-10 North American Watch Company Watch
US5625577A (en) 1990-12-25 1997-04-29 Shukyohojin, Kongo Zen Sohonzan Shorinji Computer-implemented motion analysis method using dynamics
US5081852A (en) 1991-02-14 1992-01-21 Cox Michael F Display bracelet
JP3103427B2 (ja) 1992-04-01 2000-10-30 ダイヤメディカルシステム株式会社 生体電気現象検出装置
US5251189A (en) 1992-10-16 1993-10-05 Timex Corporation Wristwatch radiotelephone
JPH06216475A (ja) 1993-01-21 1994-08-05 Matsushita Electric Ind Co Ltd フレキシブル基板
USD348660S (en) 1993-04-29 1994-07-12 Micro-Integration Corp. Hand-held computer input device
US5482051A (en) 1994-03-10 1996-01-09 The University Of Akron Electromyographic virtual reality system
DE4412278A1 (de) 1994-04-09 1995-10-12 Bosch Gmbh Robert Starre und flexible Bereiche aufweisende Leiterplatte
US6032530A (en) 1994-04-29 2000-03-07 Advantedge Systems Inc. Biofeedback system for sensing body motion and flexure
US5605059A (en) 1995-03-09 1997-02-25 Woodward; Robin Sleeved bangle bracelet
US6238338B1 (en) 1999-07-19 2001-05-29 Altec, Inc. Biosignal monitoring system and method
JP3141737B2 (ja) 1995-08-10 2001-03-05 株式会社セガ 仮想画像生成装置及びその方法
US5683404A (en) 1996-06-05 1997-11-04 Metagen, Llc Clamp and method for its use
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6880364B1 (en) 1998-04-23 2005-04-19 Michael F. Vidolin Friendship band with exchangeable closed loop members
WO2000010455A1 (en) 1998-08-24 2000-03-02 Emory University Method and apparatus for predicting the onset of seizures based on features derived from signals indicative of brain activity
EP1116211A4 (en) 1998-09-22 2001-11-21 Vega Vista Inc INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN
US6745062B1 (en) 1998-10-05 2004-06-01 Advanced Imaging Systems, Inc. Emg electrode apparatus and positioning system
US6244873B1 (en) 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
US6774885B1 (en) 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US7640007B2 (en) 1999-02-12 2009-12-29 Fisher-Rosemount Systems, Inc. Wireless handheld communicator in a process control environment
US6411843B1 (en) 1999-05-28 2002-06-25 Respironics, Inc. Method and apparatus for producing a model EMG signal from a measured EMG signal
US6972734B1 (en) 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
US6807438B1 (en) 1999-08-26 2004-10-19 Riccardo Brun Del Re Electric field sensor
JP4168221B2 (ja) 1999-09-06 2008-10-22 株式会社島津製作所 身体装着型表示システム
US6527711B1 (en) 1999-10-18 2003-03-04 Bodymedia, Inc. Wearable human physiological data sensors and reporting system therefor
JP4763200B2 (ja) 1999-11-11 2011-08-31 ザ・スウォッチ・グループ・マネージメント・サービシイズ・エイ ジー フレキシブル・リストバンド中に組み込まれたプリント回路を含んでいる電子腕時計
GB0004688D0 (en) 2000-02-28 2000-04-19 Radley Smith Philip J Bracelet
EP2324760B1 (en) 2000-04-17 2019-07-24 Adidas AG System for ambulatory monitoring of physiological signs
US6510333B1 (en) 2000-05-16 2003-01-21 Mark J. Licata Sensor for biopotential measurements
US6720984B1 (en) 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
US20030184544A1 (en) 2000-07-24 2003-10-02 Prudent Jean Nicholson Modeling human beings by symbol manipulation
US20030036691A1 (en) 2000-08-10 2003-02-20 Stanaland Thomas G. Capacitively coupled electrode system with variable capacitance for sensing potentials at the surface of tissue
US6487906B1 (en) 2000-09-18 2002-12-03 Advantedge Systems Inc Flexible film sensor system for monitoring body motion
WO2002037827A2 (en) 2000-10-30 2002-05-10 Naval Postgraduate School Method and apparatus for motion tracking of an articulated rigid body
US6743982B2 (en) * 2000-11-29 2004-06-01 Xerox Corporation Stretchable interconnects using stress gradient films
US20020077534A1 (en) 2000-12-18 2002-06-20 Human Bionics Llc Method and system for initiating activity based on sensed electrophysiological data
WO2002065904A1 (en) 2001-02-23 2002-08-29 Cordless Antistatic Research Inc. Enhanced pickup bio-electrode
JP2002358149A (ja) 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
USD459352S1 (en) 2001-08-10 2002-06-25 Michael C. Giovanniello Wireless mouse wristband
US20030051505A1 (en) 2001-09-14 2003-03-20 Robertson Catrina M. Selectively self-adjustable jewelry item and method of making same
US6755795B2 (en) 2001-10-26 2004-06-29 Koninklijke Philips Electronics N.V. Selectively applied wearable medical sensors
US6865409B2 (en) 2001-11-07 2005-03-08 Kinesense, Inc. Surface electromyographic electrode assembly
JP4391717B2 (ja) 2002-01-09 2009-12-24 富士通マイクロエレクトロニクス株式会社 コンタクタ及びその製造方法並びにコンタクト方法
AU2003217253A1 (en) 2002-01-25 2003-09-02 Intellipatch, Inc. Evaluation of a patient and prediction of chronic symptoms
JP2003220040A (ja) 2002-01-31 2003-08-05 Seiko Instruments Inc 生体情報観測装置
JP2003255993A (ja) 2002-03-04 2003-09-10 Ntt Docomo Inc 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム
CA2379268A1 (en) 2002-03-26 2003-09-26 Hans Kolpin Skin impedance matched biopotential electrode
WO2003082103A1 (en) 2002-03-29 2003-10-09 Koninklijke Philips Electronics N.V. A wearable monitoring system and method of manufacturing of a wearable monitoring system
US6942621B2 (en) 2002-07-11 2005-09-13 Ge Medical Systems Information Technologies, Inc. Method and apparatus for detecting weak physiological signals
US6984208B2 (en) 2002-08-01 2006-01-10 The Hong Kong Polytechnic University Method and apparatus for sensing body gesture, posture and movement
JP3831788B2 (ja) 2002-09-11 2006-10-11 独立行政法人情報通信研究機構 活動筋肉表示装置
DE60215504T2 (de) 2002-10-07 2007-09-06 Sony France S.A. Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik
KR100506084B1 (ko) 2002-10-24 2005-08-05 삼성전자주식회사 경혈점 탐색 장치 및 방법
US7491892B2 (en) 2003-03-28 2009-02-17 Princeton University Stretchable and elastic interconnects
US20040194500A1 (en) 2003-04-03 2004-10-07 Broadway Entertainment, Inc. Article of jewelry
US7028507B2 (en) 2003-04-03 2006-04-18 Broadway Entertainment, Inc. Article of jewelry
US7265298B2 (en) 2003-05-30 2007-09-04 The Regents Of The University Of California Serpentine and corduroy circuits to enhance the stretchability of a stretchable electronic device
US7761390B2 (en) 2003-06-12 2010-07-20 Peter Charles Shann Hubird Ford Method for interactive communication and analysis using EMG and exponentially leveraged alphanumeric string selector (ELASS) algorithm
US7022919B2 (en) 2003-06-30 2006-04-04 Intel Corporation Printed circuit board trace routing method
WO2005028029A2 (en) 2003-08-18 2005-03-31 Cardiac Pacemakers, Inc. Patient monitoring, diagnosis, and/or therapy systems and methods
CN1838933B (zh) 2003-08-21 2010-12-08 国立大学法人筑波大学 穿着式动作辅助装置、穿着式动作辅助装置的控制方法和控制用程序
TWI240819B (en) 2003-08-21 2005-10-01 Toppoly Optoelectronics Corp Flexible printed circuit board (FPC) for liquid crystal display (LCD) module
JP4178186B2 (ja) 2003-08-21 2008-11-12 国立大学法人 筑波大学 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム
EP1659940B1 (en) 2003-08-22 2014-07-23 Foster-Miller, Inc. Physiological monitoring garment
US7565295B1 (en) * 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US7574253B2 (en) 2003-09-26 2009-08-11 Northwestern University Signal processing using non-linear regression with a sinusoidal model
US20050070227A1 (en) 2003-09-30 2005-03-31 Chih-Hsiang Shen Detecting and actuating method of bluetooth devices and a control system thereof
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
USD503646S1 (en) 2004-02-23 2005-04-05 Broadway Entertainment, Inc. Bracelet
USD502662S1 (en) 2004-02-23 2005-03-08 Broadway Entertainment, Inc. Bracelet
USD502661S1 (en) 2004-02-23 2005-03-08 Broadway Entertainment, Inc. Bracelet
EP1721237B1 (en) 2004-02-27 2012-08-29 Simon Richard Daniel Wearable modular interface strap
KR100541958B1 (ko) 2004-04-21 2006-01-10 삼성전자주식회사 연성인쇄회로기판
US7173437B2 (en) 2004-06-10 2007-02-06 Quantum Applied Science And Research, Inc. Garment incorporating embedded physiological sensors
US7308826B2 (en) 2004-06-16 2007-12-18 The University Of Tokyo Muscular strength acquiring method and device based on musculoskeletal model
US8061160B2 (en) 2004-08-17 2011-11-22 Carissa Stinespring Adjustable fashion mechanism
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR100680023B1 (ko) 2004-12-06 2007-02-07 한국전자통신연구원 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법
US20060206167A1 (en) 2005-01-06 2006-09-14 Flaherty J C Multi-device patient ambulation system
WO2006086504A2 (en) 2005-02-09 2006-08-17 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California Method and system for training adaptive control of limb movement
US8702629B2 (en) 2005-03-17 2014-04-22 Great Lakes Neuro Technologies Inc. Movement disorder recovery system and method for continuous monitoring
US20070132785A1 (en) 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
WO2006105094A2 (en) 2005-03-29 2006-10-05 Duke University Sensor system for identifying and tracking movements of multiple sources
USD535401S1 (en) 2005-06-21 2007-01-16 Biocare Systems, Inc. Heat and light therapy device
US7428516B2 (en) 2005-06-23 2008-09-23 Microsoft Corporation Handwriting recognition using neural networks
US8190249B1 (en) 2005-08-01 2012-05-29 Infinite Biomedical Technologies, Llc Multi-parametric quantitative analysis of bioelectrical signals
US7086218B1 (en) 2005-08-18 2006-08-08 M & J - R & R Grosbard, Inc. Linked ring structures
US7725147B2 (en) 2005-09-29 2010-05-25 Nellcor Puritan Bennett Llc System and method for removing artifacts from waveforms
US7271774B2 (en) 2005-10-21 2007-09-18 Suunto Oy Electronic wearable device
US7517725B2 (en) 2005-11-28 2009-04-14 Xci, Inc. System and method for separating and packaging integrated circuits
US8280503B2 (en) 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
USD543212S1 (en) 2006-01-04 2007-05-22 Sony Computer Entertainment Inc. Object for interfacing with a computer program
US7809435B1 (en) 2006-01-11 2010-10-05 Iq Biolabs, Inc. Adjustable wireless electromyography sensor and system
JP4826459B2 (ja) 2006-01-12 2011-11-30 株式会社豊田中央研究所 筋骨格モデル作成方法、人体応力／ひずみ推定方法、プログラムおよび記録媒体
US8762733B2 (en) 2006-01-30 2014-06-24 Adidas Ag System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint
US7580742B2 (en) 2006-02-07 2009-08-25 Microsoft Corporation Using electroencephalograph signals for task classification and activity recognition
US7827000B2 (en) 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
US8311623B2 (en) 2006-04-15 2012-11-13 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for estimating surface electromyography
JP2009534108A (ja) 2006-04-21 2009-09-24 クァンタム・アプライド・サイエンス・アンド・リサーチ・インコーポレーテッド 電気信号測定システム
US7636549B2 (en) 2006-04-21 2009-12-22 Abbott Medical Optics Inc. Automated bonding for wireless devices
US7558622B2 (en) 2006-05-24 2009-07-07 Bao Tran Mesh network stroke monitoring appliance
US7805386B2 (en) 2006-05-16 2010-09-28 Greer Douglas S Method of generating an encoded output signal using a manifold association processor having a plurality of pairs of processing elements trained to store a plurality of reciprocal signal pairs
US7661068B2 (en) 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
GB0614261D0 (en) 2006-07-18 2006-08-30 Univ Sussex The Electric Potential Sensor
US7844310B2 (en) 2006-07-20 2010-11-30 L3 Communications Corporation Wearable communication device with contoured back
US7848797B2 (en) 2006-08-17 2010-12-07 Neurometrix, Inc. Motor unit number estimation (MUNE) for the assessment of neuromuscular function
US8437844B2 (en) 2006-08-21 2013-05-07 Holland Bloorview Kids Rehabilitation Hospital Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US8212859B2 (en) 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
US7885732B2 (en) 2006-10-25 2011-02-08 The Boeing Company Systems and methods for haptics-enabled teleoperation of vehicles and other devices
US8082149B2 (en) 2006-10-26 2011-12-20 Biosensic, Llc Methods and apparatuses for myoelectric-based speech processing
US20080136775A1 (en) 2006-12-08 2008-06-12 Conant Carson V Virtual input device for computing
US20080221487A1 (en) * 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
EP1970005B1 (en) * 2007-03-15 2012-10-03 Xsens Holding B.V. A system and a method for motion tracking using a calibration unit
CN101662984B (zh) 2007-04-24 2013-10-30 皇家飞利浦电子股份有限公司 用于监测生理参数的传感器装置和方法
FR2916069B1 (fr) 2007-05-11 2009-07-31 Commissariat Energie Atomique Procede de traitement pour la capture de mouvement d'une structure articulee
US8718742B2 (en) 2007-05-24 2014-05-06 Hmicro, Inc. Integrated wireless patch for physiological monitoring
US20090007597A1 (en) 2007-07-02 2009-01-08 Hanevold Gail F Body attached band with removal visual image pockets
WO2009012298A2 (en) 2007-07-16 2009-01-22 Sunrise Medical Hhg Inc. Physiological data collection system
DE102007044554B3 (de) 2007-07-18 2009-07-16 Siemens Ag Sensorband mit optischer Sensorfaser, Sensor mit diesem Sensorband und Verfahren zum Kalibrieren einer optischen Sensorfaser
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP5057070B2 (ja) 2007-07-31 2012-10-24 株式会社エクォス・リサーチ 心電センサー
US7925100B2 (en) 2007-07-31 2011-04-12 Microsoft Corporation Tiled packaging of vector image data
US20090031757A1 (en) 2007-08-01 2009-02-05 Funki Llc Modular toy bracelet
JP4434247B2 (ja) 2007-08-10 2010-03-17 ソニー株式会社 リモートコントローラ、リモートコントロールシステムおよびリモートコントロール方法
US9046919B2 (en) 2007-08-20 2015-06-02 Hmicro, Inc. Wearable user interface device, system, and method of use
CN101874404B (zh) 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
US20090082692A1 (en) 2007-09-25 2009-03-26 Hale Kelly S System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures
US7714757B2 (en) 2007-09-26 2010-05-11 Medtronic, Inc. Chopper-stabilized analog-to-digital converter
US8343079B2 (en) 2007-10-18 2013-01-01 Innovative Surgical Solutions, Llc Neural monitoring sensor
WO2009052621A1 (en) 2007-10-22 2009-04-30 D-Wave Systems Inc. Systems, methods, and apparatus for electrical filters and input/output systems
FI20075798A0 (fi) 2007-11-12 2007-11-12 Polar Electro Oy Elektrodirakenne
GB0800144D0 (en) 2008-01-04 2008-02-13 Fitzpatrick Adam P Electrocardiographic device and method
US8355671B2 (en) 2008-01-04 2013-01-15 Kopin Corporation Method and apparatus for transporting video signal over Bluetooth wireless interface
US10969917B2 (en) 2008-01-30 2021-04-06 Apple Inc. Auto scanning for multiple frequency stimulation multi-touch sensor panels
US9597015B2 (en) 2008-02-12 2017-03-21 Portland State University Joint angle tracking with inertial sensors
US20110018754A1 (en) 2008-03-28 2011-01-27 Akira Tojima Remote operation apparatus, operation target apparatus, method for controlling remote operation apparatus, method for controlling operation target apparatus, and remote operation system
US20090251407A1 (en) 2008-04-03 2009-10-08 Microsoft Corporation Device interaction with combination of rings
JP5580292B2 (ja) 2008-05-01 2014-08-27 スリーエム イノベイティブ プロパティズ カンパニー 伸縮性伝導コネクタ
US20100030532A1 (en) 2008-06-12 2010-02-04 Jasbir Arora System and methods for digital human model prediction and simulation
JP2010000283A (ja) 2008-06-23 2010-01-07 Shimadzu Corp リアルタイム同時計測システム、リアルタイム同時計測装置、リアルタイム同時計測方法、およびプログラム
US8207473B2 (en) 2008-06-24 2012-06-26 Imec Method for manufacturing a stretchable electronic device
US9037530B2 (en) * 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
CA2729873A1 (en) 2008-07-07 2010-01-14 Heard Systems Pty Ltd A system for sensing electrophysiological signals
EP2321013A4 (en) 2008-07-29 2011-11-23 James B Klassen EQUILIBRIUM LEARNING SYSTEM
US8389862B2 (en) 2008-10-07 2013-03-05 Mc10, Inc. Extremely stretchable electronics
US9393418B2 (en) 2011-06-03 2016-07-19 Great Lakes Neuro Technologies Inc. Movement disorder therapy system, devices and methods of tuning
US8647287B2 (en) 2008-12-07 2014-02-11 Andrew Greenberg Wireless synchronized movement monitoring apparatus and system
US9439566B2 (en) 2008-12-15 2016-09-13 Proteus Digital Health, Inc. Re-wearable wireless device
US7870211B2 (en) 2008-12-23 2011-01-11 At&T Mobility Ii Llc Conversation message routing supporting dynamic class transitions
WO2010086033A1 (en) 2009-01-30 2010-08-05 Interuniversitair Microelektronica Centrum Vzw Stretchable electronic device
PL2392196T3 (pl) 2009-01-30 2019-05-31 Imec Vzw Rozciągliwe urządzenie elektroniczne
US8444564B2 (en) 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
USD661613S1 (en) 2009-02-19 2012-06-12 1922 Manifatture Preziose Torino SpA Jewelry
US20100228487A1 (en) 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
US20100249635A1 (en) 2009-03-26 2010-09-30 Cordial Medical Europe B.V. Hearing screening system for a subject or a patient, and a method for hearing screening
EP2236078A1 (en) 2009-04-02 2010-10-06 Koninklijke Philips Electronics N.V. Processing a bio-physiological signal
WO2010129922A2 (en) 2009-05-07 2010-11-11 Massachusetts Eye & Ear Infirmary Signal processing in physiological noise
US8376968B2 (en) 2009-05-15 2013-02-19 The Hong Kong Polytechnic University Method and system for quantifying an intention of movement of a user
US9192316B2 (en) 2009-05-15 2015-11-24 Nox Medical Systems and methods using flexible capacitive electrodes for measuring biosignals
US20100315266A1 (en) 2009-06-15 2010-12-16 Microsoft Corporation Predictive interfaces with usability constraints
US8427977B2 (en) 2009-06-23 2013-04-23 CSC Holdings, LLC Wireless network polling and data warehousing
KR101377779B1 (ko) 2009-06-26 2014-03-25 비덱스 에이/에스 Ｅｅｇ 모니터링 장치 및 그것에 메세지를 제시하는 방법
US8883287B2 (en) 2009-06-29 2014-11-11 Infinite Corridor Technology, Llc Structured material substrates for flexible, stretchable electronics
WO2011007569A1 (ja) 2009-07-15 2011-01-20 国立大学法人筑波大学 分類推定システムおよび分類推定プログラム
JP5662443B2 (ja) 2009-07-30 2015-01-28 ユニバーシティ・オブ・ケープ・タウンＵｎｉｖｅｒｓｉｔｙ Ｏｆ Ｃａｐｅ Ｔｏｗｎ 非侵襲性深部筋肉筋電図検査法
US8718980B2 (en) 2009-09-11 2014-05-06 Qualcomm Incorporated Method and apparatus for artifacts mitigation with multiple wireless sensors
FR2950713A1 (fr) 2009-09-29 2011-04-01 Movea Sa Systeme et procede de reconnaissance de gestes
US20110077484A1 (en) 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
TWI496558B (zh) 2009-10-20 2015-08-21 Tatung Co 使用二極電極貼片量測心電圖與呼吸訊號之系統及方法
KR101708682B1 (ko) 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
US8620361B2 (en) 2009-12-08 2013-12-31 At&T Mobility Ii Llc Intelligent routing of SMS and MMS messages to short codes
WO2011070554A2 (en) 2009-12-13 2011-06-16 Ringbow Ltd. Finger-worn input devices and methods of use
WO2011072684A1 (en) 2009-12-16 2011-06-23 Ictalcare A/S A system for the prediction of epileptic seizures
US20110151974A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Gesture style recognition and reward
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
JP5471490B2 (ja) 2010-01-20 2014-04-16 オムロンヘルスケア株式会社 体動検出装置
DK2531100T3 (da) 2010-02-01 2017-11-06 T&W Eng A/S Bærbart eeg-monitorsystem med trådløs kommunikation
US20110213278A1 (en) 2010-02-26 2011-09-01 Apdm, Inc. Movement monitoring system and apparatus for objective assessment of movement disorders
US20110224499A1 (en) 2010-03-10 2011-09-15 Sotera Wireless, Inc. Body-worn vital sign monitor
US9268990B2 (en) 2010-03-16 2016-02-23 Carlo Trugenberger Apparatus and method for producing an identification device
KR101114870B1 (ko) 2010-03-22 2012-03-06 (주)헤리트 지능형 ｌｅｄ 조명 제어 시스템 및 제어 방법
US20110248914A1 (en) 2010-04-11 2011-10-13 Sherr Alan B System and Method for Virtual Touch Typing
CA2796451A1 (en) 2010-04-16 2011-10-20 Nicholas J. Mastandrea Wearable motion sensing computing interface
JP5702947B2 (ja) 2010-04-22 2015-04-15 矢崎総業株式会社 配線材
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
KR101130697B1 (ko) 2010-05-07 2012-04-02 삼성전자주식회사 복수 층의 신축성 배선
WO2011150407A2 (en) 2010-05-28 2011-12-01 The Regents Of The University Of California Cell-phone based wireless and mobile brain-machine interface
US20110313762A1 (en) 2010-06-20 2011-12-22 International Business Machines Corporation Speech output with confidence indication
USD643428S1 (en) 2010-07-07 2011-08-16 Iota, Inc. Wearable mobile accessory
US8754862B2 (en) 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
FR2962821B1 (fr) 2010-07-13 2013-02-22 Commissariat Energie Atomique Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe.
US20140052150A1 (en) 2010-08-02 2014-02-20 The Johns Hopkins University Method for presenting force sensor information using cooperative robot control and audio feedback
US20120066163A1 (en) 2010-09-13 2012-03-15 Nottingham Trent University Time to event data analysis method and system
US20130123656A1 (en) 2010-11-15 2013-05-16 Sandy L. Heck Control System and Apparatus Utilizing Signals Originating in the Periauricular Neuromuscular System
US10244988B2 (en) 2010-12-16 2019-04-02 Nokia Technologies Oy Method, apparatus and computer program of using a bio-signal profile
US20120203076A1 (en) 2011-02-08 2012-08-09 Jean Pierre Fatta Portable Physiological Data Monitoring Device
KR101448106B1 (ko) 2011-02-17 2014-10-08 주식회사 라이프사이언스테크놀로지 무구속 근전도 신호를 이용한 재활상태 분석방법
KR101206280B1 (ko) 2011-02-28 2012-11-29 (주)락싸 전기적 비접촉 전위 센서 회로
USD646192S1 (en) 2011-03-11 2011-10-04 Jamie Renae Woode Bracelet
US20120265090A1 (en) 2011-04-13 2012-10-18 Fink Rainer J System and method of acquiring uterine emg signals and wirelessly transmitting the same
WO2012155157A1 (en) 2011-05-06 2012-11-15 Azoteq (Pty) Ltd Multiple media capacitive sensor
US9330499B2 (en) 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US8203502B1 (en) 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
US9018532B2 (en) 2011-06-09 2015-04-28 Multi-Fineline Electronix, Inc. Stretchable circuit assemblies
US20130198694A1 (en) 2011-06-10 2013-08-01 Aliphcom Determinative processes for wearable devices
US8879276B2 (en) 2011-06-15 2014-11-04 Power Gold LLC Flexible circuit assembly and method thereof
EP2721582A4 (en) 2011-06-20 2015-03-25 Nokia Corp METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR IMPLEMENTING DETAILED POSITION PROVISIONS OF OBJECTS
US9089270B2 (en) 2011-06-29 2015-07-28 Lg Electronics Inc. Terminal and control method thereof
US9128521B2 (en) 2011-07-13 2015-09-08 Lumo Bodytech, Inc. System and method of biomechanical posture detection and feedback including sensor normalization
US8179604B1 (en) 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
WO2013029196A1 (zh) 2011-08-26 2013-03-07 国立云林科技大学 回馈控制的穿戴式上肢电刺激装置
USD654622S1 (en) 2011-09-15 2012-02-21 Shih-Ling Hsu Hair band
KR20190133080A (ko) 2011-09-19 2019-11-29 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US20130080794A1 (en) 2011-09-24 2013-03-28 Jawbone Industrial Co., Ltd. Wireless controller with universal serial bus and system having the same
US20130077820A1 (en) 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
US20130271292A1 (en) 2011-10-09 2013-10-17 James Andrew McDermott Driver Alert and Monitoring System
FR2981561B1 (fr) 2011-10-21 2015-03-20 Commissariat Energie Atomique Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants
US8467270B2 (en) 2011-10-26 2013-06-18 Google Inc. Smart-watch with user interface features
ITTO20111024A1 (it) 2011-11-08 2013-05-09 Bitron Spa Dispositivo di misura per segnali elettromiografici ad alta risoluzione e elevato numero di canali.
WO2013071285A1 (en) 2011-11-11 2013-05-16 Rutgers, The State University Of New Jersey Methods for the diagnosis and treatment of neurological disorders
US8704882B2 (en) 2011-11-18 2014-04-22 L-3 Communications Corporation Simulated head mounted display system and method
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
TWI446896B (zh) 2011-12-23 2014-08-01 Ind Tech Res Inst 肌能參數感測器
US8971023B2 (en) 2012-03-21 2015-03-03 Google Inc. Wearable computing device frame
US20130191741A1 (en) 2012-01-24 2013-07-25 Motorola Mobility, Inc. Methods and Apparatus for Providing Feedback from an Electronic Device
US10188307B2 (en) 2012-02-23 2019-01-29 Bio-Signal Group Corp. Shielded multi-channel EEG headset systems and methods
US8970571B1 (en) 2012-03-13 2015-03-03 Google Inc. Apparatus and method for display lighting adjustment
US8922481B1 (en) 2012-03-16 2014-12-30 Google Inc. Content annotation
USD682727S1 (en) 2012-03-27 2013-05-21 Bulgari S.P.A. Bracelet
JP2013206273A (ja) 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
WO2013151770A1 (en) 2012-04-03 2013-10-10 Carnegie Mellon University Musculoskeletal activity recognition system and method
US8994672B2 (en) 2012-04-09 2015-03-31 Sony Corporation Content transfer via skin input
US9170674B2 (en) 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
US9221177B2 (en) 2012-04-18 2015-12-29 Massachusetts Institute Of Technology Neuromuscular model-based sensing and control paradigm for a robotic leg
US9538940B2 (en) * 2012-05-03 2017-01-10 University of Pittsburgh—of the Commonwealth System of Higher Education Intelligent algorithms for tracking three-dimensional skeletal movement from radiographic image sequences
USD716457S1 (en) 2012-05-23 2014-10-28 Neurometrix, Inc. Transcutaneous electrical nerve stimulation device
US9278453B2 (en) 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
US9867548B2 (en) 2012-05-25 2018-01-16 Emotiv, Inc. System and method for providing and aggregating biosignals and action data
US20130332196A1 (en) 2012-06-07 2013-12-12 The Government Of The United States As Represented By The Secretary Of The Army Diabetes Monitoring Using Smart Device
US20150366504A1 (en) * 2014-06-20 2015-12-24 Medibotics Llc Electromyographic Clothing
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US9891718B2 (en) 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US9536449B2 (en) 2013-05-23 2017-01-03 Medibotics Llc Smart watch and food utensil for monitoring food consumption
US10921886B2 (en) 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US8954135B2 (en) 2012-06-22 2015-02-10 Fitbit, Inc. Portable biometric monitoring devices and methods of operating same
US9615447B2 (en) 2012-07-23 2017-04-04 Zhuhai Advanced Chip Carriers & Electronic Substrate Solutions Technologies Co. Ltd. Multilayer electronic support structure with integral constructional elements
US8484022B1 (en) 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
EP2698686B1 (en) 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
US20150182165A1 (en) 2012-08-03 2015-07-02 Neurotopia, Inc. Neurophysiological training headset
US20140045463A1 (en) 2012-08-10 2014-02-13 Silverplus, Inc. Wearable Communication Device
USD689862S1 (en) 2012-08-15 2013-09-17 Kye Systems Corp. Ring mouse
US20140049417A1 (en) 2012-08-20 2014-02-20 Playtabase, LLC Wireless motion activated command transfer device, system, and method
US8895865B2 (en) 2012-09-07 2014-11-25 Conor P. Lenahan Conductive connections allowing XYZ translation
US9211417B2 (en) 2012-09-10 2015-12-15 Great Lakes Neurotechnologies Inc Movement disorder therapy system, devices and methods, and intelligent methods of tuning
US10824310B2 (en) 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
CN203252647U (zh) 2012-09-29 2013-10-30 艾利佛公司 用于判定生理特征的可佩带的设备
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
USD695454S1 (en) 2012-10-24 2013-12-10 Patricia Lynn Moore Hair holding device
KR101975090B1 (ko) 2012-10-26 2019-05-03 나이키 이노베이트 씨.브이. 심박수 정보를 이용한 운동 수행 모니터링 시스템
KR102043703B1 (ko) 2012-11-12 2019-11-12 한국전자통신연구원 신축성 박막트랜지스터의 제조방법
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US9182826B2 (en) 2012-11-21 2015-11-10 Intel Corporation Gesture-augmented speech recognition
US9351653B1 (en) 2012-11-29 2016-05-31 Intan Technologies, LLC Multi-channel reconfigurable systems and methods for sensing biopotential signals
US10009644B2 (en) 2012-12-04 2018-06-26 Interaxon Inc System and method for enhancing content using brain-state data
US9042829B2 (en) 2013-01-04 2015-05-26 Nokia Corporation Method, apparatus, and computer program product for wireless short-range communication
US20140196131A1 (en) 2013-01-07 2014-07-10 Salutron, Inc. User authentication based on a wrist vein pattern
US9092664B2 (en) 2013-01-14 2015-07-28 Qualcomm Incorporated Use of EMG for subtle gesture recognition on surfaces
US20140198034A1 (en) 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9211073B2 (en) 2013-02-20 2015-12-15 Tosense, Inc. Necklace-shaped physiological monitor
CN105190578A (zh) 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
US20140245200A1 (en) 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
US20140249397A1 (en) 2013-03-01 2014-09-04 Thalmic Labs Inc. Differential non-contact biopotential sensor
US20140257141A1 (en) 2013-03-05 2014-09-11 Great Lakes Neurotechnologies Inc. Movement disorder monitoring and symptom quantification system and method
US20140285326A1 (en) 2013-03-15 2014-09-25 Aliphcom Combination speaker and light source responsive to state(s) of an organism based on sensor data
US20140334653A1 (en) 2013-03-14 2014-11-13 Aliphcom Combination speaker and light source responsive to state(s) of an organism based on sensor data
US20150182163A1 (en) 2013-12-31 2015-07-02 Aliphcom Wearable device to detect inflamation
US20140277622A1 (en) 2013-03-15 2014-09-18 First Principles, Inc. System and method for bio-signal control of an electronic device
US9361411B2 (en) 2013-03-15 2016-06-07 Honeywell International, Inc. System and method for selecting a respirator
US9766709B2 (en) 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US9436287B2 (en) 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
US9146730B2 (en) 2013-03-15 2015-09-29 Netgear, Inc. System and method for remotely updating cable modem software
IN2013MU01148A (ja) 2013-03-26 2015-04-24 Tata Consultancy Services Ltd
US20140299362A1 (en) 2013-04-04 2014-10-09 Electronics And Telecommunications Research Institute Stretchable electric device and manufacturing method thereof
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9717440B2 (en) 2013-05-03 2017-08-01 The Florida International University Board Of Trustees Systems and methods for decoding intended motor commands from recorded neural signals for the control of external devices or to interact in virtual environments
KR102043200B1 (ko) 2013-05-07 2019-11-11 엘지전자 주식회사 스마트 워치 및 제어 방법
US9582317B2 (en) 2013-05-10 2017-02-28 Samsung Electronics Co., Ltd. Method of using use log of portable terminal and apparatus using the same
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US9706647B2 (en) 2013-05-14 2017-07-11 Mc10, Inc. Conformal electronics including nested serpentine interconnects
US10314506B2 (en) 2013-05-15 2019-06-11 Polar Electro Oy Heart activity sensor structure
USD741855S1 (en) 2013-05-16 2015-10-27 Samsung Electronics Co., Ltd. Smart watch
USD750623S1 (en) 2013-05-16 2016-03-01 Samsung Electronics Co., Ltd. Smart watch
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9395810B2 (en) 2013-05-28 2016-07-19 The Boeing Company Ubiquitous natural user system
US9904356B2 (en) 2013-05-28 2018-02-27 The Boeing Company Tracking a user to support tasks performed on complex-system components
US9218574B2 (en) 2013-05-29 2015-12-22 Purepredictive, Inc. User interface for machine learning
CN105263448B (zh) 2013-05-31 2018-05-04 哈佛大学校长及研究员协会 用于辅助人体运动的软机器护甲
WO2014197443A1 (en) 2013-06-03 2014-12-11 Kacyvenski Isaiah Motion sensor and analysis
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
KR101933921B1 (ko) 2013-06-03 2018-12-31 삼성전자주식회사 포즈 추정 방법 및 장치
US11083402B2 (en) 2013-06-04 2021-08-10 Medtronic, Inc. Patient state determination based on one or more spectral characteristics of a bioelectrical brain signal
KR101501661B1 (ko) 2013-06-10 2015-03-12 한국과학기술연구원 착용형 근전도 센서 시스템
KR102131358B1 (ko) 2013-06-17 2020-07-07 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 장치의 동작 방법
WO2014204330A1 (en) 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US20140376773A1 (en) 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
KR20160022375A (ko) 2013-06-21 2016-02-29 엠씨10, 인크 정합성 전자기기를 구비한 밴드
US10402517B2 (en) 2013-06-26 2019-09-03 Dassault Systémes Simulia Corp. Musculo-skeletal modeling using finite element analysis, process integration, and design optimization
US9146618B2 (en) * 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
US9408316B2 (en) 2013-07-22 2016-08-02 Thalmic Labs Inc. Systems, articles and methods for strain mitigation in wearable electronic devices
US20150029092A1 (en) 2013-07-23 2015-01-29 Leap Motion, Inc. Systems and methods of interpreting complex gestures
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150057770A1 (en) 2013-08-23 2015-02-26 Thaimic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
WO2015032833A1 (en) 2013-09-04 2015-03-12 Essilor International (Compagnie Generale D'optique) Navigation method based on a see-through head-mounted device
US9372535B2 (en) 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
WO2015033737A1 (ja) 2013-09-06 2015-03-12 株式会社村田製作所 多層基板
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
CN109875501B (zh) 2013-09-25 2022-06-07 曼德美姿集团股份公司 生理参数测量和反馈系统
JP6794259B2 (ja) 2013-10-14 2020-12-02 ナイキ イノベイト シーブイ アスレチック運動属性からのペースとエネルギー消費量の計算
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
CN103777752A (zh) 2013-11-02 2014-05-07 上海威璞电子科技有限公司 基于手臂肌肉电流检测和运动传感器的手势识别设备
GB2519987B (en) 2013-11-04 2021-03-03 Imperial College Innovations Ltd Biomechanical activity monitoring
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
EP3068349A4 (en) 2013-11-13 2017-12-13 Hrl Laboratories, Llc System for controlling brain machine interfaces and neural prosthetic systems
US20150157944A1 (en) 2013-12-06 2015-06-11 Glenn I. Gottlieb Software Application for Generating a Virtual Simulation for a Sport-Related Activity
US9367086B2 (en) 2013-12-10 2016-06-14 Atmel Corporation Smart watch with adaptive touch screen
US9367139B2 (en) 2013-12-12 2016-06-14 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
USD751065S1 (en) 2013-12-28 2016-03-08 Intel Corporation Wearable computing device
KR20150077684A (ko) 2013-12-30 2015-07-08 삼성전자주식회사 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치
US20150182130A1 (en) 2013-12-31 2015-07-02 Aliphcom True resting heart rate
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9659403B1 (en) 2014-01-06 2017-05-23 Leap Motion, Inc. Initializing orientation in space for predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
WO2015123445A1 (en) 2014-02-14 2015-08-20 Thalmic Labs Inc. Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same
TWI596994B (zh) 2014-02-20 2017-08-21 Tear-resistant structure of the flexible circuit board
US10254843B2 (en) 2014-02-28 2019-04-09 Vikas Gupta Gesture operated wrist mounted camera system
USD751068S1 (en) 2014-03-07 2016-03-08 Sony Mobile Communications Ab Display portion of watch shaped communications equipment
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US20150261306A1 (en) 2014-03-17 2015-09-17 Thalmic Labs Inc. Systems, devices, and methods for selecting between multiple wireless connections
USD736664S1 (en) 2014-03-18 2015-08-18 Google Technology Holdings LLC Wrist band for an electronic device
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
TWD165563S (zh) 2014-04-08 2015-01-21 緯創資通股份有限公司 穿戴式電子裝置之部分
US20150296553A1 (en) 2014-04-11 2015-10-15 Thalmic Labs Inc. Systems, devices, and methods that establish proximity-based wireless connections
US9858391B2 (en) 2014-04-17 2018-01-02 The Boeing Company Method and system for tuning a musculoskeletal model
US10845982B2 (en) 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
WO2015164951A1 (en) 2014-05-01 2015-11-05 Abbas Mohamad Methods and systems relating to personalized evolving avatars
US20150325202A1 (en) 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
EP3143702B1 (en) 2014-05-12 2021-07-07 CommScope Technologies LLC Remote radio heads having wireless jumper connections and related equipment, systems and methods
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
USD717685S1 (en) 2014-05-15 2014-11-18 Thalmic Labs Inc. Expandable armband
KR101666399B1 (ko) 2014-05-15 2016-10-14 한국과학기술연구원 다중 채널 표면 근전도에서의 신체 관절 운동학 정보 추출 방법, 이를 수행하기 위한 기록 매체 및 장치
USD756359S1 (en) 2014-05-15 2016-05-17 Thalmic Labs Inc. Expandable armband device
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
JP6362444B2 (ja) 2014-06-16 2018-07-25 日本メクトロン株式会社 フレキシブルプリント基板およびフレキシブルプリント基板の製造方法
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US10216274B2 (en) 2014-06-23 2019-02-26 North Inc. Systems, articles, and methods for wearable human-electronics interface devices
WO2015199747A1 (en) 2014-06-23 2015-12-30 Thalmic Labs Inc. Systems, articles, and methods for wearable human-electronics interface devices
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
US10298825B2 (en) * 2014-07-23 2019-05-21 Orcam Technologies Ltd. Systems and methods for remembering held items and finding lost items using wearable camera systems
US9734704B2 (en) 2014-08-12 2017-08-15 Dominick S. LEE Wireless gauntlet for electronic control
WO2016041088A1 (en) 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US9811555B2 (en) 2014-09-27 2017-11-07 Intel Corporation Recognition of free-form gestures from orientation tracking of a handheld or wearable device
EP3210096B1 (en) 2014-10-21 2019-05-15 Robert Bosch GmbH Method and system for automation of response selection and composition in dialog systems
WO2016076376A1 (ja) * 2014-11-12 2016-05-19 京セラ株式会社 ウェアラブル装置
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
EP3234731B1 (en) * 2014-12-16 2020-07-01 Somatix Inc. Methods and systems for monitoring and influencing gesture-based behaviors
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
US9720515B2 (en) 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
WO2016140908A1 (en) * 2015-03-02 2016-09-09 Tap Systems Inc. Arbitrary surface and finger position keyboard
US20160274758A1 (en) 2015-03-20 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for mitigating false positives in human-electronics interfaces
US10432842B2 (en) 2015-04-06 2019-10-01 The Texas A&M University System Fusion of inertial and depth sensors for movement measurements and recognition
CN108883335A (zh) 2015-04-14 2018-11-23 约翰·詹姆斯·丹尼尔斯 用于人与机器或人与人的可穿戴式的电子多感官接口
US20160309249A1 (en) 2015-04-16 2016-10-20 Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. Wearable electronic device
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
GB2537899B (en) 2015-04-30 2018-02-21 Hy5Pro As Control of digits for artificial hand
US9654477B1 (en) 2015-05-05 2017-05-16 Wells Fargo Bank, N. A. Adaptive authentication
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
EP3556429B1 (en) 2015-06-02 2021-10-13 Battelle Memorial Institute Non-invasive motor impairment rehabilitation system
EP4134125A1 (en) 2015-06-02 2023-02-15 Battelle Memorial Institute Neural sleeve for neuromuscular stimulation, sensing and recording
ES2940824T3 (es) 2015-06-02 2023-05-11 Battelle Memorial Institute Sistemas para la formación de puentes neurales del sistema nervioso central
WO2016210441A1 (en) 2015-06-26 2016-12-29 Carnegie Mellon University System for wearable, low-cost electrical impedance tomography for non-invasive gesture recognition
US9240069B1 (en) 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
CN108140360B (zh) 2015-07-29 2020-12-04 森赛尔股份有限公司 用于操纵虚拟环境的系统和方法
KR101626748B1 (ko) 2015-08-03 2016-06-14 숭실대학교산학협력단 뇌파와 근전도를 이용한 움직임 패턴 측정 장치 및 그 방법
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US9824287B2 (en) 2015-09-29 2017-11-21 Huami Inc. Method, apparatus and system for biometric identification
US10459537B2 (en) 2015-09-30 2019-10-29 Stmicroelectronics, Inc. Encapsulated pressure sensor
WO2017062544A1 (en) 2015-10-06 2017-04-13 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Method, device and system for sensing neuromuscular, physiological, biomechanical, and musculoskeletal activity
US9881273B2 (en) 2015-10-28 2018-01-30 Disney Interprises, Inc. Automatic object detection and state estimation via electronic emissions sensing
US10595941B2 (en) 2015-10-30 2020-03-24 Orthosensor Inc. Spine measurement system and method therefor
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
KR101739656B1 (ko) 2015-11-23 2017-05-24 이경호 핸디형 유방암 검진기
US10776712B2 (en) 2015-12-02 2020-09-15 Preferred Networks, Inc. Generative machine learning systems for drug design
CN105511615B (zh) 2015-12-04 2019-03-05 深圳大学 基于emg的可穿戴式文本输入系统及方法
US20170188980A1 (en) 2016-01-06 2017-07-06 Empire Technology Development Llc Wearable sensor based body modeling
WO2017120669A1 (en) 2016-01-12 2017-07-20 Bigmotion Technologies Inc. Systems and methods for human body motion capture
US20170259167A1 (en) 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
KR102158743B1 (ko) 2016-03-15 2020-09-22 한국전자통신연구원 자연어 음성인식의 성능향상을 위한 데이터 증강장치 및 방법
US9864434B2 (en) * 2016-03-30 2018-01-09 Huami Inc. Gesture control of interactive events using multiple wearable devices
US10503253B2 (en) 2016-03-31 2019-12-10 Intel Corporation Sensor signal processing to determine finger and/or hand position
CN109313492B (zh) 2016-03-31 2022-03-18 森赛尔股份有限公司 人机接口系统
US10852835B2 (en) 2016-04-15 2020-12-01 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
KR102504859B1 (ko) 2016-04-19 2023-03-02 스카이워크스 솔루션즈, 인코포레이티드 무선 주파수 모듈의 선택적 차폐
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
JP2019523031A (ja) 2016-05-31 2019-08-22 ラブ シェプフェルガイスト アーゲー 神経刺激装置及び方法
US10426371B2 (en) 2016-06-07 2019-10-01 Smk Corporation Muscle condition measurement sheet
KR101790147B1 (ko) 2016-06-22 2017-10-25 재단법인 실감교류인체감응솔루션연구단 가상 객체 조작 시스템 및 방법
JP2019524204A (ja) 2016-07-01 2019-09-05 エル．アイ．エフ．イー． コーポレーション エス．エー．Ｌ．Ｉ．Ｆ．Ｅ． Ｃｏｒｐｏｒａｔｉｏｎ Ｓ．Ａ． 複数のセンサを有する衣服によるバイオメトリクス識別
WO2018017399A1 (en) * 2016-07-20 2018-01-25 Usens, Inc. Method and system for 3d hand skeleton tracking
US20200073483A1 (en) 2018-08-31 2020-03-05 Ctrl-Labs Corporation Camera-guided interpretation of neuromuscular signals
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
EP3487457B1 (en) 2016-07-25 2023-09-06 Facebook Technologies, LLC. Adaptive system for deriving control signals from measurements of neuromuscular activity
WO2018022602A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
WO2018022657A1 (en) * 2016-07-25 2018-02-01 Ctrl-Labs Corporation System and method for measuring the movements of articulated rigid bodies
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US10765363B2 (en) 2016-09-30 2020-09-08 Cognionics, Inc. Headgear for dry electroencephalogram sensors
US10162422B2 (en) 2016-10-10 2018-12-25 Deere & Company Control of machines through detection of gestures by optical and muscle sensors
EP3548994B1 (en) 2016-12-02 2021-08-11 Pison Technology, Inc. Detecting and using body tissue electrical signals
US10646139B2 (en) 2016-12-05 2020-05-12 Intel Corporation Body movement tracking
US20190025919A1 (en) 2017-01-19 2019-01-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in an augmented reality system
US10796599B2 (en) 2017-04-14 2020-10-06 Rehabilitation Institute Of Chicago Prosthetic virtual reality training interface and related methods
US11259746B2 (en) 2017-07-10 2022-03-01 General Electric Company Method and system for neuromuscular transmission measurement
US10481699B2 (en) 2017-07-27 2019-11-19 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
US20190076716A1 (en) 2017-09-12 2019-03-14 Intel Corporation Activity training system
US10606620B2 (en) 2017-11-16 2020-03-31 International Business Machines Corporation Notification interaction in a touchscreen user interface
US20190150777A1 (en) 2017-11-17 2019-05-23 Ctrl-Labs Corporation Dual-supply analog circuitry for sensing surface emg signals
US10827942B2 (en) 2018-01-03 2020-11-10 Intel Corporation Detecting fatigue based on electroencephalogram (EEG) data
CN112074225A (zh) 2018-01-25 2020-12-11 脸谱科技有限责任公司 用于减轻神经肌肉信号伪像的方法和装置
US10817795B2 (en) 2018-01-25 2020-10-27 Facebook Technologies, Llc Handstate reconstruction based on multiple inputs
WO2019147956A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Visualization of reconstructed handstate information
WO2019147949A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Real-time processing of handstate representation model estimates
WO2019148002A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
WO2019147958A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
WO2019147996A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US20190247650A1 (en) 2018-02-14 2019-08-15 Bao Tran Systems and methods for augmenting human muscle controls
US20190324549A1 (en) 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
CN112424859A (zh) 2018-05-08 2021-02-26 脸谱科技有限责任公司 使用神经肌肉信息改善语音识别的系统和方法
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
WO2019226259A1 (en) 2018-05-25 2019-11-28 Ctrl-Labs Corporation Methods and apparatus for providing sub-muscular control
CN112739254A (zh) 2018-09-20 2021-04-30 脸谱科技有限责任公司 增强现实系统的神经肌肉控制

Also Published As

Publication number Publication date
US10905350B2 (en) 2021-02-02
EP3843617B1 (en) 2023-10-04
EP3843617A4 (en) 2022-01-05
US20200069210A1 (en) 2020-03-05
US10842407B2 (en) 2020-11-24
US20200073483A1 (en) 2020-03-05
WO2020047429A1 (en) 2020-03-05
EP3843617A1 (en) 2021-07-07
EP4241661A1 (en) 2023-09-13
US20200069211A1 (en) 2020-03-05
CN112996430A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US10842407B2 (en) Camera-guided interpretation of neuromuscular signals
US11163361B2 (en) Calibration techniques for handstate representation modeling using neuromuscular signals
US11069148B2 (en) Visualization of reconstructed handstate information
US11587242B1 (en) Real-time processing of handstate representation model estimates
US10817795B2 (en) Handstate reconstruction based on multiple inputs
US10489986B2 (en) User-controlled tuning of handstate representation model parameters
US20200097081A1 (en) Neuromuscular control of an augmented reality system
CN113412084A (zh) 来自多种类型的虚拟和/或增强现实环境内的神经肌肉激活的反馈

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240326