JP2021072136A - ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 - Google Patents

ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 Download PDF

Info

Publication number
JP2021072136A
JP2021072136A JP2021012756A JP2021012756A JP2021072136A JP 2021072136 A JP2021072136 A JP 2021072136A JP 2021012756 A JP2021012756 A JP 2021012756A JP 2021012756 A JP2021012756 A JP 2021012756A JP 2021072136 A JP2021072136 A JP 2021072136A
Authority
JP
Japan
Prior art keywords
processor
muscle activity
electronic device
user
wearable electronic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021012756A
Other languages
English (en)
Inventor
レイク ステファン
Lake Stephen
レイク ステファン
ベイリー マシュー
bailey Matthew
ベイリー マシュー
グラント アーロン
Grant Aaron
グラント アーロン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of JP2021072136A publication Critical patent/JP2021072136A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】制御可能な接続装置とともに使用するための、ウェアラブル電子装置が開示される。【解決手段】このウェアラブル電子装置は、たとえばユーザの前腕に装着されたバンドを備え、このバンドは、少なくとも1つの筋活動センサ、少なくとも1つの慣性センサ、および各センサに通信するように結合されたプロセッサを備える。オンボードプロセッサが、筋活動センサによって検出される筋活動、および慣性センサによって検出される動きに基づいて、ユーザが実行する複数のジェスチャを識別するように動作可能である。ジェスチャを識別するのに応答して、ウェアラブル電子装置は、1つまたは複数の信号を無線で伝送して、制御可能な接続装置と対話する。【選択図】図3

Description

本発明の方法および装置は概して、人間−エレクトロニクスインターフェースに関し、
より詳細には、筋活動センサ信号と慣性センサ信号とを結合して、ジェスチャに基づいて
電子装置を制御するウェアラブル電子装置に関する。
ウェアラブル電子装置
現在では、世界中のほとんどで、電子装置が当たり前のものとなっている。集積回路技
術の進歩によって、ユーザが身につけるのに十分小さくて軽量な電子装置の開発が可能に
なってきた。このような「携帯型」電子装置は、オンボード電源(電池または他の電源シ
ステムなど)を含んでもよく、他の電子システムとの有線接続なしで動作するよう設計し
てもよいが、小さくて軽量な電子装置は、他の電子システムとの有線接続を備えていても
、やはり携帯型とみなしてもよい。たとえば、マイクロホンは、無線でまたは有線接続を
介して動作しているかにかかわらず、携帯型電子装置とみなしてよい。
電子装置の携帯性によってもたらされる利便性が、巨大な産業を育成してきた。スマー
トフォン、オーディオプレーヤ、ラップトップコンピュータ、タブレットコンピュータ、
eブックリーダは全て、携帯型電子装置の例である。しかし、携帯型電子装置を身につけ
ることのできる利便性によって、その装置自体が人の手を煩わすという不都合も生じてい
る。電子装置を携帯型だけでなくウェアラブルにすることによって、この問題に対処する
ウェアラブル電子装置は、物理的に握ったり、掴んだり、または他に装置を自分の手に
保持することなくユーザが身につけることのできる、任意の携帯型電子装置である。たと
えば、ウェアラブル電子装置は、1つまたは複数のストラップ、1つまたは複数のバンド
、1つまたは複数のクリップ、接着剤、ピンおよび留め具、衣類、張力支持体または弾性
支持体、締まりばめ、人間工学的な形状などで、ユーザに装着または結合してもよい。ウ
ェアラブル電子装置の例には、デジタル腕時計、電子アームバンド、電子リング、電子足
首ブレスレットすなわち「アンクレット」、ヘッドマウント型電子表示装置、補聴器など
が含まれる。
筋電図検査装置
筋電図検査(「EMG」)は、筋活動によって生成された電気信号を検出し処理するた
めのプロセスである。EMG装置は、筋活動に関わる電位の範囲(典型的にはμV〜mV
)に応答するEMGセンサを利用する。EMG信号は、医療用の監視および診断、筋リハ
ビリテーション、運動および訓練、人工装具の制御を含め、広範囲の用途で使用すること
ができ、電子装置の機能を制御するのにも使用することができる。
人間−エレクトロニクスインターフェース
ウェアラブル電子装置は、(音声再生、データ表示、計算機能など)直接の機能をユー
ザに提供してもよく、またはユーザが、別の電子装置と対話し、そこから情報を受け取り
、またはそれを制御することを可能にする人間−エレクトロニクスインターフェースを実
現する電子装置を提供してもよい。本明細書および添付の特許請求の範囲全体を通して、
人間−エレクトロニクスインターフェースの一例として、人間−コンピュータインターフ
ェース(「HCI」)が使用される。本発明の方法および装置は、HCIに適用してもよ
いが、人間−エレクトロニクスインターフェースの他の任意の形式に適用してもよい。
近年になって、様々な制御用途で使用するのに、人間−コンピュータインターフェース
、すなわちHCIの必要性が増してきた。これまで注目を集めてきたHCI向け技術の一
例は、sEMG(表面筋電図検査)と呼ばれる、皮膚の表面を通して筋活動を検知して、
ユーザが実行する手および/または腕のジェスチャを検出するものである。たとえば、E
MGセンサを含む装置をユーザの手首または前腕に装着し、それを使用して、筋活動によ
って生成される電気信号を検出してもよい。パターン認識アルゴリズムを使用して、電気
データを解析して、ユーザが実行した物理的なジェスチャを識別する。この技術の包括的
概要およびその限界が、米国特許第8,170,656号明細書に示してある。
ジェスチャ検知装置が経済的に採算がとれるようにするためには、この装置は、ジェス
チャ検出速度が非常に高く、製造コストが相対的に低くなければならない。1つの限界は
、sEMGベースのセンサが、動作状態の変動の影響を非常に受けやすく、sEMGセン
サが生成する信号が、皮膚の発汗、体毛の量、および皮膚の脂肪含有量などの変数に影響
される可能性があることである。こうした理由のため、ただsEMGセンサのみを使用し
て、高いジェスチャ認識速度を実現することは非常に困難である。
したがって、必要なものは、従来技術でのこうした限界を克服する有効なHCI装置で
ある。
本開示は、人間−コンピュータインターフェース装置に関し、より詳細には、ウェアラ
ブル筋肉制御センサベースの人間−コンピュータインターフェース(HCI)に関する。
一実施形態では、ウェアラブル筋肉制御装置は、ユーザの前腕に装着され、複数の容量
性筋電図検査(cEMG)センサを備える。有利には、cEMGセンサは、ユーザの皮膚
との直接接触を必要とせず、したがって、従来技術で使用される表面筋電図検査(sEM
G)センサに特徴的な信号変動の影響を受けない。筋肉制御装置はさらに、ユーザの腕の
加速度を測定するための加速度計を有する慣性測定ユニット(IMU)を備える。筋肉制
御装置はさらに、センサから取得した信号をフィルタリングし、処理するためのフィルタ
リングモジュール、アナログ信号をデジタルに変換するためのアナログ・デジタル変換器
、ならびに、処理されたcEMG信号およびIMU信号から、ユーザが実行しているジェ
スチャを認識するように構成された処理ユニットを含む。
一実施形態では、この装置は、筋肉制御装置から制御入力を受信する接続装置に有線で
接続してもよい。あるいは、筋肉制御装置は、1つまたは複数の電池、および接続装置に
無線接続するための無線送受信機モジュールを含む。
この装置は、ユーザの前腕の適位置にとどまることができる、伸張可能なバンドの形式
をとることが好ましい。この装置はまた、触覚フィードバックをユーザに与えて、事象を
確認し、または入力を要求するために使用できる振動モータを含む。
別の実施形態では、cEMGセンサとともに他の様々なタイプのセンサを使用して、ユ
ーザが行うジェスチャを検出してもよい。これは、たとえば、収縮時に筋肉が生成する振
動を検出するための機械式筋運動記録(MMG)センサを備えてもよい。
別の実施形態では、筋肉インターフェース装置が、接続装置またはHCIとともに使用
するために、この筋肉インターフェース装置を較正するためのルーチンを有する較正モジ
ュールを備える。
ウェアラブル電子装置は、使用時にユーザが身につけるバンドと、このバンドによって
保持される少なくとも1つの筋活動センサであって、使用時にユーザが物理的なジェスチ
ャを実行するのに応答して筋活動を検出し、この検出された筋活動に応答して少なくとも
1つの信号を供給するための少なくとも1つの筋活動センサと、バンドによって保持され
る少なくとも1つの慣性センサであって、使用時にユーザが物理的なジェスチャを実行す
るのに応答して動きを検出し、この検出された動きに応答して少なくとも1つの信号を供
給するための少なくとも1つの慣性センサと、バンドによって保持されるプロセッサであ
って、少なくとも1つの筋活動センサおよび少なくとも1つの慣性センサと通信するよう
に結合され、使用時に、少なくとも1つの筋活動センサが供給する少なくとも1つの信号
と、少なくとも1つの慣性センサが供給する少なくとも1つの信号とのいずれか、または
その両方に基づいて、ユーザが実行する物理的なジェスチャを識別するためのプロセッサ
とを備えるものとして要約することができる。ウェアラブル電子装置は、バンドによって
保持され、かつプロセッサと通信するように結合された非一時的なコンピュータ読取り可
能記憶媒体をさらに含んでもよく、この非一時的なコンピュータ読取り可能記憶媒体は、
プロセッサによって実行されるとき、少なくとも1つの筋活動センサが供給する少なくと
も1つの信号と、少なくとも1つの慣性センサが供給する少なくとも1つの信号とのいず
れか、またはその両方に基づいて、ユーザが実行する物理的なジェスチャをこのプロセッ
サに識別させるプロセッサ実行可能な命令を記憶する。非一時的なコンピュータ読取り可
能記憶媒体は、プロセッサによって実行されるとき、少なくとも1つの筋活動センサが供
給する少なくとも1つの信号と、少なくとも1つの慣性センサが供給する少なくとも1つ
の信号とのいずれか、またはその両方に基づいて、ユーザが実行する物理的なジェスチャ
を識別するための機械知能法をこのプロセッサに実行させるプロセッサ実行可能な命令を
記憶してもよい。非一時的なコンピュータ読取り可能記憶媒体に記憶されたプロセッサ実
行可能な命令には、プロセッサによって実行されるとき、分類子、隠れマルコフモデル、
および/または長短期ニューラルネットのうちの少なくとも1つをこのプロセッサに実施
させるプロセッサ実行可能な命令が含まれ得る。
ウェアラブル電子装置は、バンドによって保持される無線送信機であって、プロセッサ
と通信するように結合され、使用時に、ユーザが実行する物理的ジェスチャをプロセッサ
が識別するのに応答して、少なくとも1つの信号を無線で伝送する無線送信機をさらに備
えてもよい。少なくとも1つの筋活動センサは、筋電図検査(EMG)センサ、および機
械式筋運動記録(MMG)センサからなる群から選択される少なくとも1つの筋活動セン
サを備えてもよい。少なくとも1つの筋活動センサは、複数の筋電図検査(EMG)セン
サを備えてもよい。
ウェアラブル電子装置は、バンドによって保持される触覚フィードバックモジュールで
あって、使用時に触覚フィードバックをユーザに提示する触覚フィードバックモジュール
をさらに備えてもよい。この触覚フィードバックモジュールは振動モータを備えてもよい
ウェアラブル電子装置のバンドは伸張可能でもよい。
ウェアラブル電子装置は、バンドによって保持される少なくとも1つの追加構成部品で
あって、少なくとも1つの筋活動センサと通信するように結合された増幅回路、少なくと
も1つの筋活動センサと通信するように結合されたフィルタリング回路、少なくとも1つ
の筋活動センサと通信するように結合されたアナログ・デジタル変換回路、およびプロセ
ッサに電気的に結合された電池からなる群から選択される少なくとも1つの追加構成部品
をさらに備えてもよい。少なくとも1つの慣性センサは、加速度計、ジャイロスコープ、
および慣性測定ユニット(IMU)からなる群から選択される少なくとも1つの慣性セン
サを備えてもよい。
ウェアラブル電子装置を動作させる方法であって、このウェアラブル電子装置が、ユー
ザが装着するバンド、このバンドによって保持される少なくとも1つの筋活動センサ、こ
のバンドによって保持される少なくとも1つの慣性センサ、および、このバンドによって
保持されるプロセッサであって、少なくとも1つの筋活動センサおよび少なくとも1つの
慣性センサと通信するように結合されたプロセッサを備える方法は、ウェアラブル電子装
置のバンドによって保持される少なくとも1つの筋活動センサによって、ユーザが物理的
なジェスチャを実行するのに応答して筋活動を検出するステップと、検出された筋活動に
応答して、少なくとも1つの筋活動センサからプロセッサに少なくとも1つの信号を供給
するステップと、ウェアラブル電子装置のバンドによって保持される少なくとも1つの慣
性センサによって、ユーザが物理的なジェスチャを実行するのに応答して動きを検出する
ステップと、検出された動きに応答して、少なくとも1つの慣性センサからプロセッサに
少なくとも1つの信号を供給するステップと、ウェアラブル電子装置のバンドによって保
持されるプロセッサによって、少なくとも1つの筋活動センサによって供給される少なく
とも1つの信号、および少なくとも1つの慣性センサによって供給される少なくとも1つ
の信号を処理するステップと、ウェアラブル電子装置のバンドによって保持されるプロセ
ッサによって、少なくとも1つの筋活動センサによって供給される少なくとも1つの信号
、および少なくとも1つの慣性センサによって供給される少なくとも1つの信号のうちの
少なくとも1つの信号に基づいて、ユーザが実行する物理的なジェスチャを識別するステ
ップとを含むものとして要約することができる。
ウェアラブル電子装置のバンドによって保持されるプロセッサによって、ユーザが実行
する物理的なジェスチャを識別するステップは、ウェアラブル電子装置のバンドによって
保持されるプロセッサによって、少なくとも1つの筋活動センサによって供給される少な
くとも1つの信号と少なくとも1つの慣性センサによって供給される少なくとも1つの信
号との両方に基づいて、ユーザが実行する物理的なジェスチャを識別するステップを含ん
でもよい。ウェアラブル電子装置のバンドによって保持されるプロセッサによって、ユー
ザが実行する物理的なジェスチャを識別するステップは、ウェアラブル電子装置のバンド
によって保持されるプロセッサによって、少なくとも1つの筋活動センサによって供給さ
れる少なくとも1つの信号に基づいて、ユーザが実行する第1の物理的なジェスチャを識
別するステップと、ウェアラブル電子装置のバンドによって保持されるプロセッサによっ
て、少なくとも1つの慣性センサによって供給される少なくとも1つの信号に基づいて、
ユーザが実行する第2の物理的なジェスチャを識別するステップとを含んでもよい。
ウェアラブル電子装置のバンドによって保持されるプロセッサによって、少なくとも1
つの筋活動センサによって供給される少なくとも1つの信号、および少なくとも1つの慣
性センサによって供給される少なくとも1つの信号を処理するステップは、分類子、隠れ
マルコフモデル、長短期ニューラルネット、または他の機械知能法のうちの少なくとも1
つまたは複数を利用して、少なくとも1つの筋活動センサによって供給される少なくとも
1つの信号、および少なくとも1つの慣性センサによって供給される少なくとも1つの信
号を処理するステップを含んでもよい。
ウェアラブル電子装置はさらに、バンドによって保持され、かつプロセッサと通信する
ように結合された無線送信機を備えてもよく、本方法はさらに、ユーザが実行する物理的
ジェスチャをプロセッサが識別するのに応答して、少なくとも1つの信号を無線で伝送す
るステップを含んでもよい。
ウェアラブル電子装置はさらに、バンドによって保持され、かつ少なくとも1つの筋活
動センサと通信するように結合された増幅回路を備えてもよく、本方法はさらに、少なく
とも1つの筋活動センサからプロセッサに、少なくとも1つの信号を供給する前に、増幅
回路によって少なくとも1つの筋活動センサからの少なくとも1つの信号を増幅するステ
ップを含んでもよい。
ウェアラブル電子装置はさらに、バンドによって保持され、かつ少なくとも1つの筋活
動センサと通信するように結合されたフィルタリング回路を備えてもよく、本方法はさら
に、少なくとも1つの筋活動センサからプロセッサに、少なくとも1つの信号を供給する
前に、フィルタリング回路によって少なくとも1つの筋活動センサからの少なくとも1つ
の信号をフィルタリングするステップを含んでもよい。
ウェアラブル電子装置はさらに、バンドによって保持され、かつ少なくとも1つの筋活
動センサと通信するように結合されたアナログ・デジタル変換回路を備えてもよく、本方
法はさらに、少なくとも1つの筋活動センサからプロセッサに、少なくとも1つの信号を
供給する前に、アナログ・デジタル変換回路によって少なくとも1つの筋活動センサから
の少なくとも1つの信号を、アナログ信号からデジタル信号に変換するステップを含んで
もよい。
少なくとも1つの筋活動センサは、複数の筋電図検査(EMG)センサを備えてもよく
、ウェアラブル電子装置のバンドによって保持される少なくとも1つの筋活動センサによ
って、ユーザが物理的なジェスチャを実行するのに応答して筋活動を検出するステップが
、ウェアラブル電子装置のバンドによって保持される複数のEMGセンサ内の少なくとも
1つのEMGセンサによって、ユーザが物理的なジェスチャを実行するのに応答して筋活
動を検出するステップを含んでもよく、検出された筋活動に応答して、少なくとも1つの
筋活動センサからプロセッサに少なくとも1つの信号を供給するステップが、検出された
筋活動に応答して、複数のEMGセンサ内の少なくとも1つのEMGセンサからプロセッ
サに少なくとも1つの信号を供給するステップを含んでもよい。
ウェアラブル電子装置はさらに、バンドによって保持される触覚フィードバックモジュ
ールであって、プロセッサと通信するように結合された振動モータを含む触覚フィードバ
ックモジュールを備えてもよく、本方法はさらに、ユーザが実行する物理的なジェスチャ
をプロセッサが識別するのに応答して、振動モータによって触覚フィードバックをユーザ
に提示するステップを含んでもよい。
これらの方法および装置の他の特徴ならびに利点は、以下の詳細な説明および添付図面
から明らかになろう。しかし、この詳細説明および具体例は、例として提示されたもので
あり、限定するものではないことを理解されたい。これらの方法および装置の趣旨から逸
脱することなく、その範囲内の数多くの修正形態および変更形態を行ってもよく、これら
の方法および装置は、こうした修正形態を全て含む。
図面において、同一の参照番号は、同様の要素または動作を識別する。図面中の要素の
サイズおよび相対位置は、必ずしも一定の縮尺で描かれてはいない。たとえば、様々な要
素の形状および角度は一定の縮尺で描かれてはおらず、これらの要素の一部は、任意に拡
大および配置して図面を分かりやすくするようにしている。さらに、描かれた各要素の具
体的な形状は、具体的な要素の実際の形状についての情報を伝えるものではなく、もっぱ
ら、図面において認識しやすいように選択されたものである。
ユーザが、接続装置、ならびに本発明の方法および装置によるウェアラブル電子装置を装着している様子を示す。 本発明の方法および装置によるウェアラブル電子装置の詳細図を示す。 EMGセンサによって検出された電気信号に対応するデータのグラフを示す。 接続装置と、本発明の方法および装置によるウェアラブル電子装置との間の無線通信を示す。 ユーザの手および手首のジェスチャが、ウェアラブル電子装置によって制御信号として処理されて、接続装置上に表示されるコンテンツと対話する様子を示す。 本発明の方法および装置によるウェアラブル電子装置の概略的なシステムアーキテクチャを示す。 本発明の方法および装置による、オーバラップのあるスライディングウィンドウを有するサンプルを、ジェスチャトレーニングモジュールが利用する様子を示す。 本発明の方法および装置による、各ノードが互いに異なる分類子を表す階層化決定木を有するパターン認識システムを示す。 ある一定の閾値を超えるRMS値について信号チャネルを監視して、ジェスチャ認識を開始する様子を示す。 本発明の方法および装置によるウェアラブル電子装置を動作させる方法の概略的なフローチャートを示す。 本発明の方法および装置によるウェアラブル電子装置を動作させる別の方法を示す流れ図である。
図面において、本発明の方法および装置の実施形態を一例として説明する。説明および
図面は、単に説明するためのもの、および理解を促進するものに過ぎず、本発明の方法お
よび装置の限定を規定するものではないことを明確に理解されたい。
以下の説明では、開示された様々な実施形態を完全に理解するため、ある程度の具体的
な詳細について述べる。しかし、これら具体的な詳細のうちの1つまたは複数の詳細なし
に、または他の方法、構成要素、材料などを用いて実施形態を実施してもよいことが、当
業者には理解されよう。他の例では、実施形態の説明を必要以上に曖昧にしないよう、電
子装置、具体的にはウェアラブル電子装置などの携帯型電子装置に関連するよく知られた
構造は、図示しておらず、または説明していない。
文脈上別の意味に解釈すべき場合を除き、本明細書および以下の特許請求の範囲全体を
通して、用語「含む(comprise)」およびその変形形態、たとえば「含む(co
mprises)」および「含む(comprising)」などは、「含むが限定され
ない」という開かれた包括的な意味で解釈すべきである。
本明細書全体を通して、「1つの実施形態(one embodiment)」または
「一実施形態(an embodiment)」と言及する場合、1つまたは複数の実施
形態において任意の適切な方式で、具体的な特徴、構造、または特性を組み合わせてもよ
いことを意味する。
本明細書および添付の特許請求の範囲で使用されているように、単数形「1つの(a)
」、「1つの(an)」および「その(the)」は、文脈から明らかにそうでないこと
が示されていなければ、複数の参照先を含む。用語「または(or)」は一般に、その最
も広い意味、すなわち、文脈から明らかにそうでないことが示されていなければ「および
/または」の意味として利用されることにも留意されたい。
本明細書において提示される見出しおよび開示内容の要約は、もっぱら便宜上のもので
あり、実施形態の範囲または意味を説明するものではない。
本発明の方法および装置は概して、人間−コンピュータインターフェース装置に関し、
より詳細には、オンボード筋活動センサおよびオンボード慣性センサからの信号を結合し
て、ジェスチャベースの人間−コンピュータインターフェース(HCI)を実現するウェ
アラブル電子装置に関する。
本明細書および添付の特許請求の範囲全体を通して、用語「ジェスチャ」は一般に、ユ
ーザが実行するか、または他の方法で影響を及ぼす物理的な動作(たとえば、動き、伸び
、曲げ、姿勢)に言及するために使用される。ユーザが実行するか、または他の方法で影
響を及ぼす任意の物理的な動作であって、検出可能な筋活動(たとえば、少なくとも1つ
の適切に配置されたEMGセンサによって検出可能)、および/または検出可能な動き(
たとえば、少なくとも1つの適切に配置された慣性センサによって検出可能)を伴う物理
的な動作が、本発明の方法および装置でのジェスチャを構成してもよい。
ウェアラブル電子装置は、ユーザの腕(たとえば前腕)に装着されるバンドを備える。
このバンドは、筋電図検査(EMG)センサ[TM1]など複数の筋活動センサを保持し
ており、このセンサは、米国仮特許出願第61/771,500号明細書、米国仮特許出
願第61/903,238号明細書、および/または米国仮特許出願第61/909,7
86号明細書に記載されており、これらのそれぞれは、参照によりその全体が本明細書に
援用される。
EMG信号は、周波数と振幅の両方で変化する振動波形であり、信号情報の大部分が、
たとえば5Hz〜250Hzの周波数帯に含まれてもよい。有利には、本明細書に記載の
ウェアラブル電子装置で使用されるEMGセンサは、センサボード自体に配置された増幅
段を設ける増幅回路を有するという点において能動的である。したがって、EMGセンサ
からの信号は、ウェアラブル電子装置の主ロジックボードに(すなわちプロセッサに)送
られる前に増幅されて、伝送線路での干渉を最小限に抑えてもよい。
用途によっては、cEMGセンサ(すなわち容量性EMGセンサ)は、cEMG電極内
に電荷を誘起する筋活動に容量性結合することによって筋活動を検知し、それによって、
皮膚と直接電気接続せずに済むようにしてもよい。したがって、直接電気接続を避けるこ
とによって、信号は、直接接続から生じる変動の影響を受けにくくなる。
1つまたは複数の筋活動センサに加えて、本明細書に記載のウェアラブル電子装置はま
た、ユーザの腕の動き(たとえば加速度)を測定するための、1つまたは複数の慣性セン
サ(たとえば、加速度計を含んでもよい)を備える。慣性センサは、3つの自由度(x、
y、z方向)での加速度を検知する1つまたは1組の加速度計を備えてもよく、また、ユ
ーザの身体(たとえば前腕)でのウェアラブル電子装置の位置を検知してもよい。慣性セ
ンサによって供給される信号を、筋活動センサによって供給される信号と結合して、ウェ
アラブル電子装置が識別可能なジェスチャの質および/または量を改善してもよい。
本明細書に記載のウェアラブル電子装置はさらに、筋活動センサおよび/もしくは慣性
センサによって供給される信号をフィルタリングし、処理するためのフィルタリング回路
、ならびに/または筋活動センサおよび/もしくは慣性センサによって供給されるアナロ
グ信号をデジタル信号に変換するためのアナログ・デジタル変換回路を備えてもよい。本
明細書に記載のウェアラブル電子装置は、筋活動センサおよび慣性センサによって供給さ
れる信号を処理するための、かつ、少なくとも1つの筋活動センサによって供給される少
なくとも1つの信号、および少なくとも1つの慣性センサによって供給される少なくとも
1つの信号のうちのいずれか、またはその両方に基づいて、ユーザが実行する物理的なジ
ェスチャを識別するためのプロセッサを備える。
本明細書に記載のウェアラブル電子装置は、そこから制御入力を受信する(すなわち、
ユーザが実行し、ウェアラブル電子装置が識別する物理的なジェスチャに基づいて)接続
装置に有線で接続してもよく、かつ/または本明細書に記載のウェアラブル電子装置は、
1つまたは複数の電池、および接続装置に無線接続するための無線送受信機モジュール(
たとえば無線送信機)を備えてもよい。
EMGセンサに加えて、またはそれに代えて、本明細書に記載のウェアラブル電子装置
で利用される筋活動センサは、機械式筋運動記録(MMG)センサを備えてもよい。
前述の通り、筋活動センサを利用して、HCIにおいてジェスチャベースの制御を実現
する方法および装置は、当技術分野で(たとえば、前述の米国特許第8,170,656
号明細書で)説明されてきた。しかし、筋活動センサには、ジェスチャ検出および識別の
ために単独で使用する場合、著しい制限および欠点がある。本発明の方法および装置によ
れば、少なくとも1つのオンボード筋活動センサからの信号と、少なくとも1つのオンボ
ード慣性センサからの信号とを結合して、ユーザが実行している物理的なジェスチャにつ
いてのより詳細かつ/またはより区別可能な情報を取り込むウェアラブル電子装置を実装
することによって、HCIでのジェスチャベースの制御を改善することができる。ここで
、筋活動センサの制限および欠点のうちのいくつかを説明する。
たとえば、表面筋電図検査(sEMG)センサを使用して、前腕の筋活動を測定しても
よい。sEMGセンサは通常、ユーザの皮膚と直接接触して、脂肪および皮膚を通してそ
の下にある筋肉から導かれる電気活動を測定し、または下にある筋肉に十分近接して、そ
の筋肉に容量結合する必要がある。sEMGには固有の制限がいくつかあり、なぜなら、
取得した信号の質が、インピーダンス、発汗、腕の体毛の量、脂肪含有量、数多くの他の
属性など、皮膚状態に直接関係するからである。保湿用導電性ゲルを使用すること、皮膚
を剃ること、または他の皮膚前処理を実施することによって、皮膚状態が変化する影響を
軽減して、このタイプのセンサから信頼性が高く再現性のある信号を得ることができるが
、これらは典型的な消費者が使用するウェアラブル電子装置においては望ましくない。
本明細書に記載の様々な実施形態により、剃毛および導電性ゲルなど実用的ではない解
決策に訴えることなく筋活動センサの制限に対応するために、1つまたは複数の慣性セン
サ(たとえば、1つまたは複数の加速度計センサ)をウェアラブル電子装置に内蔵し、こ
れを使用して、たとえばユーザの肘または両肩まで用いて、たとえばユーザが行うさらに
大きいジェスチャを表す信号を供給する。(たとえば、手および/または手首で行う)よ
り微妙なジェスチャを検出するために、筋活動センサとともに使用するとき、慣性センサ
からの情報によって、ジェスチャ識別アルゴリズムの確度を著しく高め、ウェアラブル電
子装置が識別できるジェスチャの数を増やすことができる。たとえば、慣性センサは、筋
活動センサからの筋活動データとともに、相対的な速度および向きのデータを提供して、
具体的な任意のジェスチャに関連するデータの量および多様性を増やすことができる。
たとえば、Xiong et al.,“A Novel HCI Based on
EMG and IMU”,Proceedings of the 2011 IE
EE International Conference on Robotics
and Biomimetics,December 2011のように、筋活動センサ
によって供給される信号と、慣性センサによって供給される信号とを結合して、ジェスチ
ャ識別を改善するシステムおよび方法が当技術分野で提案されている。しかし、こうした
提案の全てが、物理的に全く異なるセンサシステム(たとえば、ユーザの身体上の第1の
場所に装着される第1の機器内の1つまたは複数のEMGセンサ、およびユーザの身体上
の第2の場所に装着される第2の機器内の1つまたは複数の加速度計であり、ここで、第
1の機器および第2の機器は、互いに物理的に、また通信上分離されている)からの信号
を結合することを含んでおり、これらのセンサシステムは、共通のオフボードのコンピュ
ーティングシステム(すなわち、装着可能ではなく、またはユーザが装着しないコンピュ
ーティングシステム)に信号を別々に供給して処理する。オフボードシステムに数多くの
別々の有線接続を実施し、またオフボード処理が物理的に全く異なるコンピューティング
システムによって提供される結果として、このような提案は、一般消費者が一般の人間−
エレクトロニクスインターフェースとして使用するには嵩張っていて実用的ではないと同
時に、制御動作可能な電子/コンピューティング装置の多様性が厳しく制限されるという
欠点を有する。本発明の方法および装置は、ジェスチャを検出し、処理し、識別する単一
のウェアラブル電子装置に、筋活動センサ、慣性センサ、およびプロセッサ全てを組み込
むことによって、これらの欠点を克服し、これらのジェスチャは全て電子装置自体でオン
ボード処理される。
次に、図面を参照しながら、本発明の方法および装置の教示を組み込むウェアラブル電
子装置の説明に役立つ実例を説明する。
本発明の方法および装置による、接続装置コントローラ300を有する接続装置310
、およびウェアラブル電子装置200を着用する、例示的なユーザ100が図1に示して
ある。この説明に役立つ実例では、ウェアラブル電子装置200は、柔軟で、伸縮自在で
、かつ/または弾性の(すなわち「伸張可能な」)バンドを備え、図に示すように、これ
をユーザ100の前腕に着用してもよい。このバンドは、ウェアラブル電子装置200の
その他の構成部品を保持する(すなわち、それと物理的に結合する)。
図2Aには、本発明の方法および装置による、図1のウェアラブル電子装置200の詳
細図が示してある。図に示すように、ウェアラブル電子装置200は伸張可能なバンド2
01を備え、このバンドは、中央処理装置(すなわち「プロセッサ」)210と、再充電
可能であり、従来通りに同時もしくは順次に利用してもよい1つまたは複数の電池220
と、ユーザ100が実行する物理的なジェスチャに応答して筋活動センサ230が筋活動
を検出することができるよう、2つ以上のセンサ230が含まれるときにバンド201の
周囲に沿って放射状に配置してもよい筋活動センサ230と、少なくとも1つの慣性セン
サ260と、無線送信機250とを備える。筋活動センサ230、慣性センサ260、お
よび無線送信機250は全て、ウェアラブル電子装置200に取り付けられたプロセッサ
210と通信するように結合される。ウェアラブル電子装置200はさらに、以下でさら
に説明する触覚フィードバックを提供するための振動モータまたはアクチュエータ240
などの触覚フィードバック機構を備えてもよい。
プロセッサ210は任意のタイプのプロセッサでもよく、これには、デジタルマイクロ
プロセッサまたはデジタルマイクロコントローラ、特定用途向け集積回路(ASIC)、
フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP
)、グラフィック処理ユニット(GPU)、プログラマブルゲートアレイ(PGA)、プ
ログラマブル論理ユニット(PLU)が含まれるが、それだけに限定されない。
本発明の方法および装置のウェアラブル電子装置(ここでのウェアラブル電子装置20
0は説明に役立つ実例である)に含まれてもよい、さらなる特徴および詳細が、少なくと
も以下の文献、すなわち、米国仮特許出願第61/857,105号明細書、米国仮特許
出願第61/860,063号明細書、米国仮特許出願第61/822,740号明細書
、米国仮特許出願第61/866,960号明細書、米国仮特許出願第61/869,5
26号明細書、米国仮特許出願第61/874,846号明細書、米国仮特許出願第61
/881,064号明細書、米国仮特許出願第61/894,263号明細書、米国仮特
許出願第61/915,338号明細書、および/または米国仮特許出願第61/940
,048号明細書に記載されており、これらのそれぞれは、参照によりその全体が本明細
書に援用される。
用途によっては、簡単にするために、ウェアラブル電子装置200は、腕の適切な位置
および向きで装着されるようにマーキングしてもよい。たとえば、ウェアラブル電子装置
200上のマーキングは、前腕の中央上部、およびウェアラブル電子装置200を装着す
べき向きを示してもよい。用途によっては、ウェアラブル電子装置200は、筋活動セン
サ230の位置決めを特定し、前腕の特定の筋肉の位置に依存する必要がないよう、ジェ
スチャ識別ための動作に先立って最初に装着するときに較正ルーチンを実行してもよい。
一例として、筋活動センサ230は、制御信号を生成するためのユーザ100の前腕内
の電気信号を検出するように構成された、少なくとも1つの容量性EMG(cEMG)セ
ンサを備えてもよい。cEMGは通常、先に述べた他のsEMGセンサのような、皮膚と
の直接接触を必要としない。むしろ、cEMGセンサは、収縮する筋肉によって生成され
る電気信号と容量結合しており、皮膚から3mmまでの距離で動作することができる。一
例として、cEMG信号は、周波数と振幅の両方で変化する振動波形とすることができ、
信号情報の大部分が、たとえば5Hz〜250Hzの周波数帯に含まれてもよい。cEM
G信号の説明に役立つ実例が図2Bに示してある。
別の例では、筋活動センサ230は、下にある筋肉が収縮するときに生成する皮膚表面
での振動を測定するための圧電センサを含む、1つまたは複数のMMGセンサを備えても
よい。一例として、生成されるMMG信号は、周波数と振幅の両方で変化する振動波形で
もよく、信号情報の大部分が、たとえば5Hz〜250Hzの周波数帯に含まれてもよい
。MMG信号は、機械的手段を用いて取得されるため、皮膚のインピーダンスのような電
気的な変動は、この信号に影響を及ぼさない。MMG信号は、図2Bに示すcEMG信号
の説明に役立つ実例と非常に類似している。
用途によっては、通常、皮膚の発汗および保湿の変化は信号に影響を及ぼさないため、
cEMGまたはMMGのいずれかまたはその両方が、全日の持続時間にわたって得ること
のできる信頼性の高い信号を実現してもよい。
慣性センサ260は、ユーザ100が実行するジェスチャの追加の側面を3つの自由度
で検出するための、1つもしくは複数の加速度計センサ、および/または、1つもしくは
複数のジャイロスコープセンサを備えてもよい。慣性センサ信号は、それぞれがx、y、
またはz方向いずれかでの加速度を表す、データの3つのデジタルチャネルから構成され
てもよい。慣性センサ260は、ユーザの腕が曝される加速度の全てに曝されてもよく、
全体として身体の動きをさらに組み込んでもよい。一例として、慣性センサ260は、複
数の加速度計および複数のジャイロスコープを含む複数の慣性センサを備える、Inve
nSense社の9軸MEMS MotionTracking(商標)デバイスである
MPU−9150などの慣性測定ユニット(IMU)を備えてもよい。
次に図3を参照すると、ウェアラブル電子装置200と接続装置310および接続装置
コントローラ300との間の無線通信(たとえばBluetooth(登録商標))の例
が示してある。この例での例示的な接続装置は、ウェアラブルヘッドアップ表示装置であ
る。しかし、この接続装置は、制御入力を受信できる任意の数の装置のうちの1つでもよ
く、これには、汎用コンピュータ、ロボット、民生用電子装置、携帯電話などが含まれる
が、それだけに限定されないことが理解されよう。
ウェアラブル電子装置200のプロセッサ210が、ユーザ100の実行する物理的な
ジェスチャを識別するのに応答して、この無線通信を利用して、ウェアラブル電子装置2
00から接続装置コントローラ300に少なくとも1つの信号を伝送する。これが一例と
して図4に示してあり、ここで、ユーザ100の手および手首のジェスチャが筋活動セン
サ230および/または慣性センサ260によって検出され、これらセンサのそれぞれま
たは両方が、プロセッサ210によって処理されて、ユーザが実行するジェスチャを識別
する少なくとも1つの信号を供給し、このジェスチャを識別するのに応答して、少なくと
も1つの信号が送信機250によって無線で伝送されて、接続装置310上に表示される
コンテンツと対話する。
この具体的な例では、ユーザ100が実行する物理的なジェスチャ410は、人さし指
を伸ばすことを含み、これがウェアラブル電子装置200の筋活動センサ230によって
検出され、また、手首を曲げる動作420を実行することを含み、これがウェアラブル電
子装置200の慣性センサ260によって検出される。検出された筋活動および検出され
た動きに応答して、筋活動センサ230および慣性センサ260がそれぞれ、ウェアラブ
ル電子装置200のオンボードプロセッサ210に信号を供給する。プロセッサ210は
、信号を両方とも処理し、その信号の両方に基づいて、ユーザ100が実行する物理的な
ジェスチャを識別し、少なくとも1つの制御信号を無線送信機250に供給し、この送信
機が、制御信号を接続装置310に伝送すると、メニューが表示装置310上に現れて、
下向きにスクロールする。
別の例として、ユーザ100が実行する同様のジェスチャは、人さし指を伸ばすことを
含んでもよく、これがウェアラブル電子装置200の筋活動センサ230によって検出さ
れ、また、手首を伸ばす動きを実行することを含んでもよく、これがウェアラブル電子装
置200の慣性センサ260によって検出される。検出された筋活動および検出された動
きに応答して、筋活動センサ230および慣性センサ260がそれぞれ、ウェアラブル電
子装置200のオンボードプロセッサ210に信号を供給する。プロセッサ210は、信
号を両方とも処理し、その信号の両方に基づいて、ユーザ100が実行する物理的なジェ
スチャを識別し、少なくとも1つの制御信号を無線送信機250に供給し、この送信機が
、制御信号を接続装置310に伝送すると、メニューが表示装置310上に現れて、上向
きにスクロールする。
さらに別の例として、ユーザ100が実行する別のジェスチャは、人さし指を伸ばすこ
とを含んでもよく、これがウェアラブル電子装置200の筋活動センサ230によって検
出され、また、肘および肩のわずかな動きを有する、突き出す動きを実行することを含ん
でもよく、これがウェアラブル電子装置200の慣性センサ260によって検出される。
検出された筋活動および検出された動きに応答して、筋活動センサ230および慣性セン
サ260がそれぞれ、ウェアラブル電子装置200のプロセッサ210に信号を供給する
。プロセッサ210は、信号を両方とも処理し、その信号の両方に基づいて、ユーザ10
0が実行する物理的なジェスチャを識別し、少なくとも1つの制御信号を無線送信機25
0に供給し、この送信機が、制御信号を接続装置310に伝送すると、強調表示されたメ
ニュー項目が表示装置310上に現れて、選択されることになる。
前述の3つの例のそれぞれでは、少なくとも1つの筋活動センサ230によって供給さ
れる少なくとも1つの信号と、少なくとも1つの慣性センサ260によって供給される少
なくとも1つの信号との両方が、プロセッサ210によって同時に処理されて、ユーザ1
00が実行する物理的なジェスチャを識別する。それぞれの場合で、少なくとも1つの筋
活動センサ230は、ユーザ100の人さし指が伸びる動きを検出し、少なくとも1つの
慣性センサ260は、固有の動き、すなわち手首を曲げる動き、手首を伸ばす動き、およ
び突き出す動きを検出する。ユーザ100が人さし指を伸ばすこと、および動き(すなわ
ち、手首を曲げ、手首を伸ばし、または突き出す動作)は、単一の物理的なジェスチャの
複数の構成要素として、または2つの別々のジェスチャとして処理してもよい。プロセッ
サ210によって、筋活動センサ230からの少なくとも1つの信号と、慣性センサ26
0からの少なくとも1つの信号との両方を同時に処理する代わりとして、各信号を順序通
りにまたは連続して処理してもよい。たとえば、まず、筋活動センサ230からの少なく
とも1つの信号がプロセッサ210によって処理されて、ユーザ100が第1のジェスチ
ャ(すなわち、人さし指を伸ばすこと)を実行したことを識別してもよく、次いで、慣性
センサ260からの少なくとも1つの信号がプロセッサ210によって処理されて、ユー
ザ100が第2のジェスチャ(すなわち、手首を曲げ、手首を伸ばし、または突き出す動
作)を実行したことを識別してもよい。この場合、ユーザ100がその人さし指を伸ばす
動作を実行したと(筋活動センサ230からの少なくとも1つの信号に基づいて)プロセ
ッサ210が識別すると、たとえばメニューナビゲーションコマンドが用意されているこ
とを示すための第1の信号を、送信機250から接続装置310に伝送してもよい。次い
で、ユーザ100が、動き(すなわち、手首を曲げ、手首を伸ばし、または突き出す動作
)を特徴とする第2のジェスチャを実行したと(慣性センサ260からの少なくとも1つ
の信号に基づいて)プロセッサ210が識別すると、対応する第2の信号を送信機250
から送信して、対応するメニューナビゲーション動作を行ってもよい。
ユーザが、人さし指とは異なる指を伸ばす場合、筋活動センサ230は、これを検出し
、異なるジェスチャとしてプロセッサ210に識別させるようにし、これによって、異な
る制御信号が生成されてもよい。たとえば、人さし指の代わりに小指を伸ばすことにより
、ウェアラブル電子装置200が、ユーザのジェスチャを、従来のマウスユーザインター
フェースでの左のマウスボタンではなく右のマウスボタンをクリックするのに類似した機
能であると解釈してもよい。人さし指と小指の両方を同時に伸ばすことにより、ウェアラ
ブル電子装置200が、ユーザのジェスチャを、従来のマウスユーザインターフェースで
の第3のマウスボタンをクリックするのに類似したさらに別の機能であると解釈してもよ
い。
本発明の方法および装置によれば、ウェアラブル電子装置200は、筋活動センサ23
0と慣性センサ260の両方を組み込んで、筋活動センサ単独を使用して通常実現できる
範囲よりも広い範囲のユーザジェスチャを認識する(かつ/または、ジェスチャを認識す
る際の確度を高める)。
有利には、ウェアラブル電子装置200自体は、記述されているように、検出された信
号からジェスチャを識別するように構成されている。しかし、一代替実装形態では、検出
された信号は、接続装置310および接続装置コントローラ300に伝送して、この接続
装置コントローラ300においてジェスチャとして解釈してもよい。検出された信号が装
置200で解釈されても、接続装置コントローラ300で解釈されても、この検出信号は
、まず認識されたジェスチャとして解釈されて、表示装置310上に表示されるコンテン
ツと対話する。
実装形態によっては、ジェスチャを解釈するとき、ウェアラブル電子装置200は、ジ
ェスチャが認識されるとユーザ100にフィードバックを提示する触覚フィードバックモ
ジュールを備えてもよい。この触覚フィードバックは、ユーザのジェスチャが認識され、
制御信号に首尾よく変換されて、たとえば表示装置310上に表示されるコンテンツと対
話するという確認をユーザに提示する。触覚フィードバックモジュールは、たとえば、ウ
ェアラブル電子装置200に組み込まれた振動モータ240またはアクチュエータなどの
振動機構を備えてもよい。
あるいは、ウェアラブル電子装置200が実現する触覚フィードバックではなく、ジェ
スチャを認識したことの確認を聴覚フィードバックで提示してもよく、この聴覚フィード
バックは、ウェアラブル電子装置上か、または接続装置310に動作可能なように接続さ
れたスピーカによって生成される。
さらに別の例では、ジェスチャを認識したことの確認は、表示装置310自体に視覚的
に提示してもよい。検出された信号から解釈できるジェスチャが2つ以上考えられる場合
、誤りのある信号を供給するのではなく、ウェアラブル電子装置200および/または接
続装置コントローラ300は、2つ以上の考えられるジェスチャを可能性のある解釈とし
て選択してもよく、ユーザは、(たとえば、選択ジェスチャを実行することによって)、
考えられるジェスチャのうちから1つを選択して、意図したジェスチャおよび対応する制
御を確認するよう求められることがある。
ここで図5を参照すると、本発明の方法および装置によるウェアラブル電子装置(たと
えばウェアラブル電子装置200)の例示的な概略システムアーキテクチャ500が示し
てある。図に示すように、システムアーキテクチャ500は、CPUすなわち「プロセッ
サ」502、非一時的なコンピュータ読取り可能記憶媒体すなわちメモリ504、システ
ムクロック506、無線通信モジュール508(たとえば、Bluetooth(登録商
標)、ZigBee(登録商標)など)、および直接メモリアクセス(DMA)コントロ
ーラ510を備える。図に示すように、DMAコントローラ510は、1つまたは複数の
EMG(すなわち筋活動)センサ520、MMGセンサ530、および加速度計(すなわ
ち慣性)センサ540を含め、様々なセンサからの入力を受信するように構成される。
アーキテクチャ500の一例では、1つまたは複数のEMGセンサ520からの検出さ
れたアナログ信号が、信号フィルタリング回路522を用いて処理される。この信号は、
たとえば10Hz〜500Hzの間で帯域通過処理し、増幅回路によって、たとえば合計
約1000倍〜4000倍だけ増幅してもよい。しかし、このフィルタリングおよび増幅
は、ソフトウェアおよび/またはハードウェアにより、EMGセンサ520が生成するア
ナログ信号に基づいて、必要となるものに改変することができる。60Hzまたは他の任
意の関連周波数でのノッチフィルタを使用して、電力線雑音を取り除くこともできる。
信号は、アナログ・デジタル変換回路(ADC)524によって、たとえば12ビット
の解像度でアナログ信号からデジタル信号に変換し、次いで、DMAコントローラ510
によってオンボードメモリ504にクロック同期して、後にCPU/プロセッサ502に
よって処理してもよい。データが蓄積されると、CPU/プロセッサ502が起動し、メ
モリ504に記憶されたこのデータを処理する。CPU502が起動する前に蓄積される
データポイントの数は調整可能であり、本明細書においてフィーチャーウィンドウサイズ
と呼ばれる。
1つまたは複数のMMGセンサ530も使用される場合、MMGセンサ530からの検
出された信号が、信号フィルタ532を用いて処理され、ADC534によってアナログ
信号からデジタル信号に変換される。1つまたは複数の加速度計センサ540からのデジ
タル信号も、信号フィルタ542を用いて処理し、DMAコントローラ510によって受
信してもよい。
ジェスチャトレーニング
用途によっては、ウェアラブル電子装置200には、既にそのメモリに記憶された1組
の既定ジェスチャを設けてもよく、装置200は、この1組の既定ジェスチャから1つの
ジェスチャをユーザが実行するときを識別するよう動作可能である。既定ジェスチャの代
わりに、またはそれに加えて、様々なユーザ定義ジェスチャを認識するよう、ウェアラブ
ル電子装置200をトレーニングしてもよい。たとえば、ユーザはまず、ユーザが装置2
00に認識できて欲しいジェスチャに名前をつけてもよく、装置200は、ジェスチャを
記録する準備ができたら、ユーザにジェスチャするよう促すことになる。次いで、筋活動
センサおよび/または慣性センサを使用して、ジェスチャが実行される持続時間をカバー
するのに十分な長さの時間にわたって、ある帯域で(たとえば1000Hzにおいて)サ
ンプリングされるデータチャネルを取得する。
次いで、取得されたデータは、所定の長さのウィンドウに分割してもよく、ここで、各
ウィンドウは所定の長さ(所定の長さゼロを含む)だけ、その前のウィンドウとオーバラ
ップする。筋活動信号および/または慣性センサ信号の特徴が、データの各チャネル上の
各ウィンドウから計算される。生のセンサデータから最も関連のある情報を抽出してジェ
スチャを分類するように、これらの特徴が選ばれる。たとえば、8つのcEMGチャネル
が存在し、ウィンドウサイズが100サンプルである場合、生のウィンドウベクトルのサ
イズは100×8である。たとえば、生のcEMGデータを表すために15個の特徴が選
ばれる場合、そのウィンドウから計算された結果として得られる特徴ベクトルは、1×(
8×15)すなわち1×120になるはずである。
説明に役立つ実例では、このウィンドウサイズに対して100個のサンプルを使用して
もよく、ジェスチャトレーニングモジュールは、オーバラップ(たとえば50%)を有す
るスライディングウィンドウを利用してもよい。これが図6の例で示してあり、ここで、
がウィンドウサイズを表し、Wが同じサイズの第2のウィンドウを表し、この2つ
の間にオーバラップが存在する。
したがって、ベクトル取得周波数は、たとえばサンプリング周波数/ウィンドウサイズ
でもよい。特徴は、ウェーブレット分解係数、RMS値、スロープサインチェンジ、波長
自己回帰係数などを含んでもよいが、それだけに限定されない。
EMGセンサから取得されたデータに加えて、IMU(加速度計)から取得されたデー
タも、たとえば、同じ時点のEMGデータに対応することがあるウィンドウに分割しても
よい。IMUデータから抽出された特徴は、RMS値、信号の平均偏差および標準偏差を
含んでもよいが、それだけに限定されない。
パターン認識システムをトレーニングするために、ジェスチャトレーニングモジュール
は、システムへの例示的な入力、およびこのシステムからの対応する出力を含め、2組の
データを使用してもよい。ジェスチャトレーニングおよびパターン認識のシステムへの入
力は、生のEMGデータならびにIMU(加速度計)データから分割された各ウィンドウ
から計算された特徴である。このシステムからの出力は、検出されたジェスチャである。
ユーザは、システムのジェスチャトレーニング段階にある間、どのジェスチャを実行し
ているのかシステムに知らせている。このユーザ定義ジェスチャは、システムがリアルタ
イム分類モードに入るときに、このシステムの出力になるものである。ここで、このシス
テムは、データのどのセグメントがどのジェスチャに対応するかを知っているが(なぜな
らば、ユーザがそれを定義したからである)、データのそのセグメント内で、ジェスチャ
がどこで開始し、どこで終了するのかをまだ知らない(なぜならば、ユーザは必ずしも、
繰り返す毎に同じ時点でジェスチャを開始および終了するとは限らないからである)。し
たがって、ジェスチャの開始と終了を識別し、ユーザがジェスチャを実行していないとき
と区別しなければならない。
一例として、ジェスチャの開始と終了は、EMGデータを用いて決定してもよい。ユー
ザが、ウェアラブル電子装置200をオンにするための「オン」ジェスチャを既に実行し
たと仮定すると、図8の例によって示すように、このシステムは、ある閾値を超える信号
チャネルを、RMS値を用いて監視してもよい。その閾値を超えると、システムは、デー
タウィンドウから特徴を計算し始め、ジェスチャを分類しようとする。
一例として、EMGおよび/またはIMUデータ信号のRMS値を解析することによっ
て、特徴を計算してもよい。より具体的には、たとえばEMGデータのチャネルのいずれ
かのRMS値が、ジェスチャが実行されていないときのチャネルの平均よりも大きくなり
、さらには、ジェスチャが実行されていないときのデータの標準偏差の3倍になるとき、
システムは、ジェスチャが実行されていると識別してもよい。ジェスチャについて記録さ
れているデータと同期して、別々のラベルベクトルを作成してもよい。このラベルベクト
ルは、いつ特徴ベクトルがジェスチャを表すのか、それがどんなジェスチャなのか、いつ
特徴ベクトルが入力なしを表すのかを、機械学習アルゴリズムに知らせるデータを含んで
もよい。以下に述べる次の段階での、パターン認識アルゴリズムの教師あり学習にとって
、この情報は有用である。
パターン認識エンジン
どれほど数多くのジェスチャを認識しようとしても、ユーザが各ジェスチャの繰返しを
数多く記録し終えると、ウェアラブル電子装置はパターン認識段階を開始する。一例とし
て、ウェアラブル電子装置は、記録された特徴ベクトル全て、およびその対応するラベル
ベクトルを収集して、ジェスチャの全ておよびその繰返しの全てを表す大きい行列に入れ
てもよい。
図7に示すように、説明に役立つ実例では、パターン認識システムの階層は、分類子(
たとえば決定木)700を含んでもよく、各ノードが互いに異なる分類子を表す。各分類
子からの結果が、どちらの分岐が斜めに降りて、次のノードに移るかを決定することにな
る。
一例として、分類子700の第1のノードは、ジェスチャが静的か動的か判定してもよ
い。加速度計信号の標準偏差から、これを判定してもよい。
分類子700の第2のノードは、このジェスチャが持続時間の長いジェスチャなのか短
いジェスチャなのか判定してもよい。EMG信号のRMS値のアクティブにされたセグメ
ントの長さから、これを判定してもよい。たとえば、指を鳴らすジェスチャ、またはフリ
ックするジェスチャは、ほとんど瞬時の短いジェスチャである。長いジェスチャは、完了
するのに短い場合よりも長い時間を要するジェスチャでよい。
分類子700の第3のノードは、たとえば、加速度計の3軸からのデータを含むIMU
の平均値から、手のジェスチャの向きを決定してもよい。
分類子700の最後のノードは、隠れマルコフモデル、長短期ニューラルネット、また
は他の機械知能法のいずれか1つを使用して、残りのジェスチャを分類してもよい。
トレーニングデータを使用して、この分類子700のノードのそれぞれをトレーニング
してもよく、その結果、ウェアラブル電子装置は、そのセンサによって検出される未知の
ジェスチャデータを正確に識別することができるようになる。
リアルタイムの分類
ウェアラブル電子装置のトレーニングが終わると、パターン認識エンジンが確立され、
この装置は、認識するためにトレーニングしてきたジェスチャのリアルタイムの分類およ
び認識を行うように構成される。
一例として、ウェアラブル電子装置内の筋活動センサ、および慣性センサからデータが
収集され、この装置のオンボードの非一時的なコンピュータ読取り可能メモリに記憶され
る。特徴ウィンドウサイズに従って所定の数のサンプルの記録が完了するまで、この装置
は待ってもよい(すなわち、ユーザが実行したジェスチャを識別しようとすることなくデ
ータを収集し続けてもよい)。所定の数のサンプルに達したら、ウェアラブル電子装置内
のプロセッサが、そのデータブロックから特徴の全てを計算し、この特徴を含むベクトル
を分類子に渡す。
前述の通り、データは、決定木の様々なノードを介して渡され、次いでジェスチャが認
識/識別される最終分類子に渡されてよい。ジェスチャが認識されると、このジェスチャ
およびその属性データが送受信機モジュール(たとえば無線送信機)に送られて、接続装
置に向けて送信される。
認識されたジェスチャが、位置制御入力として腕の加速度を利用するジェスチャである
と判定される場合、IMUが検出する加速度から腕の速度を計算してもよく、送受信機を
介してこのデータが接続装置に送信される。
ジェスチャが首尾よく認識されると、ウェアラブル電子装置内の振動モータ/アクチュ
エータを起動して、一定の持続時間にわたって振動させて、ジェスチャが首尾よく認識/
識別されたことをユーザに示すことができる。振動モータを他の方法で使用して、ユーザ
に情報を伝えることができる。たとえば、動的ジェスチャの過程で微妙な振動を始動して
もよく、振動を使用して、装置が起動したことを示してもよく、振動を使用して、この装
置を再較正する必要があるか、または問題があることなどを示してもよい。
例示的な方法
ここで図9を参照すると、本発明の方法および装置によるウェアラブル電子装置(たと
えばウェアラブル電子装置200)を動作させる例示的な方法900の概略フローチャー
トが示してある。
図に示すように、方法900がブロック902で開始し、ここで方法900は、複数の
筋活動(たとえばEMG)センサ、および少なくとも1つの慣性(たとえばIMU)セン
サから、信号(たとえば、あるウィンドウのデータ)を取得することによって開始する。
次に、判定ブロック904において、方法900は、信号のRMSが所定の閾値を超え
ているかどうか判定して、ユーザが物理的なジェスチャを実行したかどうか、または実行
しているかどうか判定する。「いいえ」の場合、方法900はブロック902に戻る。「
はい」の場合、方法900はブロック906に進み、ここで方法900は、取得されたデ
ータから特徴を計算する。次いで、方法900はブロック908に進み、ここで方法90
0は、特徴ベクトルに対してパターン認識を実行して、実行された、または実行されてい
るジェスチャを決定する。
この例では、次いで、方法900はブロック910に進み、ここで方法900は、接続
装置が位置データを必要としているかどうか判定する。「はい」の場合、方法900はブ
ロック912に進み、ここで方法900は、位置のIMUデータ(たとえば、相対的な速
度および/または向き)とともに識別されたジェスチャを接続装置に送信する。「いいえ
」の場合、方法900はブロック914に進み、ここで方法900は、位置のIMUデー
タなしで、識別されたジェスチャを接続装置に送信する。識別されたジェスチャおよび位
置のIMUデータは、有線接続を介して、または代替的に無線通信プロトコルを介して接
続装置に送信してもよい。
図9に示した方法900は、本発明の方法および装置による方法の一例である。別の例
を図10に示す。
図10は、本発明の方法および装置によるウェアラブル電子装置を動作させる方法10
00を示すフローチャートである。ウェアラブル電子装置(たとえば200)は、ユーザ
が装着するバンド(たとえば201)、このバンド(たとえば201)によって保持され
る少なくとも1つの筋活動センサ(たとえば230)、このバンド(たとえば201)に
よって保持される少なくとも1つの慣性センサ(たとえば260)、ならびに、少なくと
も1つの筋活動センサ(たとえば230)および少なくとも1つの慣性センサ(たとえば
260)と通信するように結合された、このバンド(たとえば201)によって保持され
るプロセッサ(たとえば210)を備える。方法1000は、4つの工程1001、10
02、1003、および1004を含み、工程1001および1002は両方とも、2つ
の並列部分1001a/bおよび1002ab/sにそれぞれ分解される。しかし、代替
実施形態では、ある種の動作を省いてもよく、かつ/または追加の動作を加えてもよいこ
とが当業者には理解されよう。各動作の例示された順序は、もっぱら例示的な目的で示し
たものであって、代替実施形態では変更してよいことも当業者には理解されよう。本明細
書に記載の方法1000の各動作と、ウェアラブル電子装置の各要素との間の関係を例示
するために、方法1000の説明全体を通して括弧内に図2Aからの装置200の各要素
への言及が含まれる。しかし、方法1000は、装置200とは異なるハードウェアを使
用して同様に実施してもよいことが当業者には理解されよう。
1001aにおいて、ユーザが物理的なジェスチャを実行するのに応答して、ユーザの
(たとえばユーザの腕の)筋活動が、ウェアラブル電子装置(200)のバンド(201
)によって保持される少なくとも1つの筋活動センサ(230)によって検出される。こ
の少なくとも1つの筋活動センサ(230)は、複数のEMGセンサ、およびこの複数の
EMGセンサ内での任意の数のEMGセンサが、ジェスチャを実行する際に能動的になる
筋肉に対するそれぞれ特定のEMGセンサの位置に応じた筋活動を検出してもよい。
1002aにおいて、検出された筋活動に応答して、少なくとも1つの筋活動センサ(
230)から、ウェアラブル電子装置(200)のバンド(201)によって保持される
プロセッサ(210)に、少なくとも1つの信号が供給される。少なくとも1つの筋活動
センサ(230)とプロセッサ(210)の中間の通信経路は、プロセッサ(210)に
供給される少なくとも1つの信号をフィルタリングするためのフィルタリング回路、プロ
セッサ(210)に供給される少なくとも1つの信号を増幅するための増幅回路、および
/もしくはプロセッサ(210)に供給される少なくとも1つの信号を、アナログ信号か
らデジタル信号に変換するためのアナログ・デジタル変換回路のうちのいずれか、または
その全てを備えてもよい。
工程1001bおよび1002bは、工程1001aおよび1002aとそれぞれ実質
的に並列に、工程1001aおよび1002aとそれぞれ少なくともほぼ同時か、または
工程1001aおよび1002aと交互に/ずらして実行してもよい。
1001bにおいて、ユーザが物理的なジェスチャを実行するのに応答して、ユーザの
(たとえばユーザの腕の)動きが、ウェアラブル電子装置(200)のバンド(201)
によって保持される少なくとも1つの慣性センサ(260)によって検出される。少なく
とも1つの慣性センサ(260)は、少なくとも1つの加速度計および/または少なくと
も1つのジャイロスコープを備えてもよく、これらをIMU内にひとまとめにしてもよい
。以下で詳細に述べるように、少なくとも1つの慣性センサ(260)によって1001
bで検出される動きを含む物理的なジェスチャは、少なくとも1つの筋活動センサ(23
0)によって1001aで検出される筋活動を含む同じ物理的なジェスチャでもよく、ま
たは少なくとも1つの慣性センサ(260)によって1001bで検出される動きを含む
物理的なジェスチャは、少なくとも1つの筋活動センサ(230)によって1001aで
検出される筋活動を含む物理的なジェスチャと異なる物理的なジェスチャでもよい。
1002bにおいて、検出された動きに応答して、少なくとも1つの慣性センサ(26
0)から、ウェアラブル電子装置(200)のバンド(201)によって保持されるプロ
セッサ(210)に、少なくとも1つの信号が供給される。少なくとも1つの慣性センサ
(260)とプロセッサ(210)の中間の通信経路は、プロセッサ(210)に供給さ
れる少なくとも1つの信号をフィルタリングするためのフィルタリング回路、プロセッサ
(210)に供給される少なくとも1つの信号を増幅するための増幅回路、および/もし
くはプロセッサ(210)に供給される少なくとも1つの信号を、アナログ信号からデジ
タル信号に変換するためのアナログ・デジタル変換回路のうちのいずれか、またはその全
てを備えてもよい。
1003において、少なくとも1つの筋活動センサ(230)によって1002aで供
給される少なくとも1つの信号と、少なくとも1つの慣性センサ(260)によって10
02bで供給される少なくとも1つの信号の両方とも、ウェアラブル電子装置(200)
のバンド(201)によって保持されるプロセッサ(210)によって処理される。用途
に応じて、また少なくとも1つの筋活動センサ(230)によって供給される少なくとも
1つの信号、および少なくとも1つの慣性センサ(260)によって供給される少なくと
も1つの信号が同じ物理的なジェスチャに応答するのか、異なる物理的なジェスチャに応
答するのかに応じて、少なくとも1つの筋活動センサ(230)によって1002aで供
給される少なくとも1つの信号、および少なくとも1つの慣性センサ(260)によって
1002bで供給される少なくとも1つの信号は、プロセッサ(210)によって順序通
りに/連続して処理してもよく、または、組み合わせてもしくは並列に、プロセッサ(2
10)によって同時に処理してもよい。たとえば、少なくとも1つの筋活動センサ(23
0)によって供給される少なくとも1つの信号と、少なくとも1つの慣性センサ(260
)によって供給される少なくとも1つの信号が両方とも、ほぼ同時に、単一の物理的なジ
ェスチャに応答して供給される場合、少なくとも1つの筋活動センサ(230)によって
1002aで供給される少なくとも1つの信号、および少なくとも1つの慣性センサ(2
60)によって1002bで供給される少なくとも1つの信号は、プロセッサ(210)
によって一緒に組み合わせて処理して、物理的なジェスチャを識別してもよい。あるいは
、少なくとも1つの筋活動センサ(230)によって供給される少なくとも1つの信号、
および少なくとも1つの慣性センサ(260)によって供給される少なくとも1つの信号
がそれぞれ、2つの別々の物理的なジェスチャに応答して別々に供給される(たとえば、
連続して実行される)場合、少なくとも1つの筋活動センサ(230)によって1002
aで供給される少なくとも1つの信号、および少なくとも1つの慣性センサ(260)に
よって1002bで供給される少なくとも1つの信号は、プロセッサ(210)によって
連続して処理して、2つの別々のジェスチャを識別してもよい。
1004において、i)少なくとも1つの筋活動センサ(230)によって供給される
少なくとも1つの信号、およびii)少なくとも1つの慣性センサ(260)によって供
給される少なくとも1つの信号のうちの少なくとも1つに基づいて、ユーザが実行する物
理的なジェスチャが、ウェアラブル電子装置(200)のバンド(201)によって保持
されるプロセッサ(210)によって識別される。バーチャルメニューのナビゲーション
を制御するために(すなわち、図4に関連してこれまで説明した)、人さし指を伸ばす動
き、および手首を曲げる動きを含むジェスチャの例に戻ると、人さし指を伸ばす動きは、
筋活動センサ(230)によって工程1001aで検出される筋活動を含んでもよく、対
応する信号を、工程1002aでオンボードプロセッサ(210)に供給してもよい。同
時に、またはそのすぐ後に(ユーザがジェスチャをどのように実行するかによって)、手
首の曲げは、慣性センサ(260)によって工程1001bで検出される動きを含んでも
よく、また対応する信号を、工程1002bでオンボードプロセッサ(210)に供給し
てもよい。筋活動センサ(230)からの信号と、慣性センサ(260)からの信号の両
方とも、工程1003でプロセッサ(210)によって処理される。具体的な実装形態に
応じて、人さし指を伸ばす動き、および手首を曲げる動きを含む単一のジェスチャとして
物理的なジェスチャを定義してもよく、この場合、ジェスチャは、工程1004で、(1
つもしくは複数の)筋活動センサ(230)からの(1つもしくは複数の)信号と、(1
つもしくは複数の)慣性センサ(260)からの(1つもしくは複数の)信号の両方に基
づいて識別してもよく、または物理的なジェスチャは、別々に識別される2つの構成要素
、すなわち、少なくとも1つの筋活動センサ(230)によって供給される信号に基づい
てプロセッサ(210)によって工程1004で識別される人さし指を伸ばす動きを含む
第1のジェスチャ、および少なくとも1つの慣性センサ(260)によって供給される信
号に基づいてプロセッサ(210)によって工程1004で識別される手首を曲げる動き
を含む第2のジェスチャを有するものとして定義してもよい。いずれの場合においても、
ユーザが実行するジェスチャを識別するのに応答して、1つまたは複数の信号(たとえば
制御信号)が、プロセッサ(210)によって、ウェアラブル電子装置(200)のバン
ド(201)によって保持される無線送信機(250)に供給され、他の任意の電子装置
に無線で伝送して、その電子装置の動作、機能、制御を実行し、またはその電子装置と対
話してもよい。このようにして、ウェアラブル電子装置(200)は、汎用の人間−エレ
クトロニクスインターフェースを実現する。
接続装置の説明に役立つ実例として、ウェアラブルヘッドアップ表示装置が使用されて
きたが、理解されるように、本開示のウェアラブル電子装置および方法は、数多くの他の
タイプの接続装置と、それが企図されている事実上任意の用途で対話するために使用して
もよい。
したがって、例示的な態様[TM2]として、ジェスチャ制御用の信号を検出および解
析するための装置であって、筋活動によってcEMGセンサの電極に誘起される電荷によ
って生成される電気信号を、各cEMGセンサにおいて測定することによって、ジェスチ
ャを検出するように構成された複数の容量性筋電図検査(cEMG)センサと、取得デー
タとして複数のcEMGセンサから1つまたは複数の電気信号を受信し、取得データのウ
ィンドウを表す特徴ベクトルを計算することによって取得データを処理し、結果として得
られる特徴ベクトルを解析してパターンを認識することによってジェスチャを検出するよ
うに構成されたプロセッサとを備える装置が提供される。
この例では、この装置はさらに、装置の相対的な速度および向きを測定することによっ
て、ジェスチャの動きおよび向きを検出するように構成された1つまたは複数の慣性測定
ユニット(IMU)センサを備え、プロセッサはさらに、IMUから取得データを受信し
、この取得したIMUデータを処理して装置の位置および向きを確定し、解析された特徴
ベクトルとともに装置の相対的な速度および向きを解析することによって、ジェスチャを
検出するように構成される。
この例では、プロセッサはさらに、隠れマルコフモデル、長短期ニューラルネット、ま
たは他の機械知能法のうちの1つまたは複数を利用して、各ジェスチャを分類するよう構
成してもよい。
この例では、プロセッサはさらに、解析された特徴ベクトルとともに取得したIMUデ
ータを解析することに応じて、静的ジェスチャまたは動的ジェスチャを検出するよう構成
してもよい。
この例では、プロセッサはさらに、cEMG信号のRMS値のアクティブにされたセグ
メントの長さを測定することによって、このジェスチャが持続時間の長いジェスチャなの
か短いジェスチャなのか判定するよう構成してもよい。
この例では、プロセッサはさらに、結果として得られる特徴ベクトルを記録することに
よって1つまたは複数のユーザ定義ジェスチャを記録し、ならびにジェスチャ中の装置の
位置および向きを記録するよう構成してもよい。
この例では、この装置はさらに、筋活動によって生成される電気信号を各MMGセンサ
において測定することにより、ジェスチャによって生成される筋活動を検出するように構
成された1つまたは複数の機械式筋運動記録(MMG)センサを備えてもよい。
この例では、この装置はさらに、フィードバックをユーザに与えるための触覚フィード
バックモジュールを備えてもよい。
この例では、触覚フィードバックモジュールは、ジェスチャの認識を確認してもよい。
この例では、触覚フィードバックモジュールは、振動モータおよび/または振動アクチ
ュエータを備えてもよい。
別の例示的な態様では、ジェスチャ制御用の信号を検出および解析するための方法であ
って、cEMGセンサの電極に誘起される電荷によって生成される電気信号を、各cEM
Gセンサにおいて測定することによって、ジェスチャによって生成される筋活動を検出す
るように構成された複数の容量性筋電図検査(cEMG)センサを装置上に設けるステッ
プと、取得データとして複数のcEMGセンサから1つまたは複数の電気信号を受信する
ステップと、取得データのウィンドウを表す特徴ベクトルを計算することによって取得デ
ータを処理するステップと、結果として得られる特徴ベクトルを解析してパターンを認識
するステップとを含む方法が提供される。
この例では、この方法はさらに、1つまたは複数の慣性測定ユニット(IMU)センサ
から取得データを受信するステップと、取得したIMUデータを処理して、装置の相対的
な速度および向きを確定するステップと、解析された特徴ベクトルとともに装置の位置お
よび向きを解析することによってジェスチャを検出するステップとを含む。
この例では、この方法はさらに、隠れマルコフモデル、長短期ニューラルネット、また
は他の機械知能法のうちの1つまたは複数を利用して、各ジェスチャを分類するステップ
を含んでもよい。
この例では、この方法はさらに、解析された特徴ベクトルとともに取得したIMUデー
タを解析することに応じて、静的ジェスチャまたは動的ジェスチャを検出するステップを
含んでもよい。
この例では、この方法はさらに、cEMG信号のRMS値のアクティブにされたセグメ
ントの長さを測定することによって、このジェスチャが持続時間の長いジェスチャなのか
短いジェスチャなのか判定するステップを含んでもよい。
この例では、この方法はさらに、結果として得られる特徴ベクトルを記録することによ
って1つまたは複数のユーザ定義ジェスチャを記録し、ならびにジェスチャ中の装置の位
置および向きを記録するステップを含んでもよい。
この例では、この方法はさらに、筋活動によって生成される電気信号を各MMGセンサ
において測定することにより、ジェスチャによって生成される筋活動を検出するように構
成された1つまたは複数の機械式筋運動記録(MMG)センサを設けるステップを含んで
もよい。
この例では、この方法はさらに、フィードバックをユーザに与えるための触覚フィード
バックモジュールを設けるステップを含んでもよい。
この例では、触覚フィードバックは、ジェスチャの認識を確認してもよい。
この例では、触覚フィードバックは、振動モータおよび/または振動アクチュエータに
よってもたらされる振動フィードバックを含んでもよい。
本明細書および添付の特許請求の範囲全体を通して、「通信経路」、「通信結合」、お
よび「通信するように結合する」などの異形と同様に、用語「通信の(communic
ative)」は一般に、情報を伝送および/または交換するための任意の構成に言及す
るのに使用される。例示的な通信経路には、それだけには限定されないが、導電性経路(
たとえば、導電性ワイヤ、導電性配線)、磁気経路(たとえば磁気媒体)、および/また
は光経路(たとえば光ファイバ)が含まれ、例示的な通信結合には、それだけには限定さ
れないが、電気結合、磁気結合、および/または光結合が含まれる。
本明細書および添付の特許請求の範囲全体を通して、用語「供給する(provide
)」、ならびに「供給される(provided)」および「供給する(providi
ng)」などの異形が、信号に関連してしばしば使用される。たとえば。筋活動センサは
、「少なくとも1つの信号を供給する」ものとして説明されており、慣性センサは、「少
なくとも1つの信号を供給する」ものとして説明されている。具体的な文脈上別の意味に
解釈すべき場合を除き、用語「供給する(provide)」は、最も一般的な意味で使
用されて、信号を中継すること、信号を出力すること、信号を生成すること、信号を経路
指定すること、信号を生成すること、信号を変換することなどを含むが、それだけには限
定されない、信号を供給する任意の形態を包含する。たとえば、表面EMGセンサは、筋
活動からの電気信号に抵抗性または容量性で結合される、少なくとも1つの電極を備えて
もよい。この結合により、少なくとも1つの電極の電荷または電位に変化が誘起され、次
いでこれが、センサの回路および出力を介して中継され、すなわちセンサによって「供給
される(provided)」。したがって、表面EMGセンサは、筋肉から出力まで電
気信号を中継することによって、電気信号を「供給(provide)」してもよい。対
照的に、慣性センサは、物理的な動きを電気信号に変換するのに使用される(たとえば、
圧電性、圧電抵抗性、容量性などの)構成要素を備えてもよい。慣性センサは、動きを検
出し、この動きに応答して電気信号を生成することによって、電気信号を「供給(pro
vide)」してもよい。
本明細書および添付の特許請求の範囲全体を通して、不定詞の動詞形がしばしば使用さ
れる。例として、それだけには限らないが、「検出する(to detect)」、「供
給する(to provide)」、「伝送する(to transmit)」、「通信
する(to communicate)」、「処理する(to process)」、「
経路指定する(to route)」などが含まれる。具体的な文脈上別の意味に解釈す
べき場合を除き、このような不定詞の動詞形は、オープンで包括的な意味において、すな
わち「少なくとも検出する(to,at least,detect)」、「少なくとも
供給する(to,at least,provide)」、「少なくとも伝送する(to
,at least,transmit)」などとして使用される。
例示された実施形態の上記説明は、要約書で説明されるものも含めて、網羅的なもので
はなく、または開示された厳密な形態に各実施形態を限定するものでもない。具体的な実
施形態および例は、例示する目的で本明細書に説明してあるが、本開示の趣旨および範囲
から逸脱することなく様々な均等な修正形態をなすこともでき、このことが当業者には理
解されよう。様々な実施形態の本明細書に提示された教示は、他の携帯型電子装置および
/またはウェアラブル電子装置に適用することができ、これは必ずしも、全体として先に
述べた例示的なウェアラブル電子装置とは限らない。
たとえば、前述の詳細な説明では、ブロック図、概略図、および例を用いて、装置およ
び/またはプロセスの様々な実施形態について述べた。このようなブロック図、概略図、
および例が、1つまたは複数の機能および/または動作を含む場合、このようなブロック
図、フローチャート、または例の中の各機能および/または動作は、広範囲のハードウェ
ア、ソフトウェア、または事実上その任意の組合せによって、個別に、かつ/またはひと
まとめにして実施できることが当業者には理解されよう。一実施形態では、この主題を、
特定用途向け集積回路(ASIC)を用いて実施してもよい。しかし、本発明に記載の実
施形態は、全体としてまたは部分的に、1つもしくは複数のコンピュータが実行する1つ
もしくは複数のコンピュータプログラム(たとえば、1つもしくは複数のコンピュータシ
ステム上で走っている1つもしくは複数のプログラム)として、1つもしくは複数のコン
トローラ(たとえばマイクロコントローラ)が実行する1つもしくは複数のプログラムと
して、1つもしくは複数のプロセッサ(たとえば、マイクロプロセッサ、中央処理装置、
グラフィック処理ユニット)が実行する1つもしくは複数のプログラムとして、ファーム
ウェアとして、または事実上その任意の組合せとして、標準の集積回路において等しく実
施できること、ならびに、回路を設計することならびに/またはソフトウェアおよびもし
くはファームウェアのコードを書くことは、本開示の教示に照らして当業者の技量の範囲
内に十分入るはずであることが当業者には理解されよう。
論理をソフトウェアとして実装し、メモリ内に記憶するとき、論理または情報は、任意
のプロセッサ関連のシステムもしくは方法によって使用するため、またはそれとともに使
用するため、任意のコンピュータ読取り可能な媒体に記憶することができる。本開示との
関連において、メモリは、コンピュータ読取り可能な媒体であり、電子、磁気、光、また
は、コンピュータおよび/もしくはプロセッサのプログラムを含む、すなわち記憶する、
他の物理的な装置もしくは手段である。論理および/または情報は、コンピュータベース
のシステム、プロセッサ内蔵システム、または、命令実行のシステム、装置、もしくはデ
バイスから命令をフェッチし、論理および/または情報に関連するその命令を実行するこ
とができる他のシステムなどの、命令実行のシステム、装置もしくはデバイスによって、
またはそれらとともに使用するために、任意のコンピュータ読取り可能な媒体で実施する
ことができる。
本明細書との関連において、「非一時的なコンピュータ読取り可能媒体」は、命令実行
のシステム、装置、および/もしくはデバイスによって、またはそれらとともに使用する
ために、論理および/または情報に関連するプログラムを記憶できる任意の要素とするこ
とができる。コンピュータ読取り可能な媒体は、たとえば、電子、磁気、光学、電磁、赤
外線、または半導体のシステム、装置、もしくはデバイスとすることができるが、それら
だけには限定されない。コンピュータ読取り可能な記憶媒体のより具体的な例(非包括的
なリスト)には、以下のもの、すなわち、携帯用コンピュータディスケット(磁気、コン
パクトフラッシュ(登録商標)カード、セキュアデジタルなど)、ランダムアクセスメモ
リ(RAM)、リードオンリーメモリ(ROM)、消去可能なプログラマブルリードオン
リーメモリ(EPROM、EEPROM、またはフラッシュメモリ)、携帯用コンパクト
ディスクリードオンリーメモリ(CDROM)、デジタルテープ、および他の非一時的な
媒体が含まれるであろう。
前述の様々な実施形態を組み合わせて、さらなる実施形態を実現することができる。本
明細書における具体的な教示および定義に矛盾しない限り、本明細書で参照され、かつ/
または出願データシートのリストに記載された米国特許、米国特許出願公開、米国特許出
願、外国特許、外国特許出願、および非特許文献の全て、すなわち、以下のものだけには
限定されないが、2013年2月22日出願の米国仮特許出願第61/768,322号
明細書、米国仮特許出願第61/771,500号明細書、米国仮特許出願第61/90
3,238号明細書、米国仮特許出願第61/909,786号明細書、米国仮特許出願
第61/857,105号明細書、米国仮特許出願第61/860,063号明細書、米
国仮特許出願第61/822,740号明細書、米国仮特許出願第61/866,960
号明細書、米国仮特許出願第61/869,526号明細書、米国仮特許出願第61/8
74,846号明細書、米国仮特許出願第61/881,064号明細書、米国仮特許出
願第61/894,263号明細書、米国仮特許出願第61/915,338号明細書、
および/または米国仮特許出願第61/940,048号明細書は、参照によりそれらの
全体が本明細書に援用される。必要であれば、様々な特許、出願、および文献の、システ
ム、回路、および考え方を利用するよう実施形態の態様を修正して、さらに別の実施形態
を実現することができる。
上記詳細な説明に照らして、上記およびその他の変更形態をなすことができる。一般に
、以下の特許請求の範囲において、使用される用語は、本明細書および特許請求の範囲に
開示された特定の実施形態に特許請求の範囲を限定するものと解釈すべきではなく、こう
した特許請求の範囲が権利を有する均等物の全範囲に加えて、実現可能な全ての実施形態
を含むと解釈すべきである。したがって、特許請求の範囲は、本開示によって限定されな
い。
様々な実施形態および説明に役立つ実例をこれまで説明してきたが、これらの実施形態
および説明に役立つ実例は限定的なものではなく、本発明の範囲は、以下の特許請求の範
囲によって定義されることが理解されよう。

Claims (25)

  1. 使用時にユーザが身につけるバンドと、
    前記バンドによって保持される筋電図検査(EMG)センサを含む少なくとも1つの筋
    活動センサであって、使用時に前記ユーザが第1の物理的なジェスチャを実行するのに応
    答して筋活動を検出し、前記検出された筋活動に応答して少なくとも1つの信号を供給す
    るための少なくとも1つの筋活動センサと、
    前記バンドによって保持される少なくとも1つの慣性センサであって、使用時に前記ユ
    ーザが前記第1の物理的なジェスチャとは異なる第2の物理的なジェスチャを実行するの
    に応答して動きを検出し、前記検出された動きに応答して少なくとも1つの信号を供給す
    るための少なくとも1つの慣性センサと、
    前記バンドによって保持されるプロセッサであって、前記少なくとも1つの筋活動セン
    サおよび前記少なくとも1つの慣性センサと通信するように結合され、使用時に、前記少
    なくとも1つの筋活動センサが供給する少なくとも1つの信号のみに基づいて前記ユーザ
    が実行する前記第1の物理的なジェスチャを識別し、前記少なくとも1つの慣性センサが
    供給する少なくとも1つの信号のみに基づいて、前記ユーザが実行する前記第2の物理的
    なジェスチャを識別するためのプロセッサと、
    を備える、ウェアラブル電子装置。
  2. 前記バンドによって保持され、かつ前記プロセッサに通信するように結合された非一時
    的なコンピュータ読取り可能記憶媒体をさらに含み、前記非一時的なコンピュータ読取り
    可能記憶媒体はプロセッサ実行可能な命令を記憶し、前記命令が前記プロセッサによって
    実行されるとき、前記命令は、
    前記少なくとも1つの筋活動センサが供給する少なくとも1つの信号のみに基づいて、
    前記ユーザが実行する前記第1の物理的なジェスチャを前記プロセッサに識別させ、
    前記少なくとも1つの慣性センサが供給する少なくとも1つの信号のみに基づいて、前
    記ユーザが実行する前記第2の物理的なジェスチャを前記プロセッサに識別させる、請求
    項1に記載のウェアラブル電子装置。
  3. 前記非一時的なコンピュータ読取り可能記憶媒体がプロセッサ実行可能な命令を記憶し
    、前記命令が前記プロセッサによって実行されるとき、前記命令は、
    前記少なくとも1つの筋活動センサが供給する少なくとも1つの前記信号のみに基づい
    て、前記ユーザが実行する前記第1の物理的なジェスチャを識別し、かつ、
    前記少なくとも1つの慣性センサが供給する少なくとも1つの前記信号のみに基づいて
    、前記ユーザが実行する前記第2の物理的なジェスチャを識別するための機械知能法を前
    記プロセッサに実行させる、請求項2に記載のウェアラブル電子装置。
  4. 前記非一時的なコンピュータ読取り可能記憶媒体に記憶された前記プロセッサ実行可能
    な命令には、前記プロセッサによって実行されるとき、前記ユーザによって実行される前
    記第1の物理的なジェスチャまたは前記ユーザによって実行される前記第2の物理的なジ
    ェスチャを、隠れマルコフモデル、および/または長短期ニューラルネットのうちの少な
    くとも1つに基づいて前記プロセッサに分類させるプロセッサ実行可能な命令が含まれる
    、請求項3に記載のウェアラブル電子装置。
  5. 前記非一時的なコンピュータ読取り可能記憶媒体に記憶された前記プロセッサ実行可能
    な命令には、前記プロセッサによって実行されるとき、前記ユーザの腕に着用したウェア
    ラブル電子装置の位置または方向にかかわらず、前記ユーザの前記腕の中の筋肉に対する
    前記少なくとも1つの筋活動センサの位置を識別するための較正ルーチンを、前記プロセ
    ッサに実行させるプロセッサ実行可能な命令が含まれる、請求項2に記載のウェアラブル
    電子装置。
  6. 前記バンドによって保持される無線送信機であって、前記プロセッサと通信するように
    結合され、使用時に、前記ユーザが実行する前記第1の物理的ジェスチャまたは前記ユー
    ザが実行する前記第2の物理的ジェスチャを前記プロセッサが識別するのに応答して、少
    なくとも1つの信号を無線で伝送する無線送信機をさらに備える、請求項1に記載のウェ
    アラブル電子装置。
  7. 前記少なくとも1つの筋活動センサが、機械式筋運動記録(MMG)センサを備える、
    請求項1に記載のウェアラブル電子装置。
  8. 前記少なくとも1つの筋活動センサが、複数の筋電図検査(EMG)センサを備える、
    請求項1に記載のウェアラブル電子装置。
  9. 前記バンドによって保持される触覚フィードバックモジュールであって、使用時に触覚
    フィードバックを前記ユーザに提示する触覚フィードバックモジュールをさらに備える、
    請求項1に記載のウェアラブル電子装置。
  10. 前記バンドが伸張可能である、請求項1に記載のウェアラブル電子装置。
  11. 前記バンドによって保持される少なくとも1つの追加構成部品であって、前記少なくと
    も1つの筋活動センサと通信するように結合された増幅回路、前記少なくとも1つの筋活
    動センサと通信するように結合されたフィルタリング回路、前記少なくとも1つの筋活動
    センサと通信するように結合されたアナログ・デジタル変換回路、および前記プロセッサ
    に電気的に結合された電池からなる群から選択される少なくとも1つの追加構成部品をさ
    らに備える、請求項1に記載のウェアラブル電子装置。
  12. 前記少なくとも1つの慣性センサが、加速度計、ジャイロスコープ、および慣性測定ユ
    ニット(IMU)からなる群から選択される少なくとも1つの慣性センサを備える、請求
    項1に記載のウェアラブル電子装置。
  13. 前記バンドによって保持される前記プロセッサが、使用中に、
    前記ユーザによって実行される前記第1の物理的なジェスチャを、少なくとも前記第1
    の物理的なジェスチャの第1の解釈および前記第1の物理的なジェスチャの第2の解釈と
    して解釈し、前記第1の物理的なジェスチャの前記第1の解釈および前記第1の物理的な
    ジェスチャの前記第2の解釈は異なるジェスチャを表しており、
    前記第1の物理的なジェスチャの前記第1の解釈および前記第1の物理的なジェスチャ
    の前記第2の解釈の一方を選択するための前記ユーザからの入力を要求する、
    請求項1に記載のウェアラブル電子装置。
  14. 前記バンドによって保持される前記プロセッサが、使用中に、
    前記ユーザによって実行される前記第2の物理的なジェスチャを、少なくとも前記第2
    の物理的なジェスチャの第1の解釈および前記第2の物理的なジェスチャの第2の解釈と
    して解釈し、前記第2の物理的なジェスチャの前記第1の解釈および前記第2の物理的な
    ジェスチャの前記第2の解釈は異なるジェスチャを表しており、
    前記第2の物理的なジェスチャの前記第1の解釈および前記第2の物理的なジェスチャ
    の前記第2の解釈の一方を選択するための前記ユーザからの入力を要求する、
    請求項1に記載のウェアラブル電子装置。
  15. ウェアラブル電子装置を動作させる方法であって、前記ウェアラブル電子装置が、ユー
    ザが装着するバンド、前記バンドによって保持される筋電図検査(EMG)センサを含む
    少なくとも1つの筋活動センサ、前記バンドによって保持される少なくとも1つの慣性セ
    ンサ、および、前記バンドによって保持されるプロセッサであって、前記少なくとも1つ
    の筋活動センサおよび前記少なくとも1つの慣性センサと通信するように結合されたプロ
    セッサを備え、前記方法が、
    前記ウェアラブル電子装置の前記バンドによって保持される少なくとも1つの筋活動セ
    ンサによって、前記ユーザが第1の物理的なジェスチャを実行するのに応答して筋活動を
    検出するステップと、
    前記検出された筋活動に応答して、少なくとも1つの筋活動センサから前記プロセッサ
    に少なくとも1つの信号を供給するステップと、
    前記ウェアラブル電子装置の前記バンドによって保持される少なくとも1つの慣性セン
    サによって、前記ユーザが前記第1の物理的なジェスチャとは異なる第2の物理的なジェ
    スチャを実行するのに応答して動きを検出するステップと、
    前記検出された動きに応答して、少なくとも1つの慣性センサから前記プロセッサに少
    なくとも1つの信号を供給するステップと、
    前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
    少なくとも1つの筋活動センサによって供給される前記少なくとも1つの信号、および少
    なくとも1つの慣性センサによって供給される前記少なくとも1つの信号を処理するステ
    ップと、
    前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
    少なくとも1つの筋活動センサによって供給される前記少なくとも1つの信号のみに基づ
    いて、前記ユーザが実行する前記第1の物理的なジェスチャを識別するステップと、
    前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
    少なくとも1つの慣性センサによって供給される前記少なくとも1つの信号のみに基づい
    て、前記ユーザが実行する前記第2の物理的なジェスチャを識別するステップと、
    を含む、方法。
  16. 前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
    少なくとも1つの筋活動センサによって供給される前記少なくとも1つの信号、および少
    なくとも1つの慣性センサによって供給される前記少なくとも1つの信号を処理するステ
    ップが、分類子、隠れマルコフモデル、長短期ニューラルネット、または他の機械知能法
    のうちの少なくとも1つまたは複数を利用して、少なくとも1つの筋活動センサによって
    供給される前記少なくとも1つの信号、および少なくとも1つの慣性センサによって供給
    される前記少なくとも1つの信号を処理するステップを含む、請求項15に記載の方法。
  17. 前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ前記プロセッ
    サと通信するように結合された無線送信機を備え、前記方法がさらに、
    前記ユーザが実行する前記第1の物理的ジェスチャまたは前記ユーザが実行する前記第
    2の物理的ジェスチャを前記プロセッサが識別するのに応答して、少なくとも1つの信号
    を無線で伝送するステップ
    を含む、請求項15に記載の方法。
  18. 前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ少なくとも1
    つの筋活動センサと通信するように結合された増幅回路を備え、前記方法がさらに、
    少なくとも1つの筋活動センサから前記プロセッサに、前記少なくとも1つの信号を供
    給する前に、前記増幅回路によって少なくとも1つの筋活動センサからの前記少なくとも
    1つの信号を増幅するステップ
    を含む、請求項15に記載の方法。
  19. 前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ少なくとも1
    つの筋活動センサと通信するように結合されたフィルタリング回路を備え、前記方法がさ
    らに、
    少なくとも1つの筋活動センサから前記プロセッサに、前記少なくとも1つの信号を供
    給する前に、前記フィルタリング回路によって少なくとも1つの筋活動センサからの前記
    少なくとも1つの信号をフィルタリングするステップ
    を含む、請求項15に記載の方法。
  20. 前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ少なくとも1
    つの筋活動センサと通信するように結合されたアナログ・デジタル変換回路を備え、前記
    方法がさらに、
    少なくとも1つの筋活動センサから前記プロセッサに、前記少なくとも1つの信号を供
    給する前に、前記アナログ・デジタル変換回路によって少なくとも1つの筋活動センサか
    らの前記少なくとも1つの信号を、アナログ信号からデジタル信号に変換するステップ
    を含む、請求項15に記載の方法。
  21. 前記少なくとも1つの筋活動センサが、複数の筋電図検査(EMG)センサを備える、
    請求項15に記載の方法。
  22. 前記ウェアラブル電子装置がさらに、前記バンドによって保持される触覚フィードバッ
    クモジュールであって、前記プロセッサと通信するように結合された振動モータを含む触
    覚フィードバックモジュールを備え、前記方法がさらに、前記ユーザが実行する物理的な
    ジェスチャを前記プロセッサが識別するのに応答して、前記振動モータによって触覚フィ
    ードバックを前記ユーザに提示するステップを含む、請求項15に記載の方法。
  23. 前記ユーザの腕に着用した前記ウェアラブル電子装置の位置や方向に関係なく前記プロ
    セッサによって、前記ユーザの腕の中の筋肉に対する前記少なくとも1つの筋活動センサ
    の位置を識別するための較正ルーチンを実行するステップ、
    をさらに含む、請求項15に記載の方法。
  24. 前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
    少なくとも1つの筋活動センサによって供給される前記少なくとも1つの信号のみに基づ
    いて、前記ユーザが実行する前記第1の物理的なジェスチャを識別するステップは、
    前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
    前記ユーザによって実行される前記第1の物理的ジェスチャを、少なくとも前記第1の物
    理的ジェスチャの第1の解釈および前記第1の物理的ジェスチャの第2の解釈として解釈
    するステップであって、前記第1の物理的ジェスチャの前記第1の解釈および前記第1の
    物理的ジェスチャの前記第2の解釈は異なるジェスチャを表す、ステップと、
    前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
    前記第1の物理的ジェスチャの前記第1の解釈および前記第1の物理的ジェスチャの前記
    第2の解釈の一方を選択するための前記ユーザからの入力を要求するステップと、
    を含む、請求項15に記載の方法。
  25. 前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
    少なくとも1つの慣性センサによって供給される前記少なくとも1つの信号のみに基づい
    て、前記ユーザが実行する前記第2の物理的なジェスチャを識別するステップは、
    前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
    前記ユーザによって実行される前記第2の物理的ジェスチャを、少なくとも前記第2の物
    理的ジェスチャの第1の解釈および前記第2の物理的ジェスチャの第2の解釈として解釈
    するステップであって、前記第2の物理的ジェスチャの前記第1の解釈および前記第2の
    物理的ジェスチャの前記第2の解釈は異なるジェスチャを表す、ステップと、
    前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、
    前記第2の物理的ジェスチャの前記第1の解釈および前記第2の物理的ジェスチャの前記
    第2の解釈の一方を選択するための前記ユーザからの入力を要求するステップと、
    を含む、請求項15に記載の方法。
JP2021012756A 2013-02-22 2021-01-29 ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 Pending JP2021072136A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361768322P 2013-02-22 2013-02-22
US61/768,322 2013-02-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018215132A Division JP2019023941A (ja) 2013-02-22 2018-11-16 ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置

Publications (1)

Publication Number Publication Date
JP2021072136A true JP2021072136A (ja) 2021-05-06

Family

ID=51387561

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015559017A Withdrawn JP2016507851A (ja) 2013-02-22 2014-02-21 ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
JP2018215132A Withdrawn JP2019023941A (ja) 2013-02-22 2018-11-16 ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
JP2021012756A Pending JP2021072136A (ja) 2013-02-22 2021-01-29 ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015559017A Withdrawn JP2016507851A (ja) 2013-02-22 2014-02-21 ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
JP2018215132A Withdrawn JP2019023941A (ja) 2013-02-22 2018-11-16 ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置

Country Status (7)

Country Link
US (2) US20140240103A1 (ja)
EP (1) EP2959394B1 (ja)
JP (3) JP2016507851A (ja)
KR (1) KR102330889B1 (ja)
CN (1) CN105190578A (ja)
CA (1) CA2902045A1 (ja)
WO (1) WO2014130871A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11481031B1 (en) 2019-04-30 2022-10-25 Meta Platforms Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments

Families Citing this family (187)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9582035B2 (en) 2014-02-25 2017-02-28 Medibotics Llc Wearable computing devices and methods for the wrist and/or forearm
US10716510B2 (en) 2013-09-17 2020-07-21 Medibotics Smart clothing with converging/diverging bend or stretch sensors for measuring body motion or configuration
US10602965B2 (en) 2013-09-17 2020-03-31 Medibotics Wearable deformable conductive sensors for human motion capture including trans-joint pitch, yaw, and roll
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US10321873B2 (en) 2013-09-17 2019-06-18 Medibotics Llc Smart clothing for ambulatory human motion capture
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
US10921886B2 (en) 2012-06-14 2021-02-16 Medibotics Llc Circumferential array of electromyographic (EMG) sensors
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US9891718B2 (en) 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US9234742B2 (en) * 2013-05-01 2016-01-12 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US9221170B2 (en) * 2013-06-13 2015-12-29 GM Global Technology Operations LLC Method and apparatus for controlling a robotic device via wearable sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150057770A1 (en) * 2013-08-23 2015-02-26 Thaimic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9841815B2 (en) * 2013-09-09 2017-12-12 Samsung Electronics Co., Ltd. Method for differentiation of touch input and visualization of pending touch input
US11071498B2 (en) 2013-09-17 2021-07-27 Medibotics Llc Smart clothing with inertial, strain, and electromyographic sensors for human motion capture
US11892286B2 (en) 2013-09-17 2024-02-06 Medibotics Llc Motion recognition clothing [TM] with an electroconductive mesh
US11304628B2 (en) 2013-09-17 2022-04-19 Medibotics Llc Smart clothing with dual inertial sensors and dual stretch sensors for human motion capture
US9541955B2 (en) * 2013-10-23 2017-01-10 Raphael Holtzman System for modular expansion of mobile computer systems
US9535505B2 (en) * 2013-11-08 2017-01-03 Polar Electro Oy User interface control in portable system
US20150153854A1 (en) * 2013-12-03 2015-06-04 Lenovo (Singapore) Pte. Ltd. Extension of wearable information handling device user interface
KR20150065336A (ko) * 2013-12-05 2015-06-15 삼성전자주식회사 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9939934B2 (en) * 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
WO2015123445A1 (en) 2014-02-14 2015-08-20 Thalmic Labs Inc. Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same
US10429888B2 (en) 2014-02-25 2019-10-01 Medibotics Llc Wearable computer display devices for the forearm, wrist, and/or hand
US9594443B2 (en) * 2014-02-26 2017-03-14 Lenovo (Singapore) Pte. Ltd. Wearable device authentication and operation
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
USD756359S1 (en) * 2014-05-15 2016-05-17 Thalmic Labs Inc. Expandable armband device
JP2015223220A (ja) * 2014-05-26 2015-12-14 株式会社東芝 バンド及び電子機器
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9600083B2 (en) * 2014-07-15 2017-03-21 Immersion Corporation Systems and methods to generate haptic feedback for skin-mediated interactions
JP6447917B2 (ja) * 2014-08-06 2019-01-09 パナソニックIpマネジメント株式会社 手首装着型の入力装置
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US9830783B1 (en) 2014-09-24 2017-11-28 Apple Inc. Output devices for fabric-based electronic equipment
US10488936B2 (en) 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
CN104536558B (zh) * 2014-10-29 2019-01-25 三星电子(中国)研发中心 一种智能指环和控制智能设备的方法
CN114089324A (zh) * 2014-10-31 2022-02-25 西门子瑞士有限公司 用于在无线电范围中检测对象和/或生物的移动的方法、数字工具、设备和系统
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
US9380855B2 (en) * 2014-12-08 2016-07-05 Intel Corporation System and method for generating and using a wearable device profile
EP3230832A4 (en) 2014-12-08 2018-06-20 Rohit Seth Wearable wireless hmi device
US20170265780A1 (en) * 2014-12-09 2017-09-21 Lg Innotek Co., Ltd. Band type sensor and wearable device having the same
CN104586390A (zh) * 2014-12-18 2015-05-06 中国科学院深圳先进技术研究院 一种信息处理方法及相关设备
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US9720515B2 (en) 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9338627B1 (en) 2015-01-28 2016-05-10 Arati P Singh Portable device for indicating emergency events
KR102288823B1 (ko) * 2015-02-06 2021-08-11 엘지이노텍 주식회사 웨어러블 디바이스
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
JP2017009573A (ja) * 2015-03-06 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 装着端末、及び、装着端末の制御方法
US20160282947A1 (en) * 2015-03-26 2016-09-29 Lenovo (Singapore) Pte. Ltd. Controlling a wearable device using gestures
US10459524B2 (en) * 2015-04-14 2019-10-29 Northrop Grumman Systems Corporation Multi-sensor control system and method for remote signaling control of unmanned vehicles
CN108883335A (zh) * 2015-04-14 2018-11-23 约翰·詹姆斯·丹尼尔斯 用于人与机器或人与人的可穿戴式的电子多感官接口
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US20160320850A1 (en) * 2015-04-29 2016-11-03 Samsung Electronics Co., Ltd. User interface control using impact gestures
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US10067564B2 (en) * 2015-08-11 2018-09-04 Disney Enterprises, Inc. Identifying hand gestures based on muscle movement in the arm
US9871546B2 (en) * 2015-09-11 2018-01-16 Panasonic Intellectual Property Corporation Of America Wearable terminal mountable on part of body of user
US10242252B2 (en) * 2015-09-25 2019-03-26 Intel Corporation Expression recognition tag
US9939899B2 (en) 2015-09-25 2018-04-10 Apple Inc. Motion and gesture input from a wearable device
US9809231B2 (en) 2015-10-28 2017-11-07 Honda Motor Co., Ltd. System and method for executing gesture based control of a vehicle system
CN105373785B (zh) * 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
US20170164890A1 (en) * 2015-12-11 2017-06-15 Intel Corporation System to facilitate therapeutic positioning for a body part
TWI583357B (zh) 2015-12-17 2017-05-21 財團法人工業技術研究院 肌肉震動訊號處理系統與方法
KR101685013B1 (ko) * 2015-12-17 2016-12-09 연세대학교 원주산학협력단 근진동 측정 센서를 이용한 전기자극기 및 전기자극 방법
CN108431761B (zh) * 2015-12-22 2022-04-01 英特尔公司 用于在可穿戴设备中识别姿势的系统、方法、介质及设备
KR20170076500A (ko) * 2015-12-24 2017-07-04 삼성전자주식회사 생체 신호에 근거하여 기능을 수행하기 위한 방법, 저장 매체 및 전자 장치
US11089146B2 (en) 2015-12-28 2021-08-10 The Mitre Corporation Systems and methods for rehabilitative motion sensing
CN105718049A (zh) * 2016-01-14 2016-06-29 宇龙计算机通信科技(深圳)有限公司 控制方法、控制装置及其可穿戴智能设备和终端
US10503253B2 (en) * 2016-03-31 2019-12-10 Intel Corporation Sensor signal processing to determine finger and/or hand position
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
KR101675577B1 (ko) * 2016-05-03 2016-11-14 엘아이지넥스원 주식회사 근경도 센서 모듈
CN105726048A (zh) * 2016-05-05 2016-07-06 郑州大学第一附属医院 一种骨科常见疾病的功能锻炼监测装置
WO2017199356A1 (ja) * 2016-05-18 2017-11-23 日立マクセル株式会社 ジェスチャ認識装置、ジェスチャ認識パターン情報のキャリブレーション方法、及びそれを用いた通信端末
US10638316B2 (en) 2016-05-25 2020-04-28 Intel Corporation Wearable computer apparatus with same hand user authentication
DE202016003692U1 (de) * 2016-06-10 2017-09-12 Kuka Roboter Gmbh Haptische Rückmeldungsvorrichtungen für ein Manipulatorsystem
US9781243B1 (en) * 2016-06-27 2017-10-03 Intel Corporation Optimizing wearable device settings using machine learning
WO2018001929A1 (en) 2016-06-30 2018-01-04 Koninklijke Philips N.V. Processing apparatus for processing a physiological signal
DE102016212236A1 (de) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Interaktionssystem und -verfahren
CN107589782B (zh) * 2016-07-06 2024-05-14 可穿戴设备有限公司 用于可穿戴设备的姿势控制接口的方法和装置
US10687759B2 (en) 2018-05-29 2020-06-23 Facebook Technologies, Llc Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
EP3487457B1 (en) * 2016-07-25 2023-09-06 Facebook Technologies, LLC. Adaptive system for deriving control signals from measurements of neuromuscular activity
US11179066B2 (en) 2018-08-13 2021-11-23 Facebook Technologies, Llc Real-time spike detection and identification
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11337652B2 (en) 2016-07-25 2022-05-24 Facebook Technologies, Llc System and method for measuring the movements of articulated rigid bodies
US10772519B2 (en) 2018-05-25 2020-09-15 Facebook Technologies, Llc Methods and apparatus for providing sub-muscular control
US10478099B2 (en) 2016-09-22 2019-11-19 Apple Inc. Systems and methods for determining axial orientation and location of a user's wrist
US10084612B2 (en) 2016-10-05 2018-09-25 International Business Machines Corporation Remote control with muscle sensor and alerting sensor
US9769166B1 (en) 2016-10-19 2017-09-19 International Business Machines Corporation Wearable sensor based system for person identification
EP3544495A4 (en) 2016-11-25 2020-08-19 Kinaptic, LLC HAPTIC HUMAN-MACHINE INTERFACE AND METHODS AND APPARATUS WITH PORTABLE ELECTRONIC ELEMENTS
EP3548994B1 (en) * 2016-12-02 2021-08-11 Pison Technology, Inc. Detecting and using body tissue electrical signals
US10406971B2 (en) * 2017-01-09 2019-09-10 Christopher Troy De Baca Wearable wireless electronic signaling apparatus and method of use
KR101963694B1 (ko) * 2017-01-22 2019-03-29 계명대학교 산학협력단 동작 인식 및 제어를 위한 웨어러블 장치 및 이를 이용한 동작 인식 제어 방법
US10874347B1 (en) * 2017-03-02 2020-12-29 Focal Wellness, Inc. Multiple plane sensors
US10902743B2 (en) 2017-04-14 2021-01-26 Arizona Board Of Regents On Behalf Of Arizona State University Gesture recognition and communication
EP3985488A1 (en) * 2017-05-25 2022-04-20 Samsung Electronics Co., Ltd. Method and wearable device for performing actions using body sensor array
WO2019008497A1 (en) * 2017-07-04 2019-01-10 Moradi Ali SYSTEM AND METHOD FOR INCREASING DETECTION OF FLUORESCENCE
US10481699B2 (en) * 2017-07-27 2019-11-19 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
US10698492B2 (en) * 2017-09-28 2020-06-30 John James Daniels Wearable electronic, multi-sensory, human/machine, human/human interfaces
US20200323461A1 (en) 2017-10-20 2020-10-15 Indian Institute Of Technology, Guwahati Point-of-care system for detection of the physical stress at different parts of body
CN107943283B (zh) * 2017-11-08 2021-02-02 浙江工业大学 基于手势识别的机械臂位姿控制系统
EP3710918A4 (en) * 2017-11-14 2021-08-18 Biointeractive Technologies, Inc. DEVICE AND METHOD FOR DETECTING, QUANTIFYING AND PROVIDING FEEDBACK TO USER GESTURES
CN112041784A (zh) * 2017-11-30 2020-12-04 脸谱科技有限责任公司 用于离散和连续手势的同时检测的方法和装置
US20190187812A1 (en) * 2017-12-19 2019-06-20 North Inc. Wearable electronic devices having a multi-use single switch and methods of use thereof
CN111902077B (zh) 2018-01-25 2023-08-04 元平台技术有限公司 利用神经肌肉信号进行手部状态表示建模的校准技术
EP3743901A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES
CN112005198A (zh) 2018-01-25 2020-11-27 脸谱科技有限责任公司 基于多个输入的手部状态重建
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US20200310541A1 (en) * 2019-03-29 2020-10-01 Facebook Technologies, Llc Systems and methods for control schemes based on neuromuscular data
US11069148B2 (en) 2018-01-25 2021-07-20 Facebook Technologies, Llc Visualization of reconstructed handstate information
CN108427479B (zh) * 2018-02-13 2021-01-29 腾讯科技(深圳)有限公司 可穿戴设备、环境图像数据的处理系统、方法及可读介质
US10438867B2 (en) 2018-03-08 2019-10-08 Northrop Grumman Systems Corporation Immersion cooling temperature control method, system, and apparatus
CN113167576A (zh) * 2018-04-19 2021-07-23 泰克萨维技术有限公司 对身体的至少两个部位的形貌进行估计的方法和系统
EP3791387B1 (en) * 2018-05-08 2023-08-30 Facebook Technologies, LLC. Systems and methods for improved speech recognition using neuromuscular information
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN112585600A (zh) * 2018-06-14 2021-03-30 脸谱科技有限责任公司 使用神经肌肉标记进行用户识别和认证
US10852143B2 (en) 2018-06-27 2020-12-01 Rohit Seth Motion sensor with drift correction
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
WO2020033110A1 (en) * 2018-08-05 2020-02-13 Pison Technology, Inc. User interface control of responsive devices
US10802598B2 (en) 2018-08-05 2020-10-13 Pison Technology, Inc. User interface control of responsive devices
US11099647B2 (en) 2018-08-05 2021-08-24 Pison Technology, Inc. User interface control of responsive devices
US10842407B2 (en) 2018-08-31 2020-11-24 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
JP2022500729A (ja) * 2018-09-20 2022-01-04 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 拡張現実システムの神経筋制御
WO2020069181A1 (en) 2018-09-26 2020-04-02 Ctrl-Labs Corporation Neuromuscular control of physical objects in an environment
CN112822992A (zh) 2018-10-05 2021-05-18 脸谱科技有限责任公司 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
CN109917909B (zh) * 2019-02-01 2022-05-31 成都思悟革科技有限公司 基于非传播电磁场的多点接收阵列的动作捕捉装置及方法
RU193501U1 (ru) * 2019-02-05 2019-10-30 Раиса Юрьевна Будко Устройство замещения утраченных функций человека с использованием обратной связи
EP3897890A4 (en) * 2019-02-28 2022-01-12 Facebook Technologies, LLC. METHODS AND APPARATUS FOR UNSUPERVISED MACHINE LEARNING FOR GESTURES CLASSIFICATION AND APPLIED FORCE ESTIMATION
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
TWI689859B (zh) 2019-03-19 2020-04-01 國立臺灣科技大學 由手腕偵測肌動訊號識別使用者手勢之系統及方法
BR112021023351A2 (pt) * 2019-05-28 2022-01-04 Humain Solutions Ug Haftungsbeschraenkt Interface homem-máquina vestível, e, método para detectar uma deformação da superfície de uma área de pele de um corpo humano ou animal
US10684686B1 (en) * 2019-07-01 2020-06-16 INTREEG, Inc. Dynamic command remapping for human-computer interface
FR3099877A1 (fr) 2019-08-14 2021-02-19 Maxime Projetti Procédé et système pour l’analyse de l’activité biomécanique et l’exposition à un facteur de risque biomécanique sur un sujet humain dans un contexte d’activité physique
US11803246B2 (en) * 2019-08-22 2023-10-31 University Of Maryland, College Park Systems and methods for recognizing gesture
CN110624217A (zh) * 2019-09-23 2019-12-31 孙孟雯 一种基于多传感器融合的复健手套及其实现方法
EP4034227A4 (en) * 2019-09-26 2023-10-11 The Regents of The University of California PERIPHERAL BRAIN-MACHINE INTERFACE SYSTEM THROUGH VOLUNTARY CONTROL OF INDIVIDUAL MOTOR UNITS
US11974857B2 (en) 2019-10-08 2024-05-07 Unlimited Tomorrow, Inc. Biometric sensor array
US11243614B2 (en) * 2019-10-09 2022-02-08 Bose Corporation Modified force sensitive resistors
CN110826625B (zh) * 2019-11-06 2022-04-12 南昌大学 一种基于表面肌电信号的手指手势分类方法
US11262808B2 (en) * 2019-12-06 2022-03-01 Snap Inc. Wearable electronic device accessory interface
CN111061368B (zh) * 2019-12-09 2023-06-27 华中科技大学鄂州工业技术研究院 一种手势检测方法及可穿戴设备
US11199908B2 (en) 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
US11157086B2 (en) 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US10779740B1 (en) 2020-02-28 2020-09-22 Center For Quantitative Cytometry System and method to enhance self-recovery of nerve-muscle damage
FR3111224B1 (fr) * 2020-06-04 2022-07-29 Safran Electronics & Defense Systeme de commande pour commander un dispositif distant du systeme.
EP4162346A1 (en) 2020-06-06 2023-04-12 Battelle Memorial Institute Non-verbal communications radio and non-verbal communication system using a plurality of non-verbal communication radios
GB2596800A (en) * 2020-07-03 2022-01-12 Imperial College Innovations Ltd A mechanomyography apparatus and associated methods
RU201260U1 (ru) * 2020-07-31 2020-12-08 Общество с ограниченной ответственностью "Био Диджитал Технолоджи" Устройство для распознавания жестов путём обнаружения и анализа мышечной активности методом электромиографии
US11231437B1 (en) * 2020-09-25 2022-01-25 United Arab Emirates University Arm motion sensor system
IT202000022933A1 (it) 2020-09-29 2022-03-29 Bionit Labs S R L Sistema integrato per la rilevazione ed elaborazione di segnali elettromiografici
US11467675B1 (en) * 2021-04-29 2022-10-11 Facebook Technologies, Llc Multi-component detection of gestures
TWI775524B (zh) * 2021-07-09 2022-08-21 華碩電腦股份有限公司 手勢判斷方法及電子裝置
SE2151399A1 (en) * 2021-11-17 2023-05-18 Idestam Almquist Peter A communications system and a method for communicating information
EP4369153A1 (en) 2021-12-09 2024-05-15 Samsung Electronics Co., Ltd. Gesture recognition method using wearable device, and device therefor
US20240061514A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof
US20240061513A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Multi-stage gestures detected based on neuromuscular-signal sensors of a wearable device to activate user-interface interactions with low-false positive rates, and systems and methods of use thereof
KR102595257B1 (ko) * 2023-03-17 2023-11-01 강윤 제스처 인식에 기반한 모바일 로봇의 인간추종 및 상호작용 시스템 및 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248873A (ja) * 1994-03-08 1995-09-26 Sharp Corp 筋電信号を用いた制御装置
JP2008192004A (ja) * 2007-02-06 2008-08-21 Hiroshima Univ 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
JP2008295867A (ja) * 2007-06-01 2008-12-11 Oisaka Denshi Kiki:Kk 生体信号計測装置
US20090327171A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Recognizing gestures from forearm emg signals
JP2011048818A (ja) * 2009-08-27 2011-03-10 Korea Electronics Telecommun 指の動き検出装置およびその方法
KR20110040165A (ko) * 2009-10-13 2011-04-20 한국전자통신연구원 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
US20120157886A1 (en) * 2010-12-17 2012-06-21 Industrial Technology Research Institute Mechanomyography Signal Input Device, Human-Machine Operating System and Identification Method Thereof
US20120188158A1 (en) * 2008-06-26 2012-07-26 Microsoft Corporation Wearable electromyography-based human-computer interface
US20120283896A1 (en) * 2011-05-04 2012-11-08 Qualcomm Incorporated Gesture recognition via an ad-hoc proximity sensor mesh for remotely controlling objects

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3620208A (en) 1969-11-03 1971-11-16 Atomic Energy Commission Ekg amplifying electrode pickup
US3880146A (en) 1973-06-04 1975-04-29 Donald B Everett Noise compensation techniques for bioelectric potential sensing
LU84250A1 (de) 1982-07-01 1984-03-22 Mardice Holding Verfahren und vorrichtung fuer das kontaktlose messen von spannungsunterschieden bei lebenden organismen
JPH01126692A (ja) 1987-07-24 1989-05-18 Univ Leland Stanford Jr 音楽およびビデオ用のバイオポテンシャルディジタルコントローラ
US5482051A (en) 1994-03-10 1996-01-09 The University Of Akron Electromyographic virtual reality system
JPH09179842A (ja) * 1995-12-27 1997-07-11 Kansai Electric Power Co Inc:The 欠落値補正型ネットワーク及びその学習方法
JP3677149B2 (ja) * 1998-05-26 2005-07-27 日本電信電話株式会社 手首装着型入力装置
US6244873B1 (en) 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
US6807438B1 (en) 1999-08-26 2004-10-19 Riccardo Brun Del Re Electric field sensor
US6720984B1 (en) 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
JP2004527815A (ja) 2000-12-18 2004-09-09 ヒューマン バイオニクス エルエルシー、 感知電気生理学的データに基づく活動開始方法及びシステム
WO2002065904A1 (en) 2001-02-23 2002-08-29 Cordless Antistatic Research Inc. Enhanced pickup bio-electrode
US6865409B2 (en) 2001-11-07 2005-03-08 Kinesense, Inc. Surface electromyographic electrode assembly
US7036077B2 (en) * 2002-03-22 2006-04-25 Xerox Corporation Method for gestural interpretation in a system for selecting and arranging visible material in document images
CA2379268A1 (en) 2002-03-26 2003-09-26 Hans Kolpin Skin impedance matched biopotential electrode
US6984208B2 (en) * 2002-08-01 2006-01-10 The Hong Kong Polytechnic University Method and apparatus for sensing body gesture, posture and movement
DE60215504T2 (de) 2002-10-07 2007-09-06 Sony France S.A. Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik
JP4178186B2 (ja) * 2003-08-21 2008-11-12 国立大学法人 筑波大学 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR100680023B1 (ko) * 2004-12-06 2007-02-07 한국전자통신연구원 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법
US7809435B1 (en) 2006-01-11 2010-10-05 Iq Biolabs, Inc. Adjustable wireless electromyography sensor and system
US7558622B2 (en) * 2006-05-24 2009-07-07 Bao Tran Mesh network stroke monitoring appliance
US8437844B2 (en) 2006-08-21 2013-05-07 Holland Bloorview Kids Rehabilitation Hospital Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements
US8212859B2 (en) 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
US20080136775A1 (en) 2006-12-08 2008-06-12 Conant Carson V Virtual input device for computing
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
JP2010533559A (ja) 2007-07-16 2010-10-28 サンライズ メディカル エイチエイチジー インコーポレイテッド 生理的データ収集システム
WO2009026289A2 (en) 2007-08-20 2009-02-26 Hmicro, Inc. Wearable user interface device, system, and method of use
US20090251407A1 (en) 2008-04-03 2009-10-08 Microsoft Corporation Device interaction with combination of rings
JP2010000283A (ja) 2008-06-23 2010-01-07 Shimadzu Corp リアルタイム同時計測システム、リアルタイム同時計測装置、リアルタイム同時計測方法、およびプログラム
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
AU2009267790B2 (en) 2008-07-07 2014-09-18 Heard Systems Pty Ltd A system for sensing electrophysiological signals
EP2236078A1 (en) 2009-04-02 2010-10-06 Koninklijke Philips Electronics N.V. Processing a bio-physiological signal
JP5271162B2 (ja) * 2009-06-11 2013-08-21 日本電信電話株式会社 設備計画作成装置及び設備計画作成方法
AU2009348759B2 (en) 2009-06-26 2013-10-03 T&W Engineering A/S EEG monitoring apparatus and method for presenting messages therein
KR20110022520A (ko) * 2009-08-27 2011-03-07 한국전자통신연구원 손가락 움직임 검출 장치 및 그 방법
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
KR101708682B1 (ko) 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
WO2011070554A2 (en) 2009-12-13 2011-06-16 Ringbow Ltd. Finger-worn input devices and methods of use
CN102740767B (zh) 2010-02-01 2015-11-25 唯听助听器公司 能够进行无线通信的便携式eeg监控系统
CN103109462A (zh) * 2010-04-16 2013-05-15 尼古拉斯·J.·马斯坦德雷亚 可佩戴式动作感测计算接口
WO2011150407A2 (en) 2010-05-28 2011-12-01 The Regents Of The University Of California Cell-phone based wireless and mobile brain-machine interface
US8914075B2 (en) * 2010-09-17 2014-12-16 Blackberry Limited Electronic device including actuator and method of controlling same for providing tactile output
US10244988B2 (en) * 2010-12-16 2019-04-02 Nokia Technologies Oy Method, apparatus and computer program of using a bio-signal profile
US20120265090A1 (en) 2011-04-13 2012-10-18 Fink Rainer J System and method of acquiring uterine emg signals and wirelessly transmitting the same
US9330499B2 (en) 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US8203502B1 (en) 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
US20130198694A1 (en) 2011-06-10 2013-08-01 Aliphcom Determinative processes for wearable devices
US9089270B2 (en) 2011-06-29 2015-07-28 Lg Electronics Inc. Terminal and control method thereof
TWI446896B (zh) 2011-12-23 2014-08-01 Ind Tech Res Inst 肌能參數感測器
US20130191741A1 (en) * 2012-01-24 2013-07-25 Motorola Mobility, Inc. Methods and Apparatus for Providing Feedback from an Electronic Device
US8922481B1 (en) 2012-03-16 2014-12-30 Google Inc. Content annotation
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
US9278453B2 (en) 2012-05-25 2016-03-08 California Institute Of Technology Biosleeve human-machine interface
US9536449B2 (en) 2013-05-23 2017-01-03 Medibotics Llc Smart watch and food utensil for monitoring food consumption
EP2698686B1 (en) 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
US20140049417A1 (en) 2012-08-20 2014-02-20 Playtabase, LLC Wireless motion activated command transfer device, system, and method
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US9395810B2 (en) 2013-05-28 2016-07-19 The Boeing Company Ubiquitous natural user system
US9904356B2 (en) 2013-05-28 2018-02-27 The Boeing Company Tracking a user to support tasks performed on complex-system components
KR102131358B1 (ko) * 2013-06-17 2020-07-07 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 장치의 동작 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248873A (ja) * 1994-03-08 1995-09-26 Sharp Corp 筋電信号を用いた制御装置
JP2008192004A (ja) * 2007-02-06 2008-08-21 Hiroshima Univ 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
JP2008295867A (ja) * 2007-06-01 2008-12-11 Oisaka Denshi Kiki:Kk 生体信号計測装置
US20090327171A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Recognizing gestures from forearm emg signals
US20120188158A1 (en) * 2008-06-26 2012-07-26 Microsoft Corporation Wearable electromyography-based human-computer interface
JP2011048818A (ja) * 2009-08-27 2011-03-10 Korea Electronics Telecommun 指の動き検出装置およびその方法
KR20110040165A (ko) * 2009-10-13 2011-04-20 한국전자통신연구원 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
US20120157886A1 (en) * 2010-12-17 2012-06-21 Industrial Technology Research Institute Mechanomyography Signal Input Device, Human-Machine Operating System and Identification Method Thereof
US20120283896A1 (en) * 2011-05-04 2012-11-08 Qualcomm Incorporated Gesture recognition via an ad-hoc proximity sensor mesh for remotely controlling objects

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11941176B1 (en) 2018-11-27 2024-03-26 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11481031B1 (en) 2019-04-30 2022-10-25 Meta Platforms Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Also Published As

Publication number Publication date
KR20150123254A (ko) 2015-11-03
WO2014130871A1 (en) 2014-08-28
US20140240103A1 (en) 2014-08-28
CA2902045A1 (en) 2014-08-28
EP2959394B1 (en) 2021-05-12
CN105190578A (zh) 2015-12-23
US9299248B2 (en) 2016-03-29
US20140240223A1 (en) 2014-08-28
KR102330889B1 (ko) 2021-11-26
JP2016507851A (ja) 2016-03-10
JP2019023941A (ja) 2019-02-14
EP2959394A1 (en) 2015-12-30
EP2959394A4 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
JP2021072136A (ja) ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
US11009951B2 (en) Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US10970936B2 (en) Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US9612661B2 (en) Closed loop feedback interface for wearable devices
CN105979855B (zh) 检测正在穿戴可穿戴电子设备的肢体
US20200097081A1 (en) Neuromuscular control of an augmented reality system
US9999391B2 (en) Wearable electromyogram sensor system
US20160313801A1 (en) Method and apparatus for a gesture controlled interface for wearable devices
US20150169074A1 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
US20120157886A1 (en) Mechanomyography Signal Input Device, Human-Machine Operating System and Identification Method Thereof
CN103654774A (zh) 穿戴式移动手环
EP2839774B1 (en) Biosignal interface apparatus and operation method of biosignal interface apparatus
WO2015033327A1 (en) Wearable controller for wrist
CN105014676A (zh) 一种机器人运动控制方法
CN203552178U (zh) 腕带式手部运动识别装置
KR101341481B1 (ko) 동작인식 기반의 로봇 제어 시스템 및 방법
JP5794526B2 (ja) インタフェースシステム
JP2023135632A (ja) 手のマルチモーダル生体測定装置からのユーザ入力の検出
CN116774816A (zh) 从多模式的手部生物测量中检测用户输入

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220719