JP5991498B2 - 筋電位計測装置及び筋電位計測方法 - Google Patents

筋電位計測装置及び筋電位計測方法 Download PDF

Info

Publication number
JP5991498B2
JP5991498B2 JP2015131939A JP2015131939A JP5991498B2 JP 5991498 B2 JP5991498 B2 JP 5991498B2 JP 2015131939 A JP2015131939 A JP 2015131939A JP 2015131939 A JP2015131939 A JP 2015131939A JP 5991498 B2 JP5991498 B2 JP 5991498B2
Authority
JP
Japan
Prior art keywords
myoelectric potential
arm
measuring device
myoelectric
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015131939A
Other languages
English (en)
Other versions
JP2016027848A (ja
Inventor
元貴 吉岡
元貴 吉岡
小澤 順
順 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015131939A priority Critical patent/JP5991498B2/ja
Publication of JP2016027848A publication Critical patent/JP2016027848A/ja
Application granted granted Critical
Publication of JP5991498B2 publication Critical patent/JP5991498B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/296Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04Arrangements of multiple sensors of the same type
    • A61B2562/043Arrangements of multiple sensors of the same type in a linear array
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6824Arm or wrist

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Position Input By Displaying (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Description

本発明は、筋電位を計測する装置に関し、特に、ユーザの腕に接触する複数の電極を有する環状の電極部を備える筋電位計測装置に関する。
特許文献1に筋電位を用いたユーザインタフェース装置が開示されている。特許文献1の装置は、筋電位センサから得られた情報を用いて動作を認識し、認識した動作に応じた機器を操作する。特許文献1に開示の装置は、複数の筋電位センサの情報に基づいて、空間分布として把握することで、手首に装着された装置の回転のずれを考慮し、筋電位の認識を行っている。
特開2002−287869号公報
しかしながら、特許文献1に開示された従来技術では、複数の電極のすべてが、常にユーザの肌に密着した状態で利用されており、いずれかの電極がユーザの肌と離れている状態で利用されることは考慮されていない。
筋電位を含むユーザの生体信号を取得するためには、ユーザの肌に接触する電極を用いる必要がある。しかし、ユーザの日常生活において、常に電極がユーザの肌に密着することにより、ユーザの肌が圧迫されたり、ユーザが汗をかくことになる。よって、すべての電極が常に肌に密着した状態は好ましくない場合がある。例えば腕時計のように筋電位計測装置を手首に装着する場合は、筋電位計測装置と手首との間に所定の隙間が開いている方がより好ましい。
一方、筋電位計測装置と手首との間に所定の隙間がある場合、手首と一部の電極が接触しない、あるいは接触が不十分な状態が生じ、そのために、ノイズを発生し、そのままでは筋電の認識を精度よく行うことができない場合が生じる。
そこで、本発明は、ユーザの腕に接触する複数の電極を有する筋電位計測装置であって、複数の電極のすべてが腕に密着していなくても適切に筋電位を計測して腕の動作を認識することができる筋電位計測装置等を提供することを目的とする。
上記目的を達成するために、本発明の一形態に係る筋電位計測装置は、ユーザの腕に接触する複数の電極を有する環状の電極部と、前記複数の電極のそれぞれでの筋電位を計測する筋電位計測部と、前記筋電位計測部で計測された筋電位に基づいて、前記腕の動作を認識し、認識した結果を出力する動作認識部と、前記筋電位計測部による前記筋電位の計測の状態を検知する計測状態検知部とを備え、前記動作認識部は、前記計測状態検知部で検知される前記計測の状態に基づいて、前記複数の電極のうち、当該電極の鉛直下方に前記腕の一部が位置する電極である好適電極を特定し、特定した前記好適電極で計測される筋電位を、前記好適電極以外の電極である非好適電極で計測される筋電位よりも優先させたうえで、前記腕の動作を認識する。
なお、これらの全般的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本発明によると、ユーザの腕に接触する複数の電極を有する筋電位計測装置であって、複数の電極のすべてが腕に密着していなくても適切に筋電位を計測して腕の動作を認識することができる筋電位計測装置等が実現される。
本発明の実施の形態1における筋電位計測装置の構成を示すブロック図である。 同筋電位計測装置の外観図である。 同筋電位計測装置の認識モデル蓄積部が有する認識モデルを示す図である。 同筋電位計測装置の筋電位計測部で計測された筋電位を示す図である。 同筋電位計測装置の計測状態検知部による計測状態の検知例を説明する図である。 同筋電位計測装置の動作認識部によって付与される重みの具体例を示す図である。 同筋電位計測装置によって計測された筋電位の変化パターンに対して重みを乗算した後の変化パターンの一例を示す図である。 同筋電位計測装置によってノイズを抑制する修正が施された後の筋電位の変化パターンと認識モデルが示す筋電位の変化パターンとのマッチングを説明する図である。 同筋電位計測装置の提示部による提示例を示す図である。 本発明の実施の形態1における筋電位計測装置の動作を示すフローチャートである。 図10のステップS102の詳細な手順を示すフローチャートである。 図10のステップS104の詳細な手順を示すフローチャートである。 本発明の実施の形態2における筋電位計測装置の構成を示すブロック図である。 手の平側の腕の筋肉を用いた動作を説明する図である。 手の甲側の腕の筋肉を用いた動作を説明する図である。 同筋電位計測装置の認識モデル蓄積部に蓄積された第一認識モデルの一例を示す図である。 同筋電位計測装置の認識モデル蓄積部に蓄積された第二認識モデルの一例を示す図である。 本発明の実施の形態2における筋電位計測装置の動作を示すフローチャートである。 同筋電位計測装置の動作認識部による動作認識の一例を示す図である。 腕における提示部の位置に依存して認識モデルを切り替える同筋電位計測装置の動作の一例を示す図である。 提示部が手の平側に位置するように同筋電位計測装置を装着した場合における計測状態の検知例を説明する図である。 提示部が手の甲側に位置するように同筋電位計測装置を装着した場合における計測状態の検知例を説明する図である。 同筋電位計測装置の装着位置を、ユーザの入力によって受け付けるケースを説明する図である。 同筋電位計測装置の装着状態に応じて動作認識を開始する例を示す図である。 本発明の実施の形態3における筋電位計測装置の構成を示すブロック図である。 同筋電位計測装置の装着状態の一例を示す図である。 同筋電位計測装置の装着状態の一例を示す図である。 同筋電位計測装置の装着状態の一例を示す図である。 同筋電位計測装置の装着状態の一例を示す図である。 本発明の実施の形態3における筋電位計測装置の動作を示すフローチャートである。 同筋電位計測装置の計測状態検知部で検知される重力加速度の変化を示す図である。 同筋電位計測装置の動作認識部の動作を説明する図である。 同筋電位計測装置による操作入力をキャンセルするときの腕の動作例を示す図である。 ユーザが周期動作を行った場合に同筋電位計測装置の計測状態検知部によって検知される重力加速度の変化を示す図である。
本発明の一形態に係る筋電位計測装置は、ユーザの腕に接触する複数の電極を有する環状の電極部と、前記複数の電極のそれぞれでの筋電位を計測する筋電位計測部と、前記筋電位計測部で計測された筋電位に基づいて、前記腕の動作を認識し、認識した結果を出力する動作認識部と、前記筋電位計測部による前記筋電位の計測の状態を検知する計測状態検知部とを備え、前記動作認識部は、前記計測状態検知部で検知される前記計測の状態に基づいて、前記複数の電極のうち、当該電極の鉛直下方に前記腕の一部が位置する電極である好適電極を特定し、特定した前記好適電極で計測される筋電位を、前記好適電極以外の電極である非好適電極で計測される筋電位よりも優先させたうえで、前記腕の動作を認識する。
これにより、腕に密着し易い電極で計測された筋電位が、腕に密着しにくい電極で計測された筋電位よりも優先されたうえで、腕の動作が認識される。よって、ユーザの腕に接触する複数の電極を有する筋電位計測装置であって、複数の電極のすべてが腕に密着していなくても適切に筋電位が計測されて腕の動作が認識される。
ここで、さらに、複数の種類の腕の動作のそれぞれについて、前記複数の電極で得られる筋電位の変化パターンを示す認識モデルを蓄積している認識モデル蓄積部を備え、前記動作認識部は、前記筋電位計測部で計測された筋電位の変化パターンと前記認識モデルが示す前記変化パターンとを照合することで、前記腕の動作を認識してもよい。
これにより、計測された筋電位の変化パターンと、基準となる筋電位の変化パターンとが照合されて腕の動作が認識されるので、瞬時の筋電位に基づく動作認識に比べ、精度の高い動作認識が行われる。
また、前記動作認識部は、前記非好適電極で計測される筋電位に対して、前記好適電極で計測される筋電位よりも抑制する修正を施したうえで、前記照合を行ってもよい。
これにより、腕に密着しにくい電極で計測された筋電位については抑制する修正が施されたうえで、計測された筋電位の変化パターンと基準の筋電位の変化パターンとの照合が行われるので、精度の高い動作認識が可能になる。
また、前記複数の種類の腕の動作には、前記腕につながる手の動きが含まれてもよい。
これにより、腕の動作だけでなく、手及び指の動作も認識される。
また、さらに、前記動作認識部で認識された結果を提示する提示部を備えてもよい。
これにより、認識結果が提示部によって提示されるので、ユーザは、目で認識結果を知ることができる。
また、前記計測状態検知部は、前記筋電位計測装置における重力の方向を特定することにより、前記計測の状態を検知してもよい。
これにより、筋電位計測装置に備えられる加速度センサ等のセンサによって、筋電位の計測状態が検知される。
また、前記計測状態検知部は、前記提示部における重力の方向を特定することにより、前記計測の状態を検知してもよい。
これにより、提示部に備えられる加速度センサ等のセンサによって、筋電位の計測状態が検知される。
また、前記認識モデル蓄積部は、前記認識モデルとして、異なる複数の認識モデルを蓄積し、前記動作認識部は、前記計測状態検知部で検知される前記計測の状態に基づいて、前記複数の認識モデルから一つを選択する認識モデル切替部を有し、前記認識モデル切替部で選択された前記認識モデルを用いて、前記腕の動作を認識してもよい。例えば、前記複数の認識モデルには、手の平側の筋電位が生じやすい腕の動作についての前記筋電位の変化パターンを示す第一認識モデルと、手の甲側の筋電位が生じやすい腕の動作についての前記筋電位の変化パターンを示す第二認識モデルとが含まれてもよい。
これにより、筋電位の計測状態に応じて、複数の認識モデルから一つが選択されるので、筋電位の計測状態に応じた腕の動作に対応する複数の認識モデルを蓄積しておくことで、さらに精度の高い動作認識が可能になる。
また、さらに、前記計測状態検知部で検知された前記計測の状態の時間変化を蓄積する計測状態蓄積部を備え、前記動作認識部は、前記計測状態蓄積部に蓄積された前記計測の状態の時間変化に基づいて、前記腕の手首が前記ユーザの体における所定の空間内にあるか否かを判断し、前記手首が前記所定の空間内にあると判断した場合に、前記腕の動作を認識してもよい。例えば、前記所定の空間は、前記腕の肘よりも高い位置に設定された空間であってもよいし、前記動作認識部は、前記手首が降ろされた後に前記所定の空間内に入った場合に、前記腕の動作を認識してもよい。
これにより、手首が所定の空間内に入ったときに、腕の動作認識が開始されるので、意図しないタイミングで動作認識が開始してしまうことが回避される。
また、前記計測状態検知部は、前記計測の状態として、重力加速度の向きを検知する加速度センサを含み、前記動作認識部は、前記計測状態蓄積部に蓄積された前記重力加速度の向きの時間変化に基づいて、前記手首が前記所定の空間内にあるか否かを判断してもよい。
これにより、広く普及した加速度センサで計測状態検知部が実現される。
なお、これらの全般的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよい。
以下、本発明の筋電位計測装置、筋電位計測方法、及びそのプログラムの実施の形態について、図面を参照しながら説明する。
(実施の形態1)
まず、本発明の実施の形態1に係る筋電位計測装置について説明する。
図1は、本発明の実施の形態1における筋電位計測装置110aの構成を示すブロック図である。筋電位計測装置110aは、ユーザの腕の筋電位を計測し、その計測結果に基づいて腕の動作を認識する装置であり、電極部101と、筋電位計測部102と、認識モデル蓄積部103と、動作認識部104と、提示部105と、計測状態検知部106とを備える。なお、本実施の形態では、筋電位計測装置110aは、端末(図示されず)の操作をするためのユーザインタフェース装置(腕および手のジェスチャによって端末を操作するためのジェスチャ入力装置)として機能するものとする。
(電極部101)
電極部101は、ユーザの腕に接触する複数の電極を有する環状の構造体である。環状の構造体は、腕輪を意味する。なお、腕とは、肩から手までの部分であり、前腕(下腕)だけでなく、上腕及び手首を含み、典型的には、手首を含む前腕(下腕)を意味する。電極部101は、腕に装着されるリング状のベルトの構造に形成され、表面および裏面を有する。なお、ユーザが電極部101を装着したときに腕に接する面を裏面と表記し、裏面と対向する面を表面と表記する。電極部101が有する複数の電極は、電極部101の裏面に配置される。
例えば、電極部101が有する複数の電極は、塩化銀などで形成される。なお、電極部101は、複数の電極のそれぞれに接続されるアンプ回路を有し、電極からの信号を伝達するリード線等で発生するノイズを抑制するアクティブ型電極を有してもよい。これによりペーストがなくても肌に接触することで筋電位の計測が可能となる。
図2は、本実施の形態における筋電位計測装置110aの外観図の一例を示す図である。図2の(a)に示すように本実施の形態における筋電位計測装置110aは、腕に装着できるよう環状の電極部101を有している。また図2(a)のように環状の電極部101の裏面(内側面)に複数の電極(本例の場合、8個の電極ch1〜ch8)が配置され、筋電位計測装置110a(より厳密には、電極部101)を腕に装着することで、手などのジェスチャに伴う筋電位を計測し、計測した筋電位から手を含む腕の動作を認識し、これによって、端末の操作(ジェスチャ入力)を行うことが可能となる。日常環境では、電極が常に肌に密着した状態は、肌への圧迫又は発汗などを生じ、すべての電極が常に肌に密着した状態は好ましくない場合もある。これに対し、本実施の形態に示す筋電位計測装置110aは、腕時計又はブレスレットのように、装着時には電極部101と腕との間に所定の隙間が開いている。図2の(b)は腕を下に下ろした状態での筋電位計測装置110aの装着状態を示す図である。腕の周囲長に対し、電極部101の周囲長(内周の周囲長)はやや大きいため、腕と電極部101との間に隙間が開いており、電極が接触していない部分があることが分かる。図2の(c)は、筋電位計測装置110aをユーザインタフェース装置として用いることで端末に対する操作を行うため、ユーザが腕を上に持ち上げ、手の平(掌)をユーザの顔がある方向に向け、ユーザが提示部105を見て端末を操作(ジェスチャ入力を)している状態を示す図である。腕と電極部101との間には隙間が開いており、また重力の影響で腕を支点として電極部101が鉛直下方に下がり、下側にある電極ch6、電極ch7、及び、電極ch8が腕に接触しない、あるいは腕との接触が不十分な状況となっている。このように腕と電極部101との間に所定の隙間がある場合、腕と複数の電極のうちの一部の電極とが接触しない、あるいは接触が不十分な状態が生じるため、そのような電極で計測される筋電位にはノイズが発生し、腕の動作認識を精度よく行うことができない場合が生じる。そこで本実施の形態では、筋電位の計測の状態に依存して複数の電極で計測される筋電位を修正し、修正後の筋電位に基づいて腕の動作認識を行うことで、複数の電極のすべてが腕に密着していなくても適切に腕の動作認識を行う。
(認識モデル蓄積部103)
認識モデル蓄積部103は、複数の種類の腕の動作のそれぞれについて、電極部101が有する複数の電極について得られる筋電位の変化パターン(基準となる変化パターン)を示す認識モデルを蓄積している記憶部である。図3には、動作の一例として、「手を握った状態から親指を立てる」までの動作において電極ch1〜ch8で得られる筋電位の変化パターン(基準となる変化パターン)を示すデータが一つのモデル(認識モデル「01」)として蓄積されている様子が示されている。また、この動作に対応する端末に対する操作(ユーザインタフェース装置としての操作)として「音量を上げる(音量UP)」指示が蓄積されている。変化パターンを表現する認識モデルは、例えば隠れマルコフモデルなどの時系列の統計モデルであり、より具体的には、腕の動作によって変化する筋電位のRMS(Root Mean Square)と時間に伴う状態変化が状態出力値と状態遷移確率として蓄積されている。
(筋電位計測部102)
筋電位計測部102は、複数の電極のそれぞれでの筋電位を計測する計測部であり、本実施の形態では、複数の電極ch1〜ch8を用いて、腕の周囲方向における複数個所の筋電位を計測する。例えば、筋電位計測部102は、電極ch1〜ch8のそれぞれと基準電極(図示せず)との間の電位差を計測する。
図4は各電極ch1〜ch8で取得された筋電位(筋電位の時間変化)の一例を示す図である。例えば図2に示すように、ユーザは筋電位計測装置110aを用いて端末の操作(ジェスチャ入力)を行おうと腕を上へ持ち上げ、手を内側に向け、提示部105を見ながら、手を握った状態から親指を立てる動作の繰り返しを行っているものとする。このような動作に伴い、各電極ch1〜ch8に筋電位が発生し、発生した筋電位が筋電位計測部102によって検出されていることが分かる。また、この状態の場合、図2に示すように、重力により筋電位計測装置110aが下(鉛直下方)にさがり、電極ch6、電極ch7、及び電極ch8の腕への接触が不十分であり、したがって電極ch6、電極ch7、及び電極ch8にはノイズが発生している(振幅が異常に大きくなっている)ことが分かる。
(計測状態検知部106)
計測状態検知部106は、筋電位計測部102による筋電位の計測の状態(計測状態)を検知する処理部である。本実施の形態では、計測状態検知部106は、例えば加速度センサで構成され、加速度センサで計測される重力方向をもとに、腕に装着された筋電位計測装置110aにおける重力方向の角度又は向きを検知することにより、筋電位の計測状態を検知する。つまり、本実施の形態では、計測状態検知部106は、筋電位計測装置110aにおける重力の方向を特定することにより、計測の状態を検知する。なお、計測状態検知部106は、筋電位計測装置110aにおける重力の方向に代えて、あるいは、加えて、提示部105における重力の方向を特定することにより、計測の状態を検知してもよい。
図5は、計測状態検知部106による計測状態の検知例(ここでは、腕に装着された筋電位計測装置110aの向きの検知例)を説明する図である。図5の(a)〜(e)は、それぞれ、筋電位計測装置110aの動き、計測状態検知部106によって検知される重力加速度の方向、図5の(a)のように腕を動かす前における筋電位計測装置110aの向き、腕を動かした後における筋電位計測装置110aの向きを示す。なお、「筋電位計測装置110aの向き」とは、筋電位計測装置110aの重力に対する向きを意味し、筋電位計測装置110aにおける重力の方向(重力方向)をも意味する。また、筋電位計測装置110aにおける座標軸として、図5の(c)に示すように、電極ch7の位置から電極ch3の位置に向かう方向(提示部105が設置されている方向)をX軸、電極ch5の位置から電極ch1の位置へ向かう方向をY軸、手から筋電位計測装置110aを見た図である図5の(c)における紙面の奥(つまり、手の先)から紙面の手前(つまり、腕)に向かう方向をZ軸とする。計測状態検知部106は、筋電位計測部102による計測の状態として、筋電位計測装置110aにおける重力の方向、つまり、図5の(c)に示されるX軸、Y軸、及び、Z軸の重力加速度を検知する。
いま、図5の(a)に示すように、ユーザは左手首に筋電位計測装置110aを装着し、手を下ろしているとする。この状態では、筋電位計測装置110aは図5の(d)に示される向きとなり、計測状態検知部106が有する加速度センサの値は、図5の(b)の時間軸における「腕を下に下ろした状態」に示すようにZ軸のマイナス方向に重力がかかり、Z軸に−1Gの加速度が発生している。次に、図5の(a)に示すように、ユーザは、筋電操作(筋電位計測装置をユーザインタフェース装置として用いて操作対象の端末を操作すること)を行うために腕を持ち上げ、筋電位計測装置110aを、提示部105が上向きとなる状態にしたとする。この状態では、筋電位計測装置110aは図5の(e)に示される向きとなり、計測状態検知部106が有する加速度センサの値は、図5(b)の時間軸における「腕を移動中」及び「腕を持ち上げた状態」に示すようにZ軸のマイナス方向から、X軸のマイナス方向へと重力方向が変化し、X軸方向に−1Gの加速度が発生していることが分かる。計測状態検知部106は、これら各軸にかかる重力の加速度情報を元に筋電位計測装置110aにおける重力の方向を、筋電位の計測状態として、検知する。本例の場合、提示部105が上を向き、X軸のマイナス方向に重力がかかっていることとなる。このように、本実施の形態では、計測状態検知部106は、筋電位の計測状態として、筋電位計測装置110aにおける重力の方向を検知する。
なお、本実施の形態では加速度センサのみを用い、計測状態検知部106による計測状態の検知の説明を行った。これは、筋電位計測装置110aの構成部品が少なくなり、センサの小型化、及び処理が容易となるため、省電力等にも繋がるためである。しかしながら、さらに加速度の値を積分等し、腕の位置又は向きなどを検知することとしてもよい。また、加速度センサとジャイロとで計測状態検知部106を構成し、角速度などの情報を用い、詳細な位置及び角度を算出することも可能である。さらに、計測状態検知部106として、高度計などを用いることとしてもよい。これにより、腕を持ち上げた際の高さを計測することが可能となる。
(動作認識部104)
動作認識部104は、筋電位計測部102で計測された筋電位に基づいて、腕の動作を認識し、認識した結果を出力する処理部である。本実施の形態では、動作認識部104は、筋電位計測部102で計測された筋電位の変化パターンと認識モデル蓄積部103に蓄積された認識モデルが示す筋電位の変化パターンとを照合することで、腕の動作を認識する。このとき、動作認識部104は、計測状態検知部106で検知される筋電位の計測状態に基づいて、複数の電極のうち、当該電極の鉛直下方に腕の一部が位置する電極である好適電極を特定し、特定した好適電極で計測される筋電位を、好適電極以外の電極である非好適電極で計測される筋電位よりも優先させたうえで、腕の動作を認識する。具体的には、動作認識部104は、後述する重みを用いて、非好適電極で計測される筋電位に対して、好適電極で計測される筋電位よりも抑制した筋電位を用いて、計測された筋電位の変化パターンと認識モデルとの照合を行う。つまり、動作認識部104は、筋電位計測部102で計測された筋電位と、認識モデル蓄積部103に蓄積された動作のモデルとのマッチングを行い、腕の動作認識を行う。さらに、動作認識部104は、計測状態検知部106で計測された腕の状態、すなわち本実施の場合、電極部101と腕との接触の状況を加味して腕の動作を認識する。図4、図5に示すように、腕の状態(つまり、筋電位計測装置110aにおける重力方向)によってセンサの接触状態が変化し、接触が不十分であったり、離れていたりすると、ノイズが発生しやすくなり、認識精度が劣化する場合がある。そこで、本実施の形態では、筋電位の計測状態(ここでは、筋電位計測装置110aにおける重力方向)によって、各電極で計測される筋電位に重みを付与し、重みを変化させることでノイズを抑制する。具体的には、特定した好適電極で計測された筋電位を、複数の電極のうち好適電極以外の電極で計測された筋電位に対して重み付けし、重み付けされた筋電位を求める。動作認識部104は、重み付けされた筋電位を用いて、腕の動作を認識する。重み付けされた筋電位の例は、(a)好適電極のみの筋電位、(b)1以上の係数および好適電極で計測された筋電位の掛け算で求められる電位、好適電極以外の電極で計測された筋電位、(c)好適電極で計測された筋電位、1以下の係数および好適電極以外の電極で計測された筋電位との掛け算で求められる電位を含む。以下、重みの一例を示す。
例えば、各電極ch(n=1〜8)に対して、筋電位計測装置110aの向きに依存した重みwを付与する。そして重みwは、重力方向の単位ベクトルをg、円環状の電極部101の中心(例えば、電極部101を円とみなした場合の中心点)から電極chの位置を向く単位ベクトルをcしたとき、これらの内積をとり、以下の式1で示される値とする。
Figure 0005991498
すなわち、重力方向の単位ベクトルと、電極部101の中心から各電極の位置を向く単位ベクトルとの内積をとることで、得られる重みwは、重力方向に位置する電極で計測される筋電位ほど、より抑制の方向に働く係数となる。また、本実施の形態ではさらに、内積が0以上、すなわち電極部101の中心を通る水平線より上方に位置する電極(つまり、好適電極)に対しては重みwを1とし、内積が0未満、すなわち電極部101の中心を通る水平線より下方に位置する電極(つまり、非好適電極)に対しては重みwを0と、2値で制御される。腕時計のように腕に装着した場合、筋電位計測装置110aが円環状の形状を有し、重力で下に引っ張られるため、電極部101の中心を通る水平線より上に位置する電極は腕に接触し、電極部101の中心を通る水平線より下に位置する電極は接触が不十分になることがあるためである。動作認識部104は、このような重みを用いることで、複数の電極のうち、電極部101の中心を通る水平線より上方に位置する電極、言い換えると、当該電極の鉛直下方に腕の一部が位置する電極を好適電極として、一方、電極部101の中心を通る水平線より下方に位置する電極、言い換えると、好適電極以外の電極を非好適電極として特定し、好適電極で計測される筋電位を非好適電極で計測される筋電位よりも優先させたうえで、腕の動作を認識する。
なお、動作認識部104は、プログラムが格納された不揮発性メモリ、そのプログラムを実行するプロセッサ等のCPU、一時的な記憶領域である不揮発性メモリ、及び、他の構成要素を制御するための入出力ポート等によって実現される。
図6は、動作認識部104によって付与される重みの具体例を示す図である。例えば図6の(a)のように、提示部105が上を向き、その結果、電極ch3が重力と反対方向、電極ch7が重力方向となった場合、上記式1より、電極ch1〜ch5に対して重みw=1が付与され(好適電極として特定され)、電極ch6〜ch8に対して重みw=0が付与される(非好適電極として特定される)。図6の(b)のように提示部105が上を向き、かつ、やや傾く(例えば45度傾く)場合には、電極ch2が重力と反対方向、電極ch6が重力方向となる角度に位置している。この場合には、上記式1より、電極ch1〜ch4と電極ch8に対して重みw=1が付与され(好適電極として特定され)、電極ch5〜ch7に対して重みw=0が付与される(非好適電極として特定される)。図6の(c)のように提示部105がちょうど横を向いた状態の場合、電極ch1が重力と反対方向、電極ch5が重力方向となる角度に位置している。この場合には、上記式1より、電極ch7と電極ch8と電極ch1〜ch3とに対して重みw=1が付与され(好適電極として特定され)、電極ch4〜ch6に対して重みw=0が付与される(非好適電極として特定される)。このように、動作認識部104は、筋電位の計測状態、つまり、腕に装着された筋電位計測装置110aにおける重力方向に応じて、変化する電極ch1〜8の接触具合を、重みで制御することとなる。
図7、図8を用いて、動作認識部104による重みを用いた動作を説明する。図7は、図4に示す、計測された筋電位の変化パターンに対し、上述のように付与された重みを乗算した後の変化パターンを示す図である。図4では電極ch6、電極ch7及び電極ch8(非好適電極)の筋電位にノイズが発生していたのに対し、図7では、それらの筋電位に対して重みw=0が乗算され、ノイズが抑制されていることが分かる。図8は、このようにノイズを抑制する修正が施された後の各電極ch1〜ch8での筋電位の変化パターン(上図)と認識モデル蓄積部103に蓄積された認識モデルが示す筋電位の変化パターン(下図)とのマッチングを説明する図である。動作認識部104は、重みを乗算した後の各電極ch1〜ch8での筋電位の変化パターンと、認識モデルが示す筋電位の変化パターンとのマッチングを行い、腕の動作認識を行う。このように、動作認識部104は、非好適電極で計測される筋電位に対して、好適電極で計測される筋電位よりも抑制する修正を施したうえで、計測された筋電位の変化パターンと認識モデルが示す変化パターンとを照合し、腕の動作を認識する。
なお、本例のように多変量の入力に対し、例えば隠れマルコフモデルなどの時系列の統計モデルとのマッチングについては、DP(Dynamic Programming)マッチングなど、様々な手法が知られており、本実施の形態でも、これらの手法を用いてマッチングを行うものとする。図8に示される例では、手を握った形から親指を立てるまでの動作が該当する動作として認識されている。
(提示部105)
提示部105は、動作認識部104で認識された結果を提示する処理部であり、例えば、LCD等の表示画面を有し、その表示画面に、認識した動作を表示したり、あるいは、筋電位計測装置110aに対してなんらかの入力を行ったりする等のユーザインタフェースの役割をする。提示部は表示部(diplay unit)とも表現する。
図9は、提示部105の一例を示す図である。ここでは、例えば、動作認識部104によって親指を立てる動作が認識され、この動作に対応する、端末に対する操作として、例えば「音量を上げる」という情報が提示されている。
なお、本実施の形態では、電極部101の中心を通る水平線より上に位置する電極に対して重みw=1を付与し、電極部101の中心を通る水平線より下に位置する電極に対して重みw=0を付与したうえで筋電位に補正を行ったがこれに限ったものではない。接触の度合いは、筋電位計測装置の形状又は環状の電極部101の材質に依存する場合もある。例えば円環状の電極部101と腕との隙間が比較的小さい場合、上記水平線以下であっても電極が腕に十分接触し、重力方向(鉛直直下)に位置する電極のみ(つまり真下方向やその近辺)が接触不十分という場合もある。この場合、内積が0未満ではなく、さらに小さい値(負の値)を閾値として制御する(より小さい値と内積とを比較したうえで、重みを決定する)ことで、調整可能である(つまり、このような接触状態を反映した重みを決定できる)。逆に、材質が硬かったり、電極部101の円環状のサイズが腕に対して大きかったりする場合、電極部101の中心を通る水平線より上方に位置する電極であっても水平線に近い電極については腕との接触が不十分となる場合もある。この場合、内積と比較する閾値を0.5以上(すなわち60度以内)にする等、閾値を変更することで、対応することが可能である(つまり、このような接触状態を反映した重みを決定できる)。
また、上記式1のように内積と閾値との大小関係で重みを0と1の二値で分けるのではなく、筋電位計測装置110aにおける重力方向に応じて連続的に変化する値を重みとして決定してもよい。例えば、内積の値自身を用い、下記式2に従って重みwを決定してもよい。
Figure 0005991498
この式2に従って重みを決定することで、重力に対して反対側に位置する電極の重みが最も大きな値(1)となり、反対に、重力と同じ方向に位置する電極の重みは最も小さな値(0)となり、その間では、連続的に、重力方向に位置するほど、より小さな値(筋電位を抑制する方向に働く係数)となる。このように、好適電極で計測される筋電位を、非好適電極で計測される筋電位よりも優先させる度合は、接触の度合いを加味した連続的な度合いであってもよい。
次に、以上述べた、本実施の形態に係る筋電位計測装置110aの動作(筋電位計測方法)のフローを図10及び図11を用いて説明する。
図10は、本発明の実施の形態1における筋電位計測装置110aの動作を示すフローチャートである。
まず、電極部101は、複数の電極ch1〜ch8により、動作に伴って発生する筋電位を計測する(S101)。このステップS101は、ユーザの腕に接触する複数の電極を有する環状の電極部を用いて複数の電極のそれぞれでの筋電位を計測する筋電位計測ステップに相当する。
次に(あるいは、上記ステップS101と並行して)、計測状態検知部106は、筋電位計測装置110aにおける重力の方向を検知することにより、腕に装着された筋電位計測装置110aの計測状態を検知する(S102)。このステップS102は、筋電位計測部102による筋電位の計測状態を検知する計測状態検知ステップに相当する。
図11は、図10のステップS102(計測状態の検知)の詳細な手順を示すフローチャートである。計測状態検知部106は、内蔵する加速度センサで得られた加速度情報を参照し(S201)、その加速度情報から、筋電位計測装置110aにおける重力方向を算出することで、筋電位の計測状態を検知する(S202)。
再び図10を参照して、次に、動作認識部104は、認識モデル蓄積部103に蓄積された認識モデルを参照する(S103)。そして動作認識部104は、腕の動作を認識する(S104)。このステップS104は、筋電位計測ステップで計測された筋電位に基づいて、腕の動作を認識し、認識した結果を出力する動作認識ステップに相当する。
図12は、図10のステップS104(動作認識)の詳細な手順を示すフローチャートである。まず、動作認識部104は、上記式1で示すように、ステップS102で検知された筋電位の計測状態(具体的には、筋電位計測装置110aにおける重力の方向)に応じた各電極ch1〜ch8に対する重みを算出する(S210)。次に、動作認識部104は、筋電位計測部102で計測される筋電位に対し、上記演算された重みを乗じる演算を行う(S211)。そして、動作認識部104は、重みを乗じて得られた筋電位と前記参照した認識モデルとのマッチング演算を行う(S212)。それにより、動作認識部104は、認識モデルとして登録された複数の種類の腕の動作の中に、該当する動作が存在するか否か(S213)を判断する。例えば閾値などを設け、モデルとの差が所定の閾値以下の値の動作を該当動作とする。その結果、動作認識部104は、該当動作があると判断した場合(S213のYes)、ユーザが該当する動作を行ったと判断(S214)、一方、該当動作がないと判断した場合(S213のNo)、この処理(動作認識)を終了する。このように、動作認識ステップ(図10のS104)では、計測状態検知ステップ(S102)で検知される筋電位の計測状態に基づいて、複数の電極のうち、当該電極の鉛直下方に腕の一部が位置する電極である好適電極を特定し、特定した好適電極で計測される筋電位を、好適電極以外の電極である非好適電極で計測される筋電位よりも優先させたうえで、腕の動作が認識される。
再び図10を参照して、最後に、提示部105は、動作認識の結果、又は、認識された動作に対応する操作を画面へ提示したり、端末への操作信号を送信したりする(S105)。
以上のように、本実施の形態によれば、腕に密着し易い電極で計測された筋電位が、腕に密着しにくい電極で計測された筋電位よりも優先されたうえで、腕の動作が認識される。よって、複数の電極のすべてが腕に密着していなくても適切に筋電位が計測されて腕の動作が認識される。つまり、腕に装着する筋電位計測装置を用いたユーザインタフェース装置では、指又は手を動かして動作を入力する場合、身体の構造上、ある定まった動作を行うことが多い。例えば普段は腕を下ろした状態であり、なんらかの操作を行う際、腕を胸元近辺へ持ち上げ、提示部105を自分の見える側へ向け、腕は固定したまま手を動かすなどのシーンがある。この場合、本実施の形態に示すように、加速度センサなどでその動き又は角度などを検知することができる。この検知された操作状態を用いて、筋電位計測装置の電極の接触状態を推定し、より精度よく認識することで、日常環境下でも容易に筋電位による操作を行うことが可能となる。
(実施の形態2)
次に、本発明の実施の形態2に係る筋電位計測装置について説明する。
上記実施の形態1では、計測状態検知部106で検知された計測状態をもとに、筋電位計測装置の接触状態を推定し、計測された筋電位の修正を行ったが、それに加えて、認識モデルを切り替えることとしてもよい。以下、図を用いて説明を行う。
図13は、本発明の実施の形態2における筋電位計測装置110bの構成を示すブロック図である。この筋電位計測装置110bは、ユーザの腕の筋電位を計測し、その計測結果に基づいて腕の動作を認識する装置であり、電極部101と、筋電位計測部102と、認識モデル蓄積部103aと、動作認識部104aと、提示部105と、計測状態検知部106とを備える。この筋電位計測装置110bでは、実施の形態1における筋電位計測装置110aの動作認識部104が、認識モデル切替部107を有する動作認識部104aに置き換わり、また、筋電位計測装置110aの認識モデル蓄積部103が、第一認識モデル108と第二認識モデル109を含む複数の認識モデルを有する認識モデル蓄積部103aに置き換わっている。つまり、本実施の形態の筋電位計測装置110bは、実施の形態1の筋電位計測装置110aが備える機能に加えて、認識モデルの切り替えに関する機能をも備える。以下、実施の形態1と同じ構成要素については同じ符号を付して説明を省略し、異なる点を中心に説明する。
指又は手を動かす際、活動する筋肉は、身体の構造上、おおよそ決まっており、したがって電極の位置によって認識しやすい腕の動作とそうでない腕の動作とが存在する。図14及び図15は腕の動作と筋電位との関係を説明する図である。図14の(a)に示される動作のように、指を伸ばした状態から曲げる際は、手の平側の腕の筋肉(図14の(a)の右図におけるハッチング箇所)が収縮し、主な活動電位(筋電位)が生じる。一方、図14の(b)に示される動作のように、例えば指を曲げた状態から伸ばす際は、手の甲側の腕の筋肉(図14の(b)の右図におけるハッチング箇所)が収縮し、主な活動電位が生じる。したがって、例えば指を曲げた状態から伸ばす際の動作を認識対象の一つとする場合、手の甲側に位置する電極で計測される筋電位がより変化が大きく、検出されやすい。一方、指を伸ばした状態から曲げる際の動作を認識する一つの動作とする場合、逆に手の平側に位置する電極に、より大きな変化の筋電位が生じやすくなる。
同様に図15の(a)に示される動作のように、指を内側(平側)へ曲げる際は、平側の腕の筋肉(図15の(a)の右図におけるハッチング箇所)が収縮し活動電位(筋電位)を主に発生させる。一方、例えば指を手の甲側に動かす場合は、甲側の腕の筋肉(図15の(b)の右図におけるハッチング箇所)が収縮し、大きな活動電位(筋電位)を発生させる。したがって、それぞれの動作に応じた側面の電極の方が、より筋電位の変化を検出しやすい。さらに、筋電位の大きさだけではなく、人差し指だけを内側に傾けるなど、微小な動作に伴う筋電位も、それぞれの動作に応じた側に位置する電極の方が、より筋電位の変化を検出しやすい。本実施の形態では、筋電位が計測しやすい位置を考慮し、別々の認識モデルを用いて腕の動作を認識する。
図16及び図17は、それぞれ、認識モデル蓄積部103aに蓄積された第一認識モデル108及び第二認識モデル109の一例を示す図である。例えば第一認識モデル108は、手の平側の筋電位が生じやすい腕の動作についての筋電位の変化パターンを示す。図16は、認識モデル蓄積部103aに蓄積された第一認識モデル108の一例を示す図である。ここには、例えば、動作として「手を広げた状態(パー)」から「握った状態(グー)」が一つの認識モデル(11)として蓄積されており、例えば「アプリケーションを起動する」操作(端末に対する操作)として蓄積されている。
一方、例えば第二認識モデル109は、手の甲側の筋電位が生じやすい腕の動作についての筋電位の変化パターンを示す。図17は、認識モデル蓄積部103aに蓄積された第二認識モデル109の一例を示す図である。ここには、例えば、動作として「握った状態(グー)」から「手を広げた状態(パー)」が一つの認識モデル(21)として蓄積されており、例えば「1曲進む」という操作(端末に対する操作)が付帯して蓄積されている。
動作認識部104aは、実施の形態1における動作認識部104の機能に加えて、認識モデル切替部107を有する。認識モデル切替部107は、計測状態検知部106で検知された計測状態をもとに、用いる認識モデルを切り替える(複数の認識モデルから一つを選択する)処理部である。例えば、実施の形態1に示すように、計測状態検知部106によって腕を持ち上げた際の加速度情報から、重力の方向をもとに腕のどちら側が上を向いているかが検出できる。そこで、認識モデル切替部107は、この情報をもとに用いる認識モデルを切り替え、これによって、動作認識部104aは、動作認識をより精度よく行う。つまり、動作認識部104aは、認識モデル切替部107で選択された認識モデルを用いて、腕の動作を認識する。
次に、以上のように構成された本実施の形態における筋電位計測装置110bの動作(筋電位計測方法)について説明する。
図18は、本実施の形態における筋電位計測装置110bの動作を示すフローチャートである。動作認識部104aは、計測状態検知部106で検知される計測状態を取得する(S301)。そして、動作認識部104aの認識モデル切替部107は、取得された計測状態に基づいて、認識モデル蓄積部103aに蓄積された複数の認識モデルから一つを選択する(S302)。最後に、動作認識部104aは、認識モデル切替部107で選択された認識モデルを用いて、実施の形態1と同様の手順(図12のステップS210〜S214)で腕の動作を認識する(S303)。
図19は、動作認識部104aによる動作認識の一例を示す図である。いま、図16及び図17に示されるように、第一認識モデル108は、手の平側の筋電位が生じやすい腕の動作についての筋電位の変化パターンを示し、一方、第二認識モデル109は、手の甲側の筋電位が生じやすい腕の動作についての筋電位の変化パターンを示すとする。
認識モデル切替部107は、例えば図19の(a)に示すように、ユーザが手の平側を上にした場合、手の平側の筋電が生じやすい動作の認識モデル(第一認識モデル108)を選択する。その結果、動作認識部104aは、選択された第一認識モデル108を用いて腕の動作認識を行う。一方、図19の(b)に示すように、ユーザが甲側を上にした場合、認識モデル切替部107は、甲側の筋電が生じやすい動作の認識モデル(第二認識モデル109)を選択する。その結果、動作認識部104aは、選択された第二認識モデル109を用いて腕の動作認識を行う。これにより、ノイズに対してロバストな腕の動作認識を実現することが可能となる。
なお、腕における提示部105の位置と筋電位計測装置110bの装着状態を考慮し、認識モデルの切り替えを行うこととしてもよい。これまで、実施の形態1及び2では、提示部105が手の平側に位置するように筋電位計測装置110bを装着する例を用いて説明を行ってきたが、提示部105が手の甲側に位置するなど、人によって好みの装着状況は様々である。また、例えば本実施の形態のような、腕に装着する筋電位計測装置110bであって、筋電位計測装置110b自体の操作を行う場合、提示部105を見ながら行う必要がある操作と、必ずしも提示部105を見る必要がない操作などがある。例えば、操作対象の端末において再生する楽曲を複数の中から選択するような場合は提示部105を見る必要があるが、音量を上げるなどは必ずしも必要ではない。そこで、腕における提示部105の位置と装着状態を考慮し、認識モデルの切り替えを行ってもよい。例えば、筋電位計測装置110bの装着時に、提示部105が手の甲側に位置するように筋電位計測装置110bを装着しているか、平側に位置するように筋電位計測装置110bを装着しているかに依存して、ユーザの入力を受け付けることとする。この例では、計測状態検知部106は、提示部105における重力の方向を特定することにより、計測の状態を検知することになる。
図20は、このような腕における提示部105の位置に依存して認識モデルを切り替える動作の一例を示す図である。ここでは、筋電位計測装置110bを装着した状態で提示部105が位置する側(甲側又は平側)に応じて認識モデルを切り替える。例えば手の甲側に提示部105が位置する場合、ユーザが腕を持ち上げて提示部105をユーザ見えるような動作をした場合、手の甲側が重力と反対方向となり、かつ筋電位計測装置110bの電極が腕に接触するため、手の甲側の筋電位を用いた動作認識に好適な認識モデルである第二認識モデル109を用いて動作認識部104aが動作認識を行うこととする。一方、ユーザが手の平側に提示部105が位置するように装着した場合、腕を持ち上げて提示部105をユーザ見えるような動作をした場合、手の平側が重力と反対方向となり、かつ筋電位計測装置110bの電極が腕に接触するため、手の平側の筋電位を用いた動作認識に好適な認識モデルである第一認識モデル108を用いて動作認識部104aが動作認識を行う。これにより、ユーザの装着に応じた筋電操作が可能となる。
なお、上記例では、提示部105が手の甲側か平側のいずれに位置するかの特定は、ユーザの入力によって行う例で説明を行ったが、これに限ったものではない。例えば加速度の変化や角速度の変化から検知することも可能である。図21及び図22を用いて、提示部105が手の甲側か平側のいずれに位置するかを加速度の変化からの特定する方法について、説明を行う。まず、ユーザが腕を下ろした状態から持ち上げた際、重力の方向の変化に加え、手を内側へ回したか、手を外側へ回したかの変化を加速度又は角速度から検出することが可能である。例えば図21のように提示部105が手の平側に位置するように筋電位計測装置110bを装着した場合、腕を下ろした状態から持ち上げた際、提示部105を見るためには、ユーザは手首を内側から外側へ回すこととなる。一方、図22のように提示部105が手の甲側に位置するように筋電位計測装置110bを装着した場合、腕を下ろした状態から持ち上げた際、提示部105を見るためには、ユーザは手首を外側から内側へ回すこととなる。この変化を計測状態検知部106によって加速度又は角速度で検知し、筋電位計測装置110bの装着状態を検知することが可能である。
なお、上記例では、手首に筋電位計測装置110bを装着した際の提示部105の位置が甲側か平側によって制御の切り替えを行う例で説明を行ったが、さらに手首を含む腕の下部であるか、腕の上部であるかによって認識モデルを切り替えてもよい。例えば図23に示すように、筋電位計測装置110bは、筋電位計測装置110bの装着位置を、ユーザの入力によって受け付ける。そして、この装着位置によって、筋電位計測装置110bは、認識モデルを切り替える。手首などの腕の下部の場合、筋電位計測装置110bと腕との隙間が大きくなり、筋電位計測装置110bの電極が接触しない場合が生じるのに対し、腕の上部(ここでは、前腕のうち、肘に近い位置)の場合、筋電位計測装置110bと腕との隙間が比較的小さくなり、筋電位計測装置110bの電極がすべて腕に接触していたり、接触しない電極の数が減ったりする場合がある。また、身体の特性上、手又は手首の動作に伴う筋電位は、腕の上部の方がより大きな変化や詳細な変化を示すため、腕の上部の方がより認識しやすい場合もある。そこで、例えば、筋電位計測装置110bの装着位置が手首などの腕の下部の場合は、登録される認識対象となる動作の数が少ない認識モデルを選択したり、比較的大きな動作、例えば「グーからパー」などの動作だけを登録した認識モデルを選択したりすることとし、一方、例えば腕の上部に筋電位計測装置110bが装着された場合は、比較的細かい動作、例えば「指の動作」又は「指の数(1本、2本)」などの動作を登録した認識モデルを選択することとし、これによって、用いる認識モデルを切り替えることとしてもよい。
また、筋電位計測装置110bの電極部101に接触インピーダンスを計測する回路を備え、各電極の腕との接触状態を検知することで筋電位計測装置110bの装着位置を検知することとしてもよい。例えば接触インピーダンスの計測により、非接触、又は、接触が不十分な電極が所定数あることが検知された場合は、筋電位計測装置110bが手首に装着された状態であると判断し、一方、すべての電極が接触している状態であれば筋電位計測装置110bが腕の上部に装着されていると判断することが可能である。また、このような装着状態の判断結果をトリガーに動作認識を開始することとしてもよい。例えば、普段は、図24の(a)に示すように、筋電位計測装置110bを手首に腕時計のように装着しておき、筋電操作が必要となった場合、図24の(b)に示すように腕の上部に移動させ、筋電操作を終えたら、図24の(c)に示すように、筋電位計測装置110bを元の手首の位置に戻すことにより、筋電を認識させるなどの応用が可能となる。これにより、日常の利用シーンに応じた筋電操作が可能となる。
(実施の形態3)
次に、本発明の実施の形態3に係る筋電位計測装置について説明する。
実施の形態1では、加速度センサ等で筋電位の計測状態を検知し、その計測状態に応じて筋電位の修正を行う例について説明した。本実施の形態においては、さらに、加速度センサ等で、ユーザの手首に装着された筋電位計測装置の位置を特定することで、ユーザの体に対して特定の空間の位置にあるときのみ、腕の動作認識を行う例について説明する。
筋電位計測装置を手首に装着して、ユーザが日常的に動作すると、ユーザの意図していないときに動作認識が実行され、誤動作を起こすことがある。そこで、手首に装着された筋電位計測装置が、ユーザの体に対して、ある特定の空間にあるときのみ、動作認識を実行させることで、日常的に利用していても、誤動作がない筋電位計測装置として利用ができる。そこで、本実施の形態では、筋電位計測装置が所定の空間内にあると判断された場合にだけ腕の動作を認識する。
図25は、本発明の実施の形態3における筋電位計測装置110cの構成を示すブロック図である。この筋電位計測装置110cは、ユーザの腕の筋電位を計測し、その計測結果に基づいて腕の動作を認識する装置であり、電極部101と、筋電位計測部102と、認識モデル蓄積部103と、動作認識部104と、提示部105と、計測状態検知部106と、計測状態蓄積部120とを備える。図25この筋電位計測装置110cは、実施の形態1の筋電位計測装置110aが備える構成要素に加えて、計測状態蓄積部120を備える。つまり、本実施の形態の筋電位計測装置110cは、実施の形態1の筋電位計測装置110aが備える機能に加えて、動作認識の実行タイミングに関する制御機能をも備える。以下、実施の形態1と同じ構成要素については同じ符号を付して説明を省略し、異なる点ついて説明する。
計測状態蓄積部120は、計測状態検知部106で検知された計測の状態の時間変化を蓄積する記憶装置である。本実施の形態では、計測状態検知部106は、繰り返し検知した計測の状態(計測状態の時間変化)を計測状態蓄積部120に蓄積する。そして、動作認識部104は、計測状態蓄積部120に蓄積された計測の状態の時間変化に基づいて、筋電位計測装置110cが装着された腕の手首がユーザの体における所定の空間内にあるか否かを判断し、手首が所定の空間内にあると判断した場合にだけ、実施の形態1における手順(図12のステップS210〜S214)に従って腕の動作を認識する。所定の空間は、例えば、腕の肘よりも高い位置に設定された空間である。
一般に、筋電位計測装置が手首に装着された状態では、図26に示すように、日常的には、手首が肘に比べて下にあることが多い。その結果、筋電位計測装置は重力によって、重力方向にずれる。また、一般にユーザの腕は、手首に近づくにつれて細くなるため、このような状態では、筋電位計測装置と腕との間に隙間が生じることが多い。その結果、この状態で指の動き等を筋電位計測装置によって計測しようとしても、計測不能となる場合が多い。
そこで、本実施の形態では、次のようなユーザの動作を利用して、動作認識を実行する。つまり、ユーザは、片手で筋電位計測装置110cと腕との間の隙間がなくなるように、環状の腕輪型(例えば腕時計のような形状)の筋電位計測装置110cを、図27に示すように、腕輪型の筋電位計測装置110cが装着されている手首を肘よりも高くし、これによって、重力を使って筋電位計測装置110cを肘側にずらすように手首を動かす(例えば、手首を揺らす)。そして、次に、図28に示すように、少し手首を下すことで、動作認識を行うモードに更新する(つまり、筋電位計測装置110cに動作認識を開始させる)。
このような動作を用いて、筋電位計測装置110cと腕との間の隙間をなくす。さらに、図28に示すように、ユーザの胸の前の所定の空間に手首(すなわち筋電位計測装置110c)があるときのみ、動作認識部104が動作認識を実行することで、日常的な動作を行っているときには、ユーザの手振りの認識を行わず、図27に示される動作から図28に示される動作を行ったときにのみ、筋電位計測装置110cが動作認識を行うことで、誤動作を回避することが可能になる。つまり、動作認識部104は、手首が降ろされた後に所定の空間内に入った場合にだけ、腕の動作を認識する。さらに、図29に示すように、筋電位計測装置110cが動作認識を実施する空間外へ筋電位計測装置110cが移動したときには、ユーザのコマンド入力が終了したものとして、動作認識部104が動作認識を停止する。これ以降、再び、ユーザが、図27に示した動作をしてから、図28に示されるような、動作認識が行われる空間まで手首を動作させるまでは、動作認識部104は、動作認識を実施しない。
次に、以上のように構成された本実施の形態における筋電位計測装置110cの動作(筋電位計測方法)について説明する。
図30は、本実施の形態における筋電位計測装置110cの動作を示すフローチャートである。まず、計測状態検知部106は、検知した計測の状態の時間変化を計測状態蓄積部120に蓄積する(S401)。図26から図29に示されるように筋電位計測装置110cの位置が動いたときの、筋電位計測装置110cの計測状態検知部106で検知される重力加速度の状態を図31に示す。図31の(a)は、手首を下ろしている状態での重力加速度を示し、図31の(b)は、手首を上げて揺すって状態での重力加速度を示し、図31の(c)は、操作意図をもってジェスチャを行っている状態(認識区間)での重力加速度を示し、図31の(d)は、ジェスチャを終了して手首を下ろそうとしている状態での重力加速度を示し、図31の(e)は、手首を下ろしている状態での重力加速度を示す。本実施の形態では、図31に示されるような重力加速度の時間変化が計測状態検知部106によって検知され計測状態蓄積部120に蓄積される。
次に、動作認識部104は、計測状態検知部106によって計測状態蓄積部120に計測状態が蓄積される度に、計測状態蓄積部120に蓄積された計測の状態の時間変化に基づいて、筋電位計測装置110cが装着された腕の手首がユーザの体における所定の空間内にあるか否かを判断し(S402)、手首が所定の空間内にあると判断した場合に(S402でYes)、実施の形態1と同様の手順(図12のステップS210〜S214)で腕の動作を認識し(S403)、手首が所定の空間内にあると判断しない場合には(S402でNo)、腕の動作を認識しない(終了)。たとえば、図31に示すように、手首を下している状態から、手首を上げて筋電位計測装置110cを揺らした後、計測状態検知部106で検知されるZ軸方向の重力加速度成分が所定の範囲になったときに、動作認識部104は、ユーザの指の動き等の動作を認識する。なお、これらの状態の検知については、計測状態検知部106により、ユーザの体の身長方向と平行な面での重力加速度の向き(Z軸方向)として計測され、その重力加速度が計測状態蓄積部120に蓄積されていくので、動作認識部104が、計測状態蓄積部120に蓄積された計測の状態の時間変化を参照することで、可能となる。なお、さらに、計測状態検知部106が、図21に示していたX軸、Y軸方向の加速度も計測することで、より精度を向上することは可能である。本実施の形態では、図32に示すように、計測状態検知部106によって検知されるZ軸方向の重力加速度が0.2Gから0.8Gの空間において動作認識部104は腕の動作認識を行う。これらの情報(重力加速度の時間変化)は、図25の計測状態蓄積部120において蓄積されている。
なお、図33に示すように、筋電位計測装置110cが動作認識を行うための所定の空間に位置するときに、直前の操作入力をキャンセルしたいときには、その空間において手首を震わせることでキャンセルさせるように、認識モデル蓄積部103に認識モデルを蓄積しておいてもよい。
また、認識モデル蓄積部103においては、筋電位計測装置110cを利用するユーザが事前に図28に示される、筋電位計測装置110cが動作認識を実施するための所定の空間についての個人差を扱うための、事前にキャリブレーション等により、所定の空間を特定する重力加速度の大きさをキャリブレーションによって決定してもよい。
このように、腕輪型の筋電位計測装置110cを装着したときには、一旦手首を持ち上げて、筋電位計測装置110cを皮膚に接触させるような動作を実施した後で、筋電位計測装置110cによる動作認識を実施させることで、日常生活においても誤動作の少ないコマンド入力が可能になる。
なお、上記例では、手首に装着された筋電位計測装置110cの動作について、図26に示すように、日常時には手首を下におろした状態をもとに説明を行ったが、これに限ったものではない。例えば、歩行時は、手首を下に下ろしつつ、前後に一定の時間間隔で振る動作となる。ただし、この場合も同様に手首は肘より下に位置することが多い。このような状態から、図27から図28に示す動作のように、ユーザは、一旦手首を持ち上げ、筋電位計測装置110cを肘側にずらし、何らかの動作認識を行う場合もある。この場合には、ユーザの周期動作を用いて動作認識を開始することとしてもよい。
図34は、ユーザが周期動作を行った場合に、計測状態検知部106によって検知される重力加速度(つまり、計測状態蓄積部120に蓄積される計測状態の時間変化の一例)を示す図である。図34の(a)は、手首を下ろして歩行している状態での重力加速度を示し、図34の(b)は、手首を上げて揺すって状態での重力加速度を示し、図34の(c)は、操作意図をもってジェスチャを行っている状態(認識区間)での重力加速度を示し、図34の(d)は、ジェスチャを終了して再び歩行している状態での重力加速度を示し、図34の(e)は、手首を下ろしている状態での重力加速度を示す。この例では、ユーザは、手首を下にして歩行するので、歩行による周期動作を示す重力加速度の時間変化が検出され、その後、手首を持ち上げ、筋電操作を行おうとしている動作(操作意図)を示す重力加速度の時間変化が検出されている。その後、再び手首を下ろし、歩行を開始している。このような重力加速度の時間変化が計測状態検知部106によって検知され計測状態蓄積部120に蓄積される。そして、動作認識部104は、計測状態蓄積部120に蓄積された計測の状態の時間変化に基づいて、筋電位計測装置110cが装着された腕の手首がユーザの体における所定の空間内にあるか否かを判断し、手首が所定の空間内にあると判断した場合に、腕の動作を認識する。この例では、動作認識部104は、ユーザが手首を持ち上げ、筋電操作を行おうとしている動作(操作意図)をしたタイミングで、腕の動作認識が開始される。
以上のように、本実施の形態によれば、手首が所定の空間内に入ったときに、腕の動作認識が開始されるので、意図しないタイミングで動作認識が開始してしまうことが回避される。つまり、ユーザが日常的に動作させると、ユーザの意図していないときに筋電位計測装置110cが動作認識を実行し、誤動作を起こすことがある。しかし、ユーザの体に対して、ある特定の空間にあるときのみ、あるいは周期動作からの変化などを利用し、腕を持ち上げて操作を行おうとしている意図を検出することで、日常的に利用していても、誤動作がない筋電位計測装置110cをユーザインタフェース装置として利用できる。
以上、本発明に係る筋電位計測装置及び筋電位計測方法について、実施の形態1〜3に基づいて説明したが、本発明は、これらの実施の形態に限定されない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、又は、異なる実施の形態における構成要素を組み合わせて構築される別の形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記実施の形態1〜3における筋電位計測装置110a〜110cの全ての特徴(計測状態検知部106、動作認識部104a、認識モデル蓄積部103a、計測状態蓄積部120)を備える筋電位計測装置も本発明に含まれる。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の筋電位計測装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、ユーザの腕に接触する複数の電極を有する環状の電極部101を用いて、複数の電極のそれぞれでの筋電位を計測する筋電位計測ステップと、筋電位計測ステップで計測された筋電位に基づいて、腕の動作を認識し、認識した結果を出力する動作認識ステップと、筋電位計測部102による筋電位の計測の状態を検知する計測状態検知ステップとを含み、動作認識ステップでは、計測状態検知ステップで検知される計測の状態に基づいて、複数の電極のうち、当該電極の鉛直下方に一部が位置する電極である好適電極を特定し、特定した前記好適電極で計測される筋電位を、前記好適電極以外の電極である非好適電極で計測される筋電位よりも優先させたうえで、腕の動作を認識する。
また、上記実施の形態1〜3では、提示部105が備えられたが、提示部105は、必須の構成要素ではない。動作認識部104が動作認識した結果を無線等で外部機器に出力してもよい。
また、上記実施の形態3では、計測状態蓄積部120が備えられたが、計測状態蓄積部120がなくてもよい。動作認識部104が計測状態検知部106で検知された計測状態を一時的に保持するメモリを有すれば、計測状態蓄積部120がなくても、実施の形態3と同じ機能を実現できる。このとき、実施の形態3では、計測状態の時間変化に基づいて手首が所定の空間内にあるか否かが判断されたが、瞬時の計測状態に基づいて同様の判断がされてもよい。つまり、図32に示されるような判断基準を示すテーブルを筋電位計測装置110cが備え、動作認識部104が、そのテーブルに従って、瞬時の重力加速度(Z軸の重力加速度)に従って、手首が所定の空間内にあるか否かを判断してもよい。
また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作してもよい。
また、本発明は、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施してもよい。
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。
本開示において、ユニット、デバイスの全部又は一部、又は図1、図13、および図25に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)を含む一つ又は一つ以上の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIやICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、若しくはULSI(ultra large scale integration) と呼ばれるかもしれない。 LSIの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のROM、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置(processor)によって実行された場合に、ソフトウエアは、ソフトウエア内の特定の機能を、処理装置(processor)と周辺のデバイスに実行させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置(processor)、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
本発明は、筋電位計測装置として、特に、複数の電極のすべてが腕に密着していなくても適切に筋電位を計測して腕の動作を認識することができる筋電位計測装置、ジェスチャ入力装置、ユーザインタフェース装置等として、利用可能である。
101 電極部
102 筋電位計測部
103、103a 認識モデル蓄積部
104、104a 動作認識部
105 提示部
106 計測状態検知部
107 認識モデル切替部
108 第一認識モデル
109 第二認識モデル
110a〜110c 筋電位計測装置
120 計測状態蓄積部

Claims (20)

  1. ユーザの腕の動作を認識する筋電位計測方法であって、
    (a)前記ユーザの腕に接触する、複数の電極を有する腕輪を用いて、前記複数の電極のそれぞれでの筋電位を計測し、
    (b)前記筋電位を計測しているときの計測状態を検知し、
    (c)前記計測状態に基づいて、前記複数の電極のうち、鉛直下方に前記ユーザの腕の一部が位置する好適電極を特定し、前記特定した好適電極で計測された筋電位を、前記複数の電極のうち好適電極以外の電極で計測された筋電位に対して重み付けし、
    (d)前記重み付けされた筋電位を用いて、前記ユーザの動作を認識し、認識した結果を出力し、
    前記(a)から(d)の少なくとも1つは、プロセッサにより実行される
    筋電位計測方法。
  2. 前記(a)において、前記複数の電極のそれぞれについて、筋電位を時系列で測定し、
    前記(d)において、複数の種類の腕の動作と、前記各種類の動作に対応付けられた筋電位の時系列の変化とを含む認識モデルを参照して、前記計測した筋電位の時系列の変化と対応する腕の動作を認識する
    請求項1に記載の筋電位計測方法。
  3. 前記複数の種類の腕の動作には、前記ユーザの手の動きが含まれる
    請求項1に記載の筋電位計測方法。
  4. 前記(b)において、前記腕輪における重力の方向を特定することにより、前記計測の状態を検知する
    請求項1に記載の筋電位計測方法。
  5. 前記腕輪は、前記(c)で認識された結果を提示する提示部を備え、
    前記(b)において、前記提示部における重力の方向を特定することにより、前記計測の状態を検知する
    請求項4記載の筋電位計測方法。
  6. 前記(d)において、前記(b)で検知される前記計測の状態に基づいて、異なる複数の認識モデルから一つを選択し、
    前記(d)において、選択された前記認識モデルを用いて、前記腕の動作を認識する
    請求項2記載の筋電位計測方法。
  7. 前記複数の認識モデルには、手の平側の筋電位が生じやすい腕の動作についての前記筋電位の変化パターンを示す第一認識モデルと、手の甲側の筋電位が生じやすい腕の動作についての前記筋電位の変化パターンを示す第二認識モデルとが含まれる
    請求項6記載の筋電位計測方法。
  8. さらに、前記(b)で検知された前記計測の状態の時間変化を蓄積し、
    前記(d)において、前記蓄積された前記計測の状態の時間変化に基づいて、前記腕に含まれる手首の位置が前記ユーザの体における所定の空間内にあるか否かを判断し、前記手首の位置が前記所定の空間内にあると判断した場合に、前記(d)により、前記ユーザの腕の動作を認識する
    請求項1に記載の筋電位計測方法。
  9. 前記所定の空間は、前記腕の肘よりも高い位置に設定された空間である
    請求項8記載の筋電位計測方法。
  10. 前記(d)において、前記蓄積された前記計測の状態の時間変化に基づいて、前記腕に含まれる手首の位置が重力方向に移動し、かつ、前記所定の空間内に入った場合に、前記前記手首の位置が前記所定の空間内にあると判断する
    請求項8記載の筋電位計測方法。
  11. ユーザの腕の動作を認識する筋電位計測装置であって、
    複数の電極を有する腕輪と、少なくとも1つのメモリと、プロセッサとを備え、前記プロセッサにより以下を実行する、
    (a)前記ユーザの腕に接触する、複数の電極を有する腕輪を用いて、前記複数の電極のそれぞれでの筋電位を計測し、
    (b)前記筋電位を計測しているときの計測状態を検知し、
    (c)前記計測状態に基づいて、前記複数の電極のうち、鉛直下方に前記ユーザの腕の一部が位置する好適電極を特定し、前記特定した好適電極で計測された筋電位を、前記複数の電極のうち好適電極以外の電極で計測された筋電位に対して重み付けし、
    (d)前記重み付けされた筋電位を用いて、前記ユーザの動作を認識し、認識した結果を出力する
    筋電位計測装置。
  12. 前記メモリは、複数の種類の腕の動作と、前記各種類の動作に対応付けられた筋電位の時系列の変化とを含む認識モデルを蓄積しており、
    前記プロセッサにより以下を実行する、
    前記(a)において、前記複数の電極のそれぞれについて、筋電位を時系列で測定し、
    前記(d)において、複数の種類の腕の動作と、前記各種類の動作に対応付けられた筋電位の時系列の変化とを含む認識モデルを参照して、前記計測した筋電位の時系列の変化と対応する腕の動作を認識する
    請求項11に記載の筋電位計測装置。
  13. 前記複数の種類の腕の動作には、前記ユーザの手の動きが含まれる
    請求項11に記載の筋電位計測装置。
  14. さらに、前記筋電位計測装置は、重力加速度の向きを検知する加速度センサを備え、
    前記プロセッサにより以下を実行する、
    前記(b)において、前記加速度センサにより検知された重力加速度を用いて、前記腕輪における重力の方向を特定することにより、前記計測の状態を検知する
    請求項11に記載の筋電位計測装置。
  15. さらに、前記腕輪は、前記(c)で認識された結果を提示する提示部を備え、
    前記プロセッサにより以下を実行する、
    前記(b)において、前記加速度センサにより検知された重力加速度を用いて、前記提示部における重力の方向を特定することにより、前記計測の状態を検知する
    請求項14記載の筋電位計測装置。
  16. 前記(d)において、前記(b)で検知される前記計測の状態に基づいて、異なる複数の認識モデルから一つを選択し、
    前記(d)において、選択された前記認識モデルを用いて、前記腕の動作を認識する
    請求項12記載の筋電位計測装置。
  17. 前記複数の認識モデルには、手の平側の筋電位が生じやすい腕の動作についての前記筋電位の変化パターンを示す第一認識モデルと、手の甲側の筋電位が生じやすい腕の動作についての前記筋電位の変化パターンを示す第二認識モデルとが含まれる
    請求項16記載の筋電位計測装置。
  18. 前記メモリは、前記(b)で検知された前記計測の状態の時間変化を蓄積し、
    前記プロセッサにより以下を実行する、
    前記(d)において、前記蓄積された前記計測の状態の時間変化に基づいて、前記腕に含まれる手首の位置が前記ユーザの体における所定の空間内にあるか否かを判断し、前記手首の位置が前記所定の空間内にあると判断した場合に、前記(d)により、前記ユーザの腕の動作を認識する
    請求項11に記載の筋電位計測装置。
  19. 前記所定の空間は、前記腕の肘よりも高い位置に設定された空間である
    請求項18記載の筋電位計測装置。
  20. 前記蓄積された前記計測の状態の時間変化に基づいて、前記腕に含まれる手首の位置が重力方向に移動し、かつ、前記所定の空間内に入った場合に、前記前記手首の位置が前記所定の空間内にあると判断する
    請求項18記載の筋電位計測装置。
JP2015131939A 2014-07-08 2015-06-30 筋電位計測装置及び筋電位計測方法 Expired - Fee Related JP5991498B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015131939A JP5991498B2 (ja) 2014-07-08 2015-06-30 筋電位計測装置及び筋電位計測方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014140808 2014-07-08
JP2014140808 2014-07-08
JP2015131939A JP5991498B2 (ja) 2014-07-08 2015-06-30 筋電位計測装置及び筋電位計測方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016152330A Division JP6273590B2 (ja) 2014-07-08 2016-08-02 筋電位計測装置及び筋電位計測方法

Publications (2)

Publication Number Publication Date
JP2016027848A JP2016027848A (ja) 2016-02-25
JP5991498B2 true JP5991498B2 (ja) 2016-09-14

Family

ID=55066082

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015131939A Expired - Fee Related JP5991498B2 (ja) 2014-07-08 2015-06-30 筋電位計測装置及び筋電位計測方法
JP2016152330A Expired - Fee Related JP6273590B2 (ja) 2014-07-08 2016-08-02 筋電位計測装置及び筋電位計測方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016152330A Expired - Fee Related JP6273590B2 (ja) 2014-07-08 2016-08-02 筋電位計測装置及び筋電位計測方法

Country Status (2)

Country Link
US (1) US10285616B2 (ja)
JP (2) JP5991498B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6144743B2 (ja) * 2015-09-30 2017-06-07 京セラ株式会社 ウェアラブル装置
KR102570068B1 (ko) * 2015-11-20 2023-08-23 삼성전자주식회사 동작 인식 방법, 동작 인식 장치 및 웨어러블 장치
DE102016225153B4 (de) * 2016-12-15 2018-07-12 Magna Mirrors Holding Gmbh Beleuchtungseinheit
JP2018129610A (ja) * 2017-02-07 2018-08-16 ソニーセミコンダクタソリューションズ株式会社 通信装置、通信制御方法およびプログラム
CN107378944B (zh) * 2017-06-20 2020-12-25 东南大学 一种基于主成分分析法的多维表面肌电信号假手控制方法
JP6789903B2 (ja) * 2017-09-13 2020-11-25 株式会社東芝 筋電位測定装置
CN109316165A (zh) * 2018-09-30 2019-02-12 北京中医药大学东直门医院 一种可穿戴式中医切诊设备
CN110403609B (zh) * 2019-09-03 2020-09-01 北京海益同展信息科技有限公司 运动速度分析方法、装置和可穿戴设备
CN113296608A (zh) * 2021-05-28 2021-08-24 深圳中科健安科技有限公司 一种渐进式智能督查方法及系统
US20230105223A1 (en) * 2021-09-24 2023-04-06 Apple Inc. Electrodes for gesture recognition

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7628761B2 (en) * 1997-07-01 2009-12-08 Neurometrix, Inc. Apparatus and method for performing nerve conduction studies with localization of evoked responses
US6244873B1 (en) * 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
JP4348577B2 (ja) * 1999-08-17 2009-10-21 ソニー株式会社 筋電位情報を利用したモーションキャプチャー装置とその制御方法、並びにこれを用いた電気刺激装置、力触覚呈示装置とこれらの制御方法
JP2002287869A (ja) * 2001-03-26 2002-10-04 System Lsi Kk 筋電位信号の識別方式および筋電位信号を用いた入力装置
JP2004024769A (ja) * 2002-06-28 2004-01-29 Tokyo Metropolis 前腕の動作に伴う筋活動の測定方法及びその装置
DE60215504T2 (de) * 2002-10-07 2007-09-06 Sony France S.A. Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik
JP2004133794A (ja) * 2002-10-11 2004-04-30 Ntt Docomo Inc 認証装置、認証システム、および認証方法
JP2006171412A (ja) * 2004-12-16 2006-06-29 Seiko Epson Corp 表示装置、表示装置の制御方法、制御プログラムおよび記録媒体
JP2009226127A (ja) * 2008-03-25 2009-10-08 Tokyo Institute Of Technology 動き検出装置、動き検出システム及びプログラム
US9037530B2 (en) * 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8447704B2 (en) * 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
JP2012100768A (ja) * 2010-11-08 2012-05-31 Shiseido Co Ltd 容器の使用性評価方法
JP5838676B2 (ja) * 2011-09-12 2016-01-06 セイコーエプソン株式会社 腕装着型の電子機器およびその制御方法
JP2013121369A (ja) * 2011-12-09 2013-06-20 Sony Corp 入力装置及び校正方法
US10185416B2 (en) * 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
JP6145916B2 (ja) * 2012-12-13 2017-06-14 株式会社国際電気通信基礎技術研究所 センサ装置、計測システムおよび計測プログラム
WO2014208074A1 (ja) * 2013-06-24 2014-12-31 パナソニックIpマネジメント株式会社 生体電位入力インタフェースシステム、生体電位入力センサ装置、生体電位入力方法、およびそのプログラム
US9636034B2 (en) * 2013-10-23 2017-05-02 Verily Life Sciences Llc Non-invasive analyte detection system with modulation source
KR20150077684A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
JP6273590B2 (ja) 2018-02-07
JP2016027848A (ja) 2016-02-25
JP2016214907A (ja) 2016-12-22
US10285616B2 (en) 2019-05-14
US20160007876A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
JP6273590B2 (ja) 筋電位計測装置及び筋電位計測方法
US11281262B2 (en) Detecting a gesture made by a person wearing a wearable electronic device
US11166104B2 (en) Detecting use of a wearable device
EP3191922B1 (en) Classification of touch input as being unintended or intended
AU2020257155A1 (en) Motion gesture input detected using optical sensors
US20170186446A1 (en) Mouth proximity detection
US10996775B2 (en) Dynamic sensor assignment
WO2017007632A1 (en) Touchless user interface navigation using gestures
TW201423482A (zh) 輸入裝置、輸入方法以及記憶媒體
US20220155866A1 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
KR20210052874A (ko) 복수의 센서 신호를 이용하여 사용자의 제스처를 인식하는 전자 장치
US9927917B2 (en) Model-based touch event location adjustment
US11262850B2 (en) No-handed smartwatch interaction techniques
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
US11635823B1 (en) Detecting user input from multi-modal hand bio-metrics
EP4246289A1 (en) Detecting user input from multi-modal hand bio-metrics
Luan et al. HANDIO: a wireless hand gesture recognizer based on muscle-tension and inertial sensing
TWM642025U (zh) 具有手勢偵測功能的電子裝置
KR20210078283A (ko) 센서 신호로부터 사용자의 제스처를 인식하는 전자 장치 및 이를 이용한 제스처 인식 방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160802

R151 Written notification of patent or utility model registration

Ref document number: 5991498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees