JP2008192004A - 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2008192004A
JP2008192004A JP2007027230A JP2007027230A JP2008192004A JP 2008192004 A JP2008192004 A JP 2008192004A JP 2007027230 A JP2007027230 A JP 2007027230A JP 2007027230 A JP2007027230 A JP 2007027230A JP 2008192004 A JP2008192004 A JP 2008192004A
Authority
JP
Japan
Prior art keywords
unit
signal
hand
input information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007027230A
Other languages
English (en)
Other versions
JP4934813B2 (ja
Inventor
Toshio Tsuji
敏夫 辻
Tomoyuki Ichiza
智之 市座
Daiki Shiraishi
大樹 白石
Toshiaki Sugiyama
利明 杉山
Keisuke Shima
圭介 島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiroshima University NUC
Original Assignee
Hiroshima University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hiroshima University NUC filed Critical Hiroshima University NUC
Priority to JP2007027230A priority Critical patent/JP4934813B2/ja
Publication of JP2008192004A publication Critical patent/JP2008192004A/ja
Application granted granted Critical
Publication of JP4934813B2 publication Critical patent/JP4934813B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置を提供する。
【解決手段】入力情報処理装置１は、ユーザに装着された加速度センサ２によって測定された信号を、加速度信号および筋音信号に分離する信号分離部３と、前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部４とを備える。
【選択図】図１

Description

本発明は、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体に関するものである。
近年、高齢者や障害者が増加傾向にあり、機器を用いた人間支援に関する研究が数多く行われている。このような人間支援のための機器としては、例えば、体肢を切断した障害者が用いる動力義肢や、ジェスチャを用いてユーザの操作対象の動作を制御する制御装置等が挙げられる。
体肢を切断した障害者の動力義肢の制御手段として、あるいは、ほとんど身動きができない重度障害者の外部環境への伝達手段として、生体信号の一種である筋電位（ＥＭＧ）信号の利用が数多く試みられている。ＥＭＧ信号は、人の筋収縮レベルに応じて発生する信号であり、動作や力、運動の柔らかさ等の有益な情報を数多く含んでいる。そのため、動力義肢の動作制御にＥＭＧ信号を用いることにより、より自然な感覚で動力義肢の動作を制御することが可能である。
また、ジェスチャを用いてユーザの操作対象の動作を制御する制御装置では、ジェスチャの種類を識別するために、従来から磁気センサや加速度センサ等を用いてユーザの身体運動成分を取得する技術が数多く提案されている。また、ジェスチャの種類を識別するために、ユーザの身体運動成分以外の成分を用いる技術も提案されている。例えば、特許文献１には、ジェスチャを作り出す筋肉運動を表す時間進展信号から、ユーザが行ったジェスチャを決定する技術が開示されている。
また、前腕部および上腕部を有する義手型装置の動作制御や、ユーザが行ったジェスチャの種類の識別には、筋の電気活動を表すＥＭＧ信号と、ユーザの上肢の身体運動成分とを両方用いる技術も提案されている。このように、ユーザの筋活動成分と、身体運動成分とを両方用いることにより、上記義手型装置では動作を自由に制御することが可能となり、上記ジェスチャの識別では力の利用も識別することが可能となる。
特開２００４−１５７９９４号（平成１６年６月３日公開） 特開２００２−３６６９２７号（平成１４年１２月２０日公開） T.Tsuji, O.Fukuda, H.Ichinobe and M.Kaneko:"A Log-Linearized Gaussian Mixture Network and Its Application to EEG Pattern Classification"IEEE Transactions on Systems, Man, and CyberneticsPart C, vol. 29, no.1, pp.60-72, 1999
上述したように、動力義肢やジェスチャを用いた制御装置等の動作を制御するためには、ユーザの身体運動成分および筋活動成分が用いられている。このような機器は、ユーザの身体運動成分および筋活動成分のどちらか１つを用いて制御を行う場合よりも、両方を用いて制御を行う方が、より自由にまたはより直感的に動作を制御することが可能となる。
しかしながら、ユーザの身体運動成分および筋活動成分の両方を得るためには、例えば、身体運動成分を得るための三次元位置センサおよび筋活動成分を得るためのＥＭＧセンサの２つのセンサを用いる必要があり、装置が複雑になってしまうという問題がある。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
本発明の入力情報処理装置は、上記課題を解決するために、ユーザに装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離部と、前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部とを備えることを特徴としている。
本発明の入力情報処理装置では、１つの加速度センサによって測定された信号を、信号分離部によって加速度信号および筋音信号の２つの信号に分離することができる。そのため、加速度センサが装着されたユーザの操作対象の動作を制御するために、上記加速度信号および上記筋音信号の２つの信号を用いることが可能となる。
ここで、加速度信号とは、ユーザの身体運動の加速度を表した信号である。また、筋音信号とは、ユーザの活動筋の機械的な活動を表した信号であり、筋の収縮レベルにしたがって信号の振幅が変化する等、ＥＭＧ信号と同等の性質を有している。
すなわち、本発明の入力情報処理装置では、筋活動成分としてＥＭＧ信号ではなく筋音信号を用いることにより、１つの加速度センサによって測定された信号から、ユーザの身体運動成分および筋活動成分を得ることができる。その結果、従来のように、ユーザの身体運動成分および筋活動成分を得るために２つのセンサを用いる必要がなく、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置を提供することができる。
また、従来では、一般に、筋活動成分を得るためにＥＭＧ信号を利用しているが、ＥＭＧ信号は、発汗等の皮膚インピーダンス変化の影響を受けてしまうために、筋活動成分の測定が困難になる可能性がある。そこで、本発明の入力情報処理装置では、筋活動成分として、皮膚インピーダンス変化の影響を受けない筋音信号を用いることにより、加速度センサによって確実に測定することが可能となる。
また、本発明の入力情報処理装置では、前記操作対象は、前腕部および上腕部を有する義手型機器であり、前記制御部は、前記加速度信号から、前記義手型機器の手先の移動方向および移動距離を推定する手先移動変位推定部と、前記筋音信号から、前記義手型機器の手先の動作を推定する手先動作推定部とを備え、前記手先移動変位推定部によって推定された前記義手型機器の手先の移動方向および移動距離に基づいて、前記上腕部の駆動を制御する上腕制御部と、前記手先動作推定部によって推定された前記義手型機器の手先の動作に基づいて、前記前腕部の駆動を制御する前腕制御部とを備えていてもよい。
上記構成により、ユーザの操作対象が前腕部および上腕部を有する義手型機器である場合、１つの加速度センサから得られた信号を、信号分離部によって加速度信号および筋音信号に分離し、該加速度信号を上腕部の駆動を制御するために、該筋音信号を前腕部の駆動を制御するために用いることが可能である。
具体的には、手先移動変位推定部は、信号分離部によって分離された加速度信号から、現在位置からユーザが意図する目標位置までの義手型機器の手先の移動方向および移動距離を推定する。また、手先動作推定部は、信号分離部によって分離された筋音信号から、ユーザが意図する義手型機器の手先の動作を推定する。
そして、上腕制御部は、上記手先移動変位推定部によって推定された、現在位置からユーザが意図する目標位置までの義手型機器の手先の移動方向および移動距離に基づいて、上腕部の駆動を制御する。また、前腕制御部は、手先動作推定部によって推定された義手型機器の手先の動作に基づいて、前腕部の駆動を制御する。
すなわち、本発明の入力情報処理装置では、加速度センサによって測定された信号を、信号分離部によって加速度信号と筋音信号に分離することにより、該筋音信号からユーザが意図する手先の動作を推定するだけでなく、該加速度信号からユーザが意図する目標位置までの移動距離および移動方向の推定も行うことができる。その結果、１つの加速度センサを用いて、前腕部および上腕部を有する義手型機器を自由に制御することができる。
また、本発明の入力情報処理装置では、前記手先動作推定部は、前記筋音信号から特徴パターンベクトルを算出する特徴パターンベクトル算出部と、前記特徴パターンベクトルからニューラルネットを用いて、前記義手型機器の手先の動作を識別する手先動作識別部とを備えていてもよい。
本発明の入力情報処理装置では、ユーザが意図する手先の動作を推定するために、ニューラルネットを用いている。特に、本発明では、上記ニューラルネットとして、フィードフォワード型ニューラルネットの一種であるLog-Linearized Gaussian Mixture Network(LLGMN)を用いている。ＬＬＧＭＮは、内部に混合ガウス分布モデルを含んでいるために、特徴パターンベクトルに対する各動作の事後確率を算出することが可能である。
そのため、特徴パターンベクトル算出部によって筋音信号から算出された特徴パターンベクトルは、手先動作識別部において上記ニューラルネットを用いることにより、該特徴パターンベクトルに対する予め学習させた義手型機器の手先の動作の事後確率を算出することができる。その結果、手先動作識別部は、算出された事後確率から、上記特徴パターンベクトルが、どの手先動作に対応するか識別することができる。
また、ＬＬＧＭＮの学習能力により、個人差による筋音信号の違いや、加速度センサの装着位置のずれ、疲労等による筋音信号の変化等に対応することができるために、本発明の入力情報処理装置では、ユーザが意図する義手型機器の手先動作を高精度に識別することが可能である。
また、本発明の入力情報処理装置では、前記手先動作推定部は、さらに、前記筋音信号から前記義手型機器の手先の動作を発生させるタイミングを推定するタイミング推定部を備えていてもよい。
上記構成により、本発明の入力情報処理装置では、タイミング推定部は、手先動作識別部によって識別されたユーザの意図する義手型機器の手先の動作が、どのタイミングで行われたかを筋音信号から推定することができる。そのため、ユーザが意図する義手型機器の手先の動作を、ユーザが意図するタイミングで行うことができ、該義手型機器をより自由に制御することが可能となる。
また、本発明の入力情報処理装置では、前記手先動作識別部は、前記義手型機器の手先の動作の誤識別を防止するための誤識別防止部を備えていてもよい。
ユーザの操作対象が前腕部および上腕部を有する義手型機器である場合、手先動作推定部の手先動作識別部において、ユーザが意図する該義手型機器の動作の推定を誤識別してしまうと、日常生活に支障をきたす可能性がある。そのため、手先動作識別部における動作識別では、できるだけ誤識別を防止する必要がある。
そこで、本発明の上記構成により、ユーザが意図する義手型機器の手先の動作を識別する際に、誤識別が生じる可能性を低くすることが可能である。
また、本発明の入力情報処理装置では、前記制御部は、前記加速度信号から、ユーザのジェスチャの種類を識別するジェスチャ識別部と、前記筋音信号から、ユーザの筋収縮レベルを推定する筋収縮レベル推定部と、ジェスチャと、筋収縮レベルと、ユーザの操作対象の動作とを対応付けた動作テーブルを記憶している記憶部から、前記ジェスチャ識別部によって識別される前記ジェスチャおよび前記筋収縮レベル推定部によって推定される前記筋収縮レベルに対応するユーザの操作対象の動作を読み出す動作決定部と、前記動作決定部によって決定される前記ユーザの操作対象の動作に基づいて、前記操作対象の動作を制御する動作制御部とを備えていてもよい。
上記構成により、１つの加速度センサから得られた信号を、信号分離部によって加速度信号および筋音信号に分離し、該加速度信号をユーザが行ったジェスチャの種類を識別するために、該筋音信号をユーザの筋収縮レベルを推定するために用いることが可能である。
具体的には、ジェスチャ識別部は、信号分離部によって分離された加速度信号から、ユーザが行ったジェスチャの種類を識別する。また、筋収縮レベル推定部は、信号分離部によって分離された筋音信号から、ユーザの筋収縮レベル、すなわち力の入れ具合を推定する。
そして、動作決定部は、ジェスチャと、筋収縮レベルと、ユーザの操作対象の動作とを対応付けた動作テーブルを記憶している記憶部から、ジェスチャ識別部によって識別されるジェスチャおよび筋収縮レベル推定部によって推定される筋収縮レベルに対応するユーザの操作対象の動作を読み出す。そして、動作制御部は、動作決定部によって決定された動作に基づいて、ユーザの操作対象の動作を制御する。
すなわち、本発明の入力情報処理装置では、加速度センサによって測定された信号を、信号分離部によって加速度信号と筋音信号に分離することにより、該加速度信号からジェスチャの推定を行うだけでなく、該筋音信号から力の入れ具合の推定も行うことができる。その結果、ジェスチャだけを測定する構成と比較して、身体の動きが同じでも力の入れ具合に応じて別のジェスチャとして扱うことが可能となり、識別可能なジェスチャの種類を増やすことなく、行うことができるユーザの操作対象の動作の制御の種類を増加させることができる。
また、本発明の入力情報処理装置では、前記ジェスチャ推定部は、前記加速度信号から識別パターンベクトルを算出する識別パターンベクトル算出部と、前記識別パターンベクトルからニューラルネットを用いて、ユーザのジェスチャを識別するジェスチャ識別部とを備えていてもよい。
本発明の入力情報処理装置では、ユーザが行ったジェスチャの種類を識別するために、ニューラルネットを用いている。特に、本発明では、上記ニューラルネットとして、リカレント型ニューラルネットの一種であるRecurrent-Log-Linearized Gaussian Mixture Network(R-LLGMN)を用いている。Ｒ−ＬＬＧＭＮは、内部に混合ガウス分布モデルおよび隠れマルコフモデルを含んでいるために、識別パターンベクトルの時系列信号に対する各動作の事後確率を算出することが可能である。
そのため、識別パターンベクトル算出部によって加速度信号から算出された識別パターンベクトルは、ジェスチャ識別部において上記ニューラルネットを用いることにより、該識別パターンベクトルに対する予め学習させたジェスチャの種類の事後確率を算出することができる。その結果、ジェスチャ識別部は、算出された事後確率から、上記識別パターンベクトルが、どのジェスチャに対応するか識別することができる。
また、Ｒ−ＬＬＧＭＮの学習能力により、個人差による加速度信号の違いや、加速度センサの装着位置のずれ、疲労等による加速度信号の変化等に対応することができるために、本発明の入力情報処理装置では、ユーザが行ったジェスチャの種類を高精度に識別することが可能である。
また、本発明の入力信号制御方法は、人体に装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離工程と、前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御工程と含むことを特徴としている。
入力情報処理方法の各工程においては、入力情報処理装置の各部と同様の処理が実現されているので、入力情報処理装置と同様の作用効果を得ることができる。
なお、上記入力情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記入力情報処理装置をコンピュータにて実現させる入力情報処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の入力情報処理装置は、以上のように、ユーザに装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離部と、前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部とを備えることを特徴としている。
本発明の入力情報処理装置では、筋活動成分としてＥＭＧ信号ではなく筋音信号を用いることにより、１つの加速度センサによって測定された信号から、ユーザの身体運動成分および筋活動成分を得ることができる。その結果、従来のように、ユーザの身体運動成分および筋活動成分を得るために２つのセンサを用いる必要がなく、簡易な構成で、ユーザの身体運動成分および筋活動成分を利用可能な入力情報処理装置を実現できる。
本発明の一実施形態について図１〜図１４に基づいて説明すると以下の通りである。
本発明の入力情報処理装置は、ユーザに装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離し、該加速度信号および該筋音信号に基づいて、ユーザの操作対象の動作を制御する。
〔第１実施形態〕
まず、本発明の第１実施形態の入力情報処理装置について図１〜図７を参照して説明する。図１は、本実施形態の入力情報処理装置１の概略構成を示すブロック図である。
本実施形態の入力情報処理装置１は、ユーザが意図する動作を加速度センサ２によって測定された信号から推定し、該信号に基づいてユーザの操作対象の動作を制御するためのものであり、信号分離部３と、制御部４とから構成されている。
本実施形態では、ユーザの操作対象として、図２に示すような、上腕部１４および前腕部１３を有する義手型装置（義手型機器）１２が挙げられる。なお、以下の説明において、入力情報処理装置１は、義手型装置１２の動作を制御するものとして説明する。
加速度センサ２は、義手型装置１２を操作するユーザの腕に装着され、ユーザの腕の動きに応じた信号を測定するためのものである。加速度センサ２によって測定された上記信号には、ユーザの上肢運動の加速度信号（acceleration:ACC）と、加速度センサ２を装着した活動筋の機械的な活動を示す筋音信号（mechanomyogram:MMG）とが含まれている。
信号分離部３は、加速度センサ２によって測定された上記信号を、加速度信号と筋音信号とに分離するためのものである。信号分離部３は、各信号の周波数帯域の差を利用して、加速度センサ２によって測定された上記信号を加速度信号と筋音信号とに分離する。
ここで、加速度センサ２によって測定された上記信号と、加速度信号と、筋音信号との関係について図３を参照して説明する。図３（ａ）は、ユーザが把持状態と手先を動かした状態とを同時に行った場合に、加速度センサ２によって測定された信号における時間と加速度との関係を示すグラフであり、図３（ｂ）は、図３（ａ）の信号から分離された筋音信号における時間と加速度との関係を示すグラフであり、図３（ｃ）は、図３（ａ）の信号から分離された加速度信号における時間と加速度との関係を示すグラフである。なお、図３（ａ）〜（ｃ）において、横軸は時間（秒）を、縦軸は加速度（ｍ／ｓ２）を、陰影をつけた箇所は把持を行っていることを示している。
ここで、図３（ｂ）に示す筋音信号を得るために、図３（ａ）に示す加速度センサ２によって測定された信号を、通過帯域が２５〜１５０〔Ｈｚ〕のバンドパス型バタワースフィルタを用いて分離している。また、図３（ｃ）に示す加速度信号を得るために、図３（ａ）に示す加速度センサ２によって測定された信号を、通過帯域が１〜３〔Ｈｚ〕のバンドパス型バタワースフィルタを用いて分離している。
筋音信号は、図３（ｂ）に示すように、図中の陰影をつけた箇所のみ、すなわち把持を行っているときのみに検出されていることが分かる。すなわち、筋の随意収縮時の筋音信号は、比較的高周波帯域の周波数成分が含まれているために、加速度センサ２によって測定された信号を、適切なフィルタ処理を施すことにより、加速度信号と筋音信号とに分離することができる。
制御部４は、信号分離部３によって分離された加速度信号および筋音信号を用いて、義手型装置１２の上腕部１４および前腕部１３の駆動を制御するためのものであり、手先移動変位推定部５と、上腕制御部６と、手先動作推定部７と、前腕制御部８とから構成されている。
手先移動変位推定部５は、信号分離部３によって分離された加速度信号から、現在位置からユーザが意図する目標位置までの義手型装置１２の手先の移動方向および移動距離を算出するためのものである。
ここで、手先移動変位推定部５が加速度信号から義手型装置１２の手先の移動方向および移動距離を算出する方法について図４を参照して説明する。図４は、上肢を動作させた場合の加速度信号を示すグラフである。なお、図４において、横軸は時間（秒）を、縦軸は加速度（ｍ／ｓ２）を示している。
まず、手先移動変位推定部５が、正確な義手型装置１２の手先の移動方向および移動距離を算出するためには、図４に示す加速度信号からバイアス成分の影響を除去する必要がある。そのため、加速度信号からユーザの上肢の動作に対応する動作期間の切り出しを行う。ここでは、加速度信号の閾値ＡＣＣｔｈが予め設定されている。
図４に示すように、加速度信号ＡＣＣ（ｔ）が閾値ＡＣＣｔｈを初めて超えた時点を時刻Ｔとし、時刻Ｔから加速度信号ＡＣＣ（ｔ）が最初にゼロ交差する時刻を動作開始時刻Ｔｓｔｒとする。また、動作開始時刻Ｔｓｔｒから加速度信号ＡＣＣ（ｔ）が２回ゼロ交差した時点の時刻を動作終了時刻Ｔｅｎｄとする。そして、動作開始時刻Ｔｓｔｒから動作終了時刻Ｔｅｎｄまでの区間、すなわち図４の陰影をつけた区間を動作期間とする。
上述した方法によって抽出した加速度信号の動作期間を、台形積分法を用いて、下記数式１により速度Ｖ（ｔ）を算出する。
そして、上記数式１によって算出された速度Ｖ（ｔ）を用いて、下記数式２により位置Ｐ（ｔ）を算出する。
上腕制御部６は、手先移動変位推定部５によって算出された義手型装置１２の手先の目標位置Ｐ（ｔ）に基づいて、義手型装置１２の上腕部１４の駆動を制御するためのものである。
手先動作推定部７は、義手型装置１２の前腕部１３における手先の動作を推定するためのものであり、特徴パターンベクトル算出部９と、手先動作識別部１０と、タイミング推定部１１とから構成されている。
特徴パターンベクトル算出部９は、信号分離部３によって分離された筋音信号から、特徴パターンベクトルを算出するためのものである。特徴パターンベクトルは、筋音信号から下記数式３によって算出される。
ここで、ｘｉ（ｔ）（ｉ＝１，・・・，Ｌ）は、特徴パターンベクトルの各要素を示している。また、ＭＭＧｉ（ｔ）は信号分離部３によって分離された時刻ｔにおける筋音信号を示しており、ＭＭＧｉ ｓｔは安静時に計測したＭＭＧｉ（ｔ）の平均値を示している。なお、Ｌは加速度センサの個数を示している。
手先動作識別部１０は、特徴パターンベクトル算出部９によって算出された特徴パターンベクトルから、ニューラルネットを用いてユーザの意図する義手型装置１２の手先の動作を識別するためのものである。
ここで、ニューラルネットとしては、フィードフォワード型ニューラルネットの一種であるLog-Linearized Gaussian Mixture Network(LLGMN)が用いられる。ＬＬＧＭＮは、内部に混合ガウス分布モデルを含んでいるために、特徴パターンベクトルに対する各動作の事後確率を算出することが可能である。
そのため、手先動作識別部１０は、上記ニューラルネットを用いることにより、特徴パターンベクトル算出部９によって筋音信号から算出された特徴パターンベクトルに対する、予め上記ニューラルネットに学習させた義手型装置１２の手先の動作の事後確率を算出することができる。その結果、手先動作識別部１０は、算出された事後確率から、上記特徴パターンベクトルが、どの手先動作に対応するか識別することができる。
また、ＬＬＧＭＮの学習能力により、個人差による筋音信号の違いや、加速度センサ２の装着位置のずれ、疲労等による筋音信号の変化等に対応することができるために、入力情報処理装置１では、ユーザが意図する義手型装置１２の手先動作を高精度に識別することが可能である。なお、ＬＬＧＭＮについては、非特許文献１に具体的に記載されている。
また、手先動作識別部１０において、ユーザが意図する義手型装置１２の動作を誤識別してしまうと、ユーザは日常生活に支障をきたす可能性がある。そのため、手先動作識別部１０における動作識別では、できるだけ誤識別を防止する必要がある。
そこで、本実施形態の入力情報処理装置１では、手先動作識別部１０がユーザが意図する義手型装置１２の手先の動作の誤識別を防止するための誤識別防止部（図示せず）を備えることにより、ユーザが意図する義手型装置１２の手先の動作を識別する際に、誤識別が生じる可能性を低くすることができる。
上記誤識別防止部としては、上記ニューラルネットによって算出された事後確率から、該ニューラルネットが学習している各手先動作のエントロピーを求め、該エントロピーが所定の閾値Ｈｔｈを下回った場合には識別動作を行い、該エントロピーが所定の閾値Ｈｔｈを超えた場合には識別動作を保留するエントロピー判定部が挙げられる。また、上記誤識別防止部として、上記ニューラルネットによって識別された識別結果に対し安定識別回数Ｔｉｓｔｂを設定し、同じ識別結果が連続し安定識別回数Ｔｉｓｔｂ回繰り返された場合のみ制御を行う安定識別回数判定部が挙げられる。
タイミング推定部１１は、ユーザが意図する手先動作のタイミングを推定するためのものである。筋音信号は、筋収縮レベルに対応して、その振幅が大きくなる。そのため、筋音信号からユーザの筋力を推定することにより、ユーザが手先動作を行うタイミングを推定することができる。ユーザの筋力の推定は、下記数式４および下記数式５から求めることができる。
まず、下記数式４によって、筋音信号から筋音信号のＲＭＳ（Root-mean-square）値であるＲＭＳｉ（ｔ）を算出する。ここで、ｎはＲＭＳの履歴数を示す。
次に、上記数式４によって算出されたＲＭＳｉ（ｔ）を、チャネル毎に最大随意筋収縮時のＲＭＳ値で正規化する。正規化した各信号から、下記数式５によってチャネル数で平均化し、推定筋力ＦＭＭＧ（ｔ）を算出する。ここで、ＲＭＳｉ ｍａｘは最大随意収縮時のＲＭＳｉ（ｔ）、ＲＭＳｉ ｓｔは安静時に測定したＲＭＳｉ（ｔ）の平均値である。
そして、算出された推定筋力ＦＭＭＧ（ｔ）に対し、予め閾値Ｆｔｈを設定しておき、動作発生のタイミングを調べる。推定筋力ＦＭＭＧ（ｔ）が閾値Ｆｔｈを超えたときに動作発生と判定し、ＬＬＧＭＮにより推定された手先動作を行い、推定筋力ＦＭＭＧ（ｔ）が閾値Ｆｔｈを下回ったときに動作停止と判定する。
前腕制御部８は、手先動作識別部１０によって識別されたユーザが意図する義手型装置１２の手先の動作と、タイミング推定部１１によって推定された手先動作を行うタイミングとを取得し、それらの情報に基づいて前腕部１３の駆動を制御するためのものである。
ここで、本実施形態の入力情報処理装置１における処理手順について図５を参照して説明する。図５は、本実施形態の入力情報処理装置１における処理手順を示すフローチャートである。
まず、ユーザに装着された加速度センサ２は、ユーザの動きに応じた信号を測定する（Ｓ１）。そして、信号分離部３は、加速度センサ２によって測定された上記信号を、加速度信号および筋音信号に分離する（Ｓ２）。
次に、手先移動変位推定部５は、信号分離部３によって分離された加速度信号を取得し、該加速度信号からユーザが意図する義手型装置１２の手先の移動変位を推定する（Ｓ３）。そして、上腕制御部６は、手先移動変位推定部５によって推定されたユーザが意図する義手型装置１２の手先の移動変位に基づいて、義手型装置１２の上腕部１４の駆動を制御する（Ｓ４）。
また、Ｓ３およびＳ４と同時に、手先動作推定部７は信号分離部３によって分離された筋音信号を取得し、該筋音信号からユーザが意図する義手型装置１２の手先の動作を推定する（Ｓ５）。そして、前腕制御部８は、手先動作推定部７によって推定されたユーザが意図する義手型装置１２の手先の動作に基づいて、義手型装置１２の前腕部１３の駆動を制御する（Ｓ６）。
次に、Ｓ５の「手先動作を推定」する処理について、図６を参照して具体的に説明する。図６は、図５に示すフローチャートにおける手先動作の推定の処理手順を具体的に示すフローチャートである。
まず、特徴パターンベクトル算出部９は、信号分離部３によって分離された筋音信号を取得し、該筋音信号に基づいて特徴パターンベクトルを算出する（Ｓ７）。そして、手先動作識別部１０は、特徴パターンベクトル算出部９によって算出された特徴パターンベクトルを取得し、該特徴パターンベクトルをニューラルネットを用いて識別し（Ｓ８）、ユーザが意図する義手型装置１２の手先の動作を推定する（Ｓ９）。
また、Ｓ７〜Ｓ９と同時に、タイミング推定部１１は、信号分離部３によって分離された筋音信号を取得し、該筋音信号に基づいて、ユーザの推定筋力を算出する（Ｓ１０）。そして、タイミング推定部１１は、上記推定筋力からユーザが意図する義手型装置１２の手先の動作を行うタイミングを推定する（Ｓ１１）。
次に、図４のＳ６に戻り、手先動作識別部１０によって識別されたユーザの意図する義手型装置１２の手先の動作と、タイミング推定部１１によって推定されたユーザが意図する義手型装置１２の手先の動作を行うタイミングに基づき、前腕制御部８が前腕部１３の駆動を制御する。
ここで、本実施形態の入力情報処理装置１が、加速度信号から義手型装置１２の手先の移動変位を、筋音信号から義手型装置１２の手先の動作を制御することが可能であるか否かについて、図７（ａ）および図７（ｂ）を参照して説明する。図７（ａ）は、健常者のユーザが行う４種類の手先動作を示す図であり、図７（ｂ）は、入力情報処理装置１においてユーザが図７（ａ）に示す各動作および上腕の往復運動を行った場合の、加速度信号と、筋音信号と、推定筋力と、エントロピーと、識別結果と、義手型装置１２の上腕部１４の変位との関係を示すグラフである。なお、図７（ｂ）において、エントロピーの閾値Ｈｔｈは０．４、推定筋力の閾値Ｆｔｈは０．３、安定識別回数であるＴｉｓｔｂを４００としている。
まず、入力情報処理装置１が筋音信号から義手型装置１２の手先の動作を制御することが可能であるかを検証するために、加速度センサ２を装着した健常者のユーザが、図７（ａ）に示すように、１開き、２握り、３掌屈、４背屈の４種類の手先動作を行った場合に、手先動作識別部１０において各手先動作を識別できるかを調べる。
なお、ここでは、加速度センサ２として、３軸加速度センサを１つ、１軸加速度センサを３つ用いており、全てのセンサを被験者の右腕前腕部に装着している。したがって、筋音信号は、３軸加速度センサのｚ軸と１軸加速度センサ３個の計４チャネルから取得し、加速度信号は３軸加速度センサのｘ、ｙ、ｚ軸から取得する。
また、手先動作識別部１０のＬＬＧＭＮでは、特徴パターンベクトル算出部９において、図７（ａ）に示す各動作２００組の特徴パターンベクトルを算出し、各動作２００組の特徴パターンベクトルを教師信号として学習を行っている。
図７（ｂ）の１〜４列に示すように、図７（ａ）に示す１〜４の手先動作を行った場合、加速度信号はほとんど検出されていないが、筋音信号は検出されており、上記各手先動作が正確に識別されていることが分かる。すなわち、本実施形態の入力情報処理装置１は、筋音信号から義手型装置１２の手先の動作を制御することが可能であるといえる。
次に、本実施形態の入力情報処理装置１が加速度信号から義手型装置１２の手先の移動変位を制御することが可能であるか検証するために、加速度センサ２を装着した健常者のユーザが、上腕の動作ができるだけｘ、ｙ、ｚ軸上に沿うように腕の往復運動を行った場合に、手先移動変位推定部５において手先の移動変位を推定することができるかを調べる。なお、図７（ｂ）においては、ｘ軸方向の移動を５列目に、ｙ軸方向の移動を６列目に、ｚ軸方向の移動を７列目に示している。
図７（ｂ）の５〜７列に示すように、上腕の上記各動作を行った場合、筋音信号はほとんど検出されていないが、加速度信号は検出されており、上腕の上記各動作の移動変位が正確に推定されていることが分かる。すなわち、本実施形態の入力情報処理装置１は、加速度信号から義手型装置１２の手先の移動変位を制御することが可能であるといえる。
また、手先動作識別部１０は、安定識別判定およびエントロピーによる判断基準を設けているために、図７（ｂ）から、ユーザの意図する手先動作を安定して識別できていることが分かる。
〔第２実施形態〕
次に、本発明の第２実施形態の入力情報処理装置２１について図８〜図１４に基づいて説明する。図８は、本発明の第２実施形態に係る入力情報処理装置２１の概略構成を示すブロック図である。なお、第１実施形態の入力情報処理装置１における構成要素と、同等の機能を有する構成要素については同一の符号を付記している。
本実施形態の入力情報処理装置２１は、ユーザが行ったジェスチャおよび筋収縮を、加速度センサ２が測定した信号から推定し、該推定結果に基づいてユーザの操作対象の動作を制御するためのものであり、信号分離部３と、制御部２４と、記憶部２８とから構成されている。
本実施形態では、ユーザの操作対象として、図９に示すような、パーソナルコンピュータ３４の表示装置３５に表示された画像が挙げられる。図９では、本実施形態の入力情報処理装置２１は、パーソナルコンピュータ３４に搭載されている。
図９では、ユーザがジェスチャおよび筋収縮を行うことにより、加速度センサ２によって測定された信号が、例えばＢｌｕｅｔｏｏｔｈを介してパーソナルコンピュータ３４に送信される。パーソナルコンピュータ３４に搭載された入力情報処理装置２１は、受信した上記信号に基づいて表示装置３５に表示された画像の動作を制御する。そして、入力情報処理装置２１は、表示装置３５に表示された画像の動作に対応付けられた処理、例えばランプ３６を点灯させる。なお、以下の説明において、入力情報処理装置２１は、表示装置３５に表示された画像の動作を制御するものとして説明する。
ここで、本実施形態の入力情報処理装置２１の構成要素と、第１実施形態の入力情報処理装置１の構成要素とで異なる構成について説明する。
制御部２４は、信号分離部３によって分離された加速度信号および筋音信号を用いて、表示装置３５に表示された画像の動作を制御し、その制御結果に基づいてランプ３６を点灯させるためのものであり、ジェスチャ推定部２５と、筋収縮レベル推定部２６と、動作決定部２７と、動作制御部２９とから構成されている。
ジェスチャ推定部２５は、ユーザが行ったジェスチャの種類を推定するものであり、識別パターンベクトル算出部３０と、ジェスチャ識別部３１とから構成されている。
識別パターンベクトル算出部３０は、信号分離部３によって分離された加速度信号を取得し、該加速度信号から識別パターンベクトルを算出するためのものである。
ジェスチャ識別部３１は、識別パターンベクトル算出部３０によって算出された識別パターンベクトルから、ニューラルネットを用いてユーザが行ったジェスチャの種類を識別するためのものである。
ここで、ニューラルネットとしては、リカレント型ニューラルネットの一種であるRecurrent-Log-Linearized Gaussian Mixture Network(R-LLGMN)が用いられる。Ｒ−ＬＬＧＭＮは、内部に混合ガウス分布モデルおよび隠れマルコフモデルを含んでいるために、識別パターンベクトルの時系列信号に対する各動作の事後確率を算出することが可能である。
そのため、ジェスチャ識別部３１は、上記ニューラルネットを用いることにより、識別パターンベクトル算出部３０によって加速度信号から算出された識別パターンベクトルに対する、予め上記ニューラルネットに学習させた数種類のジェスチャの事後確率を算出することができる。その結果、ジェスチャ識別部３１は、算出された事後確率から、上記識別パターンベクトルが、どの種類のジェスチャに対応するか識別することができる。
また、Ｒ−ＬＬＧＭＮの学習能力により、個人差による加速度信号の違いや、加速度センサ２の装着位置のずれ、疲労等による加速度信号の変化等に対応することができるために、入力情報処理装置２１では、ユーザが行ったジェスチャの種類を高精度に識別することが可能である。なお、Ｒ−ＬＬＧＭＮについては、特許文献２に具体的に記載されている。
また、ジェスチャ識別部３１において、ユーザが行ったジェスチャの種類を正確に推定するためには、識別パターンベクトル算出部３０が加速度信号から識別パターンベクトルを算出する際に、ユーザがジェスチャを行っている区間の加速度信号を用いて識別パターンベクトルを算出することが望ましい。
そのため、まず、加速度信号のどの区間でユーザがジェスチャを行っているか検出する必要がある。そこで、識別パターンベクトル算出部３０は、信号分離部３によって分離された加速度信号から、下記数式６および下記数式７によって、ジェスチャの検出の指標であるジェスチャ検出信号を算出する。ここで、ｇｉ ｍａｘ（ｉ＝ｘ、ｙ、ｚ）は、ユーザがジェスチャを行っている場合のｇｉ（ｔ）（ｉ＝ｘ、ｙ、ｚ）の絶対値の最大値を示す。
識別パターンベクトル算出部３０によって、上記数式６および上記数式７を用いて算出されたジェスチャ検出信号を図１０に示す。図１０は、ジェスチャ検出信号を示すグラフである。なお、図１０において、横軸は時間（秒）、縦軸は加速度（ｍ／ｓ２）を示す。
次に、識別パターンベクトル算出部３０が、図１０に示すジェスチャ検出信号から、ユーザがジェスチャを行っている区間を切り出し、その区間を用いて識別パターンベクトルを算出する方法について説明する。ここでは、その値を越えると動作が開始しているとみなされる動作開始閾値Ｔｈｓｔｒと、その値を下回ると動作が終了したとみなされる動作終了閾値Ｔｈｅｎｄとが予め設定されている。
図１０に示すように、ジェスチャ検出信号が動作開始閾値Ｔｈｓｔｒ以上になる時点の時刻をジェスチャ開始時刻tｓｔｒとする。また、ジェスチャ開始時刻tｓｔｒ以降、ジェスチャ検出信号が動作終了判定時間Ｔｅｎｄの間連続して動作終了閾値Ｔｈｅｎｄを下回った最初の時点の時刻をジェスチャ終了時刻ｔｅｎｄとする。そして、ジェスチャ開始時刻tｓｔｒからジェスチャ終了時刻ｔｅｎｄまでの区間のうち、ジェスチャ検出信号の最初の極大値から最後の極大値までの区間をジェスチャ識別区画とする。
次に、識別パターンベクトル算出部３０は、ジェスチャ識別区画のジェスチャ検出信号から、下記数式８によって、識別パターンベクトルＧｉ（ｔ）（ｉ＝ｘ、ｙ、ｚ）を算出する。
筋収縮レベル推定部２６は、ユーザの筋収縮レベルを推定するためのものであり、筋収縮情報抽出部３２と、閾値判定部３３とから構成されている。
筋収縮情報抽出部３２は、信号分離部３によって分離された筋音信号を取得し、該筋音信号から筋収縮情報を抽出するためのものである。筋音は筋側方への振動であるために、ｘ、ｙ、ｚ軸成分からなる筋音信号から、ユーザの体表面に垂直なｚ軸成分のｍｚ（ｔ）を筋収縮レベルの推定に用いる。筋収縮レベルの増加に伴い、筋音信号の振幅が大きくなるために、筋音信号の振幅からユーザの力の入れ具合を求めることができる。筋収縮情報抽出部３２は、ｍｚ（ｔ）から下記数式９によって筋収縮情報を算出する。
ここで、平均値ｍｚ ｇｅｓ（ｔ）、平均値ｍｚ ｃｏｎ（ｔ）は、それぞれ事前に測定したジェスチャ時および筋収縮時の平均値ｍｚ（ｔ）の最大値を示す。
閾値判定部３３は、筋収縮情報抽出部３２によって抽出された筋収縮情報が、所定の閾値Ｔｈを越えた時点で、ユーザが力を入れて筋収縮を行ったと判定するためのものである。
動作決定部２７は、ジェスチャ推定部２５のジェスチャ識別部３１によって推定されたジェスチャの種類と、筋収縮レベル推定部２６の閾値判定部３３によって判定された筋収縮レベルとに基づいて、記憶部２８に記憶されている動作テーブルから、該ジェスチャの種類および該筋収縮レベルに対応する動作を検索し、動作を決定するためのものである。ここで、記憶部２８は、ジェスチャと、筋収縮レベルと、図９のパーソナルコンピュータ３４の表示装置３５に表示された画像の動作とを対応付けた動作テーブルを記憶している。すなわち、動作決定部２７は、ユーザが行ったジェスチャの種類および筋収縮レベルに対応する、図９のパーソナルコンピュータ３４の表示装置３５に表示された画像の動作を決定する。
動作制御部２９は、動作決定部２７によって決定された動作に基づいて、図９のパーソナルコンピュータ３４の表示装置３５に表示された画像の動作を制御するためのものである。さらに、動作制御部２９は、表示装置３５に表示された画像の動作に対応付けられた処理、例えばランプ３６を点灯させる。
ここで、本実施形態の入力情報処理装置２１における処理手順について図１１を参照して説明する。図１１は、本実施形態の入力情報処理装置２１における処理手順を示すフローチャートである。
まず、ユーザに装着された加速度センサ２は、ユーザの動きに応じた信号を測定する（Ｓ２１）。そして、信号分離部３は、加速度センサ２によって測定された上記信号を、加速度信号および筋音信号に分離する（Ｓ２２）。
次に、ジェスチャ推定部２５の識別パターンベクトル算出部３０は、信号分離部３によって分離された加速度信号を取得し、該加速度信号から識別パターンベクトルを算出する（Ｓ２３）。そして、ジェスチャ推定部２５のジェスチャ識別部３１は、識別パターンベクトル算出部３０によって算出された識別パターンベクトルを取得し、該識別パターンベクトルをニューラルネットで識別し（Ｓ２４）、ユーザが行ったジェスチャを推定する（Ｓ２５）。
また、Ｓ２３〜Ｓ２５と同時に、筋収縮レベル推定部２６の筋収縮情報抽出部３２は、信号分離部３によって分離された筋音信号を取得し、該筋音信号から筋収縮情報を抽出する（Ｓ２６）。そして、筋収縮レベル推定部２６の閾値判定部３３は、筋収縮情報抽出部３２によって抽出された筋収縮情報が所定の閾値を超えるか否かを判定することにより、筋収縮レベルを推定する（Ｓ２７）。
次に、動作決定部２７は、ジェスチャ推定部２５によって推定されたユーザが行ったジェスチャと、筋収縮レベル推定部２６によって推定された筋収縮レベルとに基づいて、記憶部２８に記憶された動作テーブルを参照して、ユーザの操作対象の動作を決定する（Ｓ２８）。
次に、動作制御部２９は、動作決定部２７によって決定された動作に基づいて、上記操作対象を制御する（Ｓ２９）。
ここで、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とを、それぞれ別々に行うことが可能か否かについて、図１２および図１３を参照して説明する。
図１２は、ジェスチャの種類を示す図である。また、図１３は、入力情報処理装置２１において、ユーザが図１２に示す各ジェスチャおよび把持を行った場合の、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別結果との関係を示すグラフである。
なお、図１３において、ａｘ（ｔ）はｘ軸方向の加速度信号、ａｙ（ｔ）はｙ軸方向の加速度信号、ａｚ（ｔ）はｚ軸方向の加速度信号を示す。また、ｇ（ｔ）はジェスチャ検出信号、Ｍ（ｔ）は筋収縮情報信号を示す。また、図１３において、陰影をつけた領域は、ジェスチャの識別区画もしくは筋収縮レベルの推定区画を示している。
上記検証を行うために、ユーザの右前腕部に加速度センサ２を装着し、ユーザが図１２に示す６つのジェスチャ、すなわち、１．右、２．上、３．左、４．下、５．奥、６．手前を行った後、無ジェスチャ状態で２回把持を行った場合、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とが、それぞれ別々に行われるか否かを調べる。
ここで、加速度センサ２としては、３軸加速度センサを用いている。また、識別パターンベクトル算出部３０において、動作開始閾値Ｔｈｓｔｒを０．２、動作終了閾値Ｔｈｅｎｄを０．２５、動作終了判定時間Ｔｅｎｄを０．１５として、ジェスチャ識別区画を抽出している。また、閾値判定部３３において、閾値Ｔｈを０．３としている。
図１３の１〜６列に示すように、ユーザが図１２に示すジェスチャ１〜６を行った場合には、加速度信号およびジェスチャ検出信号が検出され、筋収縮情報信号は所定の閾値Ｔｈを超えていない。また、図１３の７、８列に示すように、無ジェスチャ状態で把持を行った場合には、加速度信号およびジェスチャ検出信号は検出されず、筋収縮情報信号のみが所定の閾値Ｔｈを超えている。そして、識別結果では、各ジェスチャおよび筋収縮レベルが正確に推定されていることが分かる。
すなわち、図１３に示す結果から、本実施形態の入力情報処理装置２１は、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とを、それぞれ別々に行うことが可能であるといえる。
次に、ユーザが力を入れながらジェスチャを行った場合においても、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とをそれぞれ行うことが可能であるかについて、図１４を参照して説明する。図１４は、ユーザが力を入れながら図１２の各ジェスチャを行った場合における、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別・推定結果との関係を示すグラフである。なお、図中のａｘ（ｔ）、ａｙ（ｔ）、ａｚ（ｔ）、ｇ（ｔ）、Ｍ（ｔ）については、図１３と同じであるために、ここでは説明は省略する。また、図中の陰影をつけた領域は、ジェスチャの識別区間または筋収縮レベルの推定区間を示している。すなわち、図中の濃い陰影の領域は、ジェスチャの識別区間および筋収縮レベルの推定区間が重なっており、力を入れながらジェスチャを行ったと認識されている領域である。
上記検証を行うために、ユーザの右前腕部に加速度センサ２を装着し、ユーザが力をいれながら、図１２に示す６つのジェスチャ、すなわち、１．右、２．上、３．左、４．下、５．奥、６．手前を行った場合、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とをそれぞれ行うことが可能であるか調べる。
図１４の１〜６列に示すように、ユーザが力を入れながら図１２に示すジェスチャ１〜６を行った場合には、加速度信号およびジェスチャ検出信号が検出されるとともに、筋収縮情報信号が所定の閾値Ｔｈを超えている。そして、識別結果では、力を入れているにも関らず、各ジェスチャが正確に推定されていることが分かる。
すなわち、図１４に示す結果から、本実施形態の入力情報処理装置２１は、ユーザが力を入れながらジェスチャを行った場合においても、ジェスチャ推定部２５によるジェスチャの推定と、筋収縮レベル推定部２６による筋収縮レベルの推定とをそれぞれ行うことが可能であるといえる。
以上のように、本実施形態の入力情報処理装置２１では、加速度センサ２によって測定された信号を、信号分離部３によって加速度信号と筋音信号に分離することにより、ジェスチャ推定部２５によって該加速度信号からジェスチャの推定を行うだけでなく、筋収縮レベル推定部２６によって該筋音信号から力の入れ具合の推定も行うことができる。
その結果、ジェスチャだけを測定する構成と比較して、身体の動きが同じでも力の入れ具合に応じて別のジェスチャとして扱うことが可能となり、識別可能なジェスチャの種類を増やすことなく、行うことができるユーザの操作対象の動作の制御の種類を増加させることができる。
また、本実施形態の入力情報処理装置２１は、例えば、テレビゲームのようなゲーム機にも好適に適用することができる。入力情報処理装置２１は、上述したように、筋音信号から力の入れ具合の推定も行うことができるため、テレビゲームにおいて表示装置に表示された画像の動作、例えばテニスゲームやゴルフゲーム等のキャラクターの動作とユーザの動作とを連動させることによって、ユーザはキャラクターにより複雑な動作を行わせることが可能となる。
例えば、テニスゲームにおいて、ゲームのキャラクターの動作とユーザの動作とを連動させた場合、ユーザがサーブやスマッシュ等を行うときに、入力情報処理装置２１は、身体運動成分から動作を推測するだけでなく、筋音信号から筋収縮レベルの推定も行うことができるために、ユーザが意図するプレーをより的確にゲームのキャラクターに行わせることができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、入力情報処理装置１、２１の各ブロック、特に信号分離部３、制御部４、２４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
すなわち、入力情報処理装置１、２１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである入力情報処理装置１、２１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記入力情報処理装置１、２１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
また、入力情報処理装置１、２１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明の入力情報処理装置は、体肢を切断した障害者が用いる動力義肢や、ジェスチャを用いてユーザの操作対象の動作を制御する制御装置等、ユーザの身体運動成分および筋活動成分を用いて動作を制御する機器に好適に用いられる。
本発明の第１実施形態に係る入力情報処理装置の概略構成を示すブロック図である。 前腕部および上腕部を有する義手型装置を示す図である。 （ａ）はユーザが把持状態と手先を動かした状態とを同時に行った場合に、加速度センサ２によって測定された信号における時間と加速度との関係を示すグラフであり、（ｂ）は（ａ）の信号から分離された筋音信号における時間と加速度との関係を示すグラフであり、（ｃ）は（ａ）の信号から分離された加速度信号における時間と加速度との関係を示すグラフである。 上肢を動作させた場合の加速度信号を示すグラフである。 上記入力情報処理装置における処理手順を示すフローチャートである。 上記フローチャートにおける手先動作の推定の処理手順を具体的に示すフローチャートである。 （ａ）は健常者のユーザが行う４種類の手先動作を示す図であり、（ｂ）は上記入力情報処理装置において、ユーザが（ａ）に示す各動作および上腕の往復運動を行った場合の、加速度信号と、筋音信号と、推定筋力と、エントロピーと、識別結果と、義手型装置の上腕部の変位との関係を示すグラフである。 本発明の第２実施形態に係る入力情報処理装置の概略構成を示すブロック図である。 ユーザが行ったジェスチャおよび筋収縮により、動作を制御するユーザの操作対象の一例を示す図である。 ジェスチャ検出信号を示すグラフである。 本実施形態の入力情報処理装置における処理手順を示すフローチャートである。 ジェスチャの種類を示す図である。 上記入力情報処理装置において、ユーザが図１２に示す各ジェスチャおよび把持を行った場合の、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別結果との関係を示すグラフである。 ユーザが力を入れながら図１２の各ジェスチャを行った場合における、加速度信号と、ジェスチャ検出信号と、筋収縮情報信号と、識別結果との関係を示すグラフである。
符号の説明
１、２１ 入力情報処理装置
２ 加速度センサ
３ 信号分離部
４ 制御部
５ 手先移動変位推定部
６ 上腕制御部
７ 手先動作推定部
８ 前腕制御部
９ 特徴パターンベクトル算出部
１０ 手先動作識別部
１１ タイミング推定部
１２ 義手型装置（義手型機器）
１３ 前腕部
１４ 上腕部
２４ 制御部
２５ ジェスチャ推定部
２６ 筋収縮レベル推定部
２７ 動作決定部
２８ 記憶部
２９ 動作制御部
３０ 識別データパターン算出部
３１ ジェスチャ識別部
３２ 筋収縮情報抽出部
３３ 閾値判定部

Claims (10)

  1. ユーザに装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離部と、
    前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御部とを備えることを特徴とする入力情報処理装置。
  2. 前記操作対象は、前腕部および上腕部を有する義手型機器であり、
    前記制御部は、
    前記加速度信号から、前記義手型機器の手先の移動方向および移動距離を推定する手先移動変位推定部と、
    前記筋音信号から、前記義手型機器の手先の動作を推定する手先動作推定部とを備え、
    前記手先移動変位推定部によって推定された前記義手型機器の手先の移動方向および移動距離に基づいて、前記上腕部の駆動を制御する上腕制御部と、
    前記手先動作推定部によって推定された前記義手型機器の手先の動作に基づいて、前記前腕部の駆動を制御する前腕制御部とを備えることを特徴とする請求項１に記載の入力情報処理装置。
  3. 前記手先動作推定部は、
    前記筋音信号から特徴パターンベクトルを算出する特徴パターンベクトル算出部と、
    前記特徴パターンベクトルからニューラルネットを用いて、前記義手型機器の手先の動作を識別する手先動作識別部とを備えることを特徴とする請求項２に記載の入力情報処理装置。
  4. 前記手先動作推定部は、さらに、前記筋音信号から前記義手型機器の手先の動作を発生させるタイミングを推定するタイミング推定部を備えることを特徴とする請求項３に記載の入力情報処理装置。
  5. 前記手先動作識別部は、前記義手型機器の手先の動作の誤識別を防止するための誤識別防止部を備えることを特徴とする請求項３または４に記載の入力情報処理装置。
  6. 前記制御部は、
    前記加速度信号から、ユーザのジェスチャの種類を識別するジェスチャ識別部と、
    前記筋音信号から、ユーザの筋収縮レベルを推定する筋収縮レベル推定部と、
    ジェスチャと、筋収縮レベルと、ユーザの操作対象の動作とを対応付けた動作テーブルを記憶している記憶部から、前記ジェスチャ識別部によって識別される前記ジェスチャおよび前記筋収縮レベル推定部によって推定される前記筋収縮レベルに対応するユーザの操作対象の動作を読み出す動作決定部と、
    前記動作決定部によって決定される前記ユーザの操作対象の動作に基づいて、前記操作対象の動作を制御する動作制御部とを備えることを特徴とする請求項１に記載の入力情報処理装置。
  7. 前記ジェスチャ推定部は、
    前記加速度信号から識別パターンベクトルを算出する識別パターンベクトル算出部と、
    前記識別パターンベクトルからニューラルネットを用いて、ユーザのジェスチャを識別するジェスチャ識別部とを備えることを特徴とする請求項６に記載の入力情報処理装置。
  8. 人体に装着された加速度センサによって測定された信号を、加速度信号および筋音信号に分離する信号分離工程と、
    前記加速度信号および前記筋音信号に基づいて、ユーザの操作対象の動作を制御する制御工程と含むことを特徴とする入力信号制御方法。
  9. 請求項１〜７のいずれか１項に記載の入力情報処理装置の前記各部としてコンピュータを機能させるための入力情報処理プログラム。
  10. 請求項９に記載の入力情報処理装置の入力情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007027230A 2007-02-06 2007-02-06 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体 Active JP4934813B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007027230A JP4934813B2 (ja) 2007-02-06 2007-02-06 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007027230A JP4934813B2 (ja) 2007-02-06 2007-02-06 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2008192004A true JP2008192004A (ja) 2008-08-21
JP4934813B2 JP4934813B2 (ja) 2012-05-23

Family

ID=39752035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007027230A Active JP4934813B2 (ja) 2007-02-06 2007-02-06 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP4934813B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2367092A2 (en) 2010-03-19 2011-09-21 Fujitsu Limited Motion determination apparatus and motion determination method
JP2011186667A (ja) * 2010-03-05 2011-09-22 Osaka Univ 機器制御装置、機器システム、機器制御方法、機器制御プログラム、および記録媒体
JP2012098254A (ja) * 2010-11-05 2012-05-24 Lapis Semiconductor Co Ltd 運動検出装置、電子機器、運動検出方法及びプログラム
KR101152841B1 (ko) * 2009-09-29 2012-07-03 한국과학기술원 근육 진동 신호를 이용한 팔 굽힘 힘 추정장치 및 방법
JP2014235301A (ja) * 2013-05-31 2014-12-15 株式会社第一興商 ジェスチャーによるコマンド入力識別システム
KR20150123254A (ko) * 2013-02-22 2015-11-03 탈믹 랩스 인크 제스처-기반 제어를 위해 근활성도 센서 신호와 관성 센서 신호를 결합하는 방법 및 기기
WO2015194659A1 (ja) * 2014-06-20 2015-12-23 オムロン株式会社 ロボット操作用の作業者端末
JP2016218610A (ja) * 2015-05-18 2016-12-22 本田技研工業株式会社 動作推定装置、ロボット、及び動作推定方法
JP2018134189A (ja) * 2017-02-21 2018-08-30 国立大学法人電気通信大学 信号測定装置、及び信号測定方法
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US10684692B2 (en) 2014-06-19 2020-06-16 Facebook Technologies, Llc Systems, devices, and methods for gesture identification
US11023045B2 (en) 2019-03-19 2021-06-01 Coolso Technology Inc. System for recognizing user gestures according to mechanomyogram detected from user's wrist and method thereof
US11079846B2 (en) 2013-11-12 2021-08-03 Facebook Technologies, Llc Systems, articles, and methods for capacitive electromyography sensors
CN113544736A (zh) * 2019-04-09 2021-10-22 松下知识产权经营株式会社 下肢肌肉力量估计系统、下肢肌肉力量估计方法及程序
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11363967B2 (en) * 2017-04-04 2022-06-21 Chuo University Muscle contraction detection sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004167056A (ja) * 2002-11-21 2004-06-17 Yaskawa Electric Corp 歩行訓練装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004167056A (ja) * 2002-11-21 2004-06-17 Yaskawa Electric Corp 歩行訓練装置

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101152841B1 (ko) * 2009-09-29 2012-07-03 한국과학기술원 근육 진동 신호를 이용한 팔 굽힘 힘 추정장치 및 방법
JP2011186667A (ja) * 2010-03-05 2011-09-22 Osaka Univ 機器制御装置、機器システム、機器制御方法、機器制御プログラム、および記録媒体
EP2367092A2 (en) 2010-03-19 2011-09-21 Fujitsu Limited Motion determination apparatus and motion determination method
US8615375B2 (en) 2010-03-19 2013-12-24 Fujitsu Limited Motion determination apparatus and motion determination method
JP2012098254A (ja) * 2010-11-05 2012-05-24 Lapis Semiconductor Co Ltd 運動検出装置、電子機器、運動検出方法及びプログラム
CN102662082A (zh) * 2010-11-05 2012-09-12 拉碧斯半导体株式会社 运动检测装置、电子设备、运动检测方法以及程序
KR102330889B1 (ko) * 2013-02-22 2021-11-26 페이스북 테크놀로지스, 엘엘씨 제스처-기반 제어를 위해 근활성도 센서 신호와 관성 센서 신호를 결합하는 방법 및 기기
KR20150123254A (ko) * 2013-02-22 2015-11-03 탈믹 랩스 인크 제스처-기반 제어를 위해 근활성도 센서 신호와 관성 센서 신호를 결합하는 방법 및 기기
JP2016507851A (ja) * 2013-02-22 2016-03-10 サルミック ラブス インコーポレイテッド ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
JP2019023941A (ja) * 2013-02-22 2019-02-14 ノース インコーポレイテッドＮｏｒｔｈ Ｉｎｃ． ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
JP2021072136A (ja) * 2013-02-22 2021-05-06 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
JP2014235301A (ja) * 2013-05-31 2014-12-15 株式会社第一興商 ジェスチャーによるコマンド入力識別システム
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11644799B2 (en) 2013-10-04 2023-05-09 Meta Platforms Technologies, Llc Systems, articles and methods for wearable electronic devices employing contact sensors
US11079846B2 (en) 2013-11-12 2021-08-03 Facebook Technologies, Llc Systems, articles, and methods for capacitive electromyography sensors
US11666264B1 (en) 2013-11-27 2023-06-06 Meta Platforms Technologies, Llc Systems, articles, and methods for electromyography sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US10362958B2 (en) 2013-11-27 2019-07-30 Ctrl-Labs Corporation Systems, articles, and methods for electromyography sensors
US10898101B2 (en) 2013-11-27 2021-01-26 Facebook Technologies, Llc Systems, articles, and methods for electromyography sensors
US10684692B2 (en) 2014-06-19 2020-06-16 Facebook Technologies, Llc Systems, devices, and methods for gesture identification
JP2016007647A (ja) * 2014-06-20 2016-01-18 オムロン株式会社 ロボット操作用の作業者端末
WO2015194659A1 (ja) * 2014-06-20 2015-12-23 オムロン株式会社 ロボット操作用の作業者端末
JP2016218610A (ja) * 2015-05-18 2016-12-22 本田技研工業株式会社 動作推定装置、ロボット、及び動作推定方法
JP2018134189A (ja) * 2017-02-21 2018-08-30 国立大学法人電気通信大学 信号測定装置、及び信号測定方法
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11941176B1 (en) 2018-11-27 2024-03-26 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11023045B2 (en) 2019-03-19 2021-06-01 Coolso Technology Inc. System for recognizing user gestures according to mechanomyogram detected from user's wrist and method thereof
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
CN113544736A (zh) * 2019-04-09 2021-10-22 松下知识产权经营株式会社 下肢肌肉力量估计系统、下肢肌肉力量估计方法及程序
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof

Also Published As

Publication number Publication date
JP4934813B2 (ja) 2012-05-23

Similar Documents

Publication Publication Date Title
JP4934813B2 (ja) 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
US10973439B2 (en) Systems and methods for real-time data quantification, acquisition, analysis, and feedback
US20190212817A1 (en) Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
JP6334925B2 (ja) 動作情報処理装置及び方法
JP2021535465A (ja) 神経筋信号のカメラ誘導による解釈
TWI487505B (zh) 肌動訊號輸入裝置、人機操作系統及其辨識方法
Hsu et al. Wearable sport activity classification based on deep convolutional neural network
EP3065628A1 (en) Biomechanical activity monitoring
KR20150061231A (ko) 웨어러블 디바이스 및 그 제어 방법
Mazomenos et al. Detecting elementary arm movements by tracking upper limb joint angles with MARG sensors
Choi et al. Deep learning-based near-fall detection algorithm for fall risk monitoring system using a single inertial measurement unit
Shusong et al. EMG-driven computer game for post-stroke rehabilitation
Spasojević et al. Combined vision and wearable sensors-based system for movement analysis in rehabilitation
JP6656633B2 (ja) 生体信号が表す情報を識別するためのシステム
Leuenberger et al. Classification of stair ascent and descent in stroke patients
Tepe et al. Classification of emg finger data acquired with myo armband
Ye et al. An adaptive method for gait event detection of gait rehabilitation robots
Huang et al. Human motion identification for rehabilitation exercise assessment of knee osteoarthritis
Zong et al. Automatic gait characterization for a mobility assistance system
Mimouna et al. A survey of human action recognition using accelerometer data
Alcaraz et al. Machine learning as digital therapy assessment for mobile gait rehabilitation
Molina et al. A new multisensor software architecture for movement detection: Preliminary study with people with cerebral palsy
KR101797287B1 (ko) 다중센서 융합을 이용한 뇌질환 환자의 상지 운동 능력 평가 방법 및 상지 운동 능력 평가 시스템
CN114053679A (zh) 运动训练方法及其系统
Nelson et al. Relative efficacy of sensor modalities for estimating post-stroke motor impairment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150