JP2017202183A - 脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよびニューロフィードバックシステム - Google Patents

脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよびニューロフィードバックシステム Download PDF

Info

Publication number
JP2017202183A
JP2017202183A JP2016096528A JP2016096528A JP2017202183A JP 2017202183 A JP2017202183 A JP 2017202183A JP 2016096528 A JP2016096528 A JP 2016096528A JP 2016096528 A JP2016096528 A JP 2016096528A JP 2017202183 A JP2017202183 A JP 2017202183A
Authority
JP
Japan
Prior art keywords
electroencephalogram
subject
feature amount
signals
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016096528A
Other languages
English (en)
Other versions
JP6759496B2 (ja
Inventor
リシ ジュゼッペ
Lisi Giuseppe
リシ ジュゼッペ
政志 濱屋
Masashi Hamaya
政志 濱屋
智之 野田
Tomoyuki Noda
智之 野田
森本 淳
Jun Morimoto
淳 森本
光男 川人
Mitsuo Kawato
光男 川人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2016096528A priority Critical patent/JP6759496B2/ja
Publication of JP2017202183A publication Critical patent/JP2017202183A/ja
Application granted granted Critical
Publication of JP6759496B2 publication Critical patent/JP6759496B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Manipulator (AREA)
  • Rehabilitation Tools (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】非侵襲的に脳波信号の検出を行って、脳波パターンを分類する処理を行う場合にも、使用者による使用開始までの時間を短縮することが可能な脳波パターン分類装置を提供する。【解決手段】脳波計からの計測データについて、所定周波数領域のフィルタ処理を実行した後(S100)、適応的なCSP(Common Spatial Patterns)法により、非同期に脳活動パターンの分類を実行する。そのため、測定信号に適応的な白色化処理を行い(S102)、抽出された特徴量に対して、移動平均を減算して、ゼロ平均となる特徴量に適応的に変換する(S106)。適応化された特徴量に対して分類器による分類を行う(S108)。【選択図】図6

Description

本発明は、使用者(ユーザ)の脳波信号から脳活動の状態を分類するための脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよび使用者に対してニューロフィードバックを実行するためのニューロフィードバックシステムの構成に関するものである。
日本をはじめ多くの国で少子高齢化社会が問題になる中、ロボティクス技術を応用したアシスト機器への要望が高まっている。一方、バランスや歩行が可能なロボットが開発されてきている。例えば、運動に必要な作用力を空間上の任意の複数接触点に最適に配分し、ヒトと同じように各関節のトルクを発生できるロボットが存在する(特許文献1参照)。
また、近年では、上肢・下肢・体幹運動の支援をめざした外骨格型ロボットのようなリハビリテーションを支援するロボットの開発がますます要求されることとなってきている。たとえば、外骨格型ロボットは、患者の自立生活を促進するリハビリテーションにおいて、脳卒中等の患者のために使用される(特許文献2、特許文献3を参照)。
このように、運動機能の代償や回復のための生体信号を用いたロボット制御では、患者の負担や、システムの簡便さの観点から、表面筋電図(Surface Electromyogram: sEMG)や、脳波(Electroencephalogram: EEG)など、非侵襲的での生体信号の検出を行うものが報告されている(非特許文献1、非特許文献2、非特許文献3、非特許文献4を参照)。
特に、アシストロボットとしてのデバイスをコントロールするために脳信号を使用することは、ポピュラーな研究方向になりつつある(非特許文献5)。
このように人間の脳活動の計測結果を直接外部装置の制御に使用するブレイン・マシン・インターフェース(BMI:Brain Machine Interface)は、ユーザーが自分の体の一部としてロボットをコントロールすることができるような、ウェアラブルデバイスに対する有望なインターフェースである。
また、外骨格型ロボットによる運動支援に非侵襲型のBMIを利用することによって、例えば、脳卒中によって害された意志・動作制御の改善において有用であると実証されてきている(非特許文献6)。
このようなリハビリテーションの手続きでは、運動を支援するデバイスを活性化するために、脳信号を使用する。そして、このような脳活動に基づく支援型の運動は、中枢神経系の可塑性を引き起こし、正常な運動制御の復元に結びつくと考えられている。
つまり、感覚運動の律動(SMR:sensorimotor rhythms)に基づく内因性のBMIが、神経と筋肉の経路の神経細胞の可塑性を促進するための有効なツールとして、運動のニューロリハビリテーションにおいて使用されうることが示唆されてきている(非特許文献7)。このようなリハビリテーションのシステムは、使用者の脳活動がロボットなどによる被験者の運動の支援にフィードバックされることから、一種の「ニューロフィードバックシステム」であるといえる。
たとえば、SMRに関して、運動あるいは運動感覚を使用者が想像する、いわゆる「運動想像」は、典型的には、脳波中のμ律動(7−13Hz)およびβ律動(13−30Hz)のパワー減少を伴うことが知られており、このようなパワー減少は、特に、運動する側と反対側の脳領野についての、事象関連脱同期(ERD:event-related desynchronization)と呼ばれる。
ERDに基づいたBMIシステムは、ニューロ人工器官(たとえば義足)のような外部装置をコントロールするために使用することができることが示されている。また、より具体的には、運動制御回復のためにERDに基づいたブレインロボット・インターフェース(BRI:Brain Robot Interface)の有効性を確認するための臨床試験も行われている(非特許文献8)。
WO2007/139135号公報 特開2014−104549号公報 特開2016−61302号公報
T. Kagawa and Y. Uno. Gait pattern generation for a power-assist device of paraplegic gait. The 18 th IEEE International Symposium on Robot and Human Interactive Communication,pp. 633-638,2009. Tomoyuki Noda,Norikazu Sugimoto,Junichiro Furukawa,Masa aki Sato,Sang-Ho Hyon,and Jun Morimoto. Brain-controlled exoskeleton robot for bmirehabilitaion. IEEE/RAS International Conference on Humanoid Robotics (Humanoids2012),Osaka,pp.21-27,2012. Tomoyuki Noda,Jun ichiro Furukawa,Tatsuya Teramae,and Jun Morimoto. An electromyogram based force control coordinated in assistive interaction. IEEE International Conference on Robotics and Automation(ICRA2013),Karlsruhe,Germany,p. WeC6.4,May 2013. Tomohiro Hayashi,Hiroaki Kawamoto,and Yoshiyuki Sankai. Control method of robot suit hal working as operator's muscle using biological and dynamical information. IEEE/RSJ International Conference on Inteligent Robots and Systems,pp. 3063-3068,2005. X. Perrin,R. Chavarriaga,F. Colas,R. Siegwart,and J. del R. Milln,"Brain-coupled interaction for semi-autonomous navigation of an assistive robot,"Robotics and Autonomous Systems,vol. 58,no. 12,pp. 1246 - 1255,2010,intelligent Robotics and Neuroscience. L. F. Nicolas-Alonso and J. Gomez-Gil,"Brain computer interfaces,a review."Sensors (Basel,Switzerland),vol. 12,no. 2,pp. 1211-1279,Jan 2012. N. Mrachacz-Kersting,S. R. Kristensen,I. K. Niazi,and D. Farina,"Precise temporal association between cortical potentials evoked by motor imagination and afference induces cortical plasticity,"The Journal of Physiology,vol. 590,no. 7,pp. 1669-1682,2012. K. Shindo,K. Kawashima,J. Ushiba,N. Ota,M. Ito,T. Ota,A. Kimura,and M. Liu,"Effects of neurofeedback training with an electroencephalogram-based brain-computer interface for hand paralysis in patients with chronic stroke: a preliminary case series study."Journal of rehabilitation medicine,vol. 43,no. 10,pp. 951-957,Oct 2011.
しかしながら、BMIをリハビリテーションのシステムなどに応用しようとした場合、以下のような問題がある。
第1には、一般には、脳波計は、ユーザの頭皮にゲルを塗布することで電気的な接触を確保するため、このようなゲルを用いる脳波計システムは長いセットアップタイムが必要になる。
第2には、脳波計からの信号は、一般に、大きな非定常性を有しており、BMIリハビリテーションを実行する1つのセッション内またはセッション間の信号変動が大きいという問題がある。
第3には、一般には、使用者は、BMIについて「習熟不足」である傾向にあり、ユーザーのかなりの割合に対しては、予備的トレーニングが必要になる。
このような問題があるために、リハビリテーションなどのためにBMIを利用したニューロフィードバックトレーニングを実行できるようになるには、相当の準備期間が必要になり、また、トレーニングのセッション内またはセッション間で、システムの再調整が必要になるなどの問題があった。
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、非侵襲的に脳波信号の検出を行って、脳波パターンを分類する処理を行う場合にも、使用者による使用開始までの時間を短縮することが可能な脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムを提供することである。
本発明の他の目的は、脳波信号を利用してニューロフィードバックを行う際にも、使用者による使用開始までの時間を短縮することが可能なニューロフィードバックシステムを提供することである。
この発明の1つの局面に従うと、対象者の運動想像による脳波パターンを非同期に分類するための脳波パターン分類装置であって、対象者の頭皮上の複数箇所において、対象者の脳の活動を検出する複数チャンネルの脳波信号を取得するための脳波計測手段と、複数チャンネルの信号の各々から、対象者による運動想像により誘発された所定の周波数帯域の成分を抽出するためのフィルタ手段と、フィルタ手段により抽出された、複数チャンネルの信号の周波数帯域の成分から、適応的に空間フィルタにより特徴量を算出するための特徴量算出手段とを備え、特徴量算出手段は、現時点までの複数チャンネルの脳波信号の共分散行列から導出される空間フィルタを、共分散行列の指数移動平均を計算することにより適応的に更新する空間フィルタ更新手段と、指数移動平均における忘却係数を、指数移動平均の時定数に基づいて決定する忘却係数決定手段とを含み、特徴量算出手段からの特徴量に基づく分類処理により、当該特徴量に応じて対象者が運動想像を行ったことを示す信号を出力する分類処理手段とを備える。
好ましくは、空間フィルタの導出は、CSP(Common Spatial Patterns)法によるものであり、空間フィルタ更新手段は、学習期間において、トレーニングセットで導出されたCSP法における射影行列に、現時点での脳波信号についての白色化行列とトレーニングセットに対して算出された白色化行列の逆行列を乗算して得られる適応的な射影行列から、更新された空間フィルタを算出する適応白色化処理手段を含む。
好ましくは、忘却係数決定手段は、忘却係数の時定数の複数の候補のうちから、分類処理手段の出力に対するn分割交差検証(n:2以上の自然数)により、時定数を決定する。
好ましくは、特徴量算出手段は、更新された空間フィルタにより導出される特徴量を、ゼロ平均の特徴量となるように変換する適応化特徴処理手段をさらに含む。
好ましくは、脳波計測手段は、ドライ式電極を用いたワイヤレス型ヘッドセットを含む。
この発明の他の局面に従うと、対象者の頭皮上の複数箇所において、対象者の脳の活動を検出する複数チャンネルの脳波信号を取得するための脳波計測装置からの信号に基づき、演算装置および記憶装置を有するコンピュータに対象者の運動想像による脳波パターンを非同期に分類する処理を実行させるための脳波パターン分類方法であって、複数チャンネルの信号の各々を記憶装置に格納し、格納された複数チャネルの信号から、演算装置が、対象者による運動想像により誘発された所定の周波数帯域の成分をフィルタリングにより抽出するステップと、演算装置が、フィルタリングにより抽出するステップにおいて抽出された、複数チャンネルの信号の周波数帯域の成分から、適応的に空間フィルタにより特徴量を算出するステップとを備え、特徴量を算出するステップは、現時点までの複数チャンネルの脳波信号の共分散行列から導出される空間フィルタを、共分散行列の指数移動平均を計算することにより適応的に更新するステップと、指数移動平均における忘却係数を、指数移動平均の時定数に基づいて決定するステップとを含み、演算装置が、特徴量を算出するステップで算出された特徴量に基づく分類処理により、当該特徴量に応じて対象者が運動想像を行ったことを示す信号を出力するステップとを備える。
この発明のさらに他の局面に従うと、対象者の頭皮上の複数箇所において、対象者の脳の活動を検出する複数チャンネルの脳波信号を取得するための脳波計測装置からの信号に基づき、演算装置および記憶装置を有するコンピュータに対象者の運動想像による脳波パターンを非同期に分類する処理を実行させるための脳波パターン分類プログラムであって、プログラムは、複数チャンネルの信号の各々を記憶装置に格納し、格納された複数チャネルの信号から、演算装置が、対象者による運動想像により誘発された所定の周波数帯域の成分をフィルタリングにより抽出するステップと、演算装置が、フィルタリングにより抽出するステップにおいて抽出された、複数チャンネルの信号の周波数帯域の成分から、適応的に空間フィルタにより特徴量を算出するステップとを備え、特徴量を算出するステップは、現時点までの複数チャンネルの脳波信号の共分散行列から導出される空間フィルタを、共分散行列の指数移動平均を計算することにより適応的に更新するステップと、指数移動平均における忘却係数を、指数移動平均の時定数に基づいて決定するステップとを含み、演算装置が、特徴量を算出するステップで算出された特徴量に基づく分類処理により、当該特徴量に応じて対象者が運動想像を行ったことを示す信号を出力するステップとを備える処理を、コンピュータに実行させる。
この発明のさらに他の局面に従うと、対象者の脳内の運動想像を検知したことに応じて、対象者の運動を支援するニューロフィードバックシステムであって、対象者の脳内の運動想像による脳波パターンを非同期に分類するための脳波パターン分析装置を備え、脳波パターン分析装置は、対象者の頭皮上の複数箇所において、対象者の脳の活動を検出する複数チャンネルの脳波信号を取得するための脳波計測手段と、複数チャンネルの信号の各々から、対象者による運動想像により誘発された所定の周波数帯域の成分を抽出するためのフィルタ手段と、フィルタ手段により抽出された、複数チャンネルの信号の周波数帯域の成分から、適応的に空間フィルタにより特徴量を算出するための特徴量算出手段とを備え、特徴量算出手段は、現時点までの複数チャンネルの脳波信号の共分散行列から導出される空間フィルタを、共分散行列の指数移動平均を計算することにより適応的に更新する空間フィルタ更新手段と、指数移動平均における忘却係数を、指数移動平均の時定数に基づいて決定する忘却係数決定手段とを有し、特徴量算出手段からの特徴量に基づく分類処理により、当該特徴量に応じて対象者が運動想像を行ったことを示す信号を出力する分類処理手段と、分類処理手段の出力が所定のしきい値を超えることに応じてトリガー信号を生成するしきい値判定手段とを含み、トリガー信号に応じて、対象者の運動を支援するアシストロボットとを備える。
本発明の脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムによれば、適応的なアルゴリズムを使用することにより、非同期な状態で、脳波信号からの特徴量の非定常性に対応することが可能で、分類器の分類性能を改善することが可能である。
本発明のニューロフィードバックシステムでは、上記のような脳波パターン分類手法を利用することで、使用者の感覚運動想像の分類が信頼度高く実行され、アシストロボットによる運動支援によるリハビリテーションを実施することが可能である。
下肢についてのニューロフィードバックを利用したニューロリハビリシステムの構成を説明するための概念図である。 本実施の形態における外骨格型ロボット1の構成事例を示す図である。 外骨格型ロボット1の自由度の構成を示す図である。 外骨格型ロボット1のブロック図の例である。 脳波パターンの分類処理を実行するための構成を説明する機能ブロック図である。 非同期で適応的なCSPアルゴリズムをオンラインで実行する際のフローチャートである。 適応化された特徴量の時間変動を説明するための図である。 分類器の出力としきい値の関係を示す図である。 ロボット制御の状態を説明する図である。 疑似的にオンライン処理を行った場合の交差検証の結果を示す図である。 各被験者に対して、交差検証の各分割処理にわたって、自動的に選択された空間的パターンを示す図である。 被験者S1の1つの試行のスライディングウィンドウ出力を示す図である。 3つの適応化方法での交差検証されたall-or-nothingの疑似的なオンライン・パフォーマンスを比較する図である。 実施の形態1での脳波パターン分析部40の学習とオンライン処理とを示す概念図である。 実施の形態2での脳波パターン分析部40の学習とオンライン処理とを示す概念図である。
以下、本発明の実施の形態の外骨格型ロボットおよび外骨格型ロボットの動作を制御するための脳波パターン分類装置の構成について、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
また、外骨格型ロボットの関節を駆動するためのアクチュエータとしては、一例として、以下に説明する「空電ハイブリッド式のアクチュエータ」を例として説明する。
そこで、以下、本実施の形態において、歩行・姿勢リハビリテーションのための空電ハイブリッド式のアクチュエータによる外骨格型ロボットについて説明する。
ただし、本発明の空電ハイブリッド式外骨格型ロボットは、下肢の運動をアシストするための外骨格型ロボットに対してだけでなく、上肢の運動をアシストする外骨格型ロボットとしても使用することが可能である。
また、以下の説明では、下肢の対としての運動をアシストする外骨格型ロボットについて説明するが、下肢のうちのいずれか一方、または、上肢のうちのいずれか一方の運動をアシストする外骨格型ロボットとして使用することも可能である。
さらに、本発明の空電ハイブリッド式外骨格型ロボットは、対象となる人間の筋骨格系の運動をアシストするのであれば、上述したような「下肢のうちの少なくともいずれか一方、または、上肢のうちの少なくともいずれか一方の運動」に限定されるものではなく、たとえば、対象となる人間の肩の運動のみをアシストするものであってもよいし、起立または歩行時において足首の運動をアシストするものであってもよい。本明細書では、このような対象となる人間の運動のアシストを総称して、「対象となる人間の筋骨格系運動の支援(アシスト)」と呼ぶことにする。
本実施の形態の外骨格型ロボットは、外骨格を有する。「外骨格」とは、人間の骨格構造に対応してロボットが有する骨格構造のことである。より特定的には、「外骨格」とは、外骨格型ロボットを装着する人間の体の一部を、外部から支えるフレーム(枠組み)構造のことをいう。
このフレーム構造には、さらに、フレーム構造の各部を人間の骨格構造に基づく運動に応じて動かすための関節が設けられる。
特に、下肢の運動をアシストする外骨格型ロボットは、ベースと下半身とを有し、足首、膝、腰の左右の位置に、能動6自由度の関節を有するロボットである。また、当該6つの関節は、空電ハイブリッド駆動の関節である。以下、このように、外骨格型ロボットにおいて、ユーザの関節に対してサポート力を与えるためにアクチュエータにより駆動される関節のことを「能動関節」と呼ぶ。
[実施の形態1]
図1は、実施の形態1の下肢についてのニューロフィードバックを利用したニューロリハビリシステムの構成を説明するための概念図である。
使用者2の下肢には、後に説明するような外骨格型ロボット1が装着されている。外骨格型ロボット1の動作は、外部制御装置20からのコマンドに応じて、制御される。状況によっては、使用者2は、リハビリテーション中には、理学療法士3からの介添えを受ける。
使用者2の頭部には、使用者2の脳活動を計測するための脳波計300が装着される。
脳波計300からの計測データは、有線インタフェースの他、無線インタフェース、たとえば、Bluetooth(登録商標)などにより、外部制御装置20に伝送する構成とするこができる。脳波計300からの信号を基に、脳内の活動状況を示す情報や、ニューロフィードバックの状況を示す情報が、外部制御装置20により、表示装置212に表示される。
脳波計300としては、湿式(ゲル式)の電極を使用するものでもよいものの、ここでは、特に限定されないが、脳波計300として、乾式(ドライ式)でワイヤレスの脳波計を使用するものとして説明する。
上述したように、外骨格型ロボットをコントロールするためにドライ式ワイヤレス型のヘッドセットによって取得した脳波信号を使用する場合は、ゲルを使用する湿式システムと比較して、セットアップ時間をより短くし、ケーブルの引き回しによって引き起こされる困難を除去できる。このようなドライ式ワイヤレス型の脳波計については、たとえば、以下の文献に開示がある。
公知文献1)P. M. R. Reis,F. Hebenstreit,F. Gabsteiger,V. von Tscharner,and M. Lochmann,“Methodological aspects of EEG and body dynamics measurements during motion.”Frontiers in human neuroscience,vol. 8,p. 156,Mar 2014.
また、以下では、下肢に装着される外骨格型ロボットが支援する運動としては、一例として、スクワット運動を想定する。これは、スクワット運動は、足首、膝および股関節の機能的な協調を必要とするので、リハビリテーション・プログラムでも使用されるものだからである。
図2は、本実施の形態における外骨格型ロボット1の主要部を抽出して示す斜視図である。本外骨格型ロボット1は、10自由度である。
なお、このような外骨格型ロボットの構成事例については、類似の構成が、上述した特許文献2や特許文献3にも開示されている。
図2において、外骨格型ロボット1は、両脚に対応したフレーム構造、バックパック101、柔軟シート102、HAA拮抗筋103、HFE伸筋104、HFEモータ111、KFE伸筋105、 KFEモータ106、AFE伸筋・AAA拮抗筋107、AFE屈筋108、ユニバーサルジョイント109、フレーム構造に設けられたプーリー付回転関節110を備える。
なお、図2では、バックパック101が運動を支援する構造に直接とりつけられているが、バックパック101は、この構造から取り外されていてもよい。
また、ユニバーサルジョイント109には、たとえば、光学式エンコーダを回転軸に取り付け、関節角度を計測する。プーリー付回転関節110も同様に光学式エンコーダを取り付ける。光学式エンコーダは、軸に取り付けるのではなく、軸に巻かれたベルトの移動方向と移動量を読み取る構成としてもよい。なお、ハイブリッド関節であるHFEおよびKFE関節においては、モータ付属のエンコーダを用いて関節角度を計測してもよい。
図3は、外骨格型ロボット1の自由度の構成を示す図である。
図3において、各関節において、「R_」との表示は、右側の関節であることを示し、「L_」との表示は、左側の関節であることを示す。
図2および図3を参照して、全10自由度のうち、HFE関節とKFE関節はハイブリッド駆動としている。また、図2において、全10自由度のうち、左右のAFE関節は伸筋と屈筋による拮抗駆動を採用している。ハイブリッド駆動および拮抗駆動以外の関節は、パッシブな駆動である。ただし、より多くの関節、たとえば、全ての関節をハイブリッド駆動としてもよい。
図2において、両脚が接続する胴体部には姿勢センサを搭載してベース部の姿勢を検出している。また、全ての関節にワイヤ式エンコーダ(またはモータ付属のエンコーダ)を取り付け、関節角度を計測できるようにしている。関節角度を検出することで、各関節に発生させる目標トルクが算出できる。
また、足底部には、床反力センサを搭載し、接触を想定する足底部が実際に接触しているかどうかを判定したり、ヤコビ行列に含まれるモデル誤差を修正するために補助的に使用する構成としてもよい。
また、バックパック101内には制御器の他、エアマッスルのバルブおよび電動モータのドライバを内蔵している。
また、バックパック101内に、バッテリーと圧搾した空気ボンベ(またはCOガスボンベでもよい)、レギュレータを搭載し、電源ラインとエア供給が断絶した場合に備え、短時間の自律駆動を可能にする構成であってもよい。
図4は、外骨格型ロボット1のブロック図の例である。
外骨格型ロボット1を制御するためのコマンドが、外部制御装置20から、通信経路を介して外骨格型ロボットに与えられる。特に限定されないが、外部制御装置20は、汎用のパーソナルコンピュータを用いることが可能であり、通信経路としては、イーサネット(登録商標)ケーブルを用いることができる。もちろん、通信経路としては、その他の規格の有線通信の経路の他、無線による通信経路、たとえば、無線LAN(Local Area Network)や他の通信規格の無線などを使用してもよい。
外部制御装置20は、ユーザからの指示入力を受ける入力部208と、コマンドを生成するためのプログラムや、様々な制御パラメータなど制御のために必要とされるデータが記録された不揮発性の記憶装置206と、外部制御装置20を起動するためのファームウェアが記憶されたROM(Read Only Memory)や、ワーキングメモリとして動作するRAM(Random Access Memory)などを含むメモリ204と、プログラムに応じて、コマンドを生成する処理を実行する演算装置210と、コマンドを通信経路を介して、外骨格型ロボットに送信するためのインタフェース(I/F)部202と、演算装置210の制御の下で、外骨格型ロボット1への制御の状態に関する情報などを表示するための表示装置212とを備える。
上述のとおり、外部制御装置20が、汎用のパーソナルコンピュータである場合は、演算装置210は、CPU(Central Processing Unit)で構成され、不揮発性の記憶装置206としては、ハードディスクドライブやソリッドステートドライブなどを用いることができる。ただし、外部制御装置20の機能ブロックの一部または全部は、専用のハードウェアにより構成されてもよい。
また、外部制御装置20は、たとえば、外骨格型ロボットが装着される使用者について、関節角などから関節トルクを推定するための推定モデルをキャリブレーション時に構成する処理を行う。構成された推定モデルにつての情報は、たとえば、記憶装置132などの記憶装置に記憶される。
外骨格型ロボット1は、外骨格部12、内部制御装置10を備える。
外骨格部12は、ベース121、下半身122、能動関節123、検出機構124を備える。さらに、能動関節123は、エアマッスル1231(図示せず)、電動モータ1232(図示せず)を備える。
また、内部制御装置10は、I/F部11、記録装置131、記憶装置 132、計測装置133、制御部134、出力装置135を備える。
I/F部11は、外部制御蔵置20から指令されたトルクまたは位置指令等を受け付けることができる。
なお、ベース121は、腰の位置の骨格、腰の位置の能動関節123を含むと考えても良いし、腰の位置の骨格のみであると考えても良い。
下肢122は、腿や足の位置の骨格、腿や足の位置の能動関節123を含むと考えても良いし、腿や足の位置の骨格のみであってもよい。
能動関節123は、左右の足首、左右の膝、および腰の左右の各位置に配置されている能動の関節である。ここで、能動関節123とは、アクチュエータで能動的に動作することのできる関節である。つまり、能動関節123は、アクチュエータを備える。
また、ここでの1以上の能動関節123は、ハイブリッド型である。つまり、能動関節123の少なくとも一部のものは、エアマッスル1231、電動モータ1232を備えるハイブリッド型である。なお、アクチュエータは、制御目標値となるトルク値を駆動信号として受け付け、受け付けたトルク値に基づいて制御する機能を有している。
アクチュエータとして、サーボモータを使用する場合、アクチュエータは、例えば、電流制御が可能な駆動回路を有し、電流に比例したトルクを発生させるサーボモータは、制御目標値として入力されたトルク値に、ギヤ比により決定されるトルク定数を乗じて駆動回路に指令することで入力されたトルクを発生させるトルク制御を実現する。特に、能動関節123にトルクセンサを配設し、当該トルクセンサにより検出した値を駆動回路にフィードバックすることにより、高精度のトルク制御が可能となる。
検出機構124は、ロボットの状態を検出する。検出機構124は、例えば、各関節に配置されたエンコーダ、足平に配置された床反力センサ、骨盤部に配置された姿勢検出のためのジャイロセンサ、各エアマッスルの駆動力を検知するロードセルなどである。検出機構124は、関節の角度を検出する角度センサや、ロボットの姿勢を取得する姿勢センサ、外力センサなどでも良い。
内部制御装置10は、能動関節123を動作させる。内部制御装置10は、I/F部11が受け付けた目標トルクまたは位置指令等に対応して、能動関節123を動作させる。
計測装置133は、センサ等の検出機構124から検出結果を示す様々な信号(データ)を受け付ける。
制御部134は、制御目標値の算出等の様々な演算を行う。制御部134が外骨格の動作のために行う演算は、特許文献2や特許文献3の他、以下の公知文献に記載されている。
公知文献2)B. Ugurlu,P. Forni,C. Doppmann,and J. Morimoto,“Torque and variable stiffness control for antagonistically driven pneumatic muscle actuators via a stable force feedback controller,”in Intelligent Robots and Systems (IROS),2015 IEEE/RSJ International Conference on,Sept-Oct 2015,p. in press.
出力装置135は、能動関節123に制御信号を出力する。出力装置135は、例えば、目標とするエアマッスルの圧力値やモータの制御値を能動関節123に出力する。より詳しくは、このような制御値は、モータドライバや圧力制御バルブなどに出力され、物理的なエネルギー(圧縮空気や電流)がモータやエアマッスルに供給される。
[脳波パターンの分類処理]
本実施の形態では、足の運動想像による脚外骨格のスクワット運動を引き起こすために、ドライ式ワイヤレス型の脳波計ヘッドセットに基づいた非同期型で適応的なBMIを説明する。
このような非同期で適応的なBMIにより、BRIのセットアップタイムの縮小およびセッション内非定常性の影響の緩和が実現される。
なお、ここで、「非同期型BMI」とは、視覚刺激等の外部刺激が無いBMIのことであり、BMI使用者自身が意図したタイミングで動作するものをいう。
(非定常性を緩和する非同期の適応的な特徴抽出)
以下では、非同期処理の間に、高度に非定常な脳波(EEG:Electroencephalogram)信号からの足運動想像をデコードするために、ERDに基づいたBMIのための適応化アプローチを説明する。
なお、運動想像を検出するための脳波成分としては、ERDに限定されるものではなく、運動に関する事象関連同期(ERS:Event-Related Synchronization)であってもよいし、あるいは、他の脳波成分であってもよい。
非同期システムは、休息および運動想像の両方の期間において、連続的にEEG信号を分析し、ユーザーが自分のペースで運動の決定を行なうことを可能にする。
非同期システムは、運動想像を行っていない、非常に広範な非コントロール状態(つまり休息状態)を扱わなければならないので、そのような設計はより複雑なものとなる。
以下の公知文献3および公知文献4には、適応的な線形判別分析(LDA)を用いた分類器と適応的な空間フィルタとを組み合わせた技術が開示されている。
公知文献3)W. Wojcikiewicz,C. Vidaurre,and M. Kawanabe,“Improving classification performance of bcis by using stationary common spatial patterns and unsupervised bias adaptation,”in Hybrid Artificial Intelligent Systems,ser. Lecture Notes in Computer Science. Springer Berlin Heidelberg,2011,vol. 6679,pp. 34-41.
公知文献4)R. Tomioka,J. Hill,B. Blankertz,and K. Aihara,“Adapting spatial filtering methods for nonstationary bcis,”transformation,vol. 10,p. 1,2006.
しかしながら、これらの従来技術は、あくまで「同期的な」BMIにおいて、適応化のための方法を開示しているのみであり、そのままでは、非同期的なBMIには不十分である。
そこで、以下の本実施の形態では、これらの同期的なBMIに対して、主として、以下のような変更を加える。
第1に、同期的なBMIの中で使用される固定的な適応パラメータ(忘却係数)は、スライディングウィンドウ・アプローチを使って、フレームごとに適応化処理がなされなければならない非同期BMIに適合していない。このため、本実施の形態では、非同期BMIに適合するように、適応パラメータを決定する方法を用いる。
第2に、従来法では、線形判別分析(LDA)の分類器のバイアス項は、新しい入力データに基づいて適応化されるのに対して、本実施の形態のアルゴリズムでは、分類器のバイアスを変更せず、入力される特徴量から特徴量の移動平均を減算することにより、入力される特徴量の平均を直接適応化させる。このような適応化は、脳波の非定常性にかかわらず、一貫した特徴の抽出に役立ち、あるいは、ユーザーにフィードバックとして適応的な特徴を直接供給するのに役立つ。
(システムの概観)
図5は、脳波パターンの分類処理を実行するための構成を説明する機能ブロック図である。
脳波計300において、EEG信号は、19個のチャネル(F7、Fp1、Fp2、F8、F3、Fz、F4、C3、Cz、P8、P7、Pz、P4、T3、P3、O1、O2、C4、T4)並びに参照信号および接地電位と共に、ドライ式ワイヤレス型・ヘッドセットによって収集される。
脳波計300からの計測データは、Bluetooth(登録商標)により送信されインターフェース202に送信され、インターフェース202内のバッファに格納される。
後述するように、EEG信号は、脳波パターン分析部40において、スライディングウィンドウ内の信号ごとに処理され、事前に足運動想像を検知するように訓練されたモデルに基づいて、非同期適応的に分析される。
脳波パターン分析部40のオンライン動作において、デコーダ出力がしきい値に達すると、スクワット運動を始めるためにトリガー信号が外骨格型ロボット1に送信される。
(脳波パターンの分類のための適応的な特徴抽出とその分類)
脳波パターン分析部40は、足運動想像を検知するために非同期モードで使用され、分類の対象となる2つのクラスは、非コントロール状態と運動想像状態とである。
このような2つのクラス間の分散の差を最大限にするような空間フィルタを見つけるために、従来のロバストなCommon Spatial Patterns (CSP)アルゴリズムに基づいて、本実施の形態では、これをさらに改良したアルゴリズムを使用する。
このような従来のCSPアルゴリズムについては、以下の文献に開示がある。
公知文献5)X. Yong,R. K. Ward,and G. E. Birch,“Robust common spatial patterns for eeg signal preprocessing.”Conference proceedings : Annual International Conference of the IEEE Engineering in Medicine and Biology Society. IEEE Engineering in Medicine and Biology Society. Annual Conference,vol. 2008,pp. 2087-2090,2008.
ここで、以下に説明するように、使用者の頭皮上の複数の部分に配置される電極から取得される脳波信号の共分散行列に対して、適応的な重み付け処理を行うことで、特徴量抽出を行うので、このような重み付け処理を「空間フィルタ」と呼ぶ。
以下、まず、公知文献5の内容を基に、簡単に、従来のロバストなCSPアルゴリズムについて、説明する。
(ロバストなCSPアルゴリズム)
CSPアルゴリズムは、運動イメージによる律動変調に基づくBMIの2クラス(C1またはC2)の分類問題において,特徴量を抽出する手法として多用されてる。
たとえば、運動想像状態がクラスC1であり、非コントロール状態がクラスC2である。
ここでは、EEG測定のチャネル数をpとし、Nを1回の1試行に含まれるサンプル数であるとし、Mをトレーニングセットの個数であるものとする。各試行の信号の集合Sを以下の式で定義する。
このとき、CSPにおける最適化問題は以下の式で表される。
ここで、C1は、全てのクラスC1のEEG試行を表し、ωは、空間フィルタの未知の重みベクトルまたは重み行列である。
また、var関数は、以下のように算出できる。
ここで、Λ1とΛ2とは、それぞれ、クラスC1とクラスC2とに属するEEG信号の共分散行列である。
CSPアルゴリズムは、以下のように要約できる;
1)行列Λ=(Λ1+Λ2)に対して白色化変換を実行する。
すなわち、行列Λ=(Λ1+Λ2)に対する固有値分解により、以下のような条件を満たす行列P(白色化行列)を見つけて、行列Λを白色化する。
ここで、以下の関係が成り立つ。
2)直交行列Rと対角行列Dとを以下の条件を満たすように固有値分解により算出する。
3)クラスC1およびクラスクラスC2に対しては、射影行列W=RTPの行によって、ωは、以下のようになる。
その上で、共分散行列に、このような空間フィルタ(Common Spatial Pattern)ωを乗算して射影したた結果であるzp(t)の2乗平均の値(または、そのlogスケール値)を、特徴量として用いることができる。以下では、特徴量としては、logスケールを用いることとする。
したがって、たとえば、この特徴量としては、以下のような値を用いることができる。
なお、特徴量としては、射影したた結果であるzp(t)の分散、またはzp(t)の分散を規格化した値(または、そのlogスケール値)を用いることも可能である。
そして、このような特徴量に対して、線形判別分析を行うことで分類器を生成し、クラスの分類を実行することができる。
また、このような分類器のロバスト性を向上させるために、共分散行列のロバストな評価値を得る方法として、M−estimater法、MVE(Minimum Volume Ellipsoid)法、MCD(Minimum Covariance Determinant)法、S−estimater法などを使用することができる。
これらの方法のうち、たとえば、MCD法については、以下の文献に開示がある。
公知文献6)P. J. Rousseeuw,“Least medians of squares regression,”Journal of American Statistical Association,vol. 79,pp. 851-857,1984.
公知文献7)P. J. Rousseeuw and K. V. Driessen,“A fast algorithm for the minimum covariance determinant estimator,”Technometrics,vol. 41,no. 3,pp. 212-223,1999.
(運動想像のEEG信号の分類のための非同期で適応的なCSP処理)
以上の前提の下に、本実施の形態における「適応的なCSPアルゴリズム」について説明する。
(空間フィルタの学習処理)
まず、図5を参照して、トレーニングセットによる本実施の形態のCSPアルゴリズムの学習処理について説明する。なお、このようなトレーニングセットのデータは、メモリ204に格納されて、演算装置210により以下のような学習処理が実行される。
学習期間において、CSP学習処理部422の制御により、フィルタ処理部402は、非同期で適応的なCSPでの信号処理のために、トレーニング・セットのEEG信号を、バンドパスフィルタリング(7−30Hz)し、足運動想像クラスに対して、運動想像の開始について、たとえば、0.5秒後から3.5秒後までの3秒間の事象を切り出す。
一方、CSP学習処理部422の制御により、フィルタ処理部402は、より長い非コントロールクラスに対して、運動想像の終了から、たとえば、2秒後から7秒後までの事象を切り出す。
EEG信号は、たとえば、0.5秒の長さのスライディングウィンドウによって、0.5秒ステップで処理される。CSP学習処理部422の制御により、トレーニング・セットについて、対応する射影行列Wが算出される。
さらに、CSP学習処理部422の制御により、適応白色化処理部404は、特に限定されないが、最も識別可能な空間フィルタを表わす、射影行列Wの最初の2行および最後の2行が選択される。
なお、現実に使用者の脳活動パターンを分類してロボットの制御を実時間で行うオンライン処理においては、非同期で適応的なCSP処理では、以下に説明するように、空間フィルタは、特徴選択アルゴリズムによってさらに縮小されてもよい。
すなわち、トレーニング・セットに対して、非コントロールの開始より2sから6.5sまでのスライディングウィンドウは、非コントロール・クラスと考えられ、一方、運動想像より0sから4.5sまでのスライディングウィンドウは、足運動想像クラスと考えられる。
トレーニング・セットに過剰適合するCSPのフィルタに関連した特徴を削除するために、トレーニング・セット上で、forests of treesアルゴリズムを走らせて、特徴の重要度を算出する。
その後Nを特徴の総数とするとき、その重要度が1/Nより大きい特徴を選択する。
このようなforests of treesアルゴリズムについては、以下の文献に開示がある。
公知文献8)P. Geurts,D. Ernst,and L. Wehenkel,“Extremely randomized trees,”Machine learning,vol. 63,no. 1,pp. 3-42,2006.
そして、上記のような選択を行う前の特徴量、あるいは、状況により上記の選択を行った後の特徴量を使用して、分類器学習処理部424は、クラスの分類のためにロジスティック回帰分類器を訓練する。
ロジスティック関数は、0と1の間の連続的な確率出力を生成し、たとえば、0に近い値になるほど、非コントロールクラスに相当し、1に近くなるほど、足運動想像クラスに相当する。
分類のための最良のしきい値を調整するために、all-or-nothingアプローチに従って、トレーニング・セットを使用することとしてもよい。
all-or-nothingアプローチについては、以下の文献に開示がある。
公知文献9)A. Muralidharan,J. Chae,and D. M. Taylor,“Extracting attempted hand movements from eegs in people with complete hand paralysis following stroke.”Frontiers in neuroscience,vol. 5,p. 39,Mar 2011.
公知文献10)G. Lisi and J. Morimoto,“EEG single-trial detection of gait speed changes during treadmill walk,”PLoS ONE,vol. 10,no. 5,p. e0125479,05 2015.
all-or-nothingアプローチでは、具体的には、全体の試行(つまり同じクラスに属する連続するスライディングウィンドウのセット)は、最も高い確率のスライディングウィンドウによって表現される。 ここで、すべての試行には確率出力が割り当てられ、後述するように、しきい値調整部426は、受信動作特性(ROC)およびその最良の動作点の計算により、最良のしきい値を選択する。
(オンライン処理)
図6は、図5に対応して、非同期で適応的なCSPアルゴリズムをオンラインで実行する際のフローチャートである。
なお、オンラインで入力されるデータセットも、メモリ204に格納されて、演算装置210により以下のようなオンライン処理が実行される。
図5よび図6を参照して、学習期間において、一旦、空間フィルタが計算された後は、オンライン処理でも、生のEEG信号は0.5秒の長さのスライディングウィンドウによって、0.5秒ステップで処理される。
スライディングウィンドウ内の信号は、学習期間と同様に、所定期間について、フィルタ処理部402により、7−30Hzの間でバンドパスフィルタ処理される(S100)。
ただし、オンライン処理については、非定常の影響を縮小するために、以下に説明するような空間フィルタの適応化処理を実行する。
すなわち、適応白色化処理部404は、次のようにして、射影行列を適応化させる(S102)。
ここで、Σnew -1/2は、現時点のスライディングウィンドウで入力されるEEG信号についての白色化行列であり、Σold 1/2は、トレーニングセットに対して算出された白色化行列の逆行列である。
Σnew -1/2を算出するために、入力されるEEG信号に対する共分散行列をオンラインで評価することが必要である。
そのために、次のような共分散行列の指数移動平均を計算する。
ここで、tは試行回数であり、Σは、共分散行列のオンライン評価であり、νは、忘却係数である。
また、C(t)は、Sを現在の試行におけるEEG信号であるとするとき、C(t)=SSTである。
公知文献3に開示されたW. Wojcikiewiczらによる分析は同期的な性質を有していたため、一定値の忘却係数(例えばν=0.005)を使用していた。
本実施の形態では、非同期処理を扱うために、指数移動平均の時定数に基づいて忘却係数を以下のように決定する。:
ここで、ΔT=0.05は、スライディングウィンドウのステップ幅であり、TCは、移動平均の時定数である。
ここでは、学習期間において、被験者に応じて、上述した指数移動平均では、例として、2つの可能な選択肢である5秒あるいは10秒のうちから、TCの値を選択するために、n分割交差検証(nは、2以上の自然数であり、たとえば、n=10)を使用して決定されているものとする。すなわち、トレーニングセットに対して、後述する分類処理部410からのクラス判別の出力について、n分割交差検証により、より良好な分類結果を与えるTCの値を選択するものとする。ただし、移動平均の時定数TCの選択肢としては、より多くのものから選択することとしてもよい。
ここで、交差検証は、LOO(Leave-One-Run-Out)クロスバリデーションによるものとし、n分割交差検証では、(n−1)試行が、トレーニングセットとして使用され、1試行がテストセットとして使用される処理を、テストセットを順次変更しながら、n回実行される。
このような設定において、式(2)の中のtは、スライディングウィンドウの現行フレームを表わす。
続いて、Σ(t)の固有値分解が計算され、白色化行列Σnew -1/2は、以下のようにして得られる。
ここで、EとDは、それぞれ、Σ(t)の固有ベクトル行列と固有値行列である。
続いて、特徴量抽出部406は、式(1)の中の射影マトリックスWadaptを、オンラインで入力されるEEG信号のスライディングウィンドウ信号に乗算して、CSP射影空間へ射影することにより、特徴量を抽出する(S104)。
(特徴適応化処理)
適応化特徴処理部408は、適応化された射影マトリックスWadaptを使用して、スライディングウィンドウの現フレームを射影し、各射影zpのログ強度をlog(E[zp 2])として計算する。
続いて、適応化特徴処理部408は、ゼロ平均データセットとなるように、移動平均を差し引く(つまり適応的なベースラインの減算)ことにより、射影のログ強度を直接的に適応させる(S106)。
適応化特徴処理部408は、射影のログ強度の適応的な平均μを、以下のような指数移動平均によって評価する。
ここで、x(t)は、現フレームのログ強度であり、αは、忘却係数であり、この忘却係数に対して、TCは、式(3)におけるνと同様に、分割交差検証により最適化される。
適応化特徴処理部408は、移動平均を計算した後に、現在時間の特徴のゼロ平均評価を、以下の式で算出する。
ここまでの処理で得られた、ゼロ平均の特徴量xzm(t)を使用して、後述する分類処理を実行することができる。
ただし、アーティファクトの影響を縮小するために、適応化特徴処理部408は、ゼロ平均の特徴量(xzm)に対して、以下のような指数移動平均の計算により、低域フィルタ処理を付け加えてもよい。
ここで、ηは、TC=1秒とした式(3)により算出され、xa(t)は、適応化された特徴である。
ただし、低域フィルタ処理としては、他の方法によってもよい。
このような一定の時定数を選択したのは、ERDを運動想像の判別に使用する場合、ERDが数秒以内に生じる現象であるという事実に基づき、より小さなTCでは、減衰が速すぎるので、ERDと見なすには早すぎるような過渡現象を含んでしまうからである。
(分類処理およびしきい値判定)
オンライン処理においては、分類処理部410は、学習期間で訓練された分類器を用いて、適応化特徴処理部408に対して分類処理を実行し、運動想像クラスに属する状態であるか否かを判別する(S108)。
その後、分類器の出力が所定のしきい値を超えることに応じて、しきい値判定部412は、外骨格型ロボット1を駆動するためのトリガ―信号を生成して、能動関節制御コマンド生成部30に対して出力する(S110)。
処理が終了していなければ、処理はステップS100に復帰する。
(ロボット制御)
上述のとおり、外骨格型ロボット1は、PAM(空圧駆動の人工筋肉)および電動モータによって駆動される、股関節、膝関節および足首関節の屈曲および伸張する能動関節を有している。
このような外骨格型ロボット1の制御については、上述した公知文献2のUgurluらの文献に記載されているので、以下では、概略を説明する。
外骨格型ロボット1が被験者とロボットの重量を支持するのに必要な重力補償トルクを生成すると仮定すると以下の式が成り立つ:
ここで、θは関節角ベクトルであり、mは、総疑似重量のパラメータであり、mhumanは、人間の重量であり、mXoRは、外骨格型ロボットの重量である。
スクワット運動は、以下のように疑似重量のパラメータを変調することにより実現される。
ここで、tは時間であり、f=0.5Hzはスクワットする周波数であり、K=7は手動で調整された、スクワットの振幅である。
(実験結果)
以下、上述したようなシステムを動作させた場合の実験結果について説明する。
まず、足運動想像データの収集は、24−29歳の3人の健康な被験者で実行された。
被験者の運動想像の過去の経験は、被験者S1に対しては数年、被験者S2に対しては数週間、および被験者S3については経験なしと評価される。
しかしながら、被験者はいずれも、かつて以前に足運動想像を行ったことはない。
たとえ被験者S1に長期の体験があったとしても、足運動想像のまさに最初の実験から、彼が高いパフォーマンスを達成することができたことは注目される。したがって、そのような長い経験は提案されたBMIの要件ではない。
1回の試行中に、被験者は、8秒間のインターバルを置いて、4秒間の足運動想像を10回行った。各被験者に対して、数分間の休憩をはさんで、4回分のデータが収集された。 EEG信号は、500Hzのサンプリングレートで収集された。
図7は、適応化された特徴量の時間変動を説明するための図である。
図7では、実施の形態1で説明された方法により、適応化された特徴量が、いかにして一定のゼロ平均を維持することができ、かつ運動想像に関連したERDを再生することができるかを示している。
図7において、「基本的な適応化」とは、式(3)を除く式(1)から式(6)までの式の全体にわたって、忘却係数ν=0.005およびα=0.05と固定値を選択した場合に相当する。これは、公知文献3のW. Wojcikiewiczらによる手法と本質的に同等であり、適応化の比較対象として記載している。
図7の最下段の提案された適応化において、負方向のログ強度のピークは、運動想像(つまりグレー領域部分)に対応している。
図7のセグメント1とセグメント2の対比は、提案された適応化で、セグメント2のERDが、セグメント1に関して、強調されているこを示す。
セグメント3では、低域通過フィルタリングを行う場合、所望でない負のピーク(つまりアーティファクト)が縮小されていることを示す。
セグメント4では、強い非定常性は、生の特徴平均の低下をもたらしている。しかしながら、この場合、提案された適応化はERDを再現することまではできないものの、特徴平均は、誤って正になることなく、ゼロに近い値となっていることを示す。
図8は、分類器の出力としきい値の関係を示す図である。
図8に示すように、すべての試行には、分類器による確率出力が割り当てられる。
学習時において、しきい値調整部426は、受信動作特性(ROC:Receiver Operating Characteristic)およびその最良の動作点の計算により、最良のしきい値を選択することができる(図8の中の上段のグラフ)。
デコーダの疑似的なオンライン・パフォーマンスを評価するために、all-or-nothingアプローチによって導出されたしきい値は、オンラインで入力される信号を分類するために使用される(図8の中の下段のグラフ)。
ここで、「疑似的な」とは、ロボットを動かさずに、脳波の分類に関する信号処理のみを行っている状態を示す。
このように、1つの試行当たり1つのスライディングウィンドウだけが、試行の全体を、誤ったトリガーであるかあるいは真のトリガーであると見なすのに十分であることがわかる。
図9は、ロボット制御の状態を説明する図である。
図9においては、被験者S1について、足運動想像によるロボットのスクワット運動を行った状態を示す。
非コントロール期間全体(つまり0−8s)は正確に分類された。
トリガーを誘発するのに必要な時間は、運動想像の開始(図中の斜線の棒)が表示されて)から、16s後であった。
この場合は、被験者は、運動想像の彼の最初の試みが失敗し、したがって、彼は一旦リラックスしてから、再度、足の運動を想像しなければならなかったと報告した。
したがって、図9における応答時間は、スクワット運動の2つのサイクルを示している。
図10は、疑似的にオンライン処理を行った場合の交差検証の結果を示す図である。
BMIシステムの定量的な疑似的オンライン・パフォーマンスは、各被験者に対して、別々に集められた較正データによって評価された。
交差検証されたall-or-nothingのデコーダの疑似的なオンラインパフォーマンスは、ROCおよびROC曲線下面積(AUC:Area Under the Curve)として図10の表に表示される。
AUCに基づいて、テストセット中のクラス識別性は被験者S1およびS2に、良といえる結果が得られ(0.8 ≦AUC≦0.89)、一方で、被験者S3にとって、それは可といえる結果であった(0.7≦AUC≦0.79)。
さらに、最初の2人の被験者は、オンライン処理時に、70%以上の精度を有しており、その精度は、通常、BMIコミュニケーションに必要であると考えられる値である。 図11は、各被験者に対して、交差検証の各分割処理にわたって、自動的に選択された空間的パターンを示す図である。
被験者S1については、空間フィルタが運動野の皮質中の活動を構成しており、筋運動感覚の足運動想像が正確に行なわれたことを示唆している。
被験者S2の頭皮地図は、後頭部の皮質中のアクティビティに対応しており、被験者が筋運動感覚であるというよりむしろ視覚的に、運動想像を行ったことを示している。
被験者S3については、抽出された空間フィルタは、交差検証の各回についてより不安定であり、最初の2つでは頭頂後頭葉皮質中のアクティビティを、あるいは、残りの2つでは感覚運動皮質中のアクティビティを示している。
これは、被験者S3に対して、疑似的なオンライン・パフォーマンスが全体として低調であることの理由を示すものと考えられる。
図12は、被験者S1の1つの試行のスライディングウィンドウ出力を示す図である。
予想通りに、図12上段のログ強度の負のピーク(つまりERD)が運動想像のより高い可能性に相当するので、適応的な特徴量に基づく分類器のロジスティック関数の確率出力は、ERDの検出をよく表現している。
確率出力がしきい値に達する場合は、足運動想像が行われていることが検知される。
図13は、3つの適応化方法での交差検証されたall-or-nothingの疑似的なオンライン・パフォーマンスを比較する図である。
3つの適応化方法とは、提案された適応化の場合(図中、proposed)と、基本的な適応化の場合(図中、Basic)と、適応化処理無しの場合(図中、No Adapt)である。
図13から、提案された適応化の疑似的なオンライン・パフォーマンスの平均が複数の被験者にわたって最も高いことが示される。
これは、セッション内の解析でさえ、EEG非定常性に対処するために適応的なBMIアルゴリズムを実装する必要性を示している。
以上説明したように、本実施の形態の脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムでは、適応的なアルゴリズムを使用することにより、非同期な状態で、脳波信号からの特徴量の非定常性に対応することが可能で、分類器の分類性能を改善することが可能である。
また、本実施の形態のニューロフィードバックシステムでは、使用者が自身の体の一部、たとえば、足の動きを想像し、外骨格ロボットの動きからの固有受容性の求心性入力の形式で感覚運動の律動のフィードバックが与えられる。ここで、「固有受容性」とは、体の位置や運動の情報を伝える感覚受容器に働きかけることをいい、「求心性」とは、末梢からの刺激や興奮を中枢へ伝達することをいう。したがって、たとえば、脳卒中患者がトレーニング中に徐々に運動想像を学習し、かつ同時に、神経細胞の可塑性を引き起こして、運動制御の復元に結びつけることが可能となる。
しかも、そのような脳活動の計測システムは、プラグ・アンド・プレイ方式であって、迅速なセットアップができる共適応的なBRIシステムである。
すなわち、本実施の形態のニューロフィードバックシステムでは、上記のような脳波パターン分類手法を利用することで、短いセットアップ時間で、使用者の感覚運動想像の分類が信頼度高く実行され、アシストロボットによる運動支援によるリハビリテーションを実施することができる。
[実施の形態2]
図14は、実施の形態1での脳波パターン分析部40の学習とオンライン処理とを示す概念図である。
図15は、実施の形態2での脳波パターン分析部40の学習とオンライン処理とを示す概念図である。
まず、図14に示すように、実施の形態1では、脳波計300から学習のために十分な量の一定数のデータ(図中、データセットData1,Data2,Data3)が取得され、蓄積された後に、これらの蓄積データの全体を用いて、脳波パターン分析部40の学習処理が実行される。
そして、このような学習処理の完了した脳波パターン分析部40を使用して、オンライ処理で、脳波パターンの解析が事項される。
これに対して、図15に示す実施の形態2では、脳波計300から学習のために十分な量の一定数のデータが蓄積される前に(図中、データセットData1の取得の完了時点)、蓄積されたデータに基づいて、脳波パターン分析部40の学習処理を開始する。
データセットData1についての学習処理が終了した脳波パターン分析部40については、学習処理と並行して取得されていた次のデータセットData2と取得済みのデータセットData1とを合わせたデータについて、さらに、次のデータセットの取得処理と並行して、学習処理を実行することで、パラメータの更新を行う。
以下同様にして、次のデータセットのデータ取得と並行して、逐次的に、脳波パターン分析部40の学習処理を実行する。
以上のような構成とすれば、実施の形態1と比較して、より短いセットアップ時間で、脳波パターン分類処理を開始することが可能となる。
したがって、このような脳波パターン分類処理を用いれば、より短いセットアップ時間で、ニューロフィードバックシステムによるリハビリテーションを開始することも可能となる。
今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。
1 外骨格型ロボット、10 内部制御装置、11 I/F部、12 外骨格、20 外部制御装置、30 能動関節制御コマンド生成部、40 脳波パターン分析部、121 ベース、122 下半身、123 能動関節、124 検出機構、131 記録処理部、132 記憶装置、133 計測装置、134 制御部、135 出力装置、402 フィルタ処理部、404 適応白色化処理部、406 特徴量抽出部、408 適応化特徴処理部、410 分類処理部、412 しきい値判定部、420 学習処理部、422 CSP学習処理部、424 分類器学習処理部、426 しきい値調整部。

Claims (8)

  1. 対象者の運動想像による脳波パターンを非同期に分類するための脳波パターン分類装置であって、
    前記対象者の頭皮上の複数箇所において、対象者の脳の活動を検出する複数チャンネルの脳波信号を取得するための脳波計測手段と、
    前記複数チャンネルの信号の各々から、対象者による運動想像により誘発された所定の周波数帯域の成分を抽出するためのフィルタ手段と、
    前記フィルタ手段により抽出された、前記複数チャンネルの信号の周波数帯域の成分から、適応的に空間フィルタにより特徴量を算出するための特徴量算出手段とを備え、
    前記特徴量算出手段は、
    現時点までの前記複数チャンネルの脳波信号の共分散行列から導出される空間フィルタを、前記共分散行列の指数移動平均を計算することにより適応的に更新する空間フィルタ更新手段と、
    前記指数移動平均における忘却係数を、前記指数移動平均の時定数に基づいて決定する忘却係数決定手段とを含み、
    前記特徴量算出手段からの特徴量に基づく分類処理により、当該特徴量に応じて前記対象者が前記運動想像を行ったことを示す信号を出力する分類処理手段とを備える、脳波パターン分類装置。
  2. 前記空間フィルタの導出は、CSP(Common Spatial Patterns)法によるものであり、
    前記空間フィルタ更新手段は、
    学習期間において、トレーニングセットで導出されたCSP法における射影行列に、現時点での脳波信号についての白色化行列とトレーニングセットに対して算出された白色化行列の逆行列を乗算して得られる適応的な射影行列から、更新された前記空間フィルタを算出する適応白色化処理手段を含む、請求項1記載の脳波パターン分類装置。
  3. 前記忘却係数決定手段は、忘却係数の時定数の複数の候補のうちから、前記分類処理手段の出力に対するn分割交差検証(n:2以上の自然数)により、前記時定数を決定する、請求項1または2記載の脳波パターン分類装置。
  4. 前記特徴量算出手段は、前記更新された空間フィルタにより導出される特徴量を、ゼロ平均の特徴量となるように変換する適応化特徴処理手段をさらに含む、請求項1〜3のいずれか1項に記載の脳波パターン分類装置。
  5. 前記脳波計測手段は、ドライ式電極を用いたワイヤレス型ヘッドセットを含む、請求項1〜4のいずれか1項に記載の脳波パターン分類装置。
  6. 対象者の頭皮上の複数箇所において、対象者の脳の活動を検出する複数チャンネルの脳波信号を取得するための脳波計測装置からの信号に基づき、演算装置および記憶装置を有するコンピュータに前記対象者の運動想像による脳波パターンを非同期に分類する処理を実行させるための脳波パターン分類方法であって、
    前記複数チャンネルの信号の各々を前記記憶装置に格納し、格納された前記複数チャネルの信号から、前記演算装置が、対象者による運動想像により誘発された所定の周波数帯域の成分をフィルタリングにより抽出するステップと、
    前記演算装置が、前記フィルタリングにより抽出するステップにおいて抽出された、前記複数チャンネルの信号の周波数帯域の成分から、適応的に空間フィルタにより特徴量を算出するステップとを備え、
    前記特徴量を算出するステップは、
    現時点までの前記複数チャンネルの脳波信号の共分散行列から導出される空間フィルタを、前記共分散行列の指数移動平均を計算することにより適応的に更新するステップと、
    前記指数移動平均における忘却係数を、前記指数移動平均の時定数に基づいて決定するステップとを含み、
    前記演算装置が、前記特徴量を算出するステップで算出された特徴量に基づく分類処理により、当該特徴量に応じて前記対象者が前記運動想像を行ったことを示す信号を出力するステップとを備える、脳波パターン分類方法。
  7. 対象者の頭皮上の複数箇所において、対象者の脳の活動を検出する複数チャンネルの脳波信号を取得するための脳波計測装置からの信号に基づき、演算装置および記憶装置を有するコンピュータに前記対象者の運動想像による脳波パターンを非同期に分類する処理を実行させるための脳波パターン分類プログラムであって、
    前記プログラムは、
    前記複数チャンネルの信号の各々を前記記憶装置に格納し、格納された前記複数チャネルの信号から、前記演算装置が、対象者による運動想像により誘発された所定の周波数帯域の成分をフィルタリングにより抽出するステップと、
    前記演算装置が、前記フィルタリングにより抽出するステップにおいて抽出された、前記複数チャンネルの信号の周波数帯域の成分から、適応的に空間フィルタにより特徴量を算出するステップとを備え、
    前記特徴量を算出するステップは、
    現時点までの前記複数チャンネルの脳波信号の共分散行列から導出される空間フィルタを、前記共分散行列の指数移動平均を計算することにより適応的に更新するステップと、
    前記指数移動平均における忘却係数を、前記指数移動平均の時定数に基づいて決定するステップとを含み、
    前記演算装置が、前記特徴量を算出するステップで算出された特徴量に基づく分類処理により、当該特徴量に応じて前記対象者が前記運動想像を行ったことを示す信号を出力するステップとを備える処理を、コンピュータに実行させる、脳波パターン分類プログラム。
  8. 対象者の脳内の運動想像を検知したことに応じて、前記対象者の運動を支援するニューロフィードバックシステムであって、
    前記対象者の脳内の運動想像による脳波パターンを非同期に分類するための脳波パターン分析装置を備え、前記脳波パターン分析装置は、
    前記対象者の頭皮上の複数箇所において、対象者の脳の活動を検出する複数チャンネルの脳波信号を取得するための脳波計測手段と、
    前記複数チャンネルの信号の各々から、対象者による運動想像により誘発された所定の周波数帯域の成分を抽出するためのフィルタ手段と、
    前記フィルタ手段により抽出された、前記複数チャンネルの信号の周波数帯域の成分から、適応的に空間フィルタにより特徴量を算出するための特徴量算出手段とを備え、
    前記特徴量算出手段は、
    現時点までの前記複数チャンネルの脳波信号の共分散行列から導出される空間フィルタを、前記共分散行列の指数移動平均を計算することにより適応的に更新する空間フィルタ更新手段と、
    前記指数移動平均における忘却係数を、前記指数移動平均の時定数に基づいて決定する忘却係数決定手段とを有し、
    前記特徴量算出手段からの特徴量に基づく分類処理により、当該特徴量に応じて前記対象者が前記運動想像を行ったことを示す信号を出力する分類処理手段と、
    前記分類処理手段の出力が所定のしきい値を超えることに応じてトリガー信号を生成するしきい値判定手段とを含み、
    前記トリガー信号に応じて、前記対象者の運動を支援するアシストロボットとを備える、ニューロフィードバックシステム。
JP2016096528A 2016-05-12 2016-05-12 脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよびニューロフィードバックシステム Active JP6759496B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016096528A JP6759496B2 (ja) 2016-05-12 2016-05-12 脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよびニューロフィードバックシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016096528A JP6759496B2 (ja) 2016-05-12 2016-05-12 脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよびニューロフィードバックシステム

Publications (2)

Publication Number Publication Date
JP2017202183A true JP2017202183A (ja) 2017-11-16
JP6759496B2 JP6759496B2 (ja) 2020-09-23

Family

ID=60321228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016096528A Active JP6759496B2 (ja) 2016-05-12 2016-05-12 脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよびニューロフィードバックシステム

Country Status (1)

Country Link
JP (1) JP6759496B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2682492C1 (ru) * 2018-02-26 2019-03-19 Федеральное государственное бюджетное образовательное учреждение высшего образования "Саратовский государственный технический университет имени Гагарина Ю.А." (СГТУ имени Гагарина Ю.А.) Способ классификации сигналов ЭЭГ при воображении двигательной активности у нетренированного оператора
KR20190062285A (ko) * 2017-11-27 2019-06-05 고려대학교 산학협력단 지역별 결합 뇌전도 신호의 csp 특징을 이용한 운동 심상 분류 장치 및 방법
CN110403602A (zh) * 2019-06-06 2019-11-05 西安电子科技大学 用于脑电信号情感分析的改进公共空间模式特征提取方法
US10754426B2 (en) 2018-08-20 2020-08-25 GungHo Online Entertainment, Inc. Terminal device, program, method, and system
US10761606B1 (en) 2019-04-03 2020-09-01 GungHo Online Entertainment, Inc. Terminal device, program, method, and system
CN111616701A (zh) * 2020-04-24 2020-09-04 杭州电子科技大学 基于多元变分模态分解的脑电多域特征提取方法
CN111950366A (zh) * 2020-07-08 2020-11-17 北京理工大学 基于数据增强的卷积神经网络运动想象脑电分类方法
CN112270255A (zh) * 2020-10-27 2021-01-26 广州大学 一种脑电信号识别方法、装置、电子设备及存储介质
CN113312996A (zh) * 2021-05-19 2021-08-27 哈尔滨工程大学 一种混叠短波通信信号检测与识别方法
CN113662562A (zh) * 2021-08-19 2021-11-19 西交利物浦大学 运动想象任务的脑电信号特征提取方法、装置及存储介质
CN113662561A (zh) * 2021-08-19 2021-11-19 西交利物浦大学 子带级联共空间模式的脑电特征提取方法及装置
CN114343673A (zh) * 2021-11-29 2022-04-15 北京机械设备研究所 跨被试的运动想象脑电信号处理方法、介质、设备
CN116491960A (zh) * 2023-06-28 2023-07-28 南昌大学第一附属医院 脑瞬态监测设备、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010050113A1 (ja) * 2008-10-29 2010-05-06 トヨタ自動車株式会社 移動体制御装置及び移動体制御方法
JP2010538701A (ja) * 2007-09-07 2010-12-16 エムセンス コーポレイション 一体化されたセンサ型ヘッドセット
JP2011076177A (ja) * 2009-09-29 2011-04-14 Advanced Telecommunication Research Institute International 歯の接触によって誘発された脳波を利用した機器制御方法及び機器制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010538701A (ja) * 2007-09-07 2010-12-16 エムセンス コーポレイション 一体化されたセンサ型ヘッドセット
WO2010050113A1 (ja) * 2008-10-29 2010-05-06 トヨタ自動車株式会社 移動体制御装置及び移動体制御方法
US20110152709A1 (en) * 2008-10-29 2011-06-23 Toyota Jidosha Kabushiki Kaisha Mobile body control device and mobile body control method
JP2011076177A (ja) * 2009-09-29 2011-04-14 Advanced Telecommunication Research Institute International 歯の接触によって誘発された脳波を利用した機器制御方法及び機器制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C.VIDAURRE ET AL.: "Toward Unsupervised Adaptation of LDA for Brain-Computer Interfaces", IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, vol. 58, no. 3, JPN6020006917, March 2011 (2011-03-01), pages 587 - 597, XP011372928, ISSN: 0004219640, DOI: 10.1109/TBME.2010.2093133 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102152785B1 (ko) 2017-11-27 2020-09-07 고려대학교 산학협력단 지역별 결합 뇌전도 신호의 csp 특징을 이용한 운동 심상 분류 장치 및 방법
KR20190062285A (ko) * 2017-11-27 2019-06-05 고려대학교 산학협력단 지역별 결합 뇌전도 신호의 csp 특징을 이용한 운동 심상 분류 장치 및 방법
RU2682492C1 (ru) * 2018-02-26 2019-03-19 Федеральное государственное бюджетное образовательное учреждение высшего образования "Саратовский государственный технический университет имени Гагарина Ю.А." (СГТУ имени Гагарина Ю.А.) Способ классификации сигналов ЭЭГ при воображении двигательной активности у нетренированного оператора
US10754426B2 (en) 2018-08-20 2020-08-25 GungHo Online Entertainment, Inc. Terminal device, program, method, and system
US10761606B1 (en) 2019-04-03 2020-09-01 GungHo Online Entertainment, Inc. Terminal device, program, method, and system
CN110403602A (zh) * 2019-06-06 2019-11-05 西安电子科技大学 用于脑电信号情感分析的改进公共空间模式特征提取方法
CN110403602B (zh) * 2019-06-06 2022-02-08 西安电子科技大学 用于脑电信号情感分析的改进公共空间模式特征提取方法
CN111616701A (zh) * 2020-04-24 2020-09-04 杭州电子科技大学 基于多元变分模态分解的脑电多域特征提取方法
CN111950366A (zh) * 2020-07-08 2020-11-17 北京理工大学 基于数据增强的卷积神经网络运动想象脑电分类方法
CN111950366B (zh) * 2020-07-08 2023-10-24 北京理工大学 基于数据增强的卷积神经网络运动想象脑电分类方法
CN112270255B (zh) * 2020-10-27 2023-09-26 广州大学 一种脑电信号识别方法、装置、电子设备及存储介质
CN112270255A (zh) * 2020-10-27 2021-01-26 广州大学 一种脑电信号识别方法、装置、电子设备及存储介质
CN113312996A (zh) * 2021-05-19 2021-08-27 哈尔滨工程大学 一种混叠短波通信信号检测与识别方法
CN113662562A (zh) * 2021-08-19 2021-11-19 西交利物浦大学 运动想象任务的脑电信号特征提取方法、装置及存储介质
CN113662561A (zh) * 2021-08-19 2021-11-19 西交利物浦大学 子带级联共空间模式的脑电特征提取方法及装置
CN113662562B (zh) * 2021-08-19 2024-02-09 西交利物浦大学 运动想象任务的脑电信号特征提取方法、装置及存储介质
CN113662561B (zh) * 2021-08-19 2024-03-01 西交利物浦大学 子带级联共空间模式的脑电特征提取方法及装置
CN114343673A (zh) * 2021-11-29 2022-04-15 北京机械设备研究所 跨被试的运动想象脑电信号处理方法、介质、设备
CN114343673B (zh) * 2021-11-29 2024-03-29 北京机械设备研究所 跨被试的运动想象脑电信号处理方法、介质、设备
CN116491960A (zh) * 2023-06-28 2023-07-28 南昌大学第一附属医院 脑瞬态监测设备、电子设备及存储介质
CN116491960B (zh) * 2023-06-28 2023-09-19 南昌大学第一附属医院 脑瞬态监测设备、电子设备及存储介质

Also Published As

Publication number Publication date
JP6759496B2 (ja) 2020-09-23

Similar Documents

Publication Publication Date Title
JP6759496B2 (ja) 脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよびニューロフィードバックシステム
Bi et al. A review on EMG-based motor intention prediction of continuous human upper limb motion for human-robot collaboration
Li et al. A review of the key technologies for sEMG-based human-robot interaction systems
Yuan et al. Brain–computer interfaces using sensorimotor rhythms: current state and future perspectives
US10092205B2 (en) Methods for closed-loop neural-machine interface systems for the control of wearable exoskeletons and prosthetic devices
Kieliba et al. How are muscle synergies affected by electromyography pre-processing?
Tkach et al. Study of stability of time-domain features for electromyographic pattern recognition
US20200038653A1 (en) Multimodal closed-loop brain-computer interface and peripheral stimulation for neuro-rehabilitation
Gopura et al. Recent trends in EMG-Based control methods for assistive robots
Loconsole et al. An EMG-based approach for on-line predicted torque control in robotic-assisted rehabilitation
Liu et al. A home-based bilateral rehabilitation system with sEMG-based real-time variable stiffness
JP2014104549A (ja) 外骨格型ロボットおよびリハビリテーション装置
Caulcrick et al. Human joint torque modelling with MMG and EMG during lower limb human-exoskeleton interaction
Wehner Man to machine, applications in electromyography
Lisi et al. Dry-wireless EEG and asynchronous adaptive feature extraction towards a plug-and-play co-adaptive brain robot interface
JP7477309B2 (ja) 生体信号が表す情報を識別するためのシステム
CN113058157B (zh) 多信号融合的反馈式功能性电刺激系统
Itoh et al. Development of a bioinstrumentation system in the interaction between a human and a robot
JP2019088456A (ja) パワーアシスト装置およびパワーアシスト装置の制御方法
Folgheraiter et al. A Multimodal Brain-arm Interface for Operation of Complex Robotic Systems and Upper Limb Motor Recovery.
Koyas et al. Detection of intention level in response to task difficulty from EEG signals
Tong et al. BP-AR-based human joint angle estimation using multi-channel sEMG
Ubeda et al. Single joint movement decoding from EEG in healthy and incomplete spinal cord injured subjects
Oboe et al. Robotic finger rehabilitation system for stroke patient using surface EMG armband
Roy et al. An approach towards development of brain controlled lower limb exoskeleton for mobility regeneration

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20160609

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200729

R150 Certificate of patent or registration of utility model

Ref document number: 6759496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250