JP2009297059A - 脳訓練支援装置 - Google Patents

脳訓練支援装置 Download PDF

Info

Publication number
JP2009297059A
JP2009297059A JP2008151416A JP2008151416A JP2009297059A JP 2009297059 A JP2009297059 A JP 2009297059A JP 2008151416 A JP2008151416 A JP 2008151416A JP 2008151416 A JP2008151416 A JP 2008151416A JP 2009297059 A JP2009297059 A JP 2009297059A
Authority
JP
Japan
Prior art keywords
topography
training
recall
brain
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008151416A
Other languages
English (en)
Inventor
Toku Shin
徳 辛
Hideyuki Koe
秀之 向江
Kazutoshi Ebe
和俊 江部
Toshihiko Tsukada
敏彦 塚田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2008151416A priority Critical patent/JP2009297059A/ja
Publication of JP2009297059A publication Critical patent/JP2009297059A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】訓練対象者が運動想起により脳波を変化させる訓練を効果的に支援することができるようにする。
【解決手段】指示生成部34によって、所定の運動を想起するように指示するメッセージを生成して、表示装置によって、訓練対象者に対して表示する。キャップ型電極12によって、訓練対象者の頭部表面の複数部位における脳波を検出し、トポグラフィ生成部26によって、脳波の各周波数帯域のパワースペクトル密度の分布を示す脳波トポグラフィを生成する。識別部32によって、脳波の各周波数帯域のパワースペクトル密度の分布がどの運動想起の種類に対応するか識別し、入力判定部36によって、正しく運動想起できているか判定する。正しく運動想起できていないと判定された場合、刺激子14によって、指示した運動想起に関連する部位に、刺激を提示する。また、生成されたトポグラフィを、表示装置18に表示する。
【選択図】図1

Description

本発明は、脳訓練支援装置に係り、特に、訓練対象者が脳の活動状態を変化させる訓練を支援する脳訓練支援装置に関する。
従来より、脳波トポグラフィの時間変化(時間差分)を表示すると共に、脳波トポグラフィの変化から、人体の四肢を動かそうとする意思および動かそうとしている部位を判断する意思伝達装置が知られている(特許文献1)。
また、脳波スペクトルを求め、基準値と比較して信号を出力することにより、音や画像上の物体を操作するコンピュータゲーム装置が知られている(特許文献2)。
また、測定されたα波の出現量と予め設定した閾値とを比較し、α波の出現量が少ない時には、ロボットに対して、動作の切り替えを指示する制御信号を送る脳波制御装置が知られている(特許文献3)。
特開平10−262943号公報 特許第3779150号 特開2005−211482号公報
しかしながら、上記の特許文献1に記載の技術では、トポグラフィの時間差分を表示して、トポグラフィのパターン変化を対象者にフィードバックしているが、対象者は、対象者の運動想起とトポグラフィのパターンとの対応関係をつかみにくいため、訓練を効果的に支援することができない、という問題がある。
また、上記の特許文献2に記載の技術では、自分の意思で脳波スペクトルを変化させるために、試行錯誤が必要であり、訓練を効果的に支援することができない、という問題がある。
また、上記の特許文献3に記載の技術では、自分の意思でα波を出現させるために、試行錯誤が必要であり、訓練を効果的に支援することができない、という問題がある。
本発明は、上記の問題点を解決するためになされたもので、訓練対象者が運動想起により脳の活動状態を変化させる訓練を効果的に支援することができる脳訓練支援装置を提供することを目的とする。
上記の目的を達成するために本発明に係る脳訓練支援装置は、訓練対象者に対して、所定の運動を想起するように指示する情報を出力する指示出力手段と、前記訓練対象者の脳の活動状態を示す生体情報を検出する生体情報検出手段と、前記生体情報検出手段によって検出された前記訓練対象者の前記生体情報の分布を示すトポグラフィを生成するトポグラフィ生成手段と、前記トポグラフィ生成手段によって生成された前記トポグラフィを、前記訓練対象者に対して報知する報知手段と、前記指示出力手段により出力された情報によって前記訓練対象者が想起した前記所定の運動に関連する前記訓練対象者の部位に、刺激を提示する刺激提示手段とを含んで構成されている。
本発明に係る脳訓練支援装置によれば、指示出力手段によって、訓練対象者に対して、所定の運動を想起するように指示する情報を出力する。生体情報検出手段によって、訓練対象者の脳の活動状態を示す生体情報を検出する。トポグラフィ生成手段によって、生体情報検出手段によって検出された訓練対象者の生体情報の分布を示すトポグラフィを生成する。
そして、報知手段によって、トポグラフィ生成手段によって生成されたトポグラフィを、訓練対象者に対して報知し、また、刺激提示手段によって、指示出力手段により出力された情報によって訓練対象者が想起した所定の運動に関連する訓練対象者の部位に、刺激を提示する。
このように、訓練対象者が想起した所定の運動に関連する部位に、刺激を提示すると共に、生成されたトポグラフィを、訓練対象者に対して報知することにより、訓練対象者が脳の活動状態を変化させる訓練を効果的に支援することができる。
本発明に係る生体情報検出手段は、生体情報として、訓練対象者の頭部表面の複数部位における脳波、磁場、及び血流量の何れか1つを検出することができる。
本発明に係る脳訓練支援装置は、生体情報検出手段によって検出された訓練対象者の生体情報の分布が、所定の運動を想起した状態で検出される生体情報の分布であるか否かを判定する判定手段を更に含み、刺激提示手段は、判定手段によって、検出された訓練対象者の生体情報の分布が、所定の運動を想起した状態で検出される生体情報の分布でないと判定された場合に、所定の運動に関連する訓練対象者の部位に、刺激を提示することができる。これによって、訓練対象者が正しく運動想起できていない場合に、想起する運動に関連する部位に、刺激を提示すると共に、生成されたトポグラフィを、訓練対象者に対して報知することにより、訓練対象者が脳の活動状態を変化させる訓練を効果的に支援することができる。
上記の判定手段を含む脳訓練支援装置は、判定手段によって所定の運動を想起した状態で検出される生体情報の分布であると判定された生体情報の分布を示すトポグラフィを記憶する記憶手段を更に含み、報知手段は、トポグラフィ生成手段によって生成されたトポグラフィと記憶手段に記憶されたトポグラフィとの差分を、訓練対象者に対して報知することができる。これによって、正しく運動想起できた場合のトポグラフィとの差分を報知することにより、訓練対象者が脳の活動状態を変化させる訓練を効果的に支援することができる。
以上説明したように、本発明の脳訓練支援装置によれば、訓練対象者が想起した所定の運動に関連する部位に、刺激を提示すると共に、生成されたトポグラフィを、訓練対象者に対して報知することにより、訓練対象者が脳の活動状態を変化させる訓練を効果的に支援することができる、という効果が得られる。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、運動想起により脳波を変化させる訓練を支援する脳訓練支援装置に本発明を適用した場合を例に説明する。
図1に示すように、第1の実施の形態に係る脳訓練支援装置10は、訓練対象者の頭部表面上の複数の部位に装着され、かつ、頭部表面上の複数の部位から脳波を検出するためのキャップ型電極12と、訓練対象者の足、右手、及び左手の各々に装着され、かつ、振動することにより触刺激を提示するための複数の刺激子14と、キャップ型電極12から出力された脳波信号に基づいて、脳波トポグラフィを生成して、表示装置18に表示させると共に、刺激子14を振動させるコンピュータ16とを備えている。
刺激子14は、振動することにより、装着された部位の筋肉に触刺激を提示する。例えば、足に装着された刺激子14によって、振動により下腿伸筋群に触刺激を提示し、右手に装着された刺激子14によって、振動により前腕伸筋群に触刺激を提示し、左手に装着された刺激子14によって、振動により前腕伸筋群に触刺激を提示する。
表示装置18の表示画面は、訓練対象者に対して向いており、訓練対象者は、表示装置18の表示画面を確認しながら、脳波の変化の訓練を行うことができるようになっている。
コンピュータ16は、CPUと、RAMと、後述する脳波訓練支援処理ルーチンを実行するためのプログラムを記憶したROMとを備え、機能的には次に示すように構成されている。コンピュータ16は、キャップ型電極12から出力された脳波信号を取得する信号取得部20と、16ビットでA/D変換を行って、信号取得部20によって取得した脳波信号をデジタル信号に変換するA/D変換部22と、脳波信号から脳波の各周波数帯域のパワースペクトル密度を算出する信号処理部24と、算出された脳波の各周波数帯域のパワースペクトル密度の分布を示す脳波トポグラフィを生成するトポグラフィ生成部26と、生成された脳波トポグラフィを表示装置18に表示させる表示制御部28とを備えている。
信号取得部20は、訓練対象者の頭部表面上の複数の部位に取り付けられた電極の各々から出力された脳波信号を取得し、アナログ式ローパスフィルタ(図示省略)によって、高周波帯域(例えば、125Hz以上の帯域)の雑音を除去し、多チャンネル増幅部(図示省略)によって、各脳波信号を約2万倍増幅させる。
信号処理部24は、デジタル信号に変換された各部位に対する脳波信号から、50〜60Hzのノッチフィルタ(notch filter)を用いて、電源ノイズを除去すると共に、surface Laplacianフィルタを用いて、空間的な補間を行う。また、信号処理部24は、各部位の脳波信号について、62.5ms毎に、ハミングウィンドウなどの窓関数をかけて、1秒前からの1秒間のデータを取得する。
また、信号処理部24は、各部位の脳波信号について、1秒間のデータに対して、FTTなどによる周波数解析を行い、α波、β波帯域である8Hz〜30Hzの周波数帯域を分割した複数の周波数帯域(例えば、2Hzの帯域毎に分割した複数の周波数帯域)の各々のパワースペクトル密度(power spectral density)を計算する。
トポグラフィ生成部26は、各部位について計算された脳波のα波、β波帯域内の各周波数帯域のパワースペクトル密度に対して、スプライン補間を行って、データ点数を増やし、訓練対象者の脳波のα波、β波帯域内の各周波数帯域のパワースペクトル密度の分布を示す脳波トポグラフィを生成する。
ここで、脳波トポグラフィとは、各電極で計測された脳波の分布を、頭皮表面の電位活動として平面的に等電位図で表示したものである。脳波トポグラフィは、脳の各部位の活動や時間経過に伴う活動部位の移動等を容易に観測することができる点で有用である。
表示制御部28は、トポグラフィ生成部26によって生成された脳波トポグラフィと、後述する最適トポグラフィ更新部42から出力された最適トポグラフィとを、表示装置18の表示画面上に各々表示させる。
また、コンピュータ16は、脳波の各周波数帯域のパワースペクトル密度の分布と運動想起ラベルとの組み合わせを学習データとしてSVM学習を行う機械学習部30と、機械学習部30のSVMを用いて、算出された脳波の各周波数帯域のパワースペクトル密度の分布が、どの運動想起ラベルに分類されるか識別する識別部32と、運動想起の指示を表わすメッセージを生成して、表示制御部28に出力する指示生成部34と、運動想起を指示するメッセージが表示されたときに識別部32より識別された運動想起ラベルと表示したメッセージで指示した運動想起の運動想起ラベルとが一致するか否かを判定する入力判定部36とを備えている。
機械学習部30は、以下に説明するように、機械学習を行う。まず、運動想起の種類の各々について、運動想起を指示したときに算出された、各計測部位の脳波信号の各周波数帯域のパワースペクトル密度を、時系列にプロットし、各計測部位の脳波信号について、12次元のグラフを生成する。そして、生成されたグラフを、平滑化フィルタであるSavitsky-Golay Filterを用いて平滑化する。上記のように処理されたデータが表わす各周波数帯域のパワースペクトル密度の分布と、教師信号としての、指示した運動想起の運動想起ラベルとを、学習データとして、SVM(support vector machine)学習を行う。
指示生成部34は、例えば、車の前進を足の運動想起に割り当て、車の右旋回を、右手の運動想起に割り当て、車の左旋回を左手の運動想起に割り当てた場合には、足の運動を想起させるように指示したメッセージや、右手の運動を想起させるように指示したメッセージ、左手の運動を想起させるように指示したメッセージを生成して、表示制御部28に出力する。また、指示生成部34は、生成したメッセージによって指示する運動想起に対応する運動想起ラベルを、入力判定部36に出力する。
また、コンピュータ16は、識別された運動想起ラベルと指示した運動想起に対応する運動想起ラベルとが一致しない場合に、指示した運動想起に関連する部位に装着された刺激子14を振動させる刺激制御部38と、指示した運動想起に対応する運動想起ラベルと一致すると判定されたときに生成された脳波トポグラフィを最適トポグラフィとして、各運動想起の種類について記憶する最適トポグラフィ記憶部40と、識別された運動想起ラベルと指示した運動想起に対応する運動想起ラベルとが一致した場合に、最適トポグラフィ記憶部40に記憶された、対応する運動想起の種類の最適トポグラフィを更新すると共に、対応する運動想起の種類の最適トポグラフィを表示制御部28に出力する最適トポグラフィ更新部42とを備えている。
ここで、本実施の形態の原理について説明する。頸椎損傷患者など体の自由が利かない障害者が、車椅子操作などの入力(意思表示)として用いる手段にブレイン・マシン・インタフェース(BMI)がある。このうち、運動想起中の脳波を用いたBMIでは、手足の動作をイメージすること(運動想起)などにより生じる脳波のパターンを用いて、スイッチのオンオフや電動車椅子の操作入力を行っている。従来は、運動想起と機器の動作とを一対一に対応付けることが可能になるまで、3〜4ヶ月の訓練が必要であり、訓練対象者の精神的、肉体的な負担が大きかった。
訓練対象者が正しく運動想起できていない場合、訓練対象者が想起している運動に関連する筋肉に触覚刺激を繰り返し与えると、訓練対象者は運動想起しやすくなると共に、与えられた刺激の影響が脳の感覚運動野に現れ、脳波トポグラフィにも運動想起の空間特徴が現れる。
従って、訓練対象者の負担を軽減するように訓練を支援するために、想起中の運動に関連する筋肉に刺激を与える触覚フィードバック手法と脳波トポグラフィを用いた視覚フィードバック手法とを併用することで、訓練対象者に運動想起タスクの明確な基準を提示することができるため、訓練対象者は効率的に訓練を行うことができる。
そこで、本実施の形態では、刺激制御部38によって、識別部32より識別された運動想起ラベルと指示した運動想起に対応する運動想起ラベルとが一致しない場合に、指示した運動想起に関連する部位に装着された刺激子14を繰り返し振動させて、想起中の運動に関連する筋肉に刺激を与える。なお、刺激制御部38には、運動想起と振動させる刺激子14との対応関係が予め記憶されており、この対応関係に基づいて、振動させる刺激子14を特定している。
最適トポグラフィ記憶部40には、運動想起の種類の各々に対応して、各運動想起を指示したときに生成された最適な脳波トポグラフィが、最適トポグラフィとして記憶されている。なお、本実施の形態に係る最適トポグラフィは、外部機器制御が最もうまくできた時の最適な脳波トポグラフィを意味している。
脳波の特徴として、時間の経過に伴い脳波が刻々と変化し、同じ運動想起状態でも、脳波のパターンは時間の経過とともに変化するということがある。また、脳波の特徴として、脳に可塑性があるため同じイメージでも数回を重ねることにより脳波の変化が少なくなるということがある。従って、脳波トポグラフィには、能動的な運動想起などによる部分と、時間の経過による変化分とが重畳している。
そこで、最適トポグラフィ更新部42は、識別された運動想起ラベルと指示した運動想起に対応する運動想起ラベルとが一致したと判定された場合に、生成された脳波トポグラフィを用いて、以下の(1)式に従って、対応する運動想起の種類の最適トポグラフィを更新する。
ここで、Pbestは、更新後の最適トポグラフィであり、Pbest´は、最適トポグラフィ記憶部40に記憶されていた直前の最適トポグラフィであり、Pは、現在生成された脳波トポグラフィである。
最適トポグラフィ更新部42は、最適トポグラフィを表示制御部28に出力し、表示装置18の表示画面上に、目標値として最適トポグラフィを表示させる。
次に、第1の実施の形態に係る脳訓練支援装置10の作用について説明する。
まず、オペレータが、各運動想起の種類について、予め訓練対象者から計測して求めた、運動想起した状態で算出される脳波の各周波数帯域のパワースペクトル密度の分布と、教師信号としての運動想起ラベルとを用意し、これらを学習データとして脳訓練支援装置10のコンピュータ16に入力し、コンピュータ16によってSVM学習を行う。
そして、キャップ型電極12が、訓練対象者の頭部に装着されている状態において、訓練対象者によって、脳訓練支援装置10のコンピュータ16に対して訓練開始指示が入力されると、脳訓練支援装置10のコンピュータ16で、訓練すべき脳波に対応する運動想起の種類の各々について、図2に示す脳波訓練支援処理ルーチンが実行される。
まず、ステップ100において、訓練させる脳波に対応する運動想起(例えば、足運動の想起)を指示する運動想起指示メッセージを生成して、表示装置18によって表示させる。これによって、訓練対象者は、表示装置18によって表示された指示に従って、運動を想起した状態となる。
そして、ステップ102において、キャップ型電極12から出力された各部位に対応する脳波信号に基づいて、脳波トポグラフィを生成する。次のステップ104では、SVMを用いて、上記ステップ102で脳波トポグラフィを生成する際に得られた脳波の各周波数帯域のパワースペクトル密度の分布が、どの運動想起に対応するかを識別し、識別した運動想起の運動想起ラベルを出力する。
そして、ステップ106において、上記ステップ100で指示した運動想起の運動想起ラベルと、上記ステップ104で識別された運動想起の運動想起ラベルとが一致するか否かを判定する。運動想起ラベルが一致する場合には、訓練対象者が正しく運動想起できていると判断し、ステップ108において、上記ステップ102で生成された脳波トポグラフィを用いて、対応する運動想起の種類の最適トポグラフィを更新し、ステップ112へ移行する。
一方、上記ステップ106において、運動想起ラベルが一致しないと判定された場合には、訓練対象者が正しく運動想起できていないと判断し、ステップ110において、指示した運動想起に関連する部位に装着された刺激子14を、所定期間繰り返し振動させて、運動想起に関連する筋肉に刺激を提示して、ステップ112へ移行する。
ステップ112では、上記ステップ102で生成した脳波トポグラフィと最適トポグラフィとを表示装置18によって表示させる。これによって、訓練対象者は、運動想起によって脳波がどのように変化したのかを確認することができ、また、最適トポグラフィとの相違を確認することができる。訓練対象者は、最適トポグラフィとの相違が大きいと判断した場合には、イメージの種類(動かす部位、動きのイメージ、周期など)や強さを変えて、再度運動想起する。また、最適トポグラフィとの相違が小さいと判断した場合には、どのように想起すれば、正しく運動想起することができるかを知ることができる。
ステップ114では、訓練を終了するか否かを判定し、訓練を終了しない場合には、ステップ102へ戻り、訓練すべき運動想起について再度訓練させる。一方、訓練対象者によって訓練終了指示が入力されたような場合には、訓練を終了すると判断し、脳波訓練支援処理ルーチンを終了する。
上記の脳波訓練支援処理ルーチンが、訓練すべき脳波に対応する運動想起の種類の各々について実行される。
以上説明したように、第1の実施の形態に係る脳訓練支援装置によれば、訓練対象者が正しく運動想起できていない場合に、指示した運動想起に関連する部位に、刺激を提示すると共に、生成された脳波トポグラフィを、訓練対象者に対して表示することにより、訓練対象者が脳波を変化させる訓練を効果的に支援することができる。
また、訓練対象者が訓練中に適切な運動想起をやみくもに探すのではなく、想起中の運動に関係する筋肉に外部から触刺激を提示することで、運動想起がやりやすくなり、同一の運動想起を効率的に繰り返すことができるようになるため、訓練時間を短縮することができる。
また、触覚フィードバックにより、生成される脳波トポグラフィに各運動想起に応じた空間特徴が現われるため、より明確な基準を訓練対象者に提示することが可能になる。
また、最適トポグラフィを更新して、想起中の運動に対応する最適トポグラフィを表示するため、電極インピーダンスの変化や脳波の可塑性を考慮して、適切な基準を訓練対象者に提示することが可能になる。
次に第2の実施の形態について説明する。なお、第2の実施の形態に係る脳訓練支援装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
第2の実施の形態では、最適トポグラフィと共に、最適トポグラフィと生成された脳波トポグラフィとの差分を表示している点が、第1の実施の形態と異なっている。
第2の実施の形態に係る脳訓練支援装置の表示制御部28は、トポグラフィ生成部26によって生成された脳波トポグラフィと、最適トポグラフィ更新部42から出力された、対応する運動想起の種類の最適トポグラフィとの差分fを、以下の(2)式に従って算出する。
表示制御部28は、上記(2)式によって算出された脳波トポグラフィの差分と、後述する最適トポグラフィ更新部42から出力された最適トポグラフィとを、表示装置18の表示画面上に各々表示させる。
これによって、訓練対象者は、正しく運動想起できた状態の脳波との差分を確認することができ、正しく運動想起できた状態の脳波との差分が大きいと判断した場合には、イメージの種類や強さを変えて、再度運動想起する。また、正しく運動想起できた状態の脳波との差が小さいと判断した場合には、どのように想起すれば、正しく運動想起できた状態の脳波との差異が小さくなるかを知ることができる。
なお、第2の実施の形態に係る脳訓練支援装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
このように、生成された脳波トポグラフィと、正しく運動想起できた場合の最適トポグラフィとの差分を表示することにより、訓練対象者が脳波を変化させる訓練を効果的に支援することができる。
また、正しく運動想起できた場合の脳波トポグラフィ(最適トポグラフィ)を更新すると共に、その時々に生成された脳波トポグラフィとの差分を表示することにより、電極インピーダンスの変化や脳波の可塑性などを考慮して、適切な基準を訓練対象者に提示することが可能になる。
次に第3の実施の形態について説明する。なお、第1の実施の形態と同様となる部分については、同一符号を付して説明を省略する。
第3の実施の形態では、訓練対象者の脳波によって画面上の車両モデルを操作するドライブシミュレーターを実現する脳訓練支援装置に、本発明を適用した場合を例に説明する。
図3に示すように、第3の実施の形態に係る脳訓練支援装置310のコンピュータ316は、信号取得部20と、A/D変換部22と、信号処理部24と、トポグラフィ生成部26と、表示制御部28と、機械学習部30と、識別部32と、車両モデルの運転操作を行なうドライブシミュレーションを実現するシミュレーター部334と、ドライブシミュレーションにおいて車両モデルの運転操作を行なうべきときに識別部32より識別された運動想起ラベルと、行うべき運転操作に対応する運動想起の運動想起ラベルとが一致するか否かを判定する入力判定部336と、刺激制御部38と、最適トポグラフィ記憶部40と、最適トポグラフィ更新部42とを備えている。なお、シミュレーター部334が、本発明の指示出力手段に対応している。
シミュレーター部334は、バーチャルリアリティ技術を利用して、図4に示すように、ドライバが車両を運転操作する様子を示すシミュレーション画面を、表示制御部28によって表示装置18に表示させ、車両を運転操作する臨場感を訓練対象者に提示させる。
また、シミュレーター部334は、訓練対象者が、予め定められたマップに従って、運転操作に対応する運動想起を行うと、車両モデルの運転操作を行なう。訓練対象者が正しく運動想起をして、入力判定部36によって運動想起ラベルが一致したと判定された場合には、シミュレーション画面上の車両モデルが正しく運転操作される。一方、訓練対象者が誤った運動想起をして、入力判定部36によって運動想起ラベルが一致しないと判定された場合には、シミュレーション画面上の車両モデルが停止される。
表示制御部28は、入力判定部36によって運動想起ラベルが一致したと判定された場合、最適トポグラフィ更新部42によって更新された、行うべき運転操作に対応する運動想起の種類の最適トポグラフィを、表示装置18に表示させる。表示制御部28は、入力判定部36によって運動想起ラベルが一致しないと判定された場合、上記(2)式に従って、行うべき運転操作に対応する運動想起の種類の最適トポグラフィとトポグラフィ生成部26によって生成された脳波トポグラフィとの差分を算出し、上記図4に示すように、算出された脳波トポグラフィの差分を示すデータと、行うべき運転操作に対応する運動想起の種類の最適トポグラフィとを、表示装置18の表示画面上に各々表示させる。
次に、第3の実施の形態に係る脳訓練支援装置310の作用について説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
訓練対象者によって、脳訓練支援装置310のコンピュータ316に対して訓練開始指示が入力されると、脳訓練支援装置310のコンピュータ316で、車両モデルの運転操作シミュレーションが開始され、シミュレーション画面が表示装置18に表示される。訓練対象者は、予め決められたマップに従って運転操作するように、運転操作に対応する運動想起を行う。
脳訓練支援装置310のコンピュータ316は、予め決められたマップに基づいて、運転操作を行なうべきタイミングであると判断すると、図5に示す脳波訓練支援処理ルーチンを実行する。
まず、ステップ350において、シミュレーター部334から行うべき運転操作を取得し、取得した運動操作に対応する運動想起の運動想起ラベルを特定する。
そして、ステップ102において、キャップ型電極12から出力された各部位に対応する脳波信号に基づいて、脳波トポグラフィを生成する。次のステップ104では、上記ステップ102で脳波トポグラフィを生成する際に得られた脳波の各周波数帯域のパワースペクトル密度の分布が、どの運動想起に対応するかを識別する。
そして、ステップ352において、上記ステップ350で特定した運動想起ラベルと、上記ステップ104で識別された運動想起の運動想起ラベルとが一致するか否かを判定する。運動想起ラベルが一致する場合には、訓練対象者が正しく運動想起できていると判断し、ステップ108において、上記ステップ102で生成された脳波トポグラフィを用いて、対応する運動想起の種類の最適トポグラフィを更新する。そして、ステップ354において、上記ステップ108で更新された最適トポグラフィを表示装置18によって表示させる。
次のステップ356では、シミュレーター部334のドライブシミュレーションにおいて、車両モデルに対して、上記ステップ104で識別された運動想起に対応する運転操作を行なうように制御して、脳波訓練支援処理ルーチンを終了する。
一方、上記ステップ352において、運動想起ラベルが一致しないと判定された場合には、訓練対象者が正しく運動想起できていないと判断し、ステップ358において、行うべき運転操作に対応する運動想起に関連する部位に装着された刺激子14を、所定期間繰り返し振動させて、運動想起に関連する筋肉に刺激を提示する。
そして、ステップ360において、上記ステップ102で生成された脳波トポグラフィと、行うべき運転操作に対応する運動想起の種類の最適トポグラフィとの差分を算出する。次のステップ362において、行うべき運転操作に対応する運動想起の種類の最適トポグラフィと、上記ステップ360で算出された差分を示すデータとを、表示装置18に表示させる。そして、ステップ364において、シミュレーター部334のドライブシミュレーションにおいて、車両モデルを停止させるように制御して、ステップ102へ戻る。
以上説明したように、第3の実施の形態に係る脳訓練支援装置によれば、ドライブシミュレーションにおいて、訓練対象者が行うべき運転操作に対応して正しく運動想起できていない場合に、行うべき運転操作に対応する運動想起に関連する部位に、刺激を提示すると共に、生成された脳波トポグラフィと最適トポグラフィとの差分を、訓練対象者に対して表示することにより、訓練対象者が脳波を変化させる訓練を効果的に支援することができる。
次に、第4の実施の形態に係る脳訓練支援装置について説明する。なお、第4の実施の形態に係る脳訓練支援装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
第4の実施の形態では、脳波トポグラフィについてニュートラル状態との差分を算出して表示している点と、各運動想起を指示したときに生成された最適な脳波トポグラフィを用いて算出される差分データが、最適トポグラフィとして記憶されている点とが、第1の実施の形態と主に異なっている。
第4の実施の形態に係る脳訓練支援装置のトポグラフィ生成部26には、訓練対象者が、ニュートラル状態としての何もイメージしていない状態である場合に生成された脳波トポグラフィが、ニュートラルデータとして記憶されている。
また、トポグラフィ生成部26は、生成された脳波トポグラフィと記憶されたニュートラルデータである脳波トポグラフィとを画像データとして、各画素の画素値の差分を計算し、各画素の画素値の差分からなる画像データを、差分トポグラフィとして生成する。生成された差分トポグラフィは、表示制御部28によって表示装置18に表示される。
最適トポグラフィ記憶部40には、各運動想起の種類に対応して、各運動想起を指示したときに生成された最適な脳波トポグラフィを用いて算出される差分トポグラフィが、最適トポグラフィとして記憶されている。
最適トポグラフィ更新部42は、識別された運動想起ラベルと指示した運動想起に対応する運動想起ラベルとが一致したと判定された場合に、生成された差分トポグラフィを用いて、対応する運動想起の種類の最適トポグラフィを更新する。最適トポグラフィ更新部42は、最適トポグラフィを表示制御部28に出力し、表示装置18の表示画面上に、差分トポグラフィの目標値として最適トポグラフィを表示させる。
なお、第4の実施の形態に係る脳訓練支援装置の他の構成及び処理については、第1の実施の形態と同様であるため、説明を省略する。
このように、生成された脳波トポグラフィとニュートラル状態の脳波トポグラフィとの差分を示す差分トポグラフィを生成して、訓練対象者に対して表示することにより、訓練対象者の運動想起による脳の脳波の分布の変化を明示することができるため、訓練対象者が運動想起して脳波を変化させる訓練を効果的に支援することができる。
次に、第5の実施の形態に係る脳訓練支援装置について説明する。なお、第5の実施の形態に係る脳訓練支援装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
第5の実施の形態では、訓練対象者の頭部表面の各部位から、脳の磁場を検出している点が、第1の実施の形態と主に異なっている。
第5の実施の形態に係る脳訓練支援装置は、訓練対象者の頭部表面の各部位から、脳の磁場を検出して、磁場信号をコンピュータ16に入力している。
コンピュータ16では、トポグラフィ生成部26によって、脳磁図を示す脳磁トポグラフィを生成する。脳磁図とは、脳の神経活動(電気的活動)に伴って発生する磁場(磁界)の変化を頭皮上で捉えたもので、単位は磁束密度で表される。脳磁図によれば、運動や知覚に関連して、脳のどの部分が活動しているかを正確に推定することが可能である。
トポグラフィ生成部26によって生成される脳磁図を示す脳磁トポグラフィは、頭部表面上の各部位の磁束密度の大きさと磁界の向きの分布を表している。
機械学習部30は、脳波の磁束密度の大きさの分布と運動想起ラベルとの組み合わせを学習データとしてSVM学習を行う。識別部32は、機械学習部30のSVMを用いて、算出された脳波の磁束密度の大きさと磁界の向きの分布が、どの運動想起ラベルに分類されるか識別する。
最適トポグラフィ記憶部40には、各運動想起の種類に対応して、各運動想起を指示したときに生成された最適な脳磁トポグラフィが、最適トポグラフィとして記憶されている。
最適トポグラフィ更新部42は、識別された運動想起ラベルと指示した運動想起に対応する運動想起ラベルとが一致したと判定された場合に、生成された脳磁トポグラフィを用いて、対応する運動想起の種類の最適トポグラフィを更新する。
なお、第5の実施の形態に係る脳訓練支援装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
このように、訓練対象者が正しく運動想起できていない場合に、指示した運動想起に関連する部位に、刺激を提示すると共に、生成された脳磁トポグラフィを、訓練対象者に対して表示することにより、訓練対象者が脳の磁場を変化させる訓練を効果的に支援することができる。
次に、第6の実施の形態に係る脳訓練支援装置について説明する。なお、第6の実施の形態に係る脳訓練支援装置の構成は、第1の実施の形態と同様であるため、同一符号を付して説明を省略する。
第6の実施の形態では、訓練対象者の頭部表面の各部位から、脳の血流量を検出している点が、第1の実施の形態と主に異なっている。
第6の実施の形態に係る脳訓練支援装置は、訓練対象者の頭部表面の各部位から、脳の血流量を検出して、脳血流信号をコンピュータ16に入力している。
本実施の形態では、「脳の血流量を検出」と表記しているが、近赤外分光法を利用して脳の血液の酸素化度を計測し、血流量や血流量の変化を求めて間接的に脳の活動状態を検出する手法や、機能的核磁気共鳴画像法のように、血液の組成、量の変化に基づいて、間接的に脳活動状態を検出する手法を指し、脳波や磁場のように脳神経の活動を直接反映する物理量によらない脳の活動状態計測手法を指す。
コンピュータ16では、トポグラフィ生成部26によって、脳の血流量の分布を示す脳血流トポグラフィを生成する。
機械学習部30は、脳の血流量の分布と運動想起ラベルとの組み合わせを学習データとしてSVM学習を行う。識別部32は、機械学習部30のSVMを用いて、算出された脳の血流量の分布が、どの運動想起ラベルに分類されるか識別する。
最適トポグラフィ記憶部40には、各運動想起の種類に対応して、各運動想起を指示したときに生成された最適な脳血流トポグラフィが、最適トポグラフィとして記憶されている。
最適トポグラフィ更新部42は、識別された運動想起ラベルと指示した運動想起に対応する運動想起ラベルとが一致したと判定された場合に、生成された脳血流トポグラフィを用いて、対応する運動想起の種類の最適トポグラフィを更新する。
なお、第6の実施の形態に係る脳訓練支援装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
このように、訓練対象者が正しく運動想起できていない場合に、指示した運動想起に関連する部位に、刺激を提示すると共に、生成された脳血流トポグラフィを、訓練対象者に対して表示することにより、訓練対象者が脳の血流量を変化させる訓練を効果的に支援することができる。
なお、上記の第1の実施の形態〜第6の実施の形態では、脳訓練支援装置によって、訓練支援処理を行う場合を例に説明したが、これに限定されるものではなく、脳訓練支援装置と操作機器とを接続し、脳訓練支援装置において、訓練支援処理と共に、脳波信号等に基づく操作機器の操作処理を行うようにしてもよい。この場合には、運動想起ラベルの種類と操作信号の種類との対応関係を予め定めておき、識別された運動想起ラベルの種類に応じた操作信号を発生させて、操作機器に出力するようにすればよい。
また、脳波トポグラフィや最適トポグラフィを表示装置に表示させる場合を例に説明したが、これに限定されるものではなく、音声などによって、脳波トポグラフィや最適トポグラフィの様子を訓練対象者に対して報知するようにしてもよい。
また、訓練支援処理を行う前に、脳波等の分布と運動想起ラベルとの関係を予め学習しておく場合を例に説明したが、これに限定されるものではなく、訓練支援処理を行っている最中に、算出された脳波の各周波数帯域のパワースペクトル密度などの分布と指示した運動想起の運動想起ラベルとを学習データとして入力して、SVM学習を行うようにしてもよい。これによって、電極インピーダンスの変化や脳波の可塑性などによる、識別精度の低下に対応することができるため、長時間使用が可能になる。
また、生体情報として、脳波、磁場、血流量を例に説明したが、これに限定されるものではなく、脳の活動状態を知る他の計測手段によるデータを用いてもよい。
また、機械学習部の機械学習としてSVM学習を用いた場合を例に説明したが、これに限定されるものではなく、NN(Neural Network)学習、HMM(Hidden Markov Model)など、他の機械学習を用いてもよい。
また、刺激子の振動強度が一定である場合を例に説明したが、これに限定されるものではなく、脳訓練支援装置に刺激強度を調整するスイッチを設けて、刺激子の振動強度を調整できるようにしてもよい。
また、刺激子による刺激として、振動による触刺激を訓練対象者に与える場合を例に説明したが、これに限定されるものではなく、刺激子によって、刺激として、一定周期の弱い電流による電気刺激、冷刺激、又は熱刺激を訓練対象者に与えるようにしてもよい。
本発明の第1の実施の形態に係る脳訓練支援装置の構成を示す概略図である。 本発明の第1の実施の形態に係る脳訓練支援装置のコンピュータにおける脳波訓練支援処理ルーチンの内容を示すフローチャートである。 本発明の第3の実施の形態に係る脳訓練支援装置の構成を示す概略図である。 表示装置におけるシミュレーション画面、最適トポグラフィの表示画面、及び差分データの表示画面のイメージ図である。 本発明の第3の実施の形態に係る脳訓練支援装置のコンピュータにおける脳波訓練支援処理ルーチンの内容を示すフローチャートである。
符号の説明
10、310 脳訓練支援装置
12 キャップ型電極
14 刺激子
16、316 コンピュータ
18 表示装置
26 トポグラフィ生成部
28 表示制御部
30 機械学習部
32 識別部
34 指示生成部
36、336 入力判定部
38 刺激制御部
40 最適トポグラフィ記憶部
42 最適トポグラフィ更新部
334 シミュレーター部

Claims (4)

  1. 訓練対象者に対して、所定の運動を想起するように指示する情報を出力する指示出力手段と、
    前記訓練対象者の脳の活動状態を示す生体情報を検出する生体情報検出手段と、
    前記生体情報検出手段によって検出された前記訓練対象者の前記生体情報の分布を示すトポグラフィを生成するトポグラフィ生成手段と、
    前記トポグラフィ生成手段によって生成された前記トポグラフィを、前記訓練対象者に対して報知する報知手段と、
    前記指示出力手段により出力された情報によって前記訓練対象者が想起した前記所定の運動に関連する前記訓練対象者の部位に、刺激を提示する刺激提示手段と、
    を含む脳訓練支援装置。
  2. 前記生体情報検出手段は、前記生体情報として、前記訓練対象者の頭部表面の複数部位における脳波、磁場、及び血流量の何れか1つを検出する請求項1記載の脳訓練支援装置。
  3. 前記生体情報検出手段によって検出された前記訓練対象者の前記生体情報の分布が、前記所定の運動を想起した状態で検出される前記生体情報の分布であるか否かを判定する判定手段を更に含み、
    前記刺激提示手段は、前記判定手段によって、前記検出された前記訓練対象者の前記生体情報の分布が、前記所定の運動を想起した状態で検出される前記生体情報の分布でないと判定された場合に、前記所定の運動に関連する前記訓練対象者の部位に、刺激を提示する請求項1又は2記載の脳訓練支援装置。
  4. 前記判定手段によって前記所定の運動を想起した状態で検出される前記生体情報の分布であると判定された前記生体情報の分布を示すトポグラフィを記憶する記憶手段を更に含み、
    前記報知手段は、前記トポグラフィ生成手段によって生成された前記トポグラフィと前記記憶手段に記憶された前記トポグラフィとの差分を、前記訓練対象者に対して報知する請求項3記載の脳訓練支援装置。
JP2008151416A 2008-06-10 2008-06-10 脳訓練支援装置 Pending JP2009297059A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008151416A JP2009297059A (ja) 2008-06-10 2008-06-10 脳訓練支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008151416A JP2009297059A (ja) 2008-06-10 2008-06-10 脳訓練支援装置

Publications (1)

Publication Number Publication Date
JP2009297059A true JP2009297059A (ja) 2009-12-24

Family

ID=41544607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008151416A Pending JP2009297059A (ja) 2008-06-10 2008-06-10 脳訓練支援装置

Country Status (1)

Country Link
JP (1) JP2009297059A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102783948A (zh) * 2011-05-20 2012-11-21 索尼公司 脑电图激发装置
JP2013173035A (ja) * 2013-06-11 2013-09-05 Advanced Telecommunication Research Institute International 脳機能亢進支援装置および脳機能亢進支援方法
JP2015091359A (ja) * 2014-12-25 2015-05-14 株式会社国際電気通信基礎技術研究所 脳機能訓練装置および脳機能訓練プログラム
CN104921902A (zh) * 2014-03-17 2015-09-23 香港理工大学 一种结合感知功能与机械辅助的康复系统
WO2016002207A1 (ja) * 2014-06-30 2016-01-07 学校法人 慶應義塾 リハビリテーションシステムおよびリハビリテーションシステムの制御方法
JP2016062584A (ja) * 2014-09-12 2016-04-25 株式会社国際電気通信基礎技術研究所 動作識別システム、情報処理装置、情報処理プログラム、および情報処理システム
JP2016198479A (ja) * 2015-04-10 2016-12-01 国立大学法人北見工業大学 リハビリテーション装置
KR101740198B1 (ko) 2016-10-31 2017-05-26 재단법인대구경북과학기술원 뇌-컴퓨터 인터페이스 훈련 장치 및 시스템
JP2017151576A (ja) * 2016-02-23 2017-08-31 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
JP2019022626A (ja) * 2017-07-25 2019-02-14 マツダ株式会社 脳情報測定装置
WO2020235680A1 (ja) * 2019-05-23 2020-11-26 Nitta Tsuneo 音声想起認識装置、装着具、音声想起認識方法及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102783948A (zh) * 2011-05-20 2012-11-21 索尼公司 脑电图激发装置
JP2013173035A (ja) * 2013-06-11 2013-09-05 Advanced Telecommunication Research Institute International 脳機能亢進支援装置および脳機能亢進支援方法
CN104921902A (zh) * 2014-03-17 2015-09-23 香港理工大学 一种结合感知功能与机械辅助的康复系统
WO2016002207A1 (ja) * 2014-06-30 2016-01-07 学校法人 慶應義塾 リハビリテーションシステムおよびリハビリテーションシステムの制御方法
JP2016062584A (ja) * 2014-09-12 2016-04-25 株式会社国際電気通信基礎技術研究所 動作識別システム、情報処理装置、情報処理プログラム、および情報処理システム
JP2015091359A (ja) * 2014-12-25 2015-05-14 株式会社国際電気通信基礎技術研究所 脳機能訓練装置および脳機能訓練プログラム
JP2016198479A (ja) * 2015-04-10 2016-12-01 国立大学法人北見工業大学 リハビリテーション装置
JP2017151576A (ja) * 2016-02-23 2017-08-31 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
US11081015B2 (en) 2016-02-23 2021-08-03 Seiko Epson Corporation Training device, training method, and program
KR101740198B1 (ko) 2016-10-31 2017-05-26 재단법인대구경북과학기술원 뇌-컴퓨터 인터페이스 훈련 장치 및 시스템
JP2019022626A (ja) * 2017-07-25 2019-02-14 マツダ株式会社 脳情報測定装置
WO2020235680A1 (ja) * 2019-05-23 2020-11-26 Nitta Tsuneo 音声想起認識装置、装着具、音声想起認識方法及びプログラム
JP2020191021A (ja) * 2019-05-23 2020-11-26 恒雄 新田 音声想起認識装置、装着具、音声想起認識方法及びプログラム
CN113873944A (zh) * 2019-05-23 2021-12-31 新田恒雄 语音联想识别装置、佩戴用具、语音联想识别方法及程序
JP7043081B2 (ja) 2019-05-23 2022-03-29 恒雄 新田 音声想起認識装置、装着具、音声想起認識方法及びプログラム

Similar Documents

Publication Publication Date Title
JP2009297059A (ja) 脳訓練支援装置
US9081890B2 (en) Rehabilitation training system and method
KR102014176B1 (ko) 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템
US20200038653A1 (en) Multimodal closed-loop brain-computer interface and peripheral stimulation for neuro-rehabilitation
US10973408B2 (en) Smart eye system for visuomotor dysfunction diagnosis and its operant conditioning
EP2777735B1 (en) Brain function promotion support device and brain function promotion support method
WO2018205722A1 (zh) 康复机器人、康复系统、康复方法、康复装置
US9125788B2 (en) System and method for motor learning
CN106413532A (zh) 康复系统和方法
US20140200632A1 (en) Self-directed rehabilitation training method combining brain signals and functional electrostimulation
CN110993056A (zh) 基于镜像神经元和脑机接口的混合式主动康复方法、装置
JP7024151B2 (ja) 脳波測定システム、脳波測定方法、プログラム、及び非一時的記録媒体
US20200315486A1 (en) Electroencephalogram measurement system, rehabilitation support system, method for controlling the electroencephalogram measurement system, program, and non-transitory storage medium
CN115487420A (zh) 一种个性化经颅电刺激干预情绪的方法及装置
JP2009285294A (ja) 脳訓練支援装置
KR102074853B1 (ko) 뇌-컴퓨터 인터페이스를 제어하기 위한 피드백 시스템
JP6755507B2 (ja) 脳活動訓練システム及び脳活動訓練システムの作動方法
KR20220028967A (ko) 뉴로피드백 기반의 치료 장치 및 치료 방법
US12076152B2 (en) Electroencephalogram decision system, electroencephalogram decision method, program, and non-transitory storage medium
JP6304626B2 (ja) リハビリテーション装置
KR101937351B1 (ko) 뇌파 감지 결과에 기초하여 능동적인 재활을 유도하는 보행 재활 장치 및 그것의 제어 방법
EP4009333A1 (en) Method and system for personalized attention bias modification treatment by means of neurofeedback monitoring
JP6888789B2 (ja) 脳波測定システム、脳波測定方法、プログラム、及び非一時的記録媒体
Zhong et al. Cross-Subject Motor Imagery Decoding by Transfer Learning of Tactile ERD
Khan et al. EEG-based BCI systems for neurorehabilitation applications