JP2013128642A - ブレイン・コンピュータ・インターフェース及びブレイン・コンピュータ・インターフェースにおける対象物の制御方法 - Google Patents
ブレイン・コンピュータ・インターフェース及びブレイン・コンピュータ・インターフェースにおける対象物の制御方法 Download PDFInfo
- Publication number
- JP2013128642A JP2013128642A JP2011279442A JP2011279442A JP2013128642A JP 2013128642 A JP2013128642 A JP 2013128642A JP 2011279442 A JP2011279442 A JP 2011279442A JP 2011279442 A JP2011279442 A JP 2011279442A JP 2013128642 A JP2013128642 A JP 2013128642A
- Authority
- JP
- Japan
- Prior art keywords
- image
- body part
- power
- computer interface
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】所定身体部位の運動イメージに更なる操作を割り当てることが可能なブレイン・コンピュータ・インターフェースを提供する。
【解決手段】本発明に係るブレイン・コンピュータ・インターフェースでは、使用者が周期的に自己の所定身体部位の運動をイメージするときのイメージ頻度に基づいて所定の対象物を制御することとした。また、前記所定の身体部位は、前記使用者の左右いずれかの半身部位であることや、前記半身部位は、腕、手、指から選ばれる少なくともいずれか1つであることにも特徴を有する。
【選択図】図4
【解決手段】本発明に係るブレイン・コンピュータ・インターフェースでは、使用者が周期的に自己の所定身体部位の運動をイメージするときのイメージ頻度に基づいて所定の対象物を制御することとした。また、前記所定の身体部位は、前記使用者の左右いずれかの半身部位であることや、前記半身部位は、腕、手、指から選ばれる少なくともいずれか1つであることにも特徴を有する。
【選択図】図4
Description
本発明は、使用者から取得した脳波に基づいて、所定の対象物を制御するブレイン・コンピュータ・インターフェース(Brain-computer Interface:BCI)及びブレイン・コンピュータ・インターフェースにおける対象物の制御方法に関する。
従来、使用者の脳波に基づいて所定の対象物を制御すべく構成したブレイン・コンピュータ・インターフェースが知られており、様々な装置類を操作するインターフェースとして利用されている。
一例を挙げると、ブレイン・コンピュータ・インターフェースを備えた電動車イスが提案されている(例えば、特許文献1参照。)。
このような電動車イスによれば、使用者の身体の運動機能が低下している場合であっても、使用者が意図する方向へ車イスを操作することができるとしている。
ところで、使用者がブレイン・コンピュータ・インターフェースを介して対象物を操作する場合には、所定の操作に対応付けられた脳波を生起させるために、図形の視認を行ったり、手や足を動かすことをイメージする等の方法が行われている。
中でも、手足など使用者自身の所定身体部位の運動をイメージする方法は、後天的な理由によって四肢の運動機能が失われた者を対象としたブレイン・コンピュータ・インターフェースにおいて、使用者の指示を認識させる上で有効な方法である。
例えば、国際10-20法に従って使用者の頭部に電極を配置した場合、右手の運動イメージを行うことでC3電極位置に脳波変動を生起させることができ、また、左手の運動イメージを行うことで、C4電極位置に脳波変動を生起させることができる。
それゆえ、左右の手の運動イメージに、それぞれ1つずつ操作を割り当てることができることとなる。
しかしながら、例えば手の場合、一方の手の運動イメージに2つの操作を割り当てることができれば、ブレイン・コンピュータ・インターフェースが制御する対象物の制御の幅をさらに広げることが可能となる。
本発明は、斯かる事情に鑑みてなされたものであって、所定身体部位の運動イメージに更なる操作を割り当てることが可能なブレイン・コンピュータ・インターフェース及びブレイン・コンピュータ・インターフェースにおける対象物の制御方法を提供する。
上記課題を解決するために、請求項1に係る本発明では、ブレイン・コンピュータ・インターフェースにおける対象物の制御方法において、使用者が自己の所定身体部位の運動を周期的にイメージする時のイメージ開始後一定時間における脳波を測定し、この脳波から周波数が13〜30Hzの範囲のパワースペクトルを求め、同パワースペクトルが、イメージ前の脳波の前記周波数におけるパワースペクトルに基づいて定めた閾値を超えるか否かによって、所定の対象物に対し異なる制御を行うこととした。
また、請求項2に係る本発明では、請求項1に記載のブレイン・コンピュータ・インターフェースにおける対象物の制御方法において、前記イメージは、1/1.5Hz未満の周期で行う場合と、1/1.5Hz以上の周期で行う場合とのいずれかを、前記使用者によって意図的に選択させることに特徴を有する。
また、請求項3に係る本発明では、請求項1又は請求項2に記載のブレイン・コンピュータ・インターフェースにおける対象物の制御方法において、前記所定の身体部位は、前記使用者の左右いずれかの半身部位であることに特徴を有する。
また、請求項4に係る本発明では、請求項3に記載のブレイン・コンピュータ・インターフェースにおける対象物の制御方法において、前記半身部位は、腕、手、指から選ばれる少なくともいずれか1つであることに特徴を有する。
また、請求項5に係る本発明では、ブレイン・コンピュータ・インターフェースにおいて、使用者が周期的に自己の所定身体部位の運動をイメージするときのイメージ頻度に基づいて所定の対象物を制御することとした。
また、請求項6に係る本発明では、請求項5に記載のブレイン・コンピュータ・インターフェースにおいて、前記所定の身体部位は、前記使用者の左右いずれかの半身部位であることに特徴を有する。
また、請求項7に係る本発明では、請求項6に記載のブレイン・コンピュータ・インターフェースにおいて、前記半身部位は、腕、手、指から選ばれる少なくともいずれか1つであることに特徴を有する。
請求項1に記載のブレイン・コンピュータ・インターフェースにおける対象物の制御方法によれば、使用者が自己の所定身体部位の運動を周期的にイメージする時のイメージ開始後一定時間における脳波を測定し、この脳波から周波数が13〜30Hzの範囲のパワースペクトルを求め、同パワースペクトルが、イメージ前の脳波の前記周波数におけるパワースペクトルに基づいて定めた閾値を超えるか否かによって、所定の対象物に対し異なる制御を行うこととしたため、所定身体部位の運動イメージに更なる操作を割り当てることが可能なブレイン・コンピュータ・インターフェースにおける対象物の制御方法を提供することができる。
また、請求項2に記載のブレイン・コンピュータ・インターフェースにおける対象物の制御方法によれば、前記イメージは、1/1.5Hz未満の周期で行う場合と、1/1.5Hz以上の周期で行う場合とのいずれかを、前記使用者によって意図的に選択させることとしたため、対象物の制御をより確実なものとすることができる。
また、請求項3に記載のブレイン・コンピュータ・インターフェースにおける対象物の制御方法によれば、前記所定の身体部位は、前記使用者の左右いずれかの半身部位であることとしたため、左半身部位と右半身部位とにそれぞれ制御を割り当てて対象物の制御を行うことができる。
また、請求項4に記載のブレイン・コンピュータ・インターフェースにおける対象物の制御方法によれば、前記半身部位は、腕、手、指から選ばれる少なくともいずれか1つであることとしたため、使用者が左右いずれの腕、手、又は指の運動をイメージしたかについて、脳波に基づき比較的正確に対象物の制御を行うことができる。
また、請求項5に記載のブレイン・コンピュータ・インターフェースによれば、使用者が周期的に自己の所定身体部位の運動をイメージするときのイメージ頻度に基づいて所定の対象物を制御することとしたため、所定身体部位の運動イメージに更なる操作を割り当てることが可能なブレイン・コンピュータ・インターフェースを提供することができる。
また、請求項6に記載のブレイン・コンピュータ・インターフェースによれば、前記所定の身体部位は、前記使用者の左右いずれかの半身部位であることとしたため、左半身部位と右半身部位とにそれぞれ制御を割り当てることができる。
また、請求項7に記載のブレイン・コンピュータ・インターフェースによれば、前記半身部位は、腕、手、指から選ばれる少なくともいずれか1つであることとしたため、使用者が左右いずれの腕、手、又は指の運動をイメージしたかについて、脳波に基づき比較的明確に判定を行うことができる。
本発明は、使用者が自己の所定身体部位の運動を周期的にイメージする時のイメージ開始後一定時間における脳波を測定し、この脳波から周波数が13〜30Hzの範囲のパワースペクトルを求め、同パワースペクトルが、イメージ前の脳波の前記周波数におけるパワースペクトルに基づいて定めた閾値を超えるか否かによって、所定の対象物に対し異なる制御を行うことを特徴とするブレイン・コンピュータ・インターフェースにおける対象物の制御方法を提供するものである。
また、本発明は、使用者が周期的に自己の所定身体部位の運動をイメージするときのイメージ頻度に基づいて所定の対象物を制御するブレイン・コンピュータ・インターフェースを提供することについても目的としている。
本発明者は長年に亘ってブレイン・コンピュータ・インターフェース(Brain-computer Interface : BCI)の研究に携わっており、日々の鋭意研究の積み重ねの中で、所定身体部位の運動をイメージを周期的に行った際に、その運動イメージの頻度、換言すれば、運動をイメージする時間間隔の違いによって、所定時間を境に脳波の波形に違いが出ることを見出した。本発明は、かかる現象を応用することで完成されたものである。
今回発明者によって見出された脳波波形の違いについて具体的に触れると、国際10-20法に従って被験者(使用者)の頭部に電極を配置し、脳波計測装置にてモニタリングしつつ、右手の運動をイメージさせた場合において、1秒間隔で運動イメージを行わせたときには、C3電極位置のβ波がイメージ前に比して抑制されることとなる。
しかしながら、例えば5秒間隔でイメージさせると、β波は、イメージ前に比して一度抑制されるものの、次いでイメージ前よりも強く現れる現象を見出した。本明細書では、この現象を「長周期イメージ後パワー増加」とも言う。
ただし、例えば1秒間隔で周期的にイメージを行った場合において、最後にイメージして1秒以上経過した後にも、β波のパワー増加が観察される。しかしながら、このような短い間隔でイメージした後に観察されるパワーの増加(以下、短周期イメージ後パワー増加ともいう。)は、上述の長周期イメージ後パワー増加に比して弱いものであり、対象物の制御を行う上では、適当な閾値を設けることで判別することができる。
本発明は、この長周期イメージ後パワー増加を利用するものであり、例えば同じ右手の運動イメージであっても、1秒毎にイメージした場合には、イメージ前に比してパワーの抑制は見られるものの長周期イメージ後パワー増加が検出されないので所定の操作対象物を前進させ、5秒毎にイメージした場合にはパワーの抑制後に長周期イメージ後パワー増加が検出されるので操作対象物を右旋回させる、のように一つの身体部位に2つの操作を割り当てることができるものである。
ここで、本実施形態に係るブレイン・コンピュータ・インターフェースの使用者は、四肢の運動機能の一部又は全部が低下又は失われた者(以下、運動機能障害者ともいう。)であっても良く、また、健常者であっても良い。
また、本実施形態に係るブレイン・コンピュータ・インターフェースにおける対象物の制御方法では、使用者が自己の所定身体部位の運動を周期的にイメージする時のイメージ開始後一定時間における脳波を測定し、この脳波から所定周波数の脳波(以下、パワースペクトルという。)を求めることとしている。特に、本実施形態では、周波数が13〜30Hzの範囲のパワースペクトルに着目することとしている。脳波から所定の帯域の脳波を抽出するには、例えば、高速フーリエ変換(Fast Fourier Transform:FFT)を利用することができる。
長周期イメージ後パワー増加を検出するにあたっては、ベース値や前述の閾値の設定を行うこととしている。
ベース値は、イメージ前、すなわち、使用者が開眼安静状態ときの脳波の13〜30Hzにおけるパワースペクトルのパワーから算出する値であって、パワースペクトルのベースラインとなる値である。このベース値は、例えば、開眼安静状態ときの脳波の13〜30Hzにおけるパワースペクトルのパワー平均値を用いることができる。
長周期イメージ後パワー増加は、このベース値に対してどの程度の割合で増強が行われたかで判別される。
閾値は、対象物の制御を行う上で、イメージ後パワー増加が生起されたか否かの基準となる値である。この閾値は、対象物の操作を行う使用者の短周期イメージ後パワー増加におけるパワーの増強割合よりも大きい値である。
そして、イメージ前のパワースペクトルのパワーに基づいて閾値を定め、この閾値と、イメージ後のパワースペクトルのパワー変化量とを比較して所定の対象物に対し異なる制御を行うこととしている。
すなわち、イメージ後のパワースペクトルが、前記閾値を超えるか否かによって、長周期イメージ後パワー増加の検出の有無を判断し、対象物に対してそれぞれ異なる制御を行うようにしている。特に、長周期イメージ後パワー増加は、イメージ後1500ms〜2500msまでの間に出現することが多く、この時間のパワースペクトル主に監視しつつ閾値と比較し、このパワースペクトルの大きさに応じて制御を行うようにしても良い。
イメージする所定身体部位は、随意運動が可能な身体部位であれば特に限定されるものではなく、例えば、足指、足首、膝、腿、腰、腹、胸、肩、腕、肘、手首、手、手の指、首、瞼、眼球、鼻、顔、額、唇、下顎、舌、喉を挙げることができる。
特に、所定の身体部位を使用者の左右いずれかの半身部位とすれば、左半身部位と右半身部位とにそれぞれ制御を割り当てることが可能となる。
さらに、半身部位は、腕、手、手の指から選ばれる少なくともいずれか1つとすることもできる。腕、手、手の指は、右半身及び左半身に左右対称に存在する随意運動可能な部位でありながら、ペンフィールドの地図からも分かるように、中心部(central)のC3電極位置及びC4電極位置から得られる脳波によって、左右のいずれがイメージされたかを比較的容易に検出することができるためである。
また、所定身体部位の運動は特に限定されるものではなく、例えば、所定身体部位が関節の場合には曲げ伸ばしや回転、筋肉であれば緊張や弛緩、喉であれば嚥下などを挙げることができる。
また、周期的に運動をイメージするとは、所定の(一つの)身体部位の運動を、所定時間毎に繰り返し想像することと解することができる。このとき、実際の運動は伴っても良く、伴わなくとも良い。
イメージ頻度とは、単位時間あたりのイメージ回数を意味するものであり、脳波の波形に違いが現れる運動のイメージの時間間隔の所定閾値を例えば1.5秒とした場合には、1.5秒未満の時間間隔(f>1/1.5Hz)で運動イメージを行えばイメージ頻度は多くなり、1.5秒以上の時間間隔(f≦1/1.5Hz)で運動イメージを行えばイメージ頻度は少なくなると解することができる。このイメージ頻度を1.5秒未満の時間間隔で行うか、1.5秒以上の時間間隔で行うかは、使用者に意図的に選択させることにより、対象物を使用者の意図に沿って制御することができる。また、1.5秒以上の時間間隔は、必ずしも一定間隔である必要はない。例えば、10秒間経過した後にイメージを行い、1分経過した後にイメージを行った場合であっても、上記「1.5秒以上の時間間隔」の概念に含まれる。このときの周波数表記は平均値である。また、1回だけイメージを行い、その後イメージしない場合、すなわち、単発でイメージを行った場合も上記「1.5秒以上の時間間隔」の概念に含まれる。このときのイメージ周期は無限大であると言える。
また、所定の対象物は特に限定されるものではない。例えば、車イスや義足、義手などの活動補助具であっても良く、また、コンピュータのディスプレイ上に表示される仮想の物であっても良い。
また、活動補助具は、運動機能障害者を対象とするものに限定されず、健常者を対象としたものであっても良い。例えば、健常運転者の自動車運転を補助するカーナビゲーションシステムや、車載コンピュータに対し、本実施形態に係るブレイン・コンピュータ・インターフェースを介して入力や指示を行うよう構成しても良い。
次に、本実施形態に係るブレイン・コンピュータ・インターフェース及びブレイン・コンピュータ・インターフェースにおける対象物の制御方法について、図面を参照しながら説明する。なお以下では、本発明の理解を容易とするために、まず、長周期イメージ後パワー増加の検証試験について説明し、その後、本実施形態に係るブレイン・コンピュータ・インターフェースを介したコンピュータ上の仮想物体の操縦について実験方法及び結果を参照しつつ説明する。
〔長周期イメージ後パワー増加の検証試験〕
まず、長周期イメージ後パワー増加を検出する試験について、その技術背景を交えながら説明する。
まず、長周期イメージ後パワー増加を検出する試験について、その技術背景を交えながら説明する。
(技術背景)
非同期式脳波による機器制御については、Walpowらのグループの研究が有名である。彼らは、被験者に右手又は左手の運動イメージを行わせ、その際の頭皮上頭頂部C3及びC4の部位から導出された脳波のβ波帯域及びμ波帯域のパワー量の変化を用いて機器を制御している(PNAS, Vol.101, No.51, pp.17849-17854, 2004)。
非同期式脳波による機器制御については、Walpowらのグループの研究が有名である。彼らは、被験者に右手又は左手の運動イメージを行わせ、その際の頭皮上頭頂部C3及びC4の部位から導出された脳波のβ波帯域及びμ波帯域のパワー量の変化を用いて機器を制御している(PNAS, Vol.101, No.51, pp.17849-17854, 2004)。
これらの制御は、被験者に速い頻度の運動イメージを行わせ、このときの左右のパワー量の変化に基づいているが、被験者毎に周波数を合わせなければならないことと、β波及びμ波の左右の出現の量が異なることから計算式が複雑である。
また、Pfurtschellerらのグループは、手や足といった異なる部位の運動イメージによりβ波を検出し、これを運動制御に用いている(NeuroImage, Vol.31, pp.153-159, 2006)。
このように、非同期式脳波による機器制御に関する研究は多数なされているが、何れにしろ、被験者の訓練の期間が必要で、容易に機器制御ができているとは言い難い。
このような状況の中、本発明者は、所定身体部位の一例として右手又は左手の運動イメージを行わせる際に、イメージを1秒に1回の速い頻度、又は、5秒に1回のゆっくりした頻度で行わせ、このときのβ波帯域のみのパワー量の左右差の変化をみることで、まだ誰も実現できていない4次元の動き、すなわち、左右それぞれの手に2つずつの操作を割り当てて、例えば所定の対象物を前後左右など4方向に制御可能とする着想を得た。
具体的には、運動イメージを行った際の脳波を頭皮上の電極から記録し、β波帯域(13-30Hz)のパワー量の変化を運動イメージ前のパワー量と比較して、この変化を基に運動制御を行う考えに想到した。
運動イメージを行う際に、1秒間に1回の割合で運動イメージを行うと、β波のパワー量は運動イメージ前に比べて減少を示すが、右手運動イメージを行うと頭皮上対側(左脳)の運動野部位(C3)の減少が、同側(右脳)運動野部位(C4)に比べて大きく減少する。一方、左手運動イメージではその逆の現象が生じる。
一方、5秒間に1回の割合で運動イメージを行うと、β波のパワー量は0-500msの範囲では運動イメージ前に比べて減少を示すが、1500-2500msの範囲で大きく増加する。その増加量は右手運動イメージを行うとC3の部位のパワー量がC4の部位のそれに比べて大きく増加する。逆に左手運動イメージでは逆の現象が起こる。
このことを利用して、一旦減少に転じた後のパワー変化量の挙動に応じて制御機器を動かすと任意の動きを取得することが可能となる。
しかも、簡単な周波数フィルターを用いることで、従来実現できていなかった4次元の動きを制御できるようになる。
このようなブレイン・コンピュータ・インターフェースにおける対象物の制御方法によれば、筋萎縮性側索硬化症患者頭の重度な運動機能障害者に対する意志会話システムの開発、車イスの制御、義手や義足の制御、ゲーム機器のソフトウェアとして利用することができる。
(検証試験)
本試験では、国際10-20法に従って被験者(使用者)の頭部に電極を配置し、脳波計測装置にてモニタリングしつつ、右手の運動をイメージさせた。図1(a)に、1秒に1回の割合で右手運動イメージを行った際の頭頂部電極のパワー量の変化を示す。また、図1(b)は国際10-20法による電極の貼着位置を示している。
本試験では、国際10-20法に従って被験者(使用者)の頭部に電極を配置し、脳波計測装置にてモニタリングしつつ、右手の運動をイメージさせた。図1(a)に、1秒に1回の割合で右手運動イメージを行った際の頭頂部電極のパワー量の変化を示す。また、図1(b)は国際10-20法による電極の貼着位置を示している。
図1(a)において、横軸は時間、縦軸はパワー量の変化を示している。やや色の薄い線(破線)はα波、やや色の濃い線(実線)はβ波である。なお、パワー量は、何も考えていない状態のときのα波又はβ波の10秒間の平均値を100(ベース値)としている。
図1(a)からも分かるように、右手運動イメージでは、左運動野(C3)の部位のβ波のパワー量が、右運動野(C4)のパワー量よりも減少していることが分かる。
一方、図2は、5秒に1回の割合で右手を実際に動かした時(上)と、右手運動イメージを行った際(下)のC3及びC4のパワー量の変化を示している。横軸は時間、縦軸がパワー量の変化を示しており、0秒でイメージを開始している。
図2の下図にも示すように、実線にて示すβ波が、イメージ開始後約1.5秒後にパワー量の増大を示しており、長周期イメージ後パワー増加が見られた。右手運動イメージでは、これと対側の左運動野(C3)のパワー量が右運動野(C4)のパワー量よりも大きく変化していることが分かる。
また、図示説明は省略するが、本発明者らの研究により、このような長周期イメージ後パワー増加が見られるのは、所定身体部位の運動をイメージするときのイメージ頻度が、1.5秒以上に1回のペースでイメージする場合に出現することが分かっている。
換言すれば、長周期イメージ後パワー増加はイメージ開始後1.5秒を境界とし、1.5秒未満に1回の速いペースで反復してイメージした場合(f>1/1.5Hzの場合)には長周期イメージ後パワー増加は見られず、1.5秒以上に1回の遅いペースで反復してイメージした場合(f≦1/1.5Hzの場合)には、長周期イメージ後パワー増加が確認される。
このように、本試験結果から、被験者(使用者)に、1.5秒以上に1回の遅いペースで反復してイメージした場合(f≦1/1.5Hzの場合)には、長周期イメージ後パワー増加を出現させることができることが示された。
〔ブレイン・コンピュータ・インターフェースを介したコンピュータ上の仮想物体の操縦〕
次に、本発明に係るブレイン・コンピュータ・インターフェースの一形態としての運動イメージを用いた非同期式ブレイン・コンピュータ・インターフェースを用いた運動イメージによる仮想物体操縦について説明する。
次に、本発明に係るブレイン・コンピュータ・インターフェースの一形態としての運動イメージを用いた非同期式ブレイン・コンピュータ・インターフェースを用いた運動イメージによる仮想物体操縦について説明する。
具体的には、後に詳述する仮想物体操縦装置を用い、被験者(使用者)に任意のタイミングで左右示指のタッピング運動をイメージしてもらい、その際の脳波の変化をオンラインで特徴量化し、β波帯域に長周期イメージ後パワー増加が現れた場合にディスプレイ上に表示されたボール(図3参照)を左右所定方向に移動表示することで操作させることとした。
(被験者について)
使用者としての被験者は、健康な男性大学生(20代、右利き)とした。なお、被験者には実験前に実験の趣旨と内容を書面と口頭で説明し、同意を得た。
使用者としての被験者は、健康な男性大学生(20代、右利き)とした。なお、被験者には実験前に実験の趣旨と内容を書面と口頭で説明し、同意を得た。
(実験環境について)
被験者にはシールドルーム内で開眼安静状態で椅子に座ってもらった。実験は、被験者の顔から1mの位置にディスプレイを設置し、このディスプレイの画面を注視してもらい行った。
被験者にはシールドルーム内で開眼安静状態で椅子に座ってもらった。実験は、被験者の顔から1mの位置にディスプレイを設置し、このディスプレイの画面を注視してもらい行った。
(課題について)
被験者に、数を数えずおよそ5秒間隔で左右示指のタッピング運動をイメージしてもらい、そのとき生じる脳波の13〜30Hzのβ波帯域のパワーの変化を特徴量とし、画面に表示されたボールを左右に操作する実験を行った。
被験者に、数を数えずおよそ5秒間隔で左右示指のタッピング運動をイメージしてもらい、そのとき生じる脳波の13〜30Hzのβ波帯域のパワーの変化を特徴量とし、画面に表示されたボールを左右に操作する実験を行った。
課題としては、右手示指のタッピング運動をイメージする第1の課題、左手示指のタッピング運動をイメージする第2の課題、運動をイメージせず安静な状態を保ってもらう第3の課題、の計3種類を与え、各課題をそれぞれ5試行ずつ行った。また、各課題はそれぞれ10秒間のキャリブレーションセッション、最大60秒間のBCIセッションとその後10秒間の待機時間で構成され、コントロールセッションの前には、解析のために1024msの前時間を設けた。
コントロールセッションでは、被験者に画面中央に表示された長方形のバーを10秒間で短くなり消えるまで、安静な状態で注視してもらった。
BCIセッションでは、被験者には長方形のバーが消えた瞬間を合図としてタッピング運動をイメージし画面に表示されたボールを左右のバーにたどりつくように操作してもらった。また、図3(b)に示すように第1の課題では右側、第2の課題では左側のバーの隣に目標として網掛けのボールを表示し、第3の課題ではどちら側にも表示しないことで被験者に各課題の指示を与えた。
被験者がボールを操作し、第1の課題では右側、第2の課題では左側のバーにボールが到達したとき、それぞれのバーの色が緑色に変わり成功、反対側のバーに到達してしまったときそのバーが赤色に変わり失敗、または、どちらにもたどりつけず60秒間経過してしまった時も失敗として、BCIセッションを終了するようにした。なお第3の課題では左右どちらのバーについてしまった時も失敗とした。
BCIセッションが終わると、中央の青いバーが再び現れて10秒間で元の長さに戻っていくので、これを待機時間とし、被験者には安静な状態で再び中央のバーを注視してもらった。
(記録について)
国際10-20 電極法に基づく19部位および両耳朶に電極を配置し、平均電位基準により脳波を測定した。また、運動をイメージした際に実際に左右の手が動いていないことを確認するために、両手の第一背側骨間筋を探査電極、小指の中手指節関節を基準電極として、表面筋電図を測定した。脳波および筋電図はそれぞれ0.53〜300Hz、5〜300Hzの帯域フィルタを介してサンプリング周波数1kHzで、後述のコンピュータ11に備えられた記憶部に記録された。
国際10-20 電極法に基づく19部位および両耳朶に電極を配置し、平均電位基準により脳波を測定した。また、運動をイメージした際に実際に左右の手が動いていないことを確認するために、両手の第一背側骨間筋を探査電極、小指の中手指節関節を基準電極として、表面筋電図を測定した。脳波および筋電図はそれぞれ0.53〜300Hz、5〜300Hzの帯域フィルタを介してサンプリング周波数1kHzで、後述のコンピュータ11に備えられた記憶部に記録された。
(解析について)
脳波を記録しながら、窓幅1024ms、シフト幅20msを1区間とする短時間窓FFTをオンラインで行い、β波帯域のパワーを求めた。このβ波帯域のパワーを用いてコントロールセッションで閾値を設定し、その閾値に応じてBCIセッションでボールの制御を行った。なお、左右の運動イメージで実験を行ったため、ボールの制御には左右の体部位再現に対応するC3、C4電極部位に出現する長周期イメージ後パワー増加を用いた。
脳波を記録しながら、窓幅1024ms、シフト幅20msを1区間とする短時間窓FFTをオンラインで行い、β波帯域のパワーを求めた。このβ波帯域のパワーを用いてコントロールセッションで閾値を設定し、その閾値に応じてBCIセッションでボールの制御を行った。なお、左右の運動イメージで実験を行ったため、ボールの制御には左右の体部位再現に対応するC3、C4電極部位に出現する長周期イメージ後パワー増加を用いた。
(コントロールセッションについて)
このセッションでは、得られた10秒間のβ波帯域のパワーから、β波帯域の平均パワーと標準偏差を求めた。そして、その平均パワー+5×標準偏差の値を閾値としてBCIセッションで用いた。
このセッションでは、得られた10秒間のβ波帯域のパワーから、β波帯域の平均パワーと標準偏差を求めた。そして、その平均パワー+5×標準偏差の値を閾値としてBCIセッションで用いた。
(BCIセッションについて)
コントロールセッションで求めた閾値を使い、被験者がタッピング運動をイメージした際のβ波帯域のパワーがC3電極部位のみ閾値を超えているときは右に、C4電極部位のみ超えているときは左に10ピクセルずつ動くようにし、両方とも超えていないとき、および両方とも超えているときは動かないようにボールを制御した。なお、ボールは中心を0として左右それぞれ450ピクセル動くと左右のバーにたどりつくように設定した。
コントロールセッションで求めた閾値を使い、被験者がタッピング運動をイメージした際のβ波帯域のパワーがC3電極部位のみ閾値を超えているときは右に、C4電極部位のみ超えているときは左に10ピクセルずつ動くようにし、両方とも超えていないとき、および両方とも超えているときは動かないようにボールを制御した。なお、ボールは中心を0として左右それぞれ450ピクセル動くと左右のバーにたどりつくように設定した。
(仮想物体操縦装置Aの構成)
次に、仮想物体操縦装置Aの構成を図4に示す。仮想物体操縦装置Aは、電極部10と、コンピュータ11と、ディスプレイ12とを互いに電気的に接続して構成している。
次に、仮想物体操縦装置Aの構成を図4に示す。仮想物体操縦装置Aは、電極部10と、コンピュータ11と、ディスプレイ12とを互いに電気的に接続して構成している。
電極部10は、頭部表皮の各部位から脳波を取得してコンピュータ11に送信するためのものであり、国際10-20法に基づく、少なくともC3電極、C4電極、A1電極、A2電極(図1(b)参照)を含む複数の電極が備えられている。
コンピュータ11には、フィルタリング部20と、安静時脳波取得部21と、イメージ開始タイミング取得部22と、長周期イメージ後パワー増加検出部23と、駆動命令部24と、BCIセッション実行部25とが備えられている。なお、これらの各部は、コンピュータ11内に備えられたROMやRAM、その他記憶媒体に記憶されているプログラムをCPUが実行することにより実現されるものである。
フィルタリング部20は、電極部10により得られた脳波から、所定の周波数の脳波を抽出するための部位であり、少なくともβ波(14〜30Hz)の他、α波(8〜13Hz)や、θ波(4〜7Hz)、δ波(0.5〜3Hz)についても抽出可能に構成している。
安静時脳波取得部21は、ディスプレイ12上に表示されるボール(仮想物体)の操縦に先立ち、コントロールセッションを実行して閾値を決定するための部位である。この安静時脳波取得部21は、図示しない記憶部に所定時間(例えば10秒間)フィルタリングされた脳波を記憶し、各周波数の脳波の平均値を取得する。特に本実施形態では前述のように、β波帯域のパワーから、β波帯域の平均パワーと標準偏差を求め、その平均パワー+5×標準偏差の値を閾値として決定する。
イメージ開始タイミング取得部22は、被験者が自己の所定身体部位の運動のイメージを開始したタイミングを取得するための部位である。本実施形態では、ディスプレイ12中央に表示したバーが徐々に短くなり、消えた時点をイメージ開始タイミングとして取得するようにしている。ただし、イメージ開始タイミングの取得はこれに限定されるものではない。
長周期イメージ後パワー増加検出部23は、脳波のβ波帯域を監視し、安静時脳波取得部21にて決定された閾値を超える著しいパワー増強、すなわち長周期イメージ後パワー増加の有無を検出する部位である。長周期イメージ後パワー増加検出部23は、パワー量が一旦減少した後に閾値を超えるパワー変化を検出すると長周期イメージ後パワー増加が検出されたと判断する一方、パワー量が一旦減少した後に閾値を超えるパワー変化が検出されなければ長周期イメージ後パワー増加は検出されなかったと判断する。なお、本実施形態では、電極部10と、フィルタリング部20と、安静時脳波取得部21と、イメージ開始タイミング取得部22と、長周期イメージ後パワー増加検出部23とで、被験者(使用者)のインターフェースとして機能するブレイン・コンピュータ・インターフェースBを構成している。
駆動命令部24は、長周期イメージ後パワー増加検出部23での判断に基づいて、対象物に駆動命令を出力する部位である。本実施形態では、長周期イメージ後パワー増加検出部23が長周期イメージ後パワー増加が検出されたと判断した際に、駆動命令部24は、BCIセッション実行部25に対して駆動命令を出力し、BCIセッション実行部25にてボールを移動させる。なお、例えばコンピュータ11に所定の対象物としての操作対象機器類13が接続されている場合、長周期イメージ後パワー増加検出部23が長周期イメージ後パワー増加が検出されたと判断した際には、駆動命令部24は操作対象機器類13に対して第1の駆動命令を出力し、長周期イメージ後パワー増加は検出されなかったと判断した際には第2の駆動命令を出力させても良い。このとき操作対象機器類13では、第1の駆動命令と第2の駆動命令とでそれぞれ異なる動作を対応させておくことで、所定身体部位の運動イメージに更なる操作を割り当てることもできる。
BCIセッション実行部25は、上述のBCIセッションを実行するための部位であり、駆動命令部24からの駆動命令の有無を反映しつつ、所定のプログラムに従いBCIセッションを実行し、図示しないVRAM等へのデータの書き換えを行って、ディスプレイ12上に実行画面を表示する。
ディスプレイ12は、被験者により操作される仮想物体としてのボールを表示する部位である。
このように、仮想物体操縦装置Aは、本実施形態に係るブレイン・コンピュータ・インターフェースBを備え、被験者によってボールを操縦可能に構成している。
次に、この仮想物体操縦装置Aを用い、上述の試験方法に従って行った試験の結果について説明する。
(結果)
図5に第1の課題の被験者のC3、C4部位のβ波帯域パワー変化の一例を示す。また、横の破線がそれぞれの閾値を示し、縦の実線と破線がBCIセッションの開始時刻と終了時刻をそれぞれ示している。
図5に第1の課題の被験者のC3、C4部位のβ波帯域パワー変化の一例を示す。また、横の破線がそれぞれの閾値を示し、縦の実線と破線がBCIセッションの開始時刻と終了時刻をそれぞれ示している。
第1の課題では右手の運動をイメージしているため、右手の運動野に相当するC3電極部位において、BCIセッション開始時刻から2秒後付近に閾値を超える大きなパワーの上昇が現れ、長周期イメージ後パワー増加が発生していることがわかる。さらに、BCIセッション開始時刻から10秒後付近にも同様の変化がみられ、これにより正しく右にボールを制御しBCIセッションを終えていることがわかる。このとき、C4電極部位では一度も閾値を超えなかったこともわかる。
次に、被験者の各課題について、C3、C4部位で閾値を超えた区間数および、区間数の差(C3-C4)を図6に示す。なお、区間数の差は45になると右側、-45になると左側のバーについたことを意味している。被験者は、第1及び第2の課題においてはそれぞれ5試行中4試行でボールの操作に成功していることがわかる。しかし、第3の課題においては運動をイメージしていないにもかかわらず、ボールが動いてしまっていることがわかる。この原因として、実験時間が長く安静な状態を保つのが困難だったのではないかと考えられる。
(考察)
本実験によって、被験者では、80%と高い成功率で画面に表示された仮想物体を操作することができた。
本実験によって、被験者では、80%と高い成功率で画面に表示された仮想物体を操作することができた。
これらの結果を踏まえれば、従来の非同期式のブレイン・コンピュータ・インターフェースと組み合わせることにより、所定身体部位の運動イメージに更なる操作を割り当てることができる。
上述してきたように、本実施形態に係るブレイン・コンピュータ・インターフェースBによれば、使用者が周期的に自己の所定身体部位の運動をイメージするときのイメージ頻度に基づいて所定の対象物を制御するブレイン・コンピュータ・インターフェースとしたため、所定身体部位の運動イメージに更なる操作を割り当てることが可能なブレイン・コンピュータ・インターフェースを提供することができる。
最後に、上述した各実施の形態の説明は本発明の一例であり、本発明は上述の実施の形態に限定されることはない。このため、上述した各実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
本実施形態において仮想物体操縦装置Aは、β波全体の中で長周期イメージ後パワー増加を検出するよう構成したが、これに限定されるものではない。例えば、β波帯域をさらに細かく分けて最適な周波数帯域を選定するようにしても良い。
また、本実施形態における仮想物体操縦装置Aでは、所定の課題を提示して被験者にイメージを行わせることとしたが、これに限定されるものではない。
例えば、複数のイメージ態様のうち、被験者に任意に(意図的に)いずれかを選択させてイメージさせることで、被験者の意図する制御を対象物に対して行わせるようにしても良い。
また、本実施形態に係るブレイン・コンピュータ・インターフェースBにおいて、イメージタイミングの取得は、イメージ開始タイミング取得部22により、ディスプレイ12中央に表示したバーが徐々に短くなり、消えた時点をイメージ開始タイミングとして取得するようにしたがこれに限定されるものではない。
例えば、予めベース値と閾値とを取得しておき、イメージ開始タイミング取得部22を設けることなく、長周期イメージ後パワー増加検出部23により常時β波帯域のパワー変化量を監視させるよう構成しても良い。この方法によれば、使用者が任意のタイミングでイメージを開始した場合であっても、パワー抑制を契機として、その後長周期イメージ後パワー増加が検出された場合には第1の制御信号を出力させる一方、長周期イメージ後パワー増加が検出されなかった場合には第2の制御信号を出力させることで、対象物に対してそれぞれ異なった制御を行わせることができる。
10 電極部
11 コンピュータ
12 ディスプレイ
13 操作対象機器類
20 フィルタリング部
21 安静時脳波取得部
22 イメージ開始タイミング取得部
23 長周期イメージ後パワー増加検出部
24 駆動命令部
25 BCIセッション実行部
A 仮想物体操縦装置
B ブレイン・コンピュータ・インターフェース
11 コンピュータ
12 ディスプレイ
13 操作対象機器類
20 フィルタリング部
21 安静時脳波取得部
22 イメージ開始タイミング取得部
23 長周期イメージ後パワー増加検出部
24 駆動命令部
25 BCIセッション実行部
A 仮想物体操縦装置
B ブレイン・コンピュータ・インターフェース
Claims (7)
- 使用者が自己の所定身体部位の運動を周期的にイメージする時のイメージ開始後一定時間における脳波を測定し、この脳波から周波数が13〜30Hzの範囲のパワースペクトルを求め、同パワースペクトルが、イメージ前の脳波の前記周波数におけるパワースペクトルに基づいて定めた閾値を超えるか否かによって、所定の対象物に対し異なる制御を行うことを特徴とするブレイン・コンピュータ・インターフェースにおける対象物の制御方法。
- 前記イメージは、1/1.5Hz未満の周期で行う場合と、1/1.5Hz以上の周期で行う場合とのいずれかを、前記使用者によって意図的に選択させることを特徴とする請求項1に記載のブレイン・コンピュータ・インターフェースにおける対象物の制御方法。
- 前記所定の身体部位は、前記使用者の左右いずれかの半身部位であることを特徴とする請求項1又は請求項2に記載のブレイン・コンピュータ・インターフェースにおける対象物の制御方法。
- 前記半身部位は、腕、手、指から選ばれる少なくともいずれか1つであることを特徴とする請求項3に記載のブレイン・コンピュータ・インターフェースにおける対象物の制御方法。
- 使用者が周期的に自己の所定身体部位の運動をイメージするときのイメージ頻度に基づいて所定の対象物を制御するブレイン・コンピュータ・インターフェース。
- 前記所定の身体部位は、前記使用者の左右いずれかの半身部位であることを特徴とする請求項5に記載のブレイン・コンピュータ・インターフェース。
- 前記半身部位は、腕、手、指から選ばれる少なくともいずれか1つであることを特徴とする請求項6に記載のブレイン・コンピュータ・インターフェース。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011279442A JP2013128642A (ja) | 2011-12-21 | 2011-12-21 | ブレイン・コンピュータ・インターフェース及びブレイン・コンピュータ・インターフェースにおける対象物の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011279442A JP2013128642A (ja) | 2011-12-21 | 2011-12-21 | ブレイン・コンピュータ・インターフェース及びブレイン・コンピュータ・インターフェースにおける対象物の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013128642A true JP2013128642A (ja) | 2013-07-04 |
Family
ID=48906746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011279442A Pending JP2013128642A (ja) | 2011-12-21 | 2011-12-21 | ブレイン・コンピュータ・インターフェース及びブレイン・コンピュータ・インターフェースにおける対象物の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013128642A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103793058A (zh) * | 2014-02-13 | 2014-05-14 | 山西大学 | 一种主动式脑机交互系统运动想象任务分类方法及装置 |
JP2016066287A (ja) * | 2014-09-25 | 2016-04-28 | 学校法人近畿大学 | 意思伝達支援方法及び意思伝達支援システム |
CN106774851A (zh) * | 2016-11-25 | 2017-05-31 | 华东理工大学 | 基于脑机接口的触感手指运动康复系统及方法 |
CN110275455A (zh) * | 2018-03-14 | 2019-09-24 | 佛山市顺德区美的电热电器制造有限公司 | 一种基于脑电信号的控制方法、中央控制设备、云服务器及系统 |
US10754426B2 (en) | 2018-08-20 | 2020-08-25 | GungHo Online Entertainment, Inc. | Terminal device, program, method, and system |
US10761606B1 (en) | 2019-04-03 | 2020-09-01 | GungHo Online Entertainment, Inc. | Terminal device, program, method, and system |
-
2011
- 2011-12-21 JP JP2011279442A patent/JP2013128642A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103793058A (zh) * | 2014-02-13 | 2014-05-14 | 山西大学 | 一种主动式脑机交互系统运动想象任务分类方法及装置 |
CN103793058B (zh) * | 2014-02-13 | 2016-09-28 | 山西大学 | 一种主动式脑机交互系统运动想象任务分类方法及装置 |
JP2016066287A (ja) * | 2014-09-25 | 2016-04-28 | 学校法人近畿大学 | 意思伝達支援方法及び意思伝達支援システム |
CN106774851A (zh) * | 2016-11-25 | 2017-05-31 | 华东理工大学 | 基于脑机接口的触感手指运动康复系统及方法 |
CN110275455A (zh) * | 2018-03-14 | 2019-09-24 | 佛山市顺德区美的电热电器制造有限公司 | 一种基于脑电信号的控制方法、中央控制设备、云服务器及系统 |
CN110275455B (zh) * | 2018-03-14 | 2021-05-25 | 佛山市顺德区美的电热电器制造有限公司 | 一种基于脑电信号的控制方法、中央控制设备、云服务器及系统 |
US10754426B2 (en) | 2018-08-20 | 2020-08-25 | GungHo Online Entertainment, Inc. | Terminal device, program, method, and system |
US10761606B1 (en) | 2019-04-03 | 2020-09-01 | GungHo Online Entertainment, Inc. | Terminal device, program, method, and system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6557652B2 (ja) | リハビリテーション用装置、これを備えたリハビリテーションシステム、リハビリテーション用プログラムおよびリハビリテーション用装置の作動方法 | |
Ang et al. | A clinical study of motor imagery-based brain-computer interface for upper limb robotic rehabilitation | |
JP2013128642A (ja) | ブレイン・コンピュータ・インターフェース及びブレイン・コンピュータ・インターフェースにおける対象物の制御方法 | |
Tidoni et al. | The role of audio-visual feedback in a thought-based control of a humanoid robot: a BCI study in healthy and spinal cord injured people | |
Baxter et al. | Noninvasive control of a robotic arm in multiple dimensions using scalp electroencephalogram | |
Irimia et al. | recoveriX: a new BCI-based technology for persons with stroke | |
Gomez-Pilar et al. | Assessment of neurofeedback training by means of motor imagery based-BCI for cognitive rehabilitation | |
Wada et al. | Development of a brain-machine interface for stroke rehabilitation using event-related desynchronization and proprioceptive feedback | |
JP2003000569A (ja) | 手指運動機能回復支援ロボット | |
Kaneswaran et al. | Towards a brain controlled assistive technology for powered mobility | |
Ishii et al. | Navigation of an electric wheelchair using electromyograms, electrooculograms, and electroencephalograms | |
KR101730699B1 (ko) | 가상현실을 이용한 외형적으로 대칭적이지 않은 질환을 위한 통증 치료 장치 | |
CN207120250U (zh) | 基于脑机接口技术bci的智能机器人 | |
KR20200136255A (ko) | 신경계 및 근골격계 환자의 운동재활을 위한 증강현실 기반 거울운동 시스템 | |
Butt et al. | Investigating the detection of intention signal during different exercise protocols in robot-assisted hand movement of stroke patients and healthy subjects using EEG-BCI system | |
Seáñez-González et al. | Static versus dynamic decoding algorithms in a non-invasive body–machine interface | |
An et al. | Development of a virtual keyboard system using a bio-signal interface and preliminary usability test | |
Kang et al. | A neural analysis on motor imagery and passive movement using a haptic device | |
Tatsuno et al. | Comparison of reaction times in response to electrical and Visual Stimulation using a high-speed camera | |
KR101888498B1 (ko) | 뇌-컴퓨터 인터페이스(bci)를 게임영상에 직접 적용한 게임 방식의 재활 시스템 및 그 제어방법 | |
CN113393745B (zh) | 一种糖尿病并发症体验系统及方法 | |
CN117873330B (zh) | 一种脑电-眼动混合遥操作机器人控制方法、系统及装置 | |
Ikeda et al. | Neurorehabilitation support system with simultaneous vision and force feedback | |
Zhu et al. | EEG evidence for human mirror activity during observation of ambiguous shadow actions: Toward an analysis of humanoid robotic system | |
JP6917766B2 (ja) | 刺激付与装置及び刺激付与用プログラム |