JP2016067922A

JP2016067922A - ブレイン−マシンインタフェース装置および方法

Info

Publication number: JP2016067922A
Application number: JP2015183845A
Authority: JP
Inventors: チュン，チュンキ; Chun Kee Chung; キム，ジュンシク; June Sic Kim; カン，ビョンクン; Byeong Keun Kang; ヨム，ホンギ; Honggi Yeom; リ，ヒョンレ; Hyeong Rae Lee
Original assignee: SNU R&DB Foundation
Current assignee: SNU R&DB Foundation
Priority date: 2014-09-25
Filing date: 2015-09-17
Publication date: 2016-05-09
Anticipated expiration: 2035-09-17
Also published as: KR101585150B1; JP6067808B2

Abstract

【課題】使用者の多様な状態を反映して実生活に適用することができる複合ＢＭＩまたはＢＣＩシステムを提供する。
【解決手段】使用者の脳波を取得するための脳波取得部１１０と、脳波取得部１１０によって取得した使用者の脳波を分析するための脳波分析部１３０と、脳波分析部１３０によって得られた分析結果にしたがって複数の被操作装置を選択的に操作するための操作制御部１４０とを備える。これにより、使用者が恣意的にシステムをオン／オフさせて操作モードを選択して使用することができる。
【選択図】図１

Description

本発明は、ブレイン−マシンインタフェース装置および方法に関し、より詳しくは、使用者の多様な状態を反映して実生活に適用することができるブレイン−マシンインタフェース装置および方法に関する。

ブレイン−マシンインタフェース（ＢＭＩ：Ｂｒａｉｎ−ＭａｃｈｉｎｅＩｎｔｅｒｆａｃｅ）またはブレイン−コンピュータインタフェース（ＢＣＩ：Ｂｒａｉｎ−ＣｏｍｐｕｔｅｒＩｎｔｅｒｆａｃｅ）とは、使用者の思考だけで機械やコンピュータを制御する技術を言う。最近では、各研究機関でＢＭＩまたはＢＣＩ技術の重要性と波及性を認識しながら多くの投資を行っている理由としては、ＢＭＩまたはＢＣＩ技術を利用することにより、体を全く動かすことのできない全身麻痺の患者でも、自分の意思を表現したり、物を掴んで動かすなどの移動手段を制御することができるため、その活用性や意味が極めて必要であり価値があるためである。

ＢＭＩまたはＢＣＩ技術は一般人にとっても極めて有用であり、理想的なユーザインタフェース（ＵＩ：ＵｓｅｒＩｎｆｅｒｆａｃｅ）技術としての活用が可能であって、テレビのチャンネルを替えたり、エアコンの温度を調節したり、音楽のボリュームを調節するなど、すべての電子機器制御に活用することができる。

また、ゲーム機のようなエンターテイメント分野、軍事用、さらには動くことに困難を来たす老弱者にも適用することができるため、この技術の社会的、経済的な波及効果は極めて大きい。

ＢＭＩまたはＢＣＩ技術の実現には多様な方法が用いられる。ＢＭＩまたはＢＣＩ技術の研究初期に用いられた方法である遅い皮質電位（ＳｌｏｗＣｏｒｔｉｃａｌＰｏｔｅｎｔｉａｌｓ（緩変動電位））方法は、注意や集中によって脳波の電位が陰になる現象と、そうでないときに電位が陽の値となる現象を利用し、上下（Ｔｏｐ／Ｂｏｔｔｏｍ）区別のような１次元の作業で電位がゆっくりと陽や陰の値を有するようになる現象を利用した。その当時、緩変動電位方法は、思考によってコンピュータを制御することができる画期的な方法ではあったが、反応が遅く、高次元の区分が不可能であることから、現在はほぼ使われていない。

ＢＭＩまたはＢＣＩ技術は、脳波を利用した電動車椅子の制御、ロボットアームの制御、キーボード入力のような多様な分野に適用するために研究および開発が行われてきた。電動車椅子の場合は、主に感覚運動波（ＳＭＲ：ＳｅｎｓｏｒｉｍｏｔｏｒＲｈｙｔｈｍｓ）を利用して開発が進められてきたが、感覚運動波（ＳＭＲ）を利用するＢＭＩまたはＢＣＩ技術は、一次運動野（Ｐｒｉｍａｒｙｍｏｔｏｒｃｏｒｔｅｘ）で左右の手／足の運動起想によってμ波（８−１２Ｈｚ）やβ波（１３−３０Ｈｚ）が増加したり減少する現象を利用し、一般的には左側／右側、上／下、または左／右という２つの場合を区分するために用いられ、認識率も制限された実験室環境でなされてきたため、複合的な実生活に適用するには限界があった。

キーボード入力の場合は、主に振動脳波であるＳＳＶＥＰ（Ｓｔｅａｄｙ−ＳｔａｔｅＶｉｓｕａｌＥｖｏｋｅｄＰｏｔｅｎｔｉａｌ）を利用して開発が進められてきたが、ＳＳＶＥＰを利用したＢＭＩまたはＢＣＩ技術は、我々が点滅する刺激を見ていると、その点滅する周波数と等しい周波数をもつ脳波が後頭葉の視覚野で物理的に誘導される現象を利用し、このように点滅する視覚刺激によって誘導される刺激と同じ周波数をもつようになる。

ロボットアーム制御の場合は、主に方向チューニング（ＤｉｒｅｃｔｉｏｎａｌＴｕｎｉｎｇ）を利用して開発が進められてきたが、方向チューニングを利用したＢＭＩまたはＢＣＩ技術は、アームの動き方向に応じて運動野のニューロンの信号発生頻度（ｆｉｒｉｎｇｒａｔｅ）が変わるという現象に基づき、運動野の活性化に応じて動きの方向や経路を推定する方法である。

このように多様な機能のＢＭＩまたはＢＣＩ技術が開発されてきたが、それぞれ異なる技術に基づいて開発されたものであるため、個別に使用されていた。ＢＭＩまたはＢＣＩの技術開発の最も重要な目標として、体に不自由のある障害者の恣意的な生活を可能にするということがある。実際に障害者が恣意的な生活を送るためには、特定の機能のみを実行するＢＭＩまたはＢＣＩだけでは不十分であり、障害者の足となる電動車椅子、手となるロボットアーム、考えを表現することができるキーボード入力などのような複合機能がすべて必要となるが、既存のＢＭＩまたはＢＣＩ技術では、このような実生活に適用することのできる複合ＢＭＩまたはＢＣＩ装置を提供できずにいる。

また他の既存のＢＭＩまたはＢＣＩの他の問題点は、使用者の状態を反映したＢＭＩまたはＢＣＩシステムなのではなく、ＢＭＩまたはＢＣＩシステムの目的に使用者の状態を合わせているという点にある。例えば、既存には、ＢＭＩまたはＢＣＩシステムを作動させるためにＯＮ／ＯＦＦを操作するＢＭＩまたはＢＣＩシステム操作者／管理者（主に実験室の装備管理者）が必要であった。

したがって、使用者（被験者／患者）がＢＭＩまたはＢＣＩを使用する準備ができると、操作者／管理者がＢＭＩまたはＢＣＩシステムをＯＮにし、使用者は該当のＢＭＩまたはＢＣＩシステムと関連する思考をすることによって脳波を発生させ、実験（使用）が終われば再び操作者／管理者がＢＭＩまたはＢＣＩシステムをＯＦＦにしていた。このような既存のＢＭＩまたはＢＣＩシステムは、実生活で発生する多様な使用者の状態を反映することができず、使用者（患者）が自らＢＭＩまたはＢＣＩ装備をオン／オフさせることができない多くの場合には、ＢＭＩまたはＢＣＩシステムは無用の長物にしかならないという限界があった。

韓国登録特許第１０−０６９６２７５号韓国登録特許第１０−１２９３４４６号韓国公開特許第１０−２０１４−００１９５１５号韓国登録特許第１０−１３１４５７０号

したがって、本発明は、上述したような問題点を解決するためのものであって、使用者の多様な状態を反映して実生活に適用することができる複合ＢＭＩまたはＢＣＩシステムを提供することを目的とする。

上述したような本発明が解決しようとする技術的課題を達成するために、本発明の一実施形態に係るブレイン−マシンインタフェース装置は、使用者の脳波を取得するための脳波取得部と、前記脳波取得部によって取得した使用者の脳波を分析するための脳波分析部と、前記脳波分析部によって得られた分析結果にしたがって複数の被操作装置を選択的に操作するための操作制御部とを備える。

好ましくは、脳波分析部は、前記使用者の脳波を分析して前記操作制御部の使用意図の有無を判断し、使用意図がある状態として判断されると前記操作制御部をオン（ＯＮ）にし、使用意図がない状態として判断されると前記操作制御部はオフ（ＯＦＦ）状態を維持することができる。

好ましくは、操作制御部の使用意図の有無判断は、使用者の側頭葉、内側前頭葉、後帯状皮質（ｐｏｓｔｅｒｉｏｒｃｉｎｇｕｌａｔｅｃｏｒｔｅｘ）、および頭頂葉で連結性が発生する周波数帯域を評価して行うことができる。周波数帯域が低い場合が使用意図のない場合となる。

好ましくは、操作制御部の使用意図の有無判断は、使用者の側頭葉、内側前頭葉、後帯状皮質（ｐｏｓｔｅｒｉｏｒｃｉｎｇｕｌａｔｅｃｏｒｔｅｘ）、および頭頂葉の連結性を求め、各ノードの連結性分布のうちの１つ以上が信頼区間から逸脱した場合は使用意図がないと判断し、各ノードの連結性分布すべてが信頼区間内に存在する場合は使用意図があると判断することができる。例えば、各ノードの連結性分布のうちの１つ以上が９５％信頼区間から逸脱すると、使用意図がない場合となる。

好ましくは、操作制御部は、前記複数の被操作装置を操作するように１対１で対応する複数の操作モードを有し、前記操作制御部がオン（ＯＮ）になると、前記脳波分析部は、前記使用者の脳波を分析して前記複数の被操作装置のうちのどれを操作しようとする意図なのかを判断し、前記複数の操作モードのうちから１つを選択することができる。

好ましくは、複数の操作モードは、手運動代身装置操作モード、足運動代身装置操作モード、ユーザインタフェース（ＵＩ：ＵｓｅｒＩｎｔｅｒｆａｃｅ）操作モードのうちの２つ以上を含むことができる。手運動代身装置操作モードは、例えばロボットアーム操作モードを含むことができ、足運動代身装置操作モードは、例えば電動車椅子操作モードを含むことができ、ユーザインタフェース操作モードは、例えばキーボード入力モード、マウスカーソル操作モード、またはオーディオまたはビデオ再生装置操作モードを含むことができる。

複数の操作モードが手運動代身装置操作モードを含む場合には、好ましくは、脳波分析部は、前記使用者の脳波が８−１２Ｈｚ帯域で補足運動野（ｓｕｐｐｌｅｍｅｎｔａｒｙｍｏｔｏｒａｒｅａ）と１次手感覚野（ｐｒｉｍａｒｙｈａｎｄｓｅｎｓｏｒｙａｒｅａ）または１次手運動野（ｐｒｉｍａｒｙｈａｎｄｍｏｔｏｒａｒｅａ）の連結性の程度を評価して手運動代身装置の操作意図の有無を判断することができる。連結性の程度が強いと、該当の装置の操作意図がある場合となる。

複数の操作モードが足運動代身装置操作モードを含む場合には、好ましくは、脳波分析部は、前記使用者の脳波が８−１２Ｈｚ帯域で補足運動野（ｓｕｐｐｌｅｍｅｎｔａｒｙｍｏｔｏｒａｒｅａ）と１次足感覚野（ｐｒｉｍａｒｙｆｏｏｔｓｅｎｓｏｒｙａｒｅａ）または１次足運動野（ｐｒｉｍａｒｙｆｏｏｔｍｏｔｏｒａｒｅａ）の連結性の程度を評価して足運動代身装置の操作意図の有無を判断することができる。連結性の程度が強いと、該当の装置の操作意図がある場合となる。

複数の操作モードがユーザインタフェース操作モードを含む場合には、好ましくは、脳波分析部は、前記使用者の脳波が７５−１００Ｈｚ帯域でブローカ野、ウェルニッケ野、聴覚皮質（ａｕｄｉｔｏｒｙｃｏｒｔｅｘ）、前運動皮質（ｐｒｅｍｏｔｏｒｃｏｒｔｅｘ）、感覚運動皮質（Ｓｅｎｓｏｒｉｍｏｔｏｒｃｏｒｔｅｘ）のうちの２つ以上の連結性の程度を評価してユーザインタフェースの操作意図の有無を判断することができる。連結性の程度が強いと、該当の装置の操作意図がある場合とする。

好ましくは、脳波分析部は、前記使用者の脳波を分析して操作モード別に差別化された領域間の連結性を分析することで各操作モード別の使用者の操作意図を確率的に判断し、これらの操作モード別の操作意図の確率を比較し、最も高い確率を示した操作モードを選択することができる。

このとき、複数の操作モードのうちから１つが選択されると、選択された操作モードによるブレイン−マシンインタフェースまたはブレイン−コンピュータインタフェースアルゴリズムにしたがって操作モードを作動させることができる。例えば、手運動代身装置操作モードが選択されると、手運動代身装置、例えば、ロボットアーム装置を制御するための機械学習、分類アルゴリズムのような処理を経てロボットアームを制御することができる。

好ましくは、ブレイン−マシンインタフェース装置は、脳波取得部によって取得した使用者の脳波を前処理するための脳波前処理部をさらに備えることが好ましい。この場合、脳波前処理部は、前記使用者の脳波をノイズ除去またはフィルタリングすることができる。

好ましくは、ノイズ除去は、筋電図（ＥＭＧ：Ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ）または眼電図（ＥＯＧ：Ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｍ）ノイズを除去するための独立成分分析法（ＩｎｄｅｐｅｎｄｅｎｔＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ）または主成分分析法（ＰｒｉｎｃｉｐｌｅＣｏｍｐｏｎｅｎｔＡｎａｙｓｉｓ）を含むことができる。

好ましくは、フィルタリングは、ノッチ（Ｎｏｔｃｈ）フィルタを利用して６０Ｈｚ電源ノイズを除去するフィルタリング、または帯域通過フィルタを利用して手／足運動操作と関連する８−１２Ｈｚ帯域信号とユーザインタフェース操作と関連する７５−１００Ｈｚ帯域信号成分を抽出するフィルタリングを含むことができる。

好ましくは、脳波取得部は、脳波電位記録法（ＥＥＧ：Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）、脳波測定法（ＥＣｏＧ：Ｅｌｅｃｔｒｏｃｏｒｔｉｃｏｇｒａｍ）、および磁気脳波検査法（ＭＥＧ：Ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｙ）のうちのいずれか１つ以上を利用して使用者の脳波を取得することができる。

本発明の他の実施形態に係るブレイン−マシンインタフェース方法は、脳波取得部を利用して使用者の脳波を取得するステップと、脳波分析部を利用して前記脳波取得部によって取得した使用者の脳波を分析するステップと、操作制御部を利用して前記脳波分析部によって得られた分析結果にしたがって複数の被操作装置を選択的に操作するステップとを含む。

上述したような本発明の構成によると、従来のＢＭＩまたはＢＣＩ技術の問題点を解決しながら、使用者の多様な状態を反映して実生活に適用することができる複合ＢＭＩまたはＢＣＩシステムを提供することができる。

本発明に係るブレイン−マシンインタフェース装置の一実施形態を示した図である。本発明に係るブレイン−マシンインタフェース装置の操作モードの選択原理を示した図である。本発明に係るブレイン−マシンインタフェース装置の操作モードの選択原理を示した図である。本発明に係るブレイン−マシンインタフェース装置の操作モードの選択原理を示した図である。本発明に係るブレイン−マシンインタフェース装置の操作モードを選択するための確率比較の例を示した図である。

本発明の目的と技術的構成、およびこれによる作用効果に関する詳しい事項は、本発明の明細書に添付されている図面に基づく以下の詳細な説明によってさらに明確に理解できるであろう。添付の図面を参照しながら、本発明に係る実施形態について詳細に説明する。

本明細書で開示する実施形態は、本発明の範囲を限定するものとして解釈されたり利用されてはならない。該分野の通常の技術者にとって、本明細書の実施形態を含んだ説明が多様な応用をもつということは当然である。したがって、特許請求の範囲によって限定されない以上、任意の実施形態は本発明をより詳細に説明するための例示的なものであって、本発明の範囲が実施形態に限定されることを意図するものではない。

図１を参照すると、本発明の一実施形態に係るブレイン−マシンインタフェース装置１００は、使用者２から脳波を取得するための脳波取得部１１０と、脳波取得部１１０によって取得した使用者２の脳波を前処理するための脳波前処理部１２０と、前処理した使用者２の脳波を分析するための脳波分析部１３０と、脳波分析部によって得られた分析結果にしたがって複数の被操作装置１０、２０、３０を選択的に操作するための操作制御部１４０とを備える。

脳波分析部１３０は、使用者２の脳波を分析して使用者２の操作制御部１４０の使用意図の有無を判断する。使用意図がある状態として判断されると操作制御部１４０をオン（ＯＮ）にし、使用意図がない状態として判断されると操作制御部１４０はオフ（ＯＦＦ）状態を維持する。

操作制御部１４０は、複数の被操作装置１０、２０、３０を操作するように１対１で対応する複数の操作モード（操作モード１、操作モード２、操作モード３）を有し、操作制御部１４０がオン（ＯＮ）状態において、脳波分析部１３０は、使用者２の脳波を分析して複数の被操作装置１０、２０、３０のうちのどれを操作しようとする意図なのかを判断し、複数の操作モード（操作モード１、操作モード２、操作モード３）のうちから１つを選択する。

操作モード１が選択されると、これに対応する第１被操作装置１０の操作システムが作動し、操作モード２が選択されると、これ対応する第２被操作装置２０の操作システムが作動し、操作モード３が選択されると、これに対応する第３被操作装置３０の操作システムが作動する。

図１に示した例において、第１被操作装置１０はロボットアームであり、第２被操作装置２０は電動車椅子であり、第３被操作装置３０はコンピュータなどにおけるユーザインタフェースである。したがって、使用者２に操作制御部１４０を使用する意図があると判断されると、操作制御部１４０がオン（ＯＮ）になり、使用者２の意図が第１被操作装置１０であるロボットアームを操作しようとするものであれば、使用者２の操作脳波にしたがってロボットアームを操作する操作モード１が作動する。

脳波取得部１１０は、使用者２の状態を即時に反映することができるＢＭＩまたはＢＣＩシステムを実現するために、時間解像度に優れた脳波測定方法を使用することが好ましい。このような例としては、脳波電位記録法（ＥＥＧ：Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）、脳波測定法（ＥＣｏＧ：Ｅｌｅｃｔｒｏｃｏｒｔｉｃｏｇｒａｍ）、および磁気脳波検査法（ＭＥＧ：Ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｙ）などがある。

本明細書で使用される用語「脳波」とは、使用者の脳の活性化および状態に応じて変化する電気的または磁気的信号を意味する。脳波とは、脳電図（ＥＥＧ：Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）、皮質電図（ＥＣｏＧ：Ｅｌｅｃｔｒｏｃｏｒｔｉｃｏｇｒａｍ）、または脳磁図（ＭＥＧ：Ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｍ）などを含む包括的な概念である。

脳電図とは、人間または動物の大脳に起こる電位変動、またはそれによって起こる脳電流（ｂｒａｉｎｃｕｒｒｅｎｔ）を頭皮上で誘導して記録した電気記録信号を意味する。脳磁図とは、ＳＱＵＩＤセンサなどによって脳神経細胞の電気的活動で発生する微細な生体磁気を測定して記録した信号を意味する。皮質電図とは、大脳に起こる電位変動、またはそれによって起こる脳電流（ｂｒａｉｎｃｕｒｒｅｎｔ）を大脳皮質（ＣｅｒｅｂｒａｌＣｏｒｔｅｘ）の表面から電極をつないで直接測定して記録した電気記録信号を意味する。脳波測定には近赤外線分光器（ＮＩＲＳ：Ｎｅａｒ−ｉｎｆｒａｒｅｄｓｐｅｃｔｒｏｓｃｏｐｙ）などを使用することができる。

使用者２の脳波が取得されると、該当の脳波信号にデジタル変換、雑音処理などの前処理を実行し、予め設定された特徴ベクトル（ＦｅａｔｕｒｅＶｅｃｔｏｒ）を抽出した後に、この特徴ベクトルを利用して回帰（Ｒｅｇｒｅｓｓｉｏｎ）、人工神経網（ＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）などの人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）技法を適用して使用者が意図する作動情報を抽出し、操作意図情報を含んで変換脳波信号に変換することができる。

脳波前処理部１２０は、脳波取得部１１０から取得した使用者２の脳波を前処理し、脳波前処理は、ノイズ除去またはフィルタリングを含むことができる。

脳波前処理部１２０におけるノイズ除去は、筋電図（ＥＭＧ：Ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ）または眼電図（ＥＯＧ：Ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｍ）ノイズを除去するために独立成分分析法（ＩｎｄｅｐｅｎｄｅｎｔＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ）または主成分分析法（ＰｒｉｎｃｉｐｌｅＣｏｍｐｏｎｅｎｔＡｎａｙｓｉｓ）を利用することができる。

脳波前処理部１２０におけるフィルタリングは、ノッチ（Ｎｏｔｃｈ）フィルタを利用して６０Ｈｚ電源ノイズを除去するフィルタリング、または帯域通過フィルタを利用して手／足運動操作と関連する８−１２Ｈｚ帯域信号とユーザインタフェース操作（言語活動）と関連する７５−１００Ｈｚ帯域信号成分を抽出するフィルタリングを含むことができる。

使用者が自らＢＭＩまたはＢＣＩシステムをＯＮ／ＯＦＦするための方法として、デフォルトモードネットワーク（ＤＭＮ：ＤｅｆａｕｌｔＭｏｄｅＮｅｔｗｏｒｋ）を含むことができる。デフォルトモード（Ｄｅｆａｕｌｔｍｏｄｅ）とは、脳を活性化させ、あることを行うときに比べてほとんどエネルギーを消費しない休息状態を意味し、休息状態の脳連結性（ｂｒａｉｎｃｏｎｎｅｃｔｉｖｉｔｙ）は、あることを行うときの脳連結性とは区分されるパターンを示す。これを利用し、使用者がＢＭＩまたはＢＣＩシステムを利用しようとする場合には、使用しようとするＢＭＩまたはＢＣＩシステムを利用することを考え、ＢＭＩまたはＢＣＩシステムを利用しようとしない場合には、何も考えないようにすることにより、休息状態の脳連結性であるＤＭＮを利用してＢＣＩシステムのＯＮ／ＯＦＦを使用者が自ら動作させることができる。

このような原理を利用し、操作制御部１４０の使用意図の有無判断は、使用者２の側頭葉、内側前頭葉、後帯状皮質（ｐｏｓｔｅｒｉｏｒｃｉｎｇｕｌａｔｅｃｏｒｔｅｘ）、および頭頂葉で連結性（ｃｏｎｎｅｃｔｉｖｉｔｙ）が発生する周波数帯域を評価して行うことができる。周波数帯域の低いと使用意図がない場合となる。

操作制御部１４０の使用意図の有無判断は、使用者２の側頭葉、内側前頭葉、後帯状皮質（ｐｏｓｔｅｒｉｏｒｃｉｎｇｕｌａｔｅｃｏｒｔｅｘ）、および頭頂葉の連結性を求め、各ノードの連結性分布のうちの１つ以上が信頼区間から逸脱する場合は使用意図がないと判断し、各ノードの連結性分布すべてが信頼区間内に存在する場合は使用意図があると判断することができる。例えば、各ノードの連結性分布のうちの１つ以上が９５％信頼区間から逸脱すると、使用意図がない場合となる。

操作制御部１４０は、複数の被操作装置１０、２０、３０を操作するように１対１で対応する複数の操作モード（操作モード１、操作モード２、操作モード３）を有し、操作制御部１４０が（ＯＮ）状態において、脳波分析部１３０は、使用者２脳波を分析して複数の被操作装置１０、２０、３０のうちのどれを操作しようとする意図なのかを判断し、複数の操作モード（操作モード１、操作モード２、操作モード３）のうちから１つを選択する。

多様な機能を備えた複合ＢＭＩまたはＢＣＩシステムを使用者が自ら選択的に使用するための方法として、ブレインネットワーク分析（ＢｒａｉｎＮｅｔｗｏｒｋＡｎａｌｙｓｉｓ）を利用してモードを選択することができる。例えば、手や足を動かすことを想像するときに現われる脳連結性と、言葉を話すことを想像するときに現われる脳連結性とは異なるため、それぞれの特徴的パターンを見つけ出して使用者の状態を反映することにより、多様な機能を備えたＢＭＩまたはＢＣＩシステムから選択して作動させることができる。これにより、使用者は、多様な機能を備えた複合ＢＭＩまたはＢＣＩシステムを、使用者の状態を反映することにより、使用者の恣意的に複合ＢＭＩまたはＢＣＩシステムを選択して作動させることができる。

図１に示す例において、複数の操作モードによって選択的に操作される被操作装置１０、２０、３０は、手運動代身装置１０、足運動代身装置２０、ユーザインタフェース（ＵＩ：ＵｓｅｒＩｎｔｅｒｆａｃｅ）３０である。勿論、このように図に示された例に限定されることはなく、多様な使用者の意図を反映して操作される多様な装置によって本発明を実現することもできる。

手運動代身装置１０操作モード（操作モード１）は、例えば、図に示すようにロボットアーム操作モードを含むことができ、足運動代身装置２０操作モード（操作モード２）は、例えば、図に示すように電動車椅子操作モードを含むことができ、ユーザインタフェース３０操作モード（操作モード３）は、例えば、図に示すようにキーボード入力またはマウスカーソルの操作であったり、オーディオまたはビデオ再生装置の操作であることができる。

手運動代身装置１０操作モード（操作モード１）を使用しようとする意図を判断するために、脳波分析部１３０は、使用者２の脳波が８−１２Ｈｚ帯域で補足運動野（ｓｕｐｐｌｅｍｅｎｔａｒｙｍｏｔｏｒａｒｅａ）と１次手感覚野（ｐｒｉｍａｒｙｈａｎｄｓｅｎｓｏｒｙａｒｅａ）または１次手運動野（ｐｒｉｍａｒｙｈａｎｄｍｏｔｏｒａｒｅａ）の連結性の程度を評価して手運動代身装置１０の操作意図の有無を判断することができる。連結性の程度が強いと、該当の装置操作の意図がある場合となる。

足運動代身装置２０操作モード（操作モード２）を使用しようとする意図を判断するために、脳波分析部１３０は、使用者２の脳波が８−１２Ｈｚ帯域で補足運動野（ｓｕｐｐｌｅｍｅｎｔａｒｙｍｏｔｏｒａｒｅａ）と１次足感覚野（ｐｒｉｍａｒｙｆｏｏｔｓｅｎｓｏｒｙａｒｅａ）または１次足運動野（ｐｒｉｍａｒｙｆｏｏｔｍｏｔｏｒａｒｅａ）の連結性の程度を評価して足運動代身装置２０の操作意図の有無を判断することができる。連結性の程度が強いと、該当の装置の操作意図がある場合となる。

ユーザインタフェース３０操作モード（操作モード３）を使用しようとする意図を判断するために、脳波分析部１３０は、使用者２の脳波が７５−１００Ｈｚ帯域でブローカ野、ウェルニッケ野、聴覚皮質（ａｕｄｉｔｏｒｙｃｏｒｔｅｘ）、前運動皮質（ｐｒｅｍｏｔｏｒｃｏｒｔｅｘ）、感覚運動皮質（Ｓｅｎｓｏｒｉｍｏｔｏｒｃｏｒｔｅｘ）の連結性の程度を評価してユーザインタフェース３０の操作意図の有無を判断することができる。これらの領域は、言語活動と緊密な関係をもつ。連結性の程度が強いと、該当の装置の操作意図がある場合となる。

図２〜図４には、運動、言語、休息状態の主要な脳連結領域が例示されている。

脳波分析部１３０は、使用者２の脳波を分析して操作モード別の差別化された領域間の連結性を分析することで各操作モード別の使用者の操作意図を確率的に判断し、これらの操作モード別の操作意図の確率を比較し、最も高い確率を示す操作モードを選択することができる。

図５は、操作モード別の操作意図の確率を比較し、最も高い確率を示す操作モードを選択する例を示している。

複数の操作モードのうちから１つが選択されると、選択された操作モードによるブレイン−マシンインタフェースまたはブレイン−コンピュータインタフェースアルゴリズムにしたがって操作モードが作動する。例えば、手運動代身装置１０操作モード（操作モード１）が選択されると、手運動代身装置１０、例えば、ロボットアーム装置を制御するための機械学習、分類アルゴリズムのような処理を経てロボットアームを制御することができる。

本発明の他の実施形態に係るブレイン−マシンインタフェース方法は、脳波取得部１１０を利用して使用者の脳波を取得するステップと、脳波分析部１３０を利用して前記脳波取得部１１０によって取得した使用者の脳波を分析するステップと、操作制御部１４０を利用して前記脳波分析部１３０によって得られた分析結果にしたがって複数の被操作装置１０、２０、３０を選択的に操作するステップとを含む。

２・・・使用者
１０・・・手運動代身装置
２０・・・足運動代身装置
３０・・・ユーザインタフェース
１００・・・ブレイン−マシンインタフェース装置
１１０・・・脳波取得部
１２０・・・脳波前処理部
１３０・・・脳波分析部
１４０・・・操作制御部

Claims

使用者の脳波を利用して複数の被操作装置を操作するためのブレイン−マシンインタフェース装置であって、
使用者の脳波を取得するための脳波取得部と、
前記脳波取得部によって取得した使用者の脳波を分析するための脳波分析部と、
前記脳波分析部によって得られた分析結果にしたがって複数の被操作装置を選択的に操作するための操作制御部と
を備える、ブレイン−マシンインタフェース装置。
前記脳波分析部は、前記使用者の脳波を分析して前記操作制御部の使用意図の有無を判断し、使用意図がある状態として判断されると前記操作制御部をオン（ＯＮ）にし、使用意図がない状態として判断されると前記操作制御部はオフ（ＯＦＦ）状態を維持する、請求項１に記載のブレイン−マシンインタフェース装置。
前記操作制御部の使用意図の有無判断は、使用者の側頭葉、内側前頭葉、後帯状皮質（ｐｏｓｔｅｒｉｏｒｃｉｎｇｕｌａｔｅｃｏｒｔｅｘ）、および頭頂葉で連結性が発生する周波数帯域を評価することを含む、請求項２に記載のブレイン−マシンインタフェース装置。
前記操作制御部の使用意図の有無判断は、使用者の側頭葉、内側前頭葉、後帯状皮質（ｐｏｓｔｅｒｉｏｒｃｉｎｇｕｌａｔｅｃｏｒｔｅｘ）、および頭頂葉の連結性を求め、各ノードの連結性分布のうちの１つ以上が信頼区間から逸脱する場合は使用意図がないと判断し、各ノードの連結性分布すべてが信頼区間内に存在する場合は使用意図があると判断することを含む、請求項２に記載のブレイン−マシンインタフェース装置。
前記操作制御部は、前記複数の被操作装置を操作するように１対１で対応する複数の操作モードを有し、
前記操作制御部がオン（ＯＮ）になると、前記脳波分析部は、前記使用者の脳波を分析して前記複数の被操作装置のうちのどれを操作しようとする意図なのかを判断し、前記複数の操作モードのうちから１つを選択する、請求項２に記載のブレイン−マシンインタフェース装置。
前記複数の操作モードは、手運動代身装置操作モード、足運動代身装置操作モード、ユーザインタフェース（ＵＩ：ＵｓｅｒＩｎｔｅｒｆａｃｅ）操作モードのうちの２つ以上を含む、請求項５に記載のブレイン−マシンインタフェース装置。
前記手運動代身装置操作モードは、ロボットアーム操作モードを含み、
前記足運動代身装置操作モードは、電動車椅子操作モードを含み、
前記ユーザインタフェース操作モードは、キーボード入力モード、マウスカーソル操作モード、または、オーディオまたはビデオ再生装置操作モードを含む、請求項６に記載のブレイン−マシンインタフェース装置。
前記複数の操作モードは、手運動代身装置操作モードを含み、
前記脳波分析部は、前記使用者の脳波が８−１２Ｈｚ帯域で補足運動野（ｓｕｐｐｌｅｍｅｎｔａｒｙｍｏｔｏｒａｒｅａ）と１次手感覚野（ｐｒｉｍａｒｙｈａｎｄｓｅｎｓｏｒｙａｒｅａ）または１次手運動野（ｐｒｉｍａｒｙｈａｎｄｍｏｔｏｒａｒｅａ）の連結性の程度を評価して手運動代身装置の操作意図の有無を判断する、請求項６に記載のブレイン−マシンインタフェース装置。
前記複数の操作モードは、足運動代身装置操作モードを含み、
前記脳波分析部は、前記使用者の脳波が８−１２Ｈｚ帯域で補足運動野（ｓｕｐｐｌｅｍｅｎｔａｒｙｍｏｔｏｒａｒｅａ）と１次足感覚野（ｐｒｉｍａｒｙｆｏｏｔｓｅｎｓｏｒｙａｒｅａ）または１次足運動野（ｐｒｉｍａｒｙｆｏｏｔｍｏｔｏｒａｒｅａ）の連結性の程度を評価して足運動代身装置の操作意図の有無を判断する、請求項６に記載のブレイン−マシンインタフェース装置。
前記複数の操作モードは、ユーザインタフェース操作モードを含み、
前記脳波分析部は、前記使用者の脳波が７５−１００Ｈｚ帯域でブローカ野、ウェルニッケ野、聴覚皮質（ａｕｄｉｔｏｒｙｃｏｒｔｅｘ）、前運動皮質（ｐｒｅｍｏｔｏｒｃｏｒｔｅｘ）、感覚運動皮質（Ｓｅｎｓｏｒｉｍｏｔｏｒｃｏｒｔｅｘ）のうちの２つ以上の連結性の程度を評価してユーザインタフェースの操作意図の有無を判断する、請求項６に記載のブレイン−マシンインタフェース装置。
前記脳波分析部は、前記使用者の脳波を分析して操作モード別の差別化された領域間の連結性を分析することで各操作モード別の使用者の操作意図を確率的に判断し、これらの操作モード別の操作意図の確率を比較し、最も高い確率を示す操作モードを選択する、請求項６に記載のブレイン−マシンインタフェース装置。
前記複数の操作モードのうちから１つが選択されると、選択された操作モードによるブレイン−マシンインタフェースまたはブレイン−コンピュータインタフェースアルゴリズムにしたがって操作モードが作動する、請求項６に記載のブレイン−マシンインタフェース装置。
前記脳波取得部によって取得した使用者の脳波を前処理するための脳波前処理部をさらに備え、
前記脳波前処理部は、前記使用者の脳波をノイズ除去またはフィルタリングする、請求項１に記載のブレイン−マシンインタフェース装置。
前記ノイズ除去は、筋電図（ＥＭＧ：Ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ）または眼電図（ＥＯＧ：Ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｍ）ノイズを除去するための独立成分分析法（ＩｎｄｅｐｅｎｄｅｎｔＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ）または主成分分析法（ＰｒｉｎｃｉｐｌｅＣｏｍｐｏｎｅｎｔＡｎａｙｓｉｓ）を含む、請求項１３に記載のブレイン−マシンインタフェース装置。
前記フィルタリングは、ノッチ（Ｎｏｔｃｈ）フィルタを利用して６０Ｈｚ電源ノイズを除去するフィルタリング、または帯域通過フィルタを利用して手／足運動操作と関連する８−１２Ｈｚ帯域信号とユーザインタフェース操作と関連する７５−１００Ｈｚ帯域信号成分を抽出するフィルタリングを含む、請求項１３に記載のブレイン−マシンインタフェース装置。
前記脳波取得部は、脳波電位記録法（ＥＥＧ：Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）、脳波測定法（ＥＣｏＧ：Ｅｌｅｃｔｒｏｃｏｒｔｉｃｏｇｒａｍ）、および磁気脳波検査法（ＭＥＧ：Ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｙ）のうちいずれか１つ以上を利用して使用者の脳波を取得する、請求項１に記載のブレイン−マシンインタフェース装置。
使用者の脳波を利用して複数の被操作装置を操作するためのブレイン−マシンインタフェース方法であって、
脳波取得部を利用して使用者の脳波を取得するステップと、
脳波分析部を利用して前記脳波取得部によって取得した使用者の脳波を分析するステップと、
操作制御部を利用して前記脳波分析部によって得られた分析結果にしたがって複数の被操作装置を選択的に操作するステップと
を含む、ブレイン−マシンインタフェース方法。