JP2006072606A - インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置 - Google Patents

インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置 Download PDF

Info

Publication number
JP2006072606A
JP2006072606A JP2004254062A JP2004254062A JP2006072606A JP 2006072606 A JP2006072606 A JP 2006072606A JP 2004254062 A JP2004254062 A JP 2004254062A JP 2004254062 A JP2004254062 A JP 2004254062A JP 2006072606 A JP2006072606 A JP 2006072606A
Authority
JP
Japan
Prior art keywords
control
thought
subject
moving body
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004254062A
Other languages
English (en)
Inventor
Hideo Eda
英雄 江田
Yasushi Terasono
泰 寺園
Toshio Yanagida
敏雄 柳田
Amayoshi Kato
天美 加藤
Masayuki Hirata
雅之 平田
Michiaki Taniguchi
理章 谷口
Takahito Baba
貴仁 馬場
Toshiki Yoshimine
俊樹 吉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2004254062A priority Critical patent/JP2006072606A/ja
Priority to US11/214,600 priority patent/US7873411B2/en
Priority to EP05018917A priority patent/EP1637069A3/en
Publication of JP2006072606A publication Critical patent/JP2006072606A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Feedback Control In General (AREA)

Abstract

【課題】制御対象を所望の態様で制御しようとする直接的思考とは異なる思考を予め定め、その思考を被験者がしたときに所望の態様で制御対象を制御することができること。
【解決手段】被験者Hの脳活動を計測する計測手段2と制御対象31との間に介在するインターフェイス装置4であって、前記制御対象31を所望の態様で制御しようとする直接的思考とは異なる予め定められた思考をしたときに計測される脳活動信号を、基準信号として格納している基準信号格納部D1と、前記計測手段2からの脳活動信号と前記基準信号とを比較して、前記被験者の思考が前記予め定められた思考であるか否かを判別する判別部41と、前記判別部41により前記被験者Hの思考が前記予め定められた思考であると判別されたときに、前記所望の態様で前記制御対象31を制御する制御部42と、を備えている。
【選択図】図1

Description

本発明は、被験者の脳活動を用いて制御対象を制御するためのインターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置に関するものである。
近年、脳の神経活動を検出し、コンピュータ(インターフェイス装置)を介して種々の機器制御を行うという脳−コンピュータインターフェイス(Brain-Computer Interface、以下BCIという)に関する研究が活発に行われている。従来はこれを実現するために例えば「右に進みたい」という被験者の直接的思考を、脳からの信号を検出することによってコンピュータ(インターフェイス装置)に把握させ、実際に機器を右に進ませるように制御しようとしている(特許文献1)。
以下に、脳活動計測による脳研究の概要を脳の働きを簡略化した図7を用いて説明する。
図7で、A、B、Cはそれぞれに応じて脳が表現する時間的空間的パターンである。これを表象(ひょうしょう、representation)と呼ぶ。これらの表象(実際にはその一部)を非侵襲的に計測するものには、fMRIや、近赤外光、MEG、EEGなどを用いた脳活動計測装置がある。
しかし、これらの装置で計測される脳のパターンだけでは脳の働きを把握することができない。なぜなら、それらのパターンの背後には未解明のXが存在しており、このXはそれぞれのパターンの起源かもしれないし、どのようなものをいくつ想定したら良いかも分からないからである。さらに、脳活動計測装置による脳研究は計測データをまとめるのが大変である上に、Bが多種多様に渡る表現を含むために、脳研究は複雑に入り組んでいる。
ここで、BCIを用いて「車椅子を右に進ませる」ということを例に取ってみる。車椅子に右に進ませるための赤いボタンが装備されている場合には、(1)脳を計測する(2)計測データから「右に進む」という意図(直接的思考)を解釈する(3)赤いボタンを押す、という運動に翻訳する(4)ボタンに信号を出力する、という四段階を必要とする。このうちの(2)の解釈と(3)の翻訳にあたって深遠な脳科学の知見が必要とされる。つまり「身体から見て右の方向」「進む」「赤いボタンを押す」などが脳内でどのように表現されているのかが、未解明のXも考慮すると、把握できない。さらに(1)の脳計測にあっては、どこをどのように計測すれば良いのかが明確でないために、なるべく広い範囲で多くの部位を計測せざるを得ない。
このようなことから、被験者の直接的思考をコンピュータ(インターフェイス装置)で把握するというアプローチでは、今後の脳活動の研究のさらなる発展を待たざるを得ず、BCI技術の早期実現化について疑問が投げかけられているのが実情である。
特開2000−172407
そこで、本発明は従来とは視点を全く変え、逆に被験者に、コンピュータ(インターフェイス装置)が間違いなく把握できる直接的思考をさせればよい、という発想から生まれたものである。つまり、本発明は制御対象を所望の態様で制御しようとする直接的思考とは異なる思考を予め定め、その思考を被験者がしたときに所望の態様で制御対象を制御することができることをその所期課題とするものである。
すなわち本発明に係るインターフェイス装置は、被験者の脳活動を計測する計測手段と制御対象との間に介在するインターフェイス装置であって、前記制御対象を所望の態様で制御しようとする直接的思考とは異なる予め定められた思考をしたときに計測される脳活動信号を、基準信号として格納している基準信号格納部と、前記計測手段からの脳活動信号と前記基準信号とを比較して、前記被験者の思考が前記予め定められた思考であるか否かを判別する判別部と、前記判別部により前記被験者の思考が前記予め定められた思考であると判別されたときに、前記所望の態様で前記制御対象を制御する制御部と、を備えていることを特徴とする。
このようなものであれば、制御対象を所望の態様で制御しようとする直接的思考とは異なる思考を予め定め、その思考を被験者がしたときに所望の態様で制御対象を制御することができる。つまり、予め定める思考をコンピュータが間違いなく把握できる思考にすることにより、被験者はその思考をするだけで制御対象を制御することができる。故に、例えば心を読むといった複雑な脳活動の中身に立ち入ることなく、BCI技術の実現化を可能にすることができる。
制御対象を3次元空間で制御できるようにするためには、前記予め決められた思考が、その思考をしたときに活動する脳の部位が互いに異なる6種類以上の思考であることが望ましい。
被験者が所定の思考を好適に行うためには、被験者に情報を提示するための画像表示装置をさらに備え、前記制御部が、前記予め決められた思考を前記被験者に促す表示を画面上にするものであることが望ましい。
的確に制御対象を制御するために、前記制御部が、前記基準信号に対応付けられた制御信号の示す制御内容を前記画像表示装置の画面上に表示するものであることが望ましい。
また、本発明に係る制御訓練装置は、請求項1乃至4記載のインターフェイス装置を備えた制御訓練装置であって、被験者に情報を提示するための画像表示装置をさらに備え、前記制御対象が、画面上に表示された移動体であり、前記制御部が、前記移動体を制御するものであることを特徴とする。
このようなものであれば、制御対象を所望の態様で制御しようとする直接的思考とは異なる予め定められた思考をして制御対象を制御する訓練をすることができる。さらに、この制御訓練装置を用いて訓練することで、前記インターフェイス装置を適切に用いることができるようになる。
具体的には前記移動体が、前記画像表示装置の画面上の2次元平面内で移動するものであること、又は前記画像表示装置の画面上の3次元空間内で移動するものであることが考えられる。
評価結果から被験者が所定の思考を行っているかどうかを的確に判断し、被験者の訓練の成果を客観的に見ることができ、さらに被験者の疲労や集中力なども判断することができるためには、前記移動体の出発点から目標点までの挙動をパラメータとし、そのパラメータを評価する評価部を備えたことが好ましい。
具体的な評価方法としては、前記パラメータを、前記移動体の出発点から目標点に至るまでの時間、出発点及び目標点を結んだ直線距離と実際に進んだ距離との差、あるいは出発点と目標点とを結んだ直線からの前記移動体のずれとし、そのパラメータを評価することが考えられる。
被験者を拘束しない状態で制御訓練装置を使用するためには、被験者の脳活動を計測する計測手段が、前記被験者の頭部に近赤外線を照射し、当該被験者の脳で散乱した近赤外線を計測することにより近赤外分光法を利用して脳の活動を計測するものであることが好ましい。
このようなものであれば、制御対象を所望の態様で制御しようとする直接的思考とは異なる思考を予め定め、その思考を被験者がしたときに所望の態様で制御対象を制御することができる。つまり、予め定める思考をコンピュータ(インターフェイス装置)が間違いなく把握できる直接的思考とすることにより、被験者はその思考をするだけで制御対象を制御することができる。故に、例えば心を読むといった複雑な脳活動の中身に立ち入ることなく、BCI技術の実現化を可能にすることができる。
以下に本発明の一実施形態である制御訓練装置について図面を参照して説明する。
図1は、本実施形態に係る制御訓練装置1を示した模式的機器構成図である。この制御訓練装置1は、被験者Hの脳活動を計測するNIRS(近赤外分光法)を利用した計測手段2と、画面上に3次元空間を表示し、その空間内に出発点32と目標点33と移動体31とを表示する画像表示装置3と、計測手段2からの脳活動信号を受信し、それに基づいて所定の情報処理を施し、前記移動体31を制御するインターフェイス装置4とを備えている。
計測手段2は、図1に示すように、光照射部21と、光検出部22としての機能を備えている。光照射部21は、複数波長(本実施形態では3波長)の近赤外線を発する半導体レーザ等の光源211と、その光源211から発された光を伝達する送光用フレキシブルライトガイド(光ファイバ)212とを備えたものであり、この送光用ライトガイド212の光導出端部は、ヘルメット型、網型あるいはヘアークリップ(カチューシャ)型の頭部装着具HTに保持されている。そして被験者Hが前記頭部装着具HTを装着することにより、近赤外線が被験者Hの頭部の内部に向かって照射されるように構成している。
光検出部22は、前記頭部装着具HTに光導入端部を保持させた受光用フレキシブルライトガイド(光ファイバ)222と、それら受光用ライトガイド222の光導出端部に接続された光電子増倍管やCCD素子などの受光素子221と、図示しない増幅器を備えたもので、前記送光用ライトガイド212から射出され、被験者Hの頭部M内で散乱又は透過してくる近赤外線を、前記各受光用ライトガイド222を介して受光素子221に導き、その光強度を示す電気信号である光強度信号(脳活動信号)をインターフェイス装置4へ出力させるように構成している。送光用ライトガイド212と受光用ライトガイド222とは1本ずつが対をなしており、この実施形態ではこれらが複数対、互いに離間させて頭部装着具HTに保持されている。
画像表示装置3は、図4に示すように、その画面上に3次元空間を表示し、その空間内に出発点32と目標点33と移動体31とを表示する。この画像表示装置3は、CPU、メモリ、AD変換器、入出力インターフェイス、ディスプレイ、入力手段等からなるコンピュータである。
インターフェイス装置4は、図2に示すように、CPU401に加えて不揮発性乃至揮発性のメモリ402、ADコンバータ405やDAコンバータ、入出力インターフェイス403、ディスプレイ等の表示出力手段408、マウスやキーボード等の入力手段407、通信インターフェイス404等を備えたいわゆるコンピュータシステムである。そして前記メモリ402に記憶させた所定のプログラムに基づいてCPU401や周辺機器を協働させることにより、このインターフェイス装置4が、図3の機能ブロック図に示すように、基準信号格納部D1、判別部41、制御信号格納部D2、制御部42、評価部43等としての機能を発揮するようにしている。かかるインターフェイス装置は、単体であっても良いし、複数のコンピュータからなるものであっても良い。もちろん、汎用のコンピュータを利用してメモリにソフトウェアをプログラムして構成しても良いし、専用の理論回路を用いて完全にあるいは一部をハードウェアで構成しても良い。
具体的に各部を詳説する。
基準信号格納部D1は、前記メモリ402の所定領域に設けられており、制御対象31を所望の態様で制御しようとする被験者Hの直接的思考とは異なる予め定められた思考をしたときに計測手段2で計測される脳活動信号を基準信号として格納している。
ここで、予め定められた思考とは、図8に示されるペンフィールドによって書かれた脳機能地図によって定められる。この図8は、感覚野(図8では知覚野と記載されている)と運動野との両方に関して、脳が担当している身体部位を示したものである。インターフェイス装置4が確実に把握できるために、この脳機能地図上で占める割合が大きく、かつ場所的に可及的に離れた身体部位を選択する。すなわち、例えば、手、口、あるいは足である。そして、「手を開く」、「手を握る」、「口を開ける」、「口を閉じる」「足を曲げる」、「足を伸ばす」等を予め定められた思考とする。
制御信号格納部D2は、制御対象31を所望の態様で制御するための制御信号が格納されている。移動体31を空間内で上下、左右、前後に移動させるために、前記6種類の異なる思考に制御信号を対応させるようにする。すなわち本実施形態では、「口を開ける」に「上に進む」という制御内容を対応させ、「口を閉じる」に「下に進む」という制御内容を対応させ、「手を開く」に「左に進む」という制御内容を対応させ、「手を握る」に「右に進む」という制御内容を対応させ、「足を曲げる」に「前に進む」という制御内容を対応させ、「足を伸ばす」に「後ろに進む」という制御内容を対応させている。またそれに応じて、インターフェイス装置4は3ビットの制御信号を画像表示装置3に出力する。
判別部41は、前記計測手段2から脳活動信号を受信し、その脳活動信号と前記基準信号とを比較して、被験者Hの思考が前記予め定められた思考であるか否かを判別する。
制御部42は、前記判別部41により被験者Hの思考が予め定められた思考であると判別されたときに、その思考に対応する制御内容で移動体31を制御するものである。さらに、この制御部42は、被験者Hが予め定められた思考を行いやすくするため、すなわち口の開閉、手の掌握、足の屈伸の際の脳活動パターンを安定して再現良く脳に作り出すことができるように、図4に示すように画像表示装置3の画面上にその思考を補助する表示34をするとともに、その思考に対応した制御内容35も表示する。ここで、思考を補助する表示34は、例えば「口を開ける」などと文章を表示しても被験者Hはイメージしにくいので、文章ではなく具体的な身体表現を示す画像である。もちろん文章を表示するものであっても良い。
評価部43は、移動体31が目標点33に到達したか否かを判断するとともに、移動体31の出発点32から目標点33までの画面上での挙動を評価して、画像表示装置3のその評価結果を示す評価信号を出力するものである。
以下に具体的な評価の方法を述べる。
まず評価の前提として、出発点32の座標をr(x,y,z)とし、目標点33の座標をr(x,y,z)とする。そして、目標点33に至るまでの時間t(s)をn分割し、それぞれの時間での移動体31の座標を、r(x,y,z)、rt1(xt1,yt1,zt1)、rt2(xt2,yt2,zt2)、…とする。
第一の評価方法は、出発点32から目標点33に至るまでの時間t(s)を評価することである。この場合、出発点32から目標点33に至るまでの時間t(s)を評価部43が計測し、その計測結果を画像表示装置3に出力する。この時間t(s)が小さくなることで、被験者Hや指導者等は成績が良くなったと評価することができる。
第二の評価方法は、出発点32と目標点33とを結んだ直線の距離(直線距離)(m)と実際に移動体31が進んだ距離(実移動距離)(m)との差d(m)を評価部43が計算するものである。
この場合は、出発点32と目標点33とを結んだ直線距離(m)は、
sqrt((r―r)、
但し、sqrt( )は、( )の平方根を示す。
そして、移動体31が移動した実移動距離(m)は、
sqrt((rt1―r)+sqrt((rt2―rt1)+…+sqrt((r―rn−1
となる。
つまり、評価する値である直線距離と実移動距離との差d(m)は、
d=sqrt((rt1―r)+sqrt((rt2―rt1)+…+sqrt((r―rn−1)−sqrt((r―r
となる。しかして、評価部43はこの距離の差d(m)を計算して画像表示装置3に出力する。これにより被験者Hや指導者等はこの差d(m)が小さくなることで、訓練の成績を評価することができる。
第三の評価方法は出発点32と目標点33とを結ぶ直線からの移動体31のずれs(m・m)を評価するものである。
この場合は、まず出発点32と目標点33とを結ぶ直線を、時刻の分割数と同じくn分割する。そして、各時刻での出発点32と目標点33とを結んだ直線からのずれs(m・m)を計算する。つまり、
s=(rt1―rGS1+(rt2―rGS2+…+(rtn―rGSn
を計算する。しかして、評価部33はこのずれs(m・m)を計算して画像表示装置3に出力する。そして、被験者Hや指導者等はこのずれs(m・m)の値により訓練を評価することができる。
さらに評価する方法として、図5に示すように、横軸を時間、縦軸を直線距離と実移動距離との差d(m)又はずれs(m・m)をとり、それらの時間変化を前記評価部43によって画像表示装置3に出力させる。(なお、図5では縦軸をずれsとした)これは、被験者Hや指導者等は訓練の成果を時系列データで見ることができ、最初はうまくいったが、後のほうはうまくいかなかった等の被験者Hの動向、つまり、訓練中の疲労や集中度を評価することができるようにするためである。
なお、縦軸には直線距離と実移動距離との差d(m)とずれs(m・m)の両方を同時に表示するようにすることができる。
次にこのように構成した制御訓練装置1の動作について図6を参照して説明する。
まず、移動体31を所望の態様で制御すべく、被験者Hが予め定められた思考をする。
次に、計測手段2が被験者Hの脳活動を計測し、その脳活動を示す脳活動信号を判別部41に出力する(ステップS1)。
判別部41は、計測手段2からの脳活動信号を受信して(ステップS2)、予め格納された基準信号と比較して、被験者Hの思考を判別する(ステップS3)。そして、判別部41は、制御部42に判別結果を示す信号を出力する。
その判別結果を示す信号を制御部42が受信する(ステップS4)。
被験者Hが予め定められた思考をしているならば、制御部42は、それに対応する制御信号を選択し、その制御信号を画像表示装置3に出力し移動体31を制御する(ステップS5)。
なお、被験者Hが予め定められた思考をしていないならば、制御部42は制御信号を出力せず、その結果移動体31は移動しない。
その後、移動体31が目標点33に到達したか否かを評価部43が判断する(ステップS6)。
移動体31が目標点33に到達したと判断したならば、評価部43は、移動体31の挙動を評価して、目標点33に至るまでの時間t(s)、直線距離と実移動距離との差d(m)又はずれs(m・m)のいずれか1つのデータあるいは直線距離と実移動距離との差d(s)又はずれs(m・m)の時系列データを画像表示装置3に出力する(ステップS7)。それに伴い画像表示装置3がその評価結果を表示する(ステップS8)。
以上のように本実施形態によれば、制御対象31を所望の態様で制御しようとする直接的思考とは異なるインターフェイス装置4が間違いなく把握できる予め定められた思考をして、制御対象31を制御する訓練をすることができる。これにより被験者Hはインターフェイス装置4を適切に使うことができるようになる。故に、例えば心を読むといった複雑な脳活動の中身に立ち入ることなく、BCI技術の実現化を可能にすることができる。
特に、移動体31の出発点32から目標点33までの挙動を評価する評価部43を備えているので、評価結果から被験者Hが所定の思考を行っているかどうかを的確に判断することができる。さらに被験者Hの訓練の成果を客観的に見ることができる。その上、被験者Hの疲労や集中力なども判断することができる。
加えて、制御部42が、前記予め定められた思考を前記被験者Hに促す表示を前記画面上にするものであるので、口の開閉、手の掌握、足の屈伸の際の脳活動パターンを安定して再現良く脳に作り出すことができるようになる。
なお本発明は、上記実施形態に限られるものではない。
例えば、口、掌、足等に相当する脳の部位を計測したデータをそのまま使うだけではなく、ニューラルネットワークなどの判断手段を経てから出力するものであっても良い。
前記実施形態においては、口、掌、足に対応する脳の部位の活動信号を用いたが、これに限られるのでなく、言語で活動するブローカ野などのそれ以外の脳の部位の活動信号を用いても良い。
計測手段は、NIRS(近赤外分光法)を利用した計測手段に限られず、fMRI(核磁気共鳴画像法(MRI)を用いて、生体機能を計測する装置)、MEG(脳磁図)あるいはEEG(脳波)を利用したものであっても良い。
さらに、予め定められた思考は6通りに限られることなく、インターフェイス装置が間違いなく把握できる思考であれば何でも良い。これに伴い、インターフェイス装置が画像表示装置に出力する制御信号は3ビットに限られない。
またインターフェイス装置と画像表示装置を別々に設けるのではなく、インターフェイス装置と画像表示装置とが一体であってもよい。
さらに、前記実施形態は画像表示装置が3次元空間を表示するものであるが、平面を表示してその平面内に移動体、出発点及び目標点を表示するものであっても良い。
その上、前記実施形態では、制御内容が「上に進む」、「下に進む」、「右に進む」、「左に進む」、「前に進む」、「後ろに進む」であったが、制御対象に応じたその他の所望の制御内容を対応付けることにより、種々の制御を行うことができる。
その上、出発点と目標点との間に障害物等を設けるようにしても良い。それに加えて、移動体が進むべき経路を予め決めておいて、それに基づいて実際に移動体が移動した軌道等を評価するものでも構わない。
その他本発明は、その趣旨を逸脱しない範囲で種々の変形が可能である。
本発明の一実施形態に係る制御訓練装置の模式的機器構成図。 同実施形態におけるインターフェイス装置の機器構成を示す機器構成図。 同実施形態におけるインターフェイス装置の機能構成を示す機能ブロック図。 同実施形態における画像表示装置の画面上の表示を示す図。 同実施形態における訓練の評価結果を示す図。 同実施形態における制御訓練装置の動作を示すフローチャート。 脳の働きの概略と脳のパターンを示す図。 ペンフィールドによる脳の機能地図。
符号の説明
H・・・被験者
1・・・制御訓練装置
2・・・計測手段
3・・・画像表示装置
4・・・インターフェイス装置
D1・・・基準信号格納部
D2・・・制御信号格納部
41・・・判別部
42・・・制御部
43・・・評価部
31・・・制御対象(移動体)
32・・・出発点
33・・・目標点

Claims (13)

  1. 被験者の脳活動を計測する計測手段と制御対象との間に介在するインターフェイス装置であって、
    前記制御対象を所望の態様で制御しようとする直接的思考とは異なる予め定められた思考をしたときに計測される脳活動信号を、基準信号として格納している基準信号格納部と、
    前記計測手段からの脳活動信号と前記基準信号とを比較して、前記被験者の思考が前記予め定められた思考であるか否かを判別する判別部と、
    前記判別部により前記被験者の思考が前記予め定められた思考であると判別されたときに、前記所望の態様で前記制御対象を制御する制御部と、を備えているインターフェイス装置。
  2. 前記予め定められた思考が、その思考をしたときに活動する脳の部位が互いに異なる6種類以上の思考であることを特徴とする請求項1記載のインターフェイス装置。
  3. 被験者に情報を提示するための画像表示装置をさらに備え、前記制御部が、前記予め定められた思考を前記被験者に促す表示を前記画像表示装置の画面上にするものであることを特徴とする請求項1又は2記載のインターフェイス装置。
  4. 前記制御部が、前記所望の態様の制御内容を画面上にさらに表示するものであることを特徴とする請求項3記載のインターフェイス装置。
  5. 請求項1乃至4記載のインターフェイス装置を備えた制御訓練装置であって、
    被験者に情報を提示するための画像表示装置をさらに備え、
    前記制御対象が、前記画像表示装置の画面上に表示された移動体であり、
    前記制御部が、前記移動体を制御するものである制御訓練装置。
  6. 前記移動体が、前記画像表示装置の画面上に表示された2次元平面内を移動するものであることを特徴とする請求項5記載の制御訓練装置。
  7. 前記移動体が、前記画像表示装置の画面上に表示された3次元空間内を移動するものであることを特徴とする請求項5記載の制御訓練装置。
  8. 前記移動体の出発点から目標点までの挙動をパラメータとし、そのパラメータを評価する評価部を備えたことを特徴とする請求項5、6又は7記載の制御訓練装置。
  9. 前記パラメータが、前記移動体の前記出発点から前記目標点に至るまでの時間であることを特徴とする請求項8記載の制御訓練装置。
  10. 前記パラメータが、前記出発点及び前記目標点を結んだ直線距離と前記移動体が実際に移動した距離との差であることを特徴とする請求項8記載の制御訓練装置。
  11. 前記パラメータが、前記出発点と前記目標点とを結んだ直線からの前記移動体のずれであることを特徴とする請求項8記載の制御訓練装置。
  12. 前記計測手段が、前記被験者の頭部に近赤外線を照射し、当該被験者の脳で反射した近赤外線を計測することにより近赤外分光法を利用して脳の活動を計測するものであることを特徴とする請求項5、6、7、8、9、10又は11記載の制御訓練装置。
  13. 被験者の脳活動を計測する計測手段と制御対象との間に介在するインターフェイス方法であって、
    前記制御対象を所望の態様で制御しようとする直接的思考とは異なる予め定められた思考をしたときに計測される脳活動信号を、基準信号として基準信号格納部に格納するステップと、
    前記計測手段からの脳活動信号と前記基準信号とを比較して前記被験者の思考を判別する判別ステップと、
    前記判別ステップにより前記被験者の思考が前記予め定められた思考であると判別されたときに、前記所望の態様で前記制御対象を制御する制御ステップと、を備えているインターフェイス方法。

JP2004254062A 2004-09-01 2004-09-01 インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置 Pending JP2006072606A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004254062A JP2006072606A (ja) 2004-09-01 2004-09-01 インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置
US11/214,600 US7873411B2 (en) 2004-09-01 2005-08-30 Interface device, interface method and control training device by the use of the interface device
EP05018917A EP1637069A3 (en) 2004-09-01 2005-08-31 Interface device, interface method and control training device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004254062A JP2006072606A (ja) 2004-09-01 2004-09-01 インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置

Publications (1)

Publication Number Publication Date
JP2006072606A true JP2006072606A (ja) 2006-03-16

Family

ID=35569966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004254062A Pending JP2006072606A (ja) 2004-09-01 2004-09-01 インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置

Country Status (3)

Country Link
US (1) US7873411B2 (ja)
EP (1) EP1637069A3 (ja)
JP (1) JP2006072606A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775146B1 (ko) * 2006-06-26 2007-11-12 현대자동차주식회사 머플러 이송 장치
WO2010098282A1 (ja) * 2009-02-24 2010-09-02 本田技研工業株式会社 脳情報出力装置、ロボット、および脳情報出力方法
JP2010198233A (ja) * 2009-02-24 2010-09-09 Honda Motor Co Ltd 脳情報出力装置、ロボット、および脳情報出力方法
JP2010541091A (ja) * 2007-10-04 2010-12-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブレインコンピュータインタフェースに関する改良
JP2016513319A (ja) * 2013-03-15 2016-05-12 インテル コーポレイション 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005047044A1 (de) * 2005-09-30 2007-04-12 Siemens Ag Verfahren zum Steuern eines medizinischen Geräts durch eine Bedienperson
US20090262139A1 (en) * 2006-08-02 2009-10-22 Panasonic Corporation Video image display device and video image display method
JP5531237B2 (ja) * 2009-02-24 2014-06-25 本田技研工業株式会社 脳情報出力装置、ロボット、および脳情報出力方法
JP5467267B2 (ja) * 2010-03-05 2014-04-09 国立大学法人大阪大学 機器制御装置、機器システム、機器制御方法、機器制御プログラム、および記録媒体
US11673042B2 (en) 2012-06-27 2023-06-13 Vincent John Macri Digital anatomical virtual extremities for pre-training physical movement
WO2014186739A1 (en) 2013-05-17 2014-11-20 Macri Vincent J System and method for pre-movement and action training and control
US10096265B2 (en) 2012-06-27 2018-10-09 Vincent Macri Methods and apparatuses for pre-action gaming
US11904101B2 (en) 2012-06-27 2024-02-20 Vincent John Macri Digital virtual limb and body interaction
US10632366B2 (en) 2012-06-27 2020-04-28 Vincent John Macri Digital anatomical virtual extremities for pre-training physical movement
WO2015047032A1 (ko) * 2013-09-30 2015-04-02 삼성전자 주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
US10111603B2 (en) 2014-01-13 2018-10-30 Vincent James Macri Apparatus, method and system for pre-action therapy
ITUB20153680A1 (it) * 2015-09-16 2017-03-16 Liquidweb Srl Sistema di controllo di tecnologie assistive e relativo metodo
CN109310561B (zh) * 2016-06-08 2021-04-09 株式会社国际电气通信基础技术研究所 运动示教系统和运动示教方法
EP3684463A4 (en) 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US11478603B2 (en) 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
WO2020056418A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6354618A (ja) * 1986-08-25 1988-03-09 Canon Inc 入力装置
JPH09149894A (ja) * 1995-12-01 1997-06-10 Hitachi Ltd 光生体計測法を用いた生体入力装置および生体制御装置
JPH10244480A (ja) * 1997-03-04 1998-09-14 Nou Kinou Kenkyusho:Kk ロボットの制御装置
JP2000172407A (ja) * 1998-12-07 2000-06-23 Hitachi Ltd 生体信号による機器制御装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5198977A (en) 1990-11-27 1993-03-30 Jesse Salb System and method for localization of functional activity in the human brain
US5699808A (en) * 1994-02-07 1997-12-23 New York University EEG operative and post-operative patient monitoring system and method
US6001065A (en) * 1995-08-02 1999-12-14 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
US6120298A (en) * 1998-01-23 2000-09-19 Scientific Learning Corp. Uniform motivation for multiple computer-assisted training systems
US6516246B2 (en) * 2000-09-11 2003-02-04 Mimicking Man Manually, Inc. Method and system for determining native neurological dominant hemisphere
JP2002172106A (ja) * 2000-12-07 2002-06-18 Hitachi Ltd 生体光計測法を用いた遊戯装置
JP2002236096A (ja) 2001-02-08 2002-08-23 Hitachi Ltd 光トポグラフィ装置とデータ生成装置
US6829502B2 (en) * 2002-05-30 2004-12-07 Motorola, Inc. Brain response monitoring apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6354618A (ja) * 1986-08-25 1988-03-09 Canon Inc 入力装置
JPH09149894A (ja) * 1995-12-01 1997-06-10 Hitachi Ltd 光生体計測法を用いた生体入力装置および生体制御装置
JPH10244480A (ja) * 1997-03-04 1998-09-14 Nou Kinou Kenkyusho:Kk ロボットの制御装置
JP2000172407A (ja) * 1998-12-07 2000-06-23 Hitachi Ltd 生体信号による機器制御装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775146B1 (ko) * 2006-06-26 2007-11-12 현대자동차주식회사 머플러 이송 장치
JP2010541091A (ja) * 2007-10-04 2010-12-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブレインコンピュータインタフェースに関する改良
WO2010098282A1 (ja) * 2009-02-24 2010-09-02 本田技研工業株式会社 脳情報出力装置、ロボット、および脳情報出力方法
JP2010198232A (ja) * 2009-02-24 2010-09-09 Honda Motor Co Ltd 脳情報出力装置、ロボット、および脳情報出力方法
JP2010198233A (ja) * 2009-02-24 2010-09-09 Honda Motor Co Ltd 脳情報出力装置、ロボット、および脳情報出力方法
JP2016513319A (ja) * 2013-03-15 2016-05-12 インテル コーポレイション 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム

Also Published As

Publication number Publication date
US7873411B2 (en) 2011-01-18
EP1637069A3 (en) 2006-04-05
EP1637069A2 (en) 2006-03-22
US20060074822A1 (en) 2006-04-06

Similar Documents

Publication Publication Date Title
JP2006072606A (ja) インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置
Ladouce et al. Understanding minds in real-world environments: toward a mobile cognition approach
EP2613222B1 (en) Apparatus and method to determine a decision of a user based on brain wave analysis
JP4968167B2 (ja) 光生体測定装置及びそれに用いられるホルダ配置支援システム
JP4991431B2 (ja) 脳機能計測による外部環境制御装置
WO2013190678A1 (ja) 生体状態評価装置およびそのためのプログラム
CN112040844A (zh) 针对免疫介导和神经退行性疾病的认知筛查、监测和认知处理
EP2972662A1 (en) Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals
Afergan et al. Brain-based target expansion
Ferrante et al. FLUX: A pipeline for MEG analysis
Rodrigo et al. Examining the neural correlates of incidental facial emotion encoding within the prefrontal cortex using functional near-infrared spectroscopy
Zhu et al. Wayfinding information cognitive load classification based on functional near-infrared spectroscopy
Manganas et al. A comparative survey on simultaneous EEG-fMRI methodologies
Benitez-Andonegui et al. Guiding functional near-infrared spectroscopy optode-layout design using individual (f) MRI data: effects on signal strength
Perrin Semi-autonomous navigation of an assistive robot using low throughput interfaces
JP4411208B2 (ja) 生体光計測装置
JP7122730B2 (ja) 脳波信号評価装置の作動方法
JP4978485B2 (ja) 光生体測定装置
Kober et al. Measuring brain activation during spatial navigation in virtual reality: a combined EEG-NIRS study
Girouard Adaptive brain-computer interface
JP5809864B2 (ja) 生体光計測装置、波形解析方法
Takahashi et al. Remarks on fuzzy reasoning-based brain activity recognition with a compact near infrared spectroscopy device and its application to robot control interface
JP5729490B2 (ja) 光生体計測装置
Xu et al. Flexible-circuit-based 3-D aware modular optical brain imaging system for high-density measurements in natural settings
WO2023127930A1 (ja) 感情推定装置及び感情推定モデル生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110823