JP2012073329A - 意思伝達支援装置及び方法 - Google Patents

意思伝達支援装置及び方法 Download PDF

Info

Publication number
JP2012073329A
JP2012073329A JP2010216749A JP2010216749A JP2012073329A JP 2012073329 A JP2012073329 A JP 2012073329A JP 2010216749 A JP2010216749 A JP 2010216749A JP 2010216749 A JP2010216749 A JP 2010216749A JP 2012073329 A JP2012073329 A JP 2012073329A
Authority
JP
Japan
Prior art keywords
brain
message
decision
stimulus
constituent elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010216749A
Other languages
English (en)
Other versions
JP5472746B2 (ja
Inventor
Ryohei Hasegawa
良平 長谷川
Yukako Hasegawa
由香子 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2010216749A priority Critical patent/JP5472746B2/ja
Publication of JP2012073329A publication Critical patent/JP2012073329A/ja
Application granted granted Critical
Publication of JP5472746B2 publication Critical patent/JP5472746B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】脳内の意思を高精度および高速度で解析して、介助者に意思伝達できる装置及び方法を実現する。
【解決手段】刺激提示用の表示画面1と、利用者の頭部に電極を装着したモバイル脳波計2と、脳波を解析する処理装置3と、メッセージを表示する画面又はアバター(自分の分身となるCGキャラクター)がメッセージを人工音声で読み上げる装置4を備える意思伝達支援装置を提供する。メッセージの構成要素を階層的にデータベース化して蓄積し、刺激提示画面1により、該構成要素を擬似ランダムにフラッシュして利用者に刺激提示する。該刺激提示後の脳波を計測して、処理装置3により、前記脳波データを解析し、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該構成要素を組み合わせたメッセージをアバターが音声出力する。
【選択図】図1

Description

本発明は、発話や書字が困難な重度の運動障害者でも、脳活動により意思を伝達できる意思伝達支援装置及び方法に関する。
現在、情報科学分野、医工学応用分野、脳活動による福祉機器制御の分野において、機器の操作は、各種スイッチ、ジョイスティックやマウス等の手による入力操作が主である。一方、介護福祉機器等の開発分野では、手足が不自由な操作者のために身体の他の部分で操作できる機器が望まれている。
従来から、文字盤あるいは絵カードなどの発話を補助するものがある。また、言語機能や聴覚に障害を持つ利用者の会話を補助する機器に関する技術は、例えば特許文献1および2に示されている。特許文献1には、五十音の文字盤の文字をブロックごとに順次点灯して選択させる技術や身体ケアのリクエストを選ぶメッセージボードを用いる技術が示されている。特許文献2には、携帯情報端末を用いるシンボル表示を選択するコミュニケーション支援システムが示されている。しかしながら、介護福祉機器の開発分野では、老人や病人などの複雑な入力操作が不可能な操作者のために、操作を必要としないで直接的に意思を伝えることができる機器が望まれている。また、発話障害のある患者や老人にとって、基本的な身の回りの介護や気持ち等の意思を、より簡単に介助者に伝えることのできる機器が望まれている。
近年、脳科学の進歩により、人の思考や行動と脳活動との関係性について様々な研究がなされている。脳活動などの生体信号に着目して外部機器を制御したり、他者に意思を伝達したりするBrain−Machine Interface(BMI)技術が注目されている。
例えば、脳波のリアルタイム計測によって一文字ずつアルファベットを選択するシステムの開発に関する研究が知られている(非特許文献1参照)。
本発明者達は、動物の脳内に設置した電極による単一ニューロンの活動電位の細胞外記録という計測手法とニューロン集団活動のシミュレーションによって、複数の外部刺激(実験条件)が脳内でどのような関係性があると表現されているかを低次元の空間情報として推定できることを示した(非特許文献2参照)。しかしながら、脳活動についてはまだまだ未知な部分が多く、またその計測方法には制約がある。
また、本発明者達は、仮想意思決定関数を提案し、その計算方法を示した(非特許文献3参照)。非特許文献3には、単一ニューロン活動を例にとって神経活動から二者択一の行動予測方法を示している。
特開2004−286768号公報 特開2003−255825号公報
L.A.Farwell他,"Talking off the top of your head:toward a mental prosthesis utilizing event−related brain potentials" Electroencephalography and clinical Neurophysiology,70(1988)p510−523 松本有央、長谷川良平「前頭連合野ニューロン集団の単一試行活動に基づく多次元意志決定の予測」Neuroscience Research,vol.58,Supplement 1,pageS161(P2−f34),2007 長谷川良平他「Single trial−based prediction of a go/no−go decision in monkey superior colliculus」 Neural Networks 19(2006)1223−1232
手足等を使うことなく、できるだけ簡単な操作で意思を伝えることができる機器が望まれている。しかしながら、これらの目的で研究開発された新たな各種入力装置はそれぞれ独自の入力方式や入力装置が必要であり、各種入力装置をそれぞれ購入しなければならず、またそれぞれの操作を習得するのに時間がかかるという問題がある。
脳活動を機能的MRI(fMRI)等の装置を使って調べる技術では、MRI装置の中で測定する必要があるので、入力操作をリアルタイムで行うことが不可能であり、大型の装置を必要とする問題がある。
従来の意思伝達に関する研究で提案されている装置では、脳波等の生体情報を測定するには、ノイズが大きく、正解の確率が低く、判定まで時間がかかるという問題があった。
特に、従来の上記BMI技術のコアとなるのが、脳内意思決定をリアルタイムで解読する技術である。しかし、S/N比の悪い頭皮上脳波記録、あるいは同時記録できる数の少ないニューロン活動記録条件下では、正確かつ迅速に脳内意思決定を解読するのは極めて困難である。例えば、パソコン画面上に選択肢となる視覚刺激を複数個提示し、それらを疑似ランダムにフラッシュ(点灯)することによって得られる誘発脳波(刺激提示後300ミリ秒後の陽性の電位変化等のP300と呼ばれる事象関連脳波)の反応の強さによって、操作者が選択した選択肢を予測又は推測する手法が用いられている。その際、提示回数を増やすと予測精度が高くなる一方、時間がかかるという問題があり、リアルタイムで、脳内意思を解読することは困難であった。
また、従来の技術では、二択や三択など選択肢の数が少なく、多様なメッセージを伝達することが困難であった。また、脳活動に着目した従来的な意思伝達は、多様性が無いか、あるいはメッセージを一文字ずつ入力するために莫大な時間を要していた。
本発明は、これらの問題を解決しようとするものであり、重度ALS患者等の発話障害のある患者や老人等の利用者(被験者とも呼ぶ)の脳内意思を短時間で解析してメッセージを伝達することを目的とする。また、利用者が、基本的な身の回りの介護や気持ち等の意思を、より簡単に直接的に介助者に伝えることのできる装置及び方法を提供することを目的とする。また、利用者の多様なメッセージを伝達可能とし、特に重度運動機能障害者の日常的な「生活の質」の向上と社会参加を促進させることを目的とする。
本発明は、前記目的を達成するために、本発明者が開発した「仮想意思決定関数」という、意思決定の脳内過程を定量化する手法により実現するものである。仮想意思決定関数は、元来、脳内の意思決定機構を調べるために考案された基礎的研究のための解析手法であり、脳内設置電極によって記録されたニューロン活動のミリ秒単位の時間経過から、後に観察される二者択一的意思決定の形成過程の推定に役立つものであった(非特許文献3参照)。本発明では、この仮想意思決定関数の概念を大幅に拡張し、脳波計測による意思解析手法として活用したものである。また、本発明では、超小型のモバイル脳波計と、高速・高精度の脳内意思解読アルゴリズムにより、意思伝達を支援するものである。特に、発話や書字が困難な重度の運動障害者でも脳活動により意思を伝達できるようにするために、メッセージの構成要素を階層的に構築し、これらの組み合わせにより、最大500種類以上のメッセージが生成可能とし、アバター(自分の分身となるCG:コンピューターグラフィックス)がメッセージを人工音声で読み上げるものである。
本発明は、前記目的を達成するために、以下の特徴を有するものである。
本発明の装置は、刺激を提示する刺激提示装置と、該刺激提示装置による刺激提示後の脳波を計測する脳波計と、該脳波計からの脳波データを処理する処理装置と、意思表示装置とを備える意思伝達支援装置であって、前記刺激提示装置は、メッセージの構成要素を階層的にデータベース化して蓄積された該構成要素を、刺激として、各階層の選択場面で複数提示し、前記脳波計は、ヘッドキャップに取り付けられた電極により頭皮上脳波を計測して、無線通信により前記処理装置に脳波データを送信し、前記処理装置は、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の構成要素を組み合わせてメッセージを作成して、前記意思表示装置に出力し、前記意思表示装置は、前記メッセージを表示又は音声出力することを特徴とする。
本発明の装置において、前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示する表示画面を備え、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切るようにするとよい。各階層の前記選択場面は、各階層の選択のための表示画面に対応している。また、具体的には、前記脳内処理過程を推定する関数は、脳活動と意思決定の結果との関連を多変量解析の手法を用いて意思決定を定量化する関数である。また、本発明において、前記意思表示装置は、利用者が登録したアバターが前記メッセージを音声出力することが好ましい。介助者は、誰がメッセージを発しているのかを即理解することができる。
本発明の方法は、意思伝達支援方法であって、メッセージの構成要素を階層的にデータベース化して蓄積し、刺激提示装置により、該構成要素を刺激として、各階層の選択場面で複数提示すると共に、脳波計により、該刺激提示後の脳波を計測して、無線通信により脳波データを処理装置に送信し、該処理装置により、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の該構成要素を組み合わせてメッセージを作成し、前記メッセージを表示又は音声出力することを特徴とする。本発明の方法において、前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示し、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切ることが好ましい。
本発明によれば、発話障害や書字が困難な患者等の重度の運動障害者でも脳活動により意思を伝達できる。本発明によれば、超小型のモバイル脳波計と高速・高精度の脳内意思解読アルゴリズムにより、操作性に優れる。本発明によれば、利用者は、脳波測定のための電極を固着するだけであり、例えば電極を備えるネットや帽子を装着する感覚であり、該電極と入力装置とは無線で接続することにより、利用者の位置の自由度が高く小型化できる。さらに、本発明のように、脳波ヘッドキャップ一体型の超小型の8チャンネルの無線脳波計を用いると、ケーブルがないため、ノイズレスで、安全でかつポータブルな脳波計測、及び意思伝達が可能となる。
本発明によれば、階層的にメッセージの要素を選択させるので、最大500種類以上のメッセージが生成可能である。また、アバター(自分の分身となるCG:コンピューターグラフィックス)がメッセージを人工音声で読み上げることにより、利用者の意思を伝えることができ、介助者等も各利用者の区別をしてメッセージを理解することができる。特に、本発明は、意思伝達のための特殊な入力操作の習得を必要とすることがないから、発話障害のある患者や老人が、基本的な身の回りの介護や気持ち等の意思を、より簡単に直接的に介助者に伝えることができる。
本発明によれば、フラッシュ刺激提示の打ち切り処理を行うことによって、脳波データの取得に必要な時間が短縮できる。
第1の実施の形態を模式的に示す図
本発明の装置及び方法について、実施の形態により以下説明する。本発明は、超小型モバイル脳波計と、高速・高精度の脳内意思解読アルゴリズム、さらに効率的な意思伝達アプリケーションを統合した、実用的ブレイン−マシン−インターフェース(BMI)システムである。
(第1の実施の形態)
本実施の形態について、図1を参照して以下説明する。図1は、本実施の形態による意思伝達支援装置及び方法を模式的に示す図である。本実施例の意思伝達支援装置は、刺激提示用の表示画面1と、被験者の頭部に電極を装着したモバイル脳波計2(例えばワイヤレスで電極からの脳波を計測する小型脳波計(図は一部省略したもの))、脳波を解析する処理装置3、メッセージを表示する画面又はアバター(自分の分身となるCG:コンピューターグラフィックス)がメッセージを人工音声で読み上げる装置4からなる。刺激提示用の表示画面1を被験者に見せて、被験者の頭皮上脳波をワイヤレスで携帯可能な小型脳波計で計測する。表示画面(モニター)1には、視覚刺激として、様々なメッセージ候補の断片(構成要素)を含む複数のピクトグラムをフラッシュ提示する。伝えたいメッセージ断片(ターゲット)がフラッシュした際、脳内で「おやっ」と思った時に観察される頭皮上の脳波(P300)を検出する作業を複数回繰り返す。処理装置3により、伝えたいメッセージ候補の断片(ターゲットの構成要素)を、脳内意思解読アルゴリズムにより判別してメッセージを文章化する。該メッセージを、装置4により、アバター(分身となるCGキャラクター)によって読み上げて表出させる。図1の吹き出しは、アバターの読み上げるメッセージを模式的に表している。
本発明において開発した脳波計は、モバイル性の高い脳波計であり、意思伝達支援が必要な障害者が快適に装置を使ったり、外出先にも装置を持ち出したりすることができるものである。本実施例では、携帯電話の半分以下の大きさで、8チャンネルの頭皮上脳波を計測できる超小型無線脳波計を開発して用いた。従来の脳波計のようにケーブルが長いと、視野を遮ったり首に絡まったりする危険があるほか、ノイズが乗りやすく脳波計の性能が十分発揮されないという問題があった。本実施の形態の脳波計は、小型かつ無線方式であるので、ヘッドキャップに直接取り付けることができ、ユーザーの動きを制約せず、ノイズも乗りにくいという利点がある。従来の脳波計は大型で家庭用電源が必要であったが、本モバイル脳波計はコイン電池で長時間稼働するため、外出先でも使用可能である。
前記脳波を解析する処理装置3は、高速・高精度の脳内意思解読アルゴリズムにより処理を行うものである。脳波で文字や図形を1つずつ入力する従来のシステムでは、PC画面上に並べて提示されている選択肢の属性(明るさや形など)を一瞬だけ変化させることを、擬似ランダムに何度か繰り返して、視覚刺激の変化によるP300誘発脳波の反応の強さの違いによってユーザーの選択を予測・推測するという手法をしばしば用いていた。その際、提示回数を増やすと予測精度が高くなるが、時間がかかる。逆に提示回数を少なくすると予測に要する時間が短くなるが、精度が悪くなるという問題があった。本実施の形態では、脳内意思決定の時間的変化を定量化するために、本発明者が開発していた「仮想意思決定関数」を活用し、高速かつ高精度で予測を行うことに成功した。1回の選択に2〜3秒という早さで90%以上の予測精度を実現している。
ここで、「仮想意思決定関数」とは、認知課題1試行ごとの意思決定にかかわる脳内処理過程を推定する関数という。脳活動と意思決定の結果との関連を多変量解析の手法を組み合わせて分析し、意思決定がまだなされていない状態から何らかの意思決定がなされるまでの連続的な時間経過を視覚化することが可能である。仮想意思決定関数は、多変量解析の関数であり、ロジスティック関数や線形判別分析関数等である。以下具体的に説明する。脳波生波形として得たP300誘発脳波は、目標のシンボル表示(ターゲットシンボル)であるときの脳波電位と、非目標のシンボル表示であるときの脳波電位とで、各チャンネルと刺激後の経過時間によって、異なっている。仮想意思決定関数の例として、判別分析法を用いる場合は、該脳波電位の、各チャンネルと刺激後の経過時間に応じて、判別分析法の重み付け係数を求め、該重み付け係数を用いて、判別得点の計算をし、該判別得点に基づき意思決定の状態を定量化することができる。また、判別得点のみであると、解析結果にばらつきを生じることがあるので、1試行毎の成功率と判別得点とに基づき(例えば積)により意思決定の状態を定量化することができる。
また、本実施の形態では、効率的な意思伝達支援メニューを提供するものである。脳活動に着目した従来の意思伝達装置は、メッセージの種類が少ないことや、メッセージを作るまでの時間が長いなどの問題があった。本実施の形態では、少ない操作回数で多様なメッセージを作成することができる、本発明者らが開発した「階層的メッセージ生成システム」を用いる。このシステムでは、ユーザーは、画面に提示された8種類のピクトグラム(さまざまな事象を単純な絵にした絵文字)の中から伝えたいメッセージと関連のあるものを1つ選ぶ、という作業を3回連続で行う。それら3つのピクトグラムの組み合わせ(8の3乗)で最大512種類のメッセージを作成することができる。このシステムにおいて、選択肢のピクトグラムを擬似ランダムにフラッシュしてP300(事象関連脳波と呼ばれる、刺激提示後300ミリ秒後の陽性の電位変化。)脳波を誘発する機能を追加して利用する。ピクトグラムをフラッシュしてP300を計測する方法は、着目しているシンボル表示が光った瞬間に脳波が増強される現象があることを利用するものである。ピクトグラムを擬似ランダムフラッシュしてP300を脳波計で計測し、該脳波を前記処理装置で解析し、該解析結果により、装置4を用いて、メッセージを表示したり、又は、アバター(自分の分身となるCG:コンピューターグラフィックス)がメッセージを人工音声で読み上げるようにする。
本発明者らが開発した「階層的メッセージ生成システム」について具体的に説明する。例えば、利用者に、会話(メッセージ)の構成要素が複数個シンボル表示された表示選択画面を提示する。第1階層のシンボル表示の例は、図1の刺激提示用の表示画面1にも表示されているように、「飲食する」「移動する」「各種活動」「気持ち」「体のケア」「時間」「遊ぶ」「テレビ」「人物」等のシンボル表示(ピクトグラム)である。中央の多方向の矢印は、選択を指示する表示であるが、特定のシンボル表示でもよい。まず、利用者は、伝えたいメッセージを第1階層の選択肢から選び意識すると、選択画面で選択したシンボル表示がフラッシュした際に、脳内で「これ」と思った時に観察される頭皮上の脳波(P300)が検出可能となる。1つのシンボル表示(ターゲット)が選択されると、その動作の対象となる第2階層が表示される次の表示画面に進む。例えば、第1階層で「移動する」が選択されたとき、「移動する」の対象となる第2階層の選択肢として、「洗面所」「風呂場」「他の部屋」「他の階」「病院」「公共施設」「方角」「屋外」等が表示される。利用者は、伝えたいメッセージの構成要素を第2階層の選択肢から選び意識すると、選択画面で伝えたいシンボル表示がフラッシュした際に、脳内で「これ」と思った時に観察される頭皮上の脳波(P300)が検出可能となる。第2階層の中の1つのシンボル表示が選択されると、動作の対象や目的などの会話の構成要素の詳細内容となる第3階層が次の表示画面に表示される。例えば、第2階層で「洗面所」が選択されると、さらにその動作の目的に関して第3階層が表示される。「トイレ」「手洗い」「洗顔」「歯磨き」「化粧」「ひげそり」「整髪」等が表示される。利用者が第3階層の選択肢の中から伝えたいものを選び、同様に、第3階層の中の1つのシンボル表示が選択されると、第1、第2、第3の階層で選択された構成要素から1つのまとまりのあるメッセージが処理装置3により作成される。メッセージが作成されると、装置4の表示画面上の文字やスピーカからの音声によってそのメッセージが出力される。表示画面上の、利用者毎に登録したアバター(CGキャラクター)が発声するよう音声出力するとよい。
なお、擬似ランダムとは、ランダム(乱数)のように見えるが、実際には一定の法則で計算された数列をいう。例えば、1から8の数字を3、6、2、7、1、5、8、4の順番で提示すると、一見、ランダムに数字が選ばれたように思わせることができるが、実際には8種類の数字が1回ずつ提示されている。これを1ブロックとしてブロックごとに擬似ランダムの順番で1回ずつ全種類を提示すると、5ブロック終わった段階では各数字が5回ずつ提示されたことになる。ノイズが混入しやすい微弱な脳波データを解析するためには各実験条件(本実施の形態では、数字ではなく、8種類のピクトグラムである)を数回繰り返す必要があり、擬似ランダムな刺激提示が効率良いデータの取得方法である。
1フラッシュの毎の脳波計測定により、認知課題1試行ごとの意思決定にかかわる脳内処理過程を推定する関数を求め、8種類のピクトグラムの各関数のうちの1つが、複数回ブロック行った結果、所定の値以上に達したり、他のピクトグラムの関数と対比して大であったりした場合に、該ピクトグラムが選択されたと、判断することができる。
本実施の形態では、予定した5ブロック全部の提示が終わった段階を待たずに、仮想意思決定関数で表されるところの、脳内意思決定がなされたという解析結果の出力を受けて、フラッシュ刺激提示の打ち切り処理を行った。例えば3ブロックや4ブロックで刺激提示を打ち切った。このように、予測確率が十分高まったところでフラッシュを打ち切って、利用者の伝えたいシンボル表示(選びたい選択肢、目標)を高速高精度で検出することができる。
図1では、表示画面1と、脳波を解析する処理装置3と、メッセージを表示する画面又はアバターがメッセージを読み上げる装置4とが、別体の装置のように図示されているが、これは模式的に図示したものであり、コンピュータ、モバイルコンピュータ、携帯端末等の、処理部と表示部を備える装置であれば、適宜組み合わせたり又は一体の装置としたりすることができる。
上記実施の形態に示したようなシンボル表示(選択肢のピクトグラム)を、例えば場面に応じた会話の構成要素を階層的に表示する内容にすると、各階層の選択画面で複数表示して、各階層で選択された構成要素を組み合わせることにより、複雑な意思伝達に用いることができる。多様なメッセージをたった数回の選択動作によって生成することができる。たとえ数十文字からなるメッセージであっても、それを事前に、又は該メッセージの構成要素をシンボル表示として登録しておけば、短い時間で選択できるので、より日常的なコミュニケーションが実現できる。具体的には、8種類の選択肢から一つを選ぶ動作を3回行う簡単な入力操作で、512種のメッセージから1つを選ぶことができるので、発話が不十分でかつ細かな手の動作などの機能が不十分なユーザーでも利用することができる。また、512種のメッセージは、基本的な身の回りの介護や気持ち等の意思を伝えるのに十分な数といえる。
実施の形態では、視覚刺激について説明したが、視覚刺激に代えて聴覚刺激等を与えて対応する脳波を計測して解析するようにしてもよい。
なお、上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
本発明によれば、重度運動障害の患者や老人が手足等を用いることなく、脳内の意思をリアルタイムで、他者に伝達できる。また、福祉分野に限らず、新しいタイプのゲームやロボット制御技術、家庭での健康管理、マーケティング分野での感性評価などに、脳内意思を伝達する技術として応用可能である
1 刺激提示画面
2 脳波計の一部
3 処理装置
4 CG表示画面

Claims (6)

  1. 刺激を提示する刺激提示装置と、該刺激提示装置による刺激提示後の脳波を計測する脳波計と、該脳波計からの脳波データを処理する処理装置と、意思表示装置とを備える意思伝達支援装置であって、
    前記刺激提示装置は、メッセージの構成要素を階層的にデータベース化して蓄積された該構成要素を、刺激として、各階層の選択場面で複数提示し、
    前記脳波計は、ヘッドキャップに取り付けられた電極により頭皮上脳波を計測して、無線通信により前記処理装置に脳波データを送信し、
    前記処理装置は、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の構成要素を組み合わせてメッセージを作成して、前記意思表示装置に出力し、
    前記意思表示装置は、前記メッセージを表示又は音声出力することを特徴とする意思伝達支援装置。
  2. 前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示する表示画面を備え、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切ることを特徴とする請求項1記載の意思伝達支援装置。
  3. 前記脳内処理過程を推定する関数は、脳活動と意思決定の結果との関連を多変量解析の手法を用いて意思決定を定量化する関数であることを特徴とする請求項1又は2記載の意思伝達支援装置。
  4. 前記意思表示装置は、利用者が登録したアバターが前記メッセージを音声出力することを特徴とする請求項1乃至3のいずれか1項記載の意思伝達支援装置。
  5. メッセージの構成要素を階層的にデータベース化して蓄積し、
    刺激提示装置により、該構成要素を刺激として、各階層の選択場面で複数提示し、
    該刺激提示後の脳波を計測して、無線通信により脳波データを処理装置に送信し、
    該処理装置により、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の該構成要素を組み合わせてメッセージを作成し、
    前記メッセージを表示又は音声出力することを特徴とする意思伝達支援方法。
  6. 前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示し、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切ることを特徴とする請求項5記載の意思伝達支援方法。
JP2010216749A 2010-09-28 2010-09-28 意思伝達支援装置及び方法 Active JP5472746B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010216749A JP5472746B2 (ja) 2010-09-28 2010-09-28 意思伝達支援装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010216749A JP5472746B2 (ja) 2010-09-28 2010-09-28 意思伝達支援装置及び方法

Publications (2)

Publication Number Publication Date
JP2012073329A true JP2012073329A (ja) 2012-04-12
JP5472746B2 JP5472746B2 (ja) 2014-04-16

Family

ID=46169583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010216749A Active JP5472746B2 (ja) 2010-09-28 2010-09-28 意思伝達支援装置及び方法

Country Status (1)

Country Link
JP (1) JP5472746B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041851A1 (ja) * 2012-09-13 2014-03-20 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置
CN104065388A (zh) * 2014-07-09 2014-09-24 李永飞 人脑电台
WO2014152630A1 (en) * 2013-03-14 2014-09-25 Julian Michael Urbach Eye piece for augmented and virtual reality
US9235968B2 (en) 2013-03-14 2016-01-12 Otoy, Inc. Tactile elements for a wearable eye piece
US9773332B2 (en) 2013-03-14 2017-09-26 Otoy, Inc. Visual cortex thought detector interface
WO2017179486A1 (ja) * 2016-04-14 2017-10-19 国立研究開発法人産業技術総合研究所 意思解読装置及び意思伝達支援装置
US10383540B2 (en) 2014-01-23 2019-08-20 National Institute Of Advanced Industrial Science And Technology Cognitive function evaluation apparatus, method, system and program
US10470690B2 (en) 2014-11-21 2019-11-12 National Institute Of Advanced Industrial Science And Technology Authentication device using brainwaves, authentication method, authentication system, and program
US10786173B2 (en) 2014-11-17 2020-09-29 National Institute Of Advanced Industrial Science And Technology Similarity evaluation method using brain waves, evaluation device, evaluation system, and program
WO2021162663A1 (en) * 2020-02-12 2021-08-19 Çi̇ğli̇ Fen Li̇sesi̇ Disabled communication system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0720774A (ja) * 1993-06-30 1995-01-24 Canon Inc 意志伝達支援装置
JP2004180817A (ja) * 2002-12-02 2004-07-02 National Institute Of Advanced Industrial & Technology 生体信号を利用した作業支援マニピュレータシステム
JP2009199535A (ja) * 2008-02-25 2009-09-03 Panasonic Corp 脳波識別方法の調整装置および方法
JP4465414B2 (ja) * 2008-07-11 2010-05-19 パナソニック株式会社 脳波を用いた機器の制御方法および脳波インタフェースシステム
JP2012053656A (ja) * 2010-09-01 2012-03-15 National Institute Of Advanced Industrial & Technology 意思伝達支援装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0720774A (ja) * 1993-06-30 1995-01-24 Canon Inc 意志伝達支援装置
JP2004180817A (ja) * 2002-12-02 2004-07-02 National Institute Of Advanced Industrial & Technology 生体信号を利用した作業支援マニピュレータシステム
JP2009199535A (ja) * 2008-02-25 2009-09-03 Panasonic Corp 脳波識別方法の調整装置および方法
JP4465414B2 (ja) * 2008-07-11 2010-05-19 パナソニック株式会社 脳波を用いた機器の制御方法および脳波インタフェースシステム
JP2012053656A (ja) * 2010-09-01 2012-03-15 National Institute Of Advanced Industrial & Technology 意思伝達支援装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"第2部<脳波計測の応用> 計測装置のダウンサイジングでヘルスケアやマーケティングに", 日経エレクトロニクス, vol. 第1029号, JPN6013054717, 3 May 2010 (2010-05-03), pages 34 - 37, ISSN: 0002671481 *
長谷川 良平: "サル上丘ニューロンの活動に基づく意思決定過程の予測", ブレイン・マシン・インタフェース −脳と機械をつなぐ−, vol. 第1版, JPN6013054718, 25 September 2007 (2007-09-25), pages 32 - 51, ISSN: 0002671482 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041851A1 (ja) * 2012-09-13 2014-03-20 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置
WO2014152630A1 (en) * 2013-03-14 2014-09-25 Julian Michael Urbach Eye piece for augmented and virtual reality
US9235968B2 (en) 2013-03-14 2016-01-12 Otoy, Inc. Tactile elements for a wearable eye piece
US9773332B2 (en) 2013-03-14 2017-09-26 Otoy, Inc. Visual cortex thought detector interface
US10383540B2 (en) 2014-01-23 2019-08-20 National Institute Of Advanced Industrial Science And Technology Cognitive function evaluation apparatus, method, system and program
CN104065388A (zh) * 2014-07-09 2014-09-24 李永飞 人脑电台
US10786173B2 (en) 2014-11-17 2020-09-29 National Institute Of Advanced Industrial Science And Technology Similarity evaluation method using brain waves, evaluation device, evaluation system, and program
US10470690B2 (en) 2014-11-21 2019-11-12 National Institute Of Advanced Industrial Science And Technology Authentication device using brainwaves, authentication method, authentication system, and program
WO2017179486A1 (ja) * 2016-04-14 2017-10-19 国立研究開発法人産業技術総合研究所 意思解読装置及び意思伝達支援装置
JPWO2017179486A1 (ja) * 2016-04-14 2019-03-07 国立研究開発法人産業技術総合研究所 意思解読装置及び意思伝達支援装置
WO2021162663A1 (en) * 2020-02-12 2021-08-19 Çi̇ğli̇ Fen Li̇sesi̇ Disabled communication system

Also Published As

Publication number Publication date
JP5472746B2 (ja) 2014-04-16

Similar Documents

Publication Publication Date Title
JP5472746B2 (ja) 意思伝達支援装置及び方法
JP5544620B2 (ja) 意思伝達支援装置及び方法
US20220313162A1 (en) Efficient wellness measurement in ear-wearable devices
Martišius et al. A prototype SSVEP based real time BCI gaming system
Grabowski et al. Emotional expression in psychiatric conditions: New technology for clinicians
Gürkök et al. Brain–computer interfaces for multimodal interaction: a survey and principles
Oberman et al. Face to face: Blocking facial mimicry can selectively impair recognition of emotional expressions
Nam et al. Evaluation of P300-based brain-computer interface in real-world contexts
KR102388596B1 (ko) 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법
US20210118323A1 (en) Method and apparatus for interactive monitoring of emotion during teletherapy
US20140114207A1 (en) Cognitive Management Method and System
Nijholt et al. Brain-computer interaction: can multimodality help?
Zhao et al. Human-computer interaction for augmentative communication using a visual feedback system
Huggins et al. Workshops of the seventh international brain-computer interface meeting: not getting lost in translation
Tivatansakul et al. Healthcare system design focusing on emotional aspects using augmented reality—Relaxed service design
Wong Emotion assessment in evaluation of affective interfaces
Nguyen et al. LIBS: a bioelectrical sensing system from human ears for staging whole-night sleep study
Shahraki et al. The Impact of Brain–Computer Interface on Lifestyle of Elderly People
WO2017179486A1 (ja) 意思解読装置及び意思伝達支援装置
Nissinen et al. The Possibilities of Smart Clothing in Adult Speech Therapy: Speech Therapists' Visions for the Future
Keary et al. How affective computing could complement and advance the quantified self
Sansana BCI-based spatial navigation control: a comparison study
Bansal et al. EEG Based BCI—Control Applications
Bongenaar Towards a taxonomy of quantitative emotion measurement using wearables for inclusive user experience research
Rekrut Leveraging EEG-based speech imagery brain-computer interfaces

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140122

R150 Certificate of patent or registration of utility model

Ref document number: 5472746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250