JP2010257343A - 意思伝達支援装置 - Google Patents
意思伝達支援装置 Download PDFInfo
- Publication number
- JP2010257343A JP2010257343A JP2009108467A JP2009108467A JP2010257343A JP 2010257343 A JP2010257343 A JP 2010257343A JP 2009108467 A JP2009108467 A JP 2009108467A JP 2009108467 A JP2009108467 A JP 2009108467A JP 2010257343 A JP2010257343 A JP 2010257343A
- Authority
- JP
- Japan
- Prior art keywords
- image
- visual
- brain
- measurement
- multipoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】脳の視覚連合野を含む領域の複数の計測点における脳の電気的特性を求める多点計測部と、呈示された画像と、該画像を呈示した際における多点計測した脳の前記電気的特性と、を相互に対応付ける変換処理部とを備えることにより、対象物、例えばイメージしている文字、を特定する。
【選択図】図1
Description
第一に、運動出力型意思伝達支援技術は、大脳運動野の局所の神経活動から運動プランを特定しているため、対象がALSや閉じ込め症候群などの稀な疾患に限られ、運動野自体に損傷が及ぶ患者には適用できなかった。例えば脳卒中(脳血管障害)は介護を必要とする国内最多の原因であるが、上記の方法では運動野に障害が及ぶ脳卒中患者への支援はできない、という原理的問題があった。
本発明は、適用対象が広く、効率の優れた意思伝達支援装置を提供することを目的とする。
本発明は、コンピュータに、上記に記載の意思伝達支援方法を実行させるためのプログラムであっても良く、該プログラムを記録する記録媒体であっても良い。
なお、多点ECoG電極を用いると、多点微小電極を用いた方法に比べて低侵襲的な意思伝達方法であるため、安全面で優れている。
図1は、本実施の形態による視覚的イメージによる意思伝達支援装置の概略的なイメージを示す機能ブロック図である。本実施の形態による意思伝達支援装置、すなわちBrain Machine Interface(BMI)Aにおいて、人間がある対象、例えば文字“X”を見た時の画像刺激(v)に基づく視覚情報S1は、視覚受容器5(網膜)から視覚神経系を介して脳に到達し、脳内の、一次視覚野を経て視覚連合野6により形態に特異的な応答信号S2に変換される。文字“X”とは異なる文字“Y”を見た時には、異なる形態応答信号が得られる。この画像刺激(v)による脳の形態信号S2そのものを微小電極法またはECoG法により多点電位測定部10により計測する。多点電位測定部10から同時計測して得られた電位計測値から、画像刺激(v)に同期した脳の電気的特性を抽出することができる。ここで、電気的特性とは1.画像刺激(v)に同期してみられる電位のベースラインからピークまでの変化(すなわち視覚誘発電位)、2.画像刺激(v)に同期してみられる電位の特定の周波数帯域成分(例として30-100Hzのγ周波数帯域)の構成の変化、3.画像刺激(v)に同期してみられる神経の活動電位(スパイク)発生頻度、のいずれかを指す。
文献:Hochberg LR et al Nature 442, 164-71, 2006、Neuronal ensemble control of prosthetic devices by a human with tetraplegia.
文献1:Hasegawa I, Miyashita Y. Nat Neurosci 5, 90-91, 2002 Categorizing the world: expert neurons look into key features.
尚、TE野、TEO野、V4野が定義されている文献の例として、以下の文献2がある。
文献2:http://web.sc.itc.keio.ac.jp/anatomy/kokikawa/visual_auditory/visual_auditory.html
まず、有限個の文字または図形(アイコンなど)のセット(「A、B、C、…など」)のうちから個々の文字又は図形1つずつを無作為に選んで順次呈示し(視覚刺激(v)の呈示)、上述のように、被験者の大脳の高次視覚連合野である後頭葉から側頭葉において数十から数百の記録電極、例として多点ECoG記録電極、をおき、例えば視覚誘発電位等の電気的特性を測定する。電気的特性を定量化するには、例として個々の画像呈示に対する視覚誘発電位のベースラインからピ−ク値までの高さ(電位差)に着目する。
多点計測データ(r)は、後述するように、高入力インピーダンスの増幅器で増幅した後、AD変換ボードにおいてデジタル化し記録する。
図6は本実施の形態による意思伝達支援装置の信号処理部分の一構成例を示す機能ブロック図であり、図5における記録システム及び変換処理部に相当する。
一般的には、V=f(R)というような関数により直接デコードのモデルを立てて、fのパラメータをデータから最適化する方法を用いることができる。fとしては、線形判別、線形回帰、ニューラルネットワーク、カーネル法、など様々なモデルを使うこことができる。
神経活動ベクトルRは、以下の式で表される。ここで、nは、計測点数である。例えば、多点電極数が30であれば、n=30となる。rnは、各電極における電圧のピーク値に対応する。
Claims (11)
- 脳の視覚連合野を含む領域の複数の計測点における脳の電気的特性を求める多点計測部と、
呈示された画像と、該画像を呈示した際における多点計測した脳の前記電気的特性と、を相互に対応付ける変換処理部と、を有することを特徴とする意思伝達支援装置。 - 脳の視覚連合野を含む領域の複数の計測点における電位計測値に基づき脳の電気的特性を求める多点計測部と、
画像を呈示する画像呈示部と、
画像と、多点計測した脳の前記電気的特性と、を相互に対応付ける変換処理部と、
を有し、
前記画像呈示部が画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせる処理、又は、画像の視覚的イメージを想起させながら、前記多点計測部で計測した脳の電気的特性に対して、前記変換処理部における対応付けに基づいて、伝えたい画像又は視覚イメージを特定して、実時間で意思伝達を支援する意思伝達支援装置。 - 前記視覚連合野を含む領域が、高次視覚連合野を中心とした領域であり、少なくとも側頭葉ないし後頭葉の腹側部、または前頭葉の視覚関連領域のいずれかを含むことを特徴とする請求項1又は2に記載の意思伝達支援装置。
- 前記画像呈示部が呈示した画像と、前記多点計測部が多点計測した脳の電気的特性と、を対応付ける変換関数を前記変換処理部が最適化するように計算することを特徴とする請求項1から3までのいずれか1項に記載の意思伝達支援装置。
- 前記多点計測部の計測手段として、皮質脳波(ECoG)法を利用することを特徴とする請求項1から4までのいずれか1項に記載の意思伝達支援装置。
- 脳の外表面に加えて、脳溝の内部にも前記ECoGの電極を配置することを特徴とする請求項5に記載の意思伝達支援装置。
- 前記電気的特性として、各計測点における視覚刺激に同期した電位の変位(視覚誘発電位)又は視覚刺激に同期した電位の特定の周波数帯域成分の変化、又は視覚刺激に同期したスパイク(活動電位)発生頻度の変化を用いることを特徴とする請求項1から6までのいずれか1項に記載の意思伝達装置。
- 前記対応付けのための変換関数として、V=f(R)で表される関数を用い、fのパラメータをデータから最適化する演算を行うことを特徴とする請求項1から7までのいずれか1項に記載の意思伝達支援装置。
- 前記対応付けのための変換関数として、線形変換を用い、
入力ベクトル(呈示している視覚刺激の種類(v))から出力ベクトル(視覚事象関連誘発電位のピーク値(R))に線形変換する行列の係数を最適化する、「多点神経活動−物体視覚イメージ」対応学習相と、
学習後、多点計測により得られる多点脳活動計測データ(R)を入力ベクトルとし、前記「多点神経活動−物体視覚イメージ」対応学習相で最適化した行列の逆行列を入力ベクトルに乗じて出力を求めることにより、それに対応する適切な対象物を推定することを特徴とする請求項1から7までのいずれか1項に記載の意思伝達支援装置。 - 脳の視覚連合野を含む領域の複数の計測点から電位を同時計測し、各計測点における電位計測値に基づいて脳の電気的特性を計算する多点計測ステップと、
画像を呈示する画像呈示ステップと、
画像と、多点計測した脳の電気的特性とを相互に対応付ける変換処理ステップと、を有し、
予め、前記画像呈示ステップで呈示した画像と前記多点計測ステップで多点計測した脳の電気的特性とを学習アルゴリズムによって対応づけるステップと、
前記画像呈示ステップが画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせるステップ、又は、目の前にない画像の視覚的イメージを想起させながら、前記多点計測ステップで計測した脳の電気的特性の集合に対して前記変換処理ステップにおいて前記対応付けにより、伝えたい画像または視覚イメージを特定して実時間で意思伝達を支援するステップと、
を有することを特徴とする意思伝達支援方法。 - コンピュータに請求項10に記載の意思伝達支援方法を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009108467A JP2010257343A (ja) | 2009-04-27 | 2009-04-27 | 意思伝達支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009108467A JP2010257343A (ja) | 2009-04-27 | 2009-04-27 | 意思伝達支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010257343A true JP2010257343A (ja) | 2010-11-11 |
Family
ID=43318152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009108467A Pending JP2010257343A (ja) | 2009-04-27 | 2009-04-27 | 意思伝達支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010257343A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013004006A (ja) * | 2011-06-21 | 2013-01-07 | Aisin Seiki Co Ltd | 脳波インターフェースシステム |
KR101293863B1 (ko) * | 2011-06-29 | 2013-08-16 | 한양대학교 산학협력단 | 안정상태 시각유발전위를 이용한 qwerty 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법 |
KR101431203B1 (ko) | 2013-04-16 | 2014-08-18 | 고려대학교 산학협력단 | 뇌파를 이용한 의도 인식용 두뇌 기계 인터페이스 장치 및 방법 |
JP2016067922A (ja) * | 2014-09-25 | 2016-05-09 | エスエヌユー アールアンドディービー ファウンデーション | ブレイン−マシンインタフェース装置および方法 |
JP2016513319A (ja) * | 2013-03-15 | 2016-05-12 | インテル コーポレイション | 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム |
KR101777734B1 (ko) | 2016-01-06 | 2017-09-12 | 한국과학기술연구원 | 생체 신호 분류 장치 및 방법 |
WO2019235458A1 (ja) * | 2018-06-04 | 2019-12-12 | 国立大学法人大阪大学 | 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体 |
JP2020074993A (ja) * | 2018-11-09 | 2020-05-21 | 国立研究開発法人理化学研究所 | 皮質脳波電極、脳活動処理システム、及び脳活動処理方法 |
CN111511269A (zh) * | 2017-09-08 | 2020-08-07 | 国家科学研究中心 | 从脑电图信号解码个人的视觉注意 |
WO2020223529A1 (en) * | 2019-05-01 | 2020-11-05 | Massachusetts Institute Of Technology | Software and methods for controlling neural responses in deep brain regions |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6354618A (ja) * | 1986-08-25 | 1988-03-09 | Canon Inc | 入力装置 |
JPH07204168A (ja) * | 1994-01-12 | 1995-08-08 | Nou Kinou Kenkyusho:Kk | 生体情報自動識別装置 |
WO2007096269A1 (de) * | 2006-02-23 | 2007-08-30 | Albert-Ludwigs-Universität Freiburg | Vorrichtung und verfahren zur echtzeit-ansteuerung eineas effektors |
JP2008225877A (ja) * | 2007-03-13 | 2008-09-25 | Nec Corp | ブレイン・コンピュータ・インタフェース |
-
2009
- 2009-04-27 JP JP2009108467A patent/JP2010257343A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6354618A (ja) * | 1986-08-25 | 1988-03-09 | Canon Inc | 入力装置 |
JPH07204168A (ja) * | 1994-01-12 | 1995-08-08 | Nou Kinou Kenkyusho:Kk | 生体情報自動識別装置 |
WO2007096269A1 (de) * | 2006-02-23 | 2007-08-30 | Albert-Ludwigs-Universität Freiburg | Vorrichtung und verfahren zur echtzeit-ansteuerung eineas effektors |
JP2009531077A (ja) * | 2006-02-23 | 2009-09-03 | アルバート−ルートウィヒ−ユニベルシタート フライブルグ | エフェクターのリアル・タイム制御のための装置と方法 |
JP2008225877A (ja) * | 2007-03-13 | 2008-09-25 | Nec Corp | ブレイン・コンピュータ・インタフェース |
Non-Patent Citations (4)
Title |
---|
CSNC200802116008; ラジャゴパラン ウママヘスワリ: '"光を使った脳機能計測 -脳活動による神経組織の光特性変化のイメージング-"' 応用物理 第72巻第6号, 20030610, p.711〜715, 社団法人応用物理学会 * |
CSNC200802120007; 柴田 直: '"心理学的脳モデルVLSI -生体原理に学ぶ新たなプロセッサーアーキテクチャー-' 応用物理 第72巻第10号, 20031010, p.1268〜1275, 社団法人応用物理学会 * |
JPN6013021769; ラジャゴパラン ウママヘスワリ: '"光を使った脳機能計測 -脳活動による神経組織の光特性変化のイメージング-"' 応用物理 第72巻第6号, 20030610, p.711〜715, 社団法人応用物理学会 * |
JPN6013021772; 柴田 直: '"心理学的脳モデルVLSI -生体原理に学ぶ新たなプロセッサーアーキテクチャー-' 応用物理 第72巻第10号, 20031010, p.1268〜1275, 社団法人応用物理学会 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013004006A (ja) * | 2011-06-21 | 2013-01-07 | Aisin Seiki Co Ltd | 脳波インターフェースシステム |
KR101293863B1 (ko) * | 2011-06-29 | 2013-08-16 | 한양대학교 산학협력단 | 안정상태 시각유발전위를 이용한 qwerty 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법 |
JP2016513319A (ja) * | 2013-03-15 | 2016-05-12 | インテル コーポレイション | 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース(bci)システム |
KR101431203B1 (ko) | 2013-04-16 | 2014-08-18 | 고려대학교 산학협력단 | 뇌파를 이용한 의도 인식용 두뇌 기계 인터페이스 장치 및 방법 |
JP2016067922A (ja) * | 2014-09-25 | 2016-05-09 | エスエヌユー アールアンドディービー ファウンデーション | ブレイン−マシンインタフェース装置および方法 |
KR101777734B1 (ko) | 2016-01-06 | 2017-09-12 | 한국과학기술연구원 | 생체 신호 분류 장치 및 방법 |
CN111511269A (zh) * | 2017-09-08 | 2020-08-07 | 国家科学研究中心 | 从脑电图信号解码个人的视觉注意 |
JP2020537583A (ja) * | 2017-09-08 | 2020-12-24 | サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィック | 脳波信号から被験者の視覚的注意の集中を決定する方法、コンピュータプログラム、コンピュータシステムおよび脳波信号から被験者の視覚的注意の集中を決定するシステム |
JP7124090B2 (ja) | 2017-09-08 | 2022-08-23 | サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィック | 脳波信号から被験者の視覚的注意の集中を決定する方法、コンピュータプログラム、コンピュータシステムおよび脳波信号から被験者の視覚的注意の集中を決定するシステム |
CN111511269B (zh) * | 2017-09-08 | 2023-06-06 | 国家科学研究中心 | 从脑电图信号解码个人的视觉注意 |
US11717204B2 (en) | 2017-09-08 | 2023-08-08 | Nextmind Sas | Decoding the visual attention of an individual from electroencephalographic signals |
WO2019235458A1 (ja) * | 2018-06-04 | 2019-12-12 | 国立大学法人大阪大学 | 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体 |
JPWO2019235458A1 (ja) * | 2018-06-04 | 2021-07-29 | 国立大学法人大阪大学 | 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体 |
JP7352914B2 (ja) | 2018-06-04 | 2023-09-29 | 国立大学法人大阪大学 | 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体 |
JP2020074993A (ja) * | 2018-11-09 | 2020-05-21 | 国立研究開発法人理化学研究所 | 皮質脳波電極、脳活動処理システム、及び脳活動処理方法 |
JP7048972B2 (ja) | 2018-11-09 | 2022-04-06 | 国立研究開発法人理化学研究所 | 皮質脳波電極、脳活動処理システム、及び脳活動処理方法 |
WO2020223529A1 (en) * | 2019-05-01 | 2020-11-05 | Massachusetts Institute Of Technology | Software and methods for controlling neural responses in deep brain regions |
US11813406B2 (en) | 2019-05-01 | 2023-11-14 | Massachusetts Institute Of Technology | Software and methods for controlling neural responses in deep brain regions |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010257343A (ja) | 意思伝達支援装置 | |
Popescu et al. | Single trial classification of motor imagination using 6 dry EEG electrodes | |
JP6404239B2 (ja) | 認知機能評価装置、認知機能評価装置の作動方法、システム及びプログラム | |
KR102282961B1 (ko) | 감각 및 인지 프로파일링을 위한 시스템 및 방법 | |
Turnip et al. | Real-time feature extraction of P300 component using adaptive nonlinear principal component analysis | |
Bos | EEG-based emotion recognition | |
WO2016163594A1 (ko) | 동영상 기반 생리 신호 검출을 이용한 왜곡에 대한 정신생리적 탐지 (거짓말 탐지) 방법 및 장치 | |
US20160029965A1 (en) | Artifact as a feature in neuro diagnostics | |
US7520864B2 (en) | Muscle stretch sensor | |
EP1535571B1 (en) | Stress-at-work judging device, stress-at-work judging program, and stress-at-work judging method | |
Kim et al. | Wedea: A new eeg-based framework for emotion recognition | |
JP5252432B2 (ja) | 指関節角度推定装置 | |
JP2009297059A (ja) | 脳訓練支援装置 | |
CN113143208B (zh) | 基于多维度测量的疼痛敏感性评估系统和方法 | |
Baghdadi et al. | Dasps: a database for anxious states based on a psychological stimulation | |
JP2007524448A (ja) | 初期の緑内障を検出し、モニタする自動処置方法及び装置 | |
Dzitac et al. | Identification of ERD using fuzzy inference systems for brain-computer interface | |
JP6628341B2 (ja) | 意思解読装置及び意思伝達支援装置 | |
KR20220028967A (ko) | 뉴로피드백 기반의 치료 장치 및 치료 방법 | |
KR101753834B1 (ko) | 진동 이미지 기술을 이용하여 감성을 분류하는 방법 | |
Kabbara et al. | An efficient P300-speller for Arabic letters | |
KR100792046B1 (ko) | 우울감성 개선을 위한 색상 제시형 뉴로피드백 장치 및방법 | |
Çelik et al. | Classification of evoked potentials of familiar and unfamiliar face stimuli using multi-resolution approximation based on excitatory post-synaptic potential waveform | |
JP7296121B2 (ja) | 情報処理装置、及び情報処理プログラム | |
JP2019118448A (ja) | 精神状態推定システムおよび精神状態推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120420 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130514 |