JP2012073329A - 意思伝達支援装置及び方法 - Google Patents
意思伝達支援装置及び方法 Download PDFInfo
- Publication number
- JP2012073329A JP2012073329A JP2010216749A JP2010216749A JP2012073329A JP 2012073329 A JP2012073329 A JP 2012073329A JP 2010216749 A JP2010216749 A JP 2010216749A JP 2010216749 A JP2010216749 A JP 2010216749A JP 2012073329 A JP2012073329 A JP 2012073329A
- Authority
- JP
- Japan
- Prior art keywords
- brain
- message
- decision
- stimulus
- constituent elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000005540 biological transmission Effects 0.000 title claims abstract 4
- 210000004556 brain Anatomy 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 31
- 239000000470 constituent Substances 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims description 24
- 230000007177 brain activity Effects 0.000 claims description 13
- 210000004761 scalp Anatomy 0.000 claims description 8
- 210000003128 head Anatomy 0.000 claims description 6
- 230000036992 cognitive tasks Effects 0.000 claims description 5
- 238000000491 multivariate analysis Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 23
- 101150068427 EP300 gene Proteins 0.000 description 9
- 102100038885 Histone acetyltransferase p300 Human genes 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 208000016285 Movement disease Diseases 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000282693 Cercopithecidae Species 0.000 description 1
- 208000016621 Hearing disease Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229940034610 toothpaste Drugs 0.000 description 1
- 239000000606 toothpaste Substances 0.000 description 1
Abstract
【解決手段】刺激提示用の表示画面1と、利用者の頭部に電極を装着したモバイル脳波計2と、脳波を解析する処理装置3と、メッセージを表示する画面又はアバター(自分の分身となるCGキャラクター)がメッセージを人工音声で読み上げる装置4を備える意思伝達支援装置を提供する。メッセージの構成要素を階層的にデータベース化して蓄積し、刺激提示画面1により、該構成要素を擬似ランダムにフラッシュして利用者に刺激提示する。該刺激提示後の脳波を計測して、処理装置3により、前記脳波データを解析し、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該構成要素を組み合わせたメッセージをアバターが音声出力する。
【選択図】図1
Description
本実施の形態について、図1を参照して以下説明する。図1は、本実施の形態による意思伝達支援装置及び方法を模式的に示す図である。本実施例の意思伝達支援装置は、刺激提示用の表示画面1と、被験者の頭部に電極を装着したモバイル脳波計2(例えばワイヤレスで電極からの脳波を計測する小型脳波計(図は一部省略したもの))、脳波を解析する処理装置3、メッセージを表示する画面又はアバター(自分の分身となるCG:コンピューターグラフィックス)がメッセージを人工音声で読み上げる装置4からなる。刺激提示用の表示画面1を被験者に見せて、被験者の頭皮上脳波をワイヤレスで携帯可能な小型脳波計で計測する。表示画面(モニター)1には、視覚刺激として、様々なメッセージ候補の断片(構成要素)を含む複数のピクトグラムをフラッシュ提示する。伝えたいメッセージ断片(ターゲット)がフラッシュした際、脳内で「おやっ」と思った時に観察される頭皮上の脳波(P300)を検出する作業を複数回繰り返す。処理装置3により、伝えたいメッセージ候補の断片(ターゲットの構成要素)を、脳内意思解読アルゴリズムにより判別してメッセージを文章化する。該メッセージを、装置4により、アバター(分身となるCGキャラクター)によって読み上げて表出させる。図1の吹き出しは、アバターの読み上げるメッセージを模式的に表している。
2 脳波計の一部
3 処理装置
4 CG表示画面
Claims (6)
- 刺激を提示する刺激提示装置と、該刺激提示装置による刺激提示後の脳波を計測する脳波計と、該脳波計からの脳波データを処理する処理装置と、意思表示装置とを備える意思伝達支援装置であって、
前記刺激提示装置は、メッセージの構成要素を階層的にデータベース化して蓄積された該構成要素を、刺激として、各階層の選択場面で複数提示し、
前記脳波計は、ヘッドキャップに取り付けられた電極により頭皮上脳波を計測して、無線通信により前記処理装置に脳波データを送信し、
前記処理装置は、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の構成要素を組み合わせてメッセージを作成して、前記意思表示装置に出力し、
前記意思表示装置は、前記メッセージを表示又は音声出力することを特徴とする意思伝達支援装置。 - 前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示する表示画面を備え、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切ることを特徴とする請求項1記載の意思伝達支援装置。
- 前記脳内処理過程を推定する関数は、脳活動と意思決定の結果との関連を多変量解析の手法を用いて意思決定を定量化する関数であることを特徴とする請求項1又は2記載の意思伝達支援装置。
- 前記意思表示装置は、利用者が登録したアバターが前記メッセージを音声出力することを特徴とする請求項1乃至3のいずれか1項記載の意思伝達支援装置。
- メッセージの構成要素を階層的にデータベース化して蓄積し、
刺激提示装置により、該構成要素を刺激として、各階層の選択場面で複数提示し、
該刺激提示後の脳波を計測して、無線通信により脳波データを処理装置に送信し、
該処理装置により、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の該構成要素を組み合わせてメッセージを作成し、
前記メッセージを表示又は音声出力することを特徴とする意思伝達支援方法。 - 前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示し、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切ることを特徴とする請求項5記載の意思伝達支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010216749A JP5472746B2 (ja) | 2010-09-28 | 2010-09-28 | 意思伝達支援装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010216749A JP5472746B2 (ja) | 2010-09-28 | 2010-09-28 | 意思伝達支援装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012073329A true JP2012073329A (ja) | 2012-04-12 |
JP5472746B2 JP5472746B2 (ja) | 2014-04-16 |
Family
ID=46169583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010216749A Active JP5472746B2 (ja) | 2010-09-28 | 2010-09-28 | 意思伝達支援装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5472746B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014041851A1 (ja) * | 2012-09-13 | 2014-03-20 | Necカシオモバイルコミュニケーションズ株式会社 | 情報処理装置 |
CN104065388A (zh) * | 2014-07-09 | 2014-09-24 | 李永飞 | 人脑电台 |
WO2014152630A1 (en) * | 2013-03-14 | 2014-09-25 | Julian Michael Urbach | Eye piece for augmented and virtual reality |
US9235968B2 (en) | 2013-03-14 | 2016-01-12 | Otoy, Inc. | Tactile elements for a wearable eye piece |
US9773332B2 (en) | 2013-03-14 | 2017-09-26 | Otoy, Inc. | Visual cortex thought detector interface |
WO2017179486A1 (ja) * | 2016-04-14 | 2017-10-19 | 国立研究開発法人産業技術総合研究所 | 意思解読装置及び意思伝達支援装置 |
US10383540B2 (en) | 2014-01-23 | 2019-08-20 | National Institute Of Advanced Industrial Science And Technology | Cognitive function evaluation apparatus, method, system and program |
US10470690B2 (en) | 2014-11-21 | 2019-11-12 | National Institute Of Advanced Industrial Science And Technology | Authentication device using brainwaves, authentication method, authentication system, and program |
US10786173B2 (en) | 2014-11-17 | 2020-09-29 | National Institute Of Advanced Industrial Science And Technology | Similarity evaluation method using brain waves, evaluation device, evaluation system, and program |
WO2021162663A1 (en) * | 2020-02-12 | 2021-08-19 | Çi̇ğli̇ Fen Li̇sesi̇ | Disabled communication system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0720774A (ja) * | 1993-06-30 | 1995-01-24 | Canon Inc | 意志伝達支援装置 |
JP2004180817A (ja) * | 2002-12-02 | 2004-07-02 | National Institute Of Advanced Industrial & Technology | 生体信号を利用した作業支援マニピュレータシステム |
JP2009199535A (ja) * | 2008-02-25 | 2009-09-03 | Panasonic Corp | 脳波識別方法の調整装置および方法 |
JP4465414B2 (ja) * | 2008-07-11 | 2010-05-19 | パナソニック株式会社 | 脳波を用いた機器の制御方法および脳波インタフェースシステム |
JP2012053656A (ja) * | 2010-09-01 | 2012-03-15 | National Institute Of Advanced Industrial & Technology | 意思伝達支援装置及び方法 |
-
2010
- 2010-09-28 JP JP2010216749A patent/JP5472746B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0720774A (ja) * | 1993-06-30 | 1995-01-24 | Canon Inc | 意志伝達支援装置 |
JP2004180817A (ja) * | 2002-12-02 | 2004-07-02 | National Institute Of Advanced Industrial & Technology | 生体信号を利用した作業支援マニピュレータシステム |
JP2009199535A (ja) * | 2008-02-25 | 2009-09-03 | Panasonic Corp | 脳波識別方法の調整装置および方法 |
JP4465414B2 (ja) * | 2008-07-11 | 2010-05-19 | パナソニック株式会社 | 脳波を用いた機器の制御方法および脳波インタフェースシステム |
JP2012053656A (ja) * | 2010-09-01 | 2012-03-15 | National Institute Of Advanced Industrial & Technology | 意思伝達支援装置及び方法 |
Non-Patent Citations (2)
Title |
---|
"第2部<脳波計測の応用> 計測装置のダウンサイジングでヘルスケアやマーケティングに", 日経エレクトロニクス, vol. 第1029号, JPN6013054717, 3 May 2010 (2010-05-03), pages 34 - 37, ISSN: 0002671481 * |
長谷川 良平: "サル上丘ニューロンの活動に基づく意思決定過程の予測", ブレイン・マシン・インタフェース −脳と機械をつなぐ−, vol. 第1版, JPN6013054718, 25 September 2007 (2007-09-25), pages 32 - 51, ISSN: 0002671482 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014041851A1 (ja) * | 2012-09-13 | 2014-03-20 | Necカシオモバイルコミュニケーションズ株式会社 | 情報処理装置 |
WO2014152630A1 (en) * | 2013-03-14 | 2014-09-25 | Julian Michael Urbach | Eye piece for augmented and virtual reality |
US9235968B2 (en) | 2013-03-14 | 2016-01-12 | Otoy, Inc. | Tactile elements for a wearable eye piece |
US9773332B2 (en) | 2013-03-14 | 2017-09-26 | Otoy, Inc. | Visual cortex thought detector interface |
US10383540B2 (en) | 2014-01-23 | 2019-08-20 | National Institute Of Advanced Industrial Science And Technology | Cognitive function evaluation apparatus, method, system and program |
CN104065388A (zh) * | 2014-07-09 | 2014-09-24 | 李永飞 | 人脑电台 |
US10786173B2 (en) | 2014-11-17 | 2020-09-29 | National Institute Of Advanced Industrial Science And Technology | Similarity evaluation method using brain waves, evaluation device, evaluation system, and program |
US10470690B2 (en) | 2014-11-21 | 2019-11-12 | National Institute Of Advanced Industrial Science And Technology | Authentication device using brainwaves, authentication method, authentication system, and program |
WO2017179486A1 (ja) * | 2016-04-14 | 2017-10-19 | 国立研究開発法人産業技術総合研究所 | 意思解読装置及び意思伝達支援装置 |
JPWO2017179486A1 (ja) * | 2016-04-14 | 2019-03-07 | 国立研究開発法人産業技術総合研究所 | 意思解読装置及び意思伝達支援装置 |
WO2021162663A1 (en) * | 2020-02-12 | 2021-08-19 | Çi̇ğli̇ Fen Li̇sesi̇ | Disabled communication system |
Also Published As
Publication number | Publication date |
---|---|
JP5472746B2 (ja) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5472746B2 (ja) | 意思伝達支援装置及び方法 | |
JP5544620B2 (ja) | 意思伝達支援装置及び方法 | |
US20220313162A1 (en) | Efficient wellness measurement in ear-wearable devices | |
Martišius et al. | A prototype SSVEP based real time BCI gaming system | |
Grabowski et al. | Emotional expression in psychiatric conditions: New technology for clinicians | |
Gürkök et al. | Brain–computer interfaces for multimodal interaction: a survey and principles | |
Oberman et al. | Face to face: Blocking facial mimicry can selectively impair recognition of emotional expressions | |
Nam et al. | Evaluation of P300-based brain-computer interface in real-world contexts | |
KR102388596B1 (ko) | 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법 | |
US20210118323A1 (en) | Method and apparatus for interactive monitoring of emotion during teletherapy | |
US20140114207A1 (en) | Cognitive Management Method and System | |
Nijholt et al. | Brain-computer interaction: can multimodality help? | |
Zhao et al. | Human-computer interaction for augmentative communication using a visual feedback system | |
Huggins et al. | Workshops of the seventh international brain-computer interface meeting: not getting lost in translation | |
Tivatansakul et al. | Healthcare system design focusing on emotional aspects using augmented reality—Relaxed service design | |
Wong | Emotion assessment in evaluation of affective interfaces | |
Nguyen et al. | LIBS: a bioelectrical sensing system from human ears for staging whole-night sleep study | |
Shahraki et al. | The Impact of Brain–Computer Interface on Lifestyle of Elderly People | |
WO2017179486A1 (ja) | 意思解読装置及び意思伝達支援装置 | |
Nissinen et al. | The Possibilities of Smart Clothing in Adult Speech Therapy: Speech Therapists' Visions for the Future | |
Keary et al. | How affective computing could complement and advance the quantified self | |
Sansana | BCI-based spatial navigation control: a comparison study | |
Bansal et al. | EEG Based BCI—Control Applications | |
Bongenaar | Towards a taxonomy of quantitative emotion measurement using wearables for inclusive user experience research | |
Rekrut | Leveraging EEG-based speech imagery brain-computer interfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5472746 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |