JP2006285224A - 発声機能支援装置 - Google Patents

発声機能支援装置 Download PDF

Info

Publication number
JP2006285224A
JP2006285224A JP2006062953A JP2006062953A JP2006285224A JP 2006285224 A JP2006285224 A JP 2006285224A JP 2006062953 A JP2006062953 A JP 2006062953A JP 2006062953 A JP2006062953 A JP 2006062953A JP 2006285224 A JP2006285224 A JP 2006285224A
Authority
JP
Japan
Prior art keywords
brain
sound
speech
brain activity
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006062953A
Other languages
English (en)
Inventor
Koreyasu Kamiya
之康 神谷
Rieishi Osu
理英子 大須
Yohei Otaka
洋平 大▲高▼
Mitsuo Kawahito
光男 川人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2006062953A priority Critical patent/JP2006285224A/ja
Publication of JP2006285224A publication Critical patent/JP2006285224A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】発声障害者が出したい音、喋りたい言葉を発することができて、発声障害者の発声機能の具現化を支援できる発声機能支援装置を提供する。
【解決手段】発声障害者Aは、頭部にブレインハット1を被っている。ブレインハット1は、脳活動に伴って発生する電場を計測する第1センサ2と、脳血流の状態を検出する第2センサ3とを有する。脳活動解析装置11は、第1センサ2で得られた脳内電場を示す信号と、第2センサ3で得られた脳血流の状態を示す信号とに基づいて、発声障害者Aの脳活動を解析し、その解析結果(発声障害者Aが発したいと考えた音)を音声装置12へ出力する。音声装置12は、入力した解析結果に応じた音を発する。
【選択図】図2

Description

本発明は、例えば発声機能に障害がある患者の発声機能の具現を支援する発声機能支援装置に関する。
近年、脳活動の研究が進んでおり、脳から発生する微弱電場(脳波)及び微弱磁場(脳磁波)の計測精度は高くなっている。また、脳内の電流源の位置を高精度に推定するためのアルゴリスムも提案されている(例えば、特許文献1参照)。
例えば、喉頭癌または咽頭癌の手術によって声帯が除去された患者、事故によって声帯に障害を受けた患者、または、人工呼吸が行われている患者などのように発声機能が損なわれた患者(以下、発声障害者ともいう)にとって、音を発せられなくなったこと、つまり言葉を喋れなくなったことは、精神的に苦痛である。病気になるまでは全く意識せずにで発声を行えていたこともあって、喋れなくなったときの不安感,焦燥感は増長されることになる。
国際公開第03/057035号パンフレット
喉頭部または咽頭部の重篤な癌患者にとって、手術によって声帯が全摘出されることは避けられない場合が多い。声帯が摘出された患者は、声を失うことになる。このような発声障害者は、脳活動は正常であるので、喋りたい内容は普通に考えられるが、それを声として出せないため、精神的な苦痛が大きい。術後の患者は発声機能を取り戻すための食道発声または人工喉頭による発声リハビリテーションを受けるが、このリハビリテーション訓練は肉体的苦痛を伴うことが多い。
本発明は斯かる事情に鑑みてなされたものであり、発声障害者などの被支援者の脳活動をモニタし、そのモニタ結果に応じて音を発することにより、被支援者が出したい音、喋りたい言葉を発することができて、被支援者の発声機能の具現化を行える発声機能支援装置を提供することを目的とする。
本発明の発声機能支援装置は、被支援者の発声機能の具現を支援する装置において、前記被支援者の脳活動を表す情報を非侵襲的に取得する取得手段と、該取得手段が取得した情報に基づいて音を発する発音手段とを備えることを特徴とする。
本発明にあっては、発声障害者などの被支援者の脳活動を表す情報を非侵襲的に取得し、取得した情報に基づいた音を発する。よって、被支援者が正常に活動している脳で考えた、自身が出したい音、喋りたい言葉が出される。
本発明の発声機能支援装置は、前記取得手段が、前記被支援者の脳を分割した複数の領域夫々における脳活動を表す情報を取得し、前記発音手段が、複数の領域で取得された脳活動を表す情報に基づいて、発すべき音を決定するようにしたことを特徴とする。
本発明にあっては、発声障害者などの被支援者の脳を分割した複数の領域夫々から得られる脳活動を表す情報を総合的に判断して、発すべき音を決定する。よって、被支援者が所望する音を正確に検知する。
本発明の発声機能支援装置は、前記取得手段が、前記被支援者に装着される、脳が発生する電場を計測する第1センサと、脳内の血流状態を計測する第2センサとを有することを特徴とする。
脳活動を表す一つの指標である脳が発生する電場を示す信号は、時間分解能に優れているが、空間分解能は劣るという特性を有する。一方、脳活動を表す一つの指標である脳内の血流状態を示す信号は、空間分解能に優れているが、時間分解能は劣るという特性を有する。よって、これらの信号を組み合わせることにより、それぞれの信号の長所を活かして、発声障害者などの被支援者の正確な脳活動(発したい音)を検知することが可能となる。
本発明の発声機能支援装置は、前記取得手段がfMRI装置であって、前記被支援者である発声機能障害者の脳活動を前記fMRI装置で取得し、取得した情報に基づいて、前記発声機能障害者が所望する音を前記発音手段が発するようにしたことを特徴とする。
例えば手術によって声帯が除去された発声障害者にfMRI装置内に入ってもらい、その発声障害者の脳活動を表す情報(脳血流量変化・脳酸素代謝率変化)をfMRI装置で取得し、取得した情報に基づいた音を発する。よって、発声障害者が所望する音(言葉)が出力されて、他の人との会話を行える。
本発明では、発声障害者などの被支援者の脳活動を表す情報を非侵襲的に取得し、取得した情報に基づいた音を発するようにしたので、被支援者が出したいと考えた音をそのまま出すことができ、発声障害者でも音声により意志を伝えることができる。
本発明では、発声障害者などの被支援者の脳を分割した複数の領域夫々から得られる脳活動を表す情報に基づいて発すべき音を決定するようにしたので、被支援者が所望する音を正確に出すことができる。
本発明では、脳活動の時間分解能に優れている脳が発生する電場を示す信号と、脳活動の空間分解能に優れている脳内の血流状態を示す信号とを組み合わせて、脳活動を非侵襲的に計測するようにしたので、発声障害者などの被支援者の脳活動の状態を正確に把握することができる。
本発明では、発声障害者の脳活動を表す情報をfMRI装置で取得し、取得した情報に基づいて、発声障害者が所望する音(言葉)を発するようにしたので、例えば声帯を失った人でも他の人と会話を行うことがができる。
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。なお、本発明は、以下の実施の形態に限定されるものではない。
(第1実施の形態)
図1は、本発明の発声機能支援装置で使用する、脳活動を表す情報を非侵襲的に取得する取得手段としてのブレインハットを示す図である。ブレインハット1は、人間の頭部を覆うように帽子状をなした布製の下地体4に、2種類の第1センサ2,第2センサ3を複数個(例えば、数十個〜数百個)ずつ設けた構成をなしている。これらの第1センサ2及び第2センサ3は、等ピッチ(例えば、数ミリ間隔)で配設されている。
第1センサ2は、具体的には電極を有する脳波計(EEG:Electroencephalogram)であり、外部からの刺激を受けて脳内の神経細胞が発生する電流に起因する微弱な電場(脳波)を検出する。各第1センサ2は、自身が設置された各部位での脳活動に伴う電場の経時的変化を計測して出力する。第1センサ2は、時間分解能に優れており、数ミリ秒単位での計測が可能である。
第2センサ3は、具体的には近赤外光センサ(NIRS:Near Infra Red Spectroscopy)であって、比較的短い波長を持つ赤外光を出射する発光素子とその赤外光の反射光を受ける受光素子とを一組として構成されており、発光素子からの出射光の脳内での吸収量に基づいて脳血流の状態を検出する。各第2センサ3は、自身が設置された各部位における脳血流を計測して出力する。第2センサ3は、磁場,電場のように他の領域からの影響を受けないため空間分解能に優れており、数ミリ単位での計測が可能である。
このような第1センサ2及び第2センサ3は、小型の構成であっても脳活動に関する情報を取得できるため、上述したようなブレインハット1に簡単に取り付けることができ、大型の構成を必要としない。
図2は、本発明の発声機能支援装置の構成を示す図である。発声障害者Aは、図1に示したブレインハット1を頭部に被っている。ブレインハット1には、ブレインハット1の第1センサ2及び第2センサ3で検出された信号を入力する脳活動解析装置11が接続されている。脳活動解析装置11には、脳活動解析装置11での解析結果に基づいた音を発する発音手段としての発音装置12が接続されている。発音装置12は、音に応じた音声波形を生成して出力する。
脳活動解析装置11は、第1センサ2で得られた脳内電場を示す信号と、第2センサ3で得られた脳血流の状態を示す信号とに基づいて、発声障害者Aの脳活動を解析し、その解析結果を発音装置12へ出力する。解析結果は、具体的には、発声障害者Aが出したいと考えた「あ」,「さ」,「き」,「こ」などの音である。発音装置12は、この解析結果に基づく音を発声する。
このような構成により、発声障害者Aが、なんらかの音を出したいと考えたとする。このときに、発したい音に応じた発声障害者Aの脳の言語中枢における特定の部位で所定の脳活動が引き起こされるため、第1センサ2及び第2センサ3でその音に応じた特定の信号が検出される。よって、これらのセンサ2,3の検出信号を解析することにより、脳活動解析装置11は、発声障害者Aが発したい音を決定できる。
本発明では、発声障害者Aが発したいと考えた音がそのまま音声として周囲に出力されるので、周囲の人と会話をすることができ、音声機能に障害があっても自分の意志を音声で伝達することができる。
なお、大脳皮質に電極を埋め込むような方法ではなく、ブレインハット1を被せて非侵襲的に脳内活動の情報を取得しているので、発声障害者Aは苦痛を全く感じない。また、ブレインハット1を被るだけで良いので、発声障害者Aへ過度の肉体的負担及び精神的負担を与えることがない。
(第2実施の形態)
次に、核磁気共鳴を利用した非侵襲脳機能計測技術であるfMRI(functional Magnetic Resonance Imaging)を用いた実施の形態について説明する。
電気的信号を捉えるEEGまたは磁気的信号を捉えるMEG(Magnetoencephalography) は、空間分解能が悪いために、活動領域の同定が難しく、また、筋電位を含む生体電気信号の影響を受け易い。これに対して、fMRIはNIRSと同様に、脳血流の変化を捉えるものであり、活動領域の同定は難しくなく、生体電気信号の影響も少ない。特にfMRIは、空間分解能が高く、脳活動部位を容易かつ正確に特定できるため、fMRIで得られる脳活動データから様々な情報を抽出することが可能であることが知られている。
図3は、本発明の発声機能支援装置の構成を示す図である。発声障害者Bは、fMRI装置21内に入っている。発声障害者Bは、喉頭癌または咽頭癌の手術によって声帯が除去された術後患者であり、声帯の除去によって発声機能が消失している。但し、少なくとも言語中枢を含む脳活動は正常であり、どのような音(言葉)を発したいかという意志は健常者と変わらない。
fMRI装置21には、fMRI装置21で得られる信号(BOLD(Bold Oyygen Level Dependent)信号など)を入力する脳活動解析装置22が接続されている。脳活動解析装置22には、脳活動解析装置22での解析結果に基づいた音を発する発音手段としての発音装置23が接続されている。発音装置23は、音に応じた音声波形を生成して出力する。
脳活動解析装置22は、fMRI装置21で得られる脳血流量・脳酸素代謝率の変化を示す信号に基づいて、発声障害者Bの脳活動を解析し、その解析結果を発音装置23へ出力する。解析結果は、具体的には、発声障害者Bが出したいと考えた「あ」,「さ」,「き」,「こ」などの音である。発音装置23は、この解析結果に基づく音を発声する。
このような構成により、発声障害者Bが、なんらかの音を出したいと考えたとする。このときに、発したい音に応じた発声障害者Bの脳の言語中枢における特定の部位で所定の脳活動が引き起こされるため、fMRI装置21でその音に応じた特定の信号が検出される。よって、このfMRI装置21の検出信号を解析することにより、脳活動解析装置22は、発声障害者Bが発したい音を決定できる。
したがって、発声障害者Bが発したいと考えた音がそのまま音声として周囲に出力されるので、音声機能に障害があっても自分の意志を音声で伝達することができ,周囲の人と会話をすることができる。
なお、上述した例では、発声機能が損なわれた発声障害者が本発明を利用する場合について説明したが、発声機能に障害がない健常者にも本発明の発声機能支援装置は適用可能である。例えば、会議の場において、自分の考えを周りの人に聞かれることなく特定の人に伝えることができる。また、自分が声を出して相手に自分の気持ちを伝えることが躊躇される場合でも、本発明の発声機能支援装置を利用すれば、気持ちを伝達できる。また、例えば歯科治療時のように、言葉を発せられない状況にある患者が担当医に、痛みの程度などを伝える場合ににも、本発明を利用できる。
以下、本発明の発声機能支援装置の実施に関連付けて本発明者が行った実験について説明する。図4は、この実験結果を示す図である。
「ぴ(pi)」,「ぽ(po)」,「ぎ(gi)」,「ご(go)」の4種の音について、被験者が実際に何れかの音を発し、その音を発したときの被験者の脳活動を表す情報を非侵襲的に取得し、取得した脳活動を表す情報を解析した。なお、脳活動を表す情報を取得する脳の領域としては、左運動野,右運動野,小脳上部,小脳下部の4つの部位とした。
図4(a)は、被験者が「ぴ(pi)」を発した場合の各部位における解析結果を表している。同様に、図4(b),(c),(d)は、被験者がそれぞれ「ぽ(po)」,「ぎ(gi)」,「ご(go)」を発した場合の各部位における解析結果を表している。すべての音、すべての部位において、正しい音を最も高い確率で解析できていることが分かる。
特に、例えば、「ぴ(pi)」を発した場合、左運動野において取得した脳活動を表す情報に基づけば、100%の確率で「ぴ(pi)」であることを解析できている。また、「ご(go)」を発した場合、小脳上部において取得した脳活動を表す情報に基づけば、100%に近い確率で「ご(go)」であることを解析できている。全体として、80%以上の確率で正しい解析結果が得られている。
ところで、本発明者の研究により、子音は運動野の脳活動と相関性が高く、母音は小脳の脳活動と相関性が高いことが分かった。よって、運動野の脳活動を表す情報に基づいて子音を解析し、小脳の脳活動を表す情報に基づいて母音を解析するようにすれば、正しい解析結果が得られる確率は上昇する。また、同じ音を出そうとした場合でも、その脳活動には個人差がある。よって、被験者が各音を出したときの脳活動を表す情報を事前に取得して記憶しておき、その記憶しておいた情報を参照して解析処理を行えば、正しい解析結果が得られる確率が上昇することは明白である。
このように、子音と母音とで解析対象の部位を変更したり、事前に記憶しておいた被験者の情報を参照することにより、上述の実験において正しい解析結果が得られる確率は、全ての音について、98%以上にまで向上した。以上のような実験結果から、本発明の発声機能支援装置が容易に実現可能であることが証明されたといえる。
本発明で使用するブレインハットを示す図である。 本発明の発声機能支援装置の構成を示す図である。 本発明の発声機能支援装置の構成を示す図である。 本発明の発声機能支援装置の実施に関連付けて本発明者が行った実験の結果を示す図である。
符号の説明
1 ブレインハット(取得手段)
2 第1センサ
3 第2センサ
11,22 脳活動解析装置
12,23 発音装置(発音手段)
21 fMRI装置(取得手段)
A,B 発声障害者

Claims (4)

  1. 被支援者の発声機能の具現を支援する装置において、前記被支援者の脳活動を表す情報を非侵襲的に取得する取得手段と、該取得手段が取得した情報に基づいて音を発する発音手段とを備えることを特徴とする発声機能支援装置。
  2. 前記取得手段は、前記被支援者の脳を分割した複数の領域夫々における脳活動を表す情報を取得し、前記発音手段は、複数の領域で取得された脳活動を表す情報に基づいて、発すべき音を決定するようにしたことを特徴とする請求項1記載の発声機能支援装置。
  3. 前記取得手段は、前記被支援者に装着される、脳が発生する電場を計測する第1センサと、脳内の血流状態を計測する第2センサとを有することを特徴とする請求項1または2に記載の発声機能支援装置。
  4. 前記取得手段はfMRI装置であって、前記被支援者である発声機能障害者の脳活動を前記fMRI装置で取得し、取得した情報に基づいて、前記発声機能障害者が所望する音を前記発音手段が発するようにしたことを特徴とする請求項1または2に記載の発声機能支援装置。
JP2006062953A 2005-03-09 2006-03-08 発声機能支援装置 Pending JP2006285224A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006062953A JP2006285224A (ja) 2005-03-09 2006-03-08 発声機能支援装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005066196 2005-03-09
JP2006062953A JP2006285224A (ja) 2005-03-09 2006-03-08 発声機能支援装置

Publications (1)

Publication Number Publication Date
JP2006285224A true JP2006285224A (ja) 2006-10-19

Family

ID=37407166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006062953A Pending JP2006285224A (ja) 2005-03-09 2006-03-08 発声機能支援装置

Country Status (1)

Country Link
JP (1) JP2006285224A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913753B1 (ko) * 2007-02-12 2009-08-24 한국과학기술원 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법
CN108831260A (zh) * 2018-06-13 2018-11-16 朱汉权 一种聋哑人交流帽
CN111681636A (zh) * 2020-06-16 2020-09-18 深圳市华创技术有限公司 基于脑机接口技术语音生成方法及医疗系统和终端
CN113763783A (zh) * 2021-09-09 2021-12-07 成都视海芯图微电子有限公司 一种基于脑机接口的聋哑人辅助系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07308301A (ja) * 1994-05-18 1995-11-28 Toshiba Corp 生体信号解析装置
JP2515875B2 (ja) * 1989-03-07 1996-07-10 日本電信電話株式会社 脳波トポグラフィによる音節認識装置
JP2004016658A (ja) * 2002-06-19 2004-01-22 Ntt Docomo Inc 生体信号測定可能な携帯型端末および測定方法
WO2004083972A1 (de) * 2003-03-20 2004-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum auslösen insassenunterstützter massnahmen in einem fahrzeug
JP2004329750A (ja) * 2003-05-12 2004-11-25 National Institute Of Advanced Industrial & Technology 生体信号を利用した人工発声装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2515875B2 (ja) * 1989-03-07 1996-07-10 日本電信電話株式会社 脳波トポグラフィによる音節認識装置
JPH07308301A (ja) * 1994-05-18 1995-11-28 Toshiba Corp 生体信号解析装置
JP2004016658A (ja) * 2002-06-19 2004-01-22 Ntt Docomo Inc 生体信号測定可能な携帯型端末および測定方法
WO2004083972A1 (de) * 2003-03-20 2004-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum auslösen insassenunterstützter massnahmen in einem fahrzeug
JP2004329750A (ja) * 2003-05-12 2004-11-25 National Institute Of Advanced Industrial & Technology 生体信号を利用した人工発声装置及び方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913753B1 (ko) * 2007-02-12 2009-08-24 한국과학기술원 뇌파를 이용한 단어 인식 시스템 및 단어 인식 방법
CN108831260A (zh) * 2018-06-13 2018-11-16 朱汉权 一种聋哑人交流帽
CN111681636A (zh) * 2020-06-16 2020-09-18 深圳市华创技术有限公司 基于脑机接口技术语音生成方法及医疗系统和终端
CN111681636B (zh) * 2020-06-16 2022-02-18 深圳市华创技术有限公司 基于脑机接口技术语音生成方法及医疗系统和终端
CN113763783A (zh) * 2021-09-09 2021-12-07 成都视海芯图微电子有限公司 一种基于脑机接口的聋哑人辅助系统及方法

Similar Documents

Publication Publication Date Title
Coffey et al. Cortical contributions to the auditory frequency-following response revealed by MEG
Bonetti et al. Auditory sensory memory and working memory skills: association between frontal MMN and performance scores
Shtyrov et al. Determinants of dominance: is language laterality explained by physical or linguistic features of speech?
Kujala et al. Basic auditory dysfunction in dyslexia as demonstrated by brain activity measurements
Falk et al. Taking NIRS-BCIs outside the lab: towards achieving robustness against environment noise
Helenius et al. Abnormal auditory cortical activation in dyslexia 100 msec after speech onset
Young et al. Evidence for a caregiving instinct: rapid differentiation of infant from adult vocalizations using magnetoencephalography
Bonetti et al. Risk of depression enhances auditory Pitch discrimination in the brain as indexed by the mismatch negativity
EP3542706A1 (en) Device for measuring sleep apnea and method therefor
McKenna et al. The relationship between relative fundamental frequency and a kinematic estimate of laryngeal stiffness in healthy adults
Fournier et al. Lateralization of tonal and intonational pitch processing: An MEG study
Kovelman et al. At the rhythm of language: brain bases of language-related frequency perception in children
Draganova et al. Fetal auditory evoked responses to onset of amplitude modulated sounds. A fetal magnetoencephalography (fMEG) study
Näätänen et al. Auditory information processing as indexed by the mismatch negativity
JP2009178456A (ja) 自律神経活動計測装置及び計測方法
Chen et al. Anterior insular cortex activity to emotional salience of voices in a passive oddball paradigm
Frye et al. Linear coding of voice onset time
Krishnan et al. Cortical pitch response components index stimulus onset/offset and dynamic features of pitch contours
JP2006285224A (ja) 発声機能支援装置
Zhang et al. Correlation between the frequency difference limen and an index based on principal component analysis of the frequency-following response of normal hearing listeners
Jalaudin et al. Electroencephalography (EEG) analysis on human reflection towards relaxation of mind
KR101349748B1 (ko) 두부경락활성 측정장치
Yoshimura et al. Longitudinal changes in the mismatch field evoked by an empathic voice reflect changes in the empathy quotient in autism spectrum disorder
Ford et al. Mismatch field latency, but not power, may mark a shared autistic and schizotypal trait phenotype
Studer-Eichenberger et al. Statistical learning, syllable processing, and speech production in healthy hearing and hearing-impaired preschool children: A mismatch negativity study

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110906