JP2004135068A - 補聴器、訓練装置、ゲーム装置、および音出力装置 - Google Patents

補聴器、訓練装置、ゲーム装置、および音出力装置 Download PDF

Info

Publication number
JP2004135068A
JP2004135068A JP2002297635A JP2002297635A JP2004135068A JP 2004135068 A JP2004135068 A JP 2004135068A JP 2002297635 A JP2002297635 A JP 2002297635A JP 2002297635 A JP2002297635 A JP 2002297635A JP 2004135068 A JP2004135068 A JP 2004135068A
Authority
JP
Japan
Prior art keywords
signal
band
noise
frequency
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002297635A
Other languages
English (en)
Other versions
JP3973530B2 (ja
Inventor
Yutaka Rikimaru
力丸 裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rion Co Ltd
Original Assignee
Rion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rion Co Ltd filed Critical Rion Co Ltd
Priority to JP2002297635A priority Critical patent/JP3973530B2/ja
Priority to CN2003801008424A priority patent/CN1703933B/zh
Priority to DE10362224A priority patent/DE10362224B4/de
Priority to US10/530,342 priority patent/US7502483B2/en
Priority to DE10393463T priority patent/DE10393463B4/de
Priority to PCT/JP2003/012801 priority patent/WO2004034739A1/ja
Publication of JP2004135068A publication Critical patent/JP2004135068A/ja
Application granted granted Critical
Publication of JP3973530B2 publication Critical patent/JP3973530B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03Synergistic effects of band splitting and sub-band processing

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

【課題】従来の補聴器では、脳に障害を有する人や、一部の聴力障害者には、十分な了解度が得られない場合が多い。
【解決手段】上記の課題を解決するために、本発明の補聴器は、入力音声信号の少なくとも一部を単一又は複数の帯域信号に分けて雑音化した劣化雑音音声信号とし、利用者が聴取するようにした補聴器は、脳の活性化を促し、脳障害者の治療や訓練に効果が期待される。また、かかる補聴器は、脳の健全な部分を最大限に利用して劣化雑音音声信号を認識させ、他の健全な脳の部分で劣化雑音音声信号を補わせて、入力された音声の意味を難聴者に理解させるようにしたものである。
【選択図】図1

Description

【0001】
【発明の属する技術分野】
本発明は、音声信号の少なくとも一部の帯域信号を雑音化した劣化雑音音声を使用した補聴器、聴力訓練装置、ゲーム装置等に関する。特に、脳障害者、脳障害回復訓練指導者向けに適した装置等に関する。
【0002】
【従来の技術】
従来、補聴器として、聴力障害者の残った聴力特性にあわせて、音声入力に対して周波数特性補償やダイナミックレンジの制限を施して、了解度を改善しようとするものがある。脳に障害を有する人に対しては、このような補聴器では、十分な了解度が得られない場合がある。
【0003】
一方、音声信号の認識研究において、音声信号をそのまま聞かずとも、音声信号の成分を所定の方法で雑音化しても、言葉をかなり認識できることが分かってきている。かかる技術は、例えば、非特許文献1や非特許文献2や非特許文献3に記載されている。
【0004】
かかる文献によれば、音声信号を4つの周波数帯域(0〜600、600〜1500、1500〜2500、2500〜4000Hz)に分けて、それぞれの音声信号を半波整流し、16Hzのローパスフィルタにかけて、各周波数帯の振幅包絡をもとめ、各周波数帯域に対応したバンドノイズを掛け合わせた信号を足し合せた信号を作成する。このような信号を劣化雑音音声という。劣化雑音音声を正常な聴力を有する被験者に聞かせたところ約80%の了解度が得られたことが報告されている。
【0005】
【非特許文献1】
Shannon, R.V.,et.al,「Speech Recognition with Primarily Temporal Cues|,SIENCE、1995年、270号、p.303−305
【非特許文献2】
小畑宣久、力丸裕「経時的振幅変化に着目した周波数成分劣化音声知覚の検討|,日本音響学会聴覚研究会資料、1999年、H−99−6、
【非特許文献3】
小畑宣久、力丸裕「帯域雑音により合成された日本語音声の了解度−聴覚中枢新家の機能を利用したスピーチプロセッサを目指して−|,日本音響学会聴覚研究会資料、2000年、H−2000−3
【0006】
【発明が解決しようとする課題】
しかしながら、従来の補聴器では、脳に障害を有する人や、一部の聴力障害者には、十分な了解度が得られない場合が多い。このような人に対しても効果があり、さらには、脳の活動を活性化することのできる補聴器を提供する必要がある。また、脳に障害を有する人や、一部の聴力障害者の聴力を訓練する聴力訓練装置を提供する必要がある。さらに、健全な聴力を有する人が、脳に障害を有する人が発生する言語を認識する訓練をする必要がある。
【0007】
【課題を解決するための手段】
上記の課題を解決するために、本発明の補聴器、訓練装置、ゲーム装置は、以下のような手段を採用する。
【0008】
(1)入力音声信号の少なくとも一部を単一又は複数の帯域信号に分けて雑音化した劣化雑音音声信号とし、利用者が聴取するようにした補聴器は、脳の活性化を促し、脳障害者の治療や訓練に効果が期待される。また、かかる補聴器は、脳の健全な部分を最大限に利用して劣化雑音音声信号を認識させ、他の健全な脳の部分で劣化雑音音声信号を補わせて、入力された音声の意味を難聴者に理解させるようにしたものである。
【0009】
(2)音声信号の少なくとも一部を単一又は複数の帯域信号に分けて雑音化した劣化雑音音声信号を訓練生に提示し、訓練生は認識した内容を回答し、訓練生は正誤を学習するようにした訓練装置は、脳の活動の活性化を促す効果がある。訓練生の言語理解の訓練や、指導者の立場では、指導能力向上のための訓練に役立つ。また、上記(1)と同様に、かかる補聴器は、脳の健全な部分を最大限に利用して劣化雑音音声信号を認識させ、他の健全な脳の部分で劣化雑音音声信号を補わせて、入力された音声の意味を難聴者に理解させるようにしたものである。
【0010】
(3)音声信号の少なくとも一部を単一又は複数の帯域信号に分けて雑音化した劣化雑音音声信号を遊戯者に提示し、遊戯者は認識した内容を回答し、正誤率や正誤数を競うようにしたゲーム装置は、脳の活動の活性化を促す効果がある。訓練生の言語理解の訓練や、指導者の立場では、指導能力向上のための訓練に役立つ。また、訓練とは別に、劣化雑音音声から言葉や文章を当てるゲームとして、健常者用のゲーム装置にもなる。
【0011】
(4)音源信号から、複数の帯域濾波器を有する第1の帯域濾波部により、所定の帯域の信号を抽出し、包絡線抽出器を有する包絡線抽出部により各帯域信号の包絡線を抽出し、雑音源信号を複数の帯域濾波器を有する第2の帯域濾波部に加えて、上記所定の帯域に対応する雑音信号を抽出し、第1の帯域濾波部と第2の帯域濾波部の出力を乗算部において乗算し、乗算部の出力を加算部において累算して、音源信号の成分を雑音化した劣化雑音音声信号を作成するようにしている。帯域濾波器の数や帯域の周波数境界を選択したり、変更したりできるようにしておけば、種々の目的に使用することが可能な音出力装置になる。また、自動言語認識によって、その言語に適した帯域濾波器の数や帯域の周波数境界を選択したり、変更したりすれば、複数の国籍の人々に使用可能となり、外国語の訓練にも使用できる。
【0012】
(5)上記、補聴器、訓練装置、ゲーム装置は、コンピュータプログラムなどの手順として実行可能であるので、コンピュータに機能させるためのプログラムを記録したプログラム記録媒体やコンピュータに機能させるためのプログラムとしてよい。
【0013】
【発明の実施の形態】
以下、補聴器等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0014】
(実施の形態1)
図1は、本発明の補聴器のブロック図である。図1において、マイクロフォンからの入力音声信号が、入力端子7を経て帯域濾波部1に印加される。帯域濾波部1は、所定の帯域の信号を抽出する複数の帯域濾波器1a、1b、1c、1dを有する。各帯域濾波器1a、1b、1c、1dの出力信号は、包絡線抽出部2の包絡線抽出器2a、2b、2c、2dにそれぞれ印加され各帯域信号の包絡線を抽出する。雑音源5の出力する雑音信号は、複数の帯域濾波器4a、4b、4c、4dを有する帯域濾波部4に印加され、帯域濾波部1と同様の周波数帯域を有する雑音信号に分波される。包絡線抽出器2a、2b、2c、2dと帯域濾波器4a、4b、4c、4dの出力は、乗算器3a、3b、3c、3dを有する乗算部3において、対応する帯域毎に乗算され乗算結果は、加算部6において累算され、出力端子8において出力信号となる。
【0015】
このようにして作成した劣化雑音音声を、イヤフォンにより聞かせると、一部の難聴者(例えば、脳障害などを有する難聴者)では、従来の補聴器よりも了解度が改善される場合があるので、補聴器として使用できる。具体的には、脳障害者に、健全な脳の箇所を利用して劣化雑音音声を認識させ、当該認識できる音声情報の一部を脳(上記の健全な脳の箇所とは一般的に異なる)で補わせて入力音声を理解させることができる。つまり、上述の補聴器によれば、健全な脳の部分の最大限に有効に利用させて、聴力を蘇らせてやることができる。
【0016】
さらに、このような劣化雑音音声は、また、脳障害者の脳の活動を活性化することが期待され、聴力補償の機能だけでなく、障害のある脳の回復訓練や治療の効果も期待できる。また、脳に障害が無く、外耳、中耳の伝音系や、内耳の感音系から中枢にいたる途中に障害がある難聴者の場合は、劣化雑音音声により、脳が途中の障害を補う働きを強めさせることができ、了解度を改善させることができる。
【0017】
次に、補聴器の変形について説明する。たとえば、難聴者において、ある周波数帯域の感度が落ちている場合などでは、その周波数に対する感度低下の特性を補償するような周波数特性を、各帯域濾波器の周波数特性に持たせるようにすればよい。また、聞き取れる音量領域に制限が現れていて、小音量では聞き取れず、大音量では歪んで認識できないような場合は、乗算部3の各乗算器3a、3b、3c、3dに、ダイナミックレンジを適正に補正する非線型乗算特性を持たせるようにすればよい。
【0018】
図1では、4つの周波数帯域の音声信号のすべてを帯域雑音信号に置き換えたが、一部の周波数帯域の音声信号は乗算部3に加えずに、直接加算器6に加えるようにして、音声信号成分を残してもよい。音声信号成分を残す周波数帯域に対しても、聴力障害の周波数特性やダイナミックレンジの劣化に対応した、それぞれの補正を行なってもよい。
【0019】
以上、本実施の形態によれば、入力音声信号の少なくとも一部を単一又は複数の帯域信号に分けて雑音化した劣化雑音音声信号とし、利用者が聴取するようにした補聴器を提供し、当該補聴器により脳の活性化を促し、脳障害者の治療や訓練に効果が期待される。
【0020】
(実施の形態2)
図2は、本発明の劣化雑音音声を用いた訓練装置のブロック図である。図2において、帯域濾波部1、包絡線抽出部2、乗算部3、帯域濾波部4、雑音源5、加算部6は図1と同様の構成である。音源信号部10には、種々の言葉や文章の音声信号が記憶されている。音源選択制御部11は、音源信号部10に制御信号を加えて所定の言葉や文章の音声信号を選択、指定する。音源信号部10は、指定された言葉や文章の音声信号を帯域濾波部1に出力する。出力端子8からは、その言葉や文章の劣化雑音音声信号が得られる。これを、訓練生に聞かせる。指導者は、音源選択制御部11を訓練プログラムにしたがって操作して、順次、言葉や文章を聞かせ、訓練生は劣化雑音音声を聴いて、認識した言葉や文章を指導者に口頭で回答し、指導者は、正誤を判定してその結果を訓練生に知らせ、次のステップに進む。訓練生は、正誤を知ることにより学習をする。指導者は正誤の状況に応じて、次に与える言葉や文章を選択する。
【0021】
帯域濾波部1、4の各帯域濾波器の周波数帯域は、0〜600Hz、600〜1500Hz、1500〜2500Hz、2500〜4000Hzを標準的なものとする。帯域選択部12は、帯域濾波部1、4の上記各周波数帯域を切り替えることができる。たとえば、周波数帯域の数を1、2、3、4の内から選択できる。これは、母音、子音、破裂音など、言葉によっては、4つの周波数帯域を必要としない場合があるからである。たとえば、帯域濾波器1c、1d、4c、4dの出力を0とすることにより、周波数帯域の数を2とすることができる。また、全部、あるいは任意の一部の帯域濾波器について、その周波数帯域の間の境界周波数を600Hz、1500Hz、2500Hz、4000Hzとは別の周波数に切換選択できる。600Hz、1500Hz、2500Hz、4000Hzは、第1フォルマントと第2フォルマントによって、音声の母音、日本語では、/a/、/i/、/u/、/e/、/o/を分離する周波数境界の標準的なものに近い値である。しかし、この周波数境界は、人によって少し異なっている場合がある。このような個人差に対応して、周波数帯域の境界を調整、変更することにより訓練効果がよくなることが期待されるので、このために切換選択できるようにしておく。また、外国語では、母音の体系が日本語の場合とは異なるものがあるので、外国語に対応するように帯域濾波器の数や境界周波数を切り替えられるようにしてもよい。
【0022】
外国語対応をする場合は、言語自動認識部を設けておき、訓練生や指導者が最初にマイクロフォンに入力した言葉や文章を自動認識して、言語自動認識部が国名データを帯域選択部12に与えて、帯域選択部12が、その国の言葉に対応した帯域濾波器数と周波数帯域境界を、帯域濾波部1と4に設定させるようにしてもよい。
【0023】
なお、上記、帯域濾波器数と周波数帯域境界の選択や切換、言語自動認識による帯域濾波器数と周波数帯域境界の選択や切換は、実施の形態1で説明した補聴器にも適用することができる。
【0024】
以上、本実施の形態によれば、上述の訓練装置により、脳の活動の活性化を促す効果がある。訓練生の言語理解の訓練や、指導者の立場では、指導能力向上のための訓練に役立つ。
【0025】
(実施の形態3)
図3は、本発明の劣化雑音音声を用いた訓練装置のブロック図である。本ブロック図を説明するに際し、図2と異なる部分について説明する。加算部6の出力する劣化雑音音声は、ヘッドフォン13により訓練生に提示する。音源選択制御部11は、音源信号選択機能のほかに、表示信号発生制御機能を有し、訓練生に対する指示や、劣化雑音音声による言葉や文章の回答を、文字で表示装置14の画面上に表示する。回答入力部15は、認識した言葉や文章を入力するキーボードである。回答入力部15からの情報信号は、音源選択制御部11に伝えられ、音源選択制御部11は、回答内容を分析し、回答結果にしたがって、次に提示する言葉や文章を選択する。
【0026】
音源選択制御部11には、訓練プログラムが組み込まれている。たとえば、10個の基本的な言葉や文章を1組として、順次、1つずつ提示し、訓練生は、その劣化雑音音声を聴き、回答入力装置15に、認識した回答をかな文字で入力する。音源選択制御部11は、正誤をカウントしておき、正答を表示装置14に表示し、同時に、劣化雑音音声を再度提示する。10個の提示と回答が終わったら正解率を表示する。最後に、10個の課題を再度提示して、確認させる。このようにすれば、訓練生は、指導者がいなくとも自習できる。音源選択制御部11は、正解率に応じて、次に適切な難易度の課題プログラムを開始する。
【0027】
劣化雑音音声を提示する際に、その音声を文字によって表示装置に表示してもよい。たとえば、正解と、それに近い一部誤った、聞き誤りし易い文章を複数個表示し、訓練生は、正しいと思うものの番号を、回答入力部15に入力するようにしてもよい。
【0028】
実施の形態2において説明した、帯域濾波部1、4内の帯域濾波器の選択や、帯域周波数境界の選択、切換や、言語自動認識部による、選択、切換を、本実施の形態において適用してもよい。
【0029】
以上、本実施の形態によれば、上述の訓練装置により、訓練生は自発的に訓練ができる。
【0030】
(実施の形態4)
上記図3の構成による学習手順は、一種のゲームでもある。上記構成を基本として、ゲーム装置を実現することができる。最初に、ゲームのタイトルや難易度選択画面を表示し、遊戯者が難易度を回答入力部15から選択し、音源選択制御部11は、選択された難易度の言葉や文章の劣化雑音音声を選択して提示する。正答率の記録や正答数などをゲーム中にも表示装置14に表示してゆく。高得点が得られたら表示部に面白い画面がご褒美として現れ、遊戯者が楽しめるようにする。一定時間内に何問答えられ、何問の正解が出るかを競うようにすることもできる。このようなゲームの場合、障害者向けでもよいし、正常者向けのゲーム装置とすることもできる。対象者によって、提示内容、提示速度、提示画面は、適切なものにすることができる。
【0031】
遊戯者が、ゲームの難易度の選択を、帯域選択部12を操作して行なってもよい。たとえば、帯域濾波器の数を1〜4個の内から選択する。4個の場合の方が、1個の場合よりも、元の言葉や文章をより正しく判別し易いので、ゲームの難易度レベルの遊戯者が選択できることになる。
【0032】
(実施の形態5)
以下、補聴方法の実施の形態について説明する。図4は、本発明の補聴器の機能を実施する方法のフローチャートの一例である。
【0033】
音声入力手順(S10)において、補聴器のマイクロフォンからの入力音声信号をAD変換し、帯域濾波手順(S12)に音声データを渡す準備を行なっている。この手順は、以降定常的に行なう。次に、帯域選択手順(S11)において、以降の帯域濾波手順(S12)と(S14)が行なう帯域濾波の帯域周波数の数や帯域周波数の境界周波数の変更や設定を必要に応じて行なう。この手順は、使用者の操作がある場合に実行する。操作が無ければ手順を飛ばす。次に、帯域濾波手順(S12)において、設定された帯域濾波の帯域周波数の数や帯域周波数の境界周波数にもとづいて、音声データを濾波する。濾波された音声データは、包絡抽出手順(S13)において、その包絡成分データが抽出される。次に、帯域濾波手順(S14)において、ホワイトノイズの雑音信号を、上記設定された帯域濾波の帯域周波数の数や帯域周波数の境界周波数にしたがって濾波し、帯域雑音信号データを生成する。包絡成分データと帯域雑音信号データは、つぎの乗算手順(S15)において乗算され、乗算結果が複数の帯域分ある場合は、加算手順(S16)において累算する。累算した音声データは、劣化雑音音声データである。これを、信号提示手順(S17)において、DA変換しアナログ音声信号としてイヤフォンより使用者に提示し、聴取してもらう。
【0034】
(S10)〜(S17)の各手順は、図4のように順次実行してもよいし、それぞれ並列的に実行してもよい。それらの手順は、デジタル信号プロセッサ(DSP)のプログラムの形式で実現できる。
【0035】
また、(S11)から(S16)の手順は、劣化雑音音声作成手順(S100)を構成する。
【0036】
帯域選択手順(S11)において、日本語、英語、ドイツ語、中国語などの言語自動認識手順を備えて、認識した言語にあった周波数帯域の数と周波数帯域の間の境界周波数を選択するようにしてもよい。言語自動認識の技術は、公知技術であるので、ここでの詳細な説明は省略する。
【0037】
(実施の形態6)
以下、訓練方法の実施の形態について説明する。図5は、本発明の訓練装置の機能を実現する手順のフローチャートの一例である。
【0038】
訓練プログラムをスタートさせると、音源選択手順(S20)において、音源信号データから、提示すべき所定の言葉や文章のデータを選択し、劣化雑音音声作成手順(S100)に与える。劣化雑音音声作成手順(S100)は、劣化雑音音声データを作成する。作成した劣化雑音音声データは、劣化雑音音声提示手順(S21)において、アナログの音声信号に変換してヘッドフォンにより、訓練生に聞かせる。回答手順(S22)において、訓練生は、聴取した劣化雑音音声を認識して理解した言葉や文章を回答入力部15に入力する。評価装置は、入力された回答データを回答評価手順(S23)において、正答かどうかを評価判定し、正解提示手順(S24)において、表示装置に、正誤の結果や正しい言葉や文章を表示する。以上で、一つの設問についての訓練が終わる。この手順を順次繰り返せば、一連の設問から成る一組の訓練プログラムメニューが実行できる。
【0039】
(実施の形態7)
以下、ゲーム方法の実施の形態について説明する。図5の訓練装置手順の正解提示手順(S24)において、正解率や正答得点などを表示すれば、ゲーム方法手順となる。
【0040】
(実施の形態8)
図1の補聴器では、マイクロフォンからの入力信号が、入力端子7を経て帯域濾波部1に印加されるようにしたが、入力信号に音声成分とともに周囲雑音成分が含まれる場合がある。このような場合には、図6のような構成にしてもよい。図6において、マイクロフォンからの入力端子7に印可された入力信号は、音声信号抽出部9を経て帯域濾波部1に印加される。音声信号抽出部9は、周囲雑音などを含む入力信号から、音声信号を抽出する機能を有する。このために、例えば、スペクトルサブトラクションのような手法で、入力信号中に含まれる音声信号以外の雑音成分を抑圧するような構成とする。
【0041】
(実施の形態9)
図2の訓練装置や図3の訓練装置、および、ゲーム装置において、音源信号部10の信号が音声成分以外の周囲雑音を含む場合は、図6において説明した音声信号抽出部9を経て帯域濾波部1に印加するようにしてもよい。また、2人の内のひとりが、マイクロフォンから言葉や文章を入力して、もうひとりが、その劣化雑音音声を聞き、元の言葉や文章を言い当てるような訓練装置やゲーム装置では、周囲の雑音が混入することがあるので、音声信号抽出部9を設けることが好ましい。
【0042】
(実施の形態10)
図7は、図3の訓練装置、または、ゲーム装置の音源信号部10に、あらかじめ音声信号を劣化雑音音声に変換した信号を記憶しておき、その出力信号をヘッドフォン13により、訓練生に聞かせるものである。したがって、図3の帯域濾波部1、4、包絡抽出部2、乗算部3、雑音源5、加算部6、帯域選択部12は、備えなくともよいことになる。図2の訓練装置においても、同様の構成をとることが出来る。
【0043】
なお、上記のすべての実施の形態では、帯域濾波部1、2の帯域濾波器の数を、典型例として4個としたが、その数は、4個に限定されるものではなく、4個以下、以上でもよく、その時々に必要に応じた帯域数で実施すればよい。
【0044】
なお、本発明の補聴方法手順、訓練方法手順、ゲーム方法手順のプログラムを記録した記録媒体は、プログラムを記録したROM、RAM、フレキシブルディスク、CD−ROM、DVD、メモリカード、ハードディスクなどの記録媒体をいう。また、電話回線、搬送路などの通信媒体も含む概念である。
【0045】
【発明の効果】
以上のように、本発明によれば、通常音声を劣化雑音音声に変換して聴取する補聴器により、障害者の脳の活性化を促し、脳機能の強化、回復、言語理解の増進が期待できる。
【0046】
また、通常音声を劣化雑音音声に変換して聴取する訓練装置により、障害者の脳の活性化を促し、脳機能の強化、回復、言語理解の訓練が行なえ、訓練者、訓練生にとって、有効な訓練が期待できる。
【0047】
さらに、通常音声を劣化雑音音声に変換して聴取するゲーム装置により、障害者の脳の活性化を促し、脳機能の強化、回復、言語理解の訓練がゲームにより楽しく行なえ、訓練者、訓練生にとって、有効な訓練が期待できる。また、健常者用のゲームとしても使用でき、多様な活用が可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態による補聴器のブロック図
【図2】本発明の一実施形態による訓練装置のブロック図
【図3】本発明の一実施形態による訓練装置やゲーム装置のブロック図
【図4】本発明の一実施形態による補聴器の動作を示すフローチャート
【図5】本発明の一実施形態による訓練装置、ゲーム装置の動作を示すフローチャート
【図6】本発明の一実施形態による補聴器のブロック図
【図7】本発明の一実施形態による訓練装置のブロック図
【符号の説明】
1、4 帯域濾波部
2 包絡抽出部
3 乗算部
5 雑音源
6 加算部
7 入力端子
8 出力端子
9 音声信号抽出部
10 音源信号部
11 音源選択制御部
12 帯域選択部

Claims (21)

  1. 入力音声信号の少なくとも一部を帯域信号に分けて雑音化した劣化雑音音声信号を構成し、出力する補聴器。
  2. 入力音声信号の少なくとも一部を複数の帯域信号に分け、それぞれを雑音化して劣化雑音音声信号を構成し、出力する補聴器。
  3. 音源信号から、複数の帯域濾波器を有する第1の帯域濾波部により、所定の帯域の信号を抽出し、包絡線抽出器を有する包絡線抽出部により各帯域信号の包絡線を抽出し、雑音源信号を複数の帯域濾波器を有する第2の帯域濾波部に加えて、上記所定の帯域に対応する雑音信号を抽出し、第1の帯域濾波部と第2の帯域濾波部の出力を乗算部において乗算し、乗算部の出力を加算部において累算して、音源信号の成分を雑音化した劣化雑音音声信号を作成するようにした請求項1または請求項2いずれか記載の補聴器。
  4. 帯域信号を分ける帯域濾波器の数、周波数帯域境界の周波数のうち少なくとも一方を少なくとも言語によって変更できるようにした請求項1から請求項3いずれか記載の補聴器。
  5. 帯域信号を分ける帯域濾波器の数、周波数帯域境界の周波数のうち少なくとも一方を言語自動認識により変更できるようにした請求項1から請求項3いずれか記載の補聴器。
  6. 音声信号の少なくとも一部を帯域信号に分けて雑音化した劣化雑音音声信号を出力し、訓練生の回答を受け付け、当該回答の正誤を出力する訓練装置。
  7. 音声信号の少なくとも一部を複数の帯域信号に分け、それぞれを雑音化した劣化雑音音声信号を出力し、訓練生の回答を受け付け、当該回答の正誤を出力する訓練装置。
  8. 音源信号から、複数の帯域濾波器を有する第1の帯域濾波部により、所定の帯域の信号を抽出し、包絡線抽出器を有する包絡線抽出部により各帯域信号の包絡線を抽出し、雑音源信号を複数の帯域濾波器を有する第2の帯域濾波部に加えて、上記所定の帯域に対応する雑音信号を抽出し、第1の帯域濾波部と第2の帯域濾波部の出力を乗算部において乗算し、乗算部の出力を加算部において累算して、音源信号の成分を雑音化した劣化雑音音声信号を作成するようにした請求項6または請求項7いずれか記載の訓練装置。
  9. 帯域信号を分ける帯域濾波器の数、周波数帯域境界の周波数のうち少なくとも一方を少なくとも言語によって変更できるようにした請求項6から請求項8いずれか記載の訓練装置。
  10. 帯域信号を分ける帯域濾波器の数、周波数帯域境界の周波数のうち少なくとも一方を言語自動認識により変更できるようにした請求項6から請求項8いずれか記載の訓練装置。
  11. 音声信号の少なくとも一部を帯域信号に分けて雑音化した劣化雑音音声信号を出力し、遊戯者の回答を受け付け、当該回答の正誤を出力するゲーム装置。
  12. 音声信号の少なくとも一部を複数の帯域信号に分け、それぞれを雑音化した劣化雑音音声信号を出力し、遊戯者の回答を受け付け、当該回答の正誤を出力するゲーム装置。
  13. 音源信号から、複数の帯域濾波器を有する第1の帯域濾波部により、所定の帯域の信号を抽出し、包絡線抽出器を有する包絡線抽出部により各帯域信号の包絡線を抽出し、雑音源信号を複数の帯域濾波器を有する第2の帯域濾波部に加えて、上記所定の帯域に対応する雑音信号を抽出し、第1の帯域濾波部と第2の帯域濾波部の出力を乗算部において乗算し、乗算部の出力を加算部において累算して、音源信号の成分を雑音化した劣化雑音音声信号を作成するようにした請求項11または請求項12いずれか記載のゲーム装置。
  14. 帯域信号を分ける帯域濾波器の数、周波数帯域境界の周波数のうち少なくとも一方を少なくとも言語によって変更できるようにした請求項11から請求項13いずれか記載のゲーム装置。
  15. 帯域信号を分ける帯域濾波器の数、周波数帯域境界の周波数のうち少なくとも一方を言語自動認識により変更できるようにした請求項11から請求項13いずれか記載のゲーム装置。
  16. 音源信号から、複数の帯域濾波器を有する第1の帯域濾波部により、所定の帯域の信号を抽出し、包絡線抽出器を有する包絡線抽出部により各帯域信号の包絡線を抽出し、雑音源信号を複数の帯域濾波器を有する第2の帯域濾波部に加えて、上記所定の帯域に対応する雑音信号を抽出し、第1の帯域濾波部と第2の帯域濾波部の出力を乗算部において乗算し、乗算部の出力を加算部において累算して、音源信号の成分を雑音化した劣化雑音音声信号を作成するようにした音出力装置であって、帯域信号を分ける帯域濾波器の数、周波数帯域境界の周波数のうち少なくとも一方を少なくとも言語によって変更できるようにした音出力装置。
  17. 帯域信号を分ける帯域濾波器の数、周波数帯域境界の周波数のうち少なくとも一方を言語自動認識により変更できるようにした請求項16の音出力装置。
  18. 入力信号の中から音声成分のみを抽出する音声信号抽出器を有し、前記入力音声信号の少なくとも一部は、前記音声信号抽出器が抽出した音声成分の信号である請求項1から請求項5いずれか記載の補聴器。
  19. 信号の中から音声成分のみを抽出する音声信号抽出器を有し、前記音声信号の少なくとも一部は、前記音声信号抽出器が抽出した音声成分の信号である請求項6から請求項10いずれか記載の訓練装置。
  20. 信号の中から音声成分のみを抽出する音声信号抽出器を有し、前記音声信号の少なくとも一部は、前記音声信号抽出器が抽出した音声成分の信号である請求項11から請求項15いずれか記載のゲーム装置。
  21. 音源信号の中から音声成分のみを抽出する音声信号抽出器を有し、前記第1の帯域濾波部が抽出する元の音源信号が前記音声信号抽出器が抽出した音声成分の信号である請求項16から請求項17いずれか記載の音出力装置。
JP2002297635A 2002-10-10 2002-10-10 補聴器、訓練装置、ゲーム装置、および音出力装置 Expired - Lifetime JP3973530B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2002297635A JP3973530B2 (ja) 2002-10-10 2002-10-10 補聴器、訓練装置、ゲーム装置、および音出力装置
CN2003801008424A CN1703933B (zh) 2002-10-10 2003-10-06 助听器、训练装置、游戏装置和声音输出装置
DE10362224A DE10362224B4 (de) 2002-10-10 2003-10-06 Hörtrainingsvorrichtungen
US10/530,342 US7502483B2 (en) 2002-10-10 2003-10-06 Hearing aid, training device, game device, and audio output device
DE10393463T DE10393463B4 (de) 2002-10-10 2003-10-06 Hörhilfe
PCT/JP2003/012801 WO2004034739A1 (ja) 2002-10-10 2003-10-06 補聴器、訓練装置、ゲーム装置、および音出力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002297635A JP3973530B2 (ja) 2002-10-10 2002-10-10 補聴器、訓練装置、ゲーム装置、および音出力装置

Publications (2)

Publication Number Publication Date
JP2004135068A true JP2004135068A (ja) 2004-04-30
JP3973530B2 JP3973530B2 (ja) 2007-09-12

Family

ID=32089278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002297635A Expired - Lifetime JP3973530B2 (ja) 2002-10-10 2002-10-10 補聴器、訓練装置、ゲーム装置、および音出力装置

Country Status (5)

Country Link
US (1) US7502483B2 (ja)
JP (1) JP3973530B2 (ja)
CN (1) CN1703933B (ja)
DE (2) DE10393463B4 (ja)
WO (1) WO2004034739A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006208820A (ja) * 2005-01-28 2006-08-10 Advanced Telecommunication Research Institute International 音声処理装置
JP2007017572A (ja) * 2005-07-06 2007-01-25 Rion Co Ltd 外国語学習装置、外国語学習方法、外国語学習の記録媒体およびプログラム
WO2007132709A1 (ja) * 2006-05-15 2007-11-22 Shinichi Sakamoto 携帯電話機の着信通知方法
CN101901602A (zh) * 2010-07-09 2010-12-01 中国科学院声学研究所 一种利用受损听力的听阈进行降噪的方法
JP2022098490A (ja) * 2020-12-21 2022-07-01 シバントス ピーティーイー リミテッド 聴取機器を備えた聴取システムの作動方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005012983A1 (de) 2005-03-21 2006-09-28 Siemens Audiologische Technik Gmbh Hörgerät mit sprachspezifischer Einstellung und entsprechendes Verfahren
DE102005034381B4 (de) * 2005-07-22 2009-04-16 Siemens Audiologische Technik Gmbh Verfahren zum Darbieten von Funktionsmöglichkeiten eines Hörgerätsystems und entsprechendes Hörgerätesysstem
DE102006047690B4 (de) * 2006-10-09 2018-01-25 Sivantos Gmbh Hörgerät zum Trainieren auditiver Fähigkeiten
DK2091266T3 (da) * 2008-02-13 2012-09-24 Oticon As Høreindretning og anvendelse af en høreapparatindretning
JP4209461B1 (ja) * 2008-07-11 2009-01-14 株式会社オトデザイナーズ 合成音声作成方法および装置
US8553897B2 (en) * 2009-06-09 2013-10-08 Dean Robert Gary Anderson Method and apparatus for directional acoustic fitting of hearing aids
US8879745B2 (en) * 2009-07-23 2014-11-04 Dean Robert Gary Anderson As Trustee Of The D/L Anderson Family Trust Method of deriving individualized gain compensation curves for hearing aid fitting
US9101299B2 (en) * 2009-07-23 2015-08-11 Dean Robert Gary Anderson As Trustee Of The D/L Anderson Family Trust Hearing aids configured for directional acoustic fitting
WO2011135789A1 (ja) * 2010-04-28 2011-11-03 パナソニック株式会社 脳波計測装置、電気的ノイズの推定方法、および、電気的ノイズの推定方法を実行するコンピュータプログラム
US8942397B2 (en) * 2011-11-16 2015-01-27 Dean Robert Gary Anderson Method and apparatus for adding audible noise with time varying volume to audio devices
US10142742B2 (en) 2016-01-01 2018-11-27 Dean Robert Gary Anderson Audio systems, devices, and methods

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62262600A (ja) * 1986-05-09 1987-11-14 Eastern Electric Kk 補聴装置
JPH05316597A (ja) * 1992-05-06 1993-11-26 Sony Corp 補聴器
JPH0673800U (ja) * 1993-03-30 1994-10-18 富士通テン株式会社 音声認識装置
JP2000003200A (ja) * 1998-06-16 2000-01-07 Yamaha Corp 音声信号処理装置及び音声信号処理方法
JP2000022603A (ja) * 1998-07-02 2000-01-21 Oki Electric Ind Co Ltd コンフォートノイズ発生装置
JP2000125397A (ja) * 1998-10-12 2000-04-28 Nec Corp 話者識別型ディジタル補聴器
JP2000152394A (ja) * 1998-11-13 2000-05-30 Matsushita Electric Ind Co Ltd 軽度難聴者用補聴装置、軽度難聴者対応伝送システム、軽度難聴者対応記録再生装置、及び軽度難聴者対応再生装置
JP2000293353A (ja) * 1999-04-02 2000-10-20 Canon Inc 表示言語切替装置、表示言語切替方法、及び記憶媒体
JP2000308198A (ja) * 1999-02-16 2000-11-02 Gm & M:Kk 補聴器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5303327A (en) * 1991-07-02 1994-04-12 Duke University Communication test system
KR940002854B1 (ko) * 1991-11-06 1994-04-04 한국전기통신공사 음성 합성시스팀의 음성단편 코딩 및 그의 피치조절 방법과 그의 유성음 합성장치
JPH05176933A (ja) * 1991-12-27 1993-07-20 Mitsui Petrochem Ind Ltd 感覚検査・訓練システム
JPH09590A (ja) * 1995-06-15 1997-01-07 N Yuu & J:Kk 障害者機能回復支援装置
JP3243174B2 (ja) 1996-03-21 2002-01-07 株式会社日立国際電気 狭帯域音声信号の周波数帯域拡張回路
US5864799A (en) * 1996-08-08 1999-01-26 Motorola Inc. Apparatus and method for generating noise in a digital receiver
US6109107A (en) * 1997-05-07 2000-08-29 Scientific Learning Corporation Method and apparatus for diagnosing and remediating language-based learning impairments
US6322521B1 (en) * 2000-01-24 2001-11-27 Audia Technology, Inc. Method and system for on-line hearing examination and correction
JP2002006900A (ja) * 2000-06-27 2002-01-11 Megafusion Corp 音声還元再生システム及び音声還元再生方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62262600A (ja) * 1986-05-09 1987-11-14 Eastern Electric Kk 補聴装置
JPH05316597A (ja) * 1992-05-06 1993-11-26 Sony Corp 補聴器
JPH0673800U (ja) * 1993-03-30 1994-10-18 富士通テン株式会社 音声認識装置
JP2000003200A (ja) * 1998-06-16 2000-01-07 Yamaha Corp 音声信号処理装置及び音声信号処理方法
JP2000022603A (ja) * 1998-07-02 2000-01-21 Oki Electric Ind Co Ltd コンフォートノイズ発生装置
JP2000125397A (ja) * 1998-10-12 2000-04-28 Nec Corp 話者識別型ディジタル補聴器
JP2000152394A (ja) * 1998-11-13 2000-05-30 Matsushita Electric Ind Co Ltd 軽度難聴者用補聴装置、軽度難聴者対応伝送システム、軽度難聴者対応記録再生装置、及び軽度難聴者対応再生装置
JP2000308198A (ja) * 1999-02-16 2000-11-02 Gm & M:Kk 補聴器
JP2000293353A (ja) * 1999-04-02 2000-10-20 Canon Inc 表示言語切替装置、表示言語切替方法、及び記憶媒体

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006208820A (ja) * 2005-01-28 2006-08-10 Advanced Telecommunication Research Institute International 音声処理装置
JP4644876B2 (ja) * 2005-01-28 2011-03-09 株式会社国際電気通信基礎技術研究所 音声処理装置
JP2007017572A (ja) * 2005-07-06 2007-01-25 Rion Co Ltd 外国語学習装置、外国語学習方法、外国語学習の記録媒体およびプログラム
US8057234B2 (en) 2005-07-06 2011-11-15 Hiroshi Rikimaru Foreign language learning apparatus
WO2007132709A1 (ja) * 2006-05-15 2007-11-22 Shinichi Sakamoto 携帯電話機の着信通知方法
CN101901602A (zh) * 2010-07-09 2010-12-01 中国科学院声学研究所 一种利用受损听力的听阈进行降噪的方法
JP2022098490A (ja) * 2020-12-21 2022-07-01 シバントス ピーティーイー リミテッド 聴取機器を備えた聴取システムの作動方法
US11889268B2 (en) 2020-12-21 2024-01-30 Sivantos Pte. Ltd. Method for operating a hearing aid system having a hearing instrument, hearing aid system and hearing instrument
JP7477114B2 (ja) 2020-12-21 2024-05-01 シバントス ピーティーイー リミテッド 聴取機器を備えた聴取システムの作動方法

Also Published As

Publication number Publication date
WO2004034739A1 (ja) 2004-04-22
CN1703933B (zh) 2011-07-13
US20070003083A1 (en) 2007-01-04
US7502483B2 (en) 2009-03-10
DE10393463B4 (de) 2010-07-01
DE10393463T5 (de) 2005-09-01
CN1703933A (zh) 2005-11-30
JP3973530B2 (ja) 2007-09-12
DE10362224B4 (de) 2013-07-25

Similar Documents

Publication Publication Date Title
JP3973530B2 (ja) 補聴器、訓練装置、ゲーム装置、および音出力装置
US6290504B1 (en) Method and apparatus for reporting progress of a subject using audio/visual adaptive training stimulii
Sheldon et al. Priming and sentence context support listening to noise-vocoded speech by younger and older adults
US7046813B1 (en) Auditory sense training method and sound processing method for auditory sense training
US8057234B2 (en) Foreign language learning apparatus
JP2006184920A (ja) 言語障害者間の語音の認識を向上させるための方法および装置
US10334376B2 (en) Hearing system with user-specific programming
Wayne et al. The role of visual speech information in supporting perceptual learning of degraded speech.
Pilling et al. Audiovisual cues and perceptual learning of spectrally distorted speech
US7729907B2 (en) Apparatus and method for preventing senility
De Filippo Laboratory projects in tactile aids to lipreading
JP4322390B2 (ja) 聴覚訓練方法
RU2525366C1 (ru) Способ слухоречевой реабилитации и устройство для его реализации
Van Wilderode et al. Toward a Listening Training Paradigm: Evaluation in Normal-Hearing Young and Middle-Aged Adults
Gfeller Music therapy for children and adults who are deaf or hard of hearing
KR100586060B1 (ko) 청각 훈련 장치
JP3636295B2 (ja) 記憶確認学習装置およびデジタル記録媒体
KR100528180B1 (ko) 청각 훈련 방법 및 청각 훈련용 기록 매체
Erber Applications of Hearing-Loss Simulation
Gertner et al. Music for children with hearing loss
Slade Speech reception threshold materials for Taiwan Mandarin
JP2004240462A (ja) 記憶確認学習装置,記憶確認学習方法および記録媒体
Thonn The impacts of age-related hearing impairments on the L2 classroom
Fung Discrimination and identification of Cantonese tones by postlingually deaf cochlear implant users
Sheldon The perceptual and cognitive contributions to spoken language comprehension by young and old listeners

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060424

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060801

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20060821

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060822

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070209

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070612

R150 Certificate of patent or registration of utility model

Ref document number: 3973530

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term