JP2000165483A - デジタル電話のオ―ディオ出力を調整する方法およびユ―ザ―の個別聴力スペクトルに合わせてオ―ディオ出力を調整するデジタル電話 - Google Patents

デジタル電話のオ―ディオ出力を調整する方法およびユ―ザ―の個別聴力スペクトルに合わせてオ―ディオ出力を調整するデジタル電話

Info

Publication number
JP2000165483A
JP2000165483A JP11267532A JP26753299A JP2000165483A JP 2000165483 A JP2000165483 A JP 2000165483A JP 11267532 A JP11267532 A JP 11267532A JP 26753299 A JP26753299 A JP 26753299A JP 2000165483 A JP2000165483 A JP 2000165483A
Authority
JP
Japan
Prior art keywords
user
digital
signal
digital signal
hearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11267532A
Other languages
English (en)
Other versions
JP3777904B2 (ja
Inventor
Campbell Lowell
キャンプベル ロウウェル
Robertson Daniel
ロバートソン ダニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of JP2000165483A publication Critical patent/JP2000165483A/ja
Application granted granted Critical
Publication of JP3777904B2 publication Critical patent/JP3777904B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065Aids for the handicapped in understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)

Abstract

(57)【要約】 【課題】 デジタル電話を通して聞き手の聴力障害に合
わせてカスタマイズされたオーディオ出力を生成する技
術を提供すること。 【解決手段】 ユーザーは最初に、ユーザーの聴力スペ
クトルを表すために、ユーザーパラメータを設定する。
呼び出しを受ける際、デジタル電話は、入力信号を受信
する。デジタル電話は、ユーザーパラメータに従って入
力信号を調整し、調整された入力信号に基づいて出力信
号を生成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、デジタル電話に関
し、詳しくは、ユーザーの個別聴力スペクトルを補償す
るべくカスタマイズされるオーディオ出力を有するデジ
タル電話に関する。
【0002】
【発明の背景】従来のセルラーホンのオーディオ出力
は、聴力に障害のある聞き手には聞きとりにくい可能性
がある。聞き手の聴力に障害がある場合、セルラーホン
の出力音量を上げたとしても、部分的な効果しか得られ
ないのが現状である。典型的な聴力障害は、選択周波数
帯域で生じる。聴力障害は、いかなる帯域でも、完全か
部分的かのいずれかである。出力音量の均一な増加は、
部分的に障害のある帯域に対処するだけなので、均一に
増加しても、部分的にしか聞き手の助けにならない。完
全に障害のある特定の帯域では、依然としてユーザーに
は聞こえない。他の帯域を聞きたいがために、障害のな
い帯域の出力音が大きくなり、不快感をおぼえる聞き手
もいるだろう。
【0003】従来の補聴器は、ユーザーの個々の聴力障
害を補償するため、選択的に音を増幅しているものが一
般的である。
【0004】ボイスコーダ−デコーダ(「ボコーダ」)
は、人間の声を表すために必要な量のデジタル情報を圧
縮するため、セルラーホンで用いられてきた。送信機に
おけるボコーダは、デジタルフィルタの形で声道(vocal
tract)モデルを導出し、1つ以上の「コードブック」
を用いてデジタル音信号をエンコードする。各コードブ
ックは、音声の領域において導出された声道フィルタの
励起を表す。1つの典型的なコードブックは、ピッチや
有声音などの長周期励起(excitation)を表す。別の典型
的なコードブックは、ノイズや無声音などの短周期励起
を表す。ボコーダは、声道フィルタのパラメータおよび
コードブックの励起を含むデジタル信号を生成する。こ
の信号は、コードブックの再構成を可能とする情報も含
む。このようにしてエンコードされた信号は効果的に圧
縮され、従って、すべての音を直接デジタル形式で表す
場合より、使用領域が小さくてすむ。
【0005】受信ボコーダは、コードブックおよび声道
フィルタを用いて、圧縮デジタル信号をデコードする。
信号に含まれるパラメータに基づいて、ボコーダは、圧
縮されていないデジタル音に再構成する。このデジタル
信号は、アナログ信号に変換され、スピーカから出力さ
れる。
【0006】
【発明の概要】本開示は、デジタル電話を通した聞き手
の聴力障害に応じてカスタマイズされたオーディオ出力
を生成する技術を実施する方法および装置を記載する。
ユーザーは最初に、ユーザーの聴力スペクトルを表すた
めに、ユーザーパラメータを設定する。呼び出しを受け
る際、デジタル電話は、入力信号を受信する。デジタル
電話は、ユーザーパラメータに応じて入力信号を調整
し、調整された入力信号に基づいて出力信号を生成す
る。
【0007】好適な実施形態では、デジタル電話は、ユ
ーザーパラメータ制御手段を含む。ユーザーパラメータ
制御手段は、ユーザーの聴力を表すユーザーパラメータ
を格納するためのメモリを含む。デジタル電話は、受信
手段を介して信号を受信する。デジタル信号プロセッサ
は、ユーザーパラメータ制御手段および受信手段に接続
される。デジタル信号プロセッサは、受信手段に接続さ
れるボコーダと、周波数変換手段とを含む。デジタル信
号プロセッサは、信号を、ユーザーパラメータがユーザ
ーの聴力に障害があることを示す周波数帯域から、ユー
ザーパラメータがユーザーの聴力に障害がないことを示
す周波数帯域へとシフトする。デジタル信号プロセッサ
はまた、ユーザーパラメータがユーザーの聴力に障害が
あることを示す周波数帯域において、シフトされた信号
を増幅する。デジタル信号プロセッサに接続された出力
手段は、この増幅された信号を出力する。
【0008】
【発明の実施の形態】本開示は、ユーザーにより設定さ
れたパラメータに応じてカスタマイズされた、デジタル
電話からのオーディオ出力を供給する方法および装置を
記載する。以下に、セルラー電話に関する好適な実施形
態を説明する。しかしこの技術は、他の形態のデジタル
電話システムのオーディオ出力にも適用可能である。
【0009】図1は、セルラーホン100を示す。セル
ラーホン100は、IS−95セルラーシステムが好ま
しい。ケース102は、セルラーホン100の本体を構
成し、以下に説明される構成要素を含む。アンテナ/レ
シーバ105は、入力アナログ信号を受信する。アンテ
ナ/レシーバ105は、従来のタイプのものが好まし
い。復調器110は、入力アナログ信号をデジタル信号
に変換する。デジタル信号は、好ましくは、別の電話か
ら中央局を介して送られる圧縮デジタル信号である。復
調器110の出力は、デジタル信号として、デジタル信
号プロセッサ(「DSP」)115に供給される。DS
P115は、デジタル信号を、当該技術分野において公
知の方法で処理する。ユーザーパラメータ制御回路12
0により供給されたユーザーパラメータに応じ、さらな
る処理が行われる。ユーザーパラメータ制御回路120
は、ユーザーパラメータを格納するためのメモリ122
を含む。1つの実現例として、メモリ122は、2人以
上のユーザーについてのユーザーパラメータの組を格納
する。このユーザーパラメータの組に、予め規定された
組を含めることもできる。現在のユーザーは、ユーザー
制御装置125などを介して、ユーザーパラメータの適
切な組を選択する。以下に説明されるように、DSP1
15は、選択されたユーザーパラメータの組を用いて処
理を行う。
【0010】セルラーホン100の外部にある制御装置
として、ユーザー制御装置125は、ユーザー入力を、
ユーザーパラメータ制御回路120に送る。デジタル−
アナログコンバータ(「DAC」)130は、調整され
たデジタル信号を、出力アナログ信号に変換する。スピ
ーカ135は、ユーザーがユーザーパラメータに従って
アナログ信号を聞けるよう、アナログ信号を再生する。
セルラーホン100はまた、ユーザーから、音声などの
オーディオ入力を受信するためのオーディオ入力または
マイクロホン(図示せず)を含むことが好ましい。
【0011】図2は、DSP115の詳細を示す。DS
P115は、ボコーダ205および周波数変換回路(fre
quency transformation)210を含む。ボコーダ205
は、復調器110からデジタル信号を受信し、声道フィ
ルタ215を用いて、この信号を解凍(uncompress)す
る。ボコーダ205は、好ましくは、声道フィルタ21
5を含み、従来のボコーダと同様に、2つのコードブッ
ク、すなわち、長周期コードブック(long-term codeboo
k)220および短周期コードブック(short-termcodeboo
k)225を含む。ボコーダ205は、長周期コードブッ
ク220を用いて、デジタル信号においてエンコードさ
れた、ピッチおよび有声音などの長い励起をデコードす
る。ボコーダ205は、短周期コードブック225を用
いて、デジタル信号においてエンコードされた、ノイズ
および無声音などの短い励起をデコードする。コードブ
ックの励起は、デコードされたパラメータにより規定さ
れる声道フィルタ215によりフィルタリングされ、デ
コードされた音を再生する。1つの実現例としては、デ
ジタル信号には、デジタル信号源のコードブックの再構
成が可能な情報も含まれる。ボコーダ205は、デコー
ド処理を容易にするため、再構成されたコードブックを
用いる。ボコーダ205には、エンコードされたデジタ
ル信号を、デコードされ且つ解凍されたデジタル信号に
変換するための1つ以上のフィルタも含まれる。
【0012】ボコーダ205は、内部パラメータ変更素
子(internal parameter modifier)230を含むことが
好ましい。ボコーダ205は、ユーザーパラメータ制御
回路120から受け取ったユーザーパラメータに従っ
て、内部パラメータ変更素子230を構成する。内部パ
ラメータ変更素子230は、信号の部分の周波数を、ユ
ーザーの聴力に障害がある周波数帯域から、ユーザーが
聞くことができる、またはよりよく聞くことができる帯
域へとシフトする効果を有する。ボコーダ205は、好
ましくはピッチラグパラメータを変更することにより、
および/または、ユーザーパラメータに従ってフィルタ
の極およびゼロを調整することにより、パラメータ変更
素子230を構成する。シフト技術の詳細を、以下に説
明する。
【0013】周波数変換回路210は、ボコーダ205
により生成されたデジタル信号を、異なる周波数帯に応
じて調整する。高速フーリエ変換(「FFT」)回路2
35は、FFTをデジタル信号に適用して、この信号を
時間ドメインから周波数ドメインに変換し、変換された
信号を、多数の周波数帯域に分割する。帯域数は、信号
に対する細かな調整に影響を及ぼすため、この適用によ
り、細かさと、性能と、コストとのバランスが確立され
る。帯域増幅回路240は、周波数分割信号を選択的に
増幅する。
【0014】帯域増幅回路240は、好ましくは、ユー
ザーの音認識が減衰される周波数帯域において信号を増
幅する。帯域増幅回路240は、音をその周波数帯域に
関するユーザーの聴力範囲内に入れる分だけ各帯域を増
幅する。帯域テーブル245は、ユーザーパラメータ制
御回路120からユーザーパラメータを受け取り、帯域
増幅回路240に帯域パラメータを供給する。帯域パラ
メータは、どの帯域が増幅されるかについて示すととも
に、適切な増幅量を示す。以下に説明されるように、ユ
ーザーパラメータは、オーディオテストにより設定され
る。逆FFT(「IFFT」)回路250は、増幅され
た信号を、周波数ドメインから時間ドメインに変換し、
分割された信号をコンパイルして、統合されたデジタル
信号に戻す。DAC130は、デジタル信号を、セルラ
ーホン100によりスピーカ135を通して出力される
アナログ信号に変換する。
【0015】図3に示されるように、フローチャート3
00は、好適な実施形態のソフトウェアまたはハードウ
ェアを示す。ステップ305で、アンテナ/レシーバ1
05は、アナログ信号を受信し、復調器110は、アナ
ログ信号をデジタル信号に変換する。DSP115は、
ボコーダ205および周波数変換回路210を用いて、
ユーザーパラメータに従ってデジタルを調整する。以下
に説明されるように、ユーザーパラメータは、オーディ
オテストによりあらかじめ設定される。ステップ310
で、ボコーダ205は、信号のより多くの部分がユーザ
ーの可聴周波数帯域となるように、デコードされた信号
の部分をシフトするため、信号のパラメータを変更し、
デジタル信号をデコードする。ステップ320で、周波
数変換回路210は、FFTを適用することにより、信
号を周波数ドメインに変換する。ステップ325で、周
波数変換回路210は、変換された信号のうち、ユーザ
ーの聴力が減衰される周波数帯域に対応する部分を増幅
する。ステップ330で、周波数変換回路210は、逆
FFTを適用することにより、信号を時間ドメインに戻
す。ステップ335で、DAC130は、調整されたデ
ジタル信号をアナログ信号に変換し、結果として得られ
たアナログ信号は、ステップ340で、スピーカ135
を通して再生される。
【0016】長周期コードブックを変更する1つの実施
形態として、長周期コードブックの再構成された形態を
決定するピッチラグパラメータは、潜在的なオーディオ
信号の部分が、ユーザーが聞くことができない周波数帯
域または領域から、ユーザーが聞くことができる領域に
マッピングされるように調整される。あるいは、ユーザ
ーの聴力が許容不可能なほど高い増幅レベルを必要とす
る領域も、必要な増幅レベルがより許容可能である領域
へとマッピングされる。この場合、許容不可能な増幅の
閾値レベルは、セルラーホンの最大振幅信号に基づく。
マッピングは、好ましくは、聞き手が非常に大きいまた
は補正不可能な聴力損失を有する周波数を回避するとと
もに周波数範囲の不必要なジャンプを防ぎながら、声の
抑揚を可能にするために、ピッチの変動を保持する。こ
の技術は、f(i−1)からf(i)にわたる周波数帯
域iにおいて必要とされる最小エネルギーγ(i)の測
定値を、許容可能な最大のエネルギー閾値Emax
(i)と比較することを含む。γ(i)がEmax
(i)を越えると、領域は許容不可能となり、f(i−
1)からf(i)までの周波数は、閾値を越えない許容
可能な最も近い周波数範囲にマッピングされる。
【0017】ボコーダにより支持されるピッチラグの範
囲が、対象の周波数範囲を決定する。ピッチラグの典型
的な値は、dmin=16サンプルおよびdmax=1
50サンプルであり、これらの値は、8kHzでサンプ
リングされる信号の場合、それぞれ500Hzおよび5
3.3Hzの周波数に対応する。周波数範囲全体は、領
域1から領域mと呼ばれるm個の領域(必ずしも同じ大
きさではない)に分割される。上記のように、隣接する
領域はいずれも、許容可能性に関して同じ特性を有して
いない。なぜなら、範囲の境界を規定する周波数は、隣
接する領域を含むように増加または低減することができ
るからである。
【0018】許容不可能な領域のマッピングは、5つの
場合に分けることができる。第1の場合、ボコーダピッ
チ範囲全体をカバーする領域は1つのみである。この場
合、行われるべきマッピングはない。
【0019】第2の場合、領域は2つしかない(m=
2)。一方の領域は許容不可能であり、例えば、ユーザ
ーは、その周波数帯域では聞くことができない。他方の
領域は許容可能であり、例えば、ユーザーは、その周波
数帯域で聞くことができる。この場合、どちらの領域が
許容可能であるかに依存して、f(0)からf(2)ま
での周波数範囲全体が、f(0)からf(1)まで、ま
たは、f(1)からf(2)までの領域に圧縮される。
マッピングは、好ましくは、線形圧縮により行われる。
圧縮周波数fnewの解は、以下の数式のように、もと
の周波数foldについて求められる。
【0020】
【数1】
【0021】この場合、領域1が、許容不可能な領域で
あり、
【0022】
【数2】
【0023】この場合、領域2が、許容不可能な領域で
ある。
【0024】第3の場合、許容不可能な領域は、領域1
または領域mのいずれかであり、隣接する許容可能な領
域は、他方側に別の許容不可能な領域を有する。許容不
可能な領域全体と、許容可能な領域の半分とが、許容不
可能な領域に隣接する許容可能な領域の半分に圧縮され
る。上記のように、fnewは、以下の数式のように表
すことができる。
【0025】
【数3】
【0026】この場合、領域1が、許容不可能な領域で
あり、
【0027】
【数4】
【0028】この場合、領域mが、許容不可能な領域で
ある。周波数fmidは、許容可能な領域の中間点であ
る。例えば、領域iの場合、fmid(i)=[f(i
−1)+f(i)]/2である。以下の説明のように、
許容可能な領域の他方側の一方の許容不可能な領域が、
許容可能な領域の使用されていない半分にマッピングさ
れるため、許容可能な領域の半分が使用される。
【0029】第4の場合、許容不可能な領域は、領域2
または領域「m−1」である。許容不可能な領域の半分
は、隣接する許容可能な領域1または領域mにマッピン
グされる。従って、許容可能な領域1またはmに最も近
い許容可能な領域の半分と、許容可能な領域1またはm
の全体とが、許容可能な領域1またはmの全体にマッピ
ングされる。以下の説明のように、許容不可能な領域の
一方の半分は、許容不可能な領域のもう一方側にある許
容可能な領域にマッピングされる。上記のように、fn
ewは、以下の数式のように表すことができる。
【0030】
【数5】
【0031】この場合、領域2が、許容不可能な領域で
ある。または、
【0032】
【数6】
【0033】この場合、領域m−1が、許容不可能な領
域である。
【0034】第5の場合、許容不可能な領域iは、領域
1または領域mではない許容可能な領域にマッピングさ
れる。許容不可能な領域の半分は、許容不可能な領域に
隣接する隣接の許容不可能な領域の半分にマッピングさ
れる。例えば、領域iの上半分は、領域i+1の下半分
とともに、領域i+1の下半分にマッピングされる。上
記のように、fnewは、以下の2つの数式のように表
すことができる。
【0035】
【数7】
【0036】この場合、許容不可能な領域iは、許容可
能な領域i−1にマッピングされる。または、
【0037】
【数8】
【0038】この場合、許容不可能な領域iは、許容可
能な領域i+1にマッピングされる。
【0039】ユーザーは、セルラーホンにより生成され
る一連のトーンに応答することにより、オーディオテス
トにおいてユーザーパラメータを設定する。図4に示さ
れるように、ユーザーパラメータを設定する処理400
では、ステップ405で、セルラーホン100は、スピ
ーカ135を通して再生される初期テストトーンを生成
する。この初期テストトーンは、第1の振幅および周波
数であり、好ましくは、平均の聴力を有する人が聞くこ
とのできる振幅、および、DSP115で使用される周
波数帯域のうち最も低い周波数帯域に対応する周波数で
ある。ステップ410で、ユーザーは、ユーザー制御装
置125のボタンを押すことなどにより、ユーザーが初
期テストトーンを聞きとれるか否かを示す。ユーザーが
初期テストトーンを聞きとれる場合、ステップ415
で、セルラーホン100は、同じ周波数でより低い振幅
の別のテストトーンを生成する。ユーザーがテストトー
ンの聞きとりができることを示さなくなるまで、また
は、特定の最小閾値に達するまで、セルラーホン100
は、ステップ420で、振幅を連続的に低くしながらテ
ストトーンを生成し続ける。この最終テストトーンは、
現在の周波数に関するユーザーの聴力閾値を示す。
【0040】ステップ410で、ユーザーが何も反応し
ないことで、初期テストトーンの聞き取りが可能なこと
を示さなければ、ステップ415で、セルラーホン10
0は、同じ周波数でより高い振幅のテストトーンを生成
する。ステップ420で、セルラーホン100は、ユー
ザーがテストトーンの聞きとりが可能なことを示すま
で、または、特定の最大閾値に達するまで、振幅を連続
的に高くしながらテストトーンを生成し続ける。この最
終テストトーンは、現在の周波数に関するユーザーの聴
力閾値を示す。
【0041】ステップ425で、ユーザーパラメータ制
御回路120は、現在の周波数についてのユーザーの聴
力閾値の振幅および周波数を、メモリ122に記録す
る。ステップ430で、セルラーホン100は、各周波
数帯域について、ステップ405〜425を繰り返す。
ユーザーパラメータ制御回路120が、各周波数につい
ての聴力閾値を記録した後、ユーザーパラメータ制御回
路には、ユーザーの聴力をモデル化するユーザーパラメ
ータテーブルが生成される。上記のように、使用された
周波数帯域数は、ボコーダ205および周波数変換回路
210の動作において上述の周波数帯域または領域の数
に対応する。
【0042】他の実施形態として、上記のデジタル信号
プロセッサは、従来の電話網のデジタル電話に含まれ
る。デジタル電話で受信されたアナログ信号は、デジタ
ル信号に変換され、上記のように調整される。あるい
は、デジタル電話は、コンピュータシステムにおける、
ソフトウェアとハードウェアとを組み合わせたものであ
ってもよい。
【0043】さらに他の実施形態では、上記セルラーホ
ンの構成要素は、補聴器と連動している。この場合、セ
ルラーホンは、調整された信号を補聴器に送り、補聴器
は、それ自体のスピーカを通してオーディオ信号を再生
する。
【0044】上記デジタル信号プロセッサの構成要素
は、ハードウェアまたはプログラマブルハードウェアに
おいて実現することができる。あるいは、DSP115
に、ポートまたはカード接続を介してアクセス可能なソ
フトウェアを用いる処理ユニットを含めてもよい。
【0045】以上、種々の実施形態を説明してきたが、
さらなる変形も可能である。例えば、電話により受信さ
れる信号は、デジタル網により供給されるデジタル信号
であってもよい。ユーザーパラメータは、ユーザーによ
る手動入力によってではなく、電話に値をダウンロード
することでも得られる。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかるデジタル電話のブ
ロック図である。
【図2】デジタル信号プロセッサのブロック図である。
【図3】信号を調整する際のフローチャートである。
【図4】ユーザーパラメータを設定する際のフローチャ
ートである。
【符号の説明】
100…セルラーホン、102…ケース、105…アン
テナ/レシーバ、110…復調器、115…DSP、1
20…ユーザーパラメータ制御回路、122…メモリ、
125…ユーザー制御装置、130…DAC、135…
スピーカ、205…ボコーダ、210…周波数変換回
路、215…声道フィルタ、220…長周期コードブッ
ク、225…短周期コードブック、230…内部パラメ
ータ変更素子、235…FFT、240…帯域増幅回
路、245…帯域テーブル、250…逆FFT。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ダニエル ロバートソン アメリカ合衆国 92008−4608 カリフォ ルニア州 カールスバッド アラマダドラ イブ 5770 デンソー インターナショナ ル アメリカ インコーポレーテッド内

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 ユーザーの個別聴力スペクトルを表すユ
    ーザーパラメータを得るステップと、 ユーザーにより聞かれる情報を表すデジタル入力信号を
    受信するステップと、 聴力調整されたデジタル信号を生成するために前記ユー
    ザーパラメータに従って前記デジタル入力信号を調整す
    るステップと、 前記聴力調整されたデジタル信号に基づいて、アナログ
    出力信号を生成するステップとを含むデジタル電話のオ
    ーディオ出力を調整する方法。
  2. 【請求項2】 前記ユーザーパラメータを得るステップ
    は、 トーンを生成するステップと、 前記トーンに対するユーザー応答を受信するステップ
    と、 前記ユーザー応答に基づいて、ユーザーパラメータを設
    定するステップと、を含む、請求項1に記載の方法。
  3. 【請求項3】 前記ユーザーパラメータを設定するステ
    ップは、 周波数についての聴力閾値が決定されるまで、ユーザー
    応答に従って、振幅を変えながら所定の周波数でテスト
    トーンを繰り返し生成するステップと、 前記聴力閾値に基づいてユーザーパラメータを設定する
    ステップと、を含む、請求項1に記載の方法。
  4. 【請求項4】 前記ユーザーパラメータは、オーディオ
    スペクトルを複数の帯域に分割し、且つ、各帯域におけ
    るユーザーの聴力を示すものである、請求項1に記載の
    方法。
  5. 【請求項5】 前記デジタル入力信号を調整するステッ
    プは、 前記ユーザーパラメータがユーザーの聴力に障害がある
    ことを示す周波数帯域において、前記デジタル入力信号
    を増幅するステップを含む、請求項4に記載の方法。
  6. 【請求項6】 前記デジタル入力信号を調整するステッ
    プは、 前記デジタル入力信号のピッチラグパラメータを、前記
    ユーザーパラメータがユーザーの聴力障害を示す周波数
    帯域から、前記ユーザーパラメータがユーザーの聴力の
    障害がより軽いことを示す周波数帯域へと、デジタル形
    式でシフトするステップを含む、請求項4に記載の方
    法。
  7. 【請求項7】 ボコーダを用いて、前記デジタル入力信
    号を処理するステップをさらに含み、 前記デジタル入力信号をシフトするステップは、前記ボ
    コーダの声道フィルタ関数の極およびゼロをシフトする
    ステップを含む、請求項6に記載の方法。
  8. 【請求項8】 ユーザーの個別聴力スペクトルを表すユ
    ーザーパラメータを得るステップと、 デジタル信号を受信するステップと、 ボコーダを用いて、前記受信されたデジタル信号をデコ
    ードするステップと、 前記ボコーダを用いて、前記ボコーダの前記声道フィル
    タ関数の極およびゼロをシフトすることに加え、前記ボ
    コーダを用いて、前記デコードされたデジタル入力信号
    のピッチラグパラメータを、前記ユーザーパラメータが
    ユーザーが聞くことができないことを示す周波数帯域か
    ら、前記ユーザーパラメータがユーザーが聞くことがで
    きることを示す周波数帯域へとシフトし、シフトされた
    デジタル信号を形成するステップと、 前記デジタル信号に基づいて、アナログ出力信号を生成
    するステップとを含むデジタル電話のオーディオ出力を
    調整する方法。
  9. 【請求項9】 前記シフトされたデジタル信号に高速フ
    ーリエ変換を適用して、前記シフトされたデジタル信号
    を時間ドメインから周波数ドメインに変換するステップ
    と、 前記ユーザーパラメータがユーザーの聴力に障害がある
    ことを示す周波数帯域において、前記変換されたデジタ
    ル信号を増幅するステップと、 前記増幅されたデジタル信号に逆高速フーリエ変換を適
    用して、前記増幅されたデジタル信号を前記周波数ドメ
    インから前記時間ドメインに変換するステップと、をさ
    らに含む、請求項8に記載の方法。
  10. 【請求項10】 ユーザーの個別聴力スペクトルを表す
    ユーザーパラメータを得るステップと、 デジタル信号を受信するステップと、 ボコーダを用いて、前記受信されたデジタル信号をデコ
    ードするステップと、 前記デジタル信号に高速フーリエ変換を適用して、前記
    デジタル信号を時間ドメインから周波数ドメインに変換
    するステップと、 前記ユーザーパラメータがユーザーの聴力に障害がある
    ことを示す周波数帯域において、前記変換されたデジタ
    ル信号を増幅するステップと、 前記増幅されたデジタル信号に逆高速フーリエ変換を適
    用して、前記増幅されたデジタル信号を前記周波数ドメ
    インから前記時間ドメインに変換するステップと、 前記デジタル信号に基づいて、アナログ出力信号を生成
    するステップとを含むデジタル電話のオーディオ出力を
    調整する方法。
  11. 【請求項11】 前記ボコーダを用いて、前記ボコーダ
    のフィルタ関数の極およびゼロをシフトすることによ
    り、前記デジタル信号を、前記ユーザーパラメータがユ
    ーザーが聞くことができないことを示す周波数帯域か
    ら、前記ユーザーパラメータがユーザーが聞くことがで
    きることを示す周波数帯域へとシフトするステップをさ
    らに含む、請求項10に記載の方法。
  12. 【請求項12】 デジタル電話のオーディオ出力を、ユ
    ーザーの個別聴力と一致するように調整する方法であっ
    て、 第1に、第1のユーザーの聴力を表すユーザーパラメー
    タの第1の組に従って、受信されたデジタル信号を調整
    するステップと、 第2に、第2のユーザーの聴力を表すユーザーパラメー
    タの第2の組に従って、受信されたデジタル信号を調整
    するステップとを含む方法。
  13. 【請求項13】 ユーザーの個別聴力スペクトルに合わ
    せてオーディオ出力を調整するデジタル電話であって、 オーディオ出力手段と、 オーディオ入力手段と、 デジタル信号を受信するエントリ手段と、 前記オーディオ出力手段、前記オーディオ入力手段、お
    よび前記エントリ手段に結合されるケースと、 ユーザーの個別聴力を表すユーザーパラメータを格納す
    るためのメモリと、 前記メモリ、前記エントリ手段、および前記オーディオ
    出力手段に結合され、前記ユーザーパラメータに従っ
    て、前記受信されたデジタル信号を調整するプロセッサ
    とを含むデジタル電話。
  14. 【請求項14】 前記デジタル信号の調整は、前記ユー
    ザーパラメータがユーザーの聴力に障害があることを示
    す周波数帯域において、前記デジタル信号を増幅するも
    のである、請求項13に記載のデジタル電話。
  15. 【請求項15】 前記デジタル信号の調整は、前記ユー
    ザーパラメータがユーザーの聴力に障害があることを示
    す周波数帯域から、前記ユーザーパラメータがユーザー
    の聴力の障害がより軽いことを示す周波数帯域へと、前
    記デジタル信号をシフトさせるものである、請求項13
    に記載のデジタル電話。
  16. 【請求項16】 ユーザーの聴力に従ってデジタル信号
    を調整するデジタル電話であって、 前記ユーザーの聴力を表すユーザーパラメータを格納す
    るためのメモリを含むユーザーパラメータ制御手段と、 信号を受信するための受信手段と、 前記受信手段に接続されるボコーダと、周波数変換手段
    とを有し、前記ユーザーパラメータ制御手段および前記
    受信手段に接続されるデジタル信号プロセッサであっ
    て、前記メモリに格納された前記ユーザーパラメータが
    ユーザーの聴力に障害があることを示す周波数帯域か
    ら、前記ユーザーパラメータがユーザーの聴力に障害が
    ないことを示す周波数帯域へと、前記信号をシフトさ
    せ、さらに、前記メモリに格納された前記ユーザーパラ
    メータが、ユーザーの聴力に障害があることを示す周波
    数帯域において、前記シフトされた信号を増幅するも
    の、と、 前記デジタル信号プロセッサに接続され、前記増幅され
    た信号を出力する出力手段とを含むデジタル電話。
  17. 【請求項17】 前記ボコーダは、前記信号をシフトさ
    せるものである、請求項16に記載のデジタル電話。
  18. 【請求項18】 前記周波数変換手段は、前記シフトさ
    れた信号を増幅するものである、請求項16に記載のデ
    ジタル電話。
  19. 【請求項19】 前記ボコーダは、長周期コードブック
    および短周期コードブックを含むものである、請求項1
    6に記載のデジタル電話。
  20. 【請求項20】 前記周波数変換手段は、少なくとも1
    つの増幅器を含むものである、請求項16に記載のデジ
    タル電話。
JP26753299A 1998-10-13 1999-09-21 ユーザーの聴力に従ってデジタル入力信号を調整するデジタル電話 Expired - Fee Related JP3777904B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/170,988 US6212496B1 (en) 1998-10-13 1998-10-13 Customizing audio output to a user's hearing in a digital telephone
US09/170988 1998-10-13

Publications (2)

Publication Number Publication Date
JP2000165483A true JP2000165483A (ja) 2000-06-16
JP3777904B2 JP3777904B2 (ja) 2006-05-24

Family

ID=22622079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26753299A Expired - Fee Related JP3777904B2 (ja) 1998-10-13 1999-09-21 ユーザーの聴力に従ってデジタル入力信号を調整するデジタル電話

Country Status (2)

Country Link
US (1) US6212496B1 (ja)
JP (1) JP3777904B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020044416A (ko) * 2000-12-06 2002-06-15 윤종용 청각 보정 기능을 갖는 개인용 무선 통신 장치 및 방법
KR100633122B1 (ko) 2004-06-18 2006-10-12 한양대학교 산학협력단 휴대용 개인 정보 단말기를 이용한 보청 기능 구현 방법및 그 장치
JP2010278856A (ja) * 2009-05-29 2010-12-09 Sharp Corp 携帯通信端末
WO2012090282A1 (ja) * 2010-12-27 2012-07-05 富士通株式会社 音声制御装置、音声制御方法、音声制御プログラム及び携帯端末装置
US9131876B2 (en) 2009-08-18 2015-09-15 Samsung Electronics Co., Ltd. Portable sound source playing apparatus for testing hearing ability and method of testing hearing ability using the apparatus

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330599A (ja) * 1999-05-21 2000-11-30 Sony Corp 信号処理方法及び装置、並びに情報提供媒体
US7181297B1 (en) * 1999-09-28 2007-02-20 Sound Id System and method for delivering customized audio data
US6463128B1 (en) * 1999-09-29 2002-10-08 Denso Corporation Adjustable coding detection in a portable telephone
US6813490B1 (en) * 1999-12-17 2004-11-02 Nokia Corporation Mobile station with audio signal adaptation to hearing characteristics of the user
US7024000B1 (en) * 2000-06-07 2006-04-04 Agere Systems Inc. Adjustment of a hearing aid using a phone
US6694143B1 (en) * 2000-09-11 2004-02-17 Skyworks Solutions, Inc. System for using a local wireless network to control a device within range of the network
EP1196006A3 (en) * 2000-10-03 2008-08-27 FreeSystems Pte Ltd On-demand audio entertainment device that allows wireless download content
US20020150219A1 (en) * 2001-04-12 2002-10-17 Jorgenson Joel A. Distributed audio system for the capture, conditioning and delivery of sound
US6944474B2 (en) * 2001-09-20 2005-09-13 Sound Id Sound enhancement for mobile phones and other products producing personalized audio for users
US20030128859A1 (en) * 2002-01-08 2003-07-10 International Business Machines Corporation System and method for audio enhancement of digital devices for hearing impaired
US6724862B1 (en) 2002-01-15 2004-04-20 Cisco Technology, Inc. Method and apparatus for customizing a device based on a frequency response for a hearing-impaired user
ATE535096T1 (de) * 2002-03-12 2011-12-15 Era Ct Pty Ltd Mehrfunktions-mobiltelefon für medizinische diagnosen und rehabilitation
US20030230921A1 (en) * 2002-05-10 2003-12-18 George Gifeisman Back support and a device provided therewith
US20030223597A1 (en) * 2002-05-29 2003-12-04 Sunil Puria Adapative noise compensation for dynamic signal enhancement
US7042986B1 (en) * 2002-09-12 2006-05-09 Plantronics, Inc. DSP-enabled amplified telephone with digital audio processing
US20040125964A1 (en) * 2002-12-31 2004-07-01 Mr. James Graham In-Line Audio Signal Control Apparatus
DE602004027986D1 (de) * 2004-01-08 2010-08-19 Ipg Electronics 504 Ltd Kommunikationsendgerät mit einstellbaren Gehör- und/oder Sprachmerkmalen
WO2006104887A2 (en) * 2005-03-25 2006-10-05 Schulein Robert B Audio and data communications system
US9058812B2 (en) * 2005-07-27 2015-06-16 Google Technology Holdings LLC Method and system for coding an information signal using pitch delay contour adjustment
US20080254753A1 (en) * 2007-04-13 2008-10-16 Qualcomm Incorporated Dynamic volume adjusting and band-shifting to compensate for hearing loss
EP2177054B1 (en) * 2007-07-31 2014-04-09 Phonak AG Method for adjusting a hearing device with frequency transposition and corresponding arrangement
US8270593B2 (en) * 2007-10-01 2012-09-18 Cisco Technology, Inc. Call routing using voice signature and hearing characteristics
DK2369859T3 (en) * 2008-05-30 2017-03-13 Sonova Ag Method of adapting sound in a hearing aid by frequency change and such a device / Method of adapting sound in a hearing aid device by frequency modification and such a device
US20100131268A1 (en) * 2008-11-26 2010-05-27 Alcatel-Lucent Usa Inc. Voice-estimation interface and communication system
US8984501B2 (en) * 2009-06-19 2015-03-17 Dolby Laboratories Licensing Corporation Hierarchy and processing order control of downloadable and upgradeable media processing applications
US8995688B1 (en) 2009-07-23 2015-03-31 Helen Jeanne Chemtob Portable hearing-assistive sound unit system
US8442435B2 (en) * 2010-03-02 2013-05-14 Sound Id Method of remotely controlling an Ear-level device functional element
US8379871B2 (en) 2010-05-12 2013-02-19 Sound Id Personalized hearing profile generation with real-time feedback
US8532715B2 (en) 2010-05-25 2013-09-10 Sound Id Method for generating audible location alarm from ear level device
US8559813B2 (en) 2011-03-31 2013-10-15 Alcatel Lucent Passband reflectometer
US8666738B2 (en) 2011-05-24 2014-03-04 Alcatel Lucent Biometric-sensor assembly, such as for acoustic reflectometry of the vocal tract
CN104956689B (zh) 2012-11-30 2017-07-04 Dts(英属维尔京群岛)有限公司 用于个性化音频虚拟化的方法和装置
WO2014164361A1 (en) 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
US9084050B2 (en) * 2013-07-12 2015-07-14 Elwha Llc Systems and methods for remapping an audio range to a human perceivable range
US9549060B2 (en) 2013-10-29 2017-01-17 At&T Intellectual Property I, L.P. Method and system for managing multimedia accessiblity
US9558756B2 (en) 2013-10-29 2017-01-31 At&T Intellectual Property I, L.P. Method and system for adjusting user speech in a communication session
US10051120B2 (en) * 2013-12-20 2018-08-14 Ultratec, Inc. Communication device and methods for use by hearing impaired
US8767996B1 (en) 2014-01-06 2014-07-01 Alpine Electronics of Silicon Valley, Inc. Methods and devices for reproducing audio signals with a haptic apparatus on acoustic headphones
US10986454B2 (en) 2014-01-06 2021-04-20 Alpine Electronics of Silicon Valley, Inc. Sound normalization and frequency remapping using haptic feedback
US8977376B1 (en) 2014-01-06 2015-03-10 Alpine Electronics of Silicon Valley, Inc. Reproducing audio signals with a haptic apparatus on acoustic headphones and their calibration and measurement
US9641660B2 (en) 2014-04-04 2017-05-02 Empire Technology Development Llc Modifying sound output in personal communication device

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2716336B1 (de) 1977-04-13 1978-07-06 Siemens Ag Verfahren und Hoergeraet zur Kompensation von Gehoerdefekten
US4548082A (en) 1984-08-28 1985-10-22 Central Institute For The Deaf Hearing aids, signal supplying apparatus, systems for compensating hearing deficiencies, and methods
US4731850A (en) 1986-06-26 1988-03-15 Audimax, Inc. Programmable digital hearing aid system
US5125030A (en) 1987-04-13 1992-06-23 Kokusai Denshin Denwa Co., Ltd. Speech signal coding/decoding system based on the type of speech signal
US4887299A (en) 1987-11-12 1989-12-12 Nicolet Instrument Corporation Adaptive, programmable signal processing hearing aid
US4852175A (en) 1988-02-03 1989-07-25 Siemens Hearing Instr Inc Hearing aid signal-processing system
US5027410A (en) 1988-11-10 1991-06-25 Wisconsin Alumni Research Foundation Adaptive, programmable signal processing and filtering for hearing aids
US4879738A (en) * 1989-02-16 1989-11-07 Northern Telecom Limited Digital telephony card for use in an operator system
NO169689C (no) 1989-11-30 1992-07-22 Nha As Programmerbart hybrid hoereapparat med digital signalbehandling samt fremgangsmaate ved deteksjon og signalbehandlingi samme.
CA2068526C (en) 1990-09-14 1997-02-25 Tomohiko Taniguchi Speech coding system
CA2051304C (en) 1990-09-18 1996-03-05 Tomohiko Taniguchi Speech coding and decoding system
US5206884A (en) 1990-10-25 1993-04-27 Comsat Transform domain quantization technique for adaptive predictive coding
US5251263A (en) * 1992-05-22 1993-10-05 Andrea Electronics Corporation Adaptive noise cancellation and speech enhancement system and apparatus therefor
US5608803A (en) 1993-08-05 1997-03-04 The University Of New Mexico Programmable digital hearing aid
US5757932A (en) 1993-09-17 1998-05-26 Audiologic, Inc. Digital hearing aid system
FI99062C (fi) * 1995-10-05 1997-09-25 Nokia Mobile Phones Ltd Puhesignaalin taajuuskorjaus matkapuhelimessa
JP3727431B2 (ja) * 1995-12-08 2005-12-14 シャープ株式会社 送話器、それを用いた電話機
US5737389A (en) * 1995-12-18 1998-04-07 At&T Corp. Technique for determining a compression ratio for use in processing audio signals within a telecommunications system
US5737433A (en) * 1996-01-16 1998-04-07 Gardner; William A. Sound environment control apparatus
WO1997027578A1 (en) * 1996-01-26 1997-07-31 Motorola Inc. Very low bit rate time domain speech analyzer for voice messaging

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020044416A (ko) * 2000-12-06 2002-06-15 윤종용 청각 보정 기능을 갖는 개인용 무선 통신 장치 및 방법
KR100633122B1 (ko) 2004-06-18 2006-10-12 한양대학교 산학협력단 휴대용 개인 정보 단말기를 이용한 보청 기능 구현 방법및 그 장치
JP2010278856A (ja) * 2009-05-29 2010-12-09 Sharp Corp 携帯通信端末
US9131876B2 (en) 2009-08-18 2015-09-15 Samsung Electronics Co., Ltd. Portable sound source playing apparatus for testing hearing ability and method of testing hearing ability using the apparatus
WO2012090282A1 (ja) * 2010-12-27 2012-07-05 富士通株式会社 音声制御装置、音声制御方法、音声制御プログラム及び携帯端末装置
JP5598552B2 (ja) * 2010-12-27 2014-10-01 富士通株式会社 音声制御装置、音声制御方法、音声制御プログラム及び携帯端末装置
US9330678B2 (en) 2010-12-27 2016-05-03 Fujitsu Limited Voice control device, voice control method, and portable terminal device

Also Published As

Publication number Publication date
JP3777904B2 (ja) 2006-05-24
US6212496B1 (en) 2001-04-03

Similar Documents

Publication Publication Date Title
JP3777904B2 (ja) ユーザーの聴力に従ってデジタル入力信号を調整するデジタル電話
US9942667B2 (en) Hearing aid and a method for audio streaming
JP6374529B2 (ja) ヘッドセットと音源との間のオーディオの協調的処理
US8369549B2 (en) Hearing aid system adapted to selectively amplify audio signals
JP6325686B2 (ja) ヘッドセットと音源との間のオーディオの協調的処理
KR101261212B1 (ko) 오디오 신호 처리 방법 및 장치
US7248711B2 (en) Method for frequency transposition and use of the method in a hearing device and a communication device
JP4981123B2 (ja) オーディオ信号の知覚音量及び/又は知覚スペクトルバランスの計算と調整
US9369102B2 (en) Methods and apparatus for processing audio signals
KR20070028080A (ko) 이동통신 단말의 오디오 재생시 주변 잡음에 적응하는 자동음량 조절 방법 및 장치
US20090285406A1 (en) Method of fitting a portable communication device to a hearing impaired user
US20050175185A1 (en) Audio bandwidth extending system and method
JP5151762B2 (ja) 音声強調装置、携帯端末、音声強調方法および音声強調プログラム
KR20070112848A (ko) 음성 품질 및 명료성을 개선하기 위한 시스템
JP2003516003A (ja) 信号処理技術を組込んだ補聴器
WO2003036621A1 (en) Method and apparatus for enhancing loudness of an audio signal
US10805741B2 (en) Audio systems, devices, and methods
US20080228473A1 (en) Method and apparatus for adjusting hearing intelligibility in mobile phones
US6335973B1 (en) System and method for improving clarity of audio systems
JPH1028057A (ja) オーディオ復号化装置及びオーディオ符号化復号化システム
WO2010103724A1 (ja) 補聴器
JP3482465B2 (ja) モバイルフィッティングシステム
WO2004039126A2 (en) Mobile radio communications device and method for adjusting audio characteristics
JPH10135755A (ja) オーディオ装置
KR20020044416A (ko) 청각 보정 기능을 갖는 개인용 무선 통신 장치 및 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060220

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100310

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100310

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110310

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120310

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120310

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130310

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140310

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees