JP2019036959A - 補聴器の作動方法および補聴器 - Google Patents

補聴器の作動方法および補聴器 Download PDF

Info

Publication number
JP2019036959A
JP2019036959A JP2018152226A JP2018152226A JP2019036959A JP 2019036959 A JP2019036959 A JP 2019036959A JP 2018152226 A JP2018152226 A JP 2018152226A JP 2018152226 A JP2018152226 A JP 2018152226A JP 2019036959 A JP2019036959 A JP 2019036959A
Authority
JP
Japan
Prior art keywords
feature vector
hearing aid
sensor signal
user
muscle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018152226A
Other languages
English (en)
Other versions
JP6657337B2 (ja
Inventor
ハネマン ロニー
Hannemann Ronny
ハネマン ロニー
ヨット.シュトラウス ダニエル
J Strauss Daniel
ヨット.シュトラウス ダニエル
コロナ−シュトラウス ファラー
I Corona-Strauss Farah
コロナ−シュトラウス ファラー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Sivantos Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sivantos Pte Ltd filed Critical Sivantos Pte Ltd
Publication of JP2019036959A publication Critical patent/JP2019036959A/ja
Application granted granted Critical
Publication of JP6657337B2 publication Critical patent/JP6657337B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/296Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552Binaural
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0209Special features of electrodes classified in A61B5/24, A61B5/25, A61B5/283, A61B5/291, A61B5/296, A61B5/053
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04Arrangements of multiple sensors of the same type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
    • H04R25/305Self-monitoring or self-testing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/405Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H04R25/507Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】補聴器を作動させるための改良された方法を提供する。【解決手段】補聴器2を作動させるために、使用者の耳筋肉Mの筋肉活動度を電極アレイ16によって測定する。使用者の意図が符号化された耳筋肉Mの複雑な活動度プロファイルを検出するために、筋肉活動度を連続的に測定する。電極アレイ16がセンサ信号を発生し、このセンサ信号を分類器によって分類する。この分類の際筋肉活動度を復号してセンサ信号が既知の特徴ベクトルを有するかどうかを調べることにより、筋肉活動度に対応する意図を決定する。センサ信号が既知の特徴ベクトルを有するときに調整される補聴器2の動作モードを、既知の特徴ベクトルに割り当てる。【選択図】図1

Description

本発明は補聴器を作動させるための方法および補聴器に関する。
補聴器は一般的に、使用者の耳の方向に音響信号を再生するために役立つ。そのために、補聴器は耳内にまたは耳上に装着され、そしてレシーバを備えている。このレシーバを介して音響出力が行われる。補聴器は特に、聴覚障害のある使用者を補助する。このような補聴器は通常、周囲から音響信号を拾うための幾つかのマイクロホンと、拾った音響信号を適切に変更、特に増幅し、そして出力のためにレシーバに伝送する信号処理ユニットとを備えている。
使用者のためのこのような補聴器の利用は、実際の状況で使用者の要求をできるだけ最適に満足するように音響信号を出力する補聴器能力に大きく左右される。従って、先ず最初にフィッティングセッションの範囲内で補聴器が使用者の個別的な聴取プロファイルに適合させられる。これは、補聴器の普通の動作中、すなわち日常で使用する時の補聴器の行動を定める補聴器の動作パラメータの数の調整によって行われる。さらに、普通の動作中に理想的には、変化する状況と、特に変化する周囲条件が一緒に考慮される。この周囲条件は例えば、使用者が静かな周囲にいるかまたは騒がしい周囲にいるか、音響源が多数存在するかまたは少ないか、音響源がどのような種類ものであるかどうかである。そのために、動作パラメータの異なる調整によっていろいろな動作モードが提供される。それぞれの動作モードは使用者によって手動で調整されるかまたは補聴器自体によって自動で調整される。
自動調整のために、付加的なセンサが用いられるかまたはマイクロホンから発生したマイクロホン信号が分析される。それによって、所定の時点での周囲条件に関する付加的な情報が得られる。この情報は、普通の動作中に補聴器の動作パラメータの適合方策で考慮される。例えば分類器によってマイクロホン信号内の所定の構造が認識可能であり、従って予め定められた所定の状況、例えば「話し言葉」、「音楽」または「背景騒音」が認識可能である。所定の周囲の認識に対する反応として、適切な動作パラメータによって適切な動作モードが生じる。そのために付加的なセンサが用いることでき、例えば加速度センサが考えられる。この加速度センサによって、頭の運動が認識され、この頭の運動から、使用者が他の方向で聴取しようとすることが推測される。
動作中に補聴器の調整を改善するための上記の解決策は、多数の能力からなる例にすぎない。これらの解決策は、センサに左右されることが共通している。このセンサは、原理に起因して外部からの作用を検出し、それによってエラーを起こしやすく、特に使用者の意志の誤解についてエラーを起こしやすい。例えばある方向において急に新たに生じる騒音が測定されると、これは、使用者が聴取方向を変更しようとすることを必ずしも意味しない。なぜなら、重要でない方向変換であり得るからである。使用者の実際の意図は原理に起因してわからない。従って、他の思想は脳波の測定と脳の電位変動を記録したものであるEEG(脳電図)の生成である。EEG測定によって得られた脳波は、いろいろな神経信号の合計である。使用者の脳波自体が今存在する状況に対する回答として発生させられるので、或る程度の意図が既に予期される。従って、脳波は高い発生確率を有する信号として、実際の状況に関して重要である。脳波を測定するために、多数の電極を備えた電極アレイが使用者の頭皮に分配されて取付けられている。使用者の所定の反応が脳波の所定のパターンを発生するので、このパターンの認識に基づいて、補聴器の適切な調整、正確に言うと動作パラメータの適切な調整を行うことができる。しかし、EEG測定は装置が非常に高価である。従って、EEGは日常的な使用に向いていない。
特許文献1には、脳波の測定と異なり、筋肉反射作用、すなわち後側の耳筋肉(英語でpost−auricular muscle)の反射作用の測定が記載されている。この反射作用は後側の耳筋肉の反射作用を略してPAMRと呼ばれる。この反射作用は聴覚刺激によって、特に例えば爆音のような大きくて突然の雑音によって引き起こされる。この反射作用の測定によって、聴覚刺激に対する、反射作用を含む人の反応を認識することができる。後側の耳筋肉の反射作用は多数の電極を備えた電極アレイによって測定される。信号の急激な上昇の際あるいは閾値に達する際、反射作用がこのような信号として認識される。この認識に基づいて、補聴器の動作特性の調整を行うことができる。
米国特許出願公開第2012/0245655A1号明細書
Hackley et al."Combined Use of Microreflexes and Event−Related Brain Potentials as Measures of Auditory Selective Attention",November 1987,Psychophysiology Vol.24,No.6S.632ff Hackley"Evidence for vestigal pinna−orienting system in humans",2015,Psychophysiology Vol.52,S.1263ff Strauss and Steidl "Hybrid wavelet−support vector classification of waveforms",Journal Computational and Applied Mathematics 148(2002),p.375−400 Yger and Rakotomamonjy"Wavelet kernel learing" Pattern Recognition 44,2011,S.2614−2629
この背景をふまえて、本発明の課題は、補聴器を作動させるための改良された方法と、相応する補聴器を提供することである。その際、補聴器の或る数の動作パラメータは具体的な状況での使用者の要求に基づいてできるだけ確実に行うべきである。方法と補聴器はさらにできるだけ日常的な使用の役に立つべきである。
この課題は本発明に従い、請求項1の特徴を有する方法と、請求項25の特徴を有する補聴器によって解決される。有利な実施形態、発展形態および変形は従属請求項の対象である。その際、方法に関連する説明は同様に補聴器についても当てはまり、その逆も当てはまる。
本発明の方法は補聴器を作動させるために役立つ。補聴器は一人の使用者による使用のために形成されている。本発明の方法の場合、筋肉の活動電位の変動を記録したものである筋電図の測定が実施される。この筋電図の測定において、使用者の耳筋肉の筋肉活動度が電極アレイによって測定される。筋肉活動度は特に、使用者の耳を配向するための耳筋肉の方向づけ活動の結果である。この場合しかし、人の場合の方向づけ活動は進化生物学的な原因で発達が大きく遅れ、従って退化形成されている。筋肉活動度は、耳筋肉の複雑な活動度プロファイルを検出するために、連続的に測定される。活動度プロファイルでは、使用者の意図が符号化されている、すなわち筋肉活動度では使用者の意図が符号化されている。意図は聴取意図とも呼ばれる。電極アレイは分類器によって分類させられるセンサ信号を発生する。分類の際、筋肉活動度が復号化され、その筋肉活動度に対応する意図を決定する。この決定は、センサ信号が既知のクラスに属する既知の特徴ベクトルを有するかどうかを調べることによって行われる。既知の特徴ベクトル、すなわち既知のクラスには、補聴器の動作モードが割り当てられる。この動作モードは、センサ信号が既知の特徴ベクトルを有するとき、すなわち意図が認識されるときに調整される。すなわち、使用者の意図は耳筋肉組織の筋肉活動度から決定され、そして意図の原因である状況において補聴器の最適な動作を保証するために、この意図に基づいて補聴器が調整される、すなわち意図に割り当てられた所定の動作モードが生じる。
補聴器の動作は所定の時点で、動作パラメータの数の所定の値によって定められる。この動作パラメータとその値は補聴器の動作モードを形成する。動作パラメータは例えば含まれる音響信号を使用者の出力の前に増幅する増幅係数である。それぞれの動作モードは、動作モードに割り当てられた所定の状況における補聴器の行動を、所定の状況での使用者の要望に最適に適合させるために役立つ。「動作モードの調整」は、1個または複数の動作パラメータを予め定めた方法で、例えば所定の値に調整することであると理解される。基本的には、多数の動作モードを同時に調整することができる。この場合、動作パラメータの値は例えば異なる動作モードの値の平均値として生じる。
本方法の場合、筋電図略してEMGの測定が実施される。この筋電図の測定において、使用者の耳筋肉の筋肉活動度が電極アレイによって測定される。この筋肉活動度は、脳から耳筋肉に送られる神経信号の結果である。同様に、電極アレイによって生物電気的信号、すなわち耳筋肉の電位が測定される。生物電気的信号は耳筋肉から由来する。すなわち、EEGと異なり、脳の神経信号が測定されるのではなく、耳筋肉の信号が測定される。EMG測定の重要な利点は特に、測定すべき信号がEEG測定の場合よりはるかに強力で絶縁されていることにある。EEG測定の範囲内では、脳から送られる神経信号が測定される。しかし、この神経信号は耳筋肉で他のモータユニットを介して増幅されるので、EMG測定により強力な信号が供される。脳と比較して頭のさらに外側に配置されている耳筋肉は、多数の他の信号および他の神経と筋肉の反応によって影響を受けない。これに対して、EEGは必ず多数の神経信号の重なりを測定する。換言すると、EMG信号はすでに自然にろ波および増幅されている。すなわち、EMGの場合、EEGと比較して信号の品質がはるかに良好であり、多くの有効信号が分析のために供される。それによって、信号を処理するための装置コストの必要性がなくなる。従って、補聴器は非常にコンパクトになり、日常的に使用可能である。さらに、EMG測定のセンサ信号がEEG測定よりも高周波数の周波数成分を有するので、EMG測定は比較的に迅速に実施可能であり、測定時間が短くなる。
電極アレイはセンサ信号を生成する働きをする。そのために、電極アレイは使用者の頭の異なる側に配置された幾つかの個々の電極または極を備えている。個々の電極は個々の電気接点でもある。筋肉活動度を測定するために、異なる2個の電極の間の電位差が測定される。この電位差はセンサ信号を生じ、特にこのセンサ信号に対応している。すなわち、使用者の頭の異なる個所で2個の個々の接点の間の電位差としてのセンサ信号を測定するために、電極アレイは多重極状に形成されている。
本出願の範囲内で、「耳筋肉」とは、人の耳筋肉組織の筋肉の一つであると理解される。耳筋肉組織は耳の前側の筋肉、耳の後側の筋肉、耳の上方の筋肉、大きな耳輪、小さな耳輪、耳の横断筋、耳の斜筋、耳珠および対珠からなっている。上記のリストは完結している。方法の場合の耳筋肉は好ましくは、3つの外在的な耳筋肉の一つ、すなわち耳の前側の筋肉、耳の後側の筋肉、耳の上方の筋肉であり、後側の耳筋肉、すなわち耳の後側の筋肉が特に有利である。なぜなら、この筋肉が耳の後側に装着される補聴器の装着範囲内にあるからである。
耳筋肉は人の場合少なくとも今日では重要な機能をもはや発揮しない。しかし、多くの状況において、特に聴覚的な刺激に応じて脳によって作動を励起される。耳筋肉の実際の意図的な刺激はほとんどの人にとって不可能であり、大部分の人の場合、人の意図するアクションの際に耳筋肉組織が所定の方法で一緒に刺激される場合には、刺激が脳によって意図的に制御される。電極アレイによって検出される筋肉活動度は、方向づけ活動度、すなわち耳を方向づける目的を有する活動度であり、この努力は結果を結実しない。なぜなら、このような耳の方向づけは人の場合実際には不可能であるからである。耳筋肉組織によって耳を意図的に方向づける能力は、若干の動物の場合には存在する。現象は非特許文献1と非特許文献2に詳細に記載されている。本発明の範囲内では、人の場合に筋肉活動が適当な意図のときに行われるという認識が利用される。
筋肉活動度の測定、すなわち一般的には使用者の耳筋肉組織の活動度の測定あるいは耳筋肉組織の1つまたは複数の耳筋肉の行動は、本発明の中心思想である。この中心思想は、耳筋肉の筋肉活動度が使用者の脳によって惹起されているという認識、すなわち所定の刺激を有する所定の状況が存在するときに、脳によって、従って使用者によって、潜在的に重要な刺激が既に存在することを決定されるという認識に基づいている。音量、加速度等のような外部の作用のみを測定するセンサの場合、脳によって、すなわち使用者自身によって、予め決定することは不可能である。換言すると、意図、正確には使用者の聴取意図が耳筋肉の活動度と関連している。特に、使用者が例えば所定の方向において所定の音響信号を聴取する努力をする意識的な聴取意図の場合、耳筋肉組織が活動する。
すなわち、筋肉活動度では使用者の意図が符号化されている。なぜなら、筋肉活動度は反射作用だけでなく、非特許文献2に記載されているように、意志をもった努力の際にも生じるからである。従って、筋肉活動度は所定の方向でまたは所定の方法でまたは所定の刺激に応じて聴取しようとする使用者の意図の表現である。この聴取意図に基づいて、脳が耳筋肉組織を刺激する。従って、脳と耳筋肉は分類器のように作用する。すなわち、分類に応答して耳筋肉の方向づけのための筋肉活動が行われるように、実際の状況が脳によって分類される。本方法の場合、使用者の意志をもった使用者の聴取意図が耳筋肉組織の筋肉活動度から復号化され、補聴器を調整するために利用される。
補聴器の調整は使用者の周囲によってのみ直接惹起されることがないかまたは少なくとも惹起されることがなく、その際場合によっては使用者の意図とは無関係である。筋肉活動度が聴取についての実際の状況の所定の関連性を示すことが利用され、それによって調整が使用者の意図を知って行われ、使用者がこれをしようとするときに有利である。すなわち、耳筋肉組織の活動度に基づいて、使用者の意図が一緒に考慮され、それに基づいて補聴器の調整が行われる。この調整は結果的にきわめて必要に対応していてエラーが非常に少ない。誤った調整が回避されるので有利である。
筋肉活動度の測定の重要な点は、反射作用を測定するだけではないことである。すなわち、本方法では、爆音のような音響刺激に対する反射作用が、非常に複雑な筋肉活動度の個々の要素にすぎないことが認識される。耳筋肉組織は所定の刺激に対して反射作用のようにおよび時間的には点状に応答するだけでなく、状況に応じて例えば数秒の長い時間にわたって継続し、反射作用だけでなく上述のように使用者の意図の表現である。一般的に、例えば爆音のような突然の音響刺激を感じる際に、音響信号が耳に達した後25ミリ秒以下の時間内に、耳筋肉の反射作用が生じる。反射作用の範囲内では、非常に強い電位変化を耳筋肉で測定することができる。これは冒頭に述べた特許文献1において利用される。
しかし、本出願の方法の場合には、反射作用のような筋肉反応だけを測定するのではなく、さらに筋肉活動度、すなわち短時間の反射作用を超えて耳筋肉の応答行動が測定される。耳筋肉組織は簡単な反射作用から離れて、さらに非常に複雑な活動度プロファイルを示す。この活動度プロファイルは本方法の場合には、筋肉活動度を連続的に測定することによって測定される。本方法では、例えば筋肉活動度が反射作用のように個々の孤立した信号衝撃だけを有するのではなく、関連する信号衝撃の連続を有することが認められた。従って、反射作用測定と異なり、耳筋肉の全体の筋肉活動度が、所定の閾値に誘発されて監視されるのではなく、長い時間にわたって監視される。すなわち、耳筋肉の複雑な全体の活動度プロファイルを検出するために、長時間測定が行われる。「連続的に」とは特に、筋肉活動がセンサ信号自体によって誘発されて行われるのではなく、所定の測定時間にわたって行われることであると理解される。この所定の時間は特にセンサ信号とは関係がない。その際、長時間測定は繰り返して生じる複数の信号の平均値を求めるために役立つのではなく、複雑な活動度プロファイルを検出するために役立つ。この活動度プロファイルは、誘発された測定または短い測定の場合には一緒に検出されない。それによって、万一の反射作用から離れて、場合によっては持続する筋肉活動度が一緒に検出、測定および評価される。有利には、使用者が聴取しようとせずかつ聴取意図を示さない音響源は、補聴器によって考慮されず、そして補聴器がこの音響源の存在を他の方法で、例えばマイクロホン信号の分析によって、すでに決定しても、異なる調整につながらない。
長い時間にわたる耳筋肉の行動の測定により、センサ信号の複雑な信号経過が生成される。この信号経過は、センサ信号を分類するためおよび使用者の意図を復号化するために、パターンを調べられる。その際、調べられるパターンは非常に複雑であり、従って簡単な反射作用の場合よりも状況特有のものである。その際しかし、上述のような個々の反射作用は必ず無意味であるとは言えず、長い時間にわたる測定によって多数の反射作用が一緒に検出され、この反射作用は例えば反射作用グループとして評価され、この反射作用グループは場合によっては使用者の所定の意図を描写する。その際、長時間測定を反射作用の測定に限定しないで、耳筋肉の長時間行動を測定すると有利である。好ましくは反射作用測定全部が省略される。というのは、この反射作用測定では、反射作用だけが問題であるので、通常は使用者の意図が符号化されていないからである。
センサ信号は特に電圧である。この電圧は筋肉活動度に依存して、すなわち正確に言うと筋肉の電位に依存して変化し、例えばこの電位に比例する。センサ信号は分類器によって分類され、すなわち分類を受け、そしてセンサ信号をクラスに割り当てるために、既知の特徴ベクトルと比較される。センサ信号が前もってプレフィルタで予めろ波されると合目的である。この場合特に人工雑音が除去される。特徴ベクトルは一般的に複数の特徴のうちの幾つかを有する。この特徴は例えば所定の振幅、閾値、所定の経過、連続信号または所定の信号の存在のみまたは全体のセンサ信号内の信号成分である。センサ信号はこのような特徴に関して調べられる。特徴ベクトルの特徴が十分に明確に存在すると、すなわち誤差範囲内に存在すると、センサ信号内で特徴ベクトルが認識される。既知の各特徴ベクトルは所定の筋肉活動度に一致する。これは、使用者のそれぞれの意図が筋肉活動度内に所定のサインを発生するという考察に基づいている。このサインは特徴の数によって、それによって特徴ベクトルによって特徴づけられ、従って分類可能である。既知の各特徴ベクトルが使用者の意図に対応するので、センサ信号の分類と、センサ信号に含まれる特徴ベクトルの決定とによって、使用者の意図が復号化され、補聴器の制御コマンドとして使用される。特に一定の筋肉活動度の連続的な測定により、複雑で時間的に安定した特徴ベクトルが検出されるので、使用者の意図のきわめて細分化された認識が可能であり、かつ行われる。センサ信号の評価は特に100ミリ秒よりも短い小さな時間単位に限定されないで、より大きな時間目盛りで行われる。従って、複雑で持続する活動度も確実に検出される。
すでに示唆したように、特徴ベクトルの空間内に或る数のクラスが形成されている。このクラスには特徴ベクトルが割り当てられている。すなわち、既知の特徴ベクトルがそれぞれクラスに割り当てられている。センサ信号で決定される特徴ベクトル、すなわちセンサ信号の特徴ベクトルは、形成に応じて、すなわち具体的な特徴に応じて、クラスの1つに割り当てられる。クラスは類似の特徴ベクトルの量として生じる。その際、それぞれのクラスは特徴ベクトルの全体空間の部分空間をカバーする、すなわち同じ動作モードに割り当てられた十分に類似するすべての特徴ベクトルを含む部分量である。以下において、ときには簡略化して、用語「クラス」の代わりに、用語「既知の特徴ベクトル」を用いる。
好ましくはセンサ信号の組織化度またはエネルギあるいはその両方が特徴として使用される。組織化度の有利な計測単位はセンサ信号のエントロピである。このエントロピは時間の経過中の、特に測定時間空間内のセンサ信号の変化として定められる。この場合、例えば振幅の変化が調べられる。エネルギは時間の経過中の、特に測定の時間空間内のセンサ信号の積分として定められる。変形では、エネルギを決定するために、センサ信号が指数によって重みづけされる、すなわちより高いオーダーの規準、例えば二乗の規準が用いられる。低い規準はクラス内の小さな変化(英語でin class variance)をもたらすことになる。すなわち、個々のクラスの特徴ベクトルの数がわずかだけ変化し、それによって類似している。これに対して、高い規準は異なるクラスの間の小さな変化(英語でinter class variance)をもたらすことになる。すなわち、クラスに割り当てられた特徴ベクトルの類似性は小さくなる。もちろん、特徴ベクトルの相互の差異がことさら大きくなるので、微細な分解能のクラスを形成することができる。ここでは、できるだけ低い規準、特にL規準が有利である。
異なる周波数帯域で調べることによって、複数の既知の特徴がきわめて有利に求められる。すなわち、所定の測定時間空間内のセンサ信号が周波数空間内で分析され、複数の周波数帯域に分けられる。この周波数帯域はそれぞれ別々にそのエントロピ、エネルギまたはその両方が調べられる。両方を調べる場合、周波数帯域と同じほど多くの特徴が2回生じる。既知の特徴ベクトルは、1つまたは複数の特徴について所定の値、値範囲、閾値、限界値、変化パターン、経過等によって表される。
耳筋肉の回答行動は特に連続的に監視され、その際連続的なセンサ信号を発生する。このセンサ信号の経過は、短時間測定の場合あるいは複数の短い時間窓にわたって平均値を求める場合よりはるかに多くの分析を可能にする。「より長い時間」とは好ましくは耳筋肉の個々の反射作用よりも長い時間、すなわち測定時間であると理解される。この時間は特に25ミリ秒よりも長く、好ましくは100ミリ秒よりも長く、そして1秒よりも長いと特に有利である。この場合、既知の特徴ベクトルは測定時間全体にわたってセンサ信号を調べられる。それによって、特徴ベクトルも確実に認識される。この特徴ベクトルは持続するより長い筋肉活動度を表す。これは、特徴ベクトルが1つの個々の特徴あるいは同時に存在するこのような特徴を含まないで、耳筋肉の複雑な活動度プロファイルの範囲内で時間的にずれた特徴が個々の意図によって誘発され、この意図に割り当て可能であるかまたはそれとは逆に意図が時間的に離れた特徴によって定義されているという考察に基づいている。より長い全体の測定時間を調べることにより、筋肉活動度の所定のダイナミクスを表し、短い反射作用だけを表さないこのような特徴ベクトルも認識される。その際、上限は基本的には設けられないがしかし、測定時間が10秒よりも長くないと合目的である。なぜなら、一方では、互いに離れている反作用が通常は互いに緊密な関係ではなく、従って通常は評価に関して付加価値を有していないからである。他方では、長すぎる測定時間によって、補聴器の応答速度が非常に遅くなり、補聴器が時間的に使用者の意図を非常に遅れて認識し、時間的に遅れて反応するからでる。時と共に一緒に移動するいわゆるローリング時間が特に合目的である。
耳筋肉組織の筋肉活動度の監視は多数の使用可能性を提供する。上記の分類は特に、新しい筋肉ベクトルを学習するための後述する構想と組み合わさって、耳筋肉の各々の活動に対する反応を可能にする。
要するに、耳筋肉組織がそれぞれの活動の際に耳の方向づけ活動を行うよう努めるので、筋肉活動度の監視は補聴器の方向づけ特性、略して指向特性を調整するため、すなわち指向性聴取を適合させるために非常に適している。指向性聴取の際、所定の方向、すなわち聴取方向からの音響信号が残りの音響信号に対して増幅されるように、補聴器は検知した周囲の音響信号を使用者に出力する。それによって、聴取方向からの音響信号は有利に再生される。有利な実施形態では、補聴器が指向性聴取を行うように形成され、補聴器の指向特性が筋肉活動度に基づいて調整される。それによって、所定の方向の音響源が強調される。指向特性は特に、幅と角度によって定められる指向ローブである。指向ローブ内の音響源は補聴器によって、指向ローブの外にある音響源よりも強く増幅される。角度は、使用者に対してどの方向に指向ロープが向けられているかを表す。幅は、指向ローブがどのような角度範囲をカバーしているかを表す。角度と幅はそれぞれ、共に動作モード「所定の聴取方向の指向性聴取」を形成する動作パラメータである。
筋肉活動度に依存して指向特性を調整する際、筋肉活動度が耳の進化生物学的な方向づけを生じ、それによって所定の方向の聴取の意図が耳筋肉の筋肉活動度で符号化されていることが利用される。耳の方向づけは既に述べたように実際には発生しない。しかし、耳筋肉に対する制御信号が存在し、相応するシグネチャを有する。このシグネチャは対応する活動度プロファイルを生じ、通常は使用者特有のものである。このシグネチャ、すなわち付属の特徴ベクトルを知ることにより、指向性聴取の意図が認識される。その際、変形では、指向性聴取が所望されることが認識されるだけでなく、使用者の意図している聴取方向も認識される。同じことが指向ローブの幅についても当てはまる。
指向性聴取の場合のシグネチャは特に、信号ピークの連続からなっている。すなわち、センサ信号は所定の、定められたおよび特に一定の間隔をおいて、増大した振幅を有する。指向性聴取の際好ましくは、センサ信号から信号ピークの連続が調べられる。指向性聴取の場合、間隔は特に、信号ピークが周波数空間内で高周波の、特に500〜1000Hzの信号成分を生じるように定められている。
非常に有利な実施形態では、補聴器が両耳型補聴器であり、使用者の頭の異なる側での装着のために、2個の単一機器を備えている。それぞれの側で各電極アレイによってそこの耳筋肉の筋肉活動度を測定することにより、実際の状況が認識される。この構造において、2つのセンサ信号が供され、それによって全体として多くの情報、すなわち特徴が、使用者の意図を分類するためおよび適切な動作モードを改善して選択するために供されると有利である。しかし基本的には、モノラル型補聴器も適している。この補聴器は使用者の一方の耳にのみ供給するための単一機器を1個備えている。
好ましくは、センサ信号を互いに独立して分類することにより、筋肉活動度が両側で先ず最初に別々に評価される。続いて、結果が一致すると、補聴器が調整される。特に結果が一致する場合にのみ、補聴器が調整される。比較に基づいて決定が求められる。決定を求める際、結果は無関係に評価された2つのセンサ信号の比較に依存する。両分類器はそれぞれ互いに無関係に分類結果を提供し、両分類結果が互いに比較される。両分類結果が互いに一致すると、補聴器はそれに相応して調整される。換言すると、動作モードは先ず最初は、両センサ信号を別々に分類することにより、冗長的に決定される。それによって、2つの動作モードが決定される。両動作モードが同じである場合、すなわち両側で同じ意図が認識された場合、一致する動作モードが生ずる。そうでない場合には、特に補聴器の調整が筋肉活動度に依存して行われない。これにより、エラー評価が防止される。変形では、混合動作が生じる。この混合動作は言わば、決定された両動作モードの混合としての妥協として生じる。
これに加えてまたは代わりに、センサ信号を互いに独立して分類することにより、両側の筋肉活動度が先ず最初に分離して評価される。そして、結果が異なる場合、一方の単一機器を固有の結果に逆らって他の単一機器の結果に基づいて調整することにより、単一機器が同期化される。結果、正確には分類結果が異なる場合、異なる最適な動作モードが決定される。上述のように結果が一致する場合にのみ調整を行う代わりに、センサ信号の評価の分散した結果の場合にも、できるだけ最適な動作モードを生ずるために、単一機器の両結果の間の統一を達成することが試みられる。例えば結果が異なる場合に、両結果のどちらを使用するかおよびどの動作モードを生ずるかを決定するために、さらに追加センサが評価される。その代わりにまたはそれに追加して、両単一機器の一方が予め調整され、例えばトレーニング法で練習し、そして結果が異なる場合、予め調整した単一機器によって決定された動作モードを生ずることにより、他方の単一機器の練習を行う。
上述の両耳型補聴器は特に、指向性聴取、すなわち指向された聴取の範囲内で指向特性を上述のようにさらに調整するために適している。
指向性聴取のための適切な実施形態では、両センサ信号のどちらがより高い組織度合またはより高いエネルギを有するかを調べることにより、好ましいことに使用者の意図している聴取方向、すなわち意図が特に質的に決定される。この側に音響源がある。そして、指向特性は聴取方向に調整される。これは、側方の音響源の場合、正面に位置決めされていない音響源および中央に位置決めされていない音響源の場合、耳を相応する側で方向づけすればよい、すなわちこの側で耳筋肉組織の特別な刺激を測定することができ、他の側は十分に静かであるので、センサ信号は小さな組織度合を有するという考察に基づいている。従って、聴取意図のこの質的な決定は少ししか使用者特有のものではなく、それによって生成可能であるので有利である。「より高い組織度合」とは一般的に、相応するセンサ信号において、多くの特徴または何らかの特徴が見いだされることと、特に一方の側のエントロピが1つまたは複数またはすべての周波数帯域で、他方の側よりも大きいことであると理解される。「より高いエネルギ」とは、1つまたは複数またはすべての周波数帯域のエネルギが一方の側でより高いことであると理解される。この場合、エネルギは特に上述のように測定される。
上述の質的な調査の代わりにまたはそれに追加して、意図している聴取方向が量的に決定される。すなわち、指向ローブの方向または幅あるいはその両方が決定される。そのためにさらに、筋肉活動度が評価される。その際、センサ信号は上述のように両側で冗長的に評価されるかまたは一緒にまたは両者を組み合わせておよび例えば順々に評価される。一緒の評価の場合、特徴ベクトルは両側の特徴からなっている。すなわち、両側をカバーする特徴ベクトルをセンサ信号内で決定するためおよびこの特徴ベクトルを既知の特徴ベクトルと比較するために、両側の特徴が組み合わされて使用される。これにより、特徴数が増えるので有利であり、適切な動作モードの決定は特有のものである。
しかし、耳筋肉の方向確認活動度では、聴取意図だけしか符号化されず、耳筋肉の方向づけは使用者の顔の表情の一部としてとらえることできる。特に、顔の表情の変化または個々の顔部分の動きが耳筋肉組織に作用する。この場合、話すときおよび顔の表情を作るときの耳筋肉の筋肉活動度が重要である。
有利な実施形態では、話すときの筋肉活動度が自己音声検出のために用いられる。筋肉活動度に基づいて、使用者自身が話している自己音声状況が認識される。調整される動作モードは自己音声低減である。この自己音声低減の場合、補聴器の出力信号内の自己音声部分が低減され、特にろ波される。両耳型補聴器の場合、これは好ましくは、両耳の差し引き勘定によって、すなわち使用者の頭の両側のマイクロホン信号の適切な組合せによって行われる。
合目的な発展形態では、自己音声状況自体が認識されるだけでなく、正確に言うと、言語認識が行われることも認識される。自己音声部分はきわめて適切にかつ効果的に低減されるかまたは全部を除去される。第1変形では、言語認識が追加センサによって行われ、筋肉活動度に基づく自己音声認識が、言語認識を補助する付加的な情報として役立つ。これは、付加的なセンサ、例えばマイクロホンが事情によっては自分の音声と外部の音声を最適に区別できないという考察に基づいている。付加的な情報としての自己音声認識は、外部の音声と自分の音声が正確に区別されるように、言語認識を補助する。言語認識は例えば分類器によって実施される。この分類器がマイクロホン信号が調べるので、筋肉活動度の付加的な考察によって他の特徴が提供され、これにより分類器が補助される。付加的に使用可能である第2変形では、言語認識が筋肉活動度に基づいてのみ行われ、追加センサを補助するために行われない。すなわち、使用者が話すこと、特に使用者によって話されることが筋肉活動度から直接決定されるように、センサ信号が評価される。
その代わりにまたはそれに追加して、言語認識によって、もしかすると妨害信号または他人音声を含んでいるマイクロホン信号の評価を必要とせずに、補聴器を言語コマンドを介して調整する言語認識が実現される。
有利な実施形態では、筋肉活動度に基づいて使用者の顔の表情が認識され、この顔の表情が所定の動作モードを調整するための制御コマンドとして使用され、この所定の動作モードが前記制御コマンドに割り当てられる。すなわち、筋肉活動度は単独で補聴器の制御コマンドとして役立つ。使用者は認識される所定の筋肉活動度によって招かれる顔の表情を作る。
それによって、感情、ひいては他の意味の意図も認識可能であり、それに基づいて適切な動作モードを選択することができる。変形では、筋肉活動度に基づいて使用者の感情が決定され、この認識からさらに意図が導き出される。その際、感情が耳筋肉も影響を及ぼす所定の顔の表情に現れることが利用される。
きわめて有利な実施形態では、センサ信号が既知の特徴ベクトルに類似する特徴ベクトルを有する場合に、筋肉活動度に基づいて補聴器の誤った位置決めが認識される。それによって、補聴器が正しく装着されているかどうかあるいは設定された装着位置からのずれがあるかどうかが確実に認識される。その際、「類似する」とは特に、センサ信号から見い出された特徴ベクトルが既知の特徴ベクトルとある程度一致することと、この特徴ベクトルに対するずれが許容誤差よりも大きいことであると理解される。この許容誤差内では、センサ信号の特徴ベクトルが既知の特徴ベクトルと一致していると見なされる。これは例えば、両特徴ベクトルが若干の特徴でのみ一致しているかあるいは若干またはすべての特徴がややずれた値を有する場合である。
適切な実施形態では、誤った位置決めを確かめるために、両特徴ベクトルがその振幅を互いに比較される。そのために、例えば各々の周波数帯域のエネルギが特徴として使用される。これは、電極アレイの正しくない位置決めの場合一般的に電極が耳筋肉からさらに離れた位置にあり、それによってセンサ信号が全体的に弱くなるので、特徴も相応して弱くなるという考察に基づいている。これとは逆に、全体的に強いセンサ信号が測定されるように、電極アレイが普通の装着位置に対して位置することもあり得る。
その代わりにまたはそれに加えて、両特徴ベクトルの規則性が決定および比較される。規則性は特に、個々の周波数成分が互いにどのように関連しているか、すなわち2つの周波数成分が互いにどのような比であるかを示す。このためにも、2つの周波数帯域のエネルギを対比することにより、先ず最初に特徴ベクトルの規則性を決定し、そして既知の特徴ベクトルの規則性とセンサ信号内の特徴ベクトルの規則性を互いに比較するために、例えば個々の周波数帯域のエネルギが使用される。その場合、誤った位置決めを認識するために、センサ信号内の特徴ベクトルの実際の規則性が既知の特徴ベクトルの目標規則性と比較される。
誤った位置決めの認識の範囲内では、既知の特徴ベクトルは特に予想される特徴ベクトルである。すなわち、センサ信号を調べる際に、既知の特徴ベクトルが予想されるがしかし、これとは異なる既知の特徴ベクトルが見いだされる。合目的な発展形態では、既知の特徴ベクトルが複数の既知の特徴ベクトルから、予想される特徴ベクトルとして選択される。これは、どの動作モードが生じているかあるいはどのような状況が実際に存在するかを付加的に認識することにより、および動作モードまたは状況に割り当てられた既知の特徴ベクトルを選択することにより行われる。誤った位置決めの認識の際、どの特徴ベクトルがセンサ信号内で予想されるかを確かめるために、実際の状況または実際の動作モードの情報が利用される。動作モードまたは実際の状況が追加センサ、例えばマイクロホンによって決定されると合目的である。このマイクロホンの信号は聴覚分析される。
合目的な発展形態では、誤った位置決めの尺度が実際値として閉ループ型制御回路に供給されることにより、誤った位置きめが認識および訂正される。尺度として例えばセンサ信号内の実際の特徴ベクトルが使用されるかまたはセンサ信号内の特徴の数の所定の値が使用される。最適な位置決めに対応する既知の特徴ベクトルは特に、閉ループ型制御回路の目標値である。誤った位置決めが存在し、それによって使用者は位置決めを適合させるべきである場合には、警告が出力されると合目的である。
使用者の意図の認識に基づいて筋肉活動度の測定によって任意の調整が実現可能であると有利である。指向特性の調整については既に述べた。既に説明した実施形態の範囲内であるいはその代わりにまたはそれに加えて、動作モードとして所定の増幅スキーマ、所定の増幅スキーマ、すなわち周波数圧縮スキーマ、雑音抑制または他のアルゴリズムまたはこれらの組合せが調整される。このような調整は特に上記の他の自己音声認識と組み合わせると有利である。なぜなら、自己音声状況では一般的に、動作モードの変化が重要であるからである。自己音声状況の交替または或る自己音声状況への交替の際、例えば上述のように自己音声部分を抑制する調整が行われると合目的である。顔の表情を認識する際にも、最も予想される変化した状況に対応するために、動作モードの調整または適合が重要である。
筋肉活動度に基づく補聴器の調整は自動で行われる。特に使用者が手動入力によって自動認識の結果を上書きすることにより、選択された調整が阻止可能であると合目的である。
既知の特徴ベクトルに基づく使用者の意図の復号化に加えて、今まで知られていない新しい意図を今後認識するために、新しい特徴ベクトルの検知または記録が行われると有利である。方法は学習法を含んでいる。この学習法では、補聴器が新しい特徴ベクトルを学習し、既知の特徴ベクトルとして記憶する。これは、耳筋肉組織の筋肉活動度が使用者毎に少なくとも部分的に異なっていて、使用者が異なる場合同じ意図が異なる特徴によって表されるという認識に基づいている。これとは逆に、基本的には、異なる使用者の場合の同じ特徴ベクトルは異なる意図に起因し得る。新しい特徴ベクトルを検知することによって個別的な適合が行われる。適切な実施形態では、或る数の新しい特徴ベクトルが検知、すなわち記録され、そして同じ数の既知の特徴ベクトルとして記憶される。それに続いて、既知の、従って学習したこの特徴ベクトルで、センサ信号を調べることができる。
きわめて有利な実施形態では、新しい特徴ベクトルを学習するために、センサ信号が特徴抽出器によって特徴を付加的に抽出され、この特徴抽出の際、付加的な既知の特徴ベクトルとして記憶される新しく特に個別的な、すなわち使用者特有の特徴ベクトルが発生させられる。従って、センサ信号から新しい特徴ベクトルが抽出されて記憶され、その後この特徴ベクトルを既知の特徴ベクトルとして用いることができる。新しい特徴ベクトルは学習済みの特徴ベクトルである。補聴器は、今後分類のために供される新しいクラスを定めて学習する。
新しい特徴ベクトルを検知するために、トレーニング法が実施されると合目的である。このトレーニング法の範囲内では、使用者の所定の意図がトレーニング状況においてわざと呼び出される。例えば筋肉活動度を生じる所定の刺激によって、その特徴が新しい特徴ベクトルとして記憶される。付属する意図はトレーニング状況に基づいて適切に呼び出され、それによって十分に知られているので、確実な割り当てが保証される。変形では、トレーニング法が聴覚で実施される。その代わりにまたはそれに追加して、トレーニング法は使用者自身によって実施され、例えばトレーニングソフトウェアまたは補聴器のトレーニングモードによって補助して実施される。いろいろな意図を、いろいろな状況および周囲で、すなわち特有の状況に応じて確実に認識するために、トレーニング法はいろいろな状況および周囲で適切に実施される。
既知の特徴ベクトル、すなわちクラスは基本的にはいろいろな方法で定めることができる。一方では、特徴ベクトルは補聴器の製作時に既に工場側の特徴ベクトルとして定めることができる。このような工場側の特徴ベクトルはその原理に起因して、その都度の使用者の耳筋肉の個別的な回答行動を考慮せず、従って特に使用者に関係なく生じる特徴ベクトルに限定される。他方では、使用者のためのトレーニング法、例えば個別的なフィッティングセッションの範囲で述べたような他の特徴ベクトルが付け加えられる。この場合、適切な所定の刺激が使用者に提供され、そして個別的な回答行動が測定される。結果として生じるセンサ信号から、提供された刺激に関する新しい個別的な特徴ベクトルと、付属する意図が導き出され、記憶される。変形では同じように、既に知られた特徴ベクトルが適合させられる、すなわち既知の特徴ベクトルの微調整が行われる。
適切な実施形態では、既知の特徴ベクトルが、例えばサーバに格納された外部のデータバンクから読み出される。すなわち、既知の特徴ベクトルは最初は補聴器に記憶されておらず、補聴器によって外部のデータバンクに照会されるかまたはこのデータバンクから自動的に伝送される。外部のデータバンクは特に、多数の既知の特徴ベクトルを含み、そして中央の記憶場所としての働きをする。新しい特徴ベクトルが外部のデータバンクに記憶され、他の使用者のために提供可能であると合目的である。それによって、学習時間、すなわち新しい特徴ベクトルの抽出時のコストを大幅に低減することができる。筋肉活動度は非常に特有のものであるが、方法は他の使用者に関連して決定された筋肉ベクトルから利益を得る。新しい筋肉ベクトルの認識時に他の使用者の特徴ベクトルが開始値として用いられ、この開始値が使用者毎に最適化される。外部のデータバンクにおける特徴ベクトルの記憶はさらに、メタ分析を可能にする。このメタ分析によって、一般化可能な特徴ベクトルが決定される。すなわち、全く使用者特有のものではないかまたは少ししか使用者特有のものではない特徴ベクトルが決定されるので有利である。従って、一般化された特徴ベクトルを決定するために、多数の使用者の新しい特徴ベクトルが外部のデータバンクに集められて一般化される。一般化された特徴ベクトルは既知の特徴ベクトルとして個々の使用者に供され、その補聴器の作動時にセンサ信号を分類するために使用される。
個々の特徴ベクトルが機械学習法によって自動的に学習される実施形態は特に有利である。それによって、学習した特徴ベクトルが発生および記憶され、そして後続の分析時に既知の特徴ベクトルとして一緒に考慮される。筋肉活動度の分析は機械学習法に非常に適している。なぜなら、筋肉活動度がきわめて特有のものであり、それによって一般化が制限されるからである。これに対して、マイクロホン信号に基づく雑音環境の分類は非常に簡単に一般化可能である。なぜなら、その都度の雑音環境が所定の雑音によって、従って先に知られた特徴ベクトルによって特徴づけられるからである。しかし、使用者の脳の仲介によって個別的に発生した耳筋肉の回答行動は、きわめてまれの場合に所定の状況について、使用者に関係なく同じである特徴ベクトルを発生する。機械学習法の場合、使用者特有の特徴ベクトルのセットが生じる。
機械学習法は学習機械によって実施される。この学習機械は好ましくは、補聴器の制御ユニットの一部であり、特に有利には補聴器のケース内に組み込まれている。その代わりにまたはそれに加えて、学習機械は外部に、例えば使用者のスマートホンまたはサーバに配置されている。
特徴抽出のために非常に適した機械学習法は非特許文献3に記載されている。そこに記載された方法は好ましくは同様に、分類のため、すなわち既知の特徴ベクトル、特に前もって特徴抽出によって学習した特徴ベクトルの認識のために、センサ信号において使用される。従って、分類器はサポートベクターマシン(略してSVM)によって実現されている。このSVMは機械学習法の範囲内でいろいろな特徴ベクトル、すなわちいろいろな動作モードに割り当てられたクラスを、最大限互いに弁別し、それによってきわめて確実な分類、既知の特徴ベクトルの認識を保証する。この利点は同時に、特徴抽出の役に立つ。なぜなら、学習した新しい特徴ベクトルが自動的に最適に区別可能であるからである。
有利な実施形態では、新しい特徴ベクトルが命令を有する機械学習法で発生させられる。すなわち、学習機械は学習法でトレーニングされる。まだ知られていない特徴ベクトルを有する所定の状況に、所定の動作モードが割り当てられる。それ自体知られた状況のためのそれ自体知られた動作モードが筋肉活動度の認識によって調整可能になる。この場合、独自の筋肉活動度はまだ知られていない。機械学習法の範囲内で、特にトレーニング法で、所定の状況が実際の状況として作成され、それによって使用者の意図が呼び起こされる。この意図は、決定されて動作モードに結びつけられる特徴ベクトルによって特徴づけられている。そのために、特徴抽出器は、センサ信号における幾つかの未知の特徴を独自に探す。未知の特徴は新しい特徴ベクトルにまとめられ、この新しい特徴ベクトルは所定の動作モードに割り当てられる。新しい特徴ベクトルは学習した特徴ベクトルであり、その後は既知の特徴ベクトルとして供される。
機械学習法では、特徴が最初から設定されていないで、特徴抽出器によって独自に決定されることが重要である。そのために、特徴抽出器はセンサ信号のパターンまたは規則性を調べ、そして特に組合せが既知の特徴ベクトルに一致していない特徴を調べる。それに対して変形では、既知の特徴ベクトルの表現を繊細化するかまたは適合させるために、既知の特徴ベクトルに類似する特徴を調べる。そのために調節される状況が、付属する意図を介して改善すべき特徴ベクトルに割り当てられる状況であると合目的である。
非常に有利な実施形態では、機械学習法が、特に上記のように、補聴器の通常動作で、すなわち日常の装着の際および特別なトレーニング状況の外で実施される。特徴抽出器は、センサ信号にまだ既知ではない新しい特徴または特徴ベクトルが含まれているかどうかを連続的に調べる。同時に、実際の状況または実際に生じている動作モードあるいはその両方が検出され、特徴ベクトルに割り当てられる。これは、それぞれの状況が使用者の所定の意図を再生可能に発生し所定の動作モードを必要とするという考察に基づいている。この状況または動作モードまたはその両方にとって特徴的である特徴ベクトルを検知することにより、その後状況が確実に再認識され、適切な動作モードが生じる。
追加センサによるハイブリッド分析の範囲内で、実際の状況が既に既知の動作モードに割り当てられた既知の状況であるかどうかが認識され、実際の状況が既知の状況に一致する場合、新しい特徴ベクトルが既知の動作モードに割り当てられる。それによって特に、補聴器が筋肉活動度と実際の状況との間の新しい割り当てを自動的に発生する学習法が実現される。所定の状況および所定の動作モードに対する特徴ベクトルの割り当ての問題が追加センサによって解決されるので、方法はトレーニング法の外でも実施可能である、すなわち状況を外部から識別しなくてもよい。というよりは、追加センサ、実際の状況を分類し、最適な動作モードを識別するために使用される。必要な動作モードが認められ、新しい特徴ベクトルに割り当てられる。追加センサは例えばマイクロホンである。このマイクロホンは、実際の状況を分類し、適切な動作モードを選び出すために聴覚分析されるマイクロホン信号を発生する。この状況のために筋肉活動度と相応する特徴ベクトルが学習された後で、面倒な聴覚分析をしないで、その後の認識が迅速かつ簡単に行われる。その代わりにまたはそれに追加して、EEG測定我実施される。そのとき、追加センサは幾つかのEEG電極である。追加センサとしては加速度センサが適している。
有利な実施形態では、既知の特徴ベクトルがニューラルネットワークに組み込まれ、センサ信号の特徴ベクトルが決定され、かつニューラルネットワークの入力信号として使用されることにより、ニューラルネットワークによって、センサ信号が既知の特徴ベクトルを有するかどうかが調べられる。ニューラルネットワークの重要な利点は特に、このニューラルネットワークは命令を有する学習法において強制的にトレーニングする必要がなく、命令なしに学習および作業することができることにある。既知の特徴ベクトルはメモリに格納されないで、ニューラルネットワークのトポロジに組み込まれる。
特に追加センサを備えた上述の構造と関連して、機械学習法は命令なしに実現可能である。すなわち、学習機械はトレーニングする必要がなく、追加センサの助けを借りて完全に自動で学習する。特に既知の特徴ベクトルのための別個のメモリが省略される。むしろ、ニューラルネットワークに組み込まれた特徴ベクトルが実際的な動作モードに割り当てられる。換言すると、先ず最初に、実際の状況がすでに既知の動作モードを割り当てた既知の状況であるかどうかが追加センサによって認識される。ニューラルネットワークがセンサ信号の特徴ベクトルを認識する場合、すなわちセンサ信号の特徴ベクトルと一致する特徴ベクトルがニューラルネットワークに組み込まれている場合、この特徴ベクトルが既知の動作モードに割り当てられる。すなわち、機械学習法では、追加センサの助けを借りて、命令なしに、動作モードに対する組み込まれた特徴ベクトルの割り当てが発生する。これは、追加センサによって実際の状況を決定し、そして組み込まれた特徴ベクトルをこの実際の状況に割り当てることにより行われる。従って、学習した、すなわち割り当てた特徴ベクトルがセンサ信号内で新たに発見されるときに将来調整される、状況に適した動作モードにも割り当てられる。組み込まれた特徴ベクトルは学習法によって既知の特徴ベクトルになる。
命令を有する機械学習法に類似して、命令を含まない機械学習法が補聴器の通常動作で実施されると合目的である。ニューラルネットワークを有する実施形態の場合、このニューラルネットワークは組み込まれた特徴ベクトルをそれぞれ所定の動作モードに割り当てることを自動的に学習する。これは例えば上述のような追加センサによってあるいは使用者の決定フィードバックによって行われる。
非常に適切な実施形態では、特徴抽出器と分類器が共に信号処理部に組み込まれ、特徴抽出と分類が個々の最適化問題として処理される。分類器と特徴抽出器は共に、センサ信号においてある数の特徴、ひいては特徴ベクトルを識別する個々の特徴認識を用いる。それによって、センサ信号の全体評価が一方では非常にコンパクトであり、他方では有利な共同作用が利用される。この共同作用は分類と特徴抽出が組み合わさったときに生じる。なぜなら、一方では新しい特徴ベクトルを発生し、他方では既知の特徴ベクトルを認識するために、センサ信号から特徴を1回抽出し、既知の特徴ベクトルと比較すればよいからである。それによって、信号処理技術的なコストが最小限に低減される。特徴抽出器はさらに、分類器によって非常に簡単に認識可能な特徴、ひいては特徴ベクトルを抽出するように作動させられると有利である。分類器と特徴抽出器が同じ特徴認識を利用するので、両者は互いに最適に調和させられる。
センサ信号は好ましくはフィルタバンクによって多数の周波数帯域に分配される。この場合、各周波数帯域は或る数の特徴を形成する。個々の周波数帯域のエントロピとエネルギに基づいて上記のように特徴を調べることは、周波数帯域の各々についてエントロピ測定またはエネルギ測定またはその両者が実施されるように、フィルタバンクによって行われる。その際、各エントロピ測定またはエネルギ測定は特徴を示し、特徴は共にセンサ信号の特徴ベクトルを形成する。フィルタバンクはきわめて効率的であり、特に個々の最適化問題として特徴抽出および分類を処理するために適している。特徴が新しい特徴ベクトルを形成するために、分類のために使用されるフィルタバンクから取りだされるので、1回学習した特徴ベクトルがきわめて確実に再認識される。
機械学習法は好ましくは非特許文献3または非特許文献4に記載されたハイブリッドのウェイブレット−カーネル(Wavelet−Kernel)学習アルゴリズムによって実施される。学習アルゴリズムは最適な特徴を抽出するために、基礎となるウェイブレットの動的適合に基づいている。これはきわめて有利である。なぜなら、特徴自体が強制的に認められて定められておらず、その上通常は使用者特有のものであるからである。従って、機械学習法の場合、特徴の定義、すなわち具体的にはフィルタバンクが例えば個々の周波数帯域の限界周波数に関して適合されると有利である。その際、フィルタバンクはパラメータ化されたフィルタバンクである。これにより定められた特徴と、この場合に構成されたフィルタバンクは自動的に、分類のため、すなわち上述の信号処理によってセンサ信号を調べるために適している。
フィルタバンクは好ましくはパラユニタリフィルタバンクである。2つの周波数帯域を有するパラユニタリフィルタバンクは、非特許文献3の第382頁に、特に方程式(18)と(19)で定義されている。格子構造(英語でlattice structure)を有する非常に適したフィルタバンクは上記非特許文献3の方程式(22)に記載されている。上記非特許文献3で言及された角度はフィルタバンクのパラメータとして役立つ。このフィルタバンクはパラメータ化されて有利に適合可能なフィルタバンクである。
適切な実施形態では、フィルタバンクは10個の周波数帯域を備えている。フィルタバンクの周波数帯域は好ましくはそれぞれオクターブ幅である。それは特に、各周波数帯域が上側の帯域限界周波数と下側の帯域限界周波数を有することであると理解される。この場合、上側の帯域限界周波数は下側の帯域限界周波数の2倍の大きさである。その際、周波数帯域はきっちりとオクターブ幅でなくてもよく、10%までの偏差があっても同様に適している。きわめて合目的な実施形態では、特徴が非常に明確になるように、帯域限界周波数を個々の特徴に関して選択することにより、帯域限界周波数が上述のようにパラメータ化によって適合される。
適切な実施形態では、フィルタバンクが4Hzの下側の限界周波数と1kHzの上側の限界周波数を有し、それによって前記筋肉活動度が4Hzから1kHzまでの周波数範囲内で調べられる。
適切な実施形態では、両耳型補聴器において、個々のフィルタバンクが両センサ信号を分析するために使用される。そして、フィルタバンクは機械学習法によって特に、フィルタバンクが両方向を区別するように、すなわちフィルタバンクがそれぞれ左側または右側に割り当てられるある数の特徴を抽出するようにトレーニングされる。しかしその代わりに、2つの別個のフィルタバンクが使用される、すなわち各単一機器のために1つのフィルタバンクが使用される。
センサ信号を発生するために、電極アレイは少なくとも双極に形成されている、すなわち少なくとも2個の電極を備えている。この電極の間で電位差が測定される。基本的には、2個よりも多い電極を備えた電極アレイも適している。臨床環境でのEMG測定のためには、頭全体に分配配置された例えば128個の電極が使用される。電極の1つが、基準電位を提供する基準電極として使用されると合目的である。この基準電位に対して、他の電極によってそれぞれ双極構造で電位が測定される。換言すると、電極のその都度1個と基準電極の間で電位差が測定される。
ここで、電極アレイはできるだけコンパクトに形成されている。そのために、適切な実施形態では、電極アレイが耳筋肉組織の範囲内にのみ配置されている。すなわち、これに関連して、電極アレイは耳から、正確に言うと耳介から最大で5cm、好ましくは最大で2cm離れている。それによって、電極アレイが使用者の頭の小さな部分にわたってのみ分配され、従って非常に普段使用に適していることが保証される。
有利な実施形態では、電極アレイが多くても5個、好ましくは2個の電極を備えている。電極の数のこのような制限は、電極アレイをコンパクトにするためおよび補聴器と方法を普段使用可能にするために寄与する。特に臨床環境と比べて電極数を低減することは、耳筋肉組織の筋肉活動度を測定するために、制限された数の電極で十分であるという考察に基づいている。特に機械学習法との関連においては、筋肉活動度を十分に正確に測定するためおよびその際異なるクラスの間で十分に細分化できるようにするためには、小数の電極しか必要としない。
2個の単一機器を備えた両耳型補聴器の場合、好ましくは2個の電極アレイが設けられている、すなわち各単一機器のために1個の電極アレイが設けられている。上述のように小数の電極を備えた電極アレイを単一機器あたり1個のみ使用することは、EMG測定の方策によって初めて可能になる。なぜなら、上述のように、十分にろ波され増幅された信号が存在するからである。さらに、電極アレイはそれぞれ耳筋肉上に配置され、それによって補聴器の近くに配置される。電極アレイは補聴器に組み込まれ、特に補聴器のケースの一部として設けられていると合目的である。それによって、使用者にとって装着快適性が非常に高い。外観に対する影響も最小限に抑えられる。この両者により、日常使用がはるかに容易に可能になる。これは特に、高価な装置を使用して聞く場合のフィッティングセッションの範囲だけでなく、日常で、すなわち補聴器の通常動作で気づかれずにかつ目立たずに、EMG測定を可能にする。
電極アレイが電極に加えて、基準電極としての電極を備えていると合目的である。それによって特に、残りの電極の機能を監視し、電極の信号のための基準を提供することができる。換言すると、電極アレイは多数の電極を備え、この電極のうちの1つが基準電極として形成されている。この基準電極によって、基準信号が使用者の各々の耳筋肉から離れて測定される。センサ信号が分類器または特徴分析のために特徴抽出器に供給される前に、センサ信号が基準信号によって処理され、例えば背景雑音から解放されるかまたは標準化される。基準電極を乳様突起、すなわち側頭骨の乳頭部分に取り付けることが特に合目的である。これは十分な基準を保証する。さらに、基準電極はそこに十分に気づかれないように装着可能である。基準電極は耳の近くに適切に取付け可能であり、作動中取付けられるがしかし、耳筋肉の1つには取付けられない。
上記の実施形態の組合せが非常に有利である。この実施形態の組合せでは、電極アレイが1個の電極と1個の基準電極、すなわち全部で2個の電極を備え、この電極の両方共補聴器のケースに組み込まれ、従ってそれぞれ使用者の耳の近くに配置されている。
電極アレイの電極および場合によっては基準電極は好ましくはそれぞれ外側電極として形成されている、すなわち使用者の頭の外側に配置された電極として形成されている。その代わりに、インプラントとしての1個または複数の電極の形成も適している。適切な変形では、それぞれの電極が上述のように補聴器のケースに組み込まれている。しかし、信号を信号処理部に伝送するために、信号導線を介してまたは無線で接続された別個の電極として形成してもよい。
耳筋肉で測定するための電極アレイが例えば頭皮の外側にある耳筋肉に取付けられ、そして頭皮の下にある耳筋肉で直接測定すると合目的である。その代わりにあるいは上記との組み合わせでは、電極アレイが耳道内に配置され、すなわち頭の外側に配置され、そしてインプラントとして形成されないで、耳道内に挿入されている。これは、ここでも耳筋肉の応答行動が測定可能であるという思想に基づいている。このような形成は特にイン−耳−補聴器、すなわち全体または一部が耳道内に装着される補聴器に特に適している。
補聴器は上述のしたような方法を実施するように形成された制御ユニットを備えている。好ましくは分類器と特徴抽出器が制御ユニットの一部である。学習機械が制御ユニットの一部であると合目的である。それに対して変形では、分離器、特徴抽出器または学習機械またはこれらの組合せが、信号伝送のために補聴器に接続された外部の機器、例えばスマートホンに格納されている。外部の機器は補聴器の負荷を軽減するために役立つ。というのは、事情によっては補聴器が制限された演算能力を有するからである。
電極アレイは好ましくは補聴器の一部であり、その代わりに電極アレイは外部のセンサとして形成され、そして例えばケーブルによってまたは無線接続によって補聴器に接続される。
補聴器は好ましくは耳の後ろに装着されるいわゆるBTE機器である。これは、レシーバが耳道内に挿入され、残りの補聴器が耳道の外に装着されるいわゆるRIC機器を含んでいる。例えばITO(耳の中)またはCIC(完全に耳道の中)のような他の構造形式も基本的には適している。
本発明は聴覚に障害のある人を援護するための補聴器に限定されない。同様に適切な実施形態では、補聴器がヘッドホンまたは音響出力のための類似の機器である。補聴器が音響出力のためのレシーバを備えていることが重要である。
次に、図に基づいて本発明の実施の形態を詳しく説明する。
使用者の耳と補聴器を示す。 図1の補聴器を示す。 図1の補聴器の信号処理を示す。 図1の補聴器のための機械学習法を示す。 図1の補聴器を調整するための方法を示す。
図1には使用者の耳Oの後ろに装着される補聴器2が示してある。使用者は耳以外示されていない。補聴器2は図2に詳しく示してある。補聴器2はここではケース4を有するBTE補聴器である。このケースは耳Oの後ろに装着され、このケースから音響チューブ6が耳道内まで延びている。補聴器2はさらに、幾つかのマイクロホン8を備えている。このマイクロホンは使用者の周囲から音響信号を拾う。この音響信号は制御ユニット10によって変更、特に増幅され、そしてレシーバ12を経て出力される。変更された音響信号はレシーバ12から音響チューブ6を経て耳O内に達する。音響チューブ6を確実に保持するために、音響チューブの端側に、イヤーピース14が取付けられている。このイヤーピースは耳道に挿入される。
補聴器2は、筋電図(略してEMG)の測定が実施される方法によって作動させられる。この場合、使用者の耳筋肉Mの筋肉活動度が電極アレイ16によって測定される。この電極アレイ16はここでは1個の電極17と1個の基準電極28、すなわち全部で2個の電極を備えている。耳筋肉Mはここでは後側の耳筋肉、すなわち耳の後ろの筋肉(musculus auricularis posterior)である。他の2つの外部の耳筋肉、すなわち前側と上側の耳筋肉は同様に記入しているがはっきりした符号はつけていない。電極アレイ16はケース4の一部であり、そして電極アレイ16が後側の耳筋肉Mに接触し、筋肉活動度が測定可能であるようにケース上で位置決めされている。耳筋肉Mの筋肉活動度が連続的に測定されるので、耳筋肉Mの活動度プロファイルが検出される。この活動度プロファイルは比較的に複雑である。すなわち、耳筋肉Mは個々の関係のない動きはしない。活動度プロファイルでは使用者の意図が符号化されているので、筋肉活動度には、例えば1秒の長い測定時間にわたって、複雑なパターンが含まれている。このパターンは、補聴器2を最適に調整するため、すなわち実際の状況に適した動作モードを調整するために、方法の範囲内で符号化される。
電極アレイ16はセンサ信号Sを発生する。この信号は信号処理部18に供給される。この信号処理部は図3に詳しく示してある。信号処理部18は制御ユニット10の一部である。信号処理部18は分類器20を備えている。この分類器によってセンサ信号Sが分類される。その際、筋肉活動度が復号化され、そしてセンサ信号Sが既知の特徴ベクトルVを有するどうかを調べることにより、基礎となっている使用者の意図が決定される。そのために、信号処理部18のメモリ22には、既知の幾つかの特徴ベクトルVが記憶されている。この特徴ベクトルはセンサ信号Sで調べられる。既知の各々の特徴ベクトルVには、補聴器2の1つの動作モードが割り当てられる。この動作モードは、センサ信号Sが既知の特徴ベクトルVを有するときに調整される。この場合、指向特性24が調整される。すなわち、補聴器2は指向性聴取を行うように形成され、指向ローブを備えている。この指向ローブは、筋肉活動度に符号化されている意図、ここでは聴取意図とに依存して選定または調整される角度と幅を有する。
この過程は図3から明らかである。電極アレイ16のセンサ信号Sは信号処理部18に供給され、そこで先ず最初にプレフィルタ26によって予めろ波される。そのために、基準電極28のセンサ信号が用いられる。この基準電極は電極アレイ16の一部であり、かつ同様にケース6の一部であるがしかし、耳筋肉から離れたところに位置決めされ、それによって基準信号を供給する。プレフィルタ26においてさらに、人工雑音が除去される。処理されたセンサ信号Sはその後フィルタバンク30に供給される。このフィルタバンクによって、センサ信号Sは個々の特徴Fに分けられる。フィルタバンク30はここでは10個の周波数帯域を有する。図3では、各周波数帯域に1つの特徴Fが生じる。それぞれの特徴Fは例えば測定時間にわたって測定された、当該の周波数帯域のエネルギであるかまたは周波数帯域のエントロピである。変形では、周波数帯域あたり複数の特徴F、例えばそれぞれエントロピおよびエネルギが生じる。特徴Fは特徴ベクトルGを形成する。この特徴ベクトルはセンサ信号Sの特徴ベクトルGであり、分類器20において既知の特徴ベクトルVと比較される。この結果に基づいて、指向特性24が調整される。その際、筋肉活動度が進化生物学的に耳Oの方向づけを行い、その限りでは耳筋肉Mの筋肉活動度は所定の方向における聴取の意図を符号化している、という認識が利用される。耳Oの方向づけは実際には起こらないがしかし、耳筋肉Mへの制御信号が存在し、相応するシグネチャを有する。このシグネチャは相応する活動度プロファイルを生じ、通常は使用者特有のものである。このシグネチャ、すなわち関連する特徴ベクトルGを知ることによって、指向性聴取の意図が認識される。ここでは、指向性聴取が所望されているという事実だけでなく、使用者の意図している聴取方向も認識される。
既知の特徴ベクトルVに基づく使用者の意図の復号化に加えて、ここでは、それまで知られていなかった新しい意図を今後認識するために、新しい特徴ベクトルNの検知、すなわち記録が行われる。従って、方法は、補聴器2が新しい特徴ベクトルNを選び出し、そして既知の特徴ベクトルとして記憶する学習法である。そのために、センサ信号Sが特徴抽出器32によって特徴を抽出される。この特徴抽出の際、特に個別的な、すなわち使用者特有の新しい特徴ベクトルNが生じ、この特徴ベクトルは既知の付加的な特徴ベクトルVとしてメモリ22に記憶される。
特徴抽出器32と分類器18が共に信号処理部18に組み込まれ、特徴抽出および分類が個々の最適化問題として処理される。図3に明瞭に示すように、分類器18と特徴抽出器32は共に、センサ信号S内で幾つかの特徴F、ひいては特徴ベクトルGを識別する個々の特徴認識を用いる。特徴ベクトルGはフィルタバンク30によってセンサ信号Sから1回だけ抽出すればよく、既知の特徴ベクトルVと比較される。それによって、一方では新しい特徴ベクトルNを発生し、他方では既知の特徴ベクトルVを認識することができる。分類器18と特徴抽出器32が特徴認識のために同じフィルタバンク30を利用するので、両者が互いに最適に適合させられる。
図示した実施の形態の場合、新しい特徴ベクトルNは機械学習法によって自動的に学習される。筋肉活動度の分析は機械学習法に非常に適している。なぜなら、筋肉活動度がきわめて個性の強いものであり、それによって限定的にのみ一般化可能であるからである。機械学習法により、新しい特徴ベクトルNを習得することによって既知の特徴ベクトルVの使用者特有のセットが生じる。
新しい特徴ベクトルNを習得するために、機械学習法は監視されて実行される。この場合、トレーニング法で、所定の状況が実際の状況として作り出され、それによって使用者の対応する意図が生じる。そして、この使用者の意図は特徴ベクトルGによって特徴づけられ、動作モードと結び付けられる。そのために、特徴抽出器32は独自に、或る数の知られていない特徴Fをセンサ信号S内で調べる。知られていない特徴Sは新しい特徴ベクトルNにまとめられ、この特徴ベクトルは所定の動作モードに割り当てられる。この新しい特徴ベクトルNは学習済特徴ベクトルであり、既知の特徴ベクトルVとしてメモリ22に供給される。
メモリ22は本方法ではSVMの使用に基づいて配置されている。しかし、他の機械学習構想を用いる場合には、事情によってはメモリ22を省略することができる。図示していない変形では、SVMの代わりに、ニューラルネットワークが使用される。このニューラルネットワークは記憶された特徴ベクトルVを用いる必要はない。なぜなら、この特徴ベクトルがニューラルネットワークのインストールの際にすでにその構造によって与えられているからである。
機械学習法では、特徴Fが最初に設定されないで、特徴抽出器32によって独自に決定されることが重要である。そのために、特徴抽出器はセンサ信号Sのパターンまたは規則性および特に組み合わせが既知の特徴ベクトルVに一致しない特徴Fを調べるかあるいは既知の特徴ベクトルVに似た特徴Fを調べる。それによって、センサ信号の表現が細かくなるかまたは適合させられる。
図3にはさらに、追加センサ34が示してある。この追加センサは、センサ信号Sの分類を補助するためにあるいは新しい特徴ベクトルNを学習するための学習プロセスを補助するために、ハイブリッド分析の範囲内で付加的に使用される。そのために追加センサ34は周囲について付加的な情報を供給する。追加センサ34は例えばマイクロホン8のうちの1個である。このマイクロホンはそれぞれ、実際の状況を分類し、適切な動作モードを選択するために、聴覚分析されるマイクロホン信号を発生する。この状況について筋肉活動度と相応する特徴ベクトルNを学習した後で、コストのかかる聴覚分析の採用を必要とせずに、今後の認識を迅速かつ簡単に行うことができる。その代わりにまたは追加して、EEG測定が行われ、そのときの追加センサ34は幾つかのEEG電極である。さらに、加速度センサが追加センサ34として適している。
図1〜図3には補聴器2の単一機器が1個だけ示してある。変形では、補聴器2は単一機器を2個、例えば図2に示すような単一機器を2個備えている。この単一機器は図1に対応して、使用者の頭の異なる側に装着される。このような補聴器2は両耳型補聴器2と呼ばれる。この配置構造の場合、2つのセンサ信号Sが供され、それによって全体として多くの情報、すなわち特徴Fが使用者の意図の分類のためおよび適切な動作モードの良好な選定のために供される。
このような両耳型補聴器2の例示的な作動が図4と図5に示してある。その際、両単一機器の電極アレイ16のセンサ信号Sを評価することにより、補聴器2の指向特性24が調整される。その際、図4は、新しい特徴ベクトルNの学習と、それぞれのセンサ信号Sで特徴Fを最適に認識するためのフィルタバンク30の適合を示す。図5には、両センサ信号Sの別々の評価による指向特性24の適合が示してある。
図4では、第1ステップS1において、センサ信号SがEMGによってそれぞれ別々に発生する。ステップS2では、人工雑音がプレフィルタ26によって除去される。ステップS3とS4は、機械学習法の範囲内での特徴認識とフィルタバンク30の適合および調整である。ステップS3では、パラメータ化されたフィルタバンク30が最適化され、特にそれぞれの特徴Fを右側または左側に割り当てることができるようにするために、両センサ信号Sを区別できるように最適化される。ステップ4では、新しい特徴ベクトルNが抽出され、分類器20のために既知の特徴ベクトルVとして記憶される。ステップS5では補聴器がその都度の使用者に最適に調整される、すなわち個人に合わせられる。
図5は、指向性聴取の際の分類のために既知の特徴ベクトルVを使用する方法を示している。センサ信号Sを互いに独立して分類し、続いて結果が一致するときにのみ補聴器2を調整することにより、先ず最初に両側の耳筋肉Mの筋肉活動度の評価が分離される。すなわち、比較に基づく決定発見が行われる。ステップS6では、センサ信号Sが電極アレイ16によって生じる。ステップS7では、センサ信号Sが図4のステップS2のように予めろ波される。前もって最適化されたフィルタバンク30はステップS8で両センサ信号Sを区別し、互いに独立してその特徴Fを決定する。そして、2つの特徴ベクトルGが生じる。この特徴ベクトルから、ステップS9において分類によって、決定された意図が推測される。この意図はステップS10において比較される。両側の結果が一致すると、補聴器2はステップS11において適切に調整される。
2 補聴器
4 ケース
6 音響チューブ
8 マイクロホン
10 制御ユニット
12 レシ−バ
14 イヤーピース
16 電極アレイ
17 電極
18 信号処理部
20 分類器
22 メモリ
24 指向特性
26 プレフィルタ
28 基準電極
30 フィルタバンク
32 特徴抽出器
34 追加センサ
F 特徴
G 特徴ベクトル
M 耳筋肉
N 新しい特徴ベクトル
O 耳
S センサ信号
V 既知の特徴ベクトル

Claims (25)

  1. 使用者のための補聴器(2)を作動させる方法であって、
    筋電図の測定が実施され、この筋電図の測定において使用者の耳筋肉(M)の筋肉活動度が電極アレイ(16)によって測定され、
    使用者の意図が符号化されている、前記耳筋肉(M)の複雑な活動度プロファイルを検出するために、前記筋肉活動度が連続的に測定され、
    前記電極アレイ(16)がセンサ信号(S)を発生し、このセンサ信号が分類器(20)によって分類され、この分類の際前記筋肉活動度が復号化され、そして前記センサ信号(S)が既知の特徴ベクトル(V)を有するかどうかを調べることにより、前記筋肉活動度に対応する意図が決定され、
    前記センサ信号(S)が既知の前記特徴ベクトル(V)を有するときに調整される前記補聴器(2)の動作モードが、既知の前記特徴ベクトル(V)に割り当てられる
    ことを特徴とする方法。
  2. 前記筋肉活動度が少なくとも100ミリ秒、好ましくは少なくとも1秒の測定時間にわたって測定されることと、前記測定時間全体にわたって前記センサ信号(S)内の既知の前記特徴ベクトル(V)が調べられることを特徴とする請求項1に記載の方法。
  3. 前記補聴器(2)が指向性聴取を行うように形成されていることと、前記筋肉活動度に基づいて前記補聴器(2)の指向特性(24)が調整され、それによって所定の方向の音響源が強調されることを特徴とする請求項1または2に記載の方法。
  4. 前記補聴器(2)が両耳型補聴器(2)であり、使用者の頭の異なる側に装着するために、2個の単一機器を備えていることと、各々の側で電極アレイ(16)によってセンサ信号(S)が発生させられ、そこの耳筋肉(M)の筋肉活動度が測定されることを特徴とする請求項1〜3のいずれか一項に記載の方法。
  5. 前記センサ信号(S)を互いに独立して分類することにより、両側の前記筋肉活動度を先ず最初に別々に評価することと、続いて結果が一致する場合、前記補聴器(2)を調整することを特徴とする請求項4に記載の方法。
  6. 前記センサ信号(S)を互いに独立して分類することにより、両側の前記筋肉活動度を先ず最初に別々に評価することと、結果が異なる場合、前記単一機器の1つを固有の結果に逆らっておよび他の単一機器の結果に基づいて調整することにより、単一機器を同期させることを特徴とする請求項4または5に記載の方法。
  7. 前記意図は、使用者の意図している聴取方向であり、前記両センサ信号(S)のどちらがより高い組織化度合またはより高いエネルギを有するかを調べることにより、前記聴取方向が決定されることと、前記指向特性(24)が前記聴取方向に調整されることを特徴とする請求項3または4に記載の方法。
  8. 前記筋肉活動度に基づいて、使用者自身が話している自己音声状況を認識することと、動作モードが、自己音声部分を前記補聴器の出発信号に低減する自己音声低減であることを特徴とする請求項1〜7のいずれか一項に記載の方法。
  9. 前記筋肉活動度に基づいて、使用者の顔の表情が認識され、この顔の表情が所定の動作モードを調整するための制御コマンドとして使用され、この所定の動作モードが前記制御コマンドに割り当てられることを特徴とする請求項1〜8のいずれか一項に記載の方法。
  10. 前記筋肉活動度に基づいて前記補聴器(2)の誤った位置決めが認識されることを特徴とする請求項1〜9のいずれか一項に記載の方法。
  11. 前記筋肉活動度に依存して、前記補聴器(2)の増幅スキーマ、圧縮スキーマまたは雑音抑制が調整されることを特徴とする請求項1〜10のいずれか一項に記載の方法。
  12. 既知の前記特徴ベクトル(V)が外部のデータバンクであることを特徴とする請求項1〜11のいずれか一項に記載の方法。
  13. 前記センサ信号(S)が特徴抽出器(32)によって特徴を付加的に抽出され、この特徴抽出の際、付加的な既知の特徴ベクトル(V)として記憶される新しい特徴ベクトル(N)が発生させられることを特徴とする請求項1〜12のいずれか一項に記載の方法。
  14. 命令を有する機械学習法において、
    所定の状況に所定の動作モードが割り当てられ、
    所定の前記状況が実際の状況として作成され、
    前記特徴抽出器(32)が前記センサ信号(S)の幾つかの未知の特徴(F)を独自に探し、
    未知の前記特徴(F)が新しい前記特徴ベクトル(N)にまとめられ、
    新しい前記特徴ベクトル(N)が所定の動作モードに割り当てられることにより、
    新しい前記特徴ベクトル(N)が発生させられることを特徴とする請求項13に記載の方法。
  15. 機械学習法が前記補聴器(2)の通常動作で実施され、前記センサ信号(S)に新しい特徴ベクトル(N)が含まれているかどうかを、前記特徴抽出器(32)が連続的に調べることを特徴とする請求項13または14に記載の方法。
  16. 実際の状況が既に既知の動作モードを割り当てた既知の状況であるかどうかが追加センサ(34)によって検出されることと、実際の状況が既知の前記状況に一致する場合、新しい前記特徴ベクトル(N)が既知の前記動作モードに割り当てられることを特徴とする請求項13〜15のいずれか一項に記載の方法。
  17. 前記特徴抽出器(32)と前記分類器(20)が共に信号処理部(18)に組み込まれていることと、特徴抽出と分類が個々の最適化問題として処理されることを特徴とする請求項13〜16のいずれか一項に記載の方法。
  18. 既知の特徴ベクトル(V)がニューラルネットワークに組み込まれ、前記センサ信号(S)の特徴ベクトルが決定され、かつ前記ニューラルネットワークの入力信号として使用されることにより、前記ニューラルネットワークによって、前記センサ信号(S)が既知の特徴ベクトル(V)を有するかどうかが調べられることを特徴とする請求項1〜17のいずれか一項に記載の方法。
  19. 実際の状況が、既に既知の動作モードを割り当てた既知の状況であるどうかが、追加センサ(34)によって確認されることと、組み込まれた前記特徴ベクトルが前記センサ信号(S)の前記特徴ベクトルに一致する場合に、既知の前記動作モードに割り当てた特徴ベクトルがニューラルネットワークに組み込まれることを特徴とする請求項1〜18のいずれか一項に記載の方法。
  20. 前記センサ信号(S)がフィルタバンク(30)によって複数の周波数帯域に分けられ、各周波数帯域が幾つかの特徴(F)を形成していることを特徴とする請求項1〜19のいずれか一項に記載の方法。
  21. 前記フィルタバンク(30)は、パラメータ化されたパラユニタリフィルタバンク(30)であることを特徴とする請求項20に記載の方法。
  22. 前記フィルタバンク(30)が4Hzの下側の限界周波数と1kHzの上側の限界周波数を有し、それによって前記筋肉活動度が4Hzから1kHzまでの周波数範囲内で調べられることを特徴とする請求項20または21に記載の方法。
  23. 前記電極アレイ(16)が多くても5個、好ましくは2個の電極(17、28)を備えていることを特徴とする請求項1〜22のいずれか一項に記載の方法。
  24. 前記電極アレイ(16)が複数の電極(17、28)を備え、この電極のうちの1つが基準電極(28)として形成され、この基準電極によって、基準信号が使用者の各々の耳筋肉(M)から離れて測定されることと、前記センサ信号が前記分類器(20)に供給される前に、前記センサ信号(S)が前記基準信号によって処理されることを特徴とする請求項1〜23のいずれか一項に記載の方法。
  25. 制御ユニット(10)を備え、この制御ユニットが、請求項1〜24のいずれか一項に記載の方法を実施するように形成されている、補聴器(2)。
JP2018152226A 2017-08-14 2018-08-13 補聴器の作動方法および補聴器 Active JP6657337B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017214164.6A DE102017214164B3 (de) 2017-08-14 2017-08-14 Verfahren zum Betrieb eines Hörgeräts und Hörgerät
DE102017214164.6 2017-08-14

Publications (2)

Publication Number Publication Date
JP2019036959A true JP2019036959A (ja) 2019-03-07
JP6657337B2 JP6657337B2 (ja) 2020-03-04

Family

ID=63113413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018152226A Active JP6657337B2 (ja) 2017-08-14 2018-08-13 補聴器の作動方法および補聴器

Country Status (6)

Country Link
US (1) US10609494B2 (ja)
EP (1) EP3445067B1 (ja)
JP (1) JP6657337B2 (ja)
CN (1) CN109391891B (ja)
DE (1) DE102017214164B3 (ja)
DK (1) DK3445067T3 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924869B2 (en) 2018-02-09 2021-02-16 Starkey Laboratories, Inc. Use of periauricular muscle signals to estimate a direction of a user's auditory attention locus

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214163B3 (de) * 2017-08-14 2019-01-17 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät
DE102019216100A1 (de) 2019-10-18 2021-04-22 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts sowie Hörgerät
DE102019218808B3 (de) * 2019-12-03 2021-03-11 Sivantos Pte. Ltd. Verfahren zum Trainieren eines Hörsituationen-Klassifikators für ein Hörgerät
WO2021167866A1 (en) * 2020-02-20 2021-08-26 Starkey Laboratories, Inc. Control of parameters of hearing instrument based on ear canal deformation and concha emg signals
EP3884849A1 (en) * 2020-03-25 2021-09-29 Sonova AG Selectively collecting and storing sensor data of a hearing system
TWI766402B (zh) * 2020-10-26 2022-06-01 和碩聯合科技股份有限公司 降噪耳機的控制裝置及控制方法
DE102021200635A1 (de) 2021-01-25 2022-07-28 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts, Hörgerät und Computerprogrammprodukt
EP4068806A1 (en) * 2021-03-31 2022-10-05 Oticon A/s A method and system of fitting a hearing device
DE102022200810B3 (de) * 2022-01-25 2023-06-15 Sivantos Pte. Ltd. Verfahren für ein Hörsystem zur Anpassung einer Mehrzahl an Signalverarbeitungsparametern eines Hörinstrumentes des Hörsystems

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09182193A (ja) 1995-12-27 1997-07-11 Nec Corp 補聴器
EP1610862B1 (en) * 2003-04-01 2016-11-23 Sunstar Suisse SA Apparatus for monitoring of muscle activity
US20070112277A1 (en) * 2005-10-14 2007-05-17 Fischer Russell J Apparatus and method for the measurement and monitoring of bioelectric signal patterns
KR20110100652A (ko) * 2008-12-16 2011-09-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 음성 신호 프로세싱
DK2200342T3 (da) 2008-12-22 2013-12-09 Siemens Medical Instr Pte Ltd Høreapparat styret ved hjælp af et signal fra en hjernepotentialsvingning
DE102009025313A1 (de) * 2009-06-15 2010-12-23 Georg-August-Universität Göttingen Stiftung Öffentlichen Rechts Außenohrmuskulaturerfassungsmittel
WO2011006681A1 (en) * 2009-07-13 2011-01-20 Widex A/S A hearing aid adapted fordetecting brain waves and a method for adapting such a hearing aid
US20130123656A1 (en) * 2010-11-15 2013-05-16 Sandy L. Heck Control System and Apparatus Utilizing Signals Originating in the Periauricular Neuromuscular System
WO2012129465A1 (en) 2011-03-23 2012-09-27 Med-El Elektromedizinische Geraete Gmbh Post-auricular muscle response based hearing prosthesis fitting
EP3917167A3 (en) * 2013-06-14 2022-03-09 Oticon A/s A hearing assistance device with brain computer interface
WO2014205327A1 (en) * 2013-06-21 2014-12-24 The Trustees Of Dartmouth College Hearing-aid noise reduction circuitry with neural feedback to improve speech comprehension
US9564128B2 (en) * 2013-12-09 2017-02-07 Qualcomm Incorporated Controlling a speech recognition process of a computing device
US20160284363A1 (en) * 2015-03-24 2016-09-29 Intel Corporation Voice activity detection technologies, systems and methods employing the same
DE102015212613B3 (de) * 2015-07-06 2016-12-08 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgerätesystems und Hörgerätesystem
DE102015219573A1 (de) * 2015-10-09 2017-04-13 Sivantos Pte. Ltd. Hörsystem und Verfahren zum Betrieb eines Hörsystems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924869B2 (en) 2018-02-09 2021-02-16 Starkey Laboratories, Inc. Use of periauricular muscle signals to estimate a direction of a user's auditory attention locus

Also Published As

Publication number Publication date
EP3445067A1 (de) 2019-02-20
DK3445067T3 (da) 2021-02-22
US20190052978A1 (en) 2019-02-14
US10609494B2 (en) 2020-03-31
EP3445067B1 (de) 2020-11-25
JP6657337B2 (ja) 2020-03-04
CN109391891B (zh) 2020-12-29
DE102017214164B3 (de) 2019-01-17
CN109391891A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
JP6657337B2 (ja) 補聴器の作動方法および補聴器
US11863936B2 (en) Hearing prosthesis processing modes based on environmental classifications
CN110062318B (zh) 助听器系统
US9432777B2 (en) Hearing device with brainwave dependent audio processing
US9967681B2 (en) Outcome tracking in sensory prostheses
CN104244157A (zh) 具有脑机接口的助听装置
CN113395647B (zh) 具有至少一个听力设备的听力系统及运行听力系统的方法
CN109951783B (zh) 用于基于瞳孔信息调整助听器配置的方法
US20230292060A1 (en) Hierarchical environmental classification in a hearing prosthesis
US10003895B2 (en) Selective environmental classification synchronization
US20240179479A1 (en) Audio training
CN114830691A (zh) 包括压力评估器的听力设备
US11962976B2 (en) Method for operating a hearing aid system, and hearing aid system with a hearing aid
US20220054842A1 (en) Assessing responses to sensory events and performing treatment actions based thereon
CN116171181A (zh) 新型耳鸣管理技术
CN114830692A (zh) 包括计算机程序、听力设备和压力评估设备的系统
US11722826B2 (en) Hierarchical environmental classification in a hearing prosthesis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200205

R150 Certificate of patent or registration of utility model

Ref document number: 6657337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250