JP2010506525A - 補聴器の駆動方法および補聴器 - Google Patents

補聴器の駆動方法および補聴器 Download PDF

Info

Publication number
JP2010506525A
JP2010506525A JP2009531817A JP2009531817A JP2010506525A JP 2010506525 A JP2010506525 A JP 2010506525A JP 2009531817 A JP2009531817 A JP 2009531817A JP 2009531817 A JP2009531817 A JP 2009531817A JP 2010506525 A JP2010506525 A JP 2010506525A
Authority
JP
Japan
Prior art keywords
hearing aid
sound source
signal
sound
processing circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009531817A
Other languages
English (en)
Other versions
JP5295115B2 (ja
Inventor
フィッシャー エグハルト
フレーリヒ マティーアス
ハイン イェンス
プーダー ヘニング
シュタインブス アンドレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos GmbH
Original Assignee
Siemens Audioligische Technik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Audioligische Technik GmbH filed Critical Siemens Audioligische Technik GmbH
Publication of JP2010506525A publication Critical patent/JP2010506525A/ja
Application granted granted Critical
Publication of JP5295115B2 publication Critical patent/JP5295115B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403Linear arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本発明は、周囲音のうち近接音源を追跡してこれを選択する、補聴器の駆動方法に関する。本発明によれば、当該の補聴器の信号処理回路により所定の動作モードである"近接音源モード"が形成され、当該の補聴器により受け取られた周囲音から複数の電気音響信号が形成され、前記信号処理回路により前記複数の電気音響信号から近接音源が求められ、該近接音源が当該の補聴器の着用者にとって他の音源と比べて音響的に少なくとも際立ち良好に知覚されるように、該近接音源の信号が前記信号処理回路によって当該の補聴器の出力音において選択的に考慮される。

Description

本発明は1つまたは2つの補聴器装置から成る補聴器の駆動方法に関する。さらに本発明は相応の補聴器ないし補聴器装置にも関する。
ひとが何ものかの発した音声を聴取するとき、障害的雑音または望ましくない音響信号が偏在していると、発音したひとあるいはものの音声または所望の音響信号が妨害される。聴力の弱いひとは特にこうした障害的雑音に悩まされる。バックグラウンドでの会話、ディジタル機器(移動電話機)の音声障害、自動車の騒音または他の環境的雑音は、聴力の弱いひとが所望の話者の音声を理解することをきわめて困難にする。所望の音響信号の成分への自動フォーカシングに関連して、音響信号における雑音のレベルを低減すると、こんにちの補聴器で使用されているような電子音声プロセッサの能力をいちじるしく改善することができる。
最近ではディジタル信号処理回路を備えた補聴器が導入されている。当該の補聴器は、1つまたは複数のマイクロフォン、A/D変換器、ディジタル信号プロセッサおよびスピーカを有している。通常、ディジタル信号プロセッサは到来する信号を複数の周波数帯域へ分割する。各周波数帯域において、補聴器の着用者の要求に応じて個別に信号の増幅およびその他の処理が個別に行われ、所定の音響信号成分の聴き取りやすさが改善される。さらに、ディジタル信号処理回路ではフィードバック音および障害雑音を低減するアルゴリズムが用いられているが、これには重大な欠点が存在する。フィードバック音および障害雑音を低減するアルゴリズムの欠点は、例えば、音声と背景雑音とが同じ周波数帯域にあって当該のアルゴリズムがこれらを区別できない場合、補聴器の音響特性の改善が制限されるということである(欧州公開第1017253号明細書を参照)。
音響信号の処理において最も頻繁に発生する問題は、相互に重畳された種々の音響信号から1つまたは複数の音響信号をフィルタリングによって取り出さなければならないということである。これはいわゆる"カクテルパーティ問題"として知られている。ここでは、音楽や会話などの種々の雑音が混ざって定義不能な背景雑音となっている。しかし、こうした状況においても、健常者であれば相手と会話を行うことはさほど困難ではない。したがって、補聴器の着用者にとっては、こうした状況において健常者と同様に会話できるようになることが望ましい。
音響信号処理においては、同時にアクティブとなっている複数の音源から1つまたは複数の音響信号を分離するアルゴリズムとして、空間的プロセス(例えば方向性マイクロフォンやビーム形成法)、統計的プロセス(例えばブラインド音源分離法)または混合プロセスなどが存在している。ブラインド音源分離法は、少なくとも2つのマイクロフォン信号を統計的に信号処理することにより、音源の幾何学的位置についてのあらかじめの知識なしに音源信号を分離することができる。このプロセスは、補聴器での適用に関して、従来の方向性マイクロフォンに比べて有利である。基本的には、こうしたブラインド音源分離法(BBSプロセスとも称する)により、n個のマイクロフォンにつきn個の音源すなわちn個の出力信号を形成することができる。
こうしたブラインド音源分離法は前掲の文献から公知であり、少なくとも2つのマイクロフォン信号の分析により音源が分析される。こうしたプロセスおよび相応の装置は前掲した欧州公開第1017253号明細書から公知であり、この文献を本発明の参考文献とする。本発明と当該の欧州公開第1017253号明細書の発明との関連のポイントについては、本明細書の最後に説明する。
補聴器におけるブラインド音源分離法の専用のアプリケーションでは、2つの補聴器装置が通信を行い、2つのマイクロフォン信号すなわち右マイクロフォン信号および左マイクロフォン信号を分析して、2つの補聴器装置の無線信号を両耳につき評価する必要がある。こうしたアプリケーションでは2つの補聴器装置が選択的に結合されていることもある。また、欧州公開第1655998号明細書からは、補聴器の着用者に対してステレオ信号の供給位置が両耳について評価されることが公知である。当該の明細書も本発明の参考文献とする。本発明と当該の欧州公開第1655998号明細書の発明との関連のポイントについては、本明細書の最後に説明する。
ブラインド音源分離法における方向性マイクロフォンの制御は、相互に対立する複数の有効音源、例えば複数のスピーカが同時に発音するときには多義的となる。ブラインド音源分離法によれば、確かに基本的には各音源が空間的に離れているかぎり各音源を分離することができるが、その多義性によって方向性マイクロフォンの有効性が低減されてしまう。しかし、こうしたシーンでは、聴き取りやすさを改善するために方向性マイクロフォンがしばしば利用されている。
ブラインド音源分離のための補聴器ないし数学的アルゴリズムは、基本的には、ブラインド音源分離法によって形成された最も有効な信号がユーザ(補聴器の着用者)に対して再生されているか否かという問題を判別しなければならない。この問題は補聴器には基本的には解決できない課題である。なぜなら、所望の音源の選択は直接に補聴器の着用者のそのときどきの意思にかかっており、アルゴリズムの入力量として存在していないからである。対して、アルゴリズムに関与する選択は、聴取者の意思を仮定することを基礎としている。
従来技術は、補聴器の着用者が0°方向すなわち補聴器の着用者の視界方向の音響信号を優先させるという仮定から出発していた。これは、当該の補聴器の着用者が聴き取りに苦労している状況が会話の相手に見えており、聴き取りやすさを高めるために唇の動きをはっきりさせてもらうなどのきっかけを得ることができるという点では現実的である。しかし、この場合には、補聴器の着用者は会話の相手を見ることを強制されるし、補聴器には高い聴き取りやすさを有する方向性マイクロフォンが必要となる。また、補聴器の着用者が複数の話者とでなく唯一の話者と会話する場合であっても、つねに相手に向かっていなければならないというのはきめて煩わしい。
さらに、補聴器の着用者の所望の音源が0°の視界方向にあるという現行の仮定は多くのケースにおいて妥当でない。例えば、補聴器の着用者が会話の相手の隣にいるときや、複数の人々と同じテーブルに着いて共通の会話を行うときなどに適さない。これらのケースで所望の音響信号が0°の視界方向にあらかじめ設定されていると、補聴器の着用者はひとときも休まずに頭部を横へ向けたり順に追従して発話しているひとのほうへ傾けたりしなければならなくなる。
そして、補聴器の着用者にとって好ましくかつ適切な音源の時間的選択の手段は、ブラインド音源分離プロセスではこれまで技術的に知られていない。
補聴器の着用者がテーブルに着いて複数の人々と会話しており、会話の相手が優先音源として持続的に0°の視界方向に存在しないとすると、幾何学的な音源の分布に制限されないフレキシブルな音響信号選択手段が必要となる。
したがって、本発明の課題は、改善された補聴器の駆動方法および相応の改善された補聴器を提供することである。特に、本発明は、ブラインド音源分離プロセスの出力信号が補聴器の着用者に音響的に適切に届くようにすることを目的とする。つまり、高い確率で補聴器の着用者にとって有利な音源をフィルタリングすることが望まれる。
本発明では、補聴器のマイクロフォンから各話者ないし各音源までの距離を検出し、そのうち最小距離を有する話者ないし音源を所望の有効音源として選択するという着想に基づいている。これは、話者ないし音源が1つであっても複数であっても当てはまる。
本発明によれば補聴器の駆動方法が提案される。ここでは、音源の追跡および選択的な増幅のために、信号処理回路によって、補聴器の着用者にとって有利な音源に対して、補聴器の着用者から当該の音源ないしその音響信号までの距離が対応づけられる。補聴器の着用者に対して最小距離を有する1つまたは複数の音源が信号処理回路によって追跡され、その音源が音響出力信号において特に考慮される。
従来技術のブラインド音源分離モジュールを備えた補聴器のブロック図である。 相互に独立した2つの音源からの周囲音を処理する信号処理回路の設けられた本発明の補聴器の第1の実施例のブロック図が示されている。 相互に独立した3つの音源からの周囲音を処理する信号処理回路の設けられた本発明の補聴器の第2の実施例のブロック図が示されている。
さらに、本発明によれば、音源から補聴器までの距離が音響モジュールすなわち信号処理回路によって求められ、これにしたがって電気音響信号が対応づけられる。音響モジュールは、対応する音源から補聴器の着用者までの空間的な最小距離を表している少なくとも1つの電気音響信号を選択する。電気的な音響信号は補聴器の出力音において特に考慮される。
特に、補聴器は、電気音響信号につき、個々にあるいは任意に組み合わせて、音源からマイクロフォンまたは補聴器の着用者までの距離に関する推論の根拠となる特徴を分析する。これは有利には、ブラインド音源分離のためのアルゴリズムのアプリケーションにしたがって行われる。
本発明によれば、補聴器内のマイクロフォンの個数に応じて、周囲音の唯一または複数の音源が選択され、補聴器の出力音において強調される。この場合、1つまたは複数の音源の音強度を出力音において任意に調整することができる。
本発明の有利な実施形態では、信号処理回路は混合解除モジュールを有しており、この混合解除モジュールはブラインド音源分離装置として周囲音の音源の分離のために動作する。さらに、信号処理回路は、近傍に存在する音源(近接音源)が検出された際に、補聴器において相応の動作モードである"近接音源モード"を動作させるポストプロセッサモジュールを有している。さらに、信号処理回路は、混合解除モジュールに対する電気入力信号を出力するプリプロセッサモジュールを有していてもよい。この電気入力信号はマイクロフォンから到来し、正規化および他の処理を施された信号である。プリプロセッサモジュールおよび混合解除モジュール(アンミキサ)については欧州公開第1017253号明細書の段落[0008]〜[0023]を参照されたい。
本発明の別の有利な実施形態では、補聴器ないし信号処理回路ないしポストプロセッサモジュールは電気音響信号の距離を分析する。これにより各電気入力信号について同時に相応の音源から補聴器までの距離が求められ、続いて信号処理回路ないしポストプロセッサモジュールによって小さい音源距離を有する1つまたは複数の音響信号が聴取者ないし音響信号をアナログの音情報へ変換するスピーカへ出力される。
有利な音源は、音声ないし話し手の音源すなわち音声源である。この場合、少なくとも多くの会話状況において、補聴器の着用者の耳までの水平距離が最小となる発音体を選択することにより、補聴器の着用者にとって適切な、つまりまさしく所望の音源が自動的に選択される確率が高められる。
本発明によれば、補聴器において処理すべき電気音響信号、特に音源分離によって分離された電気音響信号につき、音源から補聴器の着用者までの距離を推論するための情報が検査される。ここで、水平距離と垂直距離とを区別することができる。なおあまりに大きな垂直距離は非優先の音源を表す。個々の電気音響信号により得られる距離情報は、個々にまたは複数個ごとに(グループごとに)または全体として処理され、該当する音源までの空間的距離が求められる。
本発明の別の有利な実施形態では、相応の電気音響信号につき、発音された音声を含むか否かが検査される。特に有利には、補聴器にとって既知の発音体の音声特性が補聴器内に相応のパラメータの形態で格納される。
本発明の有利な実施形態は従属請求項から得られる。
以下に図面を参照しながら実施例に基づいて本発明を詳細に説明する。
以下に、図2および図3に則して、主としてブラインド音源分離モジュールすなわちBSSモジュールを例として、本発明を説明する。ただし本発明はBSSモジュールに限定されるものではなく、音響信号の音源を分離する種々のプロセスを広く包含する。したがってBSSモジュールは混合解除モジュールとも称される。
さらに、以下では、補聴器による電気音響信号の"トラッキング(追跡)"についても説明する。この"トラッキング"とは、補聴器ないし信号処理回路ないしポストプロセッサモジュールによって、1つまたは複数の所望の音響信号が選択されることであると解されたい。ここでの音響信号は補聴器によって周囲音の音源から電気的または電子的に取り出され、他の音源に比べて補聴器の着用者にとって大きく聞こえるように増幅されて再生される。電気音響信号が追跡されると、補聴器により、室内の補聴器の着用者ないし補聴器の位置、特に補聴器の視界方向を考慮しなくてよいので有利である。
図1には前掲した欧州公開第1017253号公報の段落[0008]以降に説明されているような従来技術の装置が示されている。この場合、補聴器1は方向性マイクロフォン装置を形成する2つのマイクロフォン200,210を有しており、この方向性マイクロフォン装置から2つの電気音響信号202,212が形成される。こうしたマイクロフォン装置は2つのマイクロフォンの2つの電気音響信号202,212に固有の方向特性を付与する。各マイクロフォン200,210は未知の個数の音源に由来する未知の音響信号から成る周囲音100を受け取る。
従来技術では、電気音響信号202,212は主として3つの処理段で処理される。第1の段階では、電気音響信号202,212が方向特性を改善するためにプリプロセッサモジュール310で前処理される。ここではオリジナルの信号の正規化すなわち信号強度の均等化が開始される。第2の段階では、BSSモジュール320でのブラインド音源分離が行われる。ここではプリプロセッサモジュール310の出力信号が混合解除過程にかけられる。続いて、第3の段階として、BSSモジュール320の出力信号はポストプロセッサモジュール330で後処理され、所望の電気出力信号332が形成される。この電気出力信号はスピーカ400ないし聴取者に対する入力信号として用いられ、これによって補聴器の着用者に対する音が出力される。前掲した欧州公開第1017253号明細書によれば、第1の処理段すなわちプリプロセッサモジュール310と第3の処理段すなわちポストプロセッサモジュール330とは付加的な処理段となっている。
図2には本発明の第1の実施例が示されている。ここで、補聴器1の信号処理回路300には混合解除モジュール320(以下ではBSSモジュール320とも称する)が設けられており、この混合解除モジュール320の後方にポストプロセッサモジュール330が接続されている。この場合、さらに、BSSモジュール320に対する入力信号を処理するプリプロセッサモジュール310が設けられている。信号処理回路300は有利にはディジタル信号プロセッサDSPまたはアプリケーション専用集積回路ASICとして実現されている。
以下では、周囲音100として2つの異なる独立した音源102,104が存在するものとする。一方の音源102は補聴器の近傍に位置しており、近接音源102と称される。他方の音源104は、この実施例では、補聴器の着用者からの距離が近接音源102より大きい音源104である。ここでは第1の音源102が補聴器1ないしその信号処理回路300によって選択(トラッキング)され、主たる音響要素となり、スピーカ400の出力音402では当該の信号102が主たる成分となる。
補聴器1の2つのマイクロフォン200,210は2つの音響信号102,104の混合した信号を受け取り、これをプリプロセッサモジュール310あるいはBSSモジュール320へ電気入力信号として送出する。なお、図2では第1の音響信号102は優先すべき信号として実線で、第2の音響信号104は非優先の信号として破線で示されている。2つのマイクロフォン200,210は任意の形態で配置することができる。これらのマイクロフォンは、一方の補聴器装置内に存在していてもよいし、また双方の補聴器装置内に配置されていてもよい。さらに、一方または双方のマイクロフォン200,210を補聴器との通信の可能な補聴器の外部のカラーやタイピンなどに設けることもできる。つまり、BSSモジュール320の電気入力信号は個々の補聴器装置に必ずしも由来しない。もちろん補聴器1に対して3つ以上のマイクロフォンを設けることもできる。有利には、補聴器1は2個の補聴器装置1と全部で4個または6個のマイクロフォンとを有する。
プリプロセッサモジュール310はBSSモジュール320に対するデータを処理し、能力に応じて混合された2つの入力信号から2つの分離した出力信号を形成する。ここで各出力信号はそれぞれ音響信号102,104のいずれかを表している。BSSモジュール320によって分離された2つの出力信号はポストプロセッサモジュール330に対する入力信号となる。このポストプロセッサモジュール330では、2つの音響信号102,104のうちいずれを電気出力信号332としてスピーカ400へ出力すべきかが判別される。
このために、ポストプロセッサモジュール330は電気音響信号322,324の距離分析を行う。ここでは、電気音響信号322,324のそれぞれについて補聴器1までの空間的距離が求められる(図3を参照)。続いて、ポストプロセッサモジュール330は補聴器1までの最小距離を有する電気音響信号322を出力する。当該の電気音響信号322は他の電気音響信号324に比べて増幅されており、電気出力信号332としてスピーカ400へ供給される。ここで電気音響信号322と電気出力信号332とはほぼ相応する。
図3には、本発明の補聴器1において3つの音源s(t),s(t),s(t)の混ざった周囲音100を処理する手段が示されている。当該の周囲音100はそれぞれ3つのマイクロフォンによって受け取られ、それぞれの電気マイクロフォン信号x(t),x(t),x(t)が信号処理回路300へ送出される。この場合、信号処理回路300はプリプロセッサモジュール310を有さないが、有利にはこれを含んでもよい。プリプロセッサモジュールの含まれる構成は本発明の第1の実施例に相当する。もちろんn個のマイクロフォンxおよびn個の音源sを同時に処理することができる。このことは図3の点々々(・・・)によって表されている。
電気マイクロフォン信号x(t),x(t),x(t)はBSSモジュール320へ供給される入力信号である。BSSモジュールは当該の電気マイクロフォン信号に含まれる音響信号を音源s(t),s(t),s(t)にしたがって分離し、電気出力信号s(t),s(t),s(t)としてポストプロセッサモジュール330へ出力する。
以下に説明する実施例では、2つの音源s(t),s(t)が補聴器の着用者の近傍に位置しており、補聴器の着用者はこれら2つの音源s(t),s(t)とと会話している状況にある確率が高い。図3には、2つの音源s(t),s(t)が音声到達範囲SR内に存在することが示されている。音声到達範囲SRは、通常の会話の音声強度が支配的な、補聴器の着用者の頭部の周囲に球面状に広がる範囲である。音声到達範囲SRの外側では、音源s(t)の音声強度のレベルは低く、当該の音源s(t)は補聴器の着用者との会話状況には入っていないと推定される。有利には、所定の会話状況に対して、球の赤道面の高さを最大で約1.5m、ふつう0.8〜1.2m、有利には0.4〜0.7m、特に有利には0.2〜0.4mとし、この赤道面で分けた半球が定められる。有利には、赤道の付近に補聴器のマイクロフォンが配置され、その中央部が赤道面の境界となる。このことは、補聴器の着用者の体格の大小によっても異なる。なぜなら、相手に合わせて垂直方向に身体をずらすことがしばしばあるからである。つまり、体格の大きな補聴器の着用者にとっての赤道は基準赤道面より上方に存在し、補聴器の注意領域は下方へ向かって配向されやすい。体格の小さな補聴器の着用者にとってはちょうど反対となる。こうしたシナリオは最大の会話到達範囲が2m〜3mとなる近接領域に適している。さらに、音声到達範囲SRを定義するために円筒形の範囲が適している。当該の円筒の長軸は補聴器の着用者の長軸に一致する。他の状況では有効な赤道面が開放角によって定義される。当該の開放角は90°〜120°、ふつう60°〜90°、有利には45°〜60°、特に有利には30°〜45°である。こうしたシナリオは有利には遠方領域にも適する。
BSSモジュール320で形成された電気音響信号s’(t),s’(t),s’(t)は複数の音源に相応し、そこに距離情報y(t),y(t),y(t)が含まれる。この距離情報から、それぞれの音源s(t),s(t),s(t)が補聴器ないし補聴器の着用者からどれだけ離れているかが推論される。距離分析情報の読み出しはポストプロセッサモジュール330において行われ、各電気音響信号s’(t),s’(t),s’(t)に対して距離情報y(t),y(t),y(t)が対応し、続いて1つまたは複数の電気音響信号s(t),s(t)が選択される。ここで、距離情報に基づいて、補聴器の着用者および音源s(t),s(t)が同じ会話状況のなかにある確率が高い1つまたは複数の電気音響信号が選択される。図3においては、音源s(t)は補聴器の着用者に対向しており、音源s(t)は補聴器の着用者の横ほぼ90°の方向に位置している。ただしこれらの音源は音声到達範囲SR内に入っている。
ポストプロセッサモジュール330は2つの電気音響信号s’(t),s’(t)を増幅してスピーカ400へ送出する。さらに、例えば音源s(t)は雑音源であり、ポストプロセッサモジュール330によって無視されることも考えられる。このことは相応のモジュールないし装置によりポストプロセッサモジュール330において検出される。
各音源102,104;s(t),s(t),s(t)が補聴器ないし補聴器の着用者からどれだけ離れているかを検出する手段には複数のものがあるが、特には各音源を表す電気信号322,324;s’(t),s’(t),s’(t)が相応に評価される。
各音源102,104;s(t),s(t),s(t)から補聴器ないし補聴器の着用者までの距離に関する推論により、例えば、相応の音源102,104;s(t),s(t),s(t)ないし相応の電気信号322,324;s’(t),s’(t)の直接音成分と反響成分との比が得られる。すなわち、個々のケースでは、当該の比が大きくなるにつれて、音源102,104;s(t),s(t),s(t)が補聴器の着用者に接近していることになる。これについて、付加的な状態は音源分離プロセスの内部で分析される。これにより近接音源102;s(t),s(t)と他の音源104;s(t)との判別が行われる。このことは、ポストプロセッサモジュール330において、BSSモジュール320から距離分析のための破線の矢印によって示されている。
さらに、所定のレベル基準値からも、音源102,104;s(t),s(t),s(t)が補聴器からどれだけ離れたところにあるかについての推論を得ることができる。すなわち、個々のケースでは、当該の比が大きくなるにつれて、音源102,104;s(t),s(t),s(t)がマイクロフォン200,210の近傍に位置している確率が高くなる。
さらに、頭部シェーディング効果に基づいて、音源102,104;s(t),s(t),s(t)の距離に関する推論が導き出される。このことにより、左右の耳への音の入射あるいは左右の補聴器装置への音の入射が区別される。
音源が"点状"であれば、同様に、距離に関する情報が得られる。各音源102,104;s(t),s(t),s(t)がどの程度拡散しておらずどの程度"点状"であるかについての推論を可能にする手段も存在する。一般に、音源の点状性がますにつれ、音源が補聴器1のマイクロフォンに接近して位置していることになる。
さらに、時間的な信号の特徴からも、音源102,104;s1(t),s(t),s(t)が補聴器1に対してどれだけ離れたところにあるかについての推論を得ることができる。つまり、時間信号の形状、例えば包絡線のエッジの急峻性から、音源102,104;s(t),s(t),s(t)の距離に関する推論が導き出される。
さらに、もちろん、複数のマイクロフォン200,210により、補聴器の着用者から音源までの距離が求められる。これは例えば三角法により行われる。
本発明の第2の実施例では、もちろん、唯一の音源または3つ以上の音源を増幅して再生することも可能である。
本発明によれば、ポストプロセッサモジュール330における距離分析部は補聴器のバックグラウンドにおいてつねに動作しており、適切な電気音響信号322;s’(t),s’(t)が発生すると初期化される。また、当該の距離分析部は補聴器の着用者が呼び出すこともできる。すなわち、補聴器の動作モードである"近接音源モード"は補聴器の着用者が呼び出し可能であるかまたは操作可能な入力装置によって初期化される。この場合、入力装置は補聴器の操作エレメントであるか、または補聴器のリモートコントロール部の操作エレメントであって、キーボードまたはスイッチとして構成される(図では示されていない)。さらに、入力装置は、補聴器の着用者の声に合わせて調整され、発音体を識別する識別モジュールを有する音声制御部として構成することもできる。ここで、入力装置は少なくとも部分的に補聴器1および/または少なくとも部分的に補聴器1のリモートコントロール部内に構成される。
さらに、補聴器1により付加的な情報が得られる。電気音響信号322,s’(t),s’(t)は有利には補聴器で出力音402,s"(t)として再生される。この情報は、相応の音源102,104;s1(t),s(t),s(t)から補聴器1への入射角であり、そのうち所定の入射角が有利である。例えば、補聴器の着用者に対して、相手が直接の対面に座っている場合の0°〜±10°の視界方向、および/または、相手が左右いずれかの隣に座っている±70°〜±100°の側方方向、および/または、相手が斜め向かいに座っている±20°〜±45°の視界方向などが挙げられる。さらに、電気音響信号322;s’(t),s’(t)により、電気音響信号322;s’(t),s’(t)のうちいずれが支配的であるかまたはいずれがより大きな電気音響信号であるか、および/または、いずれかの電気音響信号322;s’(t),s’(t)が既知の音声を含むか否かを重みづけすることができる。
本発明によれば、電気音響信号322;324;s’(t),s’(t),s’(t)の距離分析は必ずしもポストプロセッサモジュール330内で行われなくてよい。同様に、例えば、迅速性のために、距離分析を補聴器1の他のモジュールによって行い、ポストプロセッサモジュール330には1つまたは複数の最小距離情報を有する電気音響信号の選択のみを担当させることもできる。この実施例では、定義により、補聴器1の他のモジュールがポストプロセッサモジュール330に含まれていてもよい。すなわち、ポストプロセッサモジュール330が他のモジュールを含んでいてもよい。
本発明の参考文献を挙げておく。欧州公開第1017253号明細書には、距離分析により、ポストプロセッサモジュール20の電気出力信号に対する1つまたは複数の発音体ないし音源が選択され、少なくとも増幅されて再生されることが記載されている。これについては欧州公開第1017253号明細書の段落[0025]を参照されたい。さらに、本発明では、プリプロセッサモジュールおよびBSSモジュールが欧州公開第1017253号明細書のプリプロセッサ16およびアンミキサ18などと同様に構成されている。これについては欧州公開第1017253号明細書の段落[0008]〜段落[0024]を参照されたい。
さらに、本発明は、補聴器の着用者に対してステレオ音声信号を供給し、両耳性の音声を提供する手段を説明した欧州公開第1655998号明細書をも基礎としている。ここでは、図2,図3に示されているように、第2のフィルタ装置からの左右の出力信号z1,z2につき、後方で相応の音源の強調ないし増幅が行われることが記載されている。また、欧州公開第1655998号明細書によれば、ブラインド音源分離プロセスの後に第2のフィルタ装置が挿入されている。すなわち、欧州公開第1655998号明細書の図3によれば、信号y1(k),y2(k)の選択がフィルタによって行われる。

Claims (28)

  1. 周囲音(100;102,104;s(t),s(t),…,s(t))のうち近接音源(102;s(t),s(t))を追跡してこれを選択する、
    補聴器の駆動方法において、
    当該の補聴器(1)の信号処理回路(300)により所定の動作モードである"近接音源モード"を形成し、当該の補聴器により受け取られた周囲音から複数の電気音響信号(202,212;312,314;322,324;x(t),x(t),…,x(t);s’(t),s’(t),…s’(t))を形成し、
    前記信号処理回路により前記複数の電気音響信号から近接音源(102;s(t),s(t))を求め、該近接音源が当該の補聴器の着用者にとって他の音源と比べて音響的に少なくとも際立ち良好に知覚されるように、該近接音源の信号を前記信号処理回路によって当該の補聴器の出力音(402;s"(t);s"(t)+s"(t))において選択的に考慮する
    ことを特徴とする補聴器の駆動方法。
  2. 前記近接音源が当該の補聴器の着用者にとって音声を理解可能な音声到達範囲(SR)内に位置するように前記近接音源を選択する、請求項1記載の補聴器の駆動方法。
  3. 他の音源(104;s(t))は当該の補聴器の着用者にとって前記近接音源(102;s(t),s(t))よりも空間的に遠くに位置する、請求項1または2記載の補聴器の駆動方法。
  4. 前記信号処理回路(300)により、相互に独立した複数の近接音源(102;s(t),s(t))に相互に分離して追跡する、請求項1から3までのいずれか1項記載の補聴器の駆動方法。
  5. 前記信号処理回路により、各電気音響信号(322,324;s’(t),s’(t),…,s’(t))の距離分析を行い、各音源につきそれぞれ1つずつ当該の補聴器の着用者までの距離(y(t),y(t),…,y(t))を求める、請求項1から4までのいずれか1項記載の補聴器の駆動方法。
  6. 前記信号処理回路により、当該の補聴器の着用者までの距離(y(t),y(t),…,y(t))が最小となる1つまたは複数の音源(102,104;s(t),s(t),…,s(t))を求め、該1つまたは複数の音源を当該の補聴器の着用者に対して出力音(402;s"(t)+s"(t))として供給する、請求項1から5までのいずれか1項記載の補聴器の駆動方法。
  7. 前記近接音源または前記電気音響信号を、さらに、直接音と反響成分との比、レベル基準、頭部シェーディング効果、各音源の点状性、時間指標、特に時間信号の所定の形状、マルチマイクロフォン処理に基づく距離測定、無干渉性、当該の補聴器ないし当該の補聴器の着用者までの垂直方向の距離、および/または、内部に記憶されている音声に基づいて識別ないし選択する、請求項1から6までのいずれか1項記載の補聴器の駆動方法。
  8. 前記信号処理回路により、音声を含まない音源または障害信号の強い障害を受けている音源を考慮しない、請求項1から7までのいずれか1項記載の補聴器の駆動方法。
  9. 前記信号処理回路は前記電気音響信号を分離する混合解除モジュール(320)と前記所定の動作モードである"近接音源モード"を形成するポストプロセッサモジュール(330)とを有する、請求項1から8までのいずれか1項記載の補聴器の駆動方法。
  10. 前記混合解除モジュールをブラインド音源分離モジュールとして構成する、請求項9記載の補聴器の駆動方法。
  11. 前記ポストプロセッサモジュールにおいて、前記電気音響信号の音強度を前記信号処理回路の出力信号(332)ごとに順次に調整する、請求項9または10記載の補聴器の駆動方法。
  12. 前記信号処理回路は前記電気音響信号を処理して前記混合解除モジュールへ供給するプリプロセッサモジュール(310)を有する、請求項1から11までのいずれか1項記載の補聴器の駆動方法。
  13. 前記所定の動作モードである"近接音源モード"を形成する際に、当該の補聴器の着用者に対して所定の方向にある前記近接音源、有利には視界方向0°または側方方向90°にある近接音源を追跡する、請求項1から12までのいずれか1項記載の補聴器の駆動方法。
  14. 前記所定の動作モードである"近接音源モード"では、前記周囲音において支配的な近接音源を追跡する、請求項1から13までのいずれか1項記載の補聴器の駆動方法。
  15. 前記所定の動作モードである"近接音源モード"を、前記出力音において当該の補聴器の着用者にとって主として1つまたは複数の近接音源のみが知覚されるように形成する、請求項1から14までのいずれか1項記載の補聴器の駆動方法。
  16. 周囲音(100;102,104;s(t),s(t),…,s(t))のうち近接音源(102;s(t),s(t))を追跡してこれを選択する
    補聴器において、
    当該の補聴器により受け取られた周囲音から電気音響信号(202,212;312,314;322,324;x(t),x(t),…,x(t);s’(t),s’(t),…s’(t))が形成され、当該の補聴器(1)の信号処理回路(300)により所定の動作モードである"近接音源モード"が形成され、
    前記信号処理回路のポストプロセッサモジュール(330)により、当該の補聴器の着用者までの距離の小さい音源すなわち近接音源の少なくとも1つの電気音響信号(322;s’(t),s’(t))が識別ないし選択され、前記電気音響信号は、該信号が当該の補聴器の着用者にとって他の音源の信号と比べて音響的に少なくとも際立ちかつ良好に知覚されるように、前記信号処理回路によって当該の補聴器の出力音(402;s"(t);s"(t)+s"(t))において選択的に考慮される
    ことを特徴とする補聴器。
  17. 前記信号処理回路(300)は相互に独立した複数の近接音源(102;s(t),s(t))を相互に分離して追跡するように構成されている、請求項16記載の補聴器。
  18. 前記信号処理回路により、各電気音響信号(322,324;s’(t),s’(t),…,s’(t))の距離分析が行われ、各音源につきそれぞれ1つずつ当該の補聴器の着用者までの距離(y(t),y(t),…,y(t))が求められる、請求項16または17記載の補聴器。
  19. 前記信号処理回路により、各電気音響信号の距離分析が行われ、当該の補聴器の着用者までの距離(y(t),y(t),…,y(t))が最小となる1つまたは複数の音源(102,104;s(t),s(t),…,s(t))が求められ、当該の補聴器の着用者につき当該の出力音が供給される、請求項16から18までのいずれか1項記載の補聴器。
  20. 前記近接音源または前記電気音響信号は、さらに、直接音と反響成分との比、レベル基準、頭部シェーディング効果、各音源の点状性、時間指標、特に時間信号の所定の形状、マルチマイクロフォン処理に基づく距離測定、無干渉性、当該の補聴器ないし当該の補聴器の着用者までの垂直方向の距離、および/または、内部に記憶されている音声に基づいて識別ないし選択される、請求項16から19までのいずれか1項記載の補聴器。
  21. 前記信号処理回路により、音声を含まない音源または障害信号の強い障害を受けている音源が考慮されない、請求項16から20までのいずれか1項記載の補聴器。
  22. 前記ポストプロセッサモジュールにより電気音響信号が追跡ないし選択され、相応の電気音響信号から当該の補聴器のスピーカに対して出力音が形成される、請求項16から21までのいずれか1項記載の補聴器。
  23. 当該の補聴器の1つまたは2つの補聴器装置が1つまたは複数の近接音源を含む周囲音を受け取る複数のマイクロフォンを有しており、各マイクロフォンを介して1つずつの電気音響信号が前記信号処理回路へ出力される、請求項16から22までのいずれか1項記載の補聴器。
  24. 前記信号処理回路は前記電気音響信号を分離する混合解除モジュール(320)と前記所定の動作モードである"近接音源モード"を形成するポストプロセッサモジュール(330)とを有する、請求項16から23までのいずれか1項記載の補聴器。
  25. 前記混合解除モジュールはブラインド音源分離モジュールとして構成されている、請求項24記載の補聴器。
  26. 前記ポストプロセッサモジュールにおいて、前記電気音響信号の音強度が前記信号処理回路の出力信号(332)ごとに順次に調整される、請求項24または25記載の補聴器。
  27. 前記信号処理回路は前記電気音響信号を処理して前記混合解除モジュールへ供給するプリプロセッサモジュール(310)を有する、請求項16から26までのいずれか1項記載の補聴器。
  28. 当該の補聴器(1)は1つまたは2つの補聴器装置を有する、請求項16から27までのいずれか1項記載の補聴器。
JP2009531817A 2006-10-10 2007-10-08 補聴器の駆動方法および補聴器 Active JP5295115B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102006047987.4 2006-10-10
DE102006047987 2006-10-10
PCT/EP2007/060652 WO2008043731A1 (de) 2006-10-10 2007-10-08 Verfahren zum betreiben einer hörhilfe, sowie hörhilfe

Publications (2)

Publication Number Publication Date
JP2010506525A true JP2010506525A (ja) 2010-02-25
JP5295115B2 JP5295115B2 (ja) 2013-09-18

Family

ID=38969598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009531817A Active JP5295115B2 (ja) 2006-10-10 2007-10-08 補聴器の駆動方法および補聴器

Country Status (6)

Country Link
US (1) US8331591B2 (ja)
EP (1) EP2077059B1 (ja)
JP (1) JP5295115B2 (ja)
AU (1) AU2007306432B2 (ja)
DK (1) DK2077059T3 (ja)
WO (1) WO2008043731A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012205147A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 携帯電子機器および音声制御システム
JP2014501064A (ja) * 2010-10-25 2014-01-16 クゥアルコム・インコーポレイテッド マルチマイクロフォンを用いた3次元サウンド獲得及び再生
US9031256B2 (en) 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007306432B2 (en) 2006-10-10 2012-03-29 Sivantos Gmbh Method for operating a hearing aid, and hearing aid
US8461986B2 (en) * 2007-12-14 2013-06-11 Wayne Harvey Snyder Audible event detector and analyzer for annunciating to the hearing impaired
WO2010086462A2 (en) * 2010-05-04 2010-08-05 Phonak Ag Methods for operating a hearing device as well as hearing devices
US10791404B1 (en) * 2018-08-13 2020-09-29 Michael B. Lasky Assisted hearing aid with synthetic substitution
CN114900771B (zh) * 2022-07-15 2022-09-23 深圳市沃特沃德信息有限公司 基于辅音耳机的音量调节优化方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0933329A (ja) * 1995-07-17 1997-02-07 Nippon Telegr & Teleph Corp <Ntt> 音響分離方法およびこの方法を実施する装置
JP2000066698A (ja) * 1998-08-19 2000-03-03 Nippon Telegr & Teleph Corp <Ntt> 音認識装置
EP1017253A2 (en) * 1998-12-30 2000-07-05 Siemens Corporate Research, Inc. Blind source separation for hearing aids
JP2004512493A (ja) * 2001-04-18 2004-04-22 フォーナック アーゲー 音響環境の分析方法及びシステム
JP2005268964A (ja) * 2004-03-16 2005-09-29 Intelligent Cosmos Research Institute 音処理装置、音処理方法および音処理プログラム
JP2006178333A (ja) * 2004-12-24 2006-07-06 Nippon Telegr & Teleph Corp <Ntt> 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526148B1 (en) * 1999-05-18 2003-02-25 Siemens Corporate Research, Inc. Device and method for demixing signal mixtures using fast blind source separation technique based on delay and attenuation compensation, and for selecting channels for the demixed signals
US6430528B1 (en) 1999-08-20 2002-08-06 Siemens Corporate Research, Inc. Method and apparatus for demixing of degenerate mixtures
WO2001087011A2 (en) 2000-05-10 2001-11-15 The Board Of Trustees Of The University Of Illinois Interference suppression techniques
US7502479B2 (en) * 2001-04-18 2009-03-10 Phonak Ag Method for analyzing an acoustical environment and a system to do so
WO2001052596A2 (en) * 2001-04-18 2001-07-19 Phonak Ag A method for analyzing an acoustical environment and a system to do so
DE10313331B4 (de) * 2003-03-25 2005-06-16 Siemens Audiologische Technik Gmbh Verfahren zur Bestimmung einer Einfallsrichtung eines Signals einer akustischen Signalquelle und Vorrichtung zur Durchführung des Verfahrens
DE102004053790A1 (de) 2004-11-08 2006-05-18 Siemens Audiologische Technik Gmbh Verfahren zur Erzeugung von Stereosignalen für getrennte Quellen und entsprechendes Akustiksystem
US7319769B2 (en) * 2004-12-09 2008-01-15 Phonak Ag Method to adjust parameters of a transfer function of a hearing device as well as hearing device
EP1640972A1 (en) * 2005-12-23 2006-03-29 Phonak AG System and method for separation of a users voice from ambient sound
US7970564B2 (en) * 2006-05-02 2011-06-28 Qualcomm Incorporated Enhancement techniques for blind source separation (BSS)
AU2007306432B2 (en) 2006-10-10 2012-03-29 Sivantos Gmbh Method for operating a hearing aid, and hearing aid

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0933329A (ja) * 1995-07-17 1997-02-07 Nippon Telegr & Teleph Corp <Ntt> 音響分離方法およびこの方法を実施する装置
JP2000066698A (ja) * 1998-08-19 2000-03-03 Nippon Telegr & Teleph Corp <Ntt> 音認識装置
EP1017253A2 (en) * 1998-12-30 2000-07-05 Siemens Corporate Research, Inc. Blind source separation for hearing aids
JP2004512493A (ja) * 2001-04-18 2004-04-22 フォーナック アーゲー 音響環境の分析方法及びシステム
JP2005268964A (ja) * 2004-03-16 2005-09-29 Intelligent Cosmos Research Institute 音処理装置、音処理方法および音処理プログラム
JP2006178333A (ja) * 2004-12-24 2006-07-06 Nippon Telegr & Teleph Corp <Ntt> 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014501064A (ja) * 2010-10-25 2014-01-16 クゥアルコム・インコーポレイテッド マルチマイクロフォンを用いた3次元サウンド獲得及び再生
US9031256B2 (en) 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
US9552840B2 (en) 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
JP2012205147A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 携帯電子機器および音声制御システム

Also Published As

Publication number Publication date
JP5295115B2 (ja) 2013-09-18
US8331591B2 (en) 2012-12-11
EP2077059B1 (de) 2017-08-16
AU2007306432A1 (en) 2008-04-17
DK2077059T3 (da) 2017-11-27
WO2008043731A1 (de) 2008-04-17
US20100034406A1 (en) 2010-02-11
AU2007306432B2 (en) 2012-03-29
EP2077059A1 (de) 2009-07-08

Similar Documents

Publication Publication Date Title
US8194900B2 (en) Method for operating a hearing aid, and hearing aid
JP5295115B2 (ja) 補聴器の駆動方法および補聴器
JP5581329B2 (ja) 会話検出装置、補聴器及び会話検出方法
KR101689339B1 (ko) 이어폰 구조체 및 그 작동 방법
JP7187646B2 (ja) メディア補償されたパススルーおよびモード切り換え
WO2011158506A1 (ja) 補聴器、信号処理方法及びプログラム
US10070231B2 (en) Hearing device with input transducer and wireless receiver
US20080086309A1 (en) Method for operating a hearing aid, and hearing aid
CN113544775B (zh) 用于头戴式音频设备的音频信号增强
JP2021110948A (ja) 車両音声システム用の空間発話分離による音声ダッキング
US20220174395A1 (en) Auditory augmented reality using selective noise cancellation
KR20200100665A (ko) 원단 원격통신을 위한 승객실 내 음향 잡음 소거 시스템
JP5130298B2 (ja) 補聴器の動作方法、および補聴器
Maj et al. Noise reduction results of an adaptive filtering technique for dual-microphone behind-the-ear hearing aids
Sudharsan et al. A microphone array and voice algorithm based smart hearing aid
US20090285422A1 (en) Method for operating a hearing device and hearing device
KR101369272B1 (ko) 양이 보청기를 위한 음향 처리 장치 및 방법
EP4184507A1 (en) Headset apparatus, teleconference system, user device and teleconferencing method
CN113709653B (zh) 定向定位听音方法、听力装置及介质
EP4187926A1 (en) Method and system for providing hearing assistance
Groth BINAURAL DIRECTIONALITY™ II WITH SPATIAL SENSE™
Amin et al. Blind Source Separation Performance Based on Microphone Sensitivity and Orientation Within Interaction Devices
JP2023107364A (ja) コミュニケーション装置及びコミュニケーション方法
Hamacher Algorithms for future commercial hearing aids
JP2003111185A (ja) 収音装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120213

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120312

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120319

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120411

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130611

R150 Certificate of patent or registration of utility model

Ref document number: 5295115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250