JP2009542057A - 適応性のある方向性信号処理を備えた補聴装置 - Google Patents

適応性のある方向性信号処理を備えた補聴装置 Download PDF

Info

Publication number
JP2009542057A
JP2009542057A JP2009515708A JP2009515708A JP2009542057A JP 2009542057 A JP2009542057 A JP 2009542057A JP 2009515708 A JP2009515708 A JP 2009515708A JP 2009515708 A JP2009515708 A JP 2009515708A JP 2009542057 A JP2009542057 A JP 2009542057A
Authority
JP
Japan
Prior art keywords
signal
hearing aid
speech
prohibited range
aid according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009515708A
Other languages
English (en)
Other versions
JP5249207B2 (ja
JP2009542057A5 (ja
Inventor
ビスガード,ニコライ
ブリース,ロブ アントン ジュリエン デ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GN Hearing AS
Original Assignee
GN Resound AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37663155&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2009542057(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by GN Resound AS filed Critical GN Resound AS
Publication of JP2009542057A publication Critical patent/JP2009542057A/ja
Publication of JP2009542057A5 publication Critical patent/JP2009542057A5/ja
Application granted granted Critical
Publication of JP5249207B2 publication Critical patent/JP5249207B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552Binaural

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Filters That Use Time-Delay Elements (AREA)
  • Stereophonic System (AREA)

Abstract

本発明は、音声を受け入れるための、および、受け入れた音声を信号処理装置に入力される対応電気音声信号に変換するための少なくとも2つのマイクロフォンを有する補聴器に関する。信号処理装置は、電気音声信号を、少なくとも1つの適応性のある零方向θを有する方向性パターンと組み合わされた信号に処理するように適応され、前記少なくとも1つのある零方向θが、方向の禁止範囲に入ることを阻止するように更に適応されている。ここで、方向の禁止範囲は、電気音声信号のパラメータの関数である。

Description

この発明は、補聴器、移植可能な補聴人工装具、ヘッドセット、携帯電話等のような方向性信号処理に適応性のある信号処理装置を備えた補聴装置に関する。
騒音の音源と所望の音源とを区別する聴取者に関して、音源の方向についての情報を利用することはよく知られている。この明細書を通じて、方向性信号処理システムという用語は、音響環境の空間的特性を利用するように適応する信号処理システムを意味する。指向性のマイクロフォンも利用できるものではあるが、一般的には、方向性信号処理は、無指向性マイクロフォンの配列を利用するものである。
方向性信号処理システムは、配列されたマイクロフォンからの電気信号を、その配列と異なる方向に音源に対して変化する感受性を有する信号に結合させる。この明細書を通じて、方向の関数としての変化する感受性のプロットは、指向性のパターンを示す。一般的に、指向性のパターンとは、マイクロフォンの信号が実質的にお互いに打ち消し合う、少なくとも一つの方向を有する。この明細書を通じて、そのような方向は、零方向として表される。指向性のパターンは、配列されたマイクロフォンの数に応じて、及び、信号の処理に応じて、幾つかの零方向を備えてもよい。
関心のある方向における音源の音響の抑制を阻止する方向性信号処理システムが知られている。
例えば、米国特許第5,473,701号は、ある基準によってマイクロフォン列の出力信号レベルの減少を行うために、調整可能な指向性パターン、つまり調整可能な零方向を有するマイクロフォン列の信号対ノイズ比を高める方法であって、零方向が空間の所定領域内に位置することを妨げられる制約のもとでその減少が行われる方法を開示している。
本発明の目的は、全ての方向からの音源を抑制する改善された能力を有するシステムを提供することである。
本発明によれば、上記及び他の目的は、音声を受け取るための、及び、受け取った音声を信号処理装置へ入力される対応電気音声信号に変換するための少なくとも2個のマイクロフォンを有する補聴装置によって達成される。信号処理装置は、電気的音声信号を、少なくとも1つの適応性のある零方向θを有する方向性パターンと結合した信号に処理するように適応される。その信号処理装置は、前記少なくとも1つの適応性のある零方向θが、方向の1つ以上の禁止範囲に入るのを阻止するように更に適応されるが、ここで、夫々の禁止範囲とは、電気音声信号のパラメータの関数である。
1つ以上の禁止範囲は、例えば、1つ以上の所望の信号が別々の方向から到達するという状況において起こり得る。
好ましくは、前記の少なくとも2個のマイクロフォンは、無指向性マイクロフォンである。しかしながら、幾つかの実施例では、前記の少なくとも2個のマイクロフォンは、指向性マイクロフォンで置換されるものもある。
本発明の重要な利点は、所望の音源の抑制は回避され、所望でない音源はいかなる任意の方向からのものでも抑制されるということである。
該補聴装置は、所望の音源を検出するための所望信号検出器、例えば、音声の存在を検出するための音声検出器から更に構成される。方向の禁止範囲の調整は、音声の信号の不存在のある期間の後、音声のような所望の信号が検出される第1の時間間隔に亘って徐々に成される。
更に、方向の禁止範囲の調整は、たとえば音声の所望の信号の存在のある期間の後、音声のような所望の信号が停止する第2の時間間隔に亘って徐々に成されてもよい。
該禁止範囲は、零度方位角(0°azimuth)または他の所定方向のような一定の方向を含むものでもよい。
前記の少なくとも2個のマイクロフォンの少なくとも1個によって受信される音声パワーの予測値は、パラメータからなるものでもよく、例えば、前側のマイクロフォンにより受信する音声の平均パワーはパラメータからなるものでもよいし、あるいは該パラメータは、音声のパワーの予測値、例えば、音声の平均パワーの関数であってもよい。
前記の少なくとも2個のマイクロフォンの少なくとも1個によって受信される音声の信号対雑音比の予測値は、パラメータからなるものでもよく、あるいは、該パラメータは、信号対雑音比の予測値の関数であってもよい。
前記補聴装置は、音声検出器のような所望信号検出器及び到達検出器からなり、該禁止範囲は、会話のような検出した所望信号の到達の検出方向を含み、それにより、所望信号の抑制が阻止される。
単一の禁止範囲に関する一実施例では、該禁止範囲は、多重音源のような多重の所望の信号源の存在においては、零度方位角または他の好適方向に最も近接した検出した所望の信号源の検出した到達方向を含んでいてもよい。
単一の禁止範囲に関する一実施例では、該禁止範囲は、音声音源のような多重の所望の信号源の存在においては、全ての所望の音声音源の検出した到達方向を含んでいてもよい。
多数の禁止範囲に関する一実施例では、禁止範囲の全てかその幾つかは、所望の信号源のそれぞれの検出された方向に中心を持つものであってもよい。
単一の禁止範囲について説明したように、対応する所望の信号源の対応する方向に中心を持った多数の禁止範囲の特定の禁止範囲の幅は、電気音声信号、例えば、パワー、信号対雑音比等のパラメータの関数として制御されていてもよい。
最新の零方向が、方向の禁止範囲の調節によって禁止範囲の内側に存在していてもよい。信号処理装置は、そのような零方向を調整された禁止範囲の外側に移動するように更に適応されていてもよい。
該信号処理装置は、副バンド処理のために適応されていてもよく、それにより、マイクロフォンからの電気音声信号は、1組の周波数バンドBi、それぞれの周波数バンドBiまたは少なくとも幾つかの周波数バンドBiに分割される。
また、電気音声信号は個別に処理されるもので、その場合、個別に調節された零方向θiを有する個別の指向性のパターンを持った合成信号に電気音声信号が処理されることを含み、
及び、
零方向θiは、1またはそれ以上の禁止範囲に入ることが阻止されており、それにより、それぞれの禁止範囲が電気音声信号のパラメータの関数となるものである。
副バンド処理は、所望でない音源が、異なる周波数範囲に音声を発するのを個別に抑制することを可能にする。
該信号処理装置は、適応性のあるビーム形成器、多チャンネルのウィーナー・フィルター、独立したコンポーネント分析器、及び目隠し音源を分離するアルゴリズムからなるグループから選択された方向性の信号処理を達成するように適応していてもよい。
本発明の上記及び他の特徴は、添付した図面を参照して典型的な好適実施例を詳細に説明することにより当業者に更に明らかになる。
本発明のデジタルの補聴器の簡略されたブロック図である。 図1の補聴器の方向性信号処理を模式的に図示する。
本発明は、添付する図面を参照して以下に十分に説明されるものであり、その図面において本発明の代表的な実施例が示される。しかしながら、本発明は別の形でも実現されうるものであり、以下に示す実施例に限定して解釈されるべきではない。むしろ、この開示が十分で完璧であり当業者に対し本発明の範囲を十分に伝えるようにこれら実施例は提供されている。全体を通じて、同一の参照番号は同一の要素を引用している。
図1は、本発明のデジタルの補聴器の簡略されたブロック図を示す。補聴器1は、1またはそれ以上の音声受信器2、例えば、2つのマイクロフォン2aとテレコイル2bからなる。マイクロフォンのためのアナログ信号は、それぞれのマイクロフォンのためのアナログーデジタル変換器4を含むアナログーデジタル変換回路3に接続されている。
アナログ−デジタル変換器4からのデジタル信号出力は、共通データ線5に接続され、デジタル信号処理器(DSP)6への信号に導かれる。DSPは、ユーザーの必要に従って補聴損失を補償するためにデジタル信号の必要な信号処理動作を果たすようにプログラムされている。DSPは、本発明により、信号処理パラメータを自動的に調節するために更にプログラムされている。
それから、出力信号は、デジタル−アナログ変換回路12に供給されている。デジタル−アナログ変換回路12からのアナログ出力信号は小型スピーカのような音変換器13に供給されている。
更に、DSP6の外側において、該補聴器は、例えばEEPROM(電気的消去可能プログラム可能読出専用メモリ)として示される記憶装置14を含む。共通シリアルデータバス17に接続された外部メモリ14は、PC16から入力されたプログラム、データ、パラメータ等をインターフェース15から供給されることができる。それは、例えば、新しい補聴器が特定のユーザーにあてがわれ、その補聴器がそのユーザー用に正確に調節されるとき、あるいは、ユーザーが自分の補聴器を更新し、及びまたは、例えば聴覚士によってユーザーの実際の補聴損失に対して再調節される場合である。
DSP6は中央処理装置(CPU)7と多数の内部記憶装置8−11を含み、これらの記憶装置8−11はデータやプログラムを収納するものであり、これらは現在、DSP回路6により制御されている。DSP6は、プログラムROM(読出専用メモリ)8、データROM9、プログラムRAM(書込専用メモリ)10、及びデータRAM11を含む。前半2つに記述のプログラムROM(読出専用メモリ)8とデータROM9は、プログラムとデータを含み、該回路における永久的要素を構成し、後半2つに記述のプログラムRAM(書込専用メモリ)10とデータRAM11は、変更され上書きできるプログラムとデータを含む。
典型的には、外部のEEPROM14は、内部RAMよりは、かなり、例えば4から8倍大きく、このことは、一定のデータとプログラムがEEPROMに記憶されることができ、それらが所望の制御のために内部RAMに読み込まれることが可能であることを意味する。後に、これら特別のデータとプログラムは、普通の動作上のデータや作業プログラムで上書きされることができる。このように、外部のEEPROMは、特別な場合、たとえば立ち上げプログラムにのみ利用される一連のプログラムを含む。
図2は、本発明の補聴器の信号処理を模式的に図示している。図示された補聴器は、2つのマイクロフォン20と22をユーザーの耳に付けるべくハウジングの中に配置される。該ハウジングがユーザーの耳の動作箇所に設置された時には、1つのマイクロフォン、前側マイクロフォン20は、他のマイクロフォン、後側マイクロフォン22の前側に位置する。前側マイクロフォン20と後側マイクロフォン22を延長した水平線は、補聴器のユーザーの視線方向に対応する前側方位即ち方位角(azimth)=零度を定義する。
両耳用の補聴器からなる別の実施例では、前側マイクロフォン20と後側マイクロフォン22は別々のハウジング、即ち、ユーザーの左耳の中に配置されたハウジングと右耳の中に配置されたハウジングの中に配置される。それで、方向性信号処理は、左か右のいずれかの補聴器ハウジングか、両方の補聴器ハウジンか、または、信号処理回路を含む別の補聴器ハウジングであってユーザーの身体のどこかに付けられるよう意図された補聴器ハウジングで行われる。電気信号は、電気的配線かワイアレスでハウジング間を通信されることができる。左耳のハウジングと右耳のハウジングの中のマイクロフォンの間に大きい距離があれば、それは大きい方向性のある方向性パターンになることになる。
該マイクロフォン20、22は、受信した音の信号を対応する電気的な音の信号に変換する。電気的な音の信号は、それぞれのA/D変換器(図示しない)によって、デジタルの音の信号24、26に変換される。
それぞれのデジタルの音の信号24、26は、それぞれの減算回路28、30及び遅延DHを有するそれぞれの遅延回路32、34に入力される。それぞれの遅延回路32、34は、デジタル化された音の信号24、26を、音の信号に利用される時間量によって遅延し、前側マイクロフォン20から後側マイクロフォン22への零度方位角方向に伝播する。
それぞれの減算回路28、30は、あるマイクロフォン20、22からそれぞれ遅延された信号36,38を、他のマイクロフォン22,20からのそのままの信号から減算する。それぞれの減算された信号40、42は、固定の方向性パターン44,46、いわゆる、ハート形のパターンを有する。上の分枝(a)のハート形のパターン44は、ユーザーの後方向を示す180°方位角にて零方向48を有し、下の分枝(b)のハート形のパターン46は、ユーザーの前方向を示す0°方位角にて零方向50を有する。
下の分枝(b)の減算された信号42は、変換関数Hを持つ適応性フィルター52により濾波され、上の分枝(a)の減算された信号40は、適応性フィルター52のグループの遅延量に等しい遅延DHを有する遅延回路54によって遅延される。その結果、適応性のある零方向θを有する方向性パターン62で合成された信号60を形成するために、2つの信号56、58は減算される。かくて得られる方向性パターン62の例も図2に示されている。得られる方向性パターン62のハッチングされた領域は、方向の禁止範囲を表し、図示された例では、0°方位角の周りに対称形である。円弧状の矢印は、方向の禁止範囲が電気的音の信号のパラメータの関数として変化ことを示している。
図2の図示された実施例では、遅延回路34と減算回路28は省略できるものであり、その場合でも、図2の図示された実施例に類似の方向性パターン62を有する出力60は、適応性フィルター52の動作における対応する変更により得ることができることは注目すべきである。
更に、図2の図示された実施例では、遅延回路32、34と減算回路28、30の両方が省略できるものであり、その場合でも、図2の図示された実施例に類似の方向性パターン62を有する出力60は、適応性フィルター52の動作における対応する変更により得ることができる。
図示された実施例では、フィルター52は、フィルター係数更新回路64により合成された信号60の出力パワーを最小限にするよう適応されている。フィルター52は、Nタップを有する有限衝撃応答(FIR)フィルターであってもよい。
適応性フィルター制御回路66は、零方向θが電気的な音の信号のパラメータの関数として方向の禁止範囲に入ることを阻止する。
適応性フィルター制御回路66は、方向性の零θが方向の禁止範囲の外側に残るように、適応性フィルター52のフィルター係数を抑制する。
例えば、適応性フィルター52は、適応性フィルター52がゲインGHを有する増幅器であり、適応性フィルター制御回路66が、ゲインGHを0≦GH≦Glimitの範囲の内側に残すように抑制する場合には単一のタップを有してもいい。閾値Glimitの値が、方向の禁止範囲を決定する。例えば、Glimitが1の時、方向の禁止範囲は−90°方位角から+90°方位角まで変化する。
適応性フィルター制御回路66は、フィルタ−係数を凍らせるものであってよい。即ち、最大の音源が方向の禁止範囲の内側に位置する時には、一時的に、フィルタ−係数の更新が停止される。この接近法は、補聴装置に入ってくる信号の到達方向(DOA)を予測するために必要である。
DOA予測は、次により得られる。即ち、Dだけ遅延した前側マイクロフォン信号24のM点の自己相関値Aを決定し、及び、Dだけ遅延した前側マイクロフォン信号24のM点の相互相関値Bを決定し、更に、次の、後側マイクロフォン26:
Figure 2009542057
Figure 2009542057
β=B/Aが、音響環境での優勢な音の到達方向を予測するのに利用される。β=B/A=1の場合には、DOAは零度である。βは零の方へ減少するに従って、DOAは180°アジムスの方へ移動する。このようにして、
Figure 2009542057
の時、適応することは、一時的に停止される。ここで、例えば、零平均の白色雑音源のDOAがα°方位角であり、零度方位角を含む、−α°方位角からα°方位角に亘って方向の禁止範囲が伸びている時に、β=B/A=σとなるよう、σが決定される。
DOA予測に関しては、方向の禁止範囲というのは周波数に依存することは着目すべきである。依存する理由は、β=B/Aの値が、到達方向にも信号の周波数にも依存するからである。それぞれの周波数バンドBiにおける個々のビームでの副バンド処理を備えた本発明の実施例によれば、個々の閾値σiはそれぞれの周波数バンドBiのために定義される。
当業者なら、周波数依存による予測を含めて、DOA予測を得るのに多数の他の便利な方法が利用できることは理解されよう。
信号処理は、必ずしも、(1つ又は複数の)マイクロフォンを有する同一の装置で成される必要はない。信号処理は、有線、無線又は他の接続を通じてマイクロフォンを有する、おそらくは多数の装置と結合された離れた装置の中で、成すことが出来る。
以下に、電気的な音の信号のパラメータの関数として方向の禁止範囲を決定する種々の例が示される。この例では、−αからα°方位角は、零度方位角を含む方向の禁止範囲を構成する。
本発明の一実施例では、方向の禁止範囲は、次の式αに従って前側マイクロフォン信号20からの電気信号24の短い期間(例えば過去10秒に亘る)での平均パワーPFの関数である。
Figure 2009542057
ここで、信号のパワーPFが増加すると方向の禁止範囲は狭くなり、PF>Pmaxに対してはα=0°(前側方向)であり、PF<Pminに対してはα=αmaxである。
αmax、PminとPmaxの値は、補聴装置を製造している間か、意図されたユーザーのための補聴装置の適合期間の間にセットすることが出来る。
一つの例では、Pmin=45dBSPL及びPmax=110dBSPLである。有害な音(例えば、コンサートでスピーカにあまりに近づいた時)に対する保護をすることで、非常大きな音(110dBSPL以上)は、いかなる方向からも抑制する。
αmax=180°に対しては、45dBSPL以下の相対的に静かな環境では、無指向性のパターンが得られる。
本発明の別の実施例では、方向の禁止範囲は、次の式αに従って、図2における点(a)での信号40のための信号対雑音比SNRの関数である。
Figure 2009542057
ここで、信号―対―雑音の比率SNRが増加すると方向の禁止範囲は狭くなり、SNR>SNRmaxに対してはα=αmaxであり、SNR<SNRminに対してはα=0°である(前側方向)。
αmax、SNRminとSNRmaxの値は、補聴装置を製造している間か、意図されたユーザーのための補聴装置の適合期間の間にセットすることができる。
音声検出器68、例えば変調又は音声可能性予測器、あるいは、変調又は音声活性度検出器を使って、SNRは予測でき、音声の存在を検出し、音声が存在する時の信号の平均パワーPXを計算できる。音声が存在しない時の平均騒音パワーPNは、最小値統計手法を使って予測される。SNRの予測は次の式で与えられる。
Figure 2009542057
本発明の一実施例では、方向の禁止範囲は音声βの方位角の方向の関数である。音声の存在は、信号24を処理する音声検出器68によって検出され、到達方向βは到達方向検出器70によって予測され、方向の禁止範囲はβを含むように調節される。βは頭やスピーカの動きによって変化するかもしれない。多重の音声源が存在する場合には、方向の禁止範囲は、0°方位角に最も近い音声源のDOAを含むか、全ての検出された音声源のDOAを含むように調節される。
上記した種々の手法は組み合わせることができる。
例えば、本発明の一実施例では、方向の禁止範囲は次の式αに従って前側マイクロフォン信号20からの電気信号24の短い期間(例えば過去10秒に亘る)での平均パワーPFの関数である。
Figure 2009542057
この(7)式は、上記した(4)式に類似するが、相違点は、式(4)においてαmaxと0°との間をαが変化する際、式(7)においてαmaxとαsnrとの間をαが変化することである。ここで、
Figure 2009542057
であり、
Figure 2009542057
ここで、SNRは、たとえば、上記の得られた過去10秒に亘る図1の点(a)における予測された信号対雑音比である。
SNRshortは、たとえば、上記の得られた過去0.05秒に亘る図1の点(a)における予測された信号対雑音比である。
SNRshortmaxは、過去10秒に亘るSNRshortの最大値である。
DOAmaxは、SNRshortmaxに帰結する0.05秒に亘るDOAの平均値である。
例えば、Pmax=60dBSPL、Pmin=45dBSPL、SNRmin=5dB,SNRmax=15dB、SNRlow=−10dB、SNRlowthld=−20dB、及び、αmax=180°である。
この実施例では、最も高いSNRを有する音声源への方向の周りでは、方向の禁止範囲はできるだけ狭くなることに注目すべきである。全体のSNRが閾値SNRminより大きいか、閾値SNRlowよりも小さい時には、方向の禁止範囲は増加する。SNRが閾値SNRmax(例えば、騒音が無い)よりも大きいか、閾値SNRlowthld(例えば、音声が無い)よりも小さいか、全体の信号のパワーPFが閾値Pmaxよりも小さい場合には、方向の禁止範囲は飽和する。更に、信号のパワーPFが閾値Pmin(例えば、周囲が静か)よりも小さい場合には、無指向性のパターンへと方向の禁止範囲は飽和する。
好ましくは、本発明では、時間制限が含まれていて、方向の禁止範囲の頻繁や急激な変化が避けられるようになっている。
例えば、反響音を聴取するような騒音源が少しの期間存在することに応じて、方向の禁止範囲が狭くなるのを妨害される。少しの期間の存在は、0.1秒以下の期間として定義される。
音声の存在がある期間続いた後、音声が停止した時の時間間隔において、徐々に、方向の禁止範囲の調節が行われる。例えば、約3秒という時間間隔の間に、αは徐々に、αmaxに増加される。本明細書を通じて、音声の存在あるいは不存在は、それぞれ、システムで音声の検出あるいは検出されないことを言う。
例えば、5秒の間、音声が検出されないという期間として、音声が停止していると定義される。そして、例えば、30秒の間音声が検出されない場合として、会話が停止していると定義される。それぞれ、音声が停止し会話が停止した後、初めて、音声が検出された場合として、音声の開始及び会話の開始が定義される。
長期間の平均値は例えば、2秒に亘る平均として定義される。短期間の平均値は例えば、50ミリ秒に亘る平均として定義される。
本発明の一実施例によれば、以下の処理に従って、方向の禁止範囲は会話の開始によって調節される。
音声の存在する間の長期間の平均値DOAの計算が行われる。代表的には、この計算には2秒間音声の存在することが必要になる。
音声の存在する間の長期間の平均値DOAが、音声の存在しない間の長期間の平均値DOAとは大して相違しないと仮定すると、例えば3秒の間に、αは解放時間を持ったαmaxに増大する。(例えば、騒音及び音声が同一の方向から到達する時―この場合、ビーム形成には都合はよくない−あるいは、スピーカがホール半径の外側にある時及び感覚騒音フィールドが拡散している。あるいはSNRが低い時に、この状況は起こる。)
音声の存在する間の長期間の平均値DOAが、音声の存在しない間の長期間の平均値DOAとは大して相違しないと仮定すると、以下の処理に従って、方向の禁止範囲は調節される。
音声の存在する間の短期間の平均値DOAが、例えば、80°以上かそのあたりのままであれば、例えば3秒の間に、αはαmaxに増大する。(この場合、聴取者は、見たところ、その音に十分関心がなくて自己の頭を回転するか、彼は、たとえば、自動車を運転していて頭をスピーカの方へは向けられない。)
音声の存在する間の短期間の平均値DOAが、80°よりもかなり低くなった時、例えば、過去2秒に亘る短期間の平均値DOAの最小値を丁度含み、更に、頭の動きを考慮に入れるために、約20°の安全マージンを含むように、方向の禁止範囲が調節される。音声が停止するまで、これは繰り返される。音声の停止に応じて、αは例えばφmax+20°に調節される。ここでφmaxは、例えば、最近の3秒音声開始の出来事に亘る音声開始の際測定された短期間の平均値DOAの最小値に等しい。(これは、ユーザーがスピーカに集中している時に、狭いビームが得られる一方、ユーザーが関心のあるいかなる音声も聞き逃すのを防止する。ユーザーがレストランに居て、皿とユーザーの傍か反対側の人に交互に見る時に、こうした状況は起こりうる。)
上記の例においては、好ましくは、αmaxは180°であり、そうすれば、αがαmaxに増大した時、無指向性のパターンが得られる。何故なら、環境に結びつけられているユーザーに対して、無指向性のパターンは知覚を分け与えるものであるからである。
方向性の抑制をユーザーの背後の領域に維持するために、90°に等しいαmaxが選択される。
存在している零方向θが方向の禁止範囲に中に存在して終わるように、方向の禁止範囲は広げられる。
本発明の一つの側面によれば、ある時間間隔、例えば1秒か10秒の間、方向の禁止範囲の内部に存在する零方向θを、方向の禁止範囲の外側に移動するように、信号処理装置が調節される。このことは、いつされてもいいし、ある時間に亘ってもいい。
零位置の監視が、最新の零位置を監視するために設けられている。最新の零位置が、例えば、1秒以上の間調節している方向の禁止範囲の内側に存在している時、信号の処理装置はその零位置を方向の禁止範囲の外側に移動する。
最新の零位置の予測は、調節している間の到達方向を平均化することにより得られる。この平均値の変化の割合が零位置の調節の割合と類似している時に、この平均値が最新の零位置の良い予測となる。
零位置は、多くの方法で、方向の禁止範囲の外側に移動されることができる。例えば、零位置が、例えば、1秒以上の間方向の禁止範囲の内側に存在している時、調節フィルターHは再度初期化され、零位置は、方向の禁止範囲の外側に位置付けされる。再度初期化されたフィルター係数は、既に成された測定値か、あるいは、例えば、0°、10°、20°等々の零位置に位置付けるフィルター係数の決定値を保持しているテーブルから読み出される。別の実施例によれば、フィルター係数は必要な時に計算される。
変更された零位置は別の方法で選択することが出来る。例えば、変更された位置はその以前の位置に出来るだけ近くであって、しかし、方向の禁止範囲の外側に存在しているように選択される。別の実施例によれば、現時点で有効な全ての方向の禁止範囲から最も離れた距離のある場所に、変更された位置が選択される。
例えば、θ=180°での零方向を位置付けし、この値から調節を続けるように調節フィルターは強いられる。調節フィルター52の係数は、θ=180°での零方向を位置付ける値にリセットされる。Hを最小にするコスト機能が出力パワーに等しいという別の実施例では、重み付けされたバイアス期間が、Hに強いられたコスト機能に追加され、180°での零方向を位置付けている。零位置が方向の禁止範囲の外側に移動された時に、正常な調節が再開される。
αから180°への値は、無指向性のパターンが望まれていることを示す。次の式に従って、出力60を処理することで、無指向性のパターンが得られる。
Figure 2009542057
ここで、yは出力60であり、xは前側マイクロフォン信号20の出力24であり、kは最新のサンプル番号、zは処理された出力である。
従って、λが零に等しい時、zはxに等しく、即ち、無指向性のパターンが得られる。
λが1に等しい時、zは元の方向性出力60に等しい。λを0と1の間に変化させることで、方向性のパターンは、元の方向性出力60から無指向性の出力に除々に変化する。
このように、αが180°に等しくなる時、λは例えば10秒の間に0に減少する。
αが180°よりも小さくなる時、λは例えば3秒の間に1に増加する。

Claims (17)

  1. 音声を受け入れるための、および受け入れた音声を信号処理装置へ入力される対応電気音声信号に変換するための、少なくとも2つのマイクロフォンを備え、信号処理装置が電気音声信号を、少なくとも1つの適応性のある零方向θを有する指向性パターンと結合した信号に処理するように適応された補聴装置であって、信号処理装置は、前記少なくとも1つの零方向θが方向の禁止範囲に入ることを阻止するようにさらに適応され、禁止範囲が電気音声信号の関数であることを特徴とする補聴装置。
  2. 禁止範囲が所定方向を含む請求項1記載の補聴装置。
  3. 前記少なくとも2つのマイクロフォンの少なくとも1つによって受け入れられた音声のパワーの予測が、パラメータに含まれる請求項1又は2記載の補聴装置。
  4. 少なくとも2つのマイクロフォンの少なくとも1つによって受け入れられた音声のパワーの予測が、パラメータを構成する請求項1〜3のいずれか1つに記載の補聴装置。
  5. 少なくとも2つのマイクロフォンの少なくとも1つによって受け入れられた音声の信号対雑音比の予測が、パラメータに含まれる請求項1〜4のいずれか1つに記載の補聴装置。
  6. 少なくとも2つのマイクロフォンの少なくとも1つによって受けれられた音声の信号対ノイズ比の予測が、パラメータを構成する請求項1〜5のいずれか1つに記載の補聴装置。
  7. さらに所望の信号検出器を備え、方向の禁止範囲の調整が、所望の信号が所望信号の不在期間後に検出された時、ある時間間隔で徐々に行われる請求項1〜6のいずれか1つに記載の補聴装置。
  8. 所望の信号検出器をさらに備え、方向の禁止範囲の調整が、所望信号が所望信号の不在期間後に停止した時、ある時間間隔で徐々に行われる請求項1〜7のいずれか1つに記載の補聴装置。
  9. 所望の信号検出器と到達方向検出器とをさらに備え、禁止範囲が検出された所望の信号の検出された到達方向を含む請求項1〜8のいずれか1つに記載の補聴装置。
  10. 複数の所望信号源における禁止範囲が、零度方位角に最も近い検出された所望の信号源の検出された到達方向を含む請求項9記載の補聴装置。
  11. 複数の所望信号源における禁止範囲が、すべての所望信号源の検出された到達方向を含む請求項10記載の補聴装置。
  12. 所望の信号検出器が会話検出器であり、所望信号が会話である請求項9〜11のいずれか1つに記載の補聴装置。
  13. 信号処理装置が、現在の零方向を調整された禁止範囲の外へ移動させるようにさらに適応された請求項1〜12のいずれか1つに記載の補聴装置。
  14. 信号処理装置が、少なくとも1つの零方向θを、方向の禁止された範囲の外へ移動させるようにさらに適応された請求項1〜13のいずれか1つに記載の補聴装置。
  15. 信号処理装置が副バンド処理のために適応され、それにより、マイクロフォンからの電気音声信号は1組の周波数バンドBiおよび周波数バンドBiの各々に分割され、電気音声信号は個別に処理され、少なくとも1つの副バンドにおいて、電気信号を、個々に適応される零方向θiを有する個々の指向性パターンと結合した信号に処理し、零方向θiが方向の禁止範囲に入ることを阻止し、禁止範囲が電気音声信号のパラメータの関数である請求項1〜14のいずれか1つに記載の補聴装置。
  16. 信号処理装置は、適応性のあるビーム形成器、多チャンネルウィーナー・フィルタ、独立したコンポーネント分析器、および目隠し音源を分離するアルゴリズムからなるグループから選択された方向信号処理を行うように適応された請求項1〜15のいずれか1つに記載の補聴装置。
  17. 音声を受け入れ、受け入れた音声を信号処理装置に入力される対応電気音声信号に変換するための少なくとも2つのマイクロフォンを有し、
    信号処理装置が、
    電気音声信号を、少なくとも1つの適応性のある零方向θを有する指向性パターンと結合した信号に処理し、
    少なくとも1つの零方向θが方向の禁止範囲に入ることを阻止し、
    少なくとも零方向θを、方向の禁止範囲の外へ移動させる、
    ように適応された補聴装置。
JP2009515708A 2006-06-23 2007-06-25 適応性のある方向性信号処理を備えた補聴装置 Expired - Fee Related JP5249207B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US81624406P 2006-06-23 2006-06-23
DKPA200600852 2006-06-23
US60/816,244 2006-06-23
DKPA200600852 2006-06-23
PCT/DK2007/000308 WO2007147418A1 (en) 2006-06-23 2007-06-25 A hearing instrument with adaptive directional signal processing

Publications (3)

Publication Number Publication Date
JP2009542057A true JP2009542057A (ja) 2009-11-26
JP2009542057A5 JP2009542057A5 (ja) 2012-09-06
JP5249207B2 JP5249207B2 (ja) 2013-07-31

Family

ID=37663155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009515708A Expired - Fee Related JP5249207B2 (ja) 2006-06-23 2007-06-25 適応性のある方向性信号処理を備えた補聴装置

Country Status (7)

Country Link
US (1) US8238593B2 (ja)
EP (1) EP2036396B1 (ja)
JP (1) JP5249207B2 (ja)
AT (1) ATE450987T1 (ja)
DE (1) DE602007003605D1 (ja)
DK (1) DK2036396T3 (ja)
WO (1) WO2007147418A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012129652A (ja) * 2010-12-13 2012-07-05 Canon Inc 音声処理装置及び方法並びに撮像装置
KR101382971B1 (ko) * 2010-03-09 2014-04-08 비덱스 에이/에스 데이터버스를 구비한 2-부품 보청기 및 부품간 통신 방법
KR101737270B1 (ko) 2016-04-25 2017-05-19 울산대학교 산학협력단 능동 방향성 이득 조정 가능한 양이 보청기 시스템
JP2018186500A (ja) * 2017-04-21 2018-11-22 シバントス ピーティーイー リミテッド 補聴器の作動方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2107826A1 (en) 2008-03-31 2009-10-07 Bernafon AG A directional hearing aid system
US8611556B2 (en) * 2008-04-25 2013-12-17 Nokia Corporation Calibrating multiple microphones
US8244528B2 (en) * 2008-04-25 2012-08-14 Nokia Corporation Method and apparatus for voice activity determination
EP2344100A4 (en) * 2008-10-14 2012-05-02 Cochlear Americas IMPLANTABLE HEARING PROSTHESIS
DK2234415T3 (da) * 2009-03-24 2012-02-13 Siemens Medical Instr Pte Ltd Fremgangsmåde og akustisk signalbearbejdningssystem til binaural støjreduktion
EP2262285B1 (en) * 2009-06-02 2016-11-30 Oticon A/S A listening device providing enhanced localization cues, its use and a method
EP2445230A4 (en) * 2009-06-17 2016-05-18 Panasonic Ip Corp America HEARING AID
US8565446B1 (en) * 2010-01-12 2013-10-22 Acoustic Technologies, Inc. Estimating direction of arrival from plural microphones
US8473287B2 (en) 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
US8958572B1 (en) * 2010-04-19 2015-02-17 Audience, Inc. Adaptive noise cancellation for multi-microphone systems
US8538035B2 (en) 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8781137B1 (en) 2010-04-27 2014-07-15 Audience, Inc. Wind noise detection and suppression
US8447596B2 (en) 2010-07-12 2013-05-21 Audience, Inc. Monaural noise suppression based on computational auditory scene analysis
KR101702561B1 (ko) * 2010-08-30 2017-02-03 삼성전자 주식회사 음원출력장치 및 이를 제어하는 방법
US9330675B2 (en) 2010-11-12 2016-05-03 Broadcom Corporation Method and apparatus for wind noise detection and suppression using multiple microphones
DE102011086728B4 (de) * 2011-11-21 2014-06-05 Siemens Medical Instruments Pte. Ltd. Hörvorrichtung mit einer Einrichtung zum Verringern eines Mikrofonrauschens und Verfahren zum Verringern eines Mikrofonrauschens
US9002045B2 (en) * 2011-12-30 2015-04-07 Starkey Laboratories, Inc. Hearing aids with adaptive beamformer responsive to off-axis speech
DE102013207161B4 (de) * 2013-04-19 2019-03-21 Sivantos Pte. Ltd. Verfahren zur Nutzsignalanpassung in binauralen Hörhilfesystemen
DE102013207149A1 (de) * 2013-04-19 2014-11-06 Siemens Medical Instruments Pte. Ltd. Steuerung der Effektstärke eines binauralen direktionalen Mikrofons
US20180317019A1 (en) 2013-05-23 2018-11-01 Knowles Electronics, Llc Acoustic activity detecting microphone
KR102282366B1 (ko) * 2013-06-03 2021-07-27 삼성전자주식회사 음성 향상 방법 및 그 장치
EP2928211A1 (en) * 2014-04-04 2015-10-07 Oticon A/s Self-calibration of multi-microphone noise reduction system for hearing assistance devices using an auxiliary device
US10045140B2 (en) 2015-01-07 2018-08-07 Knowles Electronics, Llc Utilizing digital microphones for low power keyword detection and noise suppression
US10396741B2 (en) * 2015-05-14 2019-08-27 Voyetra Turtle Beach, Inc. Headset with programmable microphone modes
JP6366831B2 (ja) * 2015-05-22 2018-08-01 Toa株式会社 チャンネルシミュレーション装置及びチャンネルシミュレーションプログラム
US10104472B2 (en) * 2016-03-21 2018-10-16 Fortemedia, Inc. Acoustic capture devices and methods thereof
DE102016225207A1 (de) * 2016-12-15 2018-06-21 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgerätes
EP3468228B1 (en) * 2017-10-05 2021-08-11 GN Hearing A/S Binaural hearing system with localization of sound sources
CN111247814B (zh) * 2017-10-25 2022-05-27 科利耳有限公司 无线流声音处理单元
US10192566B1 (en) * 2018-01-17 2019-01-29 Sorenson Ip Holdings, Llc Noise reduction in an audio system
US11943590B2 (en) 2018-08-27 2024-03-26 Cochlear Limited Integrated noise reduction

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316587A (ja) * 1992-05-08 1993-11-26 Sony Corp マイクロホン装置
JP2002536931A (ja) * 1999-02-05 2002-10-29 ヴェーデクス・アクティーセルスカプ ビーム形成特性を有する補聴器
JP2003032780A (ja) * 2001-07-16 2003-01-31 Matsushita Electric Ind Co Ltd ハウリング検出抑圧装置、これを備えた音響装置、及び、ハウリング検出抑圧方法
JP2003506937A (ja) * 1999-08-03 2003-02-18 ヴェーデクス・アクティーセルスカプ マイクロフォンの適応整合を持つ補聴器
JP2003516646A (ja) * 2000-03-31 2003-05-13 フォーナック アーゲー マイクロホン装置の伝達特性処理方法、同方法を適用するマイクロホン装置及びこれらを適用する補聴器
JP2004527177A (ja) * 2001-04-18 2004-09-02 ヴェーデクス・アクティーセルスカプ 指向性コントローラおよび補聴器を制御する方法
WO2005029914A1 (en) * 2003-09-19 2005-03-31 Widex A/S A method for controlling the directionality of the sound receiving characteristic of a hearing aid and a signal processing apparatus for a hearing aid with a controllable directional characteristic

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
US6888949B1 (en) 1999-12-22 2005-05-03 Gn Resound A/S Hearing aid with adaptive noise canceller
US20010028718A1 (en) 2000-02-17 2001-10-11 Audia Technology, Inc. Null adaptation in multi-microphone directional system
DE10195945T1 (de) * 2000-03-20 2003-04-30 Audia Technology Inc Richtverarbeitung für ein System mit mehreren Mikrophonen
WO2001097558A2 (en) * 2000-06-13 2001-12-20 Gn Resound Corporation Fixed polar-pattern-based adaptive directionality systems
WO2006006935A1 (en) 2004-07-08 2006-01-19 Agency For Science, Technology And Research Capturing sound from a target region
DE102004052912A1 (de) 2004-11-02 2006-05-11 Siemens Audiologische Technik Gmbh Verfahren zur Reduktion von Störleistungen bei einem Richtmikrophon und entsprechendes Akustiksystem

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316587A (ja) * 1992-05-08 1993-11-26 Sony Corp マイクロホン装置
JP2002536931A (ja) * 1999-02-05 2002-10-29 ヴェーデクス・アクティーセルスカプ ビーム形成特性を有する補聴器
JP2003506937A (ja) * 1999-08-03 2003-02-18 ヴェーデクス・アクティーセルスカプ マイクロフォンの適応整合を持つ補聴器
JP2003516646A (ja) * 2000-03-31 2003-05-13 フォーナック アーゲー マイクロホン装置の伝達特性処理方法、同方法を適用するマイクロホン装置及びこれらを適用する補聴器
JP2004527177A (ja) * 2001-04-18 2004-09-02 ヴェーデクス・アクティーセルスカプ 指向性コントローラおよび補聴器を制御する方法
JP2003032780A (ja) * 2001-07-16 2003-01-31 Matsushita Electric Ind Co Ltd ハウリング検出抑圧装置、これを備えた音響装置、及び、ハウリング検出抑圧方法
WO2005029914A1 (en) * 2003-09-19 2005-03-31 Widex A/S A method for controlling the directionality of the sound receiving characteristic of a hearing aid and a signal processing apparatus for a hearing aid with a controllable directional characteristic

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382971B1 (ko) * 2010-03-09 2014-04-08 비덱스 에이/에스 데이터버스를 구비한 2-부품 보청기 및 부품간 통신 방법
JP2012129652A (ja) * 2010-12-13 2012-07-05 Canon Inc 音声処理装置及び方法並びに撮像装置
US9082410B2 (en) 2010-12-13 2015-07-14 Canon Kabushiki Kaisha Audio processing apparatus, audio processing method, and image capturing apparatus
KR101737270B1 (ko) 2016-04-25 2017-05-19 울산대학교 산학협력단 능동 방향성 이득 조정 가능한 양이 보청기 시스템
JP2018186500A (ja) * 2017-04-21 2018-11-22 シバントス ピーティーイー リミテッド 補聴器の作動方法
US10659890B2 (en) 2017-04-21 2020-05-19 Sivantos Pte. Ltd. Method for operating a hearing device and a hearing device

Also Published As

Publication number Publication date
JP5249207B2 (ja) 2013-07-31
WO2007147418A1 (en) 2007-12-27
EP2036396B1 (en) 2009-12-02
ATE450987T1 (de) 2009-12-15
DK2036396T3 (da) 2010-04-19
US8238593B2 (en) 2012-08-07
EP2036396A1 (en) 2009-03-18
DE602007003605D1 (de) 2010-01-14
US20110103626A1 (en) 2011-05-05

Similar Documents

Publication Publication Date Title
JP2009542057A (ja) 適応性のある方向性信号処理を備えた補聴装置
JP2009542057A5 (ja)
JP5214824B2 (ja) 補聴器システムにおける適応的風切音抑制のための方法および処理ユニットならびに補聴器システム
CN107454538B (zh) 包括含有平滑单元的波束形成器滤波单元的助听器
CN110035367B (zh) 反馈检测器及包括反馈检测器的听力装置
CN109951785B (zh) 听力装置及包括双耳降噪系统的双耳听力系统
EP2819429B1 (en) A headset having a microphone
CN110139200B (zh) 包括用于降低反馈的波束形成器滤波单元的听力装置
EP3704872B1 (en) Method of operating a hearing aid system and a hearing aid system
JP5886737B2 (ja) 信号強調機能を有する補聴器
KR20170135757A (ko) 오디오 프로세싱 디바이스 및 사운드 신호의 신호-대-잡음비를 추정하는 방법
WO2006028587A2 (en) Headset for separation of speech signals in a noisy environment
CN112565996A (zh) 包括定向传声器系统的助听器
JP2017063419A (ja) 雑音を受ける発話信号の客観的知覚量を決定する方法
EP3902285B1 (en) A portable device comprising a directional system
CN112492434A (zh) 包括降噪系统的听力装置
CN114513734A (zh) 包括自我话音估计的双耳助听器系统和助听器
WO2019086432A1 (en) Method of operating a hearing aid system and a hearing aid system
CN111629313A (zh) 包括环路增益限制器的听力装置
EP4250765A1 (en) A hearing system comprising a hearing aid and an external processing device
EP1519626A2 (en) Method and device for processing an acoustic signal
CN118317239A (en) Hearing aid and corresponding method
JP2013153427A (ja) 周波数アンマスキング機能を有する両耳用補聴器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120510

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120517

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20120719

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130411

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5249207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees