JP2010016429A - ハウリング検出装置およびハウリング検出方法 - Google Patents

ハウリング検出装置およびハウリング検出方法 Download PDF

Info

Publication number
JP2010016429A
JP2010016429A JP2008171937A JP2008171937A JP2010016429A JP 2010016429 A JP2010016429 A JP 2010016429A JP 2008171937 A JP2008171937 A JP 2008171937A JP 2008171937 A JP2008171937 A JP 2008171937A JP 2010016429 A JP2010016429 A JP 2010016429A
Authority
JP
Japan
Prior art keywords
signal
howling
level
detection
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008171937A
Other languages
English (en)
Other versions
JP4697267B2 (ja
Inventor
Goro Shiraishi
吾朗 白石
Kohei Asada
宏平 浅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008171937A priority Critical patent/JP4697267B2/ja
Priority to CN200910149490.0A priority patent/CN101621730B/zh
Priority to US12/493,441 priority patent/US8428274B2/en
Publication of JP2010016429A publication Critical patent/JP2010016429A/ja
Application granted granted Critical
Publication of JP4697267B2 publication Critical patent/JP4697267B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008Earpieces of the supra-aural or circum-aural type

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Headphones And Earphones (AREA)

Abstract

【課題】ハウリングが発生しているか否かを、複雑な処理を行うことなく効率よく検出して、適切な対応を取ることができるようにする。
【解決手段】レベルチェック部171により、マイクロホンで集音した全帯域信号Gの信号レベルを検出する。BPF172(1)等により全帯域信号Gから、ハウリングが発生しやすい帯域の信号を抽出し、その信号レベルをレベルチェック部173(1)等が検出する。レベルチェック部171により検出した全帯域信号Gの信号レベルに基づいて、ハウリングが否かを検出するための閾値を設定し、当該閾値とレベルチェック部173(1)等が検出した各帯域の信号の振幅とを比較し、ハウリングか否かを検出する。
【選択図】図4

Description

この発明は、マイクロホンからスピーカーまでが接続された音声信号系において、ハウリングが発生しているか否かを検出する装置および方法に関する。
マイクロホンからスピーカーまでが接続された音声信号系においては、スピーカーからの出力の一部がマイクロホンに帰還されることにより発振現象であるいわゆるハウリングを発生させる場合がある。ハウリングは、ピー、ギャーといった中高域の耳障りな規則的なノイズを発生させることが多いが、ブーン、ボーといった低域の規則的なノイズが発生する場合もある。
そして、ハウリングはマイクロホンからスピーカーまでが接続された通常の音響設備(種々の拡声系)において発生することはもとより、ノイズキャンセルシステムが搭載されたヘッドホンシステムや補聴器などにおいても発生する。
このため、従来から、ハウリングに関する種々の発明が行われている。例えば、後に記す特許文献1には、マイクで集音された音声信号をFFT(Fast Fourier Transform)処理した後に、パワースペクトルのピークの周波数ポイントを求め、ハウリングか否かを検出する装置、方法が開示されている。
また、後に記す特許文献2には、ハウリングが発生している時間と、発生していない時間とを計測し、この計測時間の長短に応じて、音声信号の利得上限値を設定し、ハウリングが生じないように、音声信号の利得を制御する装置が開示されている。
なお、上述した特許文献1、特許文献2は以下に示す通りである。
特開平08−193876号公報 特開2004−032387号公報
ところで、上述した特許文献1に記載の技術は、どの周波数の音声信号がハウリングとなっているのかを検出することができる。しかし、特許文献1に記載の技術は、FFT処理やパワースペクトルの算出処理を行う必要があり処理が若干複雑である。
また、上述した特許文献2に記載の技術は、ハウリングが発生しやすい状況が継続した場合であっても、安定してハウリングを抑圧することができる。しかし、より精度良く、ハウリングを発生させないようにすることが望まれる。特に、音楽を再生するシステムにおいては、再生される音楽を劣化させることなくハウリングを発生させないようにすることが望まれる。
以上の点に鑑み、この発明は、ハウリングが発生しているか否かを、複雑な処理を行うことなく効率よく検出して、適切な対応を取ることができるようにすることを目的とする。
上記課題を解決するため、請求項1に記載の発明のハウリング検出装置は、
マイクロホンからスピーカーまでが接続された音声信号系のいずれかの位置から取得する音声信号の信号レベル検出する第1のレベル検出手段と、
前記信号レベルが検出された前記音声信号から、予め決められる1つ以上の中心周波数毎に予め決められる帯域幅の帯域の信号を抽出する抽出手段と、
前記抽出手段によって抽出された、各帯域の信号のそれぞれの信号レベルを検出する第2のレベル検出手段と、
前記第1のレベル検出手段からの音声信号の信号レベルに応じて決まる閾値と、前記第2のレベル検出手段からの各帯域の信号のそれぞれの信号レベルの波形とに基づいて、ハウリングが発生しているか否かを検出する検出手段と
を備える。
この請求項1に記載の発明のハウリング検出装置によれば、第1のレベル検出手段により、マイクロホンからスピーカーまでが接続された音声信号系で対応可能な全ての帯域の信号を含む音声信号(全帯域信号)の信号レベルが検出される。すなわち、第1の検出手段は、帯域制限などされることなく、マイクロホンによって集音されたそのままの音声信号(全帯域信号)の信号レベルを検出する。
また、抽出手段により、レベル検出された当該音声信号(全帯域信号)から、予め決められる中心周波数毎に、予め決められる帯域幅の帯域の信号が抽出される。ここで抽出される各帯域の信号は、ハウリングが発生する可能性が高いとされた帯域の信号である。そして、第2のレベル検出手段により、抽出手段により抽出された各帯域の信号の信号レベルが検出される。
そして、検出手段において、第1の検出手段からの全帯域信号の信号レベルに基づいて、ハウリングが否かを検出するための閾値が設定される。そして、検出手段により、当該閾値と第2の検出手段により検出された各帯域の信号の信号レベル波形のそれぞれとが用いられ、信号の振幅や信号の周期性に基づいて、ハウリングが発生しているか否かが検出される。
これにより、複雑な演算処理を伴うことなく、ハウリングが発生しているか否かを適切に、かつ、効率よく検出することができるようにされる。
また、請求項2に記載の発明のハウリング検出装置は、請求項1に記載のハウリング検出装置であって、
前記マイクロホンから前記スピーカーまでが接続された前記音声信号系のいずれかの位置に供給する外部音声信号の信号レベル検出する第3のレベル検出手段と、
前記外部音声信号から、前記予め決められる1つ以上の中心周波数毎に前記予め決められる帯域幅の帯域の信号を抽出する第2の抽出手段と、
前記第2の抽出手段によって抽出された、各帯域の信号のそれぞれの信号レベルを検出する第4のレベル検出手段と
を備え、
前記検出手段は、前記第3のレベル検出手段からの検出出力と、前記第4のレベル検出手段からの検出出力とを考慮して、ハウリングが発生しているか否かを検出する。
この請求項2に記載の発明のハウリング検出装置によれば、音声信号系に供給される外部音声信号の信号レベルが、第3のレベル検出手段により検出される。また、第2の抽出手段により、当該外部音声信号から、予め決められる中心周波数毎に、予め決められる帯域幅の帯域の信号が抽出される。ここで抽出される各帯域の信号は、ハウリングが発生する可能性が高いとされた帯域の信号である。
そして、第4のレベル検出手段により、第2の抽出手段によって抽出された各帯域の信号の信号レベルが検出される。そして、第3の検出手段からの検出出力と、第4の検出手段からの各帯域の信号の検出出力とを比較し、外部入力信号にハウリングと間違えるほどの周期的な成分が元々存在するか否かをも考慮して、検出手段により、ハウリングが発生しているか否かが判別される。
ここで、第3、第4の検出手段からの検出出力をも考慮するのは、より正確にハウリングが発生しているか否かを検出するためである。すなわち、第1の検出手段により検出される全帯域信号の信号レベルや当該全帯域信号から抽出した各帯域の信号の信号レベルからハウリングが発生していると判断した場合であっても、実際には外部から供給される外部音声信号が周期的な成分を含む場合もあるからである。これにより、外部から音楽信号などの外部音声信号の供給を受ける場合であっても、適切に、かつ、効率よくハウリングが発生しているか否かを検出することができる。
また、請求項3に記載の発明のハウリング検出装置は、請求項1または請求項2に記載のハウリング検出装置であって、
前記第1のレベル検出手段からの音声信号の信号レベルに応じて決まる前記閾値の最小値は、ゼロ(零)よりも大きな値となるように予め決められているものである。
この請求項3に記載の発明のハウリング検出装置によれば、ハウリングが発生しているか否かを検出するために用いられる閾値の最小値は、ゼロ(零)より大きな値となるようにされる。
これにより、音声信号が存在しない場合や、ハウリングが発生していない場合までも、ハウリングが発生しているものと誤検出することがないようにされる。したがって、ハウリングの検出を適正、かつ、効率的に行うことができるようにされる。
また、請求項4に記載の発明のハウリング検出装置は、請求項1、請求項2または請求項3に記載のハウリング検出装置であって、
前記マイクロホンから前記スピーカーまでが接続された前記音声信号系のいずれかの位置において、音声信号のゲインと位相との一方または両方を調整する調整手段と、
前記検出手段からの検出結果に基づいて、前記調整手段を制御する制御手段と
を備える。
この請求項4に記載の発明のハウリング検出装置によれば、音声信号系には、音声信号のゲインや位相を調整するための調整手段が設けられる。当該調整手段は、検出手段からの結果に応じて制御手段によって制御される。
これにより、ハウリングが発生している場合において、制御手段が調整手段を制御することにより、音声信号のゲインや位相が調整され、音声の発振の条件を崩して、ハウリングが生じないようにすることができるようにされる。したがって、ハウリングが発生しているか否かを、効率よく検出して、ハウリングが発生している場合には、適切な対応を取ることができるようにされる。
また、請求項5に記載の発明のハウリング検出装置は、請求項4に記載のハウリング検出手段であって、
前記調整手段は、前記予め決められる1つ以上の中心周波数毎に予め決められる帯域幅毎の信号に対して調整を行うことができるものであり、
前記制御手段は、ハウリングが発生している帯域の音声信号に対して調整を行うように、前記調整手段を制御するものである。
この請求項5に記載の発明のハウリング検出装置によれば、検出手段により、抽出手段によって抽出される帯域毎にハウリングが発生しているかを検出することができるようにされる。このため、制御手段は、ハウリングが発生している帯域の音声信号に対してのみ、ゲインや位相の調整を行うことができるようにされる。
これにより、ハウリングが発生しているか否かを、効率よく検出して、ハウリングが発生している場合には、余分な処理を行うことなく、適切な対応を取ることができるようにされる。
この発明によれば、ハウリングが発生しているか否かを、複雑な処理を行うことなく効率よく検出して、適切な対応を取ることができる。
以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明する。以下においては、ヘッドホンに適用されたノイズキャンセリングシステムに、この発明を適用した場合を例にして説明する。
[第1の実施の形態]
[フィードバック方式のノイズキャンセリングシステムについて]
まず、フィードバック方式のノイズキャンセリングシステムにこの発明を適用した第1の実施の形態について説明する。
図1は、フィードバック方式のノイズキャンセリングシステムが適用されたヘッドホンが、ユーザヘッド(ユーザ(聴取者)の頭部)HDに装着された場合の右チャンネル側の構成を示す図である。
また、図2は、フィードバック方式のノイズキャンセリングシステムの特性を示す計算式を説明するための図であり、図3は、フィードバック方式のノイズキャンセリングシステムの全体構成を示す図である。
フィードバック方式は、一般的に図1に示すようにヘッドホン筐体(ハウジング部)HPの内側にマイクロホン(以下、マイクと略称する。)111を備える構成となっている。
そして、当該マイク111で収音したマイク入力信号(ノイズ信号)の逆相成分(ノイズ低減信号)を戻しサーボ制御することで、外部からヘッドホン筐体HPに入ってきたノイズを減衰させる。
この場合、マイク111の位置が、聴取者の耳位置に相当するキャンセルポイント(制御点)CPとなるため、ノイズ減衰効果を考慮し、通常、聴取者の耳に近い位置、つまりドライバ15の振動板前面にマイク111が置かれることが多い。
なお、図1において、文字Nは、外部のノイズソース(ノイズ源)NSからヘッドホン筐体HP内のマイク位置近辺に侵入してきたノイズであり、文字Pは、聴取者の耳に届く音圧(出力音声)を表している。
このように、ヘッドホンに適用されたフィードバック方式のノイズキャンセリングシステムにおいて、ノイズ集音用のマイクロホン111と、スピーカー152とは、いずれもヘッドホン筐体HPの内部に設けられる。
そして、上述もしたように、図1に示したフィードバック方式のノイズキャンセリングシステムの場合には、スピーカー152の振動板前面にマイクロホン111が置かれることが多いので、ハウリングが発生する可能性が比較的に高いと言える。
具体的に、図2の計算式及び図3のブロック図を参照しながら、この発明が適用されたフィードバック方式のノイズキャンセリングシステムについて説明する。
図3に示すフィードバック方式のノイズキャンセリングシステムは、マイク111とマイクアンプ112からなるマイク及びマイクアンプ部11を備えている。また、フィードバック制御のために設計されたフィルタ回路(以下、FBフィルタ回路という。)12と、合成部13と、パワーアンプ14と、ドライブ回路151とスピーカー152からなるドライバ15と、イコライザ16とを備えている。
さらに、図3に示すフィードバック方式のノイズキャンセリングシステムは、ハウリング検出/制御部17を備えている。ハウリング検出/制御部17は、マイクアンプ112から出力された音声信号に基づいて、ハウリングが発生しているか否かを検出すると共に、ハウリングが発生している場合にはFBフィルタ回路12を制御してハウリングを防止するようにするものである。ハウリング検出/制御部17の詳細については後述する。
そして、図3において、各ブロック内に記載された文字A、D、M、−βは、パワーアンプ14、ドライバ15、マイク及びマイクアンプ部11、FBフィルタ回路12の各伝達関数である。
同様に、図1(B)において、イコライザ16のブロック内の文字Eは、聴取対象の目的とする音楽信号などの外部入力信号Sに掛けられるイコライザ16の伝達関数である。また、ドライバ15とキャンセルポイントCP間に置かれたブロックの文字Hは、ドライバ15からマイク111までの空間の伝達関数(ドライバ−キャンセルポイント間の伝達関数)である。これらの各伝達関数は、複素表現されているものとする。
また、図3においても、図1の場合と同様に、文字Nは、外部のノイズソース(ノイズ源)NSからヘッドホン筐体HP内のマイク位置近辺に侵入してきたノイズであり、文字Pは、聴取者の耳に届く音圧(出力音声)を表すものとする。
ノイズNがヘッドホン筐体HP内に伝わってくる原因としては、例えば、ヘッドホン筐体HPのイヤーパッド部の隙間から音圧として漏れてくる場合や、ヘッドホン筐体HPが音圧を受けて振動した結果として筐体内部に音が伝わるなどのことが考えられる。
この時、図3のノイズキャンセリングシステムにおいて、聴取者の耳に届く音圧Pは、図2の(1)式のように表現することができる。この図2の(1)式において、ノイズNに着目すれば、ノイズNは、1/(1+ADHMβ)に減衰していることがわかる。ただし、図2の(1)式の系が、発振せず、ノイズ低減対象帯域にてノイズキャンセリング機構として安定して動作するためには、図2の(2)式が成立している必要がある。
このフィードバック方式では、図2の(2)式を成立させた上で、人間の聴覚特性を考慮したフィルタの設計を設計者が行うこととなる。この聴覚特性を考慮したフィルタ設計というのは、設計者自身が評価を行う場合が多い。しかし、既にフィードバック方式のノイズキャンセリングヘッドフォンが多数開発されて発売され、市場に受けいれられており実績があるといえる。
次に、図3に示したフィードバック方式のノイズキャンセリングシステムにおいて、上述したノイズ低減機能に加え必要な音をヘッドホンから再生する場合について説明する。
図3における外部からの入力音声Sは、音楽再生装置からの音楽信号の他、筐体外部のマイクで集音した音声信号(補聴機能として使う場合)や電話通信などの通信を介した音声信号(ヘッドセットとして使う場合)など、本来、ヘッドホンのドライバで再生すべき音声信号の総称である。
図2の(1)式において、入力音声Sに着目すると、イコライザ16の伝達関数Eは、図2の(3)式のように示すことができる。そして、図2の(3)式のイコライザ16の伝達関数Eをも考慮すると、図3のノイズキャンセリングシステムの出力音声Pは、図2の(4)式のように表現することができる。
マイク111の位置が耳位置に非常に近いとすると、文字Hがドライバ15からマイク111(耳)までの伝達関数、文字Aや文字Dがそれぞれパワーアンプ14、ドライバ15の伝達関数であるので、通常のノイズ低減機能を持たないヘッドホンと同様の特性が得られることがわかる。なお、この時イコライザ16の伝達特性Eは、周波数軸でみたオープンループ特性とほぼ同等の特性になっている。
このように、フィードバック方式のノイズキャンセリングシステムの場合、ヘッドホン筐体HP内に設けられたマイク111により集音された音声信号(ノイズ信号)からFBフィルタ回路12によってノイズキャンセル信号が形成される。このノイズキャンセル信号が、イコライザ16を介して供給される入力音声Sに対して合成され、ヘッドホン筐体HP内のノイズがキャンセルされる。
そして、上述もしたように、図1、図3に示したフィードバック方式のノイズキャンセリングシステムの場合には、マイク111とスピーカー152がヘッドホン筐体HP内に設けられる。このため、フィードバック方式のノイズキャンセリングシステムにおいては、ハウリングを発生させる可能性がある。そこで、この第1の実施の形態のフィードバック方式のノイズキャンセリングシステムにおいては、図3に示したように、ハウリング検出/制御部17を設けている。
ハウリング検出/制御部17は、上述もしたように、マイク111で集音され、マイクアンプ112により増幅されたノイズ信号に基づいてハウリングが発生しているか否かを検出する。そして、ハウリング検出/制御部17は、ハウリングが発生している場合には、FBフィルタ回路12を制御し、マイクアンプ112からの音声信号(ノイズ信号)のゲインや位相を調整することによって、ハウリングの発生を抑制するようにしている。
[ハウリング検出/制御部17の構成例と動作について]
次に、図3に示したフィードバック方式のノイズキャンセリングシステムに設けられたハウリング検出/制御部17の構成例と動作について説明する。図4は、図3に示したフィードバック方式のノイズキャンセリングシステムに設けられるハウリング検出/制御部17の構成例を説明するためのブロック図である。
図4に示すように、ハウリング検出/制御部17は、レベルチェック部171、BPF(Band Pass Filter)172(1)、172(2)、172(3)、レベルチェック部173(1)、173(2)、173(3)、判定及び制御部174を備えている。
レベルチェック部171は、これに供給されたマイク入力信号Gの信号レベルを検出し、これを判定及び制御部174に通知すると共に、供給されたマイク入力信号Gをそのまま後段のBPF172(1)、172(2)、172(3)のそれぞれに供給する。
ここで、レベルチェック部171に供給されるマイク入力信号Gは、マイク111により集音され、マイクアンプ112により増幅されたノイズ信号である。すなわち、レベルチェック部171に供給されるマイク入力信号(ノイズ信号)Gは、帯域制限などされることなく、マイク111によって集音可能な全ての帯域の音声信号を含む全帯域信号である。
このため、以下においては、マイク111により集音された全帯域の音声信号を含むマイク入力信号を全帯域信号Gと言う。
BPF172(1)、172(2)、172(3)のそれぞれは、レベルチェック部171からの全帯域信号Gから、予め決められた中心周波数で、予め決められた帯域幅の音声信号(ノイズ信号)を抽出する。
BPF172(1)は、例えば、中心周波数が13Hzで、帯域幅が数Hzの帯域の音声信号を抽出する。BPF172(2)は、例えば、中心周波数が1300Hzで、帯域幅が数十Hzの帯域の音声信号を抽出する。BPF172(3)は、例えば、中心周波数が5000Hzで、帯域幅が数十Hzの帯域の音声信号を抽出する。というように、BPF172(1)、172(2)、172(3)のそれぞれは、異なる帯域の音声信号を抽出する。
なお、BPF172(1)、172(2)、172(3)のそれぞれにおいて用いられる中心周波数や帯域幅は予め決められるものである。具体的には、目的とするノイズキャンセリングシステムを形成し、実験を行うことにより、音響メカニズム的に当該システムにおいてハウリングが発生しやすい周波数帯域をピックアップする。そして、この結果からBPF172(1)、172(2)、172(3)のそれぞれに対して、中心周波数と帯域幅とを設定する。
このように、マイクからスピーカーまでが接続するようにされた目的とする音声信号系(音響システム)において、ハウリングしやすい周波数帯域にターゲットを絞り、ハウリング周波数を検知(抽出)するBPF(Band Pass Filter)を用いて、マイク入力信号である全帯域信号Gのフィルタリングを行う。
そして、BPF172(1)、172(2)、172(3)のそれぞれにおいて抽出された所定の周波数帯域の音声信号(ノイズ信号)は、対応するレベルチェック部173(1)、173(2)、173(3)のそれぞれに供給される。
レベルチェック部173(1)は、BPF172(1)からの帯域制限された音声信号(ノイズ信号)の供給を受けて、当該音声信号の信号レベルを検出し、これを判定及び制御部174に供給する。
同様に、レベルチェック部173(2)は、BPF172(2)からの帯域制限された音声信号(ノイズ信号)の供給を受けて、当該音声信号の信号レベルを検出し、これを判定及び制御部174に供給する。
同様に、レベルチェック部173(3)は、BPF172(3)からの帯域制限された音声信号(ノイズ信号)の供給を受けて、当該音声信号の信号レベルを検出し、これを判定及び制御部174に供給する。
これにより、判定及び制御部174には、レベルチェック部171からの全帯域信号の信号レベルと、レベルチェック部173(1)、173(2)、173(3)からのハウリングが発生しやすいとされた帯域の音声信号の信号レベルとが供給される。
そして、ハウリングが発生している場合、当該ハウリングの音量は、全帯域信号Gに占める割合が大きい。したがって、ハウリングが発生している場合、ハウリングが発生している帯域のフィルタリング後の信号の振幅もまた全帯域信号の振幅に対応して大きなものとなる。
これに対して、ハウリングが発生していない場合においては、フィルタリング後の信号の振幅は、その帯域の元々の信号に応じたものとなり、全帯域信号の振幅に比べてかなり低いものとなる。
そこで、判定及び制御部174は、レベルチェック部171からの全帯域信号の信号レベルに基づいて、全帯域信号の最大値である全帯域最大値Maxを求める。次に、判定及び制御部174は、求めた全帯域最大値Maxに応じて、ハウリングが発生しているか否かを判定するための基準となるスレッショルドThを設定する。
具体的にスレッショルドThは、ハウリングが起こりやすいとされた帯域の信号が、ハウリングが発生していない通常時に取りうる振幅よりもやや高い値となるように、全帯域最大値Maxに応じて決められる。例えば、全帯域最大値Maxの数十%となる値、あるいは、全帯域最大値Maxより何デシベル低い値などのように決められる。
また、全帯域最大値MaxとスレッショルドThとは、その最小値がゼロ(零)よりも大きな値となるように調整される。仮に、全帯域信号が、ゼロ、あるいは、ゼロ以下の値となる場合であっても、少なくとも、スレッショルドThは、ゼロより大きな値となるようにされる。これは、後述もするように、スレッショルドThが小さいと、ハウリングでないノイズ信号をハウリングであると誤検出してしまう可能性があり、これを防止するためである。
そして、判定及び制御部174は、設定されたスレッショルドThと、レベルチェック部173(1)、173(2)、173(3)からの抽出された各帯域のノイズ信号の信号レベルとに基づいて、ハウリングが発生しているか否かを判定する。
判定及び制御部174は、ハウリングが発生していると判定すると、制御信号CTによりFBフィルタ回路12を制御し、処理対象の音声信号(ノイズ信号)に対して処理を施すことによって、発振条件を崩し、ハウリングを発生させないようにする。具体的には、処理対象の音声信号(ノイズ信号)のゲイン下げたり、当該ノイズ信号の位相をずらしたり、あるいは、その両方を行うことにより、発振条件を崩すようにする。
なお、この第1の実施の形態の場合、図4を用いて上述したように、ハウリングを発生しやすい帯域として、中心周波数を13Hzとする帯域と、1300Hzとする帯域と、5000Hzとする帯域との3つの帯域のノイズ信号を抽出するようにしている。
このため、ハウリングが発生している場合、どの帯域でハウリングが発生しているかを特定することができるので、その特定した帯域のノイズ信号に対してのみ、ゲインや位相の調整を行うようにしてもよい。
次に、ハウリングが発生しているか否かの具体的な判定の方法について説明する。ハウリングは、マイクで集音された音声がスピーカーから放音され、そのスピーカーから放音された音声がマイクで集音されるというように、音声信号系が帰還ループとなった場合に、当該音声信号系において発振が発生することにより起こる。
このように、ハウリングは音声信号系の発振現象に起因して発生するものであることから、ハウリングが発生している場合に観測される音声信号(ハウリング信号)は、サイン波と似た周期的に変化するものとなる。
そこで、判定及び制御部174においては、レベルチェック部173(1)、173(2)、173(3)からの信号レベルの波形が、設定されたスレッショルドThを超える振幅のサイン波のような周期的な波形である場合に、ハウリングが発生していると判定する。
図5は、ハウリングが発生しているか否かの判定の方法を説明するための図である。図5において、横軸は時間、縦軸は信号の振幅を示している。なお、マイクロホンを通じて集音される全帯域信号(マイク入力信号)は、一般に非常に複雑な波形となる。しかし、ハウリング信号が周期的なものであり、これを分かりやすく示すと共に、説明を簡単にするため、図5においては、マイク111により集音された全帯域信号Gについても、周期的な波形として示している。
そして、図5において細い実線で示した波形が、マイク111により集音された全帯域信号(原マイク入力信号)Gを示している。また、図5において太い実線で示した波形が、全帯域信号Gの全帯域最大値Maxの波形を示している。
ここで、全帯域最大値Maxの波形は、簡単には、全帯域信号Gのピーク点を結ぶようにすることにより特定することができる。また、全帯域信号Gの最も高いピーク値を最大値Maxとしたり、全帯域信号Gのピーク値の平均を最大値Maxとしたりするなど、適宜の方法により特定することが可能である。
そして、図5に示すように、全帯域最大値Maxに基づいて、ハウリングが発生しているか否かを判定するために用いるスレッショルドThを設定する。このスレッショルドThは、上述もしたように、全帯域最大値Maxの例えば数十%となるようにするなど、全帯域最大値Maxに基づいて設定される。
そして、図5において一点鎖線で示した波形aのように、例えば、BPF172(1)で抽出されたフィルタ後のマイク入力信号(ノイズ信号)の振幅が、スレッショルドTh以下の信号である場合には、当該帯域においてハウリングは発生していないと判定する。
これに対し、図5において点線で示した波形bのように、例えば、BPF172(1)で抽出されたフィルタ後のマイク入力信号(ノイズ信号)の振幅が、スレッショルドThを越える周期的な信号である場合には、当該帯域においてハウリングが発生していると判定する。
BPF172(2)、BPF172(3)によって抽出された帯域のノイズ信号についても、上述したBPF172(1)で抽出されたノイズ信号の場合と同様にして、その帯域においてハウリングが発生しているか否かを判定する。
また、上述もし、図5にも示したように、全帯域信号Gが、ゼロ以下の値となる場合であっても、全帯域最大値Maxにおける最小値とスレッショルドThにおける最小値とは、ゼロより大きな値となるように設定される。これは、ハウリングの誤検出を防止するためである。
なお、図5において、振幅が下がる方向に変化する場合のゼロクロス点の波長を観察することにより、フィルタ後のマイク入力信号(ノイズ信号)が周期的に変化する信号か否かをも判定することができる。もちろん、ピーク点の発生周期に基づいて、フィルタ後のマイク入力信号(ノイズ信号)が周期的なものか否かを判定するなどの対応を取るようにしてもよい。
このように、マイク111からのマイク入力信号(全帯域信号)の最大値MaxからスレッショルドThを設定する。そして、ターゲットとする周波数帯域の信号の信号レベルの波形が、当該スレッショルドThを越えた振幅を有するサイン波状の周期的な波形である場合に、ハウリング状態にあると判断することができる。
なお、図4に示した構成のハウリング検出/制御部17は、DSP(Digital Signal Processor)やCPU(Central Processing Unit)などにより構成することができる。この場合、図4に示したレベルチェック部171、BPF172(1)、172(2)、172(3)、レベルチェック部173(1)、173(2)、173(3)、判定及び制御部174のそれぞれの機能は、プログラムによって実現される。
そして、BPF172(1)、172(2)、172(3)については、例えば軽いIIR(Infinite Impulse Response)フィルタなどで構成する。これにより、DSPやCPUに付加をそれほどかけずに、図4、図5を用いて説明したハウリングの検出及び制御アルゴリズムを実装することが可能である。
[ハウリング検出/制御部17の動作の具体例について]
次に、図4、図5を用いて説明した、この第1の実施の形態のノイズキャンセリングシステムに設けられたハウリング検出/制御部17の動作の具体例について、図6のフローチャートを参照しながらまとめる。
図6は、この第1の実施の形態のハウリング検出/制御部17の動作の具体例を説明するためのフローチャートである。この図6に示す処理は、例えば、この第1の実施の形態のノイズキャンセリングシステムに電源が投入されている場合において実行される処理である。
まず、ハウリング検出/制御部17においては、全帯域信号Gの信号レベルと、フィルタリング後の目的とする各周波数帯域の信号の信号レベルを検出し、当該検出結果を判定/制御部174に供給する(ステップS101)。当該ステップS101の処理は、レベルチェック部171、BPF172(1)、172(2)、172(3)、レベルチェック部173(1)、173(2)、173(3)のそれぞれが機能し、連携することによって実現される。
そして、判定及び制御部174は、供給される全帯域信号Gの信号レベルの波形に基づいて、全帯域信号の最大値Maxを特定する(ステップS102)。次に、判定/制御部174は、ステップS102において特定した全帯域信号の最大値Maxに基づいて、ハウリングが発生しているか否かを判定するために用いるスレッショルドThを設定する(ステップS103)。
そして、判定/制御部174は、ステップS103において設定したスレッショルドThと、各レベルチェック部173(1)、173(2)、173(3)からの各帯域の信号の振幅とを比較する共に、各帯域の信号が周期的なものか否かを特定する(ステップS104)。
判定/制御部174は、ステップS103の比較、特定の結果に基づいて、ハウリングが発生しているか否かを判断する(ステップS105)。
具体的に、ステップS105においては、BPFにより抽出された各帯域の信号の内、いずれか1つでも、スレッショルドThよりも大きな振幅を有し、周期的に変化する信号である場合には、ハウリングが発生していると判断する。逆に、BPFにより抽出された各帯域の信号の内、1つもスレッショルドThよりも大きな振幅を有していない場合には、ハウリングは発生していないと判断することになる。
そして、判定/制御部174は、ステップS105の判断処理において、ハウリングは発生していないと判断したときには、ステップS101からの処理を繰り返すようにする。
また、判定/制御部174は、ステップS105の判断処理において、ハウリングが発生していると判断したときには、ハウリングを発生させないようにするための制御処理を開始する(ステップS106)。
具体的にステップS106においては、判定/制御部174が、FBフィルタ回路12において信号のゲインや位相を調整するための制御信号CTを形成し、これをFBフィルタ回路12に供給する処理を行う。この後、ハウリング検出/制御部17は、ステップS101からの処理を繰り返す。
このように、この第1の実施の形態のノイズキャンセリングシステムにおいては、マイク111により集音されたマイク入力信号である全帯域信号Gを解析することによって、ハウリングが発生しているか否かを精度良く、しかも効率的に検出することができる。
そして、ハウリングが発生していることを検出した場合には、マイク入力信号のゲインや位相を制御することにより発振条件を崩し、ハウリングの発生を防止することもできる。
なお、この第1の実施の形態のノイズキャンセリングシステムにおいては、ハウリングが発生している場合に、FBフィルタ回路12を制御することにより、マイク入力信号のゲインや位相を調整し、発振条件を崩すようにして、ハウリングを防止するようにした。しかし、これに限るものではない。
例えば、マイク及びマイクアンプ部11からドライバ15までのいずれかの箇所に、音声信号についてのゲインコントロール回路や遅延回路などの位相制御回路を設け、これを制御するように構成することもできる。もちろん、ゲインコントロール回路と位相制御回路との内、一方だけを設けるようにしてもよいし、両方を設けるようにしてもよい。
また、上述した第1の実施の形態のノイズキャンセリングシステムにおいて、ハウリング検出/制御部17は、3つの異なる周波数帯域の信号を抽出するようにしたが、これに限るものではない。
音響システムによっては、ハウリングを発生させる可能性のある周波数帯域が、4つ、5つと言うように、3つより多くなる場合もある。このような場合には、抽出しようとする周波数帯域の数に応じて、BPFと、当該BPFから信号の供給を受けるレベルチェック部との数を増やすようにすればよい。
また、ハウリングを発生される可能性のある周波数帯域が、1つや2つに限られる場合には、BPFと、当該BPFから信号の供給を受けるレベルチェック部との数を減らして、ハウリング検出/制御部17を構成することも可能である。
[第2の実施の形態]
上述した第1の実施の形態のノイズキャンセリングシステムにおいては、マイク入力信号のみを解析することにより、ハウリングが発生しているか否かを検出できるようにした。しかし、外部から供給される入力信号(外部入力信号)S自体が、ハウリング信号のように周期的に変化する音声信号である場合もあると考えられる。
例えば、口笛の音声信号は、ハウリング信号のように周期的に変化する傾向のあるものである。また、種々の電子楽器によって形成され放音される音声信号の中にも、ハウリング信号のように周期的に変化する傾向のあるものもあると考えられる。
このため、上述した第1の実施の形態のノイズキャンセリングシステムの場合には、外部入力信号Sの特性によっては、ハウリングは発生していないのに、ハウリングが発生していると誤検出してしまう場合があると考えられる。
そこで、この第2の実施の形態においては、外部入力音声信号Sの特性をも考慮することによって、ハウリングの検出精度を向上させるようにしたものである。
図7は、この発明が適用された第2の実施の形態のノイズキャンセリングシステムを説明するためのブロック図である。この第2の実施の形態においても、ノイズキャンセリングシステムは、第1の実施の形態の場合と同様にフィードバック方式のものである。
このため、図7に示す第2の実施の形態のノイズキャンセリングシステムにおいて、図3に示した第1の実施の形態のノイズキャンセリングシステムと同様に構成される部分には同じ参照符号を付し、それらの部分についての説明は省略する。
そして、この第2の実施の形態のノイズキャンセリングシステムにおいても、ハウリング検出/制御部18が設けられるが、第1の実施の形態のノイズキャンセリングシステムで用いられたハウリング検出/制御部17とは異なるものである。
この第2の実施の形態のハウリング検出/制御部18は、第1の実施の形態のハウリング検出/制御部17と同様の機能を有するものである。すなわち、ハウリング検出/制御部18は、ハウリングが発生しているか否かを検出すると共に、ハウリングが発生している場合には、ハウリングが発生しないようにFBフィルタ回路12を制御する機能を有するものである。
しかし、この第2の実施の形態のハウリング検出/制御部18は、図7に示すように、マイクアンプ112からのマイク入力信号(全帯域信号)Gが入力されると共に、イコライザ16に供給される外部からの入力信号(外部入力信号)Sも入力されるものである。
そして、この第2の実施の形態のハウリング検出/制御部18は、まず、マイクアンプ112からの全帯域信号Gを解析することにより、ハウリングが発生している可能性があるか否かを検出する。
さらに、この第2の実施の形態のハウリング検出/制御部18は、外部入力信号Sを解析し、外部入力信号Sが元々周期的なものか否かをも検出し、この検出結果をも踏まえて、ハウリングが発生しているか否かを特定する。
[ハウリング検出/制御部18の構成例と動作について]
次に、図7に示したフィードバック方式のノイズキャンセリングシステムに設けられたハウリング検出/制御部18の構成例と動作について説明する。図8は、図7に示したフィードバック方式のノイズキャンセリングシステムに設けられるハウリング検出/制御部18の構成例を説明するためのブロック図である。
図8に示すように、この第2の実施の形態のハウリング検出/制御部18は、大きく分けると、全帯域信号G用の第1の処理系81と、外部入力信号S用の第2の処理系82とからなっている。
全帯域信号G用の第1の処理系81は、図8に示したように、レベルチェック部811、BPF812(1)、812(2)、812(3)、レベルチェック部813(1)、813(2)、813(3)を備えている。これらの各部分は、図4を用いて説明した第1の実施の形態のハウリング検出/制御部17の対応する部分と同様の機能を実現するものである。
すなわち、レベルチェック部811は、これに供給されたマイク入力信号(全帯域信号)Gの信号レベルを検出し、これを判定及び制御部83に通知すると共に、供給された全帯域信号Gをそのまま後段のBPF812(1)、812(2)、812(3)のそれぞれに供給する。
ここで、レベルチェック部811に供給されるマイク入力信号(全帯域信号)Gは、マイク111により集音され、マイクアンプ112により増幅されたノイズ信号であり、マイク111によって集音可能な全ての帯域の音声信号を含むものである。
BPF812(1)、812(2)、812(3)のそれぞれは、レベルチェック部811からの全帯域信号Gから、予め決められた中心周波数で、予め決められた帯域幅の音声信号(ノイズ信号)を抽出する。
この第2の実施の形態の場合にも、BPF812(1)は、例えば、中心周波数が13Hzで、帯域幅が数Hzの帯域の音声信号を抽出する。また、BPF812(2)は、例えば、中心周波数が1300Hzで、帯域幅が数十Hzの帯域の音声信号を抽出する。また、BPF812(3)は、例えば、中心周波数が5000Hzで、帯域幅が数十Hzの帯域の音声信号を抽出する。というように、BPF812(1)、812(2)、812(3)のそれぞれは、異なる帯域の音声信号を抽出する。
なお、この第2の実施の形態においても、第1の実施の形態の場合と同様に、BPF812(1)、812(2)、812(3)のそれぞれにおいて用いられる中心周波数や帯域幅は予め決められるものである。
すなわち、目的とするノイズキャンセリングシステムを形成し、実験を行うことにより、音響メカニズム的に当該システムにおいてハウリングが発生しやすい周波数帯域をピックアップする。そして、この結果からBPF812(1)、812(2)、812(3)のそれぞれに対して、中心周波数と帯域幅とが設定される。
このように、マイクからスピーカーまでが接続するようにされた目的とする音響システムにおいて、ハウリングしやすい周波数帯域にターゲットを絞り、ハウリング周波数を検知(抽出)するBPF(Band Pass Filter)を用いて、マイク入力信号である全帯域信号Gのフィルタリングを行う。
そして、BPF812(1)、812(2)、812(3)のそれぞれにおいて抽出された所定の周波数帯域の音声信号(ノイズ信号)は、対応するレベルチェック部813(1)、813(2)、813(3)のそれぞれに供給される。
レベルチェック部813(1)、813(2)、813(3)のそれぞれは、対応するBPF812(1)、812(2)、812(3)からの帯域制限された音声信号(ノイズ信号)の供給を受けて、当該音声信号の信号レベルを検出する。そして、レベルチェック部813(1)、813(2)、813(3)のそれぞれは、検出した信号レベルを、判定及び制御部83に供給する。
これにより、判定及び制御部83には、レベルチェック部811からの全帯域信号Gの信号レベルと、レベルチェック部813(1)、813(2)、813(3)からのハウリングが発生しやすいとされた全帯域信号Gの所定の帯域の音声信号の信号レベルとが供給される。
一方、外部入力信号S用の第2の処理系82は、外部入力信号Sに対して、全帯域信号G用の第1の処理系81と同様の処理を行う。
すなわち、外部入力信号S用の第1の処理系82は、図8に示したように、レベルチェック部821、BPF822(1)、822(2)、822(3)、レベルチェック部823(1)、823(2)、823(3)を備えている。
そして、レベルチェック部821は、外部入力信号Sの信号レベルを検出し、これを判定及び制御部83に通知すると共に、供給された外部入力信号Sをそのまま後段のBPF822(1)、822(2)、822(3)のそれぞれに供給する。
ここで、レベルチェック部821に供給される外部入力信号Sは、この実施の形態のノイズキャンセリングシステムに外部から供給され、ヘッドホンのドライバ15で再生すべき種々の音声信号である。
具体的には、上述もしたように、音楽再生装置からの音楽信号、筐体外部のマイクで集音した音声信号(補聴機能として使う場合)、電話通信などの通信を介した音声信号(ヘッドセットとして使う場合)などである。
BPF822(1)、822(2)、822(3)のそれぞれは、レベルチェック部821からの外部入力信号Sから、予め決められた中心周波数で、予め決められた帯域幅の音声信号を抽出する。
ここで、BPF822(1)、822(2)、822(3)のそれぞれもまた、この実施の形態のノイズキャンセリングシステムにおいてハウリングが発生しやすいとしてピックアップされた周波数帯域に応じた中心周波数と帯域幅が設定されたものである。
したがって、この第2の実施の形態の場合にも、BPF822(1)は、例えば、中心周波数が13Hzで、帯域幅が数Hzの帯域の音声信号を抽出する。また、BPF822(2)は、例えば、中心周波数が1300Hzで、帯域幅が数十Hzの帯域の音声信号を抽出する。また、BPF822(3)は、例えば、中心周波数が5000Hzで、帯域幅が数十Hzの帯域の音声信号を抽出する。
このように、この第2の実施の形態の場合には、マイクからスピーカーまでが接続するようにされた目的とする音響システムにおいて、ハウリングしやすい周波数帯域にターゲットを絞り込むようにしている。そして、ハウリング周波数を検知(抽出)するBPF(Band Pass Filter)を用いて、外部から供給される外部入力信号Sについてもフィルタリングを行う。
そして、BPF822(1)、822(2)、822(3)のそれぞれにおいて抽出された所定の周波数帯域の音声信号(ノイズ信号)は、対応するレベルチェック部823(1)、823(2)、823(3)のそれぞれに供給される。
レベルチェック部823(1)、823(2)、823(3)のそれぞれは、対応するBPF822(1)、822(2)、822(3)からの帯域制限された音声信号(ノイズ信号)の供給を受けて、当該音声信号の信号レベルを検出する。そして、レベルチェック部823(1)、823(2)、823(3)のそれぞれは、検出した信号レベルを、判定及び制御部83に供給する。
これにより、判定及び制御部83には、レベルチェック部821からの外部入力信号Sの信号レベルと、レベルチェック部823(1)、823(2)、823(3)からのハウリングが発生しやすいとされた外部入力信号Sの所定の帯域の音声信号の信号レベルとが供給される。
そして、この第2の実施の形態のノイズキャンセリングシステムにおいて、判定及び制御部83は、まず、全帯域信号G用の処理系81からの信号に基づいて、ハウリングが発生している可能性があるか否かを判断する。
さらに、判定及び制御部83は、外部入力信号S用の処理系82からの信号に基づいて、外部入力信号Sに元々ハウリング信号のような周期的な信号成分が含まれているか否かをも判断する。
これにより、外部入力信号S用の処理系82からの信号に基づいて、外部入力信号Sが元々周期性のあるものであると判定した場合には、ハウリングが発生しているとは判定しないようにする。このようにして、ハウリングの検出精度を向上させるようにしている。
図9は、この第2の実施の形態のノイズキャンセリングシステムのハウリング検出/制御部18において行われるハウリングが発生しているか否かの判定の方法を説明するための図である。
図9において、図9Aは、マイク入力信号である全帯域信号Gについての信号波形を示す図であり、図9Bは、外部入力信号Sについての信号波形を示す図である。図9において、横軸は時間、縦軸は信号の振幅を示している。
なお、上述もしたように、音声信号は一般に非常に複雑な波形となるが、ハウリング信号が周期的なものであり、これを分かりやすく示すと共に、説明を簡単にするため、図9においても、全帯域信号G、外部入力信号Sは、周期的な波形として示している。
そして、図9Aは、第1の実施の形態において説明した図5と同様の内容を示すものである。すなわち、図9Aにおいて細い実線で示した波形が、マイク111により集音された全帯域信号(原マイク入力信号)Gを示している。また、図9Aにおいて太い実線で示した波形が、全帯域信号Gの全帯域最大値Maxの波形を示している。
第1の実施の形態においても説明したように、全帯域最大値Maxの波形は、簡単には、全帯域信号Gのピーク点を結ぶようにすることにより特定することができる。また、全帯域信号Gの最も高いピーク値を最大値Maxとしたり、全帯域信号Gのピーク値の平均を最大値Maxとしたりするなど、適宜の方法により特定することが可能である。
そして、図9Aに示すように、全帯域最大値Maxに基づいて、ハウリングが発生しているか否かを判定するために用いるスレッショルドThを設定する。このスレッショルドThは、第1の実施の形態の場合と同様に、全帯域最大値Maxの例えば数十%となるようにするなど、全帯域最大値Maxに基づいて設定される。
そして、図9Aにおいて一点鎖線で示した波形aのように、例えば、BPF812(1)で抽出されたフィルタ後のマイク入力信号(ノイズ信号)の振幅が、スレッショルドTh以下の信号である場合には、当該帯域においてハウリングは発生していないと判定する。
これに対し、図9Aにおいて点線で示した波形bのように、例えば、BPF812(1)で抽出されたフィルタ後のマイク入力信号(ノイズ信号)の振幅が、スレッショルドThを越える周期的な信号である場合には、当該帯域においてハウリングが発生している可能性があると判定する。すなわち、この段階ではまだハウリングが発生している可能性があるだけで、ハウリングが本当に発生しているか否かまでは確定しない。
BPF812(2)、BPF812(3)によって抽出された帯域のノイズ信号についても、上述したBPF172(1)で抽出されたノイズ信号の場合と同様にして、その帯域においてハウリングが発生している可能性があるか否かを判定する。
なお、この第2の実施の形態の場合にも、図5を用いて説明した第1の実施の形態の場合と同様に、図9Aに示したように、全帯域信号Gが、ゼロ以下の値となる場合であっても、全帯域最大値Maxにおける最小値とスレッショルドThにおける最小値とは、ゼロより大きな値となるように設定される。これは、ハウリングの誤検出を防止するためである。
また、この第2の実施の形態においても、例えばゼロクロス点の波長を観察することにより、フィルタ後のマイク入力信号(ノイズ信号)が周期的に変化する信号か否かをも判定することができる。もちろん、ピーク点の発生周期に基づいて、フィルタ後のマイク入力信号(ノイズ信号)が周期的なものか否かを判定するなどの対応を取るようにしてもよい。
そして、この第2の実施の形態のノイズキャンセリングシステムの場合には、上述もしたように、外部入力信号Sをも考慮して、ハウリングが発生しているか否かを判定するようにしている。
図9Bは、上述もしたように、外部入力信号Sについての信号波形を示す図である。そして、図9Bにおいて、細い実線で示した波形が、例えば、音楽再生装置などから供給される外部入力信号Sを示している。
そして、図9Bにおいて一点鎖線で示した波形cのように、例えば、BPF822(1)で抽出されたフィルタ後の外部入力信号の振幅が、元々の外部入力信号Sの振幅と同程度のものである場合には、ハウリングが発生している可能性はなしと判定する。
すなわち、BPF822(1)でフィルタリングされた信号が、元々の外部入力信号Sと同程度の振幅を有するものである場合には、元々の外部入力信号S自体が周期性を持つものであり、ハウリングとは異なると判断できるからである。
これに対し、図9Bにおいて点線で示した波形dのように、例えば、BPF812(1)で抽出されたフィルタ後の外部入力信号の振幅が、元々の外部入力信号Sの振幅に比べて大幅に低い場合には、全帯域信号Gの解析結果に応じてハウリングの有無を判別する。
図9Bにおいて点線で示した波形dのように、フィルタ後の外部入力信号の振幅が、元々の外部入力信号Sの振幅に比べて大幅に低い場合には、元々の外部入力信号Sは、周期性を有するものではないと判断できるからである。
BPF822(2)、BPF822(3)によって抽出された帯域の外部入力信号についても、上述したBPF822(1)で抽出された外部入力信号の場合と同様にして、その帯域においてハウリングが発生している可能性があるか否かを判定する。
このように、外部入力信号Sをターゲットとする周波数帯域でフィルタリングし、フィルタ後のそれぞれの信号波形の振幅と、元々の外部入力信号Sの信号波形の振幅とを比較することで、ハウリングなのか、外部入力信号なのかを判別することができる。これにより、ハウリングが発生しているか否かの判定をより正確に行うことができる。
なお、ここでは、BPF822(1)、822(2)、822(3)によるフィルタリング後の信号の振幅と、外部入力信号Sの振幅とを比較することにより、外部入力信号S自身がハウリングと同じような周期的な信号成分を含むものか否かを判断するようにした。しかし、これに限るものではない。
全帯域信号Gを処理対象とする場合と同様に、外部入力信号Sの最大値を求め、当該最大値を基準とする。そして、フィルタリング後の信号が、外部入力信号Sの最大値の80%以上の振幅を有する場合には、外部入力信号S自体が周期性を有するものと判断する。
また、フィルタリング後の信号が、外部入力信号Sの最大値の80%よりも低い振幅を有する場合には、外部入力信号S自体にはハウリングと間違えるような周期性は存在しないもとのと判断する。
このように、外部入力信号Sの最大値などに基づいて、外部入力信号Sのフィルタリング後の信号から、外部入力信号Sが周期的な信号か否かを判断するようにしてももちろんよい。
[ハウリング検出/制御部18の動作の具体例について]
次に、図8、図9を用いて説明した、この第2の実施の形態のノイズキャンセリングシステムに設けられたハウリング検出/制御部18の動作の具体例について、図10のフローチャートを参照しながらまとめる。
図10は、この第2の実施の形態のハウリング検出/制御部18の動作の具体例を説明するためのフローチャートである。この図10に示す処理は、例えば、この第2の実施の形態のノイズキャンセリングシステムに電源が投入されている場合において実行される処理である。
まず、ハウリング検出/制御部18においては、全帯域信号Gの信号レベルと、当該全帯域信号Gのフィルタリング後の目的とする各周波数帯域の信号の信号レベルとを検出し、当該検出結果を判定/制御部83に供給する(ステップS201)。当該ステップS201の処理は、レベルチェック部811、BPF812(1)、812(2)、812(3)、レベルチェック部813(1)、813(2)、813(3)のそれぞれが機能し、連携することによって実現される。
そして、判定及び制御部83は、供給される全帯域信号Gの信号レベルの波形に基づいて、全帯域信号の最大値Maxを特定する(ステップS202)。次に、判定/制御部83は、ステップS202において特定した全帯域信号の最大値Maxに基づいて、ハウリングが発生しているか否かを判定するために用いるスレッショルドThを設定する(ステップS203)。
上記ステップS201〜203の処理と並行して、ハウリング検出/制御部18においては、外部入力信号Sの信号レベルと、当該外部入力号Sのフィルタリング後の目的とする各周波数帯域の信号の信号レベルとを検出し、当該検出結果を判定/制御部83に供給する(ステップS204)。当該ステップS204の処理は、レベルチェック部821、BPF822(1)、822(2)、822(3)、レベルチェック部823(1)、823(2)、823(3)のそれぞれが機能し、連携することによって実現される。
そして、判定/制御部83は、全帯域信号Gについての解析に基づいて、ハウリングが発生している可能性があるか否かを判別すると共に、外部入力信号Sの解析結果に基づいて、外部入力信号S自体が周期的な成分(要素)を有するか否かを確認する(ステップS205)。
具体的に、ステップS205において、判定/制御部83の処理は、ステップS203で設定したスレッショルドThと、ステップS201で検出された各レベルチェック部813(1)、813(2)、813(3)からの全帯域信号Gの所定帯域の信号の信号レベルとを比較する共に、各帯域の信号が周期的なものか否かを特定する。
さらに、ステップS205において、判定/制御部83の処理は、ステップS204で検出された外部入力信号Sの信号レベルと、各レベルチェック部813(1)、813(2)、813(3)により検出された外部入力信号Sの所定帯域の信号の信号レベルとを比較し、外部入力信号S自体が周期的な要素(性質)を持つものか否かを確認する。
そして、判定/制御部83は、ステップS205における特定結果及び確認結果に基づいて、ハウリングが発生しているか否かを判断する(ステップS206)。
このステップS206における判定/制御部83の判断処理は、具体的に以下のような判断を行う。すなわち、図9を用いて説明しように、まず、全帯域信号Gのフィルタリング後の信号の振幅が、全帯域信号Gの最大値Maxに基づいて決まるスレッショルドThよりも大きく、当該フィルタリング後の信号が周期的な信号か否かを判断する。
ここで、全帯域信号Gのフィルタリング後の信号の振幅が、スレッショルドThよりも大きく、当該フィルタリング後の信号が周期的な信号である場合には、さらに、外部入力信号Sが周期的な信号か否かを判断する。
そして、全帯域信号Gのフィルタリング後の信号の振幅が、スレッショルドThよりも大きく、当該フィルタリング後の信号が周期的な信号であり、かつ、外部入力信号Sが周期的な信号でないと判断した場合に、ハウリングが発生していると判断する。
これ以外の場合には、ハウリングは発生していないと判断する。例えば、スレッショルドThよりも大きく、当該フィルタリング後の信号が周期的な信号であっても、外部入力信号Sが周期的な信号であるときには、ハウリングは発生していないと判断する。
そして、判定/制御部83は、ステップS206の判断処理において、ハウリングは発生していないと判断したときには、ステップS201からの処理を繰り返すようにする。
また、判定/制御部83は、ステップS206の判断処理において、ハウリングが発生していると判断したときには、ハウリングを発生させないようにするための制御処理を開始する(ステップS207)。
このステップS207においては、判定/制御部83が、FBフィルタ回路12において信号のゲインや位相を調整するための制御信号CTを形成し、これをFBフィルタ回路12に供給する処理を行う。この後、ハウリング検出/制御部18は、ステップS201からの処理を繰り返す。
このように、この第2の実施の形態のノイズキャンセリングシステムにおいては、マイク111により集音されたマイク入力信号である全帯域信号Gだけでなく、外部入力信号Sをも考慮することによって、より正確にハウリングを検出することができる。
そして、ハウリングが発生していることを検出した場合には、マイク入力信号のゲインや位相を制御することにより発振条件を崩し、ハウリングの発生を防止することができる。
なお、この第2の実施の形態のノイズキャンセリングシステムにおいても、ハウリングが発生している場合に、FBフィルタ回路12を制御することにより、マイク入力信号のゲインや位相を調整し、発振条件を崩すようにしてハウリングを防止するようにした。しかし、これに限るものではない。
この第2の実施の形態のノイズキャンセリングシステムの場合にも、マイク及びマイクアンプ部11からドライバ15までのいずれかの箇所に、音声信号についてのゲインコントロール回路や遅延回路などの位相制御回路を設け、これを制御するように構成することもできる。もちろん、ゲインコントロール回路と位相制御回路との内、一方だけを設けるようにしてもよいし、両方を設けるようにしてもよい。
また、上述した第2の実施の形態のノイズキャンセリングシステムにおいても、第1の実施の形態のノイズキャンセリングシステムの場合と同様に、ハウリング検出/制御部18は、3つの異なる周波数帯域の信号を抽出するようにした。しかし、これに限るものではない。
音響システムによっては、ハウリングを発生させる可能性のある周波数帯域が、4つ、5つと言うように、3つより多くなる場合もある。このような場合には、抽出しようとする周波数帯域の数に応じて、ハウリング検出/制御部18を構成するBPFと、当該BPFから信号の供給を受けるレベルチェック部との数を増やすようにすればよい。
また、ハウリングを発生させる可能性のある周波数帯域が、1つや2つに限られる場合には、BPFと、当該BPFから信号の供給を受けるレベルチェック部との数を減らして、ハウリング検出/制御部18を構成することも可能である。
[他の例]
上述した第1、第2の実施の形態は、この発明をフィードバック方式のノイズキャンセリングシステムに適用した場合を例にして説明した。しかし、これに限るものではない。フィードフォワード方式のノイズキャンセリングシステムにも、この発明を適用することができる。
フィードフォワード方式のノイズキャンセリングシステムの場合も、マイクロホンからスピーカーまでが接続された音声信号系を備え、スピーカーで放音された音声がマイクで集音されるという帰還ループが形成される場合があるためである。以下に、フィードフォワード方式のノイズキャンセリングシステムにこの発明を適用した場合の一例について説明する。
[フィードフォワード方式のノイズキャンセリングシステムについて]
次に、フィードフォワード方式のノイズキャンセリングシステムに関して説明する。
図11は、フィードフォワード方式のノイズキャンセリングシステムが適用されたヘッドホンシステムが、ユーザヘッド(ユーザ(聴取者)の頭部)HDに装着された場合の右チャンネル側の構成を示す図である。
また、図12は、フィードフォワード方式のノイズキャンセリングシステムの特性を示す計算式を説明するための図であり、図13は、フィードフォワード方式のノイズキャンセリングシステムの全体構成を示す図である。
フィードフォワード方式は、基本的に図11に示すようにヘッドホン筐体HPの外部にマイク211が設置されている。そして、マイク211で収音したノイズに対して適切なフィルタリング処理をして、ヘッドホン筐体HP内部のドライバ25にてこれを再生し、耳に近いところでこのノイズをキャンセルすることを意図している。
なお、図11において、文字Nは、外部のノイズソース(ノイズ源)を示している。また、文字Pは、聴取者の耳に届く音圧(出力音声)を表している。ノイズソースNに応じたノイズがヘッドホン筐体HP内に侵入してくる主な理由はフィードバック方式のノイズキャンセリングシステムにおいて説明した通りである。
そして、この図11に示した構成のフィードフォワード方式のノイズキャンセリングシステムは、マイク211はヘッドホン筐体HPの外部に、スピーカー252はヘッドホン筐体HPの内部に設けられる。
上述した第1、第2の実施の形態のフィードバック方式のノイズキャンセリングシステムに比べれば、ハウリングが発生する可能性は低いと考えられる。しかし、ヘッドホン筐体HPをユーザの頭部から外している場合にはハウリングが発生する可能性がある。
また、ヘッドホン筐体HP内のスピーカー252から放音される音声が筐体HP外部に漏れたり、スピーカー252が発する振動がマイク211に伝わったりすることにより、ハウリングが発生する場合がある。
このため、フィードフォワード方式のノイズキャンセリングシステムに対しても、この発明を適用することによって、ハウリングの発生を抑制することが可能となる。
具体的に、図12の計算式及び図13のブロック図を参照しながら、フィードフォワード方式のノイズキャンセリングシステムについて説明する。図13に示すフィードフォワード方式のノイズキャンセリングシステムは、マイク211とマイクアンプ212からなるマイク及びマイクアンプ部21を備えている。
さらに、フィードフォワード制御のために設計されたフィルタ回路(以下、FFフィルタ回路という。)22と、合成部23と、パワーアンプ24と、ドライブ回路251とスピーカー252からなるドライバ25とを備えている。
この図13に示すフィードフォワード方式のノイズキャンセリングシステムにおいても、各ブロック内に記載した文字A、D、Mは、パワーアンプ24、ドライバ25、マイク及びマイクアンプ部21の各伝達関数である。
そして、図13においても、文字Nは、外部のノイズソース(ノイズ源)を示し、文字Pは、聴取者の耳に届く音圧(出力音声)を示している。また、図13においては、外部のノイズソースNの位置から耳位置CPに至るまでの伝達関数(ノイズソース−キャンセルポイント間の伝達関数)を文字Fで表している。
また、図13においては、ノイズソースNからマイク211に至るまでの伝達関数(ノイズソース−マイク間の伝達関数)を文字F’で表している。また、図13においては、ドライバ25からキャンセルポイント(耳位置)CPに至るまでの伝達関数(ドライバ−キャンセルポイント間の伝達関数)を文字Hで表している。
そして、フィードフォワード方式のノイズキャンセリングシステムの核となるFFフィルタ回路22の伝達関数を、−αと置くと、図13において、聴取者の耳に届く音圧P(出力音声)は、図12の(1)式のように表現することができる。
ここで、理想的な状態を考えると、ノイズソース−キャンセルポイント間の伝達関数Fは、図12の(2)式のように表すことができる。そして、図12の(2)式を図12の(1)式に代入すれば、第1項と第2項とは相殺される。
したがって、結果として、図13に示したフィードフォワード方式のノイズキャンセリングシステムにおいて、出力音声Pは、図12の(3)式に示すように表すことができる。したがって、図12の(3)式から分かるように、ノイズはキャンセルされ、音楽信号(または聴取する目的の音声信号等)だけが残り、通常のヘッドホン動作と同様の音を聴取できることになる。
ただし、実際は、図12に示した(2)式が完全に成立するような伝達関数を持つ完全なフィルタの構成は困難である。特に中高域に関して、人により耳の形状は異なるし、また、ヘッドホンの装着状態もまちまちであるなど、個人差が大きい。
また、ノイズの位置やマイク位置などにより特性が変化する。これらの理由のため通常は中高域に関してはこのアクティブなノイズ低減処理を行わず、ヘッドホン筐体でパッシブな遮音をすることが多い。
なお、図12の(2)式は、数式を見れば自明であるが、ノイズ源から耳位置までの伝達関数を、伝達関数αを含めた電気回路にて模倣することを意味している。
このフィードフォワード方式では、図12の(2)式を成立させた上で、人間の聴覚特性を考慮したフィルタの設計を設計者が行うこととなる。この聴覚特性を考慮したフィルタ設計というのは、設計者自身が評価を行う場合が多いが、既にフィードフォワード方式のノイズキャンセリングヘッドフォンが多数開発されて発売され、市場に受けいれられており実績があるといえる。
また、図11、図13に示したフィードフォワード方式のノイズキャンセリングシステムにおけるキャンセルポイントCPは、図11に示した通り、図1のフィードバック方式のノイズキャンセリングシステムと異なり、聴取者の任意の耳位置において設定することができる。
しかしながら、通常の場合、伝達関数αは固定的であり、設計段階においては、なんらかのターゲット特性を対象とした決めうちになることになる。しかし、聴取者よって耳の形状が違うため、十分なノイズキャンセル効果が得られなかったり、ノイズ成分を非逆相で加算してしまったりして、異音がするなどの現象が起こる可能性もある。
これらのことより、一般的にフィードフォワード方式は、発振する可能性が低く安定度が高いが、十分な減衰量を得るのは困難であり、一方、フィードバック方式は大きな減衰量が期待できる代わりに、系の安定性に注意が必要となる。フィードバック方式とフィードフォワード方式とには、それぞれに特徴を有している。
そして、上述もしたように、図11〜図13を用いて説明したフィードフォワード方式のノイズキャンセリングシステムもまた、マイクロホンからスピーカーまでが接続された音声信号系を構成する。
したがって、上述もしたように、フィードフォワード方式のノイズキャンセリングシステムに比べれば安定性はあるが、ハウリングを発生させる可能性もある。そこで、この例のフィードフォワード方式のノイズキャンセリングシステムにおいても、図13に示すように、ハウリング検出/制御部26を設けている。
このハウリング検出/制御部26は、図4を用いて説明した第1の実施の形態のフィードバック方式のノイズキャンセリングシステムに用いられたハウリング検出/制御部17と同様に構成されるものである。
そして、この例のハウリング検出/制御部26の場合にも、図4〜図6を用いて説明したように、マイクアンプ212からのマイク入力信号(全帯域信号)Gの信号レベルから、全帯域信号Gの最大値Maxを特定して、スレッショルドThを設定する。
さらに、ハウリング検出/制御部26は、全帯域信号Gから、当該ノイズキャンセリングシステムにおいてハウリングを発生させる可能性の高いターゲットとする周波数帯域の信号の信号レベルを検出する。
そして、設定したスレッショルドThと、ターゲットとした周波数帯域の信号の振幅とを比較すると共に、ターゲットとした周波数帯域の信号が周期的なものか否かをも加味して、ハウリングが発生しているか否かを特定する。
そして、ハウリングが発生していると特定したときには、ハウリング検出/制御部26は、FFフィルタ回路22を制御し、マイク入力信号(全帯域信号)Gの利得や位相を制御し、発振条件を崩して、ハウリングの発生を防止する。
このようにして、フィードフォワード方式のノイズキャンセリングシステムにおいても、マイク211により集音されたマイク入力信号(全帯域信号)Gを解析することによって、ハウリングが発生しているか否かを検出し、効果的にハウリングを抑制することができる。
また、図14に示すように、外部入力信号Sをも考慮するハウリング検出/制御部28を設け、より精度よくハウリングが発生しているか否かを検出するように構成することも可能である。すなわち、図14は、フィードフォワード方式のノイズキャンセリングシステムの他の構成例を示す図である。
図14において、図13に示したフィードフォワード方式のノイズキャンセリングシステムと同様に構成される部分には同じ参照符号を付し、それらの部分についての詳細な説明については省略する。
また、図14に示すフィードフォワード方式のノイズキャンセリングシステムの場合には、外部からの入力信号Sが、イコライザ27を介して合成部23に供給される構成となっている。なお、イコライザ27のブロック内の文字Eは、聴取対象の目的とする音楽信号などの外部入力信号Sに掛けられるイコライザ27の伝達関数である。
そして、図14に示すように、ハウリング検出/制御部28は、マイクアンプ212肩のマイク入力信号(全帯域信号)Gと外部入力信号Sとが供給される構成となっている。この例のハウリング検出/制御部28、図8〜図10を用いて説明した第2の実施の形態のハウリング検出/制御部18と同様に構成され、同様に機能するものである。
すなわち、この例のハウリング検出/制御部28の場合にも、図8〜図10を用いて説明したように、マイクアンプ212からのマイク入力信号(全帯域信号)Gの信号レベルから、全帯域信号Gの最大値Maxを特定して、スレッショルドThを設定する。
そして、ハウリング検出/制御部28は、全帯域信号Gから、当該ノイズキャンセリングシステムにおいてハウリングを発生させる可能性の高いターゲットとする周波数帯域の信号の信号レベルを検出する。
そして、設定したスレッショルドThと、ターゲットとした周波数帯域の信号の振幅とを比較すると共に、ターゲットとした周波数帯域の信号が周期的なものか否かをも加味して、ハウリングが発生している可能性があるか否かを特定する。
さらに、この例のハウリング検出/制御部28は、外部入力信号Sの信号レベルを検出すると共に、外部入力信号Sから、当該ノイズキャンセリングシステムにおいてハウリングを発生させる可能性の高いターゲットとする周波数帯域の信号の信号レベルを検出する。
そして、設定したスレッショルドThと、ターゲットとした周波数帯域の信号の振幅とを比較すると共に、ターゲットとした周波数帯域の信号が周期的なものか否かをも加味して、ハウリングが発生している可能性があるか否かを特定する。
さらに、外部入力信号Sの信号レベルの波形と、当該外部入力信号から抽出したターゲットとする周波数帯域の信号の信号レベルの波形とを対比し、外部入力信号Sに、ハウリングと間違えるような周期的な信号成分が元々含まれているか否かを判断する。
そして、全帯域信号Gを解析することにより、ハウリングの可能性ありと特定し、外部入力信号Sを解析することにより、外部入力信号S自体にハウリングと間違えるほどの周期的成分は存在しないと判断したときには、ハウリングが発生していると特定する。
このようにして、ハウリングが発生していると特定した場合には、ハウリング検出/制御部28は、FFフィルタ回路22を制御し、マイク入力信号(全帯域信号)Gの利得や位相を制御し、発振条件を崩して、ハウリングの発生を防止する。
このように、フィードフォワード方式のノイズキャンセリングシステムにおいても、マイク入力信号である全帯域信号Gだけでなく、外部入力信号Sをも考慮して、ハウリングが発生しているか否かを精度良く特定し、ハウリングを抑制することができる。
なお、図11〜図14を用いて説明したフィードフォワード方式のノイズキャンセリングシステムにおいても、ハウリングが発生している場合に、FFフィルタ回路22を制御することにより、ハウリングを防止するようにした。しかし、これに限るものではない。
図11〜図14を用いて説明した例の場合にも、マイク及びマイクアンプ部21からドライバ25までのいずれかの箇所に、音声信号についてのゲインコントロール回路や遅延回路などの位相制御回路を設け、これを制御するように構成することもできる。もちろん、ゲインコントロール回路と位相制御回路との内、一方だけを設けるようにしてもよいし、両方を設けるようにしてもよい。
また、図13のハウリング検出/制御部26は、第1の実施の形態のハウリング検出/制御部17と同様の構成を有し、図14のハウリング検出/制御部26は、第2の実施の形態のハウリング検出/制御部18と同様の構成を有するものとして説明した。しかし、これに限るものではない。
音響システムによっては、ハウリングを発生させる可能性のある周波数帯域が、4つ、5つと言うように、3つより多くなる場合もある。このような場合には、抽出しようとする周波数帯域の数に応じて、ハウリング検出/制御部26、28を構成するBPFと、当該BPFから信号の供給を受けるレベルチェック部との数を増やすようにすればよい。
また、ハウリングを発生させる可能性のある周波数帯域が、1つや2つに限られる場合には、BPFと、当該BPFから信号の供給を受けるレベルチェック部との数を減らして、ハウリング検出/制御部26、28を構成することも可能である。
[方法の発明としての実現性について]
なお、上述した実施の形態において、図4、図8に示したハウリング検出/制御部17、18の各部で行われる処理のそれぞれは、この発明による方法における対応する各工程の処理に該当する。
より具体的には、図6、図10のフローチャートに示した処理は、この発明よる方法が適用されたものである。したがって、この発明の方法についても、実現可能である。
[その他]
また、上述した実施の形態においては、第1のレベル検出手段としての機能は、レベルチェック部171、811が実現している。また、抽出手段としての機能は、BPF172(1)、BPF172(2)、BPF172(3)あるいは、BPF812(1)、BPF812(2)、BPF812(3)が実現している。
また、第2のレベル検出手段としての機能は、レベルチェック部173(1)、173(2)、173(3)あるいは813(1)、813(2)、813(3)が実現している。また、検出手段としての機能は、判定及び制御部174あるいは判定及び制御部83が実現している。
また、第3のレベル検出手段としての機能は、レベルチェック部821が実現している。また、第2の抽出手段としての機能は、BPF822(1)、BPF822(2)、822(3)が実現している。また、第4のレベル検出手段としての機能は、レベルチェック部823(1)、823(2)、823(3)が実現している。
また、調整手段としての機能は、FBフィルタ回路12が実現し、制御手段としての機能は、判定及び制御部173あるいは判定及び制御部83が実現している。
そして、上述もしたように、ハウリングが発生しているか否かを検出するために、マイク入力信号である全帯域信号Gからターゲットする帯域の信号を抽出するようにしている。このため、ハウリングが発生している帯域はどの帯域かが分かるので、ハウリングが発生している帯域の音声信号に対してのみ、ゲインや位相の調整を行うようにしてもよい。このようにすることによって、ハウリングを効果的に防止すると共に、処理される音声信号に対する影響を少なくすることができる。
また、上述した実施の形態においては、FBフィルタ回路12やFFフィルタ回路22において、ゲインや位相の調整を行うものとして説明した。より詳しくは、FBフィルタ回路12やFFフィルタ回路22において、例えば、中心周波数、尖鋭度、ゲイン特性、位相特性の1つもしくは複数を変更することによって、発振条件を崩すようにすればよい。
もちろん、FBフィルタ回路12やFFフィルタ回路22において調整を行うものに限るものではなく、マイクロホンからスピーカーまでの間のいずれかの位置において、音声信号に対して、中心周波数、尖鋭度、ゲイン特性、位相特性の1つもしくは複数を変更するようにすればよい。
また、ハウリングを発生させないようにする方法として、上述した実施の形態においてはゲインや位相の調整を行う場合を説明したが、これに限るものではない。例えば、ハウリングが発生している帯域を中心にしてコンプレッサ処理を施すようにしたり、ハウリングが発生している帯域の音声信号をミュートしたりするなど、種々の方法によりハウリングの発生を防止するように対処することが可能である。要は、発振条件を崩すようにする種々の方法を用いることが可能である。
また、上述した実施の形態においては、この発明をフィードバック方式のノイズキャンセリングシステム、フィードフォワード方式のノイズキャンセリングシステムに適用した場合を例にして説明した。しかし、これに限るものではない。
その他の方式のノイズキャンセリングシステム、例えば、適応フィルタ方式のノイズキャンセリングシステムにも、この発明を適用することができる。
また、ノイズキャンセリングシステムに限らず、マイクロホンからスピーカーまでが接続された音声信号系に対して、この発明を適用することができる。例えば、コンサートホールの音響システムや種々の視聴覚システムなどのいわゆる拡声音響系に対しても、この発明を適用することが可能である。
また、スピーカーの振動板の動きを検出して、これを入力信号に戻すようにする構成を有する「モーションフィードバックスピーカー(MFBスピーカー)」や、スピーカーからの放音音声をマイクロホンで集音して戻すようにする構成を有する「アコースティックフィードバックスピーカー(AFBスピーカー)」にも、この発明を適用することができる。
すなわち、この発明は、スピーカーが発する音や振動が、当該スピーカーの入力信号に帰還することにより、ハウリングを発生させる可能性のあるフィードバック構成を有することとなる種々の音響システムに適用することができる。
フィードバック方式のノイズキャンセリングシステムの概要を説明するための図である。 フィードバック方式のノイズキャンセリングシステムの特性を示す計算式を説明するための図である。 フィードバック方式のノイズキャンセリングシステムの全体構成を示す図である。 ハウリング検出/制御部17の構成例を説明するためのブロック図である。 ハウリングが発生しているか否かの判定の方法を説明するための図である。 ハウリング検出/制御部17の動作の具体例を説明するためのフローチャートである。 第2の実施の形態のノイズキャンセリングシステムを説明するためのブロック図である。 ハウリング検出/制御部18の構成例を説明するためのブロック図である。 ハウリング検出/制御部18において行われるハウリングが発生しているか否かの判定の方法を説明するための図である。 ハウリング検出/制御部18の動作の具体例を説明するためのフローチャートである。 フィードフォワード方式のノイズキャンセリングシステムの概要を説明するための図である。 フィードフォワード方式のノイズキャンセリングシステムの特性を示す計算式を説明するための図である。 フィードフォワード方式のノイズキャンセリングシステムの全体構成を示す図である。 フィードフォワード方式のノイズキャンセリングシステムの他の構成例を示す図である。
符号の説明
11…マイク及びマイクアンプ部、111…マイクロホン、112…マイクアンプ、12…FBフィルタ回路、13…合成部、14…パワーアンプ、15…ドライバ、151…ドライブ回路、152…スピーカー、16…イコライザ、17…ハウリング検出/正ぎぃ部、171…レベルチェック部、172(1)、172(2)、172(3)…BPF、173(1)、173(2)、173(3)…レベルチェック部、174…判定及び制御部、18…ハウリング検出/制御部、811…レベルチェック部、812(1)、812(2)、812(3)…BPF、813(1)、813(2)、813(3)…レベルチェック部、821…レベルチェック部、822(1)、822(2)、822(3)…BPF、823(1)、823(2)、823(3)…レベルチェック部、83…判定及び制御部、HP…ヘッドホン筐体、CP…キャンセルポイント

Claims (8)

  1. マイクロホンからスピーカーまでが接続された音声信号系のいずれかの位置から取得する音声信号の信号レベル検出する第1のレベル検出手段と、
    前記信号レベルが検出された前記音声信号から、予め決められる1つ以上の中心周波数毎に予め決められる帯域幅の帯域の信号を抽出する抽出手段と、
    前記抽出手段によって抽出された、各帯域の信号のそれぞれの信号レベルを検出する第2のレベル検出手段と、
    前記第1のレベル検出手段からの音声信号の信号レベルに応じて決まる閾値と、前記第2のレベル検出手段からの各帯域の信号のそれぞれの信号レベルの波形とに基づいて、ハウリングが発生しているか否かを検出する検出手段と
    を備えるハウリング検出装置。
  2. 請求項1に記載のハウリング検出装置であって、
    前記マイクロホンから前記スピーカーまでが接続された前記音声信号系のいずれかの位置に供給する外部音声信号の信号レベル検出する第3のレベル検出手段と、
    前記外部音声信号から、前記予め決められる1つ以上の中心周波数毎に前記予め決められる帯域幅の帯域の信号を抽出する第2の抽出手段と、
    前記第2の抽出手段によって抽出された、各帯域の信号のそれぞれの信号レベルを検出する第4のレベル検出手段と
    を備え、
    前記検出手段は、前記第3のレベル検出手段からの検出出力と、前記第4のレベル検出手段からの検出出力とを考慮して、ハウリングが発生しているか否かを検出するハウリング検出装置。
  3. 請求項1または請求項2に記載のハウリング検出装置であって、
    前記第1のレベル検出手段からの音声信号の信号レベルに応じて決まる前記閾値の最小値は、ゼロ(零)よりも大きな値となるように予め決められているハウリング検出装置。
  4. 請求項1、請求項2または請求項3に記載のハウリング検出装置であって、
    前記マイクロホンから前記スピーカーまでが接続された前記音声信号系のいずれかの位置において、音声信号のゲインと位相との一方または両方を調整する調整手段と、
    前記検出手段からの検出結果に基づいて、前記調整手段を制御する制御手段と
    を備えるハウリング検出装置。
  5. 請求項4に記載のハウリング検出手段であって、
    前記調整手段は、前記予め決められる1つ以上の中心周波数毎に予め決められる帯域幅毎の信号に対して調整を行うことができるものであり、
    前記制御手段は、ハウリングが発生している帯域の音声信号に対して調整を行うように、前記調整手段を制御するハウリング検出装置。
  6. マイクロホンからスピーカーまでが接続された音声信号系のいずれかの位置から取得する音声信号の信号レベル検出する第1のレベル検出工程と、
    前記信号レベルが検出された前記音声信号から、予め決められる1つ以上の中心周波数毎に予め決められる帯域幅の帯域の信号を抽出する抽出工程と、
    前記抽出工程において抽出した、各帯域の信号のそれぞれの信号レベルを検出する第2のレベル検出工程と、
    前記第1のレベル検出工程において検出した音声信号の信号レベルに応じて決まる閾値と、前記第2のレベル検出工程において検出した各帯域の信号のそれぞれの信号レベルの波形とに基づいて、ハウリングが発生しているか否かを検出する検出工程と
    を有するハウリング検出方法。
  7. 請求項6に記載のハウリング検出方法であって、
    前記マイクロホンから前記スピーカーまでを接続する前記音声信号系のいずれかの位置に供給するようにする外部音声信号の信号レベル検出する第3のレベル検出工程と、
    前記外部音声信号から、前記予め決められる1つ以上の中心周波数毎に前記予め決められる帯域幅の帯域の信号を抽出する第2の抽出工程と、
    前記第2の抽出工程において抽出した、各帯域の信号のそれぞれの信号レベルを検出する第4のレベル検出工程と
    を有し、
    前記検出工程においては、前記第3のレベル検出工程においての検出結果と、前記第4のレベル検出工程においての検出結果とを考慮して、ハウリングが発生しているか否かを検出するするハウリング検出方法。
  8. 請求項6または請求項7に記載のハウリング検出方法であって、
    前記第1のレベル検出工程において検出した音声信号の信号レベルに応じて決まる前記閾値の最小値は、ゼロ(零)よりも大きな値となるように予め決められているハウリング検出方法。
JP2008171937A 2008-07-01 2008-07-01 ハウリング検出装置およびハウリング検出方法 Expired - Fee Related JP4697267B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008171937A JP4697267B2 (ja) 2008-07-01 2008-07-01 ハウリング検出装置およびハウリング検出方法
CN200910149490.0A CN101621730B (zh) 2008-07-01 2009-06-25 用于检测声反馈的装置和方法
US12/493,441 US8428274B2 (en) 2008-07-01 2009-06-29 Apparatus and method for detecting acoustic feedback

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008171937A JP4697267B2 (ja) 2008-07-01 2008-07-01 ハウリング検出装置およびハウリング検出方法

Publications (2)

Publication Number Publication Date
JP2010016429A true JP2010016429A (ja) 2010-01-21
JP4697267B2 JP4697267B2 (ja) 2011-06-08

Family

ID=41464430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008171937A Expired - Fee Related JP4697267B2 (ja) 2008-07-01 2008-07-01 ハウリング検出装置およびハウリング検出方法

Country Status (3)

Country Link
US (1) US8428274B2 (ja)
JP (1) JP4697267B2 (ja)
CN (1) CN101621730B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012015885A (ja) * 2010-07-02 2012-01-19 Brother Ind Ltd 音声信号処理装置及び音声信号処理プログラム
JP2012103396A (ja) * 2010-11-09 2012-05-31 Yamaha Corp 楽器
WO2012096351A1 (ja) 2011-01-13 2012-07-19 Jx日鉱日石金属株式会社 Cu-Co-Si-Zr合金材及びその製造方法
JP2012527148A (ja) * 2009-05-11 2012-11-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオノイズのキャンセリング
JP2014503844A (ja) * 2010-12-03 2014-02-13 シラス ロジック、インコーポレイテッド パーソナルオーディオデバイスにおける適応ノイズキャンセラの監視制御
JP2015057873A (ja) * 2013-08-09 2015-03-26 株式会社シマダ製作所 ステレオ方式の補聴器
CN113676803A (zh) * 2020-05-14 2021-11-19 华为技术有限公司 一种主动降噪方法及装置

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102456375B (zh) 2010-10-28 2015-01-21 鸿富锦精密工业(深圳)有限公司 音频设备及音频信号的标识信息加载方法
TWI408676B (zh) * 2010-11-01 2013-09-11 Hon Hai Prec Ind Co Ltd 音訊設備及音訊訊號的標識資訊載入方法
US8908877B2 (en) 2010-12-03 2014-12-09 Cirrus Logic, Inc. Ear-coupling detection and adjustment of adaptive response in noise-canceling in personal audio devices
US8958571B2 (en) 2011-06-03 2015-02-17 Cirrus Logic, Inc. MIC covering detection in personal audio devices
US9318094B2 (en) 2011-06-03 2016-04-19 Cirrus Logic, Inc. Adaptive noise canceling architecture for a personal audio device
US8948407B2 (en) 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US9824677B2 (en) 2011-06-03 2017-11-21 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
CN103002392B (zh) * 2011-09-13 2015-04-29 联想(北京)有限公司 处理啸叫的方法及智能设备
US9325821B1 (en) 2011-09-30 2016-04-26 Cirrus Logic, Inc. Sidetone management in an adaptive noise canceling (ANC) system including secondary path modeling
CN103137134B (zh) 2011-11-28 2015-03-11 鸿富锦精密工业(深圳)有限公司 音频设备及音频信号的水印信息加载方法
JP6069829B2 (ja) * 2011-12-08 2017-02-01 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
US9123321B2 (en) 2012-05-10 2015-09-01 Cirrus Logic, Inc. Sequenced adaptation of anti-noise generator response and secondary path response in an adaptive noise canceling system
US9318090B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Downlink tone detection and adaptation of a secondary path response model in an adaptive noise canceling system
US9319781B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Frequency and direction-dependent ambient sound handling in personal audio devices having adaptive noise cancellation (ANC)
US9532139B1 (en) 2012-09-14 2016-12-27 Cirrus Logic, Inc. Dual-microphone frequency amplitude response self-calibration
US9749021B2 (en) 2012-12-18 2017-08-29 Motorola Solutions, Inc. Method and apparatus for mitigating feedback in a digital radio receiver
US9369798B1 (en) 2013-03-12 2016-06-14 Cirrus Logic, Inc. Internal dynamic range control in an adaptive noise cancellation (ANC) system
US9414150B2 (en) 2013-03-14 2016-08-09 Cirrus Logic, Inc. Low-latency multi-driver adaptive noise canceling (ANC) system for a personal audio device
US9502020B1 (en) 2013-03-15 2016-11-22 Cirrus Logic, Inc. Robust adaptive noise canceling (ANC) in a personal audio device
US9578432B1 (en) 2013-04-24 2017-02-21 Cirrus Logic, Inc. Metric and tool to evaluate secondary path design in adaptive noise cancellation systems
CN103743466A (zh) * 2013-12-23 2014-04-23 广西科技大学 一种用于测量声压值的传声器
US9369557B2 (en) 2014-03-05 2016-06-14 Cirrus Logic, Inc. Frequency-dependent sidetone calibration
JP6258089B2 (ja) * 2014-03-18 2018-01-10 株式会社東芝 スピーカシステム
US9319784B2 (en) 2014-04-14 2016-04-19 Cirrus Logic, Inc. Frequency-shaped noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices
US10070219B2 (en) 2014-12-24 2018-09-04 Hytera Communications Corporation Limited Sound feedback detection method and device
CN105120403B (zh) * 2015-06-26 2018-08-17 努比亚技术有限公司 一种降噪系统和方法
KR20180044324A (ko) 2015-08-20 2018-05-02 시러스 로직 인터내셔널 세미컨덕터 리미티드 피드백 적응적 잡음 소거(anc) 제어기 및 고정 응답 필터에 의해 부분적으로 제공되는 피드백 응답을 갖는 방법
US9728179B2 (en) 2015-10-16 2017-08-08 Avnera Corporation Calibration and stabilization of an active noise cancelation system
CN108093356B (zh) * 2016-11-23 2020-10-23 杭州萤石网络有限公司 一种啸叫检测方法及装置
US10283106B1 (en) * 2018-03-28 2019-05-07 Cirrus Logic, Inc. Noise suppression
US10885896B2 (en) * 2018-05-18 2021-01-05 Bose Corporation Real-time detection of feedforward instability
US10313790B1 (en) * 2018-08-14 2019-06-04 Cirrus Logic, Inc. Polymorphic playback system with switching oscillation prevention
JP7467422B2 (ja) 2018-09-07 2024-04-15 ドルビー ラボラトリーズ ライセンシング コーポレイション メディア補償パススルーデバイスにおける動的環境オーバレイ不安定性の検出と抑制
CN109246543B (zh) * 2018-09-17 2020-06-02 歌尔股份有限公司 一种扬声器音频信号的调节方法、调节装置及低音音箱
US11651759B2 (en) * 2019-05-28 2023-05-16 Bose Corporation Gain adjustment in ANR system with multiple feedforward microphones
US11206003B2 (en) * 2019-07-18 2021-12-21 Samsung Electronics Co., Ltd. Personalized headphone equalization
CN112004177B (zh) * 2020-09-03 2021-08-31 重庆瑞可利科技有限公司 一种啸叫检测方法、麦克风音量调节方法及存储介质
CN113347527A (zh) * 2021-07-19 2021-09-03 北京安声浩朗科技有限公司 声学路径的确定方法、装置、可读存储介质及电子设备
US20230139105A1 (en) * 2021-11-02 2023-05-04 Lightspeed Aviation, Inc. Circumaural ear cushion/seal

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07147700A (ja) * 1993-11-24 1995-06-06 Nippon Telegr & Teleph Corp <Ntt> ハウリング検出装置およびこれを適用する適応型イコライザ
JPH10145888A (ja) * 1996-11-13 1998-05-29 Yamaha Corp ハウリング検出防止回路及びそれを用いた拡声装置
JP2003032780A (ja) * 2001-07-16 2003-01-31 Matsushita Electric Ind Co Ltd ハウリング検出抑圧装置、これを備えた音響装置、及び、ハウリング検出抑圧方法
JP2003274480A (ja) * 2002-03-12 2003-09-26 Matsushita Electric Ind Co Ltd ハウリング制御装置
JP2005236713A (ja) * 2004-02-20 2005-09-02 Matsushita Electric Ind Co Ltd ハウリング検出方法及び装置、並びにこれを備えた音響装置
JP2006121188A (ja) * 2004-10-19 2006-05-11 Matsushita Electric Ind Co Ltd ハウリング抑圧装置
JP2006197407A (ja) * 2005-01-14 2006-07-27 Yamaha Corp 拡声システム
JP2006287849A (ja) * 2005-04-05 2006-10-19 Roland Corp ハウリング防止装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05210391A (ja) 1991-03-22 1993-08-20 Nishiwaki Kenkyusho:Kk 消音装置
JPH05236588A (ja) 1992-02-21 1993-09-10 Matsushita Electric Ind Co Ltd ハウリング抑制装置
JPH08193876A (ja) 1995-01-19 1996-07-30 Sony Corp ハウリング周波数検出装置及び方法
US6317703B1 (en) * 1996-11-12 2001-11-13 International Business Machines Corporation Separation of a mixture of acoustic sources into its components
US20020071573A1 (en) * 1997-09-11 2002-06-13 Finn Brian M. DVE system with customized equalization
DE19904538C1 (de) * 1999-02-04 2000-07-13 Siemens Audiologische Technik Verfahren zur Rückkopplungserkennung in einem Hörgerät und Hörgerät
JP4224892B2 (ja) * 1999-05-19 2009-02-18 パナソニック株式会社 スピーカ装置
JP4356271B2 (ja) * 2001-08-07 2009-11-04 ソニー株式会社 音声信号再生装置
JP2004032387A (ja) 2002-06-26 2004-01-29 Matsushita Electric Ind Co Ltd ハウリング制御装置及び補聴器
EP1684543A1 (de) * 2005-01-19 2006-07-26 Success Chip Ltd. Verfahren zum Unterdrücken von elektroakustischer Rückkopplung
US7664275B2 (en) * 2005-07-22 2010-02-16 Gables Engineering, Inc. Acoustic feedback cancellation system
JP4887060B2 (ja) 2006-03-07 2012-02-29 シャープ株式会社 騒音キャンセルヘッドフォン

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07147700A (ja) * 1993-11-24 1995-06-06 Nippon Telegr & Teleph Corp <Ntt> ハウリング検出装置およびこれを適用する適応型イコライザ
JPH10145888A (ja) * 1996-11-13 1998-05-29 Yamaha Corp ハウリング検出防止回路及びそれを用いた拡声装置
JP2003032780A (ja) * 2001-07-16 2003-01-31 Matsushita Electric Ind Co Ltd ハウリング検出抑圧装置、これを備えた音響装置、及び、ハウリング検出抑圧方法
JP2003274480A (ja) * 2002-03-12 2003-09-26 Matsushita Electric Ind Co Ltd ハウリング制御装置
JP2005236713A (ja) * 2004-02-20 2005-09-02 Matsushita Electric Ind Co Ltd ハウリング検出方法及び装置、並びにこれを備えた音響装置
JP2006121188A (ja) * 2004-10-19 2006-05-11 Matsushita Electric Ind Co Ltd ハウリング抑圧装置
JP2006197407A (ja) * 2005-01-14 2006-07-27 Yamaha Corp 拡声システム
JP2006287849A (ja) * 2005-04-05 2006-10-19 Roland Corp ハウリング防止装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012527148A (ja) * 2009-05-11 2012-11-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオノイズのキャンセリング
US9165549B2 (en) 2009-05-11 2015-10-20 Koninklijke Philips N.V. Audio noise cancelling
JP2012015885A (ja) * 2010-07-02 2012-01-19 Brother Ind Ltd 音声信号処理装置及び音声信号処理プログラム
JP2012103396A (ja) * 2010-11-09 2012-05-31 Yamaha Corp 楽器
JP2014503844A (ja) * 2010-12-03 2014-02-13 シラス ロジック、インコーポレイテッド パーソナルオーディオデバイスにおける適応ノイズキャンセラの監視制御
WO2012096351A1 (ja) 2011-01-13 2012-07-19 Jx日鉱日石金属株式会社 Cu-Co-Si-Zr合金材及びその製造方法
JP2015057873A (ja) * 2013-08-09 2015-03-26 株式会社シマダ製作所 ステレオ方式の補聴器
CN113676803A (zh) * 2020-05-14 2021-11-19 华为技术有限公司 一种主动降噪方法及装置
CN113676803B (zh) * 2020-05-14 2023-03-10 华为技术有限公司 一种主动降噪方法及装置

Also Published As

Publication number Publication date
CN101621730B (zh) 2013-05-22
US8428274B2 (en) 2013-04-23
CN101621730A (zh) 2010-01-06
US20100002891A1 (en) 2010-01-07
JP4697267B2 (ja) 2011-06-08

Similar Documents

Publication Publication Date Title
JP4697267B2 (ja) ハウリング検出装置およびハウリング検出方法
US10325587B2 (en) Noise reducing device, noise reducing method, noise reducing program, and noise reducing audio outputting device
JP4530051B2 (ja) 音声信号送受信装置
US8422691B2 (en) Audio outputting device, audio outputting method, noise reducing device, noise reducing method, program for noise reduction processing, noise reducing audio outputting device, and noise reducing audio outputting method
JP4767166B2 (ja) ハウリング抑圧装置、プログラム、集積回路、およびハウリング抑圧方法
JP5063528B2 (ja) ノイズキャンセルシステム
EP2999234B1 (en) Squeal suppression method and device for active noise removal (anr) earphone
EP2736271B1 (en) A method of controlling an update algorithm of an adaptive feedback estimation system and a de-correlation unit
JPWO2005125273A1 (ja) ハウリング検出装置およびその方法
CN103037289A (zh) 扬声器输出的控制
JPWO2010089976A1 (ja) 補聴器
EP4264595A1 (en) Ambient detector for dual mode anc
WO2020193315A1 (en) Audio system and signal processing method for an ear mountable playback device
US11627414B2 (en) Microphone system
WO2012098856A1 (ja) 補聴器、及び、補聴器の制御方法
JP4941579B2 (ja) 音声信号送受信装置
JP5470729B2 (ja) 信号処理装置、信号処理方法
CN113994423A (zh) 用于耳戴式播放设备的语音活动检测的音频系统和信号处理方法
CN112236814A (zh) 前馈不稳定性的实时检测
US11849284B2 (en) Feedback control using a correlation measure
US11696065B2 (en) Adaptive active noise cancellation based on movement
JP5515538B2 (ja) ハウリング防止装置
JP2010178224A (ja) 補聴装置
JP4903665B2 (ja) ハウリングの防止装置、ハウリング防止プログラム、及びこのプログラムを記録した記録媒体
JP2008034928A (ja) 音声入出力装置及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110214

R151 Written notification of patent or utility model registration

Ref document number: 4697267

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees