JP2014507894A - ノイズキャンセリングシステム及び方法、知能制御方法及び装置、並びに通信機器 - Google Patents

ノイズキャンセリングシステム及び方法、知能制御方法及び装置、並びに通信機器 Download PDF

Info

Publication number
JP2014507894A
JP2014507894A JP2013552087A JP2013552087A JP2014507894A JP 2014507894 A JP2014507894 A JP 2014507894A JP 2013552087 A JP2013552087 A JP 2013552087A JP 2013552087 A JP2013552087 A JP 2013552087A JP 2014507894 A JP2014507894 A JP 2014507894A
Authority
JP
Japan
Prior art keywords
signal
noise
noise reduction
reduction performance
performance curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013552087A
Other languages
English (en)
Other versions
JP5568694B2 (ja
Inventor
▲劉▼▲嵩▼
▲趙▼▲剣▼
楼厦厦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Publication of JP2014507894A publication Critical patent/JP2014507894A/ja
Application granted granted Critical
Publication of JP5568694B2 publication Critical patent/JP5568694B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06Receivers
    • H04B1/10Means associated with receiver for limiting or suppressing noise or interference
    • H04B1/12Neutralising, balancing, or compensation arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/05Noise reduction with a separate noise microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Telephone Function (AREA)
  • Headphones And Earphones (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本発明は、ノイズキャンセリングシステム及び方法、知能制御方法及び装置、通信機器が開示している。前記知能制御方法は、通信機器の受話端に音声信号出力がないことを検出した場合、耳から離れた場所に位置する参照マイクからの外部ノイズ信号及び耳に近接した場所に位置するモニタリングマイクからのモニタリング信号を受信するステップと、受信された外部ノイズ信号とモニタリング信号に対して性能分析を行うことにより、フィードフォワードアクティブノイズキャンセリング処理後のノイズ低減性能曲線を推定するステップと、当該ノイズ低減性能曲線と予め設定されたノイズ低減性能曲線に基づき、フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータを調整することにより、推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線との差が所定の範囲内に収まるようにするステップとを含む。本発明によれば、通信機器におけるノイズ低減安定性を確実に向上させ、通信機器の使用中において耳との結合の差異によるノイズ低減性能の不一致性を避けることができる。
【選択図】図10

Description

本発明は、通信機器の受話端のノイズキャンセリング技術分野に関し、より具体的に、非密閉型フィードフォワードアクティブノイズキャンセリングシステム、非密閉型アクティブノイズキャンセリング方法、非密閉型フィードフォワードアクティブノイズキャンセリングに用いられる知能制御方法及び装置、並びに上記非密閉型フィードフォワードアクティブノイズキャンセリングシステムを有する通信機器に関する。
社会情報化の向上により人々はいつ、どこでも通信及び交流を行うことができ、様々な通信機器(携帯電話機、ブルートゥースイヤホン、ステレオイヤホン等)と技術の広い普及により、人々の生活が非常に便利となるとともに、作業効率も向上している。しかしながら、社会の発展に伴って発生した厳しい問題としてノイズ問題があり、ノイズ環境で通信を行うと、通信音声の明晰度と了解度に多大に影響し、ノイズがある程度高くなると、通信自体を行うことができないだけでなく、人の聴力や身心健康を損害することもある。
強ノイズ背景で通信を行う問題に対して、従来より、以下の2つの面から音声増強及びノイズ低減処理を行っている。ひとつは、通信機器の送話端に音響信号処理技術を用いてマイクでピックアップされた音声信号のSN比(Signal to Noise ratio)を向上させることにより、遠端ユーザが近端ユーザの音声をはっきり聞き取ることができる技術であり、もう一つは、通信機器の受話端で受話端のSN比を向上させることにより、遠端ユーザから送られてきた音声信号を近端ユーザがはっきり聞き取ることができる技術である。
しかしながら、通信機器の受話端のSN比を向上させることは、本分野において技術的難点である。従来の技術によると、通信機器の受話端のSN比を向上させるための方法として下記2つがある。
その一の方法としては、自動音量制御技術(中国発明特許出願公開CN1507293A参照)を用いることであり、当該方法では、外部ノイズが高い場合、スピーカユニットの出力パワーを自動に上げる。これは、パッシブノイズ低減処理方法であり、かつスピーカユニット自体のパワー及び耳に導入される音圧に対する業界標準の制限により、スピーカユニットの音量は無制限に上げることができない。また、スピーカから発した高強度の音声が使用者自身の聴力や身心健康に損害を与える。そのため、このようなノイズ低減処理方法の音声増強能力は限定的である。
他方の方法として、従来のアクティブ/パッシブを組合せたノイズ制御技術(中国発明特許出願公開CN101432798A、CN101001481A参照)を密閉型イヤホンに適用することである。このような密閉型イヤホンは、ヘッドホンタイプと耳栓型イヤホンタイプとの二種に分けられ、密閉型イヤホンは、通常耳と密閉的に結合される構造及び材料を採用する。このような密閉型イヤホンでは、材料の音吸収と遮音により中、高周波ノイズを低減し、かつアクティブノイズ制御技術により低周波(主に500Hz以下)ノイズを有効に低減することにより、全周波数帯域において外部ノイズに対し良好なキャンセリングを実現することで、通信イヤホンの受話端のSN比を有効に向上させている。しかし、密閉型のイヤホンを長時間にわたって装着すると、使用者に耳道の内外気圧の不均衡感を与えることがある。装着の際の快適性不足は、このような構造のアクティブノイズ低減技術が通信機器に広く普及できない要因である。
非密閉型構造を有する通信機器(携帯電話機、ブルートゥースイヤホン、ステレオイヤホン等)において、フィードフォワードアクティブノイズキャンセリング技術を実現し通信機器の受話端のSN比を向上させることは、切実に要望され、かつ努力を要する課題である。
図1は、従来における、非密閉型フィードフォワードアクティブノイズ制御技術を用いて通信機器の受話端でノイズキャンセリングを行う概略図である。図1に示すように、フィードフォワードアクティブノイズ制御システムの実現は、外部ノイズが先ず全てマイクに伝播して次に耳に伝播するという仮設に基づくものであり、ノイズがマイク102に伝播した際、その伝播経路は2つの経路に分けられ、図1の実線に示すように、一方の経路は、図1に示す音響経路Pに沿って自由空間で耳に伝播する経路で、そのPは外部ノイズがマイクの位置から耳の位置に伝播される音響伝達関数である。他方の経路は、電子回線上での伝播であり、図1に示すようなマイク102からスピーカ104を経由して耳に伝播する、アンチノイズを生成する伝播ルートであり、図1の破線に示すように、HとGとの直列として示され、そのHは、アクティブノイズ低減回路の周波数応答であり、Gはスピーカから耳までの伝達関数であり、この経路を二次経路と称する。ノイズ低減の周波数帯域上にP=−GH、即ち、PとGHの振幅が同じで位相がちょうど逆になるように設計するとすれば、2つの経路を介して伝播されてきた元のノイズとアンチノイズは、耳で互いに重なって相殺され、それによってノイズ低減の目的を実現する。
ノイズ低減周波数帯域上で音響伝達関数P、アクティブノイズ低減回路の周波数応答H及びスピーカから耳の場所までの伝達関数GをどのようにP=−GHと設計するかについて、現在、通常スピーカ単体の前、後チャンバーを設計処理することにより実現している。例えば、音響伝達関数P、周波数応答H及び伝達関数GをちょうどP=−GHになるよう前後チャンバーの大きさと孔の寸法を調整しスピーカユニットの伝達関数Gを改善する。これにより一回のノイズキャンセリング処理後にノイズを完全にキャンセリングすることができる。
非密閉型フィードフォワードノイズキャンセリングを用いる通信システムにおいて、実現上最大な問題は、音響経路Pと二次経路Gが通信機器と耳との結合状態によって変化することである。回路部分の周波数応答Hが一定である場合、人によって、又は同一人でもその使用の度に生じるノイズ低減性能は異なり、ノイズ低減性能がよい場合、ノイズ低減性能が低下する場合、さらにはノイズ低減効果を全く感じない場合もある。
中国発明特許出願公開CN101432798Aには、イヤホン構造を変更することにより装着の快適性及びノイズ低減の一致性を実現する技術が提案されている。当該技術では、イヤホンと耳の部分との結合方式を変更することにより装着の快適性及びノイズ低減の一致性を実現する。図2aには、非密閉型通信イヤホンの耳入れ部分の実現可能な構造を示し、当該構造では、耳入れ部分は、比較的に小さいノズル部を用いて耳道内に深く挿入する。ノズル部が耳道中に深く入ってスピーカから耳までの空間伝送経路が短くなることにより、異なる人の装着時の音響伝達関数をなるべく一致させる。図2bには、イヤホン構造を変更した他の技術が示されている。図2bに示す音響構造では、イヤホンの耳入れ部分の上下にそれぞれ一つの音透過溝を設けることにより、装着の密着程度の違い、またはイヤホンが異なる大きさの耳介と結合する際にも、一定の音声漏れの存在を確保する。これにより、図2bのような構造は、装着の快適性を確保できるだけでなく、異なる人の装着時の伝達関数PとGの一致性もよく確保することができる。しかし、上記図2a及び図2bの技術は、主にイヤホンの構造変更によりノイズ低減性能の一致性を実現しており、このような構造上の変更は改善効果はあるものの、非密閉型フィードフォワードノイズ低減技術を通信機器に適用する際のノイズ低減性能が不一致な問題を根本的に解決することはできない。
全ての類型の通信機器に対してノイズ低減性能の一致を実現できるように、現在、主にDSP(デジタル信号処理)を用いて適応アクティブノイズキャンセリングを行っているが、このような技術を携帯電話機、非密閉型ブルートゥース、ステレオイヤホン等の通信機器に適用しようとする場合、下記の二つの限界が存在している。一方、フィードフォワード適応ノイズキャンセリングアルゴリズムは、FX−LMSアルゴリズムを用いるが、これには二次経路Gを認識してG^を取得する必要があり、二次経路の認識誤差はシステムの安定性に直接影響を与え、上記のような非密閉型通信システムは使用過程において二次経路G自体が大きく変化するので、アルゴリズムの安定性を確保することが難しい。他方、携帯電話機、非密閉型ブルートゥース、ステレオイヤホン等の通信機器において、通信機器自体のサイズ制限のため、その音響経路Pの遅延が非常に小さく、DSPを用いて適応ノイズキャンセリングを行うと、システムのサンプリング頻度に対する要求が非常に高く、システムパワー及びノイズ低減周波数帯域は大きく制限される。
上記問題に鑑み、本発明は、非密閉型フィードフォワードアクティブノイズキャンセリングに対する知能制御方法及びシステムを提供することを目的とし、より具体的に、耳に装着された通信機器の受話端に知能制御方法を適用した非密閉型フィードフォワードアクティブノイズキャンセリング技術に関するものであり、当該技術では、通信機器の耳に近接した場所にモニタリングマイクを取り付けることにより現在の結合状態におけるノイズ低減性能を推定し、知能フィードバック制御技術を用いてフィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータを調整することにより、耳における外部環境ノイズを有効に低減させ、ノイズ低減性能を最適化することで、通信機器の受話端において非密閉型フィードフォワードアクティブノイズキャンセリング技術を有効に実現させ、通信機器の受話端のSN比を向上させ、受話端の音声増強機能を実現する。
本発明の一実施形態によれば、通信機器の受話端に音声信号出力がないことを検出した場合、耳から離れた場所に位置する参照マイクからの外部ノイズ信号及び耳に近接した場所に位置するモニタリングマイクからのモニタリング信号を受信するステップと、受信された前記外部ノイズ信号及び前記モニタリング信号に対して性能分析を行うことにより、フィードフォワードアクティブノイズキャンセリング処理後のノイズ低減性能曲線を推定するステップと、前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線に基づき、前記フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータを調整することにより、前記推定されたノイズ低減性能曲線と前記予め設定されたノイズ低減性能曲線との差が所定の範囲内に収まるようにするステップとを含む、非密閉型フィードフォワードアクティブノイズキャンセリングに用いられる知能制御方法を提供する。
また、一つ又は複数の実施例では、前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線に基づき、前記フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータを調整するステップは、前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線とを比較することにより、前記制御回路パラメータの調整方向を確定するステップと、確定された調整方向に基づき、前記制御回路パラメータを調整するステップとを含み、その中、前記制御回路パラメータの調整過程ではフィードバック制御を用い、一回調整毎に、改めて前記推定されたノイズ低減性能曲線が前記予め設定されたノイズ低減性能曲線にさらに近づくか否かを比較し、さらに近づく場合は前記調整方向を維持し、そうでない場合は前記調整方向を逆転させ、前記推定されたノイズ低減性能曲線と前記予め設定されたノイズ低減性能曲線との差が前記所定の範囲内に収まるまで調整する。
本発明の一実施形態によれば、耳から離れた場所の外部ノイズ信号をピックアップするステップと、ピックアップされた外部ノイズ信号に対してフィードフォワードアクティブノイズキャンセリング処理を行うことにより、前記外部ノイズ信号を相殺するためのアンチノイズ信号を生成するステップと、生成されたアンチノイズ信号と通信機器の受話端で受信された音声信号とを混合するステップと、混合後の信号を耳に導入することにより、自由空間から耳に入った外部ノイズ信号を相殺するステップとを含み、前記通信機器の受話端に音声信号出力がない場合、前記フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータは、上記知能制御方法に従って調整される、非密閉型フィードフォワードアクティブノイズキャンセリング方法を提供する。
また、本発明の一実施形態によれば、通信機器の受話端に音声信号出力が存在するか否かを検出する検出手段と、前記受話端に音声信号出力がないことを検出した場合、耳から離れた場所の参照マイクからの外部ノイズ信号及び耳に近接した場所のモニタリングマイクからのモニタリング信号を受信する受信手段と、受信された外部ノイズ信号及び前記モニタリング信号に対して性能分析を行うことにより、前記フィードフォワードアクティブノイズキャンセリング処理におけるノイズ低減性能曲線を推定するノイズ低減性能推定手段と、前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線に基づき前記フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータを調整することにより、前記推定されたノイズ低減性能曲線と前記予め設定されたノイズ低減性能曲線との差が所定の範囲内に収まるようにする第1の調整手段とを含む、非密閉型フィードフォワードアクティブノイズキャンセリングに用いられる知能制御装置を提供する。
さらに、本発明の一実施形態によれば、耳から離れた場所における外部ノイズ信号をピックアップする参照マイクと、前記外部ノイズ信号に対してフィードフォワードアクティブノイズキャンセリング処理を行うことにより、前記外部ノイズ信号を相殺するためのアンチノイズ信号を生成するアンチノイズ信号生成手段と、前記アンチノイズ信号と前記通信機器の受話端で受信された音声信号とを混合する信号混合手段と、混合された信号を耳に導入する導入手段と、自由空間から耳に入った外部ノイズ信号と前記導入手段の出力信号とが耳で重なって得られた信号である、耳に近接した場所のモニタリング信号をピックアップするモニタリングマイクと、前記受話端に音声信号出力がない場合、前記アンチノイズ信号生成手段のフィードフォワードアクティブノイズキャンセリング処理を行う制御回路パラメータを調整する知能制御装置とを含む、非密閉型フィードフォワードアクティブノイズキャンセリングシステムを提供する。
また、本発明の一実施形態によれば、さらに上記の非密閉型フィードフォワードアクティブノイズキャンセリングシステムを含む通信機器を提供する。
上記本発明に係る非密閉型フィードフォワードアクティブノイズキャンセリングシステム及びその知能制御方法及び装置は、通信機器の耳に近接した場所にモニタリングマイクを取り付けることにより現在の結合状態におけるノイズ低減性能を推定し、且つ非密閉型フィードフォワードアクティブノイズキャンセリングシステムに知能制御モジュールを設けることにより、通信機器と耳の結合具合に寄らずノイズ低減性能の一致性を確保することが可能である。
本発明によれば、非密閉型構造を用いて耳と結合することにより装着の快適性を確保するとともに、通信機器において知能制御のフィードフォワードアクティブノイズキャンセリング技術を実現し、非密閉型フィードフォワードアクティブノイズキャンセリング技術を通信機器に適用する際の安定性を有効に向上させ、通信機器の使用過程において耳との結合の差異によるノイズ低減性能の不一致性を避け、通信機器の受話端で非密閉型アクティブノイズキャンセリング機能を実現し,受話端における音声の明晰度と了解度を著しく改善することができる。
上記及び関連の目的を実現するために、本発明の一つ又は複数の実施形態は詳細に後述する特許請求の範囲において特に指摘した特徴を含む。以下の説明及び図面では、本発明の幾つかの例示の形態を詳細に説明する。しかしながら、これら形態で提示されるのは、本発明の原理を使用可能な各種の形態のうち一部の形態に過ぎない。また、本発明は、これら形態及びそれらの同等物を全て含む。
以下の図面を組合せた説明及び特許請求の範囲の内容により、本発明のその他の目的及び結果をより明確に理解することができる。
図1は、従来の、非密閉型フィードフォワードアクティブノイズ制御技術を用い通信機器の受話端でノイズキャンセリングを行う概略図である。 図2a及び2bは、非密閉型通信イヤホンの耳入れ部分の構造を示す概略図である。 図3は、本発明を用いてノイズキャンセリングの知能制御を行う原理概略図である。 図4a、図4b、図4c及び図4dは、それぞれ本発明に適用される通信機器の例を示す図である。 図5は、従来のフィードフォワードアクティブノイズ制御技術を用いる際使用者によって違うノイズ低減効果を示す概略図である。 図6は、本発明の実施例に係る非密閉型フィードフォワードアクティブノイズキャンセリングシステムの例を示す概略ブロック図である。 図7は、図6における知能制御装置を示す概略ブロック図である。 図8は、本発明に係る非密閉型フィードフォワードアクティブノイズキャンセリングシステムを有する通信機器を示す概略ブロック図である。 図9は、本発明の実施例に係る非密閉型フィードフォワードアクティブノイズキャンセリングに用いられるノイズキャンセリング方法のフローチャートである。 図10は、本発明の実施例に係る非密閉型フィードフォワードアクティブノイズキャンセリングに用いられる知能制御方法のフローチャートである。 図11は、本発明の実施例を用いる理想的なノイズ低減性能曲線と実際のノイズ低減性能曲線の比較概略図である。 図12は、本発明により提供される知能制御を用いた後に異なる使用者のノイズ低減効果の比較概略図である。
全ての図面では、同一の符号は、相似又は対応する特徴又は機能を示す。
以下、図面を参照しながら本発明の技術手段と具体的な実施例を詳細に説明する。
本発明により提供された、通信機器で非密閉型フィードフォワードアクティブノイズキャンセリングを行うためのシステム、その知能制御方法及び装置は、ノイズ環境で通信機器の受話端に適用されるノイズ低減知能制御技術であり、その実現方法は、非密閉型フィードフォワードノイズキャンセリングシステムに参照マイクとモニタリングマイクに基づく知能制御技術を用いることにより、非密閉型フィードフォワードノイズキャンセリング技術を通信機器に適用する際に存在する、結合の違いによるノイズ低減性能の不一致問題を解決することである。
通信機器の受話端に非密閉型構造を用いているが、耳栓型構造の受話端に比べ、このような非密閉型の受話端は、装着の快適性を長時間保つことができる。非密閉型通信機器にフィードフォワードアクティブノイズキャンセリング技術を用いることで受話端のSN比を向上する方法は、図1に示すように、耳介外部に置かれた参照マイク102によってピックアップされた外部参考ノイズ信号を、回路Hで増幅、位相反転及び位相補償を行って、元の外部ノイズ信号を相殺するためのアンチノイズ信号を生成するが、理想状態では、アンチノイズ信号は元の外部ノイズ信号と振幅が同じで位相が逆であり、アンチノイズ信号と入力された音声信号が回路で重ね、重なった混合信号が直接スピーカ104から生成され耳に導入される。スピーカ104を介して耳に導入される信号は、アンチノイズ信号と音声信号を含み、アンチノイズ信号と空間から耳に伝播された元のノイズ信号とは振幅が同じで位相が逆であるので互いに相殺されるが、音声信号の振幅は変わっていない。このようなアクティブノイズキャンセリング方法により、ノイズ信号は大きく低減され、且つ音声が不変なので、通信機器の受話端のSN比を有効に向上することができる。
図3は、本発明に係る非密閉型フィードフォワードアクティブノイズキャンセリングの知能制御装置を通信機器の受話端に用いてノイズキャンセリングの知能制御を行う原理概略図である。
図3に示すように、従来のフィードフォワードアクティブノイズ制御技術を用いて通信機器の受話端でノイズキャンセリングを行うために用いられるハードウェアに対して、本発明の知能制御システムは、通信機器の耳に近接した場所にマイクを増設するが、これを本明細書ではモニタリングマイク122と称する。モニタリングマイク122の位置する場所の音圧は、耳における音圧を代表する。知能制御を行う時に、参照マイク112とモニタリングマイク122でピックアップされた信号は、ともに知能制御装置に入力される。本発明の一実施例では、当該知能制御装置はDSP(デジタル信号処理)モジュールにより実現されえる。本発明の他の実施例では、当該知能制御装置は他のデジタル信号処理能力を有するモジュールにより実現されてもよい。
本発明では、アクティブノイズキャンセリングを使用しない場合、遠距離低周波ノイズの、参照マイク112とモニタリングマイク122に達するエネルギは相同である。アクティブノイズキャンセリングを使用した場合、参照マイク112でピックアップされたノイズエネルギが不変であるが、モニタリングマイク122におけるエネルギは、ノイズが音響経路Pに沿って物理空間で耳に伝播されたエネルギと、H、G電子伝播経路により形成されたアンチノイズのエネルギとを重ねたものであり、アンチノイズエネルギが加わることにより、参照マイクにおけるノイズエネルギと比べ、モニタリングマイク122におけるエネルギが低減されており、参照マイク112とモニタリングマイク122における特定の周波数帯域のエネルギの差を比較することにより、アクティブノイズキャンセリングの効果が予期の効果に達しているか否かを判断することができ、予期効果に達していない場合は、知能制御装置(例えば、DSPモジュール)は知能制御信号を出力して回路Hのパラメータを調節し、その後、再度アクティブノイズキャンセリング効果を判断することを繰り返す。最終のアクティブノイズキャンセリング効果を予期したノイズ低減効果に到達するまで知能フィードバック制御を行うことにより、通信機器と耳との結合の違いによるノイズ低減効果の不一致問題を解消する。ここで、調整された回路Hのパラメータ(つまり、フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータ)は、通常、ゲイン係数と位相調整パラメータとを含む。それに対応して、ここでの回路Hは、増幅手段及び位相調整手段を含み、参照マイクでピックアップされた外部ノイズ信号を、当該参考ノイズ信号を相殺可能なアンチノイズ信号に変換することを目的とする。最適には、当該アンチノイズ信号の振幅と外部ノイズ信号の振幅が同じで、位相が逆である。この場合、耳におけるノイズを全部キャンセリングすることができる。また、ここでいう位相調整手段は、位相補償器を含むことができる。別の例では、前記位相調整手段はインバータと位相補償器を含んでもよい。
図4a、図4b、図4c及び図4dは、それぞれ本発明に適用される通信機器の例を示す図であり、図4aは携帯電話機、図4bはブルートゥースイヤホン、図4cはステレオ挿入イヤホン、図4dはステレオヘッドホンである。
図4a、図4b、図4c及び図4dに示すように、参照マイク112は通常通信機器の受話端のスピーカ312から所定の距離離間する場所に設置され、モニタリングマイク122は受話端のスピーカ312の信号出力位置に設置され、応用の際、参考スピーカ112は使用者の耳介外部に位置し、モニタリングマイク122は使用者の耳介中に位置する。
図4a、図4b、図4c及び図4dに示すような非密閉型通信機器に適用する時、使用者によって使用習慣及び耳構造自体に大きい差異が存在するため、異なる人又は同一の人が異なる時期でその音響経路Pと二次経路Gを使用する際大きい差異が存在することは避けられない。そのため、相対的に一致する理想的なノイズ低減効果を実現するためには、アンチノイズ回路Hに対する要求も異なる。
図5は、従来のフィードフォワードアクティブノイズ制御技術を用いる時に異なる使用者が同一の回路Hにて達しえるノイズ低減効果を示す。図5から分かるように、同一の回路Hを用いた際、異なる三人の使用者のノイズ低減性能に非常に大きい差異を現れ、ノイズ低減の一致性を保証することが難しい。
異なる使用者、または同一の使用者が通信機器を使用する度に、回路Hに対する要求は不可避的に多少差異が存在しているので、同一の回路Hを用いてはノイズ低減性能の一致性を保証し難いので、異なるユーザでも同様のノイズ低減効果に達するためには通信機器と耳との結合状態毎に回路Hのパラメータを調整する必要がある。図3に示す知能制御原理に対し、本発明により提供された非密閉型通信機器に適用されるフィードフォワードアクティブノイズキャンセリングシステムの論理ブロックは、図6に示す通りである。
図6は、非密閉型フィードフォワードアクティブノイズキャンセリングに用いられるノイズキャンセリングシステム100を示す概略ブロック図である。図6に示すように、前記ノイズキャンセリングシステム100は、参照マイク112と、アンチノイズ信号生成手段114と、信号混合手段116と、導入手段118と、モニタリングマイク122及び知能制御装置120とを含む。
前記参照マイク112は、図4a−4dに示すように、耳から離れた場所に設置され、耳から離れた場所の外部ノイズ信号をピックアップする。前記アンチノイズ信号生成手段114は、前記外部ノイズ信号に対してフィードフォワードアクティブノイズキャンセリング処理を行うことにより、前記外部ノイズ信号を相殺することが可能なアンチノイズ信号を生成する。ここで、前記アンチノイズ信号生成手段114は、図3に示す回路ユニットHと同等である。アンチノイズ信号生成手段114は、参照マイクによりピックアップされた外部ノイズ信号に対して増幅及び位相補償等の処理を行うことにより、外部ノイズ信号を、耳に入る際耳で受信した外部ノイズ信号を相殺するアンチノイズ信号に変換する。本発明の一実施例では、アンチノイズ信号生成手段114は、増幅手段(図示せず)と位相調整手段(図示せず)を含むことができ、前記増幅手段は参照マイク112からの外部ノイズ信号をゲイン増幅し、前記位相調整手段は参照マイク112からの外部ノイズ信号を位相調整することにより、位相調整後の信号が外部ノイズ信号を相殺することができる。位相調整後の信号の位相がちょうど外部ノイズ信号と逆となり振幅が等しくなるよう、前記増幅手段のゲイン係数及び前記位相調整手段の位相調整パラメータを選択することにより、外部ノイズ信号を完全に相殺することが好ましい。
信号混合手段116は、アンチノイズ信号生成手段114及び通信機器の受話端の出力に接続されるように設置され、アンチノイズ信号生成手段114から出力されたアンチノイズ信号を受信し、かつ、受話端に音声信号出力がある場合受話端から出力された音声信号を受信するとともに、前記アンチノイズ信号と前記受話端から出力された音声信号とを混合する。ここで、本発明の一つの例によると、前記信号混合手段116は加算器である。
導入手段118は信号混合手段116に接続され、信号混合手段116により混合された信号を耳に導入することにより、自由空間から耳に入った外部ノイズ信号を相殺する。本発明の一つの例では、前記導入手段118はスピーカである。本発明の他の例では、前記導入手段118は他の音声出力手段を用いてもよい。
従来のフィードフォワードアクティブノイズキャンセリングシステムに比べて、本発明に係るフィードフォワードアクティブノイズキャンセリングシステム100は、さらにモニタリングマイク122と知能制御装置120を含む。以下、モニタリングマイク122と知能制御装置120について詳細に説明する。
(1)モニタリングマイク
図6に示すように、前記モニタリングマイク122は、使用の際耳に近い場所に設置され、耳に近接した場所のモニタリング信号をピックアップする。前記モニタリング信号は、自由空間から耳に入る外部ノイズ信号と導入手段118の出力信号が耳で重なって得られた信号である。ここで、前記通信機器の受話端に音声信号出力がない場合、前記導入手段118の出力信号は、当該外部ノイズ信号に対してフィードフォワードアクティブノイズキャンセリング処理を行った後に得られた信号である。前記通信機器の受話端に音声信号出力が存在する場合、前記導入手段118の出力信号は、当該外部ノイズ信号に対してフィードフォワードアクティブノイズキャンセリング処理を行って得られた信号と通信機器の受話端から出力された音声信号とが重って得られた信号である。
(2)知能制御装置
以下、図7を参照して図6における知能制御装置120の詳細を説明する。図7に示すように、前記知能制御装置120は、検出手段124と、受信手段125と、ノイズ低減性能推定手段126及び第1の調整手段128とを含む。
検出手段
検出手段124は通信機器の受話端に音声信号出力が存在するか否かを検出する。
受話端のスピーカ312に音声信号(例えば音楽)を流れる時、モニタリングマイク122によりピックアップされた信号には外部ノイズ信号と音声信号が含まれるが、モニタリングマイク122とスピーカ312の音声出力口が非常に近いので、モニタリングマイク122によりピックアップされた信号において受話端の音声信号が主な成分である。参照マイク112はスピーカ312の音声出力口から相対的に離れているので、ピックアップされた信号は主に外部ノイズ信号である。この時、2つのマイクによりピックアップされた信号は、低周波数範囲で相関性が低く、参照マイク112とモニタリングマイク122によりピックアップされたノイズ成分エネルギの差異を比較することによりノイズ低減性能を推定することができない。また、ノイズだけ存在する場合、参照マイク112とモニタリングマイク122によりピックアップされた外部の遠距離ノイズ信号は低周波数範囲においてよい相関性を有し、参照マイク112とモニタリングマイク122によりピックアップされたノイズ成分エネルギの差異を比較することによりノイズ低減性能を推定することができる。
そのため、本発明では受話端の信号を検出する必要があり、受話端に音声信号出力がないことを検出した場合にのみ、アクティブノイズ低減の知能制御を行い、即ち、アンチノイズ信号生成手段114(例えば回路H)のパラメータ(つまり制御回路パラメータ、例えばゲイン係数と位相調整パラメータ)を調整することにより、アンチノイズ信号と耳に入った外部ノイズ信号とをより好適に相殺し、ノイズ低減性能を最適化させることができる。また、受話端に音声信号出力がある場合、回路Hのパラメータはそのまま維持する。
本発明の一つの実施例では、検出を行う時、検出手段124は、2つのマイクにピックアップされた信号の相関性を計算して受話端に音声信号出力が存在するか否かを検出することにより、アクティブノイズキャンセリングの知能制御を行うか否かを確定する。この場合、検出手段124は、さらに、フレーム化サンプリングモジュール、計算モジュール及び相関性確定モジュール(図示せず)を含んでもよい。その中、フレーム化サンプリングモジュールは参照マイク112とモニタリングマイク122によりピックアップされた信号に対してそれぞれフレーム化処理を行い、計算モジュールは前記フレーム化処理後の両方のフレームデータの相関性を計算し、相関性確定モジュールは計算された参照マイク112及びモニタリングマイク122の両方のフレームデータの相関性と所定閾値とを比較することにより、参照マイクとモニタリングマイクによりピックアップされた信号の相関性を確定する。
具体的には、例として、受話端の信号を検出する過程において、まず参照マイク112とモニタリングマイク122によりピックアップされた信号をフレーム化処理し、フレーム毎512個のサンプリング点を取り、隣接のフレームは50%のデータの重なりを有するようにして、その後、参照マイク112とモニタリングマイク122の両方のフレームデータに対して相関計算を行い、相関性が上限閾値(本実施の形態では0.8を取る)より大きければ、受話端に信号出力がないと判断し、ノイズ低減の知能制御を行う。相関性が下限閾値(本実施の形態では0.6を取る)より小さければ、受話端に信号出力があると判断し、ノイズ低減の知能制御を行わず、相関性が上下限の間に属すれば、前回の判断結果を維持する。
また、検出手段124は、他の幾つかの形態により実現されてもよく、例えば、受話端の出力信号のエネルギを直接検出することにより受話端に音声信号出力が存在するか否かを判断することができる。外部ノイズ信号のエネルギが比較的小さく、通常、ある閾値より小さいので、受話端の出力信号のエネルギが当該閾値より大きいことを検出した場合、音声信号出力があると判断し、そうでない場合、音声信号出力がないと判断する。この場合、前記検出手段は、前記受話端の出力信号のエネルギを検出するエネルギ検出モジュール(図示せず)と、検出されたエネルギと所定閾値とを比較し、検出されたエネルギが所定閾値より大きい場合、前記受話端に音声信号出力があると確定する音声信号存在確定モジュール(図示せず)とを含むことができる。
受信手段
受信手段125は、参照マイク112とモニタリングマイク122に接続され、受話端に音声信号出力がないことを検出した場合、受信参照マイク112からの外部ノイズ信号及びモニタリングマイク122からのモニタリング信号を受信する。ここで、前記受信手段125は前記検出手段124により制御され、前記検出手段により受話端に音声信号出力がないことを検出した場合にのみ、前記受信手段125は参照マイク112からの外部ノイズ信号及びモニタリングマイク122からのアンチノイズ信号を受信する。
ノイズ低減性能推定手段
ノイズ低減性能推定手段126は、受信された外部ノイズ信号及びモニタリング信号に対して性能分析を行うことにより、フィードフォワードアクティブノイズキャンセリング処理後のノイズ低減性能曲線を推定する。受話端に音声信号出力がないことを検出した場合、参照マイク112によりピックアップされたのは外部ノイズであるので、モニタリングマイク122によりピックアップされたモニタリング信号は、外部ノイズ信号と外部ノイズ信号に対してフィードフォワードアクティブキャンセリング処理を行った後に得られた信号とを重ねた信号、即ちノイズ低減処理後の信号である。そのため、上記の場合、参照マイクとモニタリングマイクの低周波エネルギを比較することによりモニタリングマイクの位置する場所のノイズ低減性能を判断することができる。通常、前記ノイズ低減性能推定手段126は、特定の周波数帯域内において、受信された外部ノイズ信号及びモニタリング信号に対して性能分析を行う。当該特定の周波数帯域内において、ノイズ低減効果はより著しくなる。
具体的には、例として、ノイズ低減性能推定を行う過程において、まず一つの理想的なノイズ低減性能曲線NR_ideaを設定する必要がある。図11は、本発明の実施例を用いる理想的なノイズ低減性能曲線と実際のノイズ低減性能曲線の比較概略図であり、その理想的なノイズ低減性能曲線NR_ideaは、図11中の実線に示される。
計算量を減少するとともに他の幾つかの要素による干渉を排除するために、本実施例では、好ましくは、主なノイズ低減周波数帯域500〜1kHzのノイズ低減性能だけを計算しノイズ低減性能に対し推定する。図2に示す知能制御原理から、以下のことが分かる。
ノイズ低減性能NRは以下の通り定義される。
Hが理想的な回路H_ideaに近づいている場合、500〜1kHz周波数帯域内のノイズ低減性能NRは、理想的なノイズ低減性能曲線NR_ideaに近づくことになる。何れの時刻でも、式(2)により現在の時刻における周波数帯域500〜1kHz内のノイズ低減性能NR1を計算することができ、NR_ideaとNR1を比較することにより現在のノイズ低減性能と理想的なノイズ低減性能の500〜1kHz周波数帯域内における差異が分かり、現在の回路Hと理想的な回路H_ideaとの差異が主に低周波に表現されるかあるいは高周波部分に表現されるかを判定することにより、回路Hのパラメータ調整の概ねの方向を明確にすることで、第1の調整手段128にてパラメータ調整を行い、回路H(アンチノイズ信号生成手段114)の周波数応答(ゲインと位相を含む)を調整することにより回路Hの周波数応答が理想的な回路H_idea的周波数応答に近づくようにする。その中、以下の導出式が存在している。
第1の調整手段
第1の調整手段128は、ノイズ低減性能推定手段126により推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線に基づいて、フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータ(つまり、アンチノイズ生成手段の回路パラメータ)を調整することにより、推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線との差が所定の範囲内に収まるようにする。具体的には、モニタリングマイク122のノイズ低減性能によって調整される制御回路パラメータは、ゲイン係数と位相調整パラメータを含む。
本発明の一つの好ましい実施の形態では、第1の調整手段128は、さらに調整方向確定モジュールと第2の調整モジュール(図示せず)を含む。調整方向確定モジュールは、推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線とを比較することにより、前記制御回路パラメータ(つまり、アンチノイズ生成手段の回路パラメータ)の調整方向を確定する。第2の調整モジュールは、確定された調整方向に基づき、前記制御回路パラメータを調整する。
本発明の一つの例では、前記第2の調整モジュールは、ゲイン係数調節手段及び/又は位相調整量調節手段(図示せず)を含むことができる。その中、ゲイン係数調節手段調整は、外部ノイズ信号を増幅する増幅手段のゲイン係数を調整し、位相調整量調節手段は、外部ノイズ信号を位相調整する位相調整手段の位相調整量を調整する。この場合、上記に対応して、前記アンチノイズ信号生成手段は、増幅手段と位相調整手段を含む。また、本発明の他の例では、前記ゲイン係数調節手段と位相調整量調節手段は第2の調整モジュール中に併合され、第2の調整モジュールにより上記ゲイン係数調整と位相調整量調整を実行するようにしてもよい。
また、フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータの調整過程ではフィードバック制御を用い、パラメータを調整する度に、改めて推定されたノイズ低減性能曲線が前記予め設定されたノイズ低減性能曲線にさらに近づくか否かを比較し、さらに近づく場合は当該調整方向を維持し、そうでない場合は当該調整方向を逆転させ、推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線との差が所定の範囲内に収まるまで進行する。
具体的には、例として、パラメータ調整を行う必要があると判断した場合、NR1とNR_ideaを比較することにより、回路Hで調整の必要があるのは高周波部分であるか低周波部分であるかが分かる。ただ、調整の基準を制定する必要があり、式(3)から分かるように、ΔHとΔNRが直接相関しているので、フィードバック制御理論に基づいて回路Hを調整することができ、該調整過程はゲイン調節と位相調節に分けられる。
ゲイン調節と位相調節は、それぞれ増加調節方向と減少調節方向との2つの調整方向を有し、現在のノイズ低減性能曲線と理想的なノイズ低減性能曲線(つまり、本明細書における予め設定されたノイズ低減曲線)との比較で主な差異がノイズ低減幅が足りないことであれば、開始段階でまず回路ゲインを調整する必要があり、現在のノイズ低減性能曲線と理想的なノイズ低減性能曲線との比較で主な差異がノイズ低減周波数帯域が不一致であるとすれば、開始段階でまず回路位相を調整する必要がある。例として、調整の初期段階では、ゲイン減少と位相が180度に近づく方向へ調節し、その後、新たな制御回路パラメータHでのノイズ低減性能曲線NR_newを推定し、新たな回路パラメータでのノイズ低減性能曲線NR_newが調整前のノイズ低減性能曲線NR1よりも理想的なノイズ低減性能曲線NR_ideaに近づくと判断すれば、パラメータ調整方向が正確であると判断し、当該調整方向での回路パラメータ調整を続ける。新たな回路パラメータでのノイズ低減性能曲線NR_newがNR1よりも悪いと判断すれば、初期調整方向が間違いであると判断し、逆方向に沿って制御回路パラメータを調整する。正確な調整方向を見つけた後、この方向に沿って持続的にパラメータ調節を行うことができ、毎度の調整後に新たな回路パラメータでのノイズ低減性能曲線NR_newを推定し、新たなノイズ低減性能曲線NR_newとNR_ideaとの差が所定閾値範囲内に収まると、上記調整を停止する。
パラメータ調整を停止した後、ノイズ低減性能NRに対してリアルタイムに検出し続け、再度ノイズ低減性能が予期の効果に達していなければ、パラメータ調整機能を再度起動することができる。なお、極めて稀な状況であるが、ノイズ低減性能NR_newがいつも最適なNR_ideaに達することができない状況が現れる可能性があり、この時、システムを調整過程において見つけたノイズ低減性能の最もよいパラメータに設定させることもできる。
具体的なハードウェアの実施において、アンチノイズ生成手段(つまり、回路H)の主なフィルタリングデバイスである抵抗器とコンデンサにデジタル抵抗器とデジタルコンデンサを採用し、DSPモジュールは、I2C又はGPIO等の方式で回路Hの抵抗器とコンデンサを調節することにより理想的な周波数応答に達する。
図8は、本発明に係る非密閉型フィードフォワードアクティブノイズキャンセリングシステム100を有する通信機器10を示す概略ブロック図である。図8中のノイズキャンセリングシステム100は、図6に示すノイズキャンセリングシステム100の各種の変形を含むことができる。
以上、図3〜図8を参照して本発明に係る知能制御装置120、ノイズキャンセリングシステム110及び通信機器10の構造を記述しているが、以下、図9と図10を参照して本発明に係る非密閉型フィードフォワードアクティブノイズキャンセリング過程及びその知能制御過程を記述する。
図9は、本発明の実施例に係る非密閉型フィードフォワードアクティブノイズキャンセリングに用いられるノイズキャンセリング方法のフローチャートである。
図9に示すように、まず、ステップS910で、耳から離れた場所の外部ノイズ信号をピックアップする。即ち、参照マイクにより外部ノイズ信号をピックアップする。
次に、ステップS920で、通信機器の受話端に音声信号出力が存在するか否かを検出する。音声信号出力がある場合は、ステップS940に進む。そうでない場合は、ステップS930に進み、ステップS930で、非密閉型フィードフォワードアクティブノイズキャンセリング処理に用いられる制御回路パラメータに対して知能制御を行う。前記フィードフォワードアクティブノイズキャンセリング処理の制御回路パラメータに対する知能制御過程は、図10を参照して後述する。
ステップS940では、現在の制御回路パラメータを用いて、ピックアップされた外部ノイズ信号に対してフィードフォワードアクティブノイズキャンセリング処理を行うことにより、外部ノイズ信号を相殺するためのアンチノイズ信号を生成する。
次に、ステップS950で、生成されたアンチノイズ信号と通信機器の受話端で受信された音声信号とを混合する。
上記混合を完成した後、ステップS960で、混合された信号を導入手段により耳に導入することにより、自由空間から耳に入った外部ノイズ信号を相殺する。このようにして、本発明に係る非密閉型フィードフォワードアクティブノイズキャンセリング過程を完成する。
図10は、本発明の実施例に係る非密閉型フィードフォワードアクティブノイズキャンセリングに用いられる知能制御方法のフローチャートである。
図10に示すように、通信機器の受話端に音声信号出力がないことを検出した場合、まずステップS931で、参照マイクからの外部ノイズ信号及びモニタリングマイクからのモニタリング信号を受信する。ここで、前記モニタリング信号は、前記アンチノイズ信号生成手段が現在の制御回路パラメータを用いてピックアップされた外部ノイズ信号に対してフィードフォワードアクティブノイズキャンセリング処理を行うことにより生成された信号と、自由空間から耳に入った外部ノイズ信号とを、耳に近接した場所で重ねて得られた信号である。次に、上記信号を受信した後、ステップS932では、受信された前記外部ノイズ信号と前記モニタリング信号に対して性能分析を行うことにより、フィードフォワードアクティブノイズキャンセリング処理後のノイズ低減性能曲線を推定する。
フィードフォワードアクティブノイズキャンセリング処理後のノイズ低減性能曲線を推定した後、前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線に基づき、前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線との差が所定の範囲内に収まるよう、フィードフォワードアクティブノイズキャンセリング処理の制御回路パラメータを調整する。具体的には、ステップS933では、前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線とを比較して、前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線との差が所定の範囲内に収まるか否かを判断する。前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線との差が所定の範囲内に入らなければ、ステップS934に進み、フィードフォワードアクティブノイズキャンセリング処理に用いられるアンチノイズ生成手段の制御回路パラメータを調整する。次に、ステップS931に戻り、推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線との差を所定の範囲内に収まるまで、上記のように調整し続ける。ここで、S931に戻った時に受信されたモニタリング信号は、アンチノイズ信号生成手段が調整後の制御回路パラメータを用いて生成した信号と自由空間から耳に入った外部ノイズ信号とが耳の場所で重なって得られた信号である。前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線との差が所定の範囲内にあれば、この過程は終了する。
図12は、本発明により提供される知能制御を用いた後に異なる使用者のノイズ低減効果の比較概略図である。
図12に示すように、本発明により提供される知能フィードバック制御の後、異なるユーザのノイズ低減性能には大きな差がない。図5に示す従来のフィードフォワードアクティブノイズ制御技術を用いた時に異なる使用者が同一の回路Hを用いて達えるノイズ低減効果図に比べて、本発明の知能フィードバック制御を従来のフィードフォワードアクティブノイズ制御技術に用いる場合、ノイズ低減性能がよりよい一致性を保持することが分かる。
以上、図面を参照しながら例を挙げて本発明に係る非密閉型フィードフォワードアクティブノイズキャンセリングに用いられる知能制御方法及び装置、非密閉型フィードフォワードアクティブノイズキャンセリングに用いられるノイズキャンセリング方法及び非密閉型フィードフォワードアクティブノイズキャンセリングシステム、並びに上記非密閉型フィードフォワードアクティブノイズキャンセリングシステムを有する通信機器を説明したが、当業者にとって、上記本発明に提出された非密閉型フィードフォワードアクティブノイズキャンセリングに用いられる知能制御方法及び装置、非密閉型フィードフォワードアクティブノイズキャンセリングに用いられるノイズキャンセリング方法及び非密閉型フィードフォワードアクティブノイズキャンセリングシステム、並びに上記非密閉型フィードフォワードアクティブノイズキャンセリングシステムを有する通信機器は、本発明の内容を逸脱しない範囲で各種の改善を行うことができることを理解すべきである。そのため、本発明の保護範囲は、添付される特許請求の範囲の内容によって確定されるべきである。

Claims (12)

  1. 通信機器の受話端に音声信号出力がないことを検出した場合、耳から離れた場所に位置する参照マイクからの外部ノイズ信号及び耳に近接した場所に位置するモニタリングマイクからのモニタリング信号を受信するステップと、
    受信された前記外部ノイズ信号及び前記モニタリング信号に対して性能分析を行うことにより、前記フィードフォワードアクティブノイズキャンセリング処理後のノイズ低減性能曲線を推定するステップと、
    前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線に基づき、前記フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータを調整することにより、前記推定されたノイズ低減性能曲線と前記予め設定されたノイズ低減性能曲線との差が所定の範囲内に収まるようにするステップとを含む、非密閉型フィードフォワードアクティブノイズキャンセリングに用いられる知能制御方法。
  2. 前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線に基づき、前記フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータを調整するステップは、
    前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線とを比較することにより、前記制御回路パラメータの調整方向を確定するステップと、
    確定された調整方向に基づき前記制御回路パラメータを調整するステップとを含み、
    前記制御回路パラメータの調整過程ではフィードバック制御を用い、一回調整毎に、改めて前記推定されたノイズ低減性能曲線が前記予め設定されたノイズ低減性能曲線にさらに近づくか否かを比較し、さらに近づく場合は前記調整方向を維持し、そうでない場合は前記調整方向を逆転させ、前記推定されたノイズ低減性能曲線と前記予め設定されたノイズ低減性能曲線との差が前記所定の範囲内に収まるまで調整する、請求項1に記載の知能制御方法。
  3. 前記制御回路パラメータは、ゲイン係数と位相調整パラメータを含む、請求項1に記載の知能制御方法。
  4. 通信機器の受話端に音声信号出力が存在するか否かを検出するステップは、前記外部ノイズ信号と前記モニタリング信号との間の相関性を計算することにより、或いは、前記受話端の出力信号のエネルギを検出することにより確定するステップを含む、請求項1に記載の知能制御方法。
  5. 前記外部ノイズ信号と前記モニタリング信号との間の相関性を計算することにより、前記通信機器の受話端に音声信号出力が存在するか否かを検出するステップは、
    前記参照マイクと前記モニタリングマイクによりピックアップされた信号に対してそれぞれフレーム化処理を行うステップと、
    前記フレーム化処理後の両方のフレームデータ間の相関性を計算するステップと、
    計算された相関性と所定閾値とを比較することにより、前記参照マイクと前記モニタリングマイクによりピックアップされた信号間の相関性を確定するステップを含む、請求項4に記載の知能制御方法。
  6. 耳から離れた場所における外部ノイズ信号をピックアップするステップと、
    ピックアップされた外部ノイズ信号に対してフィードフォワードアクティブノイズキャンセリング処理を行うことにより、前記外部ノイズ信号を相殺するためのアンチノイズ信号を生成するステップと、
    生成されたアンチノイズ信号と通信機器の受話端で受信された音声信号とを混合するステップと、
    混合後の信号を耳に導入することにより、自由空間から耳に入った外部ノイズ信号を相殺するステップと、を含み、
    前記通信機器の受話端に音声信号出力がない場合、前記フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータは、請求項1〜5の何れか1項に記載の知能制御方法に従って調整される、
    非密閉型フィードフォワードアクティブノイズキャンセリング方法。
  7. 通信機器の受話端に音声信号出力が存在するか否かを検出する検出手段と、
    前記受話端に音声信号出力がないことを検出した場合、耳から離れた場所に位置する参照マイクからの外部ノイズ信号及び耳に近接した場所に位置するモニタリングマイクからのモニタリング信号を受信する受信手段と、
    受信された前記外部ノイズ信号及び前記モニタリング信号に対して性能分析を行うことにより、フィードフォワードアクティブノイズキャンセリング処理後のノイズ低減性能曲線を推定するノイズ低減性能推定手段と、
    前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線に基づき、前記フィードフォワードアクティブノイズキャンセリング処理における制御回路パラメータを調整することにより、前記推定されたノイズ低減性能曲線と前記予め設定されたノイズ低減性能曲線との差が所定の範囲内に収まるようにする第1の調整手段と、を含む、
    非密閉型フィードフォワードアクティブノイズキャンセリングに用いられる知能制御装置。
  8. 前記第1の調整手段は、
    前記推定されたノイズ低減性能曲線と予め設定されたノイズ低減性能曲線とを比較することにより、前記制御回路パラメータの調整方向を確定する調整方向確定モジュールと、
    確定された調整方向に基づき、前記制御回路パラメータを調整する第2の調整モジュールと、を含み、
    前記制御回路パラメータの調整過程ではフィードバック制御を用い、一回調整毎に、改めて前記推定されたノイズ低減性能曲線が前記予め設定されたノイズ低減性能曲線にさらに近づくか否かを比較し、さらに近づく場合は前記調整方向を維持し、そうでない場合は前記調整方向を逆転させ、前記推定されたノイズ低減性能曲線と前記予め設定されたノイズ低減性能曲線との差が前記所定の範囲内に収まるまで調整する、請求項7に記載の知能制御装置。
  9. 前記検出手段は、前記参照マイクと前記モニタリングマイクによりピックアップされた信号間の相関性を計算することにより、或いは、前記受話端の出力信号のエネルギを検出することにより、前記受話端に音声信号出力が存在するか否かを確定する、請求項7に記載の知能制御装置。
  10. 前記検出手段が前記参照マイクと前記モニタリングマイクによりピックアップされた信号間の相関性を計算することにより前記受話端に音声信号出力が存在するか否かを確定する場合、前記検出手段は、さらに、
    前記参照マイクと前記モニタリングマイクによりピックアップされた信号に対してそれぞれフレーム化処理を行うフレーム化サンプリングモジュールと、
    フレーム化処理後の両方のフレームデータの相関性を計算する計算モジュールと、
    計算された相関性と所定閾値とを比較することにより、前記参照マイクと前記モニタリングマイクによりピックアップされた信号間の相関性を確定する相関性確定モジュールと、を含む請求項9に記載の知能制御装置。
  11. 耳から離れた場所における外部ノイズ信号をピックアップする参照マイクと、
    前記外部ノイズ信号に対してフィードフォワードアクティブノイズキャンセリング処理を行うことにより、前記外部ノイズ信号を相殺するためのアンチノイズ信号を生成するアンチノイズ信号生成手段と、
    前記アンチノイズ信号と通信機器の受話端で受信された音声信号とを混合する信号混合手段と、
    混合された信号を耳に導入する導入手段と、
    自由空間から耳に入った外部ノイズ信号と前記導入手段の出力信号とが耳で重なって得られた信号である、耳に近接した場所におけるモニタリング信号をピックアップするモニタリングマイクと、
    前記受話端に音声信号出力がない場合、前記アンチノイズ信号生成手段のフィードフォワードアクティブノイズキャンセリング処理の制御回路パラメータを調整する、請求項7〜10の何れか1項に記載の知能制御装置と、を含む、
    非密閉型フィードフォワードアクティブノイズキャンセリングシステム。
  12. 請求項11に記載の非密閉型フィードフォワードアクティブノイズキャンセリングシステムを含む、通信機器。
JP2013552087A 2011-09-10 2011-11-08 ノイズキャンセリングシステム及び方法、知能制御方法及び装置、並びに通信機器 Active JP5568694B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201110267999.2 2011-09-10
CN201110267999.2A CN102348151B (zh) 2011-09-10 2011-09-10 噪声消除系统和方法、智能控制方法和装置、通信设备
PCT/CN2011/081930 WO2013033946A1 (zh) 2011-09-10 2011-11-08 噪声消除系统和方法、智能控制方法和装置、通信设备

Publications (2)

Publication Number Publication Date
JP2014507894A true JP2014507894A (ja) 2014-03-27
JP5568694B2 JP5568694B2 (ja) 2014-08-06

Family

ID=45546369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013552087A Active JP5568694B2 (ja) 2011-09-10 2011-11-08 ノイズキャンセリングシステム及び方法、知能制御方法及び装置、並びに通信機器

Country Status (7)

Country Link
US (1) US9379751B2 (ja)
EP (1) EP2696597B8 (ja)
JP (1) JP5568694B2 (ja)
KR (1) KR101442450B1 (ja)
CN (1) CN102348151B (ja)
DK (1) DK2696597T3 (ja)
WO (1) WO2013033946A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017135013A1 (ja) * 2016-02-05 2018-07-19 本田技研工業株式会社 能動型振動騒音制御装置及び能動型振動騒音制御回路
WO2021065095A1 (ja) * 2019-10-03 2021-04-08 ソニー株式会社 信号処理装置及び信号処理装置、コンピュータプログラム、並びに音響装置
US11996074B2 (en) 2019-10-03 2024-05-28 Sony Group Corporation Signal processing device and signal processing device, and sound device

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9271076B2 (en) * 2012-11-08 2016-02-23 Dsp Group Ltd. Enhanced stereophonic audio recordings in handheld devices
CN103945293A (zh) * 2013-01-22 2014-07-23 深圳富泰宏精密工业有限公司 降噪系统、具有该降噪系统的耳机及便携式电子装置
US9100732B1 (en) * 2013-03-29 2015-08-04 Google Inc. Hertzian dipole headphone speaker
US9462376B2 (en) * 2013-04-16 2016-10-04 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9654874B2 (en) * 2013-12-16 2017-05-16 Qualcomm Incorporated Systems and methods for feedback detection
CN105489212A (zh) * 2014-09-17 2016-04-13 中兴通讯股份有限公司 下行主动降噪装置、方法及移动终端
CN104602163B (zh) * 2014-12-31 2017-12-01 歌尔股份有限公司 主动降噪耳机及应用于该耳机的降噪控制方法和系统
CN104602155B (zh) * 2015-01-14 2019-03-15 中山市天键电声有限公司 基于智能移动终端的无线降噪耳机
CN104602157B (zh) * 2015-01-28 2018-11-02 深圳市冠旭电子股份有限公司 一种耳机降噪方法及装置
US9860652B2 (en) * 2015-03-23 2018-01-02 Etymonic Design Incorporated Test apparatus for binaurally-coupled acoustic devices
DE112016005648T5 (de) * 2015-12-11 2018-08-30 Sony Corporation Datenverarbeitungsvorrichtung, datenverarbeitungsverfahren und programm
CN106941637B (zh) * 2016-01-04 2020-05-05 科大讯飞股份有限公司 一种自适应主动降噪的方法、系统及耳机
CN106412788B (zh) * 2016-10-31 2019-08-02 歌尔科技有限公司 一种前馈主动降噪耳机的测试方法和测试系统
CN110447069B (zh) 2017-03-22 2023-09-26 三星电子株式会社 自适应噪声环境的语音信号处理的方法和装置
US10468020B2 (en) * 2017-06-06 2019-11-05 Cypress Semiconductor Corporation Systems and methods for removing interference for audio pattern recognition
CN107945784A (zh) * 2017-12-14 2018-04-20 成都必盛科技有限公司 一种主动降噪音频设备的自动校准方法及装置
CN108156551A (zh) * 2018-02-09 2018-06-12 会听声学科技(北京)有限公司 主动降噪系统、主动降噪耳机及主动降噪方法
CN109247287B (zh) * 2018-03-21 2021-01-29 南师大科技园栖霞管理(南京)有限公司 云计算式驱动电机噪声屏蔽方法
CN108575857B (zh) * 2018-03-21 2020-11-20 温岭市维尔峰机电有限公司 云计算式驱动电机噪声屏蔽平台
CN108810692A (zh) * 2018-05-25 2018-11-13 会听声学科技(北京)有限公司 主动降噪系统、主动降噪方法及耳机
CN109121034B (zh) * 2018-08-01 2020-06-12 Oppo广东移动通信有限公司 基于音量的主从切换方法及相关产品
EP3610989A1 (de) 2018-08-14 2020-02-19 Hilti Aktiengesellschaft Kopfhörer zur aktiven lärmunterdrückung, helm mit einem derartigen kopfhörer, system mit einem derartigen kopfhörer und einer handwerkzeugmaschine
CN108896665A (zh) * 2018-08-27 2018-11-27 国网山东省电力公司电力科学研究院 工作场所防噪耳塞的适用性评估方法
KR102570384B1 (ko) 2018-12-27 2023-08-25 삼성전자주식회사 가전기기 및 이의 음성 인식 방법
CN109511041B (zh) * 2018-12-28 2020-06-26 歌尔科技有限公司 一种耳机的开机设定的方法、装置以及耳机
CN109511044A (zh) * 2019-01-07 2019-03-22 哈尔滨工业大学(深圳) 混合结构主动降噪耳机、降噪方法及存储介质
US11164557B2 (en) * 2019-11-14 2021-11-02 Bose Corporation Active noise cancellation systems with convergence detection
CN110970044B (zh) * 2019-11-27 2022-06-07 武汉大学 一种面向语音识别的语音增强方法
CN112019977A (zh) * 2020-09-04 2020-12-01 广州郝舜科技有限公司 一种大数据采集用音频采集装置
CN112309363B (zh) * 2020-11-03 2023-07-11 三一重机有限公司 工程机械及其降噪方法、装置
CN112420066B (zh) * 2020-11-05 2024-05-14 深圳市卓翼科技股份有限公司 降噪方法、装置、计算机设备和计算机可读存储介质
CN116918350A (zh) 2021-04-25 2023-10-20 深圳市韶音科技有限公司 声学装置
CN117501710A (zh) * 2021-04-25 2024-02-02 深圳市韶音科技有限公司 一种开放式耳机
CN113490089B (zh) * 2021-06-02 2022-07-29 安克创新科技股份有限公司 降噪控制方法、电子设备及计算机可读存储装置
CN113242490B (zh) * 2021-06-22 2023-02-28 安克创新科技股份有限公司 一种信号处理方法、装置、头戴耳机及存储介质
CN113490123B (zh) * 2021-07-07 2023-10-31 东莞市逸音电子科技有限公司 基于ai的主动降噪自动生产测试方法
CN113490098A (zh) * 2021-07-07 2021-10-08 东莞市逸音电子科技有限公司 一种anc耳机主动降噪滤波器主动优化算法
CN113645533B (zh) * 2021-08-31 2024-02-02 恒玄科技(上海)股份有限公司 一种主动降噪耳机及其降噪方法
CN114007157A (zh) * 2021-10-28 2022-02-01 中北大学 一种智能降噪通信耳机
CN114844976B (zh) * 2022-03-25 2023-03-17 东莞市天翼通讯电子有限公司 一种通过手机app调整蓝牙耳机anc深度方法及系统
CN114845231B (zh) * 2022-03-25 2023-01-24 东莞市天翼通讯电子有限公司 一种通过电声测试设备测试enc降噪效果的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003520469A (ja) * 2000-01-12 2003-07-02 ソニック イノヴェイションズ インコーポレイテッド 雑音低減装置及び方法
JP2009535655A (ja) * 2006-01-26 2009-10-01 ウォルフソン・マイクロエレクトロニクス・ピーエルシー 周辺雑音低減装置
JP2009251134A (ja) * 2008-04-03 2009-10-29 Toshiba Corp 音声/非音声を判定する装置、方法およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059876A (ja) 1998-08-13 2000-02-25 Sony Corp 音響装置およびヘッドホン
US7031460B1 (en) 1998-10-13 2006-04-18 Lucent Technologies Inc. Telephonic handset employing feed-forward noise cancellation
US6996241B2 (en) * 2001-06-22 2006-02-07 Trustees Of Dartmouth College Tuned feedforward LMS filter with feedback control
CN1507293A (zh) 2002-12-09 2004-06-23 Ӣҵ�O�ţ��Ϻ������Ӽ������޹�˾ 智能化调节移动通讯装置耳机音量的方法
CN1295678C (zh) * 2004-05-18 2007-01-17 中国科学院声学研究所 子带自适应谷点降噪系统和方法
KR100788678B1 (ko) 2006-01-14 2007-12-26 삼성전자주식회사 이어폰 기기의 소음 저감 장치 및 방법
US20070253569A1 (en) 2006-04-26 2007-11-01 Bose Amar G Communicating with active noise reducing headset
GB2441835B (en) * 2007-02-07 2008-08-20 Sonaptic Ltd Ambient noise reduction system
EP2023664B1 (en) 2007-08-10 2013-03-13 Oticon A/S Active noise cancellation in hearing devices
GB2456501B (en) * 2007-11-13 2009-12-23 Wolfson Microelectronics Plc Ambient noise-reduction system
CN102067625B (zh) 2008-09-04 2014-06-25 株式会社坦姆科日本 耳罩式双向通话用耳麦
JP2010268188A (ja) 2009-05-14 2010-11-25 Panasonic Corp フィードバック型ノイズキャンセリングヘッドホン
ATE550754T1 (de) * 2009-07-30 2012-04-15 Nxp Bv Verfahren und vorrichtung zur aktiven geräuschsminderung unter anwendung von wahrnehmungsmaskierung
CN102118667B (zh) * 2009-12-31 2016-05-25 歌尔声学股份有限公司 非封闭式耳塞型耳机及其受话端语音增强装置
CN202261773U (zh) * 2011-09-10 2012-05-30 歌尔声学股份有限公司 噪声消除系统、智能控制装置和通信设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003520469A (ja) * 2000-01-12 2003-07-02 ソニック イノヴェイションズ インコーポレイテッド 雑音低減装置及び方法
JP2009535655A (ja) * 2006-01-26 2009-10-01 ウォルフソン・マイクロエレクトロニクス・ピーエルシー 周辺雑音低減装置
JP2009251134A (ja) * 2008-04-03 2009-10-29 Toshiba Corp 音声/非音声を判定する装置、方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017135013A1 (ja) * 2016-02-05 2018-07-19 本田技研工業株式会社 能動型振動騒音制御装置及び能動型振動騒音制御回路
WO2021065095A1 (ja) * 2019-10-03 2021-04-08 ソニー株式会社 信号処理装置及び信号処理装置、コンピュータプログラム、並びに音響装置
US11996074B2 (en) 2019-10-03 2024-05-28 Sony Group Corporation Signal processing device and signal processing device, and sound device

Also Published As

Publication number Publication date
DK2696597T3 (da) 2017-11-27
JP5568694B2 (ja) 2014-08-06
KR20130106887A (ko) 2013-09-30
US20140141724A1 (en) 2014-05-22
EP2696597B8 (en) 2017-10-18
KR101442450B1 (ko) 2014-10-30
CN102348151B (zh) 2015-07-29
EP2696597B1 (en) 2017-09-06
WO2013033946A1 (zh) 2013-03-14
CN102348151A (zh) 2012-02-08
US9379751B2 (en) 2016-06-28
EP2696597A4 (en) 2014-12-10
EP2696597A1 (en) 2014-02-12

Similar Documents

Publication Publication Date Title
JP5568694B2 (ja) ノイズキャンセリングシステム及び方法、知能制御方法及び装置、並びに通信機器
JP5513690B2 (ja) 通信イヤホンの音声増強方法、装置及びノイズ低減通信イヤホン
US11297443B2 (en) Hearing assistance using active noise reduction
WO2016041247A1 (zh) 下行主动降噪装置、方法及移动终端
US9369557B2 (en) Frequency-dependent sidetone calibration
US10341759B2 (en) System and method of wind and noise reduction for a headphone
US9330652B2 (en) Active noise cancellation using multiple reference microphone signals
US20080019548A1 (en) System and method for utilizing omni-directional microphones for speech enhancement
US11812217B2 (en) Wearable audio device with inner microphone adaptive noise reduction
US9729957B1 (en) Dynamic frequency-dependent sidetone generation
CN110782912A (zh) 音源的控制方法以及扬声设备
US9491545B2 (en) Methods and devices for reverberation suppression
KR20090031507A (ko) 비통화 상황에서 이동 통신 디바이스에 의한 노이즈 감소
CN112954530A (zh) 一种耳机降噪方法、装置、系统及无线耳机
CN103457646A (zh) 用于频域回波抑制滤波器的方法和装置
TW201521416A (zh) 通訊裝置音量調節系統、方法及通訊裝置
US11290599B1 (en) Accelerometer echo suppression and echo gating during a voice communication session on a headphone device
US20220174394A1 (en) Dual-microphone with wind noise suppression method
CN117041801A (zh) 一种智能通话降噪装置及方法、降噪耳机
CN115705848A (zh) 一种降噪方法、设备及存储介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140623

R150 Certificate of patent or registration of utility model

Ref document number: 5568694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250