JP2014507683A - 通信イヤホンの音声増強方法、装置及びノイズ低減通信イヤホン - Google Patents

Abstract

本発明は、送話端末ノイズ低減処理と受話端末ノイズ低減処理との二つの部分を含む通信イヤホンの音声増強方法を提供する。送話端末ノイズ低減処理は、通信イヤホンのマイクで取得されたサウンド信号のエネルギ差を比較することによりイヤホンの装着状態を確定し、イヤホンが正常に装着されると、まずサウンド信号に対してマルチマイクノイズ低減処理を行い、次にシングルチャネルノイズ低減処理により残留された定常ノイズをさらに抑圧し、イヤホンが正常に装着されていないと、シングルチャネルノイズ低減処理によりサウンド信号における定常ノイズを直接抑圧する。本発明は、複数のマイクで取得された信号を有効に多重化するとともに、通信イヤホンの送話、受話端末でそれぞれ音響信号処理とアクティブノイズ制御方法により音声増強を実現し、ノイズ環境で近端と遠端の音声の高ＳＮ比を保つことにより、通信双方に明晰度と了解度の高い音声信号を提供する。
【選択図】 図３

Description

本発明は、音声増強・ノイズ低減の技術分野に関し、より具体的に、複数のマイクで取得されたサウンド信号を多重化することにより通信イヤホンの送話、受話端末でノイズ低減を行う音声増強方法及び装置、並びにノイズ低減通信イヤホンに関する。

社会情報化度合の向上により人々はいつでもどこでも通信と交流を行うことができ、様々な通信機器と技術の広い普及により、人々の生活が非常に便利になるとともに、作業効率も向上している。しかしながら、社会の発展による一つの比較的重大な問題はノイズ問題であり、ノイズ環境で通信を行うと、通信音声の明晰度と了解度に著しく影響し、ノイズがある程度まで高くなると、通信を行うことができないだけでなく、人の聴力や身心健康を損害することもある。

強ノイズ背景で通信を行う問題に対して、従来より、以下の２つの面からノイズ低減処理を行っている。そのひとつは、通信イヤホンの送話端末で音響信号処理技術を行い、マイクで取得された音声信号のＳＮ比を向上することにより、遠端ユーザが通信イヤホン利用者の話しをはっきり聞くことができる技術であり、他方の技術は、通信イヤホンの受話端末での受話端末音声のＳＮ比を向上させることにより、近端イヤホン装着者が遠端ユーザから送ってきた音声信号をはっきり聞くことができる技術である。

現在、通常の通信イヤホンの送話端末の音声増強方法は、主に、単一又は複数の普通のマイクで信号を取得した後、音響信号処理方法により音声増強の目的に達する。

シングルマイクロホンによる音声増強は、一般的にシングルチャネルスペクトルサブトラクション音声増強技術（中国発明特許出願公開明細書ＣＮ１６８４１４３Ａ、ＣＮ１０１４７７８００Ａ参照）と称し、この技術は、一般的に履歴データを分析することにより現在の音声における定常ノイズのエネルギを推定した後、スペクトル減算の方法で音声におけるノイズを低減することにより音声増強の目的に達しているが、このような方法は、定常のノイズ（例えばホワイトノイズ）しか抑圧できず、かつノイズ低減量が限定的であり、ノイズ低減量が大きすぎると音声を損害するほか、非定常ノイズ（例えば周りの音声ノイズ、ノッキングノイズ）については、そのエネルギを正確に推定することができないため、有効に低減されない。

その他の非定常ノイズを有効に抑圧する方法は、２つ以上のマイクからなるマイクロホンアレイを用いた音声増強技術（中国発明特許出願公開明細書ＣＮ１０１４６６０５５Ａ、ＣＮ１９６７１５８Ａ参照）であり、当該技術は、通常、一方のマイクで受信された信号を参照信号として、適応フィルタリングの方法でリアルタイムに他方のマイクで取得された信号におけるノイズ成分を推定し相殺して音声成分を残すことにより、音声増強の目的に達している。マルチマイクロホン技術は、非定常ノイズを抑圧できるうえ、ノイズ低減量がシングルマイクロホン技術より大きい。しかし、このような方法では、音声がノイズとして低減されるおそれがあるので、音声状態を正確に検出する必要がある。

従来の幾つかのマルチマイクロホン技術は、指向性マイクを用いることにより（中国発明特許出願公開明細書ＣＮ１０１４６６０５５Ａ参照）、或いは複数のマイクで指向性を形成することにより（中国発明特許出願公開明細書ＣＮ１０１４６６０５６Ａ参照）、特定の方向からの音声を検出しており、この方法は、マイクロホンアレイの形状が固定的で、かつ利用者との相対位置又は方向が固定されている場合に適用される。ユーザがマイクロホンアレイの指向範囲からはずれる、或いはマイクロホンアレイ形状位置が変化してマイクロホンアレイの指向がユーザからはずれると、音声がノイズとして抑圧されることになる。例えば、図１に示すマイクがイヤホンのコードに装着された場合である。

図１に示す通信イヤホンでは、マイク１１２がイヤホンコード上に設置され、具体的な使用に当たって、このようなイヤホンマイクロホンは利用者の口に対して固定ではなく、かつイヤホン上の他の部位に設置されたマイクで構成されたマイクロホンアレイの形状も固定的ではない。通話時に利用者はコード上のマイクを口の周りの任意の位置に移動する。ユーザがマイクをマイクロホンアレイの指向性範囲外に移動すると、音声はノイズとして処理され、この時、マイクロホンアレイの指向性を利用する技術では音声を正確に検出することができない。

現在、通常の通信イヤホン受話端末の音声増強方法は、主に以下の二つの技術を採用している。その一方の技術としては、自動音量制御技術（中国発明特許出願公開明細書ＣＮ１５０７２９３Ａ参照）を用いることであり、即ち外部ノイズレベルが高い場合、スピーカユニットの出力を自動に向上させる方法であり、これは、受動的な方法で、スピーカユニット自体の出力及び耳栓型イヤホンにより耳に導入される音圧の業界標準によって制限され、スピーカユニットの音量を無制限に上げることができず、且つ、スピーカから発した高強度の音声は、利用者自身の聴力や身心健康に対し損害を与える。その他の技術としては、従来の能動／受動を組合せたノイズ制御技術（中国発明特許出願公開明細書ＣＮ１０１４３２７９８Ａ参照）を通信イヤホンに用いた技術であり、このようなイヤホンは、ヘッドセットと耳栓型イヤホンとの二種に分けられ、耳栓型イヤホンは、一般的に皮革のカバーが耳と密接性の結合を行う形式を採用し、一方で材料の吸音と遮音により中、高周波ノイズを低減し、他方でアクティブノイズ制御技術により低周波（主に３００Ｈｚ以下）ノイズを有効に低減することにより、全周波数帯域において外部ノイズに対する比較的によい制御効果を実現することで、通信イヤホンの受話端末での音声のＳＮ比を有効に向上することができる。

しかし、密封式の通信イヤホンを長時間にわたって装着すると、利用者に耳道の内外気圧が不均衡な感覚を与えることになり、装着の快適性欠如問題は、このようなタイプのアクティブノイズ低減技術が通信機器に広く普及されない要因となる。

なお、強ノイズ環境で通信を行おうとすると、送話、受話端末の音声に対して同時にノイズ低減による音声増強を行う必要があり（中国発明特許ＣＮ１０１８５３６６７Ａ参照）、このように、送話端末に適応フィルタリングとシングルチャネルノイズ低減を、受話端末に密閉式フィードバックアクティブノイズ低減をそれぞれ用いることにより通信双方の音声増強を実現する技術は、送話、受話端末にそれぞれ前述した応用の限界が存在しているほか、その近端の適応フィルタリングのノイズ参照信号が受話端末の密閉式フィードバックアクティブノイズ制御システムから取得されるので、ノイズの相関性と因果性を保証することができない問題も存在している。

上記問題に鑑み、本発明は、複数のマイクで採集された信号を多重化することにより音声増強とノイズ低減を行う技術を提供することを目的とする。それによると、送話端末の音声増強技術は、複数のマイクで取得された音声信号のエネルギ差に基づいてイヤホンの装着状態を識別することにより異なるノイズ低減処理方法を選択することで、イヤホンの装着状態に関わらず音声が損害しないほか、イヤホンの正常装着時に優れたノイズ低減効果を提供することができる。また、受話端末に非密閉式フィードフォワードアクティブノイズ制御技術を採用することにより、ノイズ低減の同時にイヤホン装着の快適性を維持している。

本発明の一つの形態によれば、少なくとも２つのマイクからなる送話端末と、少なくとも一つのマイク及び一つのスピーカからなる受話端末とを含む通信イヤホンの送話端末と受話端末において、複数のマイク信号を多重化してそれぞれノイズ低減処理を実施する、通信イヤホンの音声増強方法であって、
前記送話端末でのノイズ低減処理では、
前記通信イヤホンのマイクにより取得されたサウンド信号のエネルギ差を比較することにより前記通信イヤホンの装着状態を確定し、前記エネルギ差が第１の所定閾値より大きければ、前記通信イヤホンが正常に装着されたと確定し、まず前記サウンド信号に対してマルチマイクノイズ低減を行い、次にシングルチャネルノイズ低減により残留された定常ノイズをさらに抑圧し、前記エネルギ差が第１の所定閾値より大きくなければ、前記通信イヤホンが正常に装着されていないと確定し、直接シングルチャネルノイズ低減により前記サウンド信号における定常ノイズを抑圧する。

その中、好ましくは、前記サウンド信号に対してマルチマイクノイズ低減を行う過程において、具体的には、前記サウンド信号における各周波数成分のエネルギ差を比較することにより前記サウンド信号における音声信号成分とノイズ信号成分を区別し、前記ノイズ信号成分に対して減衰処理を行うことを含む。

本発明の他の形態によれば、少なくとも２つのマイクからなる送話端末と、少なくとも一つのマイク及び一つのスピーカからなる受話端末と、送話端末ノイズ低減処理部及び受話端末ノイズ低減処理部とを含む通信イヤホンであって、
前記送話端末ノイズ低減処理部は、
送話端末を構成するマイクにより取得されたサウンド信号のエネルギ差を比較することにより前記通信イヤホンの装着状態を確定し、前記エネルギ差が第１の所定閾値より大きければ、前記通信イヤホンが正常に装着されたと確定し、そうでなければ、前記通信イヤホンが正常に装着されていないと確定する装着状態確定モジュールと、
前記通信イヤホンが正常に装着された時、前記サウンド信号に対してマルチマイクノイズ低減処理を行うマルチマイクノイズ低減モジュールと、
前記マルチマイクノイズ低減モジュールで前記サウンド信号に対しノイズ低減処理した後、残留された定常ノイズをさらに抑圧する、また、前記通信イヤホンが正常に装着されていない時、前記サウンド信号における定常ノイズに対して直接抑圧処理を行うシングルチャネルノイズ低減モジュールと、を含む。

また、本発明の他の形態によれば、送話端末ノイズ低減処理部と受話端末ノイズ低減処理部とを含む音声増強装置であって、
前記送話端末ノイズ低減処理部は、
前記送話端末を構成するマイクにより取得されたサウンド信号のエネルギ差を比較することにより、前記送話端末のノイズ低減モードを確定する送話端末ノイズ低減モード確定モジュールと、
前記エネルギ差が第１の所定閾値より大きい場合、前記サウンド信号に対してマルチマイクノイズ低減処理を行うマルチマイクノイズ低減モジュールと、
前記マルチマイクノイズ低減モジュールで前記サウンド信号をノイズ低減処理した後、残留された定常ノイズをさらに抑圧し、また、前記エネルギ差が前記第１の所定閾値以下である場合、前記サウンド信号における定常ノイズに対して直接抑圧処理を行うシングルチャネルノイズ低減モジュールと、を含む音声増強装置を提供する。

なお、受話端末では、本発明のイヤホンは、非密閉式のインイヤ式構造とされることにより長時間にわたる装着の際にも快適性を保証するとともに、非密閉式イヤホン上でフィードフォワードアクティブノイズ制御技術を実現し、音声周波数帯域においてノイズ低減を実現することにより、受話端末音声の高ＳＮ比を保証する。

本発明の一つの好ましい実施の形態では、ハウリング検出部をさらに設け、送話端末で取得されたサウンド信号の変化に対して適時に受話端末ノイズ低減処理方式を調整することにより、システムのロバストネスを増加させる。

上記本発明に係る通信イヤホンの音声増強方法、通信イヤホン及び音声増強装置によれば、複数のマイクで取得された信号を有効に多重化できるとともに、通信イヤホンの送話、受話端末で音響信号処理方法を用いて音声増強を実現し、ノイズ環境で近端と遠端の音声の高ＳＮ比を確保し、通信双方に明晰度と了解度の高い音声信号を提供する。

上述の及び関連の目的を実現するために、本発明の一つ又は複数の形態は、詳細に後述するとともに特許請求の範囲において別途記載した特徴を含む。以下の説明及び図面では、本発明の幾つかの例示の形態を詳細に説明する。しかしながら、これら形態で記載されるのは、本発明の原理を利用可能な各種の形態のうち一部の形態に過ぎない。また、本発明の旨は、これら形態及びそれらの同等物を全て含む。

以下の図面を組合せた説明及び特許請求の範囲の内容を参照するとともに、本発明に対する全面的な理解により、本発明のその他の目的及び結果は、より明確で理解し易くなるであろう。

従来の技術におけるマイクロホンの通信イヤホン上の組立構造概略図である。 本発明の実施例に係る通信イヤホンの構造概略図である。 本発明の実施例に係る通信イヤホンのシステム構造概略図である。 本発明に係る通信イヤホンの音声増強方法における送話端末ノイズ低減処理部分のフローチャートである。 本発明の実施例に係る送話端末ノイズ低減処理部の論理構造概略図である。 本発明に係る通信イヤホンの音声増強方法における受話端末ノイズ低減処理部分のフローチャートである。 本発明の実施例に係る受話端末ノイズ低減処理部の論理構造概略図である。 本発明の実施例に係るイヤホンの正常装着状態の概略図である。 本発明の実施例に係るイヤホン非正常装着状態の概略図である。

全ての図面では、同一の符号は、相似又は対応する特徴又は機能を示す。

本発明では、従来のノイズ低減技術の不足を克服し、音声信号を損害せずにノイズを有効に減衰・抑圧するために、送話端末と受話端末で同時にノイズ低減を行うとともに、複数のマイクで受信されたサウンド信号の具体的な特徴、主にそれに含まれた音声信号とノイズ信号の成分エネルギ差に基づいて、イヤホンの装着状態を識別し、対応する音声増強、ノイズ低減方法を用いることにより、より適切にノイズ低減処理を行い、音声品質を確保し、より優れたノイズ低減効果を奏することが可能である。

以下、通常の通信イヤホンを例として本発明に係る音声増強方法の流れと装置の構造について詳しく説明する。

本発明に係る通信イヤホンの音声増強方法は、マイクロホンアレイで採集されたサウンド信号を有効に多重化し、通信イヤホンの送話、受話端末でそれぞれマルチマイクロホン音声増強技術と非密閉式フィードフォワードアクティブノイズ制御技術を用いることにより、ノイズ環境での通信イヤホンの送話、受話端末における音声のＳＮ比を向上させ、通信音声の明晰度と了解度を保証することにその特徴がある。

その中、本発明は、送話端末でユーザの装着状態の識別を組合せたマルチマイクノイズ低減技術を提案しており、この技術は、マイクの指向性を用いて音声を検出する必要がなく、マイクで取得されたサウンド信号におけるメイン信号と参照信号とのエネルギ差を検出することにより異なるユーザの装着状態を識別することで、対応するノイズ低減方法を採用することにより、マイク位置又は形状が固定されていない場合、音声がノイズ低減処理により損害しないようにする。本発明は、受話端末では非密閉式フィードフォワードアクティブノイズ制御技術を採用することにより、装着の快適性を保証するとともに音声周波数帯域内のノイズ信号を有効に低減させる。

以下、図面を参照しながら本発明の具体的な実施例について詳しく説明する。

本発明に係る通信イヤホンの音声増強方法は、送話端末と受話端末との両方でノイズ低減処理を行っており、本発明はマイクで採集されたサウンド信号を多重化した上でノイズ低減処理を行うため、本発明で応用される通信イヤホンには、少なくとも２つのマイクからなる送話端末と、少なくとも一つのマイクと一つのスピーカからなる受話端末と、サウンド信号に対してノイズ低減処理を行う本体とが含まれる。図２は、本発明の一つの通信イヤホンを適用する実施例の構造概略図である。

図２に示すように、本実施例で適用される通信イヤホンの耳入れ部分は、従来の非密閉耳入れ型イヤホン構造を採用し、耳とよく結合可能であり、装着の堅牢性を実現するとともに耳道を完全に密封することがなく、長時間の装着の際快適性を維持する。通信イヤホンは、送話端末、受話端末、イヤホンコード及び本体２３０を含み、その中、送話端末は三つのマイクで採集された信号を利用しており、マイク２１２はイヤホンコード上に設置され、マイク２１４、２１６はそれぞれイヤホンの支持棒の裏部に設置され、孔が外へ向かう。受話端末は、２つのマイク２１４及び２１６と２つのスピーカ２２４及び２２６を含む。

このような通信イヤホンでは、イヤホンの正常装着通話の際、利用者はイヤホンコード上に取り付けられたマイク２１２を口の付近に接近させる（図８参照）。このマイク２１２は口と距離が近く、ＳＮ比が比較的に高いサウンド信号を取得することが可能なので、当該マイク２１２をメインマイクと見なす。マイク２１４と２１６は、イヤホンの支持棒の裏部に設置され孔が外へ向かっており、通信イヤホンの正常の利用過程において利用者の口から比較的遠く離れ、比較的に良好なノイズ参照信号を取得することが可能であるので、この２つのマイクを参照マイクと見なす。

本発明の一つの具体的な実施形態では、三マイク通信イヤホン３００を採用したシステムは、図３のブロック図に示され、その中、本体はＤＳＰ部２００と、アナログ回路からなる受話端末音声ノイズ低減処理部７００とを含み、ＤＳＰ部の送話端末ノイズ低減処理部４００は送話端末の音声の増強を行い、ハウリング検出部５００は受話端末音声増強モジュールにハウリング検出制御信号を提供する。受話端末音声ノイズ低減処理部７００は、受話端末の音声ノイズ低減を実施する。そのうち、本体は、ＤＳＰと幾つかのアナログ回路とにより単独で実現されてもよく、オーディオ設備又は携帯電話機の一部として実現されてもよい。

注意すべきこととして、図３に示す実施例で採用されたマイクの個数が３であるが、本発明の具体的な応用では他の数量のマイク、例えばイヤホンの支持棒の裏部に設置された２つのマイク（例えば２１４と２１６）だけを採用してもよく、この時、送話端末にはメインマイクと参照マイクとの区別が存在せず、シングルチャネルノイズ低減モードだけを用いればよい。それぞれイヤホンコードとイヤホンの支持棒の裏部に設置された２つのマイク（例えば２１２と２１４）を採用すれば、利用者の装着状況に応じてマルチマイクノイズ低減モード及び／又はシングルチャネルノイズ低減モードを選択することができ、或いは、具体的な通信製品の要求に応じてさらに多くのマイクを採用することにより、有用な音声信号とノイズ信号を的確に取得するという目的に達することができる。この時、マイクによって取得された具体的なサウンド信号によってメインマイク、参照マイクの区別があるか否かを判断することにより、対応のノイズ低減モードを採用することができる。

以下、それぞれ送話端末と受話端末との二つの部分から本発明に係る音声増強方法及び装置について説明する。

図４は、本発明に係る通信イヤホンの音声増強方法における送話端末ノイズ低減処理部分のフローチャートである。

図４に示すように、送話端末ノイズ低減処理部分のノイズ低減処理の流れは、以下を含む：
Ｓ４１０：通信イヤホンの受話端末のマイクによって取得された、音声信号とノイズ信号を含むサウンド信号のエネルギを比較することにより、マイクに取得された信号のエネルギ差を確定する。
Ｓ４２０：確定されたエネルギ差が第１の所定閾値より大きいか否かを判断することによりイヤホンの装着状態を判断し、当該エネルギ差が第１の所定閾値より大きければ、イヤホンが正常に装着されると判断し（図８参照）、ステップＳ４３０に進み、前記エネルギ差が第１の所定閾値より大きくなければ、イヤホンが正常に装着されていないと判断し（図９参照）、ステップＳ４４０に進む。
Ｓ４３０：取得されたサウンド信号に対してマルチマイクノイズ低減を行う。
Ｓ４４０：シングルチャネルノイズ低減によりサウンド信号における定常ノイズを抑圧する。

図５は本発明の実施例に係る通信イヤホンの送話端末で音声信号処理方法により音声増強を行う送話端末のノイズ低減処理部の論理構造概略図である。

図５に示すように、送話端末ノイズ低減処理部４００は、装着状態確定モジュール４２０、マルチマイクノイズ低減モジュール４４０及びシングルチャネルノイズ低減モジュール４６０を含む。

その中、装着状態確定モジュール４２０は、送話端末を構成するマイクによって取得された、音声信号とノイズ信号を含むサウンド信号のエネルギ差を比較することにより通信イヤホンの装着状態を判断し、エネルギ差が第１の所定閾値より大きければ、前記通信イヤホンが正常に装着されると判断し、そうでなければ、前記通信イヤホンが正常に装着されていないと判断する。

マルチマイクノイズ低減モジュール４４０は、上記エネルギ差が第１の所定閾値より大きく、通信イヤホンが正常に装着される時、マイクで取得されたサウンド信号に対してマルチマイクノイズ低減処理を行う。

シングルチャネルノイズ低減モジュール４６０は、マルチマイクノイズ低減モジュール４４０によりサウンド信号に対してノイズ低減処理を行った後、残留された定常ノイズをさらに抑圧し、また、上記エネルギ差が第１の所定閾値以下であり、通信イヤホンが非正常装着状態にある時、サウンド信号における定常ノイズに対して直接抑圧処理を行う。

以下、図３、図４及び図５を参照しながら本発明に係る送話端末でのノイズ低減処理方法及びノイズ低減処理モジュールについてより詳しく説明する。

通信イヤホンの耳栓が装着状態にある時、マイク２１４、２１６の人の口に対する距離及び位置が概ね確定され、本発明では参照マイクと見なされており、それらによって取得されたサウンド信号は参照信号と見なされる。正常の応用状態では、マイク２１２は人の口に近い位置に持ち込まれ、本発明ではメインマイクと見なされ、取得されたサウンド信号はメイン信号と見なされる。

しかし、マイク２１２の位置は、実際の利用過程において大きい不確定性がある。そのマイク２１２は、人の口との距離が比較的に近い可能性もあるし、マイク２１４、２１６から人の口までの距離と同じくなる可能性もある。通常、マイク２１２と人の口との距離が比較的に近い場合を正常装着モードと定義され、この時、マイク２１２で取得されたメイン信号がマイク２１４、２１６で取得された参照信号より強く、通常の通信環境で送話状態にある場合、メイン信号が参照信号より６ｄＢ以上高い。マイク２１２が人の口から遠く離れる場合、非正常装着モードと定義され、この時、マイク２１２で取得されたメイン信号のエネルギがマイク２１４、２１６で取得された参照信号のエネルギに近付く。この特徴によって、メインマイクと参照マイクとを区分した上で、通信イヤホンのメイン、参照マイクでそれぞれ取得されたサウンド信号のエネルギ差を比較することによりイヤホンが正常装着状態にあるか否かを判断する。

具体的には、例として、エネルギ差を確定する過程において、まず、メインマイク２１２と参照マイク２１４で採集された信号をそれぞれＮ（Ｎ＝５１２）個のサンプリング点毎の１フレームデータに分け、この２のフレームデータのエネルギの和Ｐ＿１１２、Ｐ＿１１４を求め、次に、エネルギの和の比率Ｒp＝Ｐ＿１１２／Ｐ＿１１４を求める。Ｒpが閾値Ｒｔｈ（例えばＲｔｈ＞６ｄＢ）より大きい場合、正常装着モードであり、この時、マルチマイクノイズ低減モジュール４4０でサウンド信号に対してマルチマイクノイズ低減処理を行い、次に、シングルチャネルノイズ低減を行う。Ｒpが閾値Ｒｔｈより小さい場合、非正常装着モードであり、音声とノイズをよく区別することができず、同様にマルチマイクノイズ低減処理も採用すれば、音声はノイズとして抑圧される可能性があるので、シングルチャネルノイズ低減モジュール４6０だけを用いてノイズ低減処理を行うことにより、音声損害を避けている。

その中、マルチマイクノイズ低減モジュール４４０は、サウンド信号成分区別モジュール４４２とノイズ信号減衰モジュール４４４を含む。サウンド信号成分区別モジュール４４２は、サウンド信号における各周波数成分のエネルギ差を比較することによりサウンド信号における音声信号成分とノイズ信号成分を区別するものであり、ノイズ信号減衰モジュール４４４は、サウンド信号成分区別モジュール４４２によって区別されたノイズ信号成分に対して減衰処理を行うものである。

具体的には、例として、ユーザの正常装着の際、マイク２１２で取得された近端の音声信号成分は、マイク２１４及び２１６より６ｄＢ以上大きく、マイク２１４、２１６及び２１２で取得されたノイズ成分のエネルギは相当する。そのため、マルチマイクノイズ低減モジュール４4０は、マイク２１２とマイク２１４（つまりメインマイクと参照マイク）で取得された信号における各周波数成分のエネルギ差を利用して音声成分とノイズ成分を区別すると共に、ノイズ成分に対してノイズ低減処理を行う。

まず、サウンド信号成分区別モジュール４４２で音声信号とノイズ信号を区別する。具体的な処理過程は以下の通りである。

マイク１１２と２１４の１フレームデータをそれぞれ高速フーリエ変換し、時間領域データを各周波数成分Ｆｉ＿１１２、Ｆｉ＿１１４(ｉはｉ個目の周波数成分を示す)に変換する。

各周波数のエネルギＰｉ＿１１２、Ｐｉ＿１１４を計算し、各周波数成分のエネルギを比較してエネルギ比率Ｒｉ＝Ｐｉ＿１１２／Ｐｉ＿１１４を得る。

Ｒｉが閾値Ｒｔｈｉ（Ｒｔｈｉ＞６ｄＢ）より大きい場合、ｉ個目の周波数成分が音声であり、Ｒｉが閾値Ｒｔｈｉ（Ｒｔｈｉ＞６ｄＢ）より小さい場合、ｉ個目の周波数成分がノイズであると判断する。

次に、音声成分を保持し、ノイズ信号減衰モジュール４４４でノイズ成分を減衰する。即ち、Ｒｉが閾値Ｒｔｈｉ（Ｒｔｈｉ＞６ｄＢ）より大きい場合、Ｆｉ＿１１２を処理せず、Ｒｉが閾値Ｒｔｈｉ（Ｒｔｈｉ＞６ｄＢ）より小さい場合、Ｆｉ＿１１２にゲインＧｉ（０＜Ｇｉ＜１）を乗算して、ノイズ低減の目的に達する。

最後に、処理されたＦｉ＿１１２を逆フーリエ変換して、ノイズ低減処理後の純粋な音声信号を得る。

本発明におけるシングルチャネルノイズ低減モジュール４６０のノイズ低減原理は、ノイズの定常な特性によって入力信号の各周波数帯域における定常ノイズのエネルギを統計して低減することである。本発明の一つの実施の形態では、シングルチャネルノイズ低減モジュール４６０は、ノイズエネルギ統計モジュール４６２とノイズエネルギ除去モジュール４６４とを含み、その中、ノイズエネルギ統計モジュール４６２は、平滑平均処理でサウンド信号における各周波数のノイズエネルギを統計するものであり、ノイズエネルギ除去モジュール４６４は、サウンド信号からノイズエネルギ統計モジュール４６２により統計されたノイズエネルギを除去するものであり、ノイズ成分をさらに低減して音声成分を保留することにより、音声信号ＳＮ比を向上する効果に達する。

本発明は、受話端末でフィードフォワードアクティブノイズ制御方法によりノイズ低減処理を行う。通信イヤホンの耳入れ部分は、非密閉式の耳栓構造を採用し、主としてイヤホンを装着した後の耳道内外の気圧が一致するようにし、長時間装着の際の快適性を維持する。フィードフォワードアクティブノイズ制御マイクは、一般的に通信イヤホンの外面に置かれ、外部ノイズ情報をできるだけ多く取得する。そのため、通信イヤホンに適用されたこのようなフィードフォワードアクティブノイズ制御の構造は、システムの因果性に対する要求を満足可能であり、マイクの正面から送れてきた音声は、マイクに達した後に耳に達し、他の方向から送れて来たノイズは、頭部の回折により基本的に先にマイクによって取得される。

図６は、本発明に係る通信イヤホンの音声増強方法における受話端末ノイズ低減処理部分のフローチャートである。

図６に示すように、本発明における、受話端末でフィードフォワードアクティブノイズ制御方法により受信された音声周波数帯域内のノイズ信号を低減する過程は、具体的に以下のステップを含む：
Ｓ６１０：通信イヤホンの受話端末のマイクでノイズ信号を取得する。

Ｓ６２０：取得されたノイズ信号に基づいてアンチノイズ信号を確定する。

Ｓ６３０：確定されたアンチノイズ信号と受話端末で受信された音声信号とを混合した後、受話端末を構成するスピーカを通じて耳に導入し、前記アンチノイズと耳に入った原始ノイズとを相殺し、音声信号は不変であることにより、受信された音声周波数帯域内のノイズ信号を低減する。

さらに、ステップＳ６２０でのノイズ信号によってアンチノイズ信号を確定する過程において、まず位相反転器でノイズ信号に対して位相反転処理を行って、初級アンチノイズ信号を確定し、次に位相補償器で音声周波数範囲内において初級アンチノイズ信号の位相を修正及び調整して、前記ノイズ信号の位相とちょうど反転するアンチノイズ信号を確定するとともに、並列Ｔ回路網で具現されたアクティブフィルタにより、非密閉式構造による低周波部分の低周波位相損失を補償する。

図７は本発明の実施例に係る受話端末ノイズ低減処理部の論理構造概略図である。

図７に示すように、受話端末ノイズ低減処理部７００は、ノイズ信号取得モジュール７２０、アンチノイズ信号確定モジュール７４０及び出力信号混合モジュール７６０を含み、その中、アンチノイズ信号確定モジュール７４０は、位相反転器７４３と位相補償器７４４を含むことができる。

ノイズ信号取得モジュール７２０は、通信イヤホンの受話端末のマイクを通じてノイズ信号を取得するものであり、受話端末が遠端音声信号を受信する時、マイクで取得されたサウンド信号は一般的に全てノイズ信号と見なされるため、イヤホンの支持棒の裏部に設置されたマイク２１４と２１６は、このノイズ信号取得モジュール７２０に相当する。アンチノイズ信号確定モジュール７４０は、ノイズ信号取得モジュール７２０で取得されたノイズ信号に基づいてアンチノイズ信号を確定するものであり、出力信号混合モジュール７６０は、アンチノイズ信号確定モジュール７４０で確定されたアンチノイズ信号と前記受話端末で受信された音声信号とを混合した後、受話端末を構成するスピーカ２２４を通じて耳に導入する。当該アンチノイズと耳に入った原始ノイズ（自然的な音響チャネルで伝達される）とは互いに相殺され且つ音声信号は不変であることにより、受信された音声周波数帯域内のノイズ信号が低減される。

位相反転器７４２は、前記ノイズ信号に対して位相反転処理を行い、初級アンチノイズ信号を確定する。

位相補償器７４４は、音声周波数範囲内で初級アンチノイズ信号の位相に対し修正及び調整を行い、ノイズ信号の位相とちょうど逆位相のアンチノイズ信号を確定すると共に、並列Ｔ回路網で具現されたアクティブフィルタにより、非密閉式構造に起因する低周波部分の低周波位相損失を補償する。

なお、受話端末ノイズ低減処理部７００は、さらに第１増幅器７３０と第２増幅器７５０を含んでもよい。第１増幅器７３０は、ノイズ信号取得モジュール７２０により取得されたノイズ信号を増幅するものであり、第２増幅器７５０は、アンチノイズ信号と音声信号が混合された混合信号を増幅するものである。

具体的には、例として、マイク２１４で取得されたノイズ信号は、前端の第１増幅器７３０で増幅された後、位相反転器７４２と位相補償器７４４を経て、原始ノイズと幅が同じで位相が逆転するアンチノイズ信号を生成する。

位相補償器７４４は、主にフィードフォワードアクティブノイズ制御技術を非密閉式通信イヤホンに適用する場合に存在している遅延の問題を解決するために、回路面で音声周波数範囲内におけるアンチノイズ信号の位相に対して相応の修正と調整を行うことにより、アンチノイズと原始ノイズ位相がちょうど逆転するとの目的に達する。その一般的な実現方式は、パッシブ又はアクティブタイプの並列Ｔ回路網により実現される。

アンチノイズ信号と入力された音声信号とは、加算器からなる出力信号混合モジュール７６０によって回路上で混合され、後端の第２増幅器７５０に入力され、第２増幅器７５０はアンチノイズと音声信号とが混合された混合信号を増幅した後、直接スピーカ２２４を駆動する。

同様に、マイク２１６で取得されたノイズ信号は、前端の第１増幅器７３０による増幅、位相反転器７４２による位相反転、位相補償器７４４による補償、加算器による混合、及び第２増幅器７５０による増幅を経た後、直接スピーカ２２６を駆動する。

マイクの前端の第１増幅器７３０、位相反転器７４２、位相補償器７４４、加算器、第２増幅器７５０等の部分は、単独なデバイスで実現されてもよく、一のデバイスで一つの又は複数のモジュールの機能を実現してもよい。

アンチノイズと音声が混合された混合信号は、スピーカにより音声信号に変換されて耳に導入され、スピーカから発されたアンチノイズ信号と音響チャネルから耳に伝播された原始ノイズ信号は、幅が同じで位相が逆転しているため、耳で重ねられ相殺されることにより、原始ノイズとアンチノイズが同時に除去され、ノイズが低減され、音声エネルギが不変になるので、音声信号のＳＮ比を有効に向上させることにより、耳に伝播されたのは、明晰で了解可能な、比較的に純粋な音声信号である。

従来の密閉式のフィードフォワードアクティブノイズ制御を採用したイヤホンについて、外部ノイズが参照マイクから耳に伝播する場合、受動防音材料を経過することで、音響チャネルの遅延を増加させるため、電子チャネルにより多くの処理時間を提供し、システムの因果性を保証する。フィードフォワードアクティブノイズ制御技術を非密閉式構造通信イヤホンに適用する場合に存在している遅延の問題を解決するために、二つの面からシステムに対して適切な選択と設計を行う必要がある。まず、スピーカ単体の前、後チャンバーに対して適切な設計と処理を行って、前、後チャンバーの大きさと孔を調整することによりスピーカから耳までの音声周波数範囲内の位相応答を改善する。次に、回路上で位相反転器に対して位相補償を行う必要があり、回路自体から遅延に対して修正と補償を行うことにより、全音声周波数範囲内においてよいノイズ低減効果を有するようにする。

マイクと耳との距離の設計から見ると、一方では、マイクと耳とが近ければ近いほど、両点のノイズ相関性がよくなり、ノイズ低減効果もいいとされており、一方では、マイクと耳が一定の距離を有することにより、ノイズがマイクから耳に伝播される時間内に、より多くの電子処理時間を持たせるほうがいい。なお、マイクとスピーカとの間にも、一定の空間距離を保持すると共に適切な音響隔離を行って、スピーカから発された信号がマイクで取得されることを避けることにより、マイクで取得されたノイズ信号に有用な音声信号が含まれ、且つシステム全体がハウリングをフィードバックするフィードバック回路を形成することを避けている。フィードバック回路が存在すれば、システムゲインが高すぎるとハウリング現象が現れる可能性がある。

なお、非密閉式フィードフォワードアクティブノイズ低減イヤホンについて、スピーカと外部ノイズを取得する参照マイクとの間には固有の漏れチャネルが存在している。イヤホンの正常装着時に、スピーカから参照マイクまでの音響伝達関数の幅が非常に小さいので、正常利用時に、非密閉式フィードフォワードアクティブノイズ制御技術は音声信号を損害しないうえ、システムにも不安定なハウリング現象が存在しない。しかし、イヤホンを密閉又は半密閉の空間内に置いた時、スピーカから参照マイクまでの音響伝達関数の幅、特に高周波部分は急速に増大する。

このような幅の大きな音響伝達関数と、高いゲインを有する制御回路とが、閉ループフィードバックシステムを構成し、閉ループフィードバックシステムの幅と位相が一定の条件を満たす時、システムは自励ハウリングを発生し、ロバストネス問題が存在する。

そのため、本発明の一つの好ましい実施の形態では、ＤＳＰ部は、受話端末音声増強モジュールにハウリング検出制御信号を提供するハウリング検出部をさらに含み、具体的には、通信イヤホンのマイクで取得されたサウンド信号のスペクトルにおける、ある周波数点のエネルギが他の周波数帯域のエネルギよりも予め設定された値だけ高く、かつ当該周波数点のエネルギが絶えず増加している場合、制御信号によって受話端末のノイズ低減処理を自発的に調整する。

通常、ある周波数点のエネルギがその周りの他の周波数帯域のエネルギより１０ｄＢ以上高く、かつこの周波数点のエネルギが絶えず増加している場合、システムが不正常な状態にあると判断し、ハウリング検出部は、制御信号を出力しアクティブノイズ制御回路を調整する。制御方式は、第１増幅器のゲインを減少するか又はアクティブノイズ制御回路の電源を切断することにより実現可能である。

送話端末、受話端末の音声信号は、有線方式によって他の設備に接続されてもよいし、ブルートゥース等の無線接続方式によって他の設備に接続されてもよい。

以上、図面と複数の具体的な実施の形態を参照しながら本発明に係るノイズ環境での通信イヤホンの送話、受話端末の音声ＳＮ比を向上する技術及び装置を説明した。本発明の概念を逸脱しない条件下で、創造性のある労働を必要とせずに、ここで公開された特定の装置及び技術について多くの応用と補正を行うことができるのは、当業者にとって明らかである。そのため、本発明は、ここで公開された装置及び技術に提出されるか又は所有する各々の新規な特徴及び新規な特徴の組合せを含むと理解すべきであり、当業者が本発明に開示された内容に基づいてなされた均等な修飾や変更は、全て特許請求の範囲に記載の保護範囲内に含まれると理解されるべきである。

Claims (13)

1. 少なくとも２つのマイクからなる送話端末と、少なくとも一つのマイク及び一つのスピーカからなる受話端末とを含む通信イヤホンの送話端末と受話端末において、複数のマイク信号を多重化してそれぞれノイズ低減処理を実施する、通信イヤホンの音声増強方法であって、
   前記送話端末でのノイズ低減処理において、
   送話端末を構成したマイクにより取得されたサウンド信号のエネルギ差を比較することにより前記通信イヤホンの装着状態を確定し、
   前記エネルギ差が第１の所定閾値より大きければ、前記通信イヤホンが正常に装着されたと確定し、まず前記サウンド信号に対してマルチマイクノイズ低減処理を行い、次にシングルチャネルノイズ低減処理により残留された定常ノイズをさらに抑圧し、
   前記エネルギ差が第１の所定閾値より大きくなければ、前記通信イヤホンが正常に装着されていないと確定し、直接シングルチャネルノイズ低減処理により前記サウンド信号における定常ノイズを抑圧する、通信イヤホンの音声増強方法。
2. 前記サウンド信号に対してマルチマイクノイズ低減を行う過程において、
   前記サウンド信号における各周波数成分のエネルギ差を比較することにより前記サウンド信号における音声信号成分とノイズ信号成分を区別し、
   前記ノイズ信号成分に対して減衰処理を行う、請求項１に記載の通信イヤホンの音声増強方法。
3. 前記サウンド信号における各周波数成分のエネルギ差を比較することにより前記サウンド信号における音声信号成分とノイズ信号成分を区別する過程において、
   前記サウンド信号におけるある周波数成分のエネルギ差が第２の所定閾値より大きければ、エネルギ差が前記第２の所定閾値より大きい当該周波数成分を音声信号成分とし、
   前記サウンド信号におけるある周波数成分のエネルギ差が前記第２の所定閾値以下であれば、エネルギ差が前記第２の所定閾値以下である当該周波数成分をノイズ信号成分とする、請求項２に記載の通信イヤホンの音声増強方法。
4. シングルチャネルノイズ低減により定常ノイズを抑圧する過程において、
   平滑平均の方法により前記サウンド信号における各周波数のノイズエネルギを統計し、
   前記サウンド信号から前記ノイズエネルギを除去する、請求項１に記載の通信イヤホンの音声増強方法。
5. 前記通信イヤホンの耳入れ部分は、非密閉式耳栓構造を採用し、正常装着状態で前記通信イヤホンのスピーカと耳道との間の結合位置は相対的に固定されており、
   前記受話端末でのノイズ低減処理において、
   前記受話端末を構成するマイクでノイズ信号を取得し、
   前記ノイズ信号に基づいてアンチノイズ信号を確定し、
   前記アンチノイズ信号と前記受話端末で受信された音声信号とを混合した後、受話端末を構成するスピーカにより耳に導入する、請求項１〜４の何れか１項に記載の通信イヤホンの音声増強方法。
6. 前記ノイズ信号に基づいてアンチノイズ信号を確定する過程において、
   まず、位相反転器で前記ノイズ信号に対して位相反転処理を行って、初級アンチノイズ信号を確定し、
   次に、並列Ｔ回路網で具現されたアクティブフィルタを含み且つ非密閉式構造に起因する低周波部分の低周波位相損失を補償するための位相補償器を用い、音声周波数範囲内において前記初級アンチノイズ信号の位相を修正及び調整して、前記ノイズ信号の位相とちょうど逆位相となるアンチノイズ信号を確定する、請求項５に記載の通信イヤホンの音声増強方法。
7. 前記音声増強方法は、ハウリングを検出し抑圧する処理をさらに含み、具体的には、
   前記通信イヤホンのマイクによって取得されたサウンド信号のスペクトルにおける、ある周波数点のエネルギが他の周波数帯域のエネルギに比べ予め設定された値だけ高く、かつ前記周波数点のエネルギが絶えず増加している場合、前記受話端末に対するノイズ低減処理を自発的に調整する、請求項１に記載の通信イヤホンの音声増強方法。
8. 少なくとも２つのマイクからなる送話端末と、少なくとも一つのマイク及び一つのスピーカからなる受話端末と、送話端末ノイズ低減処理部及び受話端末ノイズ低減処理部とを含む通信イヤホンであって、
   前記送話端末ノイズ低減処理部は、
   前記送話端末を構成するマイクにより取得されたサウンド信号のエネルギ差を比較することにより前記通信イヤホンの装着状態を確定し、前記エネルギ差が第１の所定閾値より大きければ、前記通信イヤホンが正常に装着されたと確定し、前記エネルギ差が第１の所定閾値より大きくなければ、前記通信イヤホンが正常に装着されていないと確定する装着状態確定モジュールと、
   前記通信イヤホンが正常に装着された時、前記サウンド信号に対してマルチマイクノイズ低減処理を行うマルチマイクノイズ低減モジュールと、
   前記マルチマイクノイズ低減モジュールで前記サウンド信号をノイズ低減処理した後、残留された定常ノイズをさらに抑圧する、または、前記通信イヤホンが正常に装着されていない場合、前記サウンド信号における定常ノイズに対して直接抑圧処理を行うシングルチャネルノイズ低減モジュールとを含む、通信イヤホン。
9. 前記マルチマイクノイズ低減モジュールは、さらに、
   前記サウンド信号における各周波数成分のエネルギ差を比較することにより前記サウンド信号における音声信号成分とノイズ信号成分を区別するサウンド信号成分区別モジュールと、
   前記ノイズ信号成分に対して減衰処理を行うノイズ信号減衰モジュールとを含む、請求項８に記載の通信イヤホン。
10. 前記シングルチャネルノイズ低減モジュールは、さらに、
    平滑平均の方法により前記サウンド信号における各周波数のノイズエネルギを統計するノイズエネルギ統計モジュールと、
    前記サウンド信号から前記ノイズエネルギを除去するノイズエネルギ除去モジュールとを含む、請求項８に記載の通信イヤホン。
11. 前記通信イヤホンの耳入れ部分は、非密閉式耳栓構造を採用し、正常装着状態で前記通信イヤホンのスピーカと耳道との間の結合位置が相対的に固定されており、
    前記受話端末ノイズ低減処理部は、
    前記受話端末を構成するマイクを用いてノイズ信号を取得するノイズ信号取得モジュールと、
    前記ノイズ信号に基づいてアンチノイズ信号を確定するアンチノイズ信号確定モジュールと、
    前記アンチノイズ信号と前記受話端末で受信された音声信号とを混合した後、受話端末を構成するスピーカを通じて耳に導入する出力信号混合モジュールとを含む、請求項８〜１０の何れか１項に記載の通信イヤホン。
12. 前記アンチノイズ信号確定モジュールは、さらに、
    前記ノイズ信号に対して位相反転処理を行って、初級アンチノイズ信号を確定する位相反転器と、
    音声周波数範囲内に前記初級アンチノイズ信号の位相を修正及び調整して、前記ノイズ信号の位相とちょうど逆位相となるアンチノイズ信号を確定するものであって、並列Ｔ回路網で具現されたアクティブフィルタを用い、非密閉式構造に起因する低周波部分の低周波位相損失を補償するための位相補償器とを含む、請求項１１に記載の通信イヤホン。
13. 前記通信イヤホンのマイクで取得されたサウンド信号のスペクトルにおける、ある周波数点のエネルギが他の周波数帯域のエネルギに比べ予め設定された値だけ高く、かつ前記周波数点のエネルギが絶えず増加している場合、制御信号によって前記受話端末に対するノイズ低減処理を自発的に調整するハウリング検出部をさらに含む、請求項８に記載の通信イヤホン。
    

Images