JP2016127502A - 通信装置及びプログラム - Google Patents
通信装置及びプログラム Download PDFInfo
- Publication number
- JP2016127502A JP2016127502A JP2015001178A JP2015001178A JP2016127502A JP 2016127502 A JP2016127502 A JP 2016127502A JP 2015001178 A JP2015001178 A JP 2015001178A JP 2015001178 A JP2015001178 A JP 2015001178A JP 2016127502 A JP2016127502 A JP 2016127502A
- Authority
- JP
- Japan
- Prior art keywords
- suppression
- audio signal
- finger
- noise
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Abstract
【課題】通話可能な通信装置において送話用の音声信号に含まれる騒音成分の不適切な抑圧による送話信号の歪みを防ぐ。
【解決手段】通信装置は、第1のマイク2Aと、第2のマイク2Bと、前記第1のマイク2Aから入力された第1の音声信号20及び前記第2のマイク2Bから入力された第2の音声信号21を用いて前記第1の音声信号20に含まれる騒音成分を抑圧する騒音抑圧部502cと、前記第1の音声信号20及び前記第2の音声信号21の入力値に基づいて前記騒音抑圧部502cによる抑圧処理を制御する抑圧制御部と、を備える。抑圧制御部は、第2のマイク2Bの指塞ぎの有無を検出し、その検出結果に応じて抑圧処理を制御する指塞ぎ検出部502bを有する。
【選択図】図3
【解決手段】通信装置は、第1のマイク2Aと、第2のマイク2Bと、前記第1のマイク2Aから入力された第1の音声信号20及び前記第2のマイク2Bから入力された第2の音声信号21を用いて前記第1の音声信号20に含まれる騒音成分を抑圧する騒音抑圧部502cと、前記第1の音声信号20及び前記第2の音声信号21の入力値に基づいて前記騒音抑圧部502cによる抑圧処理を制御する抑圧制御部と、を備える。抑圧制御部は、第2のマイク2Bの指塞ぎの有無を検出し、その検出結果に応じて抑圧処理を制御する指塞ぎ検出部502bを有する。
【選択図】図3
Description
本発明は、通話可能な通信装置及びプログラムに係わる。
携帯電話端末等の通話可能な通信端末では、騒音のある環境下における通話品質の劣化を防ぐため、音声信号に対し騒音抑圧等の処理が行われる。携帯電話端末における騒音抑圧方法の1つとして、2個のマイクの入力信号に基づいて、送話用の音声信号に含まれる騒音成分を抑圧する方法が知られている(例えば特許文献1を参照。)。
この種の騒音抑圧方法では、一方のマイク(メインマイク)から入力された送話用の音声信号と、他方のマイク(サブマイク)から入力された周囲の騒音の音声信号とを周波数分析し、送話用の入力信号に含まれる騒音成分を抑圧する。これにより、騒音成分が抑圧された送話信号を通話相手の端末に送信することができ、通話相手が利用者の音声を聞き取りやすくなる。
上記の携帯電話端末のサブマイクは、周囲の騒音を収音しやすい向き、例えば携帯電話端末のレシーバを利用者の耳に当てたときに利用者の顔と対向する面とは反対側を向くように筐体内に配設される。そのため、通話時に、利用者の指がサブマイクの収音面上にかかってしまうことがある。収音面上に指がかかった状態のサブマイクで収音するときと、指がかかっていない状態のサブマイクで集音するときとでは、周囲の騒音状況が同じであっても入力信号(音声信号)の入力値に差が生じる。すなわち、収音面上に指がかかった状態のサブマイクで収音した場合、サブマイクの入力信号は周囲の騒音状況を適正に反映していない。
しかしながら、メインマイク及びサブマイクの入力信号に基づいて騒音成分を抑圧する場合、2つの入力信号の入力値の関係のみに基づいて抑圧する。そのため、指がかかる等の要因によりサブマイクの入力信号が実際の周囲の騒音状況を適切に反映していない場合、騒音成分を不適切に抑圧することとなり、送話信号に歪が生じて通話品質が低下する。
本発明は、1つの側面では、送話用の音声信号に含まれる騒音成分の不適切な抑圧による送話信号の歪みを防ぐことを目的とする。
本発明の1つの態様の通信装置は、第1のマイクと、第2のマイクと、前記第1のマイクから入力された第1の音声信号及び前記第2のマイクから入力された第2の音声信号を用いて前記第1の音声信号に含まれる騒音成分を抑圧する騒音抑圧部と、前記第1の音声信号及び前記第2の音声信号の入力値に基づいて前記騒音抑圧部による抑圧処理を制御する抑圧制御部と、を備える。
上述の態様によれば、送話用の音声信号に含まれる騒音成分の不適切な抑圧による送話信号の歪みを防げる。
[本発明に係る騒音抑圧方法について]
図1は、本発明に係る騒音抑圧方法を説明する模式図である。
図1は、本発明に係る騒音抑圧方法を説明する模式図である。
本発明は、携帯電話端末等の携帯型通信端末を用いて通話する際のマイクからの入力信号に含まれる騒音成分を抑圧する方法に関する。
図1に示すように、第1の通信装置1の利用者UAと第2の通信装置100の利用者UBとが通信装置1,100を用いて通話をする際、第1の通信装置1Aの利用者UAが発した音声300は第1の通信装置1のメインマイク2Aで収音する。第1の通信装置1Aは、メインマイク2Aから入力された音声信号(入力信号)に対し所定の処理を行い、送話信号301として第2の通信装置100に送信する。送話信号301を受信した第2の通信装置100は、送話信号301に対し所定の処理を行った後、レシーバ4から受話音302として出力する。
このとき、第1の通信装置1の利用者UAの周囲に騒音が発生していると、第1の通信装置1のメインマイク2Aは利用者UAの音声とともに騒音303を収音する。すなわち、メインマイク2Aから第1の通信装置1Aに入力された音声信号は、騒音成分を含んだ信号になっている。騒音成分を含む音声信号(送話信号301)を第2の通信装置100に送信すると、第2の通信装置100のレシーバ4から出力される受話音302には騒音303が含まれる。そのため、第2の通信装置100の利用者UBが第1の通信装置1の利用者UAの音声を聞き取りにくくなり、通話品質が低下する。
送話信号301に騒音成分が含まれることによる通話品質の低下を防ぐため、第1の通信装置1では、メインマイク2Aとは別個に設けたサブマイク2Bにより利用者UAの周囲の騒音303を収音する。そして、第1の通信装置1は、メインマイク2A及びサブマイク2Bからの入力信号に基づいてメインマイク2Aからの入力信号に含まれる騒音成分を抑圧し、騒音成分を抑圧した音声信号を送話信号301として第2の通信装置100に送信する。以下、「騒音成分の抑圧」や「騒音成分を抑圧すること」を「騒音抑圧」ともいう。
ところが、利用者UAが第1の通信装置1を手に持った状態で通話している場合、例えば第1の通信装置1を持つ手の指が筐体に形成された孔を塞ぎサブマイク2Bに向かう音の一部を遮ってしまうことがある。そのため、サブマイク2Bから入力された音声信号が実際の周囲の騒音状況を適切に反映していないことがある。その場合、メインマイク2Aからの入力信号に含まれる騒音成分を適切に抑圧することができず、抑圧処理後の音声信号(送話信号301)に歪が生じる。送話信号301に歪があると、第2の通信装置100のレシーバ4から出力された受話音302も歪むので、第2の通信装置100の利用者UBは第1の通信装置1の利用者UAの音声を聞き取りにくくなる。そのため、通話品質が低下する。
本発明に係る騒音抑圧方法では、サブマイク2Bからの入力信号が実際の周囲の騒音状況を適切に反映していない場合、騒音抑圧を行わない又は適切に反映している場合よりも騒音抑圧の強度を低くすることで、送話信号301の歪による通話品質の低下を防ぐ。サブマイク2Bからの入力信号が実際の周囲の騒音状況を反映しているか否かは、メインマイク2A及びサブマイク2Bからの入力信号の入力値(例えば振幅値)の関係に基づいて判断する。
[第1の実施形態]
図2は、本発明の第1の実施形態に係る通信装置の構成を示すブロック図である。
図2は、本発明の第1の実施形態に係る通信装置の構成を示すブロック図である。
本実施形態の通信装置1は、上記の携帯電話端末のように通話が可能な通信装置である。図2に示すように、通信装置1は、メインマイク2A、サブマイク2B、レシーバ4、音声信号処理部5、及び加速度センサ6を備える。また、通信装置1は、その他に、アンテナ7、RF送受信部8、ベースバンド処理部9、D/Aコンバータ10A、A/Dコンバータ10B,10C、及び増幅器11A〜11C等を備える。
メインマイク2Aは、通話相手の通信装置に送信する音声を収音する。サブマイク2Bは、メインマイク2Aからの音声信号(マイク入力信号)に含まれる騒音成分の抑圧に必要な周囲の騒音を収音する。レシーバ4は、通話相手の通信装置から受信した音声信号を受話音に変換する。
音声信号処理部5は、受話信号処理部501及び送話信号処理部502を備える。
受話信号処理部501は、通話相手の通信装置から受信した受話信号に対して所定の処理をし、レシーバ4に向けて出力する。受話信号は、アンテナ7で受信した後、RF送受信部8で復調され、ベースバンド処理部9を介して受話信号処理部501に入力される。受話信号処理部501で処理された受話信号は、D/Aコンバータ10A及び増幅器11Aを介してレシーバ4に伝送され、受話音として通信装置1の外部に出力される。
送話信号処理部502は、通話中、メインマイク2Aからの音声信号(第1の音声信号)20に対して騒音抑圧を含む所定の処理をし、送話信号としてRF送受信部8に向けて出力する。この送話信号処理部502は、第1の音声信号20、サブマイク2Bからの音声信号(第2の音声信号)21、及び加速度センサ6の計測結果(加速度データ)22を用いて騒音抑圧を行う。第1の音声信号20は、増幅器11B及びA/Dコンバータ10Bを介して送話信号処理部502に入力される。第2の音声信号21は、増幅器11C及びA/Dコンバータ10Cを介して送話信号処理部502に入力される。また、騒音抑圧を行った音声信号は、通話相手の通信装置に送信する送話信号としてベースバンド処理部9を介してRF送受信部8に伝送される。RF送受信部8に伝送された送話信号は、変調され、アンテナ7から通信装置1の外部に出力される。
なお、本明細書で例示する通信装置1は、周知のハードウェア構成の通信装置に所定のプログラムを実行させることで実現される。例えば、上記の音声信号処理部5は、Digital Signal Processor(DSP)等のプロセッサに、以下に説明する処理を含むプログラムを実行させることで実現される。
図3は、図2の送話信号処理部の構成を示すブロック図である。
送話信号処理部502は、図3に示すように、動き検出部502a、指塞ぎ検出部502b、騒音抑圧部502c、バッファ502dを有する。
送話信号処理部502は、図3に示すように、動き検出部502a、指塞ぎ検出部502b、騒音抑圧部502c、バッファ502dを有する。
動き検出部502aは、加速度センサ5からの加速度データ22を用いて通信装置1の動きの有無を検出する。具体的には、通信装置1の傾斜角度θx,θyを算出し、傾斜角度θx,θyの時間変化量に基づいて動きの有無を検出する。
指塞ぎ検出部502bは、第1の音声信号20及び第2の音声信号21に基づいて、指塞ぎの有無、言い換えると第2の音声信号21が周囲の騒音状態を適正に反映しているか否かを検出する。
騒音抑圧部502cは、第1の音声信号20及び第2の音声信号21に基づいて第1の音声信号20に含まれる騒音成分を抑圧する。なお、騒音抑圧部502cは、指塞ぎ検出部502bにおいて指塞ぎ有りと検出された場合には、騒音成分の抑圧をせず、第1の音声信号20をそのまま送話信号として出力する。
バッファ502dは、騒音成分の抑圧に用いる抑圧ゲインG、通信装置1の傾斜角度θx,θy等の本実施形態に係る騒音抑圧処理に必要な情報を記憶する。
本実施形態の通信装置1における動き検出部502a及び指塞ぎ検出部502bは、騒音抑圧部502cによる騒音抑圧処理を制御する抑圧制御部として機能する。動き検出部502aは、通話中、所定の時間間隔で通信装置1の動きの有無を検出し、動きを検出した場合、指塞ぎの有無に係わらず、騒音抑圧部502cに抑圧ゲインGに従った騒音抑圧を行わせる。また、動き検出部502aは、通信装置1の動きが検出されなかった場合、指塞ぎ検出部502bに指塞ぎの有無を検出させる。指塞ぎ検出部502bは、指塞ぎが検出されなかった場合、騒音抑圧部502cに抑圧ゲインGに従った騒音抑圧を行わせる。また、指塞ぎ検出部502bは、指塞ぎを検出した場合、騒音抑圧部502cに対し騒音抑圧をしないよう命令する。
以下、本実施形態の通信装置1における通話時の送話信号出力処理について説明する。送話信号出力処理は、送話信号処理部502が行う。
図4は、第1の実施形態の送話信号出力処理を示すフローチャートである。
本実施形態の送話信号出力処理では、図4に示すように、まずメインマイク2A及びサブマイク2Bからの音声信号20,21の入力を受け付ける(ステップS1)。音声信号20,21の入力の受け付けは、指塞ぎ検出部502b及び騒音抑圧部502cが行う。
本実施形態の送話信号出力処理では、図4に示すように、まずメインマイク2A及びサブマイク2Bからの音声信号20,21の入力を受け付ける(ステップS1)。音声信号20,21の入力の受け付けは、指塞ぎ検出部502b及び騒音抑圧部502cが行う。
次に、通信装置1の動きを検出する動き検出処理を行う(ステップS2)。動き検出処理は、動き検出部502aが行う。動き検出部502aは、後述するように、通信装置1の動きとして通信装置1の傾斜角度の変化の有無を検出する。
動き検出処理が終了すると、次に、通信装置1の動きを検出したか否かに応じて次に行う処理を決定する(ステップS3)。動き検出処理において通話装置1の動きを検出した場合(ステップS3;Yes)、次に、騒音抑圧処理(ステップS6)を行う。騒音抑圧処理は、騒音抑圧部502aが行う。騒音抑圧部502aは、後述するように、2個のマイク2A,2Bからの音声信号20,21に基づいて算出した抑圧ゲインGをメインマイク2Aからの音声信号20に適用して音声信号20に含まれる騒音成分を抑圧する。
一方、通信装置1の動きを検出しなかった場合(ステップS3;No)、騒音抑圧処理(ステップS6)を行うか否かを判断するため、次に、指塞ぎ検出処理(ステップS4)を行う。指塞ぎ検出処理は、指塞ぎ検出部502bが行う。本実施形態の通信装置1における指塞ぎ検出部502bは、後述するように、2個のマイク2A,2Bからの音声信号20,21のフレームパワーの差に基づいて指塞ぎの有無を検出する。ここで検出する指塞ぎの有無は、通信装置1の利用者の指や通信装置1に貼り付けた保護シート等がサブマイク2Bの収音面を塞いでいるか否か、言い換えるとサブマイク2Bからの音声信号21が周囲の騒音状況を適切に反映しているか否かである。
指塞ぎ検出処理が終了すると、次に、指塞ぎを検出したか否かに応じて次に行う処理を決定する(ステップS5)。指塞ぎを検出した場合(ステップS5;Yes)、騒音抑圧処理を行わずに、メインマイク2Aからの音声信号20を送話用の音声信号(送話信号)としてRF送受信部8に向けて出力する(ステップS7)。一方、指塞ぎを検出しなかった場合、(ステップS5;No)、騒音抑圧処理(ステップS6)により音声信号20に含まれる騒音成分が抑圧された音声信号を、送話信号としてRF送受信部8に向けて出力する(ステップS7)。送話信号は、送話信号処理部502から、ベースバンド処理部9を介してRF送受信部8に伝送される。そして、アンテナ7から通信装置1の外部に(通話相手の端末に向けて)送信される。
音声信号をRF送受信部8に向けて出力した後は、通話が継続しているかを判断し(ステップS8)、継続している場合(ステップS8;Yes)はステップS1〜S7の処理を繰り返す。通話が継続していない場合(ステップS8;No)は送話信号出力処理を終了する。
このように、本実施形態の送話信号出力処理では、通話装置1に動き(傾きの変化)が有った場合、及び通話装置1に動きが無くかつ指塞ぎを検出しなかった場合にのみ、メインマイク2Aからの音声信号20に対して騒音抑圧処理を行う。
次に、図4に示した送話信号出力処理における動き検出処理(ステップS2)、指塞ぎ検出処理(ステップS4)、及び騒音抑圧処理(ステップS6)について詳細に説明する。
[動き検出処理の説明]
図5Aは、図4の動き検出処理の内容を示すフローチャート(その1)である。図5Bは、図4の動き検出処理の内容を示すフローチャート(その2)である。
図5Aは、図4の動き検出処理の内容を示すフローチャート(その1)である。図5Bは、図4の動き検出処理の内容を示すフローチャート(その2)である。
図4の動き検出処理では、上記のように、通信装置1の動きとして通信装置1の傾斜角度の変化の有無を検出する。この動き検出処理は、動き検出部502aが行う。動き検出部502aは、図5Aに示すように、まず、加速度センサ6で検出したx,y,z軸の加速度データ22を取得する(ステップS201)。
加速度データ22を取得したら、次に、検出時刻tにおけるx軸の傾斜角度θx(t)及びy軸の傾斜角度θy(t)を算出する(ステップS202)。
傾斜角度θx(t),θy(t)を算出したら、次に、バッファ502dから検出時刻t−1におけるx軸の傾斜角度θx(t−1)及びy軸の傾斜角度θy(t−1)を読み出す(ステップS203)。なお、通話を開始した直後等、検出時刻t−1の傾斜角度θx(t−1),θy(t−1)がバッファ502dに存在しない場合、ステップS203では、予め定めてバッファ502dに格納しておいた傾斜角度θx,θyの初期値(例えば0度)を読み出す。
傾斜角度θx(t−1),θy(t−1)を読み出したら、次に、x軸の傾斜角度θxの時間変化量Δθx(t)、及びy軸の傾斜角度θyの時間変化量Δθy(t)を算出する(ステップS204)。
x軸及びy軸の傾斜角度の時間変化量Δθx(t),Δθy(t)を算出したら、次に、図5Bに示すように、x軸の傾斜角度θxの変化量の絶対値|Δθx(t)|が閾値TH1より大きいか判断する(ステップS205)。閾値TH1は任意であり、例えば5〜10度程度の値とする。変化量の絶対値|Δθx(t)|が閾値TH1より大きい場合(ステップS205;Yes)、時刻t−1からtまでの間に通話装置1に動きが有ったと判定する(ステップS206)。
一方、x軸の傾斜角度θxの変化量の絶対値|Δθx(t)|が閾値TH1以下の場合(ステップS205;No)、次に、y軸の傾斜角度θyの変化量の絶対値|Δθy(t)|が閾値TH1より大きいか判断する(ステップS207)。変化量の絶対値|Δθy(t)|が閾値TH1より大きい場合(ステップS207;Yes)、時刻t−1からtまでの間に通話装置1に動きが有ったと判定する(ステップS206)。
そして、y軸の傾斜角度θyの変化量の絶対値|Δθy(t)|が閾値TH1以下の場合(ステップS207)、時刻t−1からtまでの間に通話装置1に動きが無かったと判定する(ステップS208)。
こうして通信装置1の動きの有無を判定したら、ステップS202で算出した時刻tのx軸及びy軸の傾斜角度θx(t),θy(t)をバッファ502dに格納し(ステップS209)、動き検出処理を終了する(リターン)。
図6Aは、加速度センサで計測する加速度のx,y,z軸方向の定義を説明する模式図である。図6Bは、通話装置の傾斜角度θx,θy,θzの定義を説明する模式図である。図7は、x軸の傾斜角度θxの計算方法を説明する図である。
上記の動き検出処理で用いる加速度は、通信装置1に内蔵された加速度センサ6で計測する。このとき、通信装置1における加速度のx,y,z軸は、例えば図6Aに示すような方向に設定する。すなわち、通信装置1の筐体12の一主面に配設された表示パネル13の法線方向をx軸方向とする。また、表示パネル13の表示面内における筐体12の短辺方向をy軸方向、長辺方向をz軸方向とする。なお、通信装置1は、図6Aに示したように、筐体12における表示パネル13を配設した面が略長方形であり、筐体12の内部空間における長辺方向の一端部にメインマイク2Aが配設され、他端部にレシーバ4が配設されている。そして、筐体12には、メインマイク2A及びレシーバ4と対応する箇所に開口12a,12bが形成されている。さらに、図示は省略するが、例えば筐体12は、一主面(表示パネル13が配設された面)とは反対側の面のサブマイク2Bと対応する箇所にも開口が形成されている。
また、本実施形態では、図6Bの(a)に示すように、通信装置1のx,y,z軸の傾斜角度θx,θy,θzを、それぞれ、y軸方向を鉛直下方(重力加速度gの方向)とした固定座標系のx0,y0,z0軸からの傾斜角度とする。例えば、図6Bの(b)に示すように、通信装置1のz軸の傾斜角度θzはz0軸方向(水平方向)からの傾き角とする。
x軸の傾斜角度θx(t)は、例えば、図7に示すように、加速度データ22のうちのx軸及びz軸の加速度を用いて算出する。また、図示は省略するが、y軸の傾斜角度θy(t)は、加速度データ22のうちのy軸及びz軸の加速度を用い、x軸の傾斜角度θx(t)と同様の方法で算出する。なお、傾斜角度θx(t),θy(t)は、図7に示したような算出方法に限らず、使用する加速度データ22の形式に応じた方法で算出すればよい。
[指塞ぎ検出処理の説明]
図8は、図4の指塞ぎ検出処理の内容を示すフローチャートである。
図8は、図4の指塞ぎ検出処理の内容を示すフローチャートである。
図4の指塞ぎ検出処理では、上記のように、2個のマイク2A,2Bからの音声信号20,21のフレームパワーの差に基づいて指塞ぎの有無、言い換えるとサブマイク2Bからの音声信号21が周囲の騒音状況を適切に反映しているか否かを検出する。この指塞ぎ検出処理は、指塞ぎ検出部502bが行う。指塞ぎ検出部502bは、図8に示すように、まずメインマイク2Aからの音声信号20のフレームパワーPmの算出(ステップS401)と、サブマイク2Bからの音声信号21のフレームパワーPsの算出(ステップS402)とを行う。そして、両音声信号のフレームパワーの差Pd=Pm−Psを算出する(ステップS403)。
フレームパワーの差Pdを算出したら、次に、差Pdが閾値TH2より大きいか判断する(ステップS404)。閾値TH2は任意であり、例えば20dBとする。差Pdが閾値TH2よりも大きい場合(ステップS404;Yes)、指塞ぎ有りと判定し、指塞ぎの有無を表すフラグF_flagの値を1に設定する(ステップS405)。差Pdが閾値TH2以下の場合(ステップS404;No)、指塞ぎ無しと判定し、フラグF_flagの値を0に設定する(ステップS406)。ステップS405又はS406により指塞ぎの有無を表すフラグF_flagの値を設定したら、指塞ぎ検出処理を終了する(リターン)。
[騒音抑圧処理の説明]
図9は、図4の騒音抑圧処理の内容を示すフローチャートである。図10は、周波数帯域及び中心周波数の設定例を示す図である。
図9は、図4の騒音抑圧処理の内容を示すフローチャートである。図10は、周波数帯域及び中心周波数の設定例を示す図である。
図4の騒音抑圧処理では、上記のように、メインマイク2Aからの音声信号(第1の音声信号)20とサブマイク2Bからの音声信号(第2の音声信号)21とに基づいて算出した抑圧ゲインを第1の音声信号20に適用する。この騒音抑圧処理は、騒音抑圧部502cが行う。騒音抑圧部502cは、図9に示すように、まず現フレームのメインマイク2Aからの音声信号20の周波数分析(ステップS601)と、現フレームのサブマイク2Bからの音声信号21の周波数分析(ステップS602)とを行う。ステップS601,602では、各音声信号20,21の全周波数帯域を複数の周波数帯域に分割し、周波数帯域毎の成分(周波数スペクトル)に分離する。例えば、図10に示すように、0〜4000Hzの範囲を128個(31.25Hz毎)の周波数帯域に分割し、周波数帯域毎の成分に分離する。このステップS601,602の処理は、周知の周波数分析方法を用いて行えばよい。
各音声信号20,21の周波数分析をしたら、次に、各周波数帯域における中心周波数f(i)の音の到来方向θ(i)を算出する(ステップS603)。なお、中心周波数f(i)は、例えば、図10に示したように、N個に分割した周波数帯域のうちのi番目の周波数帯域BW(i)における周波数の下限値と上限値との相加平均とする。以下、中心周波数f(i)のことを単に周波数f(i)ともいう。
各周波数f(i)の到来方向θ(i)を算出したら、次に、利用者音声の到来方向を算出する(ステップS604)。本実施形態の騒音抑圧処理では、利用者音声の到来方向として、通信装置1におけるz軸の水平面からの傾斜角度θzを用いる(図6Bの(b)を参照)。通信装置1のレシーバ4を耳に当てて通話している場合、通信装置1の傾斜角度θzが変わってもレシーバ4と耳との位置関係はほとんど変わらない。すなわち、通話中に通信装置1の傾斜角度θzが変わった場合、通信装置1がレシーバ4を中心に回転したとみなすことができる。通信装置1がレシーバ4を中心に回転するとメインマイク2Aは旋廻し、メインマイク2Aと利用者の口との位置関係が変わる。よって、通信装置1の傾斜角度θzと利用者音声の到来方向とを対応付けることで、傾斜角度θzを利用者音声の到来方向として用いることができる。なお、通信装置1の傾斜角度θzは、例えば動き検出処理で算出してバッファ502dに格納したx軸及びy軸の傾斜角度θx(t),θy(t)を用いて算出すればよい。
利用者音声の到来方向θzを算出したら、次に、利用者音声の到来方向θz及び周波数f(i)の音の到来方向θ(i)に基づき、各周波数帯域のスペクトルに適用する抑圧ゲインを算出する(ステップS605)。周波数f(i)の音の到来方向θ(i)が利用者音声の到来方向θzと一致するか又はθzとの差が小さい場合、周波数f(i)の音は利用者が発した音声に含まれると考えられる。一方、周波数f(i)の音の到来方向θ(i)と利用者音声の到来方向θzとの差が大きい場合、周波数f(i)の音は利用者が発した音声ではなく、周囲の騒音であると考えられる。したがって、抑圧ゲインは、到来方向θ(i)と利用者音声の到来方向θzとの差の大きい周波数f(i)の音が抑圧される(小さくなる)ような値にする。
抑圧ゲインG(i)を算出したら、次に、算出した抑圧ゲインG(i)をメインマイク2Aからの音声信号20における中心周波数がf(i)の周波数帯域のスペクトルに適用する(ステップS606)。ステップS606では、周波数帯域毎に、下記式(1)及び(2)の計算を行う。
MOD_SP_RE(i)=G(i)・SP_RE(i) ・・・(1)
MOD_SP_IM(i)=G(i)・SP_IM(i) ・・・(2)
MOD_SP_IM(i)=G(i)・SP_IM(i) ・・・(2)
式(1)のSP_RE(i)及び式(2)のSP_IM(i)は、それぞれ、メインマイク2Aからの音声信号20における中心周波数がf(i)の周波数帯域のスペクトルの実部及び虚部である。また、式(1)のMOD_SP_RE(i)及び式(2)のMOD_SP_IM(i)は、それぞれ、抑圧ゲイン適用後のスペクトルの実部及び虚部である。
抑圧ゲインを適用したら、抑圧ゲイン適用後のスペクトルから送話用の音声信号を生成し(ステップS607)、騒音抑圧処理を終了する(リターン)。ステップS607の処理は、周知の生成方法を用いて行えばよい。
次に、ステップS603の中心周波数f(i)の音の到来方向の算出方法を図11を参照しながら説明する。図11は、周波数f(i)の音の到来方向の算出方法を説明する模式図である。
本実施形態の通信装置1は、メインマイク2A及びサブマイク2Bの2個のマイクを備える。そのため、マイク2A,2Bからの音声信号20,21に含まれる周波数f(i)の音の到来方向θ(i)は、各マイク2A,2Bに到達した時刻の差から算出することができる。図11に示すように、メインマイク2Aとサブマイク2Bとの距離をL、周波数f(i)の音310の到来方向をθ(i)とすると、音310がそれぞれのマイク2A,2Bに到達するまでの距離の差はLcosθ(i)である。そのため、音310がメインマイク2Aに到達するまでの距離がサブマイク2Bに到達するまでの距離よりも長い場合、音310がメインマイク2Aに到達する時刻は、サブマイク2Bに到達する時刻よりもLcosθ(i)/Cだけ遅れる(Cは音速)。すなわち、メインマイク2Aで収音した周波数f(i)の音声信号は、サブマイク2Bで収音した周波数f(i)の音声信号に比べて、時間Lcosθ(i)/Cだけ遅れた信号になる。したがって、メインマイク2Aで収音した周波数f(i)の音声信号と、サブマイク2Bで収音した周波数f(i)の音声信号との時間差がわかれば、周波数f(i)の音の到来方向θ(i)を算出することができる。
本実施形態の通信装置1のように、メインマイク2Aの収音面とサブマイク2Bの収音面とが異なる方向を向いている場合、周波数f(i)の音の到来方向θ(i)は、下記式(3)により算出できる。
式(3)において、Cは音速(単位はcm/s)、Lは2個のマイク2A,2Bの距離(単位はcm)である。また、式(3)において、θmain(i)はメインマイク2Aで収音した周波数f(i)の音の到来方向であり、θsub(i)はサブマイク2Bで収音した周波数f(i)の音の到来方向である。
次に、ステップS605の抑圧ゲインの算出方法を、図12を参照しながら説明する。図12は、抑圧ゲインの算出方法を説明するグラフである。なお、図12及び以下の説明では、抑圧ゲインG(θ(i))をG(i)と表記している。
中心周波数がf(i)の周波数帯域のスペクトルに適用する抑圧ゲインG(i)は、図12に示すような関数G(θ)に従って算出する。図12に示したように、周波数f(i)の音の到来方向θ(i)が利用者音声の到来方向θzを中心としたθ2からθ3までの範囲内である場合、適用する抑圧ゲインG(i)は1にする。また、周波数f(i)の音の到来方向θ(i)がθ1以下(θ1<θ2<θz)の場合、及びθ4以上(θz<θ3<θ4)の場合、適用する抑圧ゲインG(i)は0にする。また、周波数f(i)の音の到来方向θ(i)がθ1<θz<θ2の場合に適用する抑圧ゲインG(i)は、θ(i)が大きくなるにつれて0から1に近づくようにする。また、周波数f(i)の音の到来方向θ(i)がθ3<θz<θ4の場合に適用する抑圧ゲインG(i)は、θ(i)が大きくなるにつれて1から0に近づくようにする。この図12に示した関数G(θ)を数式で表すと、下記式(4)のようになる。
図12及び式(4)におけるθ1、θ2、θ3、及びθ4の値は、例えばθ4−θ1=0.2π(ラジアン)、θz−θ1=0.1π(ラジアン)、θ2−θ1=θ4−θ3=0.05π(ラジアン)となるようにする。なお、θ1、θ2、θ3、及びθ4の値は任意であり、適宜変更可能である。また、θ1、θ2、θ3、及びθ4の値は、関数G(θ)が利用者音声の到来方向θzを境として非対称、例えばθ2−θ1とθ4−θ3とを異なる値にしてもよい。
中心周波数がf(i)の周波数帯域のスペクトルに抑圧ゲインG(i)を適用すると、適用後のスペクトルの実部及び虚部はそれぞれMOD_SP_RE(i)及びMOD_SP_IM(i)となる。よって、ステップS607では、実部及び虚部がそれぞれMOD_SP_RE(i)及びMOD_SP_IM(i)のスペクトルを合成した送話用の音声信号を生成する。この際、ステップS605で算出した抑圧ゲインG(i)が0であった周波数帯域のスペクトルは送話用の音声信号には含まれない。すなわち、到来方向θ(i)と利用者音声の到来方向θzとの差が大きく騒音とみなされた周波数帯域のスペクトルは、送話用の音声信号に含まれない。よって、ステップS607で生成した音声信号を通話相手の通信装置に送信することで、通話相手は、利用者の周囲の騒音が抑圧された受話音を聞くことができる。
以上説明したように、第1の実施形態に係る通信装置1及び送話信号出力処理では、メインマイク2A及びサブマイク2Bからの音声信号20,21のフレームパワーの差Pdが閾値TH2よりも大きい場合、指塞ぎが有ると判定する。そして、指塞ぎが有ると判定した場合、メインマイク2Aからの音声信号20に対する騒音抑圧を行わない。すなわち、音声信号20,21のフレームパワーの差Pdが閾値TH2よりも大きい場合、サブマイク2Bからの音声信号21が周囲の騒音状況を適切に反映していないと判定し、メインマイク2Aからの音声信号20に対する騒音抑圧を行わない。そのため、メインマイク2Aからの音声信号20に対して不適切な騒音抑圧をし、送話信号に歪が生じることを防げる。よって、第1の実施形態に係る通信装置1及び送話信号出力処理によれば、不適切な騒音抑圧により送話信号の歪み通話品質が低下することを防げる。
また、本実施形態に係る通信装置1及び送話信号出力処理では、通信装置1の動き(傾きの変化)を検出した場合、指塞ぎの有無によらず騒音抑圧処理を行う。通信装置1に動きが有った場合、メインマイク2Aからの音声信号20のフレームパワーPmが変化するので、サブマイク2Bからの音声信号21のフレームパワーPsが一定であっても、指塞ぎ検出処理において算出するフレームパワーの差Pdが変化する。そのため、通信装置1に動きが有った場合、フレームパワーの差Pdから指塞ぎの有無を検出(判定)することが難しく、指塞ぎが無いにもかかわらず指塞ぎが有ると誤検出してしまう恐れがある。このため、指塞ぎが無いにもかかわらず騒音抑圧をしていない送話信号を通話相手の通信装置に送信し、通話品質が低下する恐れがある。よって、本実施形態に係る送話信号出力処理では、動きが有った場合、指塞ぎの有無によらず騒音抑圧処理を行い、送話信号に含まれる騒音成分による通話品質の低下を防いでいる。この場合、指塞ぎが有る状態でも騒音抑圧処理を行うので送話信号に歪が生じる恐れはあるものの、通信装置1の動き(傾きの変化)は短期間で終わる。そのため、送話信号に歪が生じるのも短期間だけであり、歪による通話品質の低下が長期間続くことは無い。したがって、本実施形態に係る通信装置1及び送話信号出力処理によれば、不適切な騒音抑圧で送話信号に歪が生じることによる通話品質の低下を防ぎつつ、指塞ぎが無いにもかかわらず騒音抑圧をしなかったことによる通話品質の低下を防げる。
さらに、本実施形態に係る通信装置1及び送話信号出力処理によれば、メインマイク2A及びサブマイク2Bからの音声信号20,21のフレームパワーの差Pdに基づいて指塞ぎの有無を検出する。そのため、簡便な方法で送話信号の歪による通話品質の低下を防げ、通信装置1の処理負荷の増大を抑えられる。なお、指塞ぎの有無は、2個のマイク2A,2Bからの音声信号20,21のフレームパワーの差Pdに限らず、2個のマイク2A,2Bからの音声信号20,21の振幅差又は振幅差に相当する差分値を用いて判定してもよい。
また、本実施形態では、図9に示したように、指塞ぎ有りの場合には騒音抑圧処理を行わないようにしている。このような処理は、別の視点では、指塞ぎ有りの場合は周波数f(i)の音の到来方向θ(i)によらず抑圧ゲインG(i)を1にし、指塞ぎ無しの場合は式(4)に従って抑圧ゲインG(i)を算出するよう制御していると捉えることもできる。すなわち、本実施形態で挙げた送話信号出力処理は、指塞ぎの有無に応じてメインマイク2Aからの音声信号20に適用する抑圧ゲインGの値を制御する処理を含む内容であれば、図4に示したような手順に限らず、適宜変更可能である。
[第2の実施形態]
第2の実施形態は、本発明に係る通信装置1で実行する指塞ぎ検出処理における指塞ぎの有無の検出精度を高くするようにしたものである。以下、第2の実施形態について説明する。
第2の実施形態は、本発明に係る通信装置1で実行する指塞ぎ検出処理における指塞ぎの有無の検出精度を高くするようにしたものである。以下、第2の実施形態について説明する。
図13は、利用者音声の有無と音声信号の振幅差との関係を説明する図である。
第1の実施形態では、図8に示したように、メインマイク2Aからの音声信号20とサブマイク2Bからの音声信号21とのフレームパワーの差Pdが1つの閾値TH2よりも大きいか否かにより指塞ぎの有無を検出している。
第1の実施形態では、図8に示したように、メインマイク2Aからの音声信号20とサブマイク2Bからの音声信号21とのフレームパワーの差Pdが1つの閾値TH2よりも大きいか否かにより指塞ぎの有無を検出している。
しかしながら、メインマイク2Aからの音声信号20のフレームパワーPmは、利用者の音声を含んでいる場合は大きくなり、含んでいない場合は小さくなる。また、利用者の音声を含んでいる場合のフレームパワーPmは、メインマイク2Aと利用者の口との位置関係により変動する。すなわち、メインマイク2Aが利用者の口から近い位置にあるとフレームパワーPmは大きくなり、利用者の口から遠い位置にあるとフレームパワーPmは小さくなる。これに対し、サブマイク2Bからの音声信号21のフレームパワーPsは、指塞ぎが無い状態では略一定の値となる。したがって、指塞ぎが無い状態における2個のマイク2A,2Bからの音声信号20,21のフレームパワーの差Pdと、利用者音声の有無及び到来方向(通信装置1におけるz軸の傾斜角度θz)との間には、図13に示すような一定の関係がある。通信装置1のレシーバ4を利用者の耳に当て、メインマイク2Aを利用者の口に近づけた場合、通信装置1におけるz軸の傾斜角度θzは、およそ30度になる。そして、通信装置1におけるz軸の傾斜角度θzが60度、90度と大きくなるにつれ、メインマイク2Aと利用者の口との距離が遠くなっていく。すなわち、図13に示したように、通信装置1におけるz軸の傾斜角度θzが30度の場合、メインマイク2Aからの音声信号20のフレームパワーPmが大きくなり、2個のマイク2A,2Bからの音声信号20,21のフレームパワーの差Pdは大きくなる。
加えて、通信装置1の傾斜角度θzが略一定の状態で指塞ぎが生じた場合、メインマイク2Aからの音声信号20のフレームパワーPmは変わらないが、サブマイクからの音声信号21のフレームパワーPsは指塞ぎが無い状態に比べて小さくなる。したがって、ある傾斜角度θzで指塞ぎが有る状態におけるフレームパワーの差は、その傾斜角度θzで指塞ぎが無い状態におけるフレームパワーの差よりも大きくなる。
本実施形態では、この通信装置1の傾斜角度θzと2個のマイク2A,2Bからの音声信号20,21のフレームパワーの差Pdとの関係に基づいて、指塞ぎの有無を検出する。なお、以下の説明においては、フレームパワーの差のことを振幅差ともいう。
図14は、本発明の第2の実施形態に係る通信装置における送話信号処理部の構成を示すブロック図である。
本実施形態の通信装置1の全体構成は、第1の実施形態で説明した通りでよい。また、本実施形態の送話信号処理部502は、図14に示したように、動き検出部502a、指塞ぎ検出部502b、騒音抑圧部502c、及びバッファ502dを有する。本実施形態においても、動き検出部502a及び指塞ぎ検出部502bは、騒音抑圧部502cによる騒音抑圧処理を制御する抑圧制御部として機能する。また、騒音抑圧部502cは、動き検出部502a及び指塞ぎ検出部502bにおいて騒音抑圧を行うと判定した場合にのみ、メインマイク2Aからの音声信号20に対し騒音抑圧を行う。
また、本実施形態の送話信号処理部502では、バッファ502dに、通信装置1におけるz軸の傾斜角度θzに応じた振幅差の閾値TH(θz)を格納しておく。振幅差の閾値TH(θz)は、図13に示したような利用者音声の有無とフレームパワーの差Pdとの関係に基づいて設定する。この振幅差の閾値TH(θz)は、指塞ぎ検出部502bが指塞ぎの有無を検出する際に参照する。
本実施形態の通信装置1における送話信号出力処理は、図4に示した手順で行われる。なお、本実施形態の送話信号出力処理におけるステップS1〜S3、及びステップS5〜S8の処理は、第1の実施形態で説明した通りでよい。そのため、本実施形態では、指塞ぎ検出処理(図4のステップS4)の内容のみを図15及び図16を参照しながら説明する。
図15は、第2の実施形態の送話信号出力処理における指塞ぎ検出処理の内容を示すフローチャートである。
本実施形態の通信装置1(送話信号処理部502)における指塞ぎ検出処理では、図15に示すように、まずメインマイク2A及びサブマイク2Bからの音声信号20,21のフレームパワーの差Pdを算出する(ステップS411)。ステップS411の処理は、第1の実施形態で説明したステップS401〜S403と同じ処理でよい。
フレームパワーの差Pdを算出したら、次に、利用者音声を検出したか判断する(ステップS412)。ステップS412では、例えば現フレーム(時刻tのフレーム)のメインマイク2Aからの音声信号20のパワーPm(t)が所定の閾値THPよりも大きい場合、利用者音声を検出したと判定する。一方、パワーPm(t)が閾値THP以下の場合は利用者音声を検出しなかったと判定する。なお、ステップS412では、例えば送話信号処理部502から通話相手の通信装置に向けて出力する1つ前のフレームの送話信号のパワーと所定の閾値THPとの関係に基づいて利用者音声を検出したか判断してもよい。
利用者音声を検出しなかった場合(ステップS412;No)、指塞ぎの有無の判定に用いる閾値TH3を値TH0にする(ステップS413)。閾値TH3は、フレームパワーの差Pdと比較する値である。利用者音声が無く、指塞ぎも無い場合のフレームパワーの差Pdは、図13に示したように、0±3dBである。そのため、利用者音声が無く、指塞ぎが有る場合のフレームパワーの差Pdは、3dBよりも大きくなる。よって、値TH0は、3dBよりも大きな値であればよく、例えば5dBとする。
利用者音声を検出した場合(ステップS412;Yes)、次に、利用者音声の到来方向θzを算出し(ステップS414)、指塞ぎの有無の判定に用いる閾値TH3=TH(θz)を決定する(ステップS415)。本実施形態においても、利用者音声の到来方向には、通信装置1におけるz軸の傾斜角度θzを用いる。閾値TH(θz)は、例えば図13に示したような傾斜角度θzと振幅差(フレームパワーの差Pd)との関係に基づいて、複数個、あるいは後述する数式を予め用意しておく。利用者音声の到来方向θzは、第1の実施形態で説明した騒音抑圧処理のステップS604と同様、通信装置1におけるx軸の傾斜角度θx及びy軸の傾斜角度θyを用いて算出する。また、利用者音声の到来方向θzは、第1の実施形態で説明したように騒音抑圧処理(ステップS6)で用いる。そのため、算出した到来方向θzは、バッファ502dに格納しておく。
ステップS413又はS415により閾値TH3を決定したら、次に、ステップS411で算出したフレームパワーの差Pdが閾値TH3よりも大きいか判断する(ステップS416)。
フレームパワーの差Pdが閾値TH3よりも大きい場合(ステップS416;Yes)、指塞ぎ有りと判定し、指塞ぎの有無を表すフラグF_flagの値を1に設定する(ステップS417)。フレームパワーの差Pdが閾値TH3以下の場合(ステップS416;No)、指塞ぎ無しと判定し、フラグF_flagの値を0に設定する(ステップS418)。ステップS417又はS418により指塞ぎの有無を表すフラグF_flagの値を設定したら、指塞ぎ検出処理を終了する(リターン)。
指塞ぎ検出処理が終了した後は、第1の実施形態で説明したように、図4に示したステップS5以降の処理を行う。なお、本実施形態では、上記のようにステップS414で利用者音声の到来方向θzを算出し、バッファ502dに格納する。そのため、本実施形態の騒音抑圧処理(ステップS6)として図9に示した内容の処理を行う場合、ステップS604ではバッファ502dから利用者音声の到来方向θzを読み出すだけでよい。
次に、指塞ぎの有無の判定に用いる閾値TH(θz)の設定方法を、図16を参照しながら説明する。
図16は、指塞ぎの有無の判定に用いる閾値の設定方法を説明するグラフである。
また、ステップS415の処理では、図16に示すような関数TH(θz)に従って閾値TH3を決定する。すなわち、利用者音声の到来方向θzが0<θz<θ5の場合、TH3=TH(θz)=THaにする。また、到来方向θzがθ6<θz(θ5<θ6)の場合、TH3=TH(θz)=THb(THb<THa)にする。また、到来方向θzがθ5≦θz≦θ6の場合、閾値TH3=TH(θz)は、θzが大きくなるにつれてTHaからTHbに近づくようにする。この図16に示した関数TH(θz)を数式で表すと、下記式(5)のようになる。
また、ステップS415の処理では、図16に示すような関数TH(θz)に従って閾値TH3を決定する。すなわち、利用者音声の到来方向θzが0<θz<θ5の場合、TH3=TH(θz)=THaにする。また、到来方向θzがθ6<θz(θ5<θ6)の場合、TH3=TH(θz)=THb(THb<THa)にする。また、到来方向θzがθ5≦θz≦θ6の場合、閾値TH3=TH(θz)は、θzが大きくなるにつれてTHaからTHbに近づくようにする。この図16に示した関数TH(θz)を数式で表すと、下記式(5)のようになる。
図16及び式(5)におけるθ5及びθ6は、例えば、それぞれπ/6ラジアン(=30度)及びπ/2ラジアン(=90度)にする。また、図16及び式(5)におけるTHa及びTHbは、それぞれ指塞ぎが無い状態におけるフレームパワーの差Pdよりも大きな値、例えば15dB及び3dBにする(図13を参照。)。なお、θ5、θ6、THa、及びTHbの値は任意であり、適宜変更可能である。
このように、第2の実施形態に係る指塞ぎ検出処理では、指塞ぎの有無の検出(判定)に用いる閾値TH3を利用者音声の有無及び利用者音声が有る場合の到来方向θzに応じた値にする。そのため、指塞ぎが無い状態における2個のマイク2A,2Bからの音声信号20,21の振幅差の上限値と、指塞ぎの判定に用いる閾値TH3との差が大きくなりすぎることを防げる。したがって、実際には指塞ぎが有り、ステップS411で算出したフレームパワーの差Pdが指塞ぎが無い状態における差よりも大きいにもかかわらず、閾値TH3よりも小さいため指塞ぎが無いと誤検出されることを防げる。よって、指塞ぎが有るにもかかわらず騒音抑圧処理を行い送話信号に歪が生じることを防げ、送話信号の歪による通話品質の低下を防げる。
以上説明したように、第2の実施形態の通信装置1及び送話信号出力処理によれば、動き検出部502a及び指塞ぎ検出部502bの検出結果に基づいて、騒音抑圧部502cで騒音抑圧をするか否かを制御する。そのため、送話用の音声信号に対し不適切な騒音抑圧をして送話信号に歪が生じることを防げ、送話信号の歪による通話品質の低下を防げる。
また、指塞ぎ検出部502bは、指塞ぎの有無の検出に用いる閾値TH3を利用者音声の有無及び利用者音声が有る場合の到来方向θzに応じた値にする。そのため、指塞ぎが有るにもかかわらず指塞ぎが無いと誤検出されることが減り、指塞ぎの有無の検出精度が向上する。よって、指塞ぎの有無の誤検出による通話品質の低下を防ぐ効果が一層高まる。
なお、本実施形態では、第1の実施形態と同様、指塞ぎ有りの場合には騒音抑圧処理を行わないようにしている。このような処理は、別の視点では、指塞ぎ有りの場合は周波数f(i)の音の到来方向θ(i)によらず抑圧ゲインG(i)を1にし、指塞ぎ無しの場合は式(2)に従って抑圧ゲインG(i)を算出するよう制御していると捉えることもできる。すなわち、本実施形態で挙げた送話信号出力処理は、指塞ぎの有無に応じてメインマイク2Aからの音声信号20に適用する抑圧ゲインGの値を制御する処理を含む内容であれば、上記の手順に限らず、適宜変更可能である。
[第3の実施形態]
第3の実施形態は、本発明に係る通信装置1で実行する指塞ぎ検出処理において指塞ぎの有無の検出に用いる値を変えたものである。以下、第3の実施形態について説明する。
第3の実施形態は、本発明に係る通信装置1で実行する指塞ぎ検出処理において指塞ぎの有無の検出に用いる値を変えたものである。以下、第3の実施形態について説明する。
サブマイク2Bに指塞ぎが無い状態では、もともと通信装置1に存在する筐体12等の他に、それぞれのマイク2A,2Bに向かう利用者音声や騒音を遮るものが無い。そのため、指塞ぎが無い状態では、メインマイク2Aからの音声信号20とサブマイク2Bからの音声信号21との位相差及び振幅比のばらつきが小さい。これに対し、指塞ぎが有る状態では、通信装置1に存在しない別の物体(指や保護シート等)によりサブマイク2Bに向かう騒音等が遮られる。そのため、指塞ぎが有る状態では、サブマイク2Bからの音声信号21の位相や振幅(パワー)が不安定になり、メインマイク2Aからの音声信号20とサブマイク2Bからの音声信号21との位相差及び振幅比のばらつきが大きくなる。
本実施形態の指塞ぎ検出処理では、上記の2個のマイク2A,2Bからの音声信号20,21の位相差及び振幅差のばらつきの度合いを利用して指塞ぎの有無を検出する。
図17は、本発明の第3の実施形態に係る通信装置における送話信号処理部の構成を示すブロック図である。
本実施形態の通信装置1の全体構成は、第1の実施形態で説明した通りでよい。また、本実施形態の送話信号処理部502は、図17に示したように、動き検出部502a、指塞ぎ検出部502b、騒音抑圧部502c、及びバッファ502dを有する。本実施形態においても、動き検出部502a及び指塞ぎ検出部502bは、騒音抑圧部502cによる騒音抑圧処理を制御する抑圧制御部として機能する。また、騒音抑圧部502cは、動き検出部502a及び指塞ぎ検出部502bにおいて騒音抑圧を行うと判定した場合にのみ、メインマイク2Aからの音声信号20に対し騒音抑圧を行う。
また、本実施形態の送話信号処理部502では、バッファ502dに、指塞ぎの有無の検出に用いる位相差及び振幅比のばらつきの閾値THD,THRを格納しておく。さらに、バッファ502dには、2個のマイク2A,2Bからの音声信号20,21の位相差D及び振幅比Rを格納する。この位相差D及び振幅比Rは、位相差及び振幅比のばらつきを算出する際に参照する。
本実施形態の通信装置1における送話信号出力処理は、図4に示した手順で行われる。なお、本実施形態の送話信号出力処理におけるステップS1〜S3、及びステップS5〜S8の処理は、第1の実施形態で説明した通りでよい。そのため、本実施形態では、指塞ぎ検出処理(図4のステップS4)の内容のみを図18A及び図18Bを参照しながら説明する。
図18Aは、第3の実施形態の送話信号出力処理における指塞ぎ検出処理の内容を示すフローチャート(その1)である。図18Bは、第3の実施形態の送話信号出力処理における指塞ぎ検出処理の内容を示すフローチャート(その2)である。
本実施形態の通信装置1(送話信号処理部502)における指塞ぎ検出処理では、図18Aに示すように、まず変数nを0にする(ステップS421)。変数nは、位相差及び振幅比のばらつきの算出回数を表す整数値である。
変数nを0にしたら、次に、メインマイク2A及びサブマイク2Bからの音声信号20,21の位相差D及び振幅差Rを算出する(ステップS422)。位相差D及び振幅差Rは、周知の算出方法で算出すればよい。
位相差D及び振幅差Rを算出したら、次に、利用者音声を検出したか判断する(ステップS423)。ステップS423では、例えば現フレーム(時刻tのフレーム)のメインマイク2Aからの音声信号20のパワーPm(t)が所定の閾値THPよりも大きい場合、利用者音声を検出したと判定する。一方、パワーPm(t)が閾値THP以下の場合は利用者音声を検出しなかったと判定する。なお、ステップS423では、例えば送話信号処理部502から通話相手の通信装置に向けて出力する1つ前(時刻t−1)のフレームの送話信号のパワーと所定の閾値THPとの関係に基づいて利用者音声を検出したか判断してもよい。
利用者音声が検出しなかった場合(ステップS423;No)、図17Bに示すように、通話が継続しているか判断する(ステップS432)。そして、通話が継続している場合(ステップS432;Yes)、ステップS422からの処理を繰り返す。一方、通話が継続していない場合(ステップS432;No)、指塞ぎ検出処理を終了する(リターン)。
利用者音声を検出した場合(ステップS423;Yes)、次に、バッファ502dから位相差D及び振幅比Rを読み出す(ステップS424)。そして、読み出した位相差D及び算出した位相差Dから位相差のばらつきDvを算出するとともに、読み出した振幅比R及び算出した振幅比Rから振幅比のばらつきRvを算出する(ステップS425)。
位相差のばらつきDvは、例えば下記式(6),(7)から算出する。
式(6),(7)におけるNは、ばらつきの評価に用いる位相差Dのデータ数(例えばN=100)である。
また、振幅比のばらつきRvは、上記式(6),(7)と同様の式、すなわち式(6),(7)におけるDv、D(i)、及びDaveをそれぞれRv、R(i)、及びRaveに置き換えた式から算出する。
位相差のばらつきDv及び振幅比のばらつきRvを算出したら、ステップS422で算出した位相差D及び振幅比Rをバッファ502dに格納する(ステップS426)。そして次に、図17Bに示すように、変数nが閾値Nよりも大きいかを判断する(ステップS427)。閾値Nは、上記の通りばらつきの評価に用いるデータ数である。変数nが閾値N以下の場合(ステップS427;No)、位相差及び振幅差のばらつきDv,Rvを評価できるだけのデータが集まっていないため、指塞ぎ無しと判定し、指塞ぎの有無を表すフラグF_flagの値を0に設定する(ステップS428)。一方、変数nが閾値Nよりも大きい場合(ステップS427;Yes)、次に、位相差のばらつきDvが閾値THDよりも大きく、かつ振幅比のばらつきRvが閾値THRよりも大きいかを判断する(ステップS429)。位相差のばらつきの閾値THDは任意であり、例えば1度にする。また、振幅比のばらつきの閾値THRは任意であり、例えば20dBにする。
位相差のばらつきDvが閾値THD以下、又は振幅比のばらつきRvが閾値THR以下の場合(ステップS429;No)、指塞ぎ無しと判定し、指塞ぎの有無を表すフラグF_flagの値を0に設定する(ステップS428)。一方、位相差のばらつきDvが閾値THDよりも大きく、かつ振幅比のばらつきRvが閾値THRよりも大きい場合(ステップS429;Yes)、指塞ぎ有りと判定し、指塞ぎの有無を表すフラグF_flagの値を1に設定する(ステップS430)。
ステップS428又はステップS430により指塞ぎの有無を検出したら、変数nの値を1だけ増やし(ステップS431)、通話が継続しているか判断する(ステップS432)。通話が継続している場合(ステップS432;Yes)、ステップS422からの処理を繰り返す。通話が継続していない場合(ステップS432;No)、指塞ぎ検出処理を終了する(リターン)。
指塞ぎ検出処理が終了した後は、第1の実施形態で説明したように、図4に示したステップS5以降の処理を行う。すなわち、指塞ぎ有り(F_flag=1)の場合は、騒音抑圧処理を行わずに送話用の音声信号を出力し、指塞ぎ無し(F_flag=0)の場合及びステップS2で動きを検出した場合は騒音抑圧処理を行った送話用の音声信号を出力する。
このように、第3の実施形態に係る指塞ぎ検出処理では、2個のマイク2A,2Bの音声信号20.21の位相差及び振幅比のばらつきDv,Rvの度合いに基づいて指塞ぎの有無を検出する。すなわち、本実施形態の指塞ぎ検出処理では、ある一定以上の期間における音声信号20,21の位相差及び振幅比の推移に基づいて指塞ぎの有無を検出する。そのため、現フレームにおける2個のマイク2A,2Bの音声信号20.21の振幅差のみに基づいて指塞ぎの有無を検出する場合に比べ、指塞ぎの有無の検出精度が高くなるとともに安定する。よって、指塞ぎの有無の誤検出による通話品質の低下を防ぐ効果がより一層高まる。
以上説明したように、第2の実施形態の通信装置1及び送話信号出力処理によれば、動き検出部502a及び指塞ぎ検出部502bの検出結果に基づいて、騒音抑圧部502cで騒音抑圧をするか否かを制御する。そのため、送話用の音声信号に対し不適切な騒音抑圧をして送話信号に歪が生じることを防げ、送話信号の歪による通話品質の低下を防げる。
また、指塞ぎ検出部502bは、ある一定以上の期間における音声信号20,21の入力値の推移に基づいて指塞ぎの有無を検出する。そのため、ある時刻の入力値に基づいて検出する場合に比べて指塞ぎの有無の検出精度が高くなるとともに安定する。よって、指塞ぎの有無の誤検出による通話品質の低下を防ぐ効果がより一層高まる。
なお、本実施形態でも、第1及び第2の実施形態と同様、指塞ぎ有りの場合には騒音抑圧処理を行わない。このような処理は、別の視点では、指塞ぎ有りの場合は周波数f(i)の音の到来方向θ(i)によらず抑圧ゲインG(i)を1にし、指塞ぎ無しの場合は式(2)に従って抑圧ゲインG(i)を算出するよう制御していると捉えることもできる。すなわち、本実施形態で挙げた送話信号出力処理は、指塞ぎの有無に応じてメインマイク2Aからの音声信号20に適用する抑圧ゲインGの値を制御する処理を含む内容であれば、上記の手順に限らず、適宜変更可能である。
[第3の実施形態の変形例]
図19Aは、第3の実施形態の変形例における送話信号出力処理を示すフローチャートである。図19Bは、第3の実施形態の変形例における指塞ぎ検出処理の内容を示すフローチャート(その1)である。図19Cは、第3の実施形態の変形例における指塞ぎ検出処理の内容を示すフローチャート(その2)である。図19Dは、第3の実施形態の変形例における指塞ぎ検出処理の内容を示すフローチャート(その3)である。
図19Aは、第3の実施形態の変形例における送話信号出力処理を示すフローチャートである。図19Bは、第3の実施形態の変形例における指塞ぎ検出処理の内容を示すフローチャート(その1)である。図19Cは、第3の実施形態の変形例における指塞ぎ検出処理の内容を示すフローチャート(その2)である。図19Dは、第3の実施形態の変形例における指塞ぎ検出処理の内容を示すフローチャート(その3)である。
第3の実施形態の指塞ぎ検出処理のように音声信号20,21の位相差及び振幅比のばらつきDv,Rvに基づいて指塞ぎの有無を検出する場合、送話信号出力処理は、図19A〜図19Dに示したような手順で行ってもよい。
すなわち、図19Aに示すように、送話信号出力処理を開始した際、まず変数nを0にする(ステップS9)。この変数nは、上記の通り位相差及び振幅比のばらつきの算出回数を表す整数値である。変数nを0にした後は、図4に示したフローチャートと同じステップS1〜S8の処理を通話が終了するまで繰り返す。すなわち、各マイク2A,2Bからの音声信号20,21の入力の受付(ステップS1)、及び動き検出処理(ステップS2)を行い、通話装置1の動きを検出したか否かに応じて次に行う処理を決定する(ステップS3)。そして、動きを検出した場合(ステップS3;Yes)、指塞ぎ検出処理は行わずに騒音抑圧処理(ステップS6)を行う。一方、通信装置1の動きを検出しなかった場合(ステップS3;No)、指塞ぎ検出処理(ステップS4)を行い、指塞ぎの有無に応じて騒音抑圧処理を行うか否かを決定する(ステップS5)。指塞ぎ有りの場合(ステップS5;Yes)、騒音抑圧処理を行わず、メインマイク2Aからの音声信号20を送話用の音声信号としてRF送受信部8に向けて出力する(ステップS7)。指塞ぎ無しの場合(ステップS5;No)及び通信装置1の動きを検出した場合(ステップS3;Yes)、メインマイク2Aからの音声信号20に対して騒音抑圧処理(ステップS6)を行う。そして、騒音成分を抑圧した送話用の音声信号をRF送受信部8に向けて出力する(ステップS7)。音声信号をRF送受信部8に向けて出力した後は、通話が継続しているかを判断し(ステップS8)、継続している場合(ステップS8;Yes)はステップS1〜S7の処理を繰り返す。通話が継続していない場合(ステップS8;No)は送話信号出力処理を終了する。
次に、図19B〜図19Dを参照しながら、本実施形態の通信装置1における指塞ぎ検出処理(ステップS4)の内容を説明する。なお、上述の図18A及び図18Bに示した指塞ぎ検出処理と同じ処理についての詳細な説明は省略する。
本実施形態の変形例における指塞ぎ検出処理では、図19Bに示すように、まずメインマイク2A及びサブマイク2Bからの音声信号20,21の位相差D及び振幅比Rを算出する(ステップS422)。そして次に、利用者音声を検出したか判断し(ステップS423)、検出した場合(ステップS423;Yes)、図19B及び図19Cに示すように、上述のステップS424〜S430により、指塞ぎの有無を検出する。すなわち、利用者音声を検出した場合の以後の処理は、上述した手順で行われる。
一方、利用者音声を検出しなかった場合(ステップS423;No)、図19Dに示すように、メインマイク2A及びサブマイク2Bからの音声信号20,21のフレームパワーの差Pdを算出し(ステップS435)、フレームパワーの差Pdが閾値TH0より大きいか判断する(ステップS436)。そして、フレームパワーの差Pdが閾値TH0よりも大きい場合(ステップS436;Yes)、指塞ぎ有りと判定し、フラグF_flagを1にする(ステップS437)。また、フレームパワーの差Pdが閾値TH0以下の場合(ステップS436;No)、指塞ぎ無しと判定し、フラグF_flagを0にする(ステップS438)。このステップS435〜S438の処理は、第2の実施形態で説明したステップS411,S413,S416,S417,S418の処理に相当する。そのため、ステップS436で用いる閾値TH0は、第2の実施形態で説明したように、利用者音声が無く、指塞ぎが無い状態での振幅差0±3dBに基づいて設定する。
このように、第3の実施形態の変形例では、利用者音声を検出しなかった場合(ステップS423;No)にも指塞ぎの有無の検出を行い、騒音抑圧をする否かを判断する。そのため、利用者音声を検出しない期間も周囲の騒音状況に応じた適切な騒音抑圧が可能になる。
なお、利用者音声を検出しなかった場合(ステップS423;No)の指塞ぎの有無の検出は、図19Dに示した方法に限らず、適宜変更可能である。
[第4の実施形態]
第1〜第3の本実施形態で説明した送話信号出力処理では、指塞ぎを検出した場合にメインマイク2Aからの音声信号20に対する騒音抑圧処理(ステップS6)を行わないようにし、不適切な騒音抑圧による送話信号の歪みを防いでいる。これに対し、第4の実施形態の送話信号出力処理では、指塞ぎを検出した場に合、騒音成分の抑圧に用いる抑圧ゲインの値を指塞ぎが無いときに用いる値よりも小さくすることで抑圧の度合いを小さくし、送話信号の歪みを防ぐ。
第1〜第3の本実施形態で説明した送話信号出力処理では、指塞ぎを検出した場合にメインマイク2Aからの音声信号20に対する騒音抑圧処理(ステップS6)を行わないようにし、不適切な騒音抑圧による送話信号の歪みを防いでいる。これに対し、第4の実施形態の送話信号出力処理では、指塞ぎを検出した場に合、騒音成分の抑圧に用いる抑圧ゲインの値を指塞ぎが無いときに用いる値よりも小さくすることで抑圧の度合いを小さくし、送話信号の歪みを防ぐ。
図20は、本発明の第4の実施形態に係る通信装置における送話信号処理部の構成を示すブロック図である。
本実施形態の通信装置1の全体構成は、第1の実施形態で説明した通りでよい。また、本実施形態の送話信号処理部502は、図20に示したように、動き検出部502a、指塞ぎ検出部502b、騒音抑圧部502c、及びバッファ502dを有する。本実施形態においても、動き検出部502a及び指塞ぎ検出部502bは、騒音抑圧部502cによる騒音抑圧処理を制御する抑圧制御部として機能する。なお、指塞ぎ検出部502bは、第1〜第3の実施形態で説明した指塞ぎ検出処理のいずれかを行う。さらに、指塞ぎ検出部502dは、指塞ぎの有無の検出結果に基づいて抑圧ゲイン寄与度Gcを算出し、騒音抑圧部502cに伝送する。抑圧ゲイン寄与度Gcは、送話用の音声信号に適用する抑圧ゲインGを修正するための0≦Gc≦1の係数である。また、騒音抑圧部502cは、通信装置1の動きを検出しなかった場合、メインマイク2Aからの音声信号20に対し抑圧ゲインG及び抑圧ゲイン寄与度Gcを適用して騒音抑圧を行う。
また、本実施形態の送話信号処理部502では、バッファ502dに、上記の抑圧ゲイン寄与度Gcを格納しておく。さらに、バッファ502dには、2個のマイク2A,2Bからの音声信号20,21のフレームパワーの差(振幅差)Pdを格納する。このフレームパワーの差Pdは、抑圧ゲイン寄与度Gcを算出する際に参照する。
図21は、第4の実施形態の送話信号出力処理を示すフローチャートである。
本実施形態の通信装置1における送話信号出力処理では、図21に示すように、まず各マイク2A,2Bからの音声信号20,21の入力の受付(ステップS1)、及び動き検出処理(ステップS2)を行い、通信装置1の動きを検出したか否かに応じて次に行う処理を決定する(ステップS3)。通信装置1の動きを検出した場合(ステップS3;Yes)、次に騒音抑圧処理(ステップS2)を行う。そして、通話装置1の動きを検出しなかった場合(ステップS3;No)、指塞ぎ検出処理(ステップS4)を行う。動き検出処理は、第1の実施形態で説明した処理を行えばよい。また、指塞ぎ検出処理は、第1〜第3の実施形態で説明した処理のいずれかを行えばよい。
本実施形態の通信装置1における送話信号出力処理では、図21に示すように、まず各マイク2A,2Bからの音声信号20,21の入力の受付(ステップS1)、及び動き検出処理(ステップS2)を行い、通信装置1の動きを検出したか否かに応じて次に行う処理を決定する(ステップS3)。通信装置1の動きを検出した場合(ステップS3;Yes)、次に騒音抑圧処理(ステップS2)を行う。そして、通話装置1の動きを検出しなかった場合(ステップS3;No)、指塞ぎ検出処理(ステップS4)を行う。動き検出処理は、第1の実施形態で説明した処理を行えばよい。また、指塞ぎ検出処理は、第1〜第3の実施形態で説明した処理のいずれかを行えばよい。
指塞ぎ検出処理が終わると、次に、抑圧ゲイン寄与度Gcを算出する(ステップS10)。抑圧ゲイン寄与度Gcは、送話用の音声信号に適用する抑圧ゲインGを修正するための係数、具体的には抑圧ゲインGを適用した場合に比べメインマイク2Aの音声信号20の抑圧の度合いを小さくするための係数である。この抑圧ゲイン寄与度Gcの算出方法については後述する。
抑圧ゲイン寄与度Gcを算出したら、次に、騒音抑圧処理(ステップS6)を行う。
騒音抑圧処理は、第1の実施形態で説明した手順で行う(図9を参照。)。なお、本実施形態の騒音抑圧処理では、図9に示したステップS601〜S605を行って算出した抑圧ゲインをメインマイク2Aからの音声信号に適用するステップS606において、以下のような処理を行う。
まず、ステップS10により抑圧ゲイン寄与度Gcを算出したか否かを判断する。抑圧ゲイン寄与度Gcを算出していない場合、すなわちステップS2で通話装置1の動きを検出した場合、抑圧ゲインG(i)のみを中心周波数がf(i)の周波数帯域のスペクトルに適用する。一方、抑圧ゲイン寄与度Gcを算出した場合、抑圧ゲインG(i)及び抑圧ゲイン寄与度Gcを中心周波数がf(i)の周波数帯域のスペクトルに適用する。
抑圧ゲインを適用したら、抑圧ゲイン適用後のスペクトルから送話用の音声信号を生成し(ステップS607)、騒音抑圧処理を終了する(リターン)。
騒音抑圧処理が終了したら、騒音抑圧処理を行った音声信号を、送話信号としてRF送受信部8に向けて出力する(ステップS7)。
音声信号をRF送受信部8に向けて出力した後は、通話が継続しているかを判断し(ステップS8)、継続している場合(ステップS8;Yes)はステップS1〜S7の処理を繰り返す。通話が継続していない場合(ステップS8;No)は送話信号出力処理を終了する。
このように、本実施形態の送話信号出力処理では、指塞ぎの有無に応じて抑圧ゲイン寄与度Gcの値を設定し、騒音抑圧処理における騒音成分の抑圧の度合いを制御する。この抑圧ゲイン寄与度Gcは、指塞ぎが有る場合に騒音成分の抑圧の度合いが小さくなるような値に設定する。以下、抑圧ゲイン寄与度の算出方法及び適用方法について説明する。
[抑圧ゲイン寄与度の算出方法及び適用方法の説明]
図22は、抑圧ゲイン寄与度の算出方法を説明するグラフである。
図22は、抑圧ゲイン寄与度の算出方法を説明するグラフである。
抑圧ゲイン寄与度Gcは、メインマイク2A及びサブマイク2Bの音声信号のフレームパワーの差Pdを用いて算出する。指塞ぎ検出処理として第1又は第2の実施形態、もしくは第3の実施形態の変形例で説明した処理を行った場合、指塞ぎ検出処理において算出したフレームパワーの差Pdを用いることができる。また、指塞ぎ検出処理として第3の実施形態で説明した処理を行った場合は、ステップS10においてフレームパワーの差Pdを算出する。そして、抑圧ゲイン寄与度Gcは、例えば図22に示すような関数Gc(Pd)に従って算出する。すなわち、フレームパワーの差Pdが0(Pd=0)の場合はGc=0、フレームパワーの差Pdが閾値THc以上(THc≦Pd)の場合はGc=1にする。また、フレームパワーの差Pdが0とTHcとの間の値(0<Pd<THc)である場合は、Pdが大きくなるにつれてGcが0から1に近づくようにする。また、フレームパワーの差Pdは、負の値になる場合もある。これを踏まえ、この図22に示した関数Gc(Pd)に基づく抑圧ゲイン寄与度Gcの算出方法を数式で表すと、下記式(8)のようになる。
上述の式(2)から算出した抑圧ゲインG(i)及び式(8)から算出した抑圧ゲイン寄与度Gcを、中心周波数がf(i)の周波数帯域のスペクトルに適用する場合、下記式(9)〜(11)の計算を行う。
Gmod(i)=G(i)+(1−G(i))・Gc ・・・(9)
MOD_SP_RE(i)=Gmod(i)・SP_RE(i) ・・・(10)
MOD_SP_IM(i)=Gmod(i)・SP_IM(i) ・・・(11)
MOD_SP_RE(i)=Gmod(i)・SP_RE(i) ・・・(10)
MOD_SP_IM(i)=Gmod(i)・SP_IM(i) ・・・(11)
式(9)のGmod(i)は、抑圧ゲイン寄与度Gcを用いて修正された抑圧ゲインである。式(10)のSP_RE(i)及び式(11)のSP_IM(i)は、それぞれ、第1の音声信号20における中心周波数がf(i)の周波数帯域のスペクトルの実部及び虚部である。また、式(10)のMOD_SP_RE(i)及び式(11)のMOD_SP_IM(i)は、それぞれ、抑圧ゲイン適用後のスペクトルの実部及び虚部である。
中心周波数がf(i)の周波数帯域のスペクトルに抑圧ゲインGmod(i)を適用すると、適用後のスペクトルの実部及び虚部はそれぞれMOD_SP_RE(i)及びMOD_SP_IM(i)となる。よって、ステップS607では、実部及び虚部がそれぞれMOD_SP_RE(i)及びMOD_SP_IM(i)のスペクトルを合成した送話用の音声信号を生成する。この際、ステップS605で算出した抑圧ゲインG(i)が0であった周波数帯域のスペクトルは送話用の音声信号には含まれない。すなわち、到来方向θ(i)と利用者音声の到来方向θzとの差が大きく騒音とみなされた周波数帯域のスペクトルは、送話用の音声信号に含まれない。
さらに、式(9)は、抑圧ゲイン寄与度Gcが1の場合Gmod(i)=1となり、抑圧ゲイン寄与度Gcが0の場合Gmod(i)=G(i)となる。抑圧ゲインG(i)は、0≦G(i)≦1であり、G(i)<1の場合、周波数f(i)の音を小さくする作用がある。また、抑圧ゲイン寄与度Gcは、メインマイク2A及びサブマイク2Bの音声信号20,21の振幅差(フレームパワーの差Pd)が大きい場合に1又は1に近い値になる。すなわち、指塞ぎ等により2個のマイクのフレームパワーの差Pdが大きくなった場合、修正した抑圧ゲインGmodは、G(i)よりも大きくなり、1又は1に近い値になる。そのため、修正した抑圧ゲインGmodを適用すると、抑圧ゲインG(i)を適用した場合に比べ、メインマイク2Aからの音声信号20に対する抑圧の度合いが小さくなる。よって、指塞ぎ等によりフレームパワーの差Pdが大きくなっている場合に不適切な抑圧をしてしまい送話信号が歪むことを防げる。
以上説明したように、第4の実施形態に係る通信装置1及び送話信号出力処理によれば、フレームパワーの差Pdが大きい場合に騒音抑圧の度合いが小さくなるよう、抑圧ゲイン寄与度Gcを用いて抑圧ゲインの値を修正する。そのため、指塞ぎ等によりサブマイク2Bからの音声信号21が周囲の騒音状況を適切に反映していない場合に、メインマイク2Aからの音声信号20に対し不適切な騒音抑圧をしてしまい送話信号が歪むことを防げる。
[第4の実施形態の変形例]
図23は、第4の実施形態の送話信号出力処理の変形例を示すフローチャートである。
図23は、第4の実施形態の送話信号出力処理の変形例を示すフローチャートである。
本実施形態の送話信号出力処理として図21に示したフローチャートでは、通話装置1の動きを検出しなかった場合(ステップS3;No)、指塞ぎ検出処理(ステップS4)を行い、続けて抑圧ゲイン寄与度Gcを算出している。しかしながら、本実施形態の送話信号出力処理は、例えば、図23に示すように、指塞ぎ検出処理の代わりにメインマイク2A及びサブマイク2Bからの音声信号20,21のフレームパワーの差Pdを算出する処理(ステップS11)のみを行ってもよい。これにより、指塞ぎ検出処理を行う場合に比べて通信装置1における処理の負荷を軽減できる。
以上記載した各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
第1のマイクと、
第2のマイクと、
前記第1のマイクから入力された第1の音声信号及び前記第2のマイクから入力された第2の音声信号を用いて前記第1の音声信号に含まれる騒音成分を抑圧する騒音抑圧部と、
前記第1の音声信号及び前記第2の音声信号の入力値に基づいて前記騒音抑圧部による抑圧処理を制御する抑圧制御部と、
を備えることを特徴とする通信装置。
(付記2)
前記抑圧制御部は、
前記第1の音声信号及び前記第2の音声信号の入力値の関係が予め定めた条件を満たす場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする付記1に記載の通信装置。
(付記3)
前記騒音抑圧部は、前記第1の音声信号及び前記第2の音声信号を用いて算出した抑圧ゲインを前記第1の音声信号に適用して前記騒音成分を抑圧し、
前記抑圧制御部は、前記騒音抑圧部に、前記第1の音声信号及び前記第2の音声信号の入力値の関係が予め定めた条件を満たしていない場合には当該入力値の関係によらず前記第1の音声信号が維持される値の抑圧ゲインを適用させる、
ことを特徴とする付記2に記載の通信装置。
(付記4)
前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差が予め定めた閾値以下である場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする付記2に記載の通信装置。
(付記5)
前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差、及び利用者の音声の到来方向が予め定めた条件を満たす場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする付記2に記載の通信装置。
(付記6)
前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との位相差のばらつき及び振幅比のばらつきが予め定めた閾地以下である場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする付記2に記載の通信装置。
(付記7)
前記騒音抑圧部は、
前記第1の音声信号及び前記第2の音声信号の入力値に基づいて算出した抑圧ゲインを前記第1の音声信号に適用して騒音成分を抑圧し、
前記抑圧制御部は、
前記第1の音声信号及び前記第2の音声信号の入力値に基づいて前記騒音成分の抑圧に用いる抑圧ゲイン寄与度を設定し、
前記騒音抑圧部に前記抑圧ゲインを前記抑圧ゲイン寄与度に従って修正させる、
ことを特徴とする付記1に記載の通信装置。
(付記8)
前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差が予め定めた閾値よりも大きい場合に前記抑圧ゲインを打ち消す前記抑圧ゲイン寄与度を設定する、
ことを特徴とする付記7に記載の通信装置。
(付記9)
前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差が予め定めた閾値以下の場合に前記振幅差が大きくなるほど騒音成分の抑圧の度合いが小さくなる前記抑圧ゲイン寄与度を設定する、
ことを特徴とする付記7又は8に記載の通信装置。
(付記10)
前記騒音抑圧部は、
前記第1の入力信号及び前記第2の入力信号を用いて周波数ごとに音の到来方向を算出し、
算出した音の到来方向と利用者の発した音声の到来方向との差が予め定めた閾値より大きい周波数成分を騒音成分として抑圧する、
ことを特徴とする付記1に記載の通話装置。
(付記11)
前記第1のマイク及び前記第2のマイクを収容した筐体と、
前記筐体の傾斜角度を検出する検出部と、を更に備え、
前記抑圧制御部は、前記筐体の傾斜角度の時間変化量が予め定めた閾値を超えた場合、前記第1の音声信号及び前記第2の音声信号の入力値の関係によらず前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする付記1に記載の通話装置。
(付記12)
コンピュータに、
第1のマイクから入力された第1の音声信号及び第2のマイクから入力された第2の音声信号の入力値の関係を算出し、
前記入力値の関係に基づいて前記第1の音声信号に含まれる騒音成分の抑圧に用いる抑圧ゲインの値を制御し、
前記第1の音声信号に前記抑圧ゲインを適用して前記第1の音声信号に含まれる騒音成分を抑圧する、
処理を実行させるためのプログラム。
(付記1)
第1のマイクと、
第2のマイクと、
前記第1のマイクから入力された第1の音声信号及び前記第2のマイクから入力された第2の音声信号を用いて前記第1の音声信号に含まれる騒音成分を抑圧する騒音抑圧部と、
前記第1の音声信号及び前記第2の音声信号の入力値に基づいて前記騒音抑圧部による抑圧処理を制御する抑圧制御部と、
を備えることを特徴とする通信装置。
(付記2)
前記抑圧制御部は、
前記第1の音声信号及び前記第2の音声信号の入力値の関係が予め定めた条件を満たす場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする付記1に記載の通信装置。
(付記3)
前記騒音抑圧部は、前記第1の音声信号及び前記第2の音声信号を用いて算出した抑圧ゲインを前記第1の音声信号に適用して前記騒音成分を抑圧し、
前記抑圧制御部は、前記騒音抑圧部に、前記第1の音声信号及び前記第2の音声信号の入力値の関係が予め定めた条件を満たしていない場合には当該入力値の関係によらず前記第1の音声信号が維持される値の抑圧ゲインを適用させる、
ことを特徴とする付記2に記載の通信装置。
(付記4)
前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差が予め定めた閾値以下である場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする付記2に記載の通信装置。
(付記5)
前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差、及び利用者の音声の到来方向が予め定めた条件を満たす場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする付記2に記載の通信装置。
(付記6)
前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との位相差のばらつき及び振幅比のばらつきが予め定めた閾地以下である場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする付記2に記載の通信装置。
(付記7)
前記騒音抑圧部は、
前記第1の音声信号及び前記第2の音声信号の入力値に基づいて算出した抑圧ゲインを前記第1の音声信号に適用して騒音成分を抑圧し、
前記抑圧制御部は、
前記第1の音声信号及び前記第2の音声信号の入力値に基づいて前記騒音成分の抑圧に用いる抑圧ゲイン寄与度を設定し、
前記騒音抑圧部に前記抑圧ゲインを前記抑圧ゲイン寄与度に従って修正させる、
ことを特徴とする付記1に記載の通信装置。
(付記8)
前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差が予め定めた閾値よりも大きい場合に前記抑圧ゲインを打ち消す前記抑圧ゲイン寄与度を設定する、
ことを特徴とする付記7に記載の通信装置。
(付記9)
前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差が予め定めた閾値以下の場合に前記振幅差が大きくなるほど騒音成分の抑圧の度合いが小さくなる前記抑圧ゲイン寄与度を設定する、
ことを特徴とする付記7又は8に記載の通信装置。
(付記10)
前記騒音抑圧部は、
前記第1の入力信号及び前記第2の入力信号を用いて周波数ごとに音の到来方向を算出し、
算出した音の到来方向と利用者の発した音声の到来方向との差が予め定めた閾値より大きい周波数成分を騒音成分として抑圧する、
ことを特徴とする付記1に記載の通話装置。
(付記11)
前記第1のマイク及び前記第2のマイクを収容した筐体と、
前記筐体の傾斜角度を検出する検出部と、を更に備え、
前記抑圧制御部は、前記筐体の傾斜角度の時間変化量が予め定めた閾値を超えた場合、前記第1の音声信号及び前記第2の音声信号の入力値の関係によらず前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする付記1に記載の通話装置。
(付記12)
コンピュータに、
第1のマイクから入力された第1の音声信号及び第2のマイクから入力された第2の音声信号の入力値の関係を算出し、
前記入力値の関係に基づいて前記第1の音声信号に含まれる騒音成分の抑圧に用いる抑圧ゲインの値を制御し、
前記第1の音声信号に前記抑圧ゲインを適用して前記第1の音声信号に含まれる騒音成分を抑圧する、
処理を実行させるためのプログラム。
1 通信装置
2A メインマイク
2B サブマイク
4 レシーバ
5 音声信号処理部
501 受話信号処理部
502 送話信号処理部
502a 動き検出部
502b 指塞ぎ検出部
502c 騒音抑圧部
502d バッファ
6 加速度センサ
7 アンテナ
8 RF送受信部
9 ベースバンド処理部
2A メインマイク
2B サブマイク
4 レシーバ
5 音声信号処理部
501 受話信号処理部
502 送話信号処理部
502a 動き検出部
502b 指塞ぎ検出部
502c 騒音抑圧部
502d バッファ
6 加速度センサ
7 アンテナ
8 RF送受信部
9 ベースバンド処理部
Claims (10)
- 第1のマイクと、
第2のマイクと、
前記第1のマイクから入力された第1の音声信号及び前記第2のマイクから入力された第2の音声信号を用いて前記第1の音声信号に含まれる騒音成分を抑圧する騒音抑圧部と、
前記第1の音声信号及び前記第2の音声信号の入力値に基づいて前記騒音抑圧部による抑圧処理を制御する抑圧制御部と、
を備えることを特徴とする通信装置。 - 前記抑圧制御部は、
前記第1の音声信号及び前記第2の音声信号の入力値の関係が予め定めた条件を満たす場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする請求項1に記載の通信装置。 - 前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差が予め定めた閾値以下である場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする請求項2に記載の通信装置。 - 前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差、及び利用者の音声の到来方向が予め定めた条件を満たす場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする請求項2に記載の通信装置。 - 前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との位相差のばらつき及び振幅比のばらつきが予め定めた閾地以下である場合にのみ前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする請求項2に記載の通信装置。 - 前記騒音抑圧部は、
前記第1の音声信号及び前記第2の音声信号の入力値に基づいて算出した抑圧ゲインを前記第1の音声信号に適用して騒音成分を抑圧し、
前記抑圧制御部は、
前記第1の音声信号及び前記第2の音声信号の入力値に基づいて前記騒音成分の抑圧に用いる抑圧ゲイン寄与度を設定し、
前記騒音抑圧部に前記抑圧ゲインを前記抑圧ゲイン寄与度に従って修正させる、
ことを特徴とする請求項1に記載の通信装置。 - 前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差が予め定めた閾値よりも大きい場合に前記抑圧ゲインを打ち消す前記抑圧ゲイン寄与度を設定する、
ことを特徴とする請求項6に記載の通信装置。 - 前記抑圧制御部は、
前記第1の音声信号と前記第2の音声信号との振幅差が予め定めた閾値以下の場合に前記振幅差が大きくなるほど騒音成分の抑圧の度合いが小さくなる前記抑圧ゲイン寄与度を設定する、
ことを特徴とする請求項6又は7に記載の通信装置。 - 前記第1のマイク及び前記第2のマイクを収容した筐体と、
前記筐体の傾斜角度を検出する検出部と、を更に備え、
前記抑圧制御部は、前記筐体の傾斜角度の時間変化量が予め定めた閾値を超えた場合、前記第1の音声信号及び前記第2の音声信号の入力値の関係によらず前記騒音抑圧部に抑圧処理をさせる、
ことを特徴とする請求項1に記載の通話装置。 - コンピュータに、
第1のマイクから入力された第1の音声信号及び第2のマイクから入力された第2の音声信号の入力値の関係を算出し、
前記入力値の関係に基づいて前記第1の音声信号に含まれる騒音成分の抑圧に用いる抑圧ゲインの値を制御し、
前記第1の音声信号に前記抑圧ゲインを適用して前記第1の音声信号に含まれる騒音成分を抑圧する、
処理を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015001178A JP2016127502A (ja) | 2015-01-06 | 2015-01-06 | 通信装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015001178A JP2016127502A (ja) | 2015-01-06 | 2015-01-06 | 通信装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016127502A true JP2016127502A (ja) | 2016-07-11 |
Family
ID=56359877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015001178A Pending JP2016127502A (ja) | 2015-01-06 | 2015-01-06 | 通信装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016127502A (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009069184A1 (ja) * | 2007-11-26 | 2009-06-04 | Fujitsu Limited | 音処理装置、補正装置、補正方法及びコンピュータプログラム |
JP2010283541A (ja) * | 2009-06-03 | 2010-12-16 | Fujitsu Ltd | 携帯型無線通信装置およびその制御方法 |
JP2012155651A (ja) * | 2011-01-28 | 2012-08-16 | Sony Corp | 信号処理装置および方法、並びに、プログラム |
JP2014507683A (ja) * | 2011-08-10 | 2014-03-27 | 歌尓声学股▲ふん▼有限公司 | 通信イヤホンの音声増強方法、装置及びノイズ低減通信イヤホン |
JP2014143763A (ja) * | 2014-05-12 | 2014-08-07 | Kyocera Corp | 携帯通信端末 |
JP2014168188A (ja) * | 2013-02-28 | 2014-09-11 | Fujitsu Ltd | マイク感度差補正装置、方法、プログラム、及び雑音抑圧装置 |
US8849231B1 (en) * | 2007-08-08 | 2014-09-30 | Audience, Inc. | System and method for adaptive power control |
-
2015
- 2015-01-06 JP JP2015001178A patent/JP2016127502A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8849231B1 (en) * | 2007-08-08 | 2014-09-30 | Audience, Inc. | System and method for adaptive power control |
WO2009069184A1 (ja) * | 2007-11-26 | 2009-06-04 | Fujitsu Limited | 音処理装置、補正装置、補正方法及びコンピュータプログラム |
JP2010283541A (ja) * | 2009-06-03 | 2010-12-16 | Fujitsu Ltd | 携帯型無線通信装置およびその制御方法 |
JP2012155651A (ja) * | 2011-01-28 | 2012-08-16 | Sony Corp | 信号処理装置および方法、並びに、プログラム |
JP2014507683A (ja) * | 2011-08-10 | 2014-03-27 | 歌尓声学股▲ふん▼有限公司 | 通信イヤホンの音声増強方法、装置及びノイズ低減通信イヤホン |
JP2014168188A (ja) * | 2013-02-28 | 2014-09-11 | Fujitsu Ltd | マイク感度差補正装置、方法、プログラム、及び雑音抑圧装置 |
JP2014143763A (ja) * | 2014-05-12 | 2014-08-07 | Kyocera Corp | 携帯通信端末 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101116013B1 (ko) | 잡음 억압 장치, 잡음 억압 방법 및 휴대 전화기 | |
CN107211063B (zh) | 非线性回波路径检测 | |
JP5876154B2 (ja) | 雑音を制御するための電子デバイス | |
US9779716B2 (en) | Occlusion reduction and active noise reduction based on seal quality | |
JP4247002B2 (ja) | マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置 | |
JP4530051B2 (ja) | 音声信号送受信装置 | |
US9094744B1 (en) | Close talk detector for noise cancellation | |
EP3058710B1 (en) | Detecting nonlinear amplitude processing | |
US20170214994A1 (en) | Earbud Control Using Proximity Detection | |
EP3096318B1 (en) | Noise reduction in multi-microphone systems | |
US20190342683A1 (en) | Blocked microphone detection | |
US20110228950A1 (en) | Headset loudspeaker microphone | |
EP2723054B1 (en) | Using an auxiliary device sensor to facilitate disambiguation of detected acoustic environment changes | |
US20090103744A1 (en) | Noise cancellation circuit for electronic device | |
EP3217638B1 (en) | Transferring information from a sender to a recipient during a telephone call under noisy environment | |
US20100266136A1 (en) | Apparatus, method and computer program | |
US20140341386A1 (en) | Noise reduction | |
CN108235165B (zh) | 一种麦克风颈环耳机 | |
US20220366932A1 (en) | Methods and apparatus for detecting singing | |
CN108605067B (zh) | 播放音频的方法和移动终端 | |
US10187504B1 (en) | Echo control based on state of a device | |
JP2016127502A (ja) | 通信装置及びプログラム | |
WO2019034154A1 (zh) | 移动终端的降噪方法、装置和计算机存储介质 | |
JP2010252375A (ja) | 音声信号送受信装置 | |
CA2804523C (en) | Adjusted noise suppression and voice activity detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181127 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190514 |