JP2008054269A - 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体 - Google Patents

音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体 Download PDF

Info

Publication number
JP2008054269A
JP2008054269A JP2006308449A JP2006308449A JP2008054269A JP 2008054269 A JP2008054269 A JP 2008054269A JP 2006308449 A JP2006308449 A JP 2006308449A JP 2006308449 A JP2006308449 A JP 2006308449A JP 2008054269 A JP2008054269 A JP 2008054269A
Authority
JP
Japan
Prior art keywords
spectrum
value
signal
acoustic coupling
coupling amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006308449A
Other languages
English (en)
Other versions
JP4456594B2 (ja
Inventor
Katsuhiro Fukui
勝宏 福井
Suehiro Shimauchi
末廣 島内
Yoichi Haneda
陽一 羽田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006308449A priority Critical patent/JP4456594B2/ja
Publication of JP2008054269A publication Critical patent/JP2008054269A/ja
Application granted granted Critical
Publication of JP4456594B2 publication Critical patent/JP4456594B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

【課題】通話状態によらず高精度に音響結合量を推定でき、エコー経路の変動にも速やかに追従する音響結合量算出技術を提供する。
【解決手段】再生信号x(k)をフレームごとに再生信号スペクトルをXL,ωに変換し(61)、収音信号y(k)をフレームごとに収音信号スペクトル収音信号YL,ωに変換する(62)。次に周波数軸方向と時間軸方向につき次式によりクロススペクトル期待値Et,f[X* L,ω・Y L,ω]を求める(111)。また周波数軸方向につき特定式によりパワースペクトル期待値Et,f[|XL,ω|2]を求める(121)。そして、特定式により音響結合量の推定値|HL,ω|2を得る(131)。
【選択図】図2

Description

本発明は、例えば音響再生系を有する通信会議システム等に適用され、ハウリングの原因及び聴覚上の障害となる音響エコーを消去したい場合等に用いる音響結合量算出装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体に関するものである。
従来の電話会議やテレビ会議に加えて、近年、PC(パーソナルコンピュータ)を用いたテレビ電話やデスクトップ会議などハンズフリー拡声通話が利用される機会が増加している。ハンズフリー拡声通話においては、受信した相手の声はスピーカから放音される一方、自身の声はマイクロホンで収音されることから、通話しながら議事録の筆記やPCの操作ができるという大きな利点がある。
しかし、スピーカで放音された相手の声は、受話者に届くだけでなくマイクロホンにも回りこんで収音され、音響エコーとして通話品質を劣化させるとともにハウリングの原因にもなる。
そこで、このようなエコーを低減しハウリングの発生を未然に防ぐため、エコーキャンセラ(エコー消去)技術が導入されている。
図16は従来のエコー消去装置10の機能構成例を示す図である。
相手方からの送話信号である再生信号x(k)は再生手段91(例えばスピーカ)から放音されるが、その一部はエコー経路h(k)(エコーがスピーカからマイクロホンに伝達する経路)を伝わりエコーz(k)となり、送話信号s(k)と共に収音手段92(例えばマイクロホン)で収音信号y(k)として収音される。
この収音信号y(k)からエコーz(k)を消去した出力信号e(k)を生成する方法として短時間スペクトル振幅(STSA : Short-Time Spectral Amplitude)推定がある。この方法におけるエコー抑圧処理は、人間の聴覚特性が位相に鈍感である性質、及び音声とエコーの統計的な性質等を利用して、周波数領域で収音信号中のエコーの振幅成分を減算することで実現する。ここでkは、所定間隔の離散時間を指す数(サンプリング点の番号)である。サンプリングとは、アナログの音声信号をディジタル信号に変換するために変数のある区間の値を1つの代表する値に置き換えることを言い、例えばサンプリング周波数16kHz(1秒間に16,000回)で行われる。
なお、再生手段91に与える信号、収音手段92で収音される信号はアナログ信号であるが、以下の説明におけるエコー消去処理はディジタル信号で行われる。従って、実際には各アナログ信号はAD変換器によりディジタル信号に変換してから処理を行う必要があるが、これは当然の処理として図示は省略する。
エコー消去装置10は、音響結合量算出装置60、ゲイン計算部71、積算部72、周波数合成部73から構成される。
音響結合量算出装置60は、再生側周波数分析部61、収音側周波数分析部62、音響結合量計算部133から構成される。
再生側周波数分析部61は、再生信号x(k)が入力されると、各フレーム(所定時間)ごとに再生信号スペクトルXL,ωに変換し、記憶・出力する。ここで、ωは所定の周波数間隔で求めたスペクトルの周波数値の番号(単に周波数値と略すこともある)、Lは周波数分析フレームの番号である。例えば、16kHzでサンプリングした256点の再生信号x(k-255),・・・,x(k)を1フレームとし、半フレーム(ここでは128点)ずらしながら周波数分析(例えば、短時間離散的フーリエ変換にて)していき、再生信号x(k)をフレーム単位で8kHzまで周波数帯域をサンプル点数128点で表した再生信号スペクトルXL,ω(ω=1,・・・,128)に変換し出力する。
収音側周波数分析部62は、再生側周波数分析部61と同様な処理を行い、収音信号y(k)が入力されると、収音信号スペクトルYL,ωに変換し出力する。
音響結合量計算部133は、スペクトル比計算部133aと比較部133bと最小値保持部133cから構成される。音響結合量の推定については、再生信号のパワースペクトル|XL,ω|2に対する収音信号のパワースペクトル|YL,ω|2の比の最小値保持を用いる方法がこれまでに提案されている[非特許文献1]。
スペクトル比計算部133aは、再生信号スペクトルXL,ωと収音信号スペクトルYL,ωを入力し、周波数値ωごとに(1)式によりパワー比(|HL,ω|’)2 を求める。
Figure 2008054269
比較部133bは、パワー比(|HL,ω|’)2と1フレーム過去の音響結合量の推定値|HL-1,ω|2を入力し、大小比較を行う。そして両者のうち、より小さい値を現フレームの音響結合量の推定値|HL,ω|2として出力する。
最小値保持部133cは、比較部133bにおいてより小さい値と判断された値を保持・更新し、1フレーム後の比較部133bでの比較処理の際に、保持値を|HL-1,ω|2として出力する。
ゲイン計算部71は、音響結合量の推定値|HL,ω|2と再生信号スペクトルXL,ωと収音信号スペクトルYL,ωが入力され、周波数値ωごとにゲイン係数GL,ωを出力する。ゲイン係数GL,ωは(2)式から算出される[非特許文献1]。
Figure 2008054269
L,ωは0〜1の実数値をとり、収音信号スペクトル中のエコー信号スペクトルの割合が大きい時には小さい値、収音信号スペクトル中のエコー信号スペクトルの割合が小さい時には大きい値をとる。
積算部72は、収音信号スペクトルYL,ωとゲイン係数GL,ωが入力され、両者を積算することにより各周波数値ωに対応するエコー信号成分を取り除いた信号スペクトルEL,ωを出力する。
周波数合成部73は、信号スペクトルEL,ωから、時間領域の信号e(k)を例えば短時間離散的フーリエ変換により再合成して出力する。
また、適応フィルタを使うタイプのエコーキャンセラにおいては通話状態を判定して通話状態に応じて適応フィルタ更新時のステップサイズの制御を行うものがある。通話状態の判定方法としては、コヒーレンスを用いる方法がこれまでに提案されている〔非特許文献2〕。
図17は従来の通話状態判定装置32の機能構成図を示す図である。
通話状態判定装置32は、再生側周波数分析部61、収音側周波数分析部62、分析窓出力部106、ベクトル内積計算部141、再生信号ノルム計算部161、収音信号ノルム計算部166、平均コヒーレンス計算部283、判定出力部292から構成される。
再生側周波数分析部61と収音側周波数分析部62は前記音響結合量算出装置60と同様に、入力された再生信号x(k)と収音信号y(k)をそれぞれ、再生信号スペクトルXL,ωと収音信号スペクトルYL,ωに変換し出力する。
分析窓出力部106は、時間軸方向の所定の範囲内を強調する分析窓を出力する。分析窓は、例えば注目する時間(フレーム値)Lに対しL−N(LからNフレームシフト、Nも同様)からL+Nまでを重み1、その他を重み0として時間軸上の所定の範囲内を強調する。従って、分析窓出力部106からはN、Nが出力される。N、Nは使用環境における残響時間及び雑音に係る時定数に依存する自然数で、例えばN=100、N=0とする。
ベクトル内積計算部141は、再生信号スペクトルXL,ωと収音信号スペクトルYL,ωと分析窓N、Nが入力され、再生信号スペクトルXL,ωと収音信号スペクトルYL,ωにおける再生信号ベクトル[XL-N1,ω、・・・、XL,ω、・・・、XL+N2,ω]Tと収音信号ベクトル[YL-N1,ω、・・・、YL,ω、・・・、YL+N2,ω]Tとから、ベクトル内積<X* L,ω・YL,ω>を、
Figure 2008054269
により計算し出力する。ここで、X* L+n,ωはXL+n,ωの共役複素数である。
再生信号ノルム計算部161は、前記再生信号ベクトルから、再生信号ノルム‖XL,ω‖を、
Figure 2008054269
により計算し出力する。
収音信号ノルム計算部166は、前記収音信号ベクトルから、収音信号ノルム‖YL,ω‖を、
Figure 2008054269
により計算し出力する。
平均コヒーレンス計算部283は、ベクトル内積<X* L,ω・YL,ω>と再生信号ノルム‖XL,ω‖と収音信号ノルム‖YL,ω‖とが入力され、これらから平均コヒーレンスγ(L)を次式のように計算し出力する。
Figure 2008054269
ここで、Pは加算する周波数軸上の所定範囲を表すサンプル数(自然数)で、例えば120とする。
判定出力部292は再生信号x(k)と収音信号y(k)と平均コヒーレンスγ(L)が入力され、通話状態を以下のように判定して出力する。
・再生信号x(k)と収音信号y(k)の振幅が無い時、無音の状態と
判定する。
・収音信号y(k)の振幅がある区間において、再生信号x(k)の振幅が
ほとんど無い時、無音の状態と判定する。
・再生信号x(k)の振幅がある区間において、平均コヒーレンスγ(L)
が検出しきい値を上回った場合、その区間は再生信号のみの状態と判定
する。
・再生信号x(k)の振幅がある区間において、平均コヒーレンスγ(L)
が検出しきい値を下回った場合、その区間はダブルトーク状態と判定する。
なお、再生信号と収音信号との相関を求めて音響結合量を求める場合に通話状態に応じて音響結合量を制御することは提案されていない。
阪内澄宇、羽田陽一、片岡章俊、"STSA推定に基づくエコー抑圧処理のゲイン強調式、"電子情報通信学会論文誌、vol. J88-A, no.6, pp.695-703, 2005. T.Gansler, M.Hansson, C.-J.Ivarsson, and Goran Salomonsson, "A double-talk detector based on coherence," IEEE Trans. Communications, vol.44, no.11, pp.1421-1427, Nov. 1996.
従来の再生信号パワースペクトルに対する収音信号パワースペクトルの比の最小値保持を用いる音響結合量計算方法では、ダブルトーク(エコー信号に送話者の信号が混入する状態)中は送話者の信号の変動が支配的になり、エコー経路の変動が覆い隠されてしまう。それゆえ、たとえエコー経路にエコーが減少する方向に変動が生じてもそれが必ずしも音響結合量の推定値の更新に即座に反映されるとは限らなかった。
一方、エコー経路そのものの変動により音響結合量が増加する場合があるが、従来の計算方法では、算出されたパワー比(|HL,ω|’)2 がその1フレーム過去の音響結合量の推定値|HL-1,ω|2より大きい時は、全てダブルトークが生じたものとして音響結合量の推定値は更新されない。それゆえ、実際には受話シングルトーク(収音信号中にエコー信号のみが含まれる状態)中にエコー経路にエコーが増加する方向の変動が生じてもそれを音響結合量の推定値の更新に反映することができなかった。
以上のようなエコー経路変動への追従性の問題により音響結合量の誤推定が生じ、それがミュージカルノイズ発生の原因の一つとなっていた。
また、従来の通話状態判定方法ではコヒーレンスを計算するために長い時定数が必要なため、検出の遅れが生じて処理信号に欠損が生じることがあった。加えて、残響が多いなど再生信号とエコーとの相関が低い場合、受話シングルトーク状態でも平均コヒーレンス値が小さいため、受話シングルトークとダブルトークとの判断が困難になることがあった。
本発明の一面の課題は、エコー経路変動への追従性と推定の精度が共に優れた音響結合量算出技術を提供することにある。
本発明の他面の課題は、検出遅延を生じることなく、受話シングルトークとダブルトークとを正確に判定することができる通話状態判定技術を提供することにある。
本発明の一面では、対応するスペクトルごとに、再生信号スペクトルと収音信号スペクトルとの時間軸方向と周波数軸方向の二つの軸を融合させた相関値を、前記再生信号スペクトルの二乗の時間軸方向と周波数軸方向の二つの軸を融合させた値で正規化した結果を音響結合量の推定値として求める。
本発明の他面では、再生信号スペクトルと収音信号スペクトルとの時間軸方向と周波数軸方向の二つの軸を融合させた相関値を、前記再生信号スペクトルの二乗の時間軸方向と周波数軸方向の二つの軸を融合させた値と、前記収音信号スペクトルの二乗の時間軸方向と周波数軸方向の二つの軸を融合させた値とで正規化した結果を通話状態の第一検出係数とし、再生信号スペクトルと収音信号スペクトルとの時間軸方向と周波数軸方向の二つの軸を融合させた相関値を、前記収音信号スペクトルの二乗の時間軸方向と周波数軸方向の二つの軸を融合させた値で正規化した結果を第二検出係数として、求めた二つの検出係数に基づいて通話状態を判定する。
再生信号と送話信号とは統計的に無相関であり、しかもこの発明の構成によれば再生信号とエコー信号との相関が時間軸方向と周波数軸方向において融合されていることから、エコー経路の変動が再生信号スペクトルと収音信号スペクトルとの相関値に表れる。従って、ダブルトーク中にエコー経路がエコーの減少する方向に変動しても、またシングルトーク中にエコーが増加する方向に変動が生じても、音響結合量を高精度に推定し、かつ速やかに更新できる。
また、通話状態の判定においても、再生信号とエコー信号との相関が時間軸方向と周波数軸方向において融合されていることから、時定数を短くすることができ、少ない検出遅延で高精度に通話状態を判定できる。更に、収音信号の大きさを考慮した検出係数を利用することで、残響が多い場合でも効率的に受話シングルトークとダブルトークを判別できる。
〔第1実施形態〕
図1は、本発明のエコー消去装置1の機能構成例である。
エコー消去装置1は、音響結合量算出装置51、ゲイン計算部71、積算部72、周波数合成部73から構成される。音響結合量算出装置60が音響結合量算出装置51に置き換わった以外は図16に示した従来技術と同じ構成である。よって、図1の中で図16と対応する部分については同一参照番号を付け、説明は省略する。その他の図面についても同様とする。
以下に図16と異なる音響結合量算出装置51について説明する。
音響結合量算出装置51は、再生側周波数分析部61、収音側周波数分析部62、音響結合量計算手段81から構成される。このうち、再生側周波数分析部61、収音側周波数分析部62は従来技術と同じである。
音響結合量計算手段81は、再生信号スペクトルXL,ωと収音信号スペクトルYL,ωが入力され、対応するスペクトルごとに前記再生信号スペクトルと前記収音信号スペクトルとの時間軸方向と周波数軸方向の二つの軸を融合させた相関値が融合相関計算部81aで計算される。また、前記再生信号スペクトルの二乗の時間軸方向と周波数軸方向の二つの軸を融合させた値が融合二乗計算部81bで計算される。そして、前記融合させた相関値を前記融合させた値で音響結合量計算部81cにおいて正規化し、この結果を音響結合量の推定値として出力する。
〔第2実施形態〕
図2は、第2実施形態の音響結合量算出装置52をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置52においては、第1実施形態の音響結合量算出装置51における音響結合量計算手段81の代わりに、分析窓出力部101、クロススペクトル期待値計算部111、パワースペクトル期待値計算部121、音響結合量計算部131が用いられ、それ以外の構成については第1実施形態と同様である。つまり、この例では融合相関計算部81aを分析窓出力部101とクロススペクトル期待値計算部111により構成し、融合二乗計算部81bを分析窓出力部101とパワースペクトル期待値計算部121により構成したものに相当する。
分析窓出力部101は、周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内を強調する二次元分析窓を出力する。この例では二次元分析窓により、注目する周波数値ωに対しω−M(ωからMサンプルシフト、Mも同様)からω+Mまでを重み1、その他を重み0として周波数軸上の所定の範囲内を強調し、また注目する時間(フレーム値)Lに対しL−N(LからNフレームシフト、Nも同様)からL+Nまでを重み1、その他を重み0として時間軸上の所定の範囲内を強調する場合とする。従って、分析窓出力部101からはM、M、N、Nが出力される。M、Mはサンプリング周波数に依存する自然数で、サンプリング周波数16kHzの場合、M、Mとも2から10の間の値が望ましく、M=5、M=5の付近が最も望ましい。そして、サンプリング周波数が2倍になればこれらの値も2倍の値になる。一方、N、Nは使用環境における残響時間及び雑音に係る時定数に依存する自然数で、例えばN=10、N=0とする。
クロススペクトル期待値計算部111は、再生信号スペクトルXL,ωと収音信号スペクトルYL,ωと前記二次元分析窓M、M、N、Nが入力され、周波数値ω及びフレーム値L(時間Lともいう)ごとにクロススペクトル期待値Et,f[X* L,ω・YL,ω]を (7)式により計算し出力する。ここで、X* L+n,ω+mはXL+n,ω+mの共役複素数である。
Figure 2008054269
なお、クロススペクトル期待値計算部111内のメモリ111a及び111bには、クロススペクトル期待値の計算に必要な再生信号スペクトル及び収音信号スペクトルの各(N−N)フレーム分がそれぞれ記憶される。1フレームの計算が終了するごとに最も古い信号スペクトルがメモリ111a及び111bから消去され、次のフレームの再生信号スペクトル及び収音信号スペクトルが111a及び111bにそれぞれ格納される。
パワースペクトル期待値計算部121は、再生信号スペクトルXL,ωと前記二次元分析窓M、M、N、Nが入力され、周波数値ω及びフレーム値Lごとにパワースペクトル期待値Et,f[|XL,ω|2]を(8)式により計算し出力する。
Figure 2008054269
なお、パワースペクトル期待値計算部121内のメモリ121aには、パワースペクトル期待値の計算に必要な再生信号スペクトルの(N−N)フレーム分が記憶される。1フレームの計算が終了するごとに最も古い信号スペクトルがメモリ121aから消去され、次のフレームの再生信号スペクトルが121aに格納される。
音響結合量計算部131は、クロススペクトル期待値Et,f[X* L,ω・YL,ω]とパワースペクトル期待値Et,f[|XL,ω|2]が入力され、音響結合量の推定値|HL,ω|2を (9)式により計算し出力する。
Figure 2008054269
このように音響結合量の推定において短時間スペクトルの時間方向だけでなく周波数方向の統計量にも着目することで、経路変動への追従性を向上することができる。
なお、式(9)の演算は式(7)の右辺を式(8)の右辺で割算することと同様であり、式(7)と式(8)の各右辺の分母は同一であるから、式(7)の右辺、つまり再生信号スペクトルXL,ωと収音信号スペクトルYL,ωとの内積を二次元分析窓で重み付け加算して二次元ベクトル内積を求め、また式(8)の右辺、つまり再生信号スペクトルXL,ωの二乗を二次元分析窓で重み付け加算した二次元再生信号パワースペクトルを求め、前記二次元ベクトル内積を二次元再生信号パワースペクトルで割算して音響結合量の推定値|HL,ω|2を求めてもよい。
〔第3実施形態〕
図3は、第3実施形態の音響結合量算出装置53をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置53においては、第2実施形態の音響結合量算出装置52における分析窓出力部101の代わりに分析窓出力部102が、クロススペクトル期待値計算部111の代わりにクロススペクトル期待値計算部112が、パワースペクトル期待値計算部121の代わりにパワースペクトル期待値計算部122が用いられ、それ以外の構成については第2実施形態と同様である。
分析窓出力部102は、周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内の現在着目している点で極大値を有する二次元分析窓を出力する。例えば、二次元分析窓の周波数軸方向の所定の範囲、時間軸方向の所定の範囲を第2実施形態と同様にω−M〜ω+M、L−N〜L+Nとし、現在着目している点[L,ω]で極大値を持つような重み付け二次元窓関数Wn,mを、重み計算部102aで(10)式により各m、nについて計算し、M、M、N、Nと共に出力する。ここで、βは窓の調整係数(例えばサンプリング周波数16kHzで1.0)、Iは減衰率を決定する値(例えばサンプリング周波数16kHzで0.5)である。
Figure 2008054269
クロススペクトル期待値計算部112は、再生信号スペクトルXL,ωと収音信号スペクトルYL,ωと前記二次元分析窓M、M、N、N、Wn,mが入力され、クロススペクトル期待値Et,f[X* L,ω・YL,ω]を (11)式により計算し出力する。
Figure 2008054269
パワースペクトル期待値計算部122は、再生信号スペクトルXL,ωと前記二次元分析窓M、M、N、N、Wn,mが入力され、パワースペクトル期待値Et,f[|XL,ω|2]を(12)式により計算し出力する。
Figure 2008054269
重み付け二次元窓関数Wn,mをスペクトル期待値の算出に適用することで、周波数軸方向、時間軸方向のいずれにおいても、現在着目している点[L,ω]に近いほど再生信号スペクトルと収音信号スペクトルのエコー成分との相関が大きくなるため、音響結合量をより高精度に推定することができる。
第2実施形態の最後に述べたと同様に、式(11)と式(12)の各右辺の分子を計算して、前者の結果を後者の結果で割算して音響結合量の推定値|HL,ω|2を求めてもよい。
〔第4実施形態〕
図4は、第4実施形態の音響結合量算出装置54をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置54においては、第1実施形態の音響結合量算出装置51における音響結合量算出手段81の代わりに、分析窓出力部103、クロススペクトル期待値計算部113、パワースペクトル期待値計算部123、音響結合量計算部131が用いられ、それ以外の構成については第1実施形態と同様である。つまり、この例では融合相関計算部81aを分析窓出力部103とクロススペクトル期待値計算部113により構成し、融合二乗計算部81bを分析窓出力部103とパワースペクトル期待値計算部123により構成したものに相当する。
分析窓出力部103は、周波数軸方向の所定の範囲内を強調する周波数軸分析窓と時間軸方向の所定の範囲内を強調する時間軸分析窓を出力する。この例では、周波数軸分析窓により注目する周波数値ωに対しω−M(ωからMサンプルシフト、Mも同様)からω+Mまでを重み1、その他を重み0として周波数軸上の所定の範囲内を強調し、時間軸分析窓により注目する時間(フレーム値)Lに対しL−N(LからNフレームシフト、Nも同様)からL+Nまでを重み1、その他を重み0として時間軸上の所定の範囲内を強調する場合とする。従って、分析窓出力部103からはM、M、N、Nが出力される。M、Mはサンプリング周波数に依存する自然数で、サンプリング周波数16kHzの場合、M、Mとも2から10の間の値が望ましく、M=5、M=5の付近が最も望ましい。そして、サンプリング周波数が2倍になればこれらの値も2倍の値になる。一方、N、Nは使用環境における残響時間及び雑音に係る時定数に依存する自然数で、例えばN=10、N=0とする。
クロススペクトル期待値計算部113は、ベクトル内積計算部141と周波数軸重み付け部151とから構成される。
ベクトル内積計算部141は再生信号スペクトルXL,ωと収音信号スペクトルYL,ωと時間軸分析窓N、Nとが入力され、再生信号スペクトルXL,ωと収音信号スペクトルYL,ωとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積<X* L,ω・YL,ω>を(3)式により計算し出力する。
周波数軸重み付け部151は、前記求めたベクトル内積<X* L,ω・YL,ω>と周波数軸分析窓M、Mが入力され、前記ベクトル内積<X* L,ω・YL,ω>を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を、二次元で重み付け加算したサンプルの数で割ったクロススペクトル期待値Et,f[X* L,ω・YL,ω]を (13)式により計算し出力する。
Figure 2008054269
パワースペクトル期待値計算部123は、再生信号ノルム計算部161と周波数軸重み付け部171とから構成される。
再生信号ノルム計算部161は、再生信号スペクトルXL,ωと時間軸分析窓N、Nとが入力され、再生信号スペクトルXL,ωの振幅の二乗を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した再生信号ノルム‖XL,ω‖を (4)式により計算し出力する。
周波数軸重み付け部171は、前記求めた再生信号ノルム‖XL,ω‖と周波数軸分析窓M、Mが入力され、前記再生信号ノルム‖XL,ω‖の二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を、二次元で重み付け加算したサンプルの数で割ったパワースペクトル期待値Et,f[|XL,ω|2]を (14)式により計算し出力する。
Figure 2008054269
なお、(13)式の<X* L,ω・YL,ω>の計算と(14)式の‖XL,ωの計算はそれぞれ(15)式、(16)式により計算して時間軸方向の計算の効率化を図ることもできる。この<X* L,ω・YL,ω>と‖XL,ωの計算の効率化は、その他の実施例においても同様に適用できる。
<X* L,ω・YL,ω>≒αX* L,ω・YL,ω+(1−α)<X* L-1,ω・YL-1,ω
(15)
‖XL,ω≒α|XL,ω+(1−α)‖XL-1,ω (16)
ここで、αは現時点から過去の無限範囲について過去に向かうほど減衰度を高めるための時定数の重み係数(例えばα=0.01)である。
第4実施形態についても第2実施形態と同様、音響結合量の推定において短時間スペクトルの時間方向だけでなく周波数方向の統計量にも着目することで、経路変動への追従性を向上することができる。
〔第5実施形態〕
図5は、第5実施形態の音響結合量算出装置55をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置55においては、第1実施形態の音響結合量算出装置51における音響結合量算出手段81の代わりに、分析窓出力部103、二次元ベクトル内積計算部114、二次元再生信号ノルム計算部124、音響結合量計算部132が用いられ、それ以外の構成については第1実施形態と同様である。つまり、この例では融合相関計算部81aを分析窓出力部103と二次元ベクトル内積計算部114により構成し、融合二乗計算部81bを分析窓出力部103と二次元再生信号ノルム計算部124により構成したものに相当する。
二次元ベクトル内積計算部114は、ベクトル内積計算部141と周波数軸重み付け部152とから構成される。
周波数軸重み付け部152は、前記求めたベクトル内積<X* L,ω・YL,ω>と周波数軸分析窓M、Mとが入力され、前記ベクトル内積<X* L,ω・YL,ω>の絶対値を各スペクトルごとに前記周波数軸分析窓で重み付け加算した二次元ベクトル内積<X* L,ω・YL,ω>’を (17)式により計算し出力する。
Figure 2008054269
二次元再生信号ノルム計算部124は、再生信号ノルム計算部161と周波数軸重み付け部172とから構成される。
周波数軸重み付け部172は、前記求めた再生信号ノルム‖XL,ω‖と周波数軸分析窓M、Mが入力され、前記再生信号ノルム‖XL,ω‖の二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算した二次元再生信号ノルム‖XL,ω‖’を (18)式により計算し出力する。
Figure 2008054269
音響結合量計算部132は、上記二次元ベクトル内積<X* L,ω・YL,ω>’と上記二次元再生信号ノルム‖XL,ω‖’とが入力され、音響結合量の推定値|HL,ω|2を (19)式により計算し出力する。
Figure 2008054269
第5実施形態についても第4実施形態と同様、音響結合量の推定において短時間スペクトルの時間軸方向だけでなく周波数軸方向の統計量にも着目することで、経路変動への追従性を向上することができる。また、二次元ベクトル内積<X* L,ω・YL,ω>’を求める際、理論的には位相成分も加味して演算すべきであるが、実際には位相の不規則な変動により演算に誤差が生じる場合があり、これは特に周波数軸方向において顕著である。そこで、第5実施形態においては、時間軸方向の演算であるベクトル内積<X* L,ω・YL,ω>を求める際には位相成分を加味しつつ、周波数軸方向の演算である二次元ベクトル内積<X* L,ω・YL,ω>’を求める際には絶対値をとることにより位相変動の影響を軽減している。
〔第6実施形態〕
図6は、第6実施形態の音響結合量算出装置56をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置56においては、第4実施形態の音響結合量算出装置54における分析窓出力部103の代わりに分析窓出力部104が、クロススペクトル期待値計算部113の代わりにクロススペクトル期待値計算部115が、パワースペクトル期待値計算部123の代わりにパワースペクトル期待値計算部125が用いられ、それ以外の構成については第4実施形態と同様である。
分析窓出力部103は、周波数軸方向の所定の範囲内及び時間軸方向の所定の範囲内の現在着目している点で極大値を有する周波数軸分析窓及び時間軸分析窓を出力する。例えば、周波数軸分析窓の周波数軸方向の所定の範囲、時間軸分析窓の時間軸方向の所定の範囲を第4実施形態と同様にω−M〜ω+M、L−N〜L+Nとし、現在着目している点[L,ω]で極大値を持つような重み付け二次元窓関数Wn,mを、重み計算部102aで(10)式により各m、nについて計算し、M、M、N、Nと共に出力する。
クロススペクトル期待値計算部115は、ベクトル内積計算部142と周波数軸重み付け部153とから構成される。
ベクトル内積計算部142は再生信号スペクトルXL,ωと収音信号スペクトルYL,ωと時間軸分析窓N、Nと重み付け二次元窓関数Wn,0とが入力され、ベクトル内積<X* L,ω・YL,ω>を(20)式により計算し出力する。
Figure 2008054269
周波数軸重み付け部153は、前記求めたベクトル内積<X* L,ω・YL,ω>と周波数軸分析窓M、Mと重み付け二次元窓関数W0,mとが入力され、クロススペクトル期待値Et,f[X* L,ω・YL,ω]を (21)式により計算し出力する。
Figure 2008054269
パワースペクトル期待値計算部125は、再生信号ノルム計算部162と周波数軸重み付け部173とから構成される。
再生信号ノルム計算部162は、再生信号スペクトルXL,ωと時間軸分析窓N、Nと重み付け二次元窓関数Wn,0とが入力され、再生信号ノルム‖XL,ω‖を (22)式により計算し出力する。
Figure 2008054269
周波数軸重み付け部173は、前記求めた再生信号ノルム‖XL,ω‖と周波数軸分析窓M、Mと重み付け二次元窓関数W0,mとが入力され、パワースペクトル期待値Et,f[|XL,ω|2]を (23)式により計算し出力する。
Figure 2008054269
重み付け二次元窓関数Wn,mをスペクトル期待値の算出に適用することで、周波数軸方向、時間軸方向のいずれにおいても、現在着目している点[L,ω]に近いほど再生信号スペクトルと収音信号スペクトルのエコー成分との相関が大きくなるため、音響結合量をより高精度に推定することができる。
なお、第6実施形態では第4実施形態に重み付け窓関数を適用した例を記したが、第5実施形態に対しても同様に適用可能である。第5実施形態に適用する場合は (21)式、(23)式の代わりに(24)式、(25)式を計算すればよい。
Figure 2008054269
〔第7実施形態〕
図7は、第7実施形態の音響結合量算出装置57をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置57は、第4実施形態の構成に音響結合量補正部241を加えたものであり、その他の部分は第4実施形態と同様である。
図8は音響結合量補正部241の機能構成例である。
音響結合量補正部241は、通話状態判定部251と収音信号ノルム計算部166と制御値計算部261と補正計算部271とから構成される。
通話状態判定部251は、再生信号x(k)と収音信号y(k)が入力され、どのような通話状態(無音、再生信号のみ、送話信号のみ、ダブルトークのいずれか)であるか判定し、この判定結果を出力する。通話状態の判定は例えば前記背景技術に記した公知の方法によって行う。
収音信号ノルム計算部166は、収音信号スペクトルYL,ωと時間軸分析窓N、Nとが入力され、収音信号スペクトルYL,ωの振幅の二乗を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した収音信号ノルム‖YL,ω‖を (5)式により計算し出力する。
制御値計算部261は、前記通話状態判定結果と前記収音信号ノルム‖YL,ω‖と前記再生信号ノルム‖XL,ω‖と音響結合量の推定値|HL,ω|2とが入力され、制御値δL,ωを出力する。
図9は制御値計算部261の機能構成例である。この図に従い制御値計算部261の処理内容を説明する。
まず、前記通話状態判定結果が制御部261aに、前記再生信号ノルム‖XL,ω‖と前記収音信号ノルム‖YL,ω‖と音響結合量の推定値|HL,ω|2とが計算部261bに入力される。
制御部261aは判定結果に応じ、計算部261b、比較部261c、記憶部261dを制御し、以下の処理を行う。
《再生信号のみの状態と判定された場合》
計算部261bは、(26)式により制御値δL,ωを求めて出力し、記憶部
261dはそれまで保持していた制御値δL,ωを計算部261bから入
力された値で更新し出力するとともに、次の再計算時まで保持する。
Figure 2008054269
《ダブルトーク状態と判定された場合》
計算部261bは、(26)式により制御候補値δL,ω’を求めて出力し、
記憶部261dは保持している制御値δL,ωを出力し、これらが比較部2
61cに入力され両者の大小が比較される。制御候補値δL,ω’の方が大
きければこれを記憶部261dに出力し、記憶部261dはそれまで保
持されていた制御値δL,ωを制御候補値δL,ω’により更新し、それを出力
するとともに次の再計算時まで保持する。制御候補値δL,ω’の方が小さ
ければ保持されていた制御値δL,ωをそのまま出力する。
《無音または送話信号のみの状態と判定された場合》
記憶部261dに保持されていた制御値δL,ωをそのまま出力する。
図8の説明に戻る。補正計算部271は、音響結合量の推定値|HL,ω|2と制御値δL,ωが入力され、補正後の音響結合量の推定値|HL,ω|’2を(27)式により計算し出力する。
Figure 2008054269
このように通話状態を判定して音響結合量の推定値を補正することにより、受話信号とエコーとの相関が弱い場合においても高精度に音響結合量を推定することができる。
なお、この音響結合量補正部241で行う対象音響結合量の推定値|HL,ω|’2としては、第5実施形態により求めたものに限らず、第1〜第4実施形態、第6実施形態、後述する第10〜第12実施形態のいずれで求めたものでもよい。
〔第8実施形態〕
図10は、第8実施形態の通話状態判定部252の機能構成例である。
通話状態判定部252は、第7実施形態の通話状態判定部251に代わるものであり、音響結合量補正部のその他の部分は第7実施形態と同様である。
通話状態判定部252は検出係数計算部281と判定出力部291とから構成される。
検出係数計算部281は、前記ベクトル内積<X* L,ω・YL,ω>と前記再生信号ノルム‖XL,ω‖と前記収音信号ノルム‖YL,ω‖とが入力され、第1検出係数γ(L)と第2検出係数γ(L)を計算して出力する。
前記再生信号ノルム‖XL,ω‖と前記収音信号ノルム‖YL,ω‖は、それぞれ再生信号ノルム加算部281aと収音信号ノルム加算部281bに入力されて、それぞれ周波数方向の所定範囲Pで加算され、それぞれの加算結果が乗算部281で乗算され、この乗算結果が開平演算部281eで開平される。
前記ベクトル内積<X* L,ω・YL,ω>は、内積加算部281cに入力されて、周波数方向の所定範囲Pで加算される。
上記周波数方向の所定範囲Pは、サンプリングレートに応じて選ばれ、音声帯域、例えば3.4kHzや7kHzなどと対応し、サンプリング周波数16kHz、周波数分析サンプル数256の場合、Pは60〜120の範囲が望ましく、例えばP=120とする。
第1割算部281fは、開平演算部281eの出力と内積加算部281cの出力とが入力され、(28)式により第1検出係数γ(L)を計算して出力する。
Figure 2008054269
第2割算部281gは、収音信号ノルム加算部281bの出力と内積加算部281cの出力とが入力され、(29)式により第2検出係数γ(L)を計算して出力する。
Figure 2008054269
判定出力部291は、第1検出係数γ(L)と第2検出係数γ(L)と再生信号x(k)と収音信号y(k)とが入力され、以下の判定基準に基づき通話状態を判定し、結果を出力する。
・再生信号x(k)と収音信号y(k)の振幅がない時、無音の状態と判定する。
・収音信号y(k)の振幅のある区間で、再生信号x(k)の振幅がない時、送話信号のみの状態と判定する。
・再生信号x(k)の振幅がある区間で、第1検出係数γ(L)と第2検出係数のγ(L)のどちらかの一方でも検出しきい値を上回った場合、その区間は受話信号のみの状態と判定する。
・再生信号x(k)の振幅がある区間で、第1検出係数γ(L)と第2検出係数γ(L)の両方が検出しきい値を下回った場合、その区間はダブルトーク状態と判定する。
なお、第1検出係数γ(L)のしきい値は0.2〜0.8の間の値が望ましく、例えば0.5とし、第2検出係数γ(L)のしきい値は0.5〜3.0の間の値が望ましく、例えば1.0とする。
第1検出係数γ(L)は収音信号中の再生信号成分の強さを示し、収音信号中に近端話者信号が含まれていないとき大きな値となり、収音信号に近端話者信号が含まれているとき小さな値になるように動作する。しかし、スピーカとマイクロホンの距離が遠く、再生信号とエコーの相関が小さい場合においては受話シングルトーク時でも小さな値をとる。これに対して、第2検出係数γ(L)は、スピーカとマイクロホンの距離が遠く、音響結合量の小さい場合において、収音信号に近端話者信号が含まれていないとき大きな値、近端話者信号が含まれるとき小さな値になるように動作する。従って、第1検出係数γ(L)と第2検出係数γ(L)の双方を前記のように用いて通話状態を判断することで、再生信号とエコーの相関の強弱に関わらず正確に通話状態を検出することが可能となる。
また、この検出方式は短時間スペクトルの時間方向と周波数方向の2つの統計量を利用して検出係数を計算しているため、検出に要する時定数が短縮され検出遅延の改善も図れる。
〔第9実施形態〕
図11は、第9実施形態の通話状態判定部253の機能構成例である。
通話状態判定部253は、第7実施形態の通話状態判定部251に代わるものであり、音響結合量補正部のその他の部分は第7実施形態と同様である。
通話状態判定部253は検出係数計算部282と判定出力部291とから構成される。
検出係数計算部282は、検出係数計算部281の第2割算部281gが第2割算部281hに入れ替わっている以外は、検出係数計算部281と同じ構成である。
第2割算部281hは、再生信号ノルム加算部281aの出力と収音信号ノルム加算部281bの出力とが入力され、(30)式により第2検出係数γ(L)を計算して出力する。
Figure 2008054269
第9実施形態は、第8実施形態における第2検出係数γ(L)の演算を簡素化したものであり、検出精度はやや劣るものの、演算処理の高速化を図ることができる。
〔第10実施形態〕
図12は、第10実施形態の音響結合量算出装置58をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置58においては、第1実施形態の音響結合量算出装置51における音響結合量算出手段81の代わりに、分析窓出力部105、クロススペクトル期待値計算部116、パワースペクトル期待値計算部126、音響結合量計算部131が用いられ、それ以外の構成については第1実施形態と同様である。つまり、この例では融合相関計算部81aを分析窓出力部105とクロススペクトル期待値計算部116により構成し、融合二乗計算部81bを分析窓出力部105とパワースペクトル期待値計算部126により構成したものに相当する。
分析窓出力部105は、周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、例えば第2実施形態と同様にM、Mを出力する。一方、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど減衰度を高めるための時定数の重み係数α(例えばα=0.01)を出力する。
クロススペクトル期待値計算部116は、積和計算部181と第一加算部191と第一記憶部201から構成される。
積和計算部181は、再生信号スペクトルXL,ωと収音信号スペクトルYL,ωと前記周波数軸方向の分析窓M、Mが入力され、周波数値ωごとのX* L,ωとYL,ωとの積和を計算し出力する。
第一加算部191は、周波数値ωごとに、前記積和と重み係数αと1フレーム前のクロススペクトル期待値Et,f[X* L-1,ω・YL-1,ω]を入力し、クロススペクトル期待値Et,f[X* L,ω・YL,ω]を(31)式により計算し出力する。
Figure 2008054269
第一記憶部201は、第一加算部191において計算されたクロススペクトル期待値Et,f[X* L,ω・YL,ω]を記憶し、1フレーム後のクロススペクトル期待値の計算の際にEt,f[X* L-1,ω・YL-1,ω]として出力する。
パワースペクトル期待値計算部126は、二乗和計算部211と第二加算部221と第二記憶部231から構成される。
二乗和計算部211は、再生信号スペクトルXL,ωと前記周波数軸方向の分析窓M、Mが入力され、周波数値ωごとにXL,ωの二乗和を計算し出力する。
第二加算部221は、周波数値ωごとに前記二乗和と重み係数αと1フレーム前のパワースペクトル期待値Et,f[|XL-1,ω|2]を入力し、パワースペクトル期待値Et,f[|XL,ω|2]を(32)式により計算し出力する。
Figure 2008054269
第二記憶部231は、第二加算部221において計算されたパワースペクトル期待値Et,f[|XL,ω|2]を記憶し、1フレーム後のパワースペクトル期待値の計算の際にEt,f[|XL-1,ω|2]として出力する。
第2実施形態や第4実施形態は、各スペクトル期待値の計算時に周波数軸上の所定の範囲内のみならず、時間軸上の所定の範囲内も含めた全てのXL,ω、YL,ωが必要になる。しかし、第10実施形態では前フレームのスペクトル期待値を利用することで周波数軸上の所定の範囲のXL,ω、YL,ωがあれば計算できるため、計算量やリソース消費量を第2実施形態や第4実施形態より少なくすることができる。
〔第11実施形態〕
図13は、第11実施形態の音響結合量算出装置59をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置59においては、第1実施形態の音響結合量算出装置51における音響結合量算出手段81の代わりに、分析窓出力部105、二次元ベクトル内積計算部117、二次元再生信号ノルム計算部127、音響結合量計算部132が用いられ、それ以外の構成については第1実施形態と同様である。つまり、この例では融合相関計算部81aを分析窓出力部105と二次元ベクトル内積計算部117により構成し、融合二乗計算部81bを分析窓出力部105と二次元再生信号ノルム計算部127により構成したものに相当する。
二次元ベクトル内積計算部117は、積和計算部182と第一加算部192と第一記憶部202から構成される。
積和計算部182は、再生信号スペクトルXL,ωと収音信号スペクトルYL,ωと前記周波数軸方向の分析窓M、Mが入力され、X* L,ωとYL,ωとの積の絶対値を周波数値ωごとに積和を計算し出力する。
第一加算部192は、周波数値ωごとに、前記積和と重み係数αと1フレーム前の二次元ベクトル内積<X* L,ω・YL,ω>’を入力し、二次元ベクトル内積<X* L,ω・YL,ω>’を(33)式により計算し出力する。
Figure 2008054269
第一記憶部202は、第一加算部192において計算された二次元ベクトル内積<X* L,ω・YL,ω>’を記憶し、1フレーム後の二次元ベクトル内積の計算の際に<X* L-1, ω・YL-1,ω>’として出力する。
二次元再生信号ノルム計算部127は、二乗和計算部211と第二加算部222と第二記憶部232から構成される。
第二加算部222は、周波数値ωごとに前記二乗和と重み係数αと1フレーム前の二次元再生信号ノルム‖XL-1,ω‖’を入力し、二次元再生信号ノルム‖XL,ω‖’を(34)式により計算し出力する。
Figure 2008054269
第二記憶部232は、第二加算部222において計算された二次元再生信号ノルム‖XL,ω‖’を記憶し、1フレーム後の二次元再生信号ノルムの計算の際に‖XL-1,ω‖’として出力する。 第5実施形態は、二次元ベクトル内積と二次元再生信号ノルムの計算時に周波数軸上の所定の範囲内のみならず、時間軸上の所定の範囲内も含めた全てのXL,ω、YL,ωが必要になる。しかし、第11実施形態では前フレームの二次元ベクトル内積と二次元再生信号ノルムを利用することで周波数軸上の所定の範囲のXL,ω、YL,ωがあれば計算できるため、計算量やリソース消費量を第5実施形態より少なくすることができる。
〔第12実施形態〕
第12実施形態は、第1〜第11実施形態の各々において、クロススペクトル期待値や二次元ベクトル内積の計算の際、周波数スペクトルを振幅スペクトルに置き換えて音響結合量の推定値を計算するものである。この場合の各実施例での計算結果を図中において括弧書きで示す。
二次元ベクトル内積の計算において、理論的には周波数スペクトルを用いた方が位相成分も考慮され、より精度が高い計算結果が得られるはずである。しかしながら、現状の汎用計算機では位相成分の計算誤差が大きく、十分に精度の向上を図れない。この点、第12実施形態のように振幅スペクトルを用いれば、理論的な値には劣るものの精度の高い計算結果を得ることができる。
〔第13実施形態〕
本発明の第1〜第12実施形態は、音響結合量算出装置をエコー消去装置の構成要素として利用するものであるが、第1〜第12実施形態の音響結合量算出装置のいずれもボイススイッチ装置の構成要素として利用することができる。
図14に第2実施形態の音響結合量算出装置52を利用したボイススイッチ装置21の構成例を示す。
ボイススイッチ装置21は、音響結合量算出装置52と周波数合成部73とスイッチ部74から構成される。周波数合成部73は従来技術と同じものである。
スイッチ部74は、収音信号スペクトルYL,ωと音響結合量の推定値|HL,ω|2が入力され、音響結合量の推定値|HL,ω|2の値により収音信号スペクトルYL,ωの透過非透過のスイッチングを行う。具体的には、音響結合量の推定値|HL,ω|2が所定の値以下である場合は対応する収音信号信号スペクトルYL,ωをそのまま再生信号の送信側に出力し、音響結合量の推定値|HL,ω|2が所定の値を超えた場合には出力を遮断するか若しくは出力に大きな損失を与える。
〔第14実施形態〕
第8実施形態の検出係数計算部281と判定出力部291を、通話状態判定装置の構成要素として利用することができる。
図15に第8実施形態の検出係数計算部281と判定出力部291を利用した通話状態判定装置31の機能構成例を示す。なお、検出係数計算部281と判定出力部291の機能構成例は図10に記すとおりである。
通話状態判定装置31は、再生信号x(k)と収音信号y(k)が入力され、通話状態(無音、再生信号のみ、送話信号のみ、ダブルトークのいずれか)を出力する。
通話状態判定装置31は、再生側周波数分析部61、収音側周波数分析部62、分析窓出力部106、ベクトル内積計算部141、再生信号ノルム計算部161、収音信号ノルム計算部166、検出係数計算部281、判定出力部291から構成される。
分析窓出力部106は、時間軸方向の所定の範囲内を強調する分析窓を出力する。この例では、時間軸方向の分析窓により注目する時間(フレーム値)Lに対しL−N(LからNフレームシフト、Nも同様)からL+Nまでを重み1、その他を重み0として時間軸上の所定の範囲内を強調する場合とする。従って、分析窓出力部106からはN、Nが出力される。N、Nは使用環境における残響時間及び雑音に係る時定数に依存する自然数で、例えばN=10、N=0とする。
通話状態判定装置においても、第1検出係数γ(L)と第2検出係数γ(L)の双方を前記判断基準のように用いることで、受話信号とエコーの相関の強弱に関わらず精度よく通話状態を検出することが可能となる。また、この検出方式は短時間スペクトルの時間方向と周波数方向の2つの統計量を利用して検出係数を計算しているため、検出に要する時定数が短縮され検出遅延の改善も図れる。
〔第15実施形態〕
第15実施形態は、第14実施形態の検出係数計算部281が検出係数計算部282に入れ替わっている以外は、検出係数計算部281と同じ構成である。なお、検出係数計算部282の機能構成例は図11に示すとおりである。
第15実施形態は、第14実施形態における第2検出係数γ(L)の演算を簡素化したものであり、検出精度はやや劣るものの、演算処理の高速化を図ることができる。
〔その他の構成方法〕
上述した各種の音響結合量の推定値を求める装置は次のような各形態として構成することもできる。
1.再生信号を再生手段から放音し、収音手段の収音信号中の前記再生手段から周りこんだ信号(以下、「エコー信号」という)と、前記再生信号との信号スペクトル間の振幅比(以下、「音響結合量」という)を推定する音響結合量算出装置であって、
前記再生信号が入力され、周波数領域に変換して再生信号スペクトルを出力する再生側周波数分析部と、
前記収音手段で収音された収音信号が入力され、周波数領域に変換して収音信号スペクトルを出力する収音側周波数分析部と、
前記再生信号スペクトルと前記収音信号スペクトルとが入力され、対応するスペクトルごとに、前記再生信号スペクトルと前記収音信号スペクトルとの時間軸方向と周波数軸方向の二つの軸を融合させた相関値を、前記再生信号スペクトルの二乗の時間軸方向と周波数軸方向の二つの軸を融合させた値で正規化した値を、音響結合量の推定値|HL,ω|2として出力する音響結合量計算手段と
を備えることを特徴とする音響結合量算出装置。
2.前記1項の装置において、
前記音響結合量計算手段は、
周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内を強調する二次元分析窓を出力する分析窓出力部と、
前記二次元分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルと前記収音信号スペクトルとの積の和を二次元ベクトル内積として求める二次元ベクトル内積計算部と、
前記二次元分析窓と前記再生信号スペクトルが入力され、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルの振幅の二乗の和を二次元再生信号パワースペクトルとして求める二次元再生信号パワースペクトル計算部と、
前記二次元ベクトル内積と前記二次元再生信号パワースペクトルとが入力され、前記二次元ベクトル内積を前記二次元再生信号パワースペクトルで割算して音響結合量の推定値|HL,ω|2として出力する音響結合量計算部と
を備えることを特徴とする音響結合量算出装置。
3.前記2項の装置において、
前記分析窓出力部は、時間軸方向の所定の範囲内を強調する時間軸分析窓と周波数軸方向の所定の範囲内を強調する周波数軸分析窓とを出力するものであり、
前記二次元ベクトル内積計算部は、前記時間軸分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積を求めるベクトル内積計算部と、前記ベクトル内積と前記周波数軸分析窓とが入力され、前記ベクトル内積の絶対値を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を二次元ベクトル内積として求めて出力する周波数軸重み付け部と
を備えることを特徴とする音響結合量算出装置。
4.前記2項又は3項の装置において、
前記分析窓出力部は、周波数軸方向の所定の範囲内及び時間軸方向の所定の範囲内の現在着目している点で極大値を有する周波数軸分析窓及び時間軸分析窓を出力するものであることを特徴とする音響結合量算出装置。
5.前記1項の装置において、
前記音響結合量計算手段は、
周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を出力する分析窓出力部と、
前記再生信号スペクトルと前記収音信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点のクロススペクトル期待値とが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルと前記収音信号スペクトルとの積和を求める積和計算部と、前記求めた積和と前記前時点のクロススペクトル期待値との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点のクロススペクトル期待値として出力する第一加算部とを備えるクロススペクトル期待値計算部と、
前記再生信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点のパワースペクトル期待値とが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求める二乗和計算部と、前記求めた二乗和と前記前時点のパワースペクトル期待値との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点のパワースペクトル期待値として出力する第二加算部とを備えるパワースペクトル期待値計算部と、
前記クロススペクトル期待値と前記パワースペクトル期待値とが入力され、前記クロススペクトル期待値の二乗の、前記パワースペクトル期待値の二乗に対する比を対応するスペクトルごとに求め、その比を音響結合量の推定値|HL,ω|2として出力する音響結合量計算部と、
を備えることを特徴とする音響結合量算出装置。
6.前記1項の装置において、
前記音響結合量計算手段は、
周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を出力する分析窓出力部と、
前記再生信号スペクトルと前記収音信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点の二次元ベクトル内積とが入力され、現時点の前記再生信号スペクトルと前記収音信号スペクトルとの内積の絶対値を各スペクトルごとに前記周波数軸方向の分析窓で重み付け加算して積和を求める積和計算部と、前記求めた積和と前記前時点の二次元ベクトル内積との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点の二次元ベクトル内積として出力する第一加算部とを備える二次元ベクトル内積計算部と、
前記再生信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点の二次元再生信号ノルムとが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求める二乗和計算部と、前記求めた二乗和と前記前時点の二次元再生信号ノルムとの前記重み係数を用いた重み付き和を求め、この重み付き和を現時点の二次元再生信号ノルムとして出力する第二加算部とを備える二次元再生信号ノルム計算部と、
前記二次元ベクトル内積と前記二次元再生信号ノルムとが入力され、前記二次元ベクトル内積の二乗の、前記二次元再生信号ノルムの二乗に対する比を対応するスペクトルごとに求めて音響結合量の推定値|HL,ω|2として出力する音響結合量計算部と、
を備えることを特徴とする音響結合量算出装置。
7.前記2〜6項のいずれかの装置において、
前記音響結合量算出装置は更に、
前記再生信号と前記収音信号とが入力され、無音状態か、再生信号のみの状態か、送話信号のみの状態かダブルトーク状態かの4状態(以下、「通話状態」という)を判定し、判定結果を出力する通話状態判定部と、
前記再生信号スペクトルと時間軸分析窓とが入力され、前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を再生信号ノルムとして求める再生信号ノルム計算部と、
前記収音信号スペクトルと時間軸分析窓とが入力され、前記収音信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を収音信号ノルムとして求めて出力する収音信号ノルム計算部と、
前記音響結合量の推定値|HL,ω|2と前記再生信号ノルムと前記判定結果と前記収音信号ノルムとが入力され、判定結果が再生信号のみの状態の場合には、周波数ごとに、|HL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御値として保持すると共に出力し、判定結果がダブルトーク状態の場合には、周波数ごとに、|HL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御候補値とし、周波数ごとに、前記制御候補値と保持されていた前記制御値とを比較して大きい値を制御値として保持すると共に出力し、判定結果が無音状態又は送話信号のみの状態の場合には保持されている前記制御値をそのまま制御値として出力する制御値計算部と、
前記|HL,ω|と前記制御値が入力され、前記|HL,ω|を前記制御値で割った値の二乗を補正後の音響結合量の推定値|HL,ω|2として出力する補正計算部と、
からなる音響結合量補正部と
を備えることを特徴とする音響結合量計算装置。
なお、時間軸分析窓について、2〜4項に関しては二次元ベクトル内積の計算のために入力したものを使用し、5、6項に関しては7項の処理のために入力する。
8.前記7項の装置において、
前記通話状態判定部は、
前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第1検出係数を求め、前記収音信号ノルムの二乗を周波数方向の所定範囲内で加算した値で前記二次元ベクトル内積を割って第2検出係数として求め、前記第1検出係数と前記第2検出係数を出力する検出係数計算部と、
前記再生信号と前記収音信号と前記第1検出係数と前記第2検出係数とが入力され、前記再生信号と前記収音信号の振幅が共に無い時は無音状態と判定してその判定結果を出力し、前記収音信号に振幅がある区間において前記再生信号の振幅が無い時は送話信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第1検出係数と第2検出係数のどちらか一方でも検出しきい値を上回った時は再生信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第1検出係数と第2検出係数の両方が検出しきい値を下回った時はダブルトーク状態と判定してその判定結果を出力する判定出力部と、
からなることを特徴とする音響結合量算出装置。
9.前記8項の装置において、
前記検出係数計算部は、
前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第1検出係数を求め、前記再生信号ノルムを周波数軸方向の所定範囲内で加算した値を前記収音信号ノルムを周波数軸方向の所定範囲内で加算した値で割って第2検出係数を求め、前記第1検出係数と前記第2検出係数を出力することを特徴とする音響結合量算出装置。
以上の各項は装置について記載したが、方法等についても同様に構成できる。
また、本発明においては全体を通して|HL,ω|2を音響結合量の推定値と称して構成しているが、|HL,ω|を音響結合量の推定値と称して構成することも可能である。
〔シミュレーション〕
本発明の方式の有効性を確認するための計算機シミュレーションの実施結果を以下に示す。
1.実施条件
2つの無指向性マイクロホンをテーブルに置いて、マイクロホンの切り替えによるエコー経路変動を想定した。サンプリング周波数は16kHz,周波数帯域は100Hz〜7kHzとした。再生信号x(k)は女声、近端話者信号s(k)は男声を与えた。実験では区間A(0〜6s)はスピーカ・マイクロホン間の距離が近い時の受話シングルトーク状態、6sの時点でマイクロホンを切り替え、区間B(6〜12s)はスピーカ・マイクロホンの距離が遠い時の受話シングルトーク状態、区間C(12〜18s)はスピーカ・マイクロホン間の距離が遠い時のダブルトーク状態、18sの時点でマイクロホンを切り替え、区間D(12〜18s)はスピーカ・マイクロホン間の距離が近い時のダブルトーク状態とした。エコー経路h(k)は、スピーカと2つのマイクロホンのインパルス応答を残響時間300msの部屋でそれぞれ測定して4096点で打ち切り用いた。周波数処理を行う際の処理フレーム長は16ms(サンプリング点数で256点)とし、1/2オーバーラップ加算による分析合成を用いた。
2.通話状態検出の評価
第8実施形態に示した2つの検出係数を用いた通話状態の検出方法についての評価結果を以下に示す。
ここで、(28)式と(29)式においては計算の効率化のため、<X* L,ω・YL,ω>、‖XL,ω及び‖YL,ωの計算を(15)式及び(16)式のように行った。
また、加算するサンプル数Pは120とし、受話シングルトーク状態を検出するしきい値は、検出係数γ(L)が0〜1の間の値をとるため、中央値の0.5とした。重み係数αはエコー経路変動への追従性と受話シングルトーク状態の検出遅延を考慮して、0.02と非常に短い時定数を用いた。
区間Aでは、検出係数γ(L)は再生信号が多く含まれる区間でしきい値を上回った。しかしながら、検出係数γ(L)は区間Bにおいて、受話シングルトーク状態にも関わらず、しきい値を下回る区間が多いことがわかった。この原因は、マイクロホンの切り替えによって、スピーカ・マイクロホン間の距離が遠くなり、再生信号とエコーの一致率が低下したためである。それに対して、検出係数γ(L)は、区間Aと区間Bにおいて、検出係数γ(L)と比較して検出しきい値を大幅に上回った。また、区間Bでは区間Aと比べ検出係数が最大で約0.8程度上昇している。このことから、検出係数がγ(L)がスピーカ・マイクロホン間の距離が遠く、音響結合量が小さいときほど大きな値をとるように動作することがわかる。区間Cと区間Bでは、検出係数γ(L)とγ(L)は、共にスピーカ・マイクロホン間の距離に関わらず小さな値をとることがわかる。
以上の結果より、検出係数γ(L)とγ(L)とを組み合わせて判断することで、再生信号とエコーの相関の強弱に関係なく、安定した通話状態検出が実現されることが確認できた。
3.結合量推定方式の評価
第5実施形態に示した周波数軸方向の統計量にも着目した音響結合量推定方式についての評価結果を以下に示す。
ここで、(17)式と(18)式においては計算の効率化のため、ベクトル内積と再生信号ノルムの計算を(15)式及び(16)式のように行った。
また、比較を容易にするため、従来方式は(17)式と(18)式をM=M=0でかつ再生信号とエコーとの相関が強いことを前提として変形した|HL,ω|=‖YL,ω‖/‖XL,ω‖の関係式によるものとし、本方式は(17)式と(18)式においてM=M=0とした場合(P1)とM=M=5の場合(P2)の2通りとして、合計3通りで評価を行った。重み係数αは従来方式については送話信号の影響を回避させるためにα=0.002とし、本方式ではα=0.02とした。
区間Aでは各方式において推定された結合量が、受話信号に白色雑音を用いて計算した目標値とほぼ一致した。区間Bでは、従来方式の結合量は目標値より10dB以上低くなっている。この原因は、マイクロホンの切り替えによってスピーカとマイクロホンの距離が遠くなり、再生信号とエコーの一致率が大きく減少したためである。この一致率を第7実施形態の方法で補正(一致率=制御値δL,ω)したP1とP2においては結合量が目標値とほぼ一致していることが確認できた。この結果は、一定のマージンでは一致率の影響を回避することが難しいことを意味し、一致率を求めて誤差を補正する本方式の優位性を示している。区間Cにおいては、P1及びP2は従来方式より高い精度で音響結合量を推定できた。P1では、近端話者信号s(k)の影響で結合量の推定値にばらつきが生じた。これに対しP2では短時間スペクトルの周波数統計量の効果により、ばらつきが抑圧され、推定精度が向上していることが確認できた。区間Dでは、ダブルトーク時の経路変動においてP1とP2が速やかに追従していることが確認できた。しかしながら、P1は時定数が短いために近端話者信号の影響を十分に回避できず、推定値に乱れが生じている。これに対し、P2では短時間スペクトルの周波数統計量を用いることで、短い時定数でも近端話者信号の影響を抑え、高い追従性を実現していることが確認できた。
また、従来方式とP1とP2の音響結合量の全音声帯域の平均推定誤差についても評価を行ったが、P1とP2は従来方式より明らかに優れており、またP2は3方式の中で最も推定誤差が小さいことが確認された。
本発明による音響結合量算出装置の第1実施形態を適用した本発明のエコー消去装置の構成図。 本発明による音響結合量算出装置の第2実施形態を適用した本発明のエコー消去装置の構成図。 本発明による音響結合量算出装置の第3実施形態を適用した本発明のエコー消去装置の構成図。 本発明による音響結合量算出装置の第4実施形態を適用した本発明のエコー消去装置の構成図。 本発明による音響結合量算出装置の第5実施形態を適用した本発明のエコー消去装置の構成図。 本発明による音響結合量算出装置の第6実施形態を適用した本発明のエコー消去装置の構成図。 本発明による音響結合量算出装置の第7実施形態を適用した本発明のエコー消去装置の構成図。 図7の音響結合量補正部の内部構成図。 図8の制御値計算部の内部構成図。 本発明による音響結合量算出装置の第8実施形態における通話状態判定部の内部構成図。 本発明による音響結合量算出装置の第9実施形態における通話状態判定部の内部構成図。 本発明による音響結合量算出装置の第10実施形態を適用した本発明のエコー消去装置の構成図。 本発明による音響結合量算出装置の第11実施形態を適用した本発明のエコー消去装置の構成図。 本発明による音響結合量算出装置の第2実施形態を適用した第13実施形態のボイススイッチ装置の構成図。 本発明の第14、第15実施形態の通話状態判定装置の構成図。 音響結合量算出装置の従来技術を説明するための構成図。 通話状態判定装置の従来技術を説明するための構成図。

Claims (36)

  1. 再生信号を再生手段から放音し、収音手段の収音信号中の前記再生手段から周りこんだ信号(以下、「エコー信号」という)と、前記再生信号との信号スペクトル間の振幅比(以下、「音響結合量」という)を推定する音響結合量算出装置であって、
    前記再生信号が入力され、周波数領域に変換して再生信号スペクトルを出力する再生側周波数分析部と、
    前記収音手段で収音された収音信号が入力され、周波数領域に変換して収音信号スペクトルを出力する収音側周波数分析部と、
    前記再生信号スペクトルと前記収音信号スペクトルとが入力され、対応するスペクトルごとに、前記再生信号スペクトルと前記収音信号スペクトルとの時間軸方向と周波数軸方向の二つの軸を融合させた相関値を、前記再生信号スペクトルの二乗の時間軸方向と周波数軸方向の二つの軸を融合させた値で正規化した値を、音響結合量の推定値|HL,ω|2として出力する音響結合量計算手段と、
    を備えることを特徴とする音響結合量算出装置。
  2. 請求項1に記載の音響結合量算出装置であって、
    前記音響結合量計算手段は、
    周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内を強調する二次元分析窓を出力する分析窓出力部と、
    前記二次元分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルと前記収音信号スペクトルとの積の平均値をクロススペクトル期待値として求め、そのクロススペクトル期待値を出力するクロススペクトル期待値計算部と、
    前記二次元分析窓と前記再生信号スペクトルが入力され、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルの振幅の二乗の平均値をパワースペクトル期待値として求め、そのパワースペクトル期待値を出力するパワースペクトル期待値計算部と、
    前記クロススペクトル期待値と前記パワースペクトル期待値が入力され、前記クロススペクトル期待値の二乗の前記パワースペクトル期待値の二乗に対する比を対応するスペクトルごとに求め、その比を音響結合量の推定値|HL,ω|2として出力する音響結合量計算部と、
    を備えることを特徴とする音響結合量算出装置。
  3. 請求項2に記載の音響結合量算出装置であって、
    前記分析窓出力部は、
    周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内の現在着目している点で極大値を有する二次元分析窓を出力するものであることを特徴とする音響結合量算出装置。
  4. 請求項1に記載の音響結合量算出装置であって、
    前記音響結合量計算手段は、
    時間軸方向の所定の範囲内を強調する時間軸分析窓と周波数軸方向の所定の範囲内を強調する周波数軸分析窓とを出力する分析窓出力部と、
    前記時間軸分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積を求めるベクトル内積計算部と、前記ベクトル内積と前記周波数軸分析窓とが入力され、前記ベクトル内積を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を、二次元で重み付け加算したサンプルの数で割った値をクロススペクトル期待値として求めて出力する周波数軸重み付け部とを備えるクロススペクトル期待値計算部と、
    前記再生信号スペクトルと前記時間軸分析窓とが入力され、前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を再生信号ノルムとして求める再生信号ノルム計算部と、前記再生信号ノルムと前記周波数軸分析窓とが入力され、前記再生信号ノルムの二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を、二次元で重み付け加算したサンプルの数で割った値をパワースペクトル期待値として求めて出力する周波数軸重み付け部とを備えるパワースペクトル期待値計算部と、
    前記クロススペクトル期待値と前記パワースペクトル期待値が入力され、前記クロススペクトル期待値の二乗の、前記パワースペクトル期待値の二乗に対する比を対応するスペクトルごとに求めて音響結合量の推定値|HL,ω|2として出力する音響結合量計算部と、
    を備えることを特徴とする音響結合量算出装置。
  5. 請求項1に記載の音響結合量算出装置であって、
    前記音響結合量計算手段は、
    時間軸方向の所定の範囲内を強調する時間軸分析窓と周波数軸方向の所定の範囲内を強調する周波数軸分析窓とを出力する分析窓出力部と、
    前記時間軸分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積を求めるベクトル内積計算部と、前記ベクトル内積と前記周波数軸分析窓とが入力され、前記ベクトル内積の絶対値を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を二次元ベクトル内積として求めて出力する周波数軸重み付け部と
    を備える二次元ベクトル内積計算部と、
    前記再生信号スペクトルと前記時間軸分析窓とが入力され、前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を再生信号ノルムとして求める再生信号ノルム計算部と、前記再生信号ノルムと前記周波数軸分析窓とが入力され、前記再生信号ノルムの二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を二次元再生信号ノルムとして求めて出力する周波数軸重み付け部と
    を備える二次元再生信号ノルム計算部と、
    前記二次元ベクトル内積と前記二次元再生信号ノルムが入力され、前記二次元ベクトル内積の二乗の、前記二次元再生信号ノルムの二乗に対する比を対応するスペクトルごとに求めて音響結合量の推定値|HL,ω|2として出力する音響結合量計算部と、
    を備えることを特徴とする音響結合量算出装置。
  6. 請求項4又は5に記載の音響結合量算出装置であって、
    前記分析窓出力部は、
    周波数軸方向の所定の範囲内及び時間軸方向の所定の範囲内の現在着目している点で極大値を有する周波数軸分析窓及び時間軸分析窓を出力するものであることを特徴とする音響結合量算出装置。
  7. 請求項4〜6に記載の音響結合量算出装置であって、
    前記音響結合量算出装置は更に、
    前記再生信号と前記収音信号とが入力され、無音状態か、再生信号のみの状態か、送話信号のみの状態かダブルトーク状態かの4状態(以下、「通話状態」という)を判定し、判定結果を出力する通話状態判定部と、
    前記収音信号スペクトルと前記時間軸分析窓とが入力され、前記収音信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を収音信号ノルムとして求めて出力する収音信号ノルム計算部と、
    前記音響結合量の推定値|HL,ω|2と前記再生信号ノルムと前記判定結果と前記収音信号ノルムとが入力され、判定結果が再生信号のみの状態の場合には、周波数ごとに、|HL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御値として保持すると共に出力し、判定結果がダブルトーク状態の場合には、周波数ごとに、|HL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御候補値とし、周波数ごとに、前記制御候補値と保持されていた前記制御値とを比較して大きい値を制御値として保持すると共に出力し、判定結果が無音状態又は送話信号のみの状態の場合には保持されている前記制御値をそのまま制御値として出力する制御値計算部と、
    前記|HL,ω|と前記制御値が入力され、前記|HL,ω|を前記制御値で割った値の二乗を補正後の音響結合量の推定値|HL,ω|2として出力する補正計算部と、
    からなる音響結合量補正部
    を備えることを特徴とする音響結合量計算装置。
  8. 請求項7に記載の音響結合量算出装置であって、
    前記通話状態判定部は、
    前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第1検出係数を求め、前記収音信号ノルムの二乗を周波数方向の所定範囲内で加算した値で前記二次元ベクトル内積を割って第2検出係数として求め、前記第1検出係数と前記第2検出係数を出力する検出係数計算部と、
    前記再生信号と前記収音信号と前記第1検出係数と前記第2検出係数とが入力され、前記再生信号と前記収音信号の振幅が共に無い時は無音状態と判定してその判定結果を出力し、前記収音信号に振幅がある区間において前記再生信号の振幅が無い時は送話信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第1検出係数と第2検出係数のどちらか一方でも検出しきい値を上回った時は再生信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第1検出係数と第2検出係数の両方が検出しきい値を下回った時はダブルトーク状態と判定してその判定結果を出力する判定出力部と、
    からなることを特徴とする音響結合量算出装置。
  9. 請求項8に記載の音響結合量算出装置であって、
    前記検出係数計算部は、
    前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第1検出係数を求め、前記再生信号ノルムを周波数軸方向の所定範囲内で加算した値を前記収音信号ノルムを周波数軸方向の所定範囲内で加算した値で割って第2検出係数を求め、前記第1検出係数と前記第2検出係数を出力することを特徴とする音響結合量算出装置。
  10. 請求項1に記載の音響結合量算出装置であって、
    前記音響結合量計算手段は、
    周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を出力する分析窓出力部と、
    前記再生信号スペクトルと前記収音信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点のクロススペクトル期待値とが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルと前記収音信号スペクトルとの積和を求める積和計算部と、前記求めた積和と前記前時点のクロススペクトル期待値との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点のクロススペクトル期待値として出力する第一加算部とを備えるクロススペクトル期待値計算部と、
    前記再生信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点のパワースペクトル期待値とが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求める二乗和計算部と、前記求めた二乗和と前記前時点のパワースペクトル期待値との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点のパワースペクトル期待値として出力する第二加算部とを備えるパワースペクトル期待値計算部と、
    前記クロススペクトル期待値と前記パワースペクトル期待値とが入力され、前記クロススペクトル期待値の二乗の、前記パワースペクトル期待値の二乗に対する比を対応するスペクトルごとに求め、その比を音響結合量の推定値|HL,ω|2として出力する音響結合量計算部と、
    を備えることを特徴とする音響結合量算出装置。
  11. 請求項1に記載の音響結合量算出装置であって、
    前記音響結合量計算手段は、
    周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を出力する分析窓出力部と、
    前記再生信号スペクトルと前記収音信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点の二次元ベクトル内積とが入力され、現時点の前記再生信号スペクトルと前記収音信号スペクトルとの内積の絶対値を各スペクトルごとに前記周波数軸方向の分析窓で重み付け加算して積和を求める積和計算部と、前記求めた積和と前記前時点の二次元ベクトル内積との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点の二次元ベクトル内積として出力する第一加算部とを備える二次元ベクトル内積計算部と、
    前記再生信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点の二次元再生信号ノルムとが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求める二乗和計算部と、前記求めた二乗和と前記前時点の二次元再生信号ノルムとの前記重み係数を用いた重み付き和を求め、この重み付き和を現時点の二次元再生信号ノルムとして出力する第二加算部とを備える二次元再生信号ノルム計算部と、
    前記二次元ベクトル内積と前記二次元再生信号ノルムとが入力され、前記二次元ベクトル内積の二乗の、前記二次元再生信号ノルムの二乗に対する比を対応するスペクトルごとに求めて音響結合量の推定値|HL,ω|2として出力する音響結合量計算部と、
    を備えることを特徴とする音響結合量算出装置。
  12. 請求項1〜11のいずれかに記載の音響結合量算出装置であって、
    前記再生信号スペクトルと前記収音信号スペクトルの代わりに、それぞれ、前記再生信号スペクトルの振幅と前記収音信号スペクトルの振幅が用いられることを特徴とする音響結合量算出装置。
  13. 音響結合量を計算する請求項1〜12いずれかに記載の音響結合量算出装置と、
    前記音響結合量の推定値|HL,ω|2と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、各スペクトルごとに再生信号スペクトルの二乗と音響結合量の推定値|HL,ω|2とを乗じてエコー信号の推定値を求め、そのエコー信号の推定値の収音信号スペクトルに対する割合が大きい時には0に近づき、小さいときには1に近づくゲイン係数を出力するゲイン計算部と、
    前記収音信号スペクトルと前記ゲイン係数が入力され、その収音信号スペクトルに対応するスペクトルの前記ゲイン係数を乗じてエコー信号成分を取り除いた信号スペクトルを出力する積算部と、
    前記エコー信号成分を取り除いた信号スペクトルが入力され、その信号スペクトルを時間領域の信号に変換して出力する周波数合成部と、
    を備えることを特徴とするエコー消去装置。
  14. 音響結合量を計算する請求項1〜12いずれかに記載の音響結合量算出装置と、
    前記音響結合量の推定値|HL,ω|2と前記収音信号スペクトルが入力され、音響結合量の推定値|HL,ω|2が所定の値以下である場合は前記収音信号スペクトルを出力し、音響結合量の推定値|HL,ω|2が所定の値を超えた場合には前記収音信号スペクトルを遮断するスイッチ部と、
    前記スイッチ部の出力スペクトルが入力され、その出力スペクトルを時間領域の信号に変換して出力する周波数合成部と、
    を備えることを特徴とするボイススイッチ装置。
  15. 再生手段から放音される再生信号と収音手段から収音される収音信号とが入力され、これらの入力信号から通話状態(無音状態、再生信号のみの状態、送話信号のみの状態、ダブルトーク状態)を判定し、その判定結果を出力する通話状態判定装置であって、
    前記再生信号が入力され、周波数領域に変換して再生信号スペクトルを出力する再生側周波数分析部と、
    前記収音信号が入力され、周波数領域に変換して収音信号スペクトルを出力する収音側周波数分析部と、
    時間軸方向の所定の範囲内を強調する分析窓を出力する分析窓出力部と、
    前記時間軸方向の分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸方向の分析窓で重み付け加算して求めたベクトル内積を出力するベクトル内積計算部と、
    前記再生信号スペクトルと前記時間軸方向の分析窓とが入力され、前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸方向の分析窓で重み付け加算し、それを開平した値を再生信号ノルムとして求めて出力する再生信号ノルム計算部と、
    前記収音信号スペクトルと前記時間軸方向の分析窓とが入力され、前記収音信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸方向の分析窓で重み付け加算し、それを開平した値を収音信号ノルムとして求めて出力する収音信号ノルム計算部と、
    前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第1検出係数を求め、前記収音信号ノルムの二乗を周波数方向の所定範囲内で加算した値で前記二次元ベクトル内積を割って第2検出係数として求め、前記第1検出係数と前記第2検出係数を出力する検出係数計算部と、
    前記再生信号と前記収音信号と前記第1検出係数と前記第2検出係数とが入力され、前記再生信号と前記収音信号の振幅が共に無い時は無音状態と判定してその判定結果を出力し、前記収音信号に振幅がある区間において前記再生信号の振幅が無い時は送話信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第1検出係数と第2検出係数のどちらか一方でも検出しきい値を上回った時は再生信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第1検出係数と第2検出係数の両方が検出しきい値を下回った時はダブルトーク状態と判定してその判定結果を出力する判定出力部と、
    を備えることを特徴とする通話状態判定装置。
  16. 請求項15に記載の通話状態判定装置であって、
    前記検出係数計算部は、
    前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第1検出係数を求め、前記再生信号ノルムを周波数軸方向の所定範囲内で加算した値を前記収音信号ノルムを周波数軸方向の所定範囲内で加算した値で割って第2検出係数を求め、前記第1検出係数と前記第2検出係数を出力することを特徴とする通話状態判定装置。
  17. 再生信号を再生手段から放音し、収音手段の収音信号中のエコー信号と前記再生信号との信号スペクトル間の音響結合量を推定する音響結合量算出方法であって、
    再生側周波数分析部が、前記再生信号を周波数領域に変換して再生信号スペクトルを求める過程と、
    収音側周波数分析部が、前記収音信号を周波数領域に変換して収音信号スペクトルを求める過程と、
    音響結合量計算手段が、対応するスペクトルごとに、前記再生信号スペクトルと前記収音信号スペクトルとの時間軸方向と周波数軸方向の二つの軸を融合させた相関値を、前記再生信号スペクトルの二乗の時間軸方向と周波数軸方向の二つの軸を融合させた値で正規化した値を、音響結合量の推定値|HL,ω|2として求める過程と、
    からなる音響結合量算出方法。
  18. 請求項17に記載の音響結合量算出方法であって、前記音響結合量計算手段が音響結合量の推定値|HL,ω|2を求める過程は、
    分析窓出力部が、周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内を強調する二次元分析窓を求める過程と、
    クロススペクトル期待値計算部が、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルと前記収音信号スペクトルとの積の平均値をクロススペクトル期待値として求める過程と、
    パワースペクトル期待値計算部が、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルの振幅の二乗の平均値をパワースペクトル期待値として求める過程と、
    音響結合量計算部が、前記クロススペクトル期待値の二乗の前記パワースペクトル期待値の二乗に対する比を対応するスペクトルごとに求めることにより、音響結合量の推定値|HL,ω|2を求める過程と、
    からなることを特徴とする音響結合量算出方法。
  19. 請求項18に記載の音響結合量算出方法であって、
    前記分析窓出力部が二次元分析窓を求める過程は、周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内の現在着目している点で極大値を有する二次元分析窓を求める過程であることを特徴とする音響結合量算出方法。
  20. 請求項17に記載の音響結合量算出方法であって、
    前記音響結合量計算手段が音響結合量の推定値|HL,ω|2を求める過程は、
    分析窓出力部が、時間軸方向の所定の範囲内を強調する時間軸分析窓と周波数軸方向の所定の範囲内を強調する周波数軸分析窓とを求める過程と、
    クロススペクトル期待値計算部が、ベクトル内積計算部で前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積を求め、周波数軸重み付け部で前記ベクトル内積を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を二次元で重み付け加算したサンプルの数で割ってクロススペクトル期待値を求める過程と、
    パワースペクトル期待値計算部が、再生信号ノルム計算部で前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算しそれを開平して再生信号ノルムを求め、周波数軸重み付け部で前記再生信号ノルムの二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を二次元で重み付け加算したサンプルの数で割ってパワースペクトル期待値を求める過程と、
    音響結合量計算部が、前記クロススペクトル期待値の二乗の前記パワースペクトル期待値の二乗に対する比を、対応するスペクトルごとに音響結合量の推定値|HL,ω|2として求める過程と
    からなることを特徴とする音響結合量算出方法。
  21. 請求項17に記載の音響結合量算出方法であって、
    前記音響結合量計算手段が音響結合量の推定値|HL,ω|2を求める過程は、
    分析窓出力部が、時間軸方向の所定の範囲内を強調する時間軸分析窓と周波数軸方向の所定の範囲内を強調する周波数軸分析窓とを求める過程と、
    二次元ベクトル内積計算部が、ベクトル内積計算部で前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸分析窓で重み付け加算してベクトル内積を求め、周波数軸重み付け部で前記ベクトル内積の絶対値を各スペクトルごとに前記周波数軸分析窓で重み付け加算して二次元ベクトル内積を求める過程と、
    二次元再生信号ノルム計算部が、再生信号ノルム計算部で前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算しそれを開平して再生信号ノルムとして求め、周波数軸重み付け部で前記再生信号ノルムの二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算して二次元再生信号ノルムを求める過程と、
    音響結合量計算部が、前記二次元ベクトル内積の二乗の前記二次元再生信号ノルムの二乗に対する比を、対応するスペクトルごとに音響結合量の推定値|HL,ω|2として求める過程と
    からなることを特徴とする音響結合量算出方法。
  22. 請求項20又は21に記載の音響結合量算出方法であって、
    前記分析窓出力部が周波数軸分析窓と時間軸分析窓を求める過程は、
    周波数軸方向の所定の範囲内及び時間軸方向の所定の範囲内の現在着目している点で極大値を有する周波数軸分析窓及び時間軸分析窓を求める過程であることを特徴とする音響結合量算出方法。
  23. 請求項20〜22に記載の音響結合量算出方法であって、音響結合量の推定値|HL,ω|2を求める過程は、更に、
    音響結合量補正部が、通話状態判定部で無音状態か、再生信号のみの状態か、送話信号のみの状態かダブルトーク状態かの4状態(以下、「通話状態」という)を判定し、収音信号ノルム計算部で前記収音信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算しそれを開平して収音信号ノルムを求め、制御値計算部で判定結果が再生信号のみの状態の場合には周波数ごとに|HL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御値として求め、判定結果がダブルトーク状態の場合には周波数ごとに、|HL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御候補値とし周波数ごとに前記制御候補値と保持されていた前記制御値とを比較して大きい値を制御値として求め、判定結果が無音状態又は送話信号のみの状態の場合には保持されている前記制御値をそのまま制御値として求め、補正計算部で前記|HL,ω|を前記制御値で割った値の二乗を補正後の音響結合量の推定値|HL,ω|2として求める過程を含むことを特徴とする音響結合量計算方法。
  24. 請求項23に記載の音響結合量算出方法であって、前記通話状態判定部が判定結果を求める過程は、
    検出係数計算部が、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第1検出係数を求め、前記収音信号ノルムの二乗を周波数方向の所定範囲内で加算した値で前記二次元ベクトル内積を割って第2検出係数として求める過程と、
    判定出力部が、前記再生信号と前記収音信号の振幅が共に無い時は無音状態と判定してその判定結果を求め、前記収音信号に振幅がある区間において前記再生信号の振幅が無い時は送話信号のみの状態と判定してその判定結果を求め、前記再生信号に振幅がある区間において第1検出係数と第2検出係数のどちらか一方でも検出しきい値を上回った時は再生信号のみの状態と判定してその判定結果を求め、前記再生信号に振幅がある区間において第1検出係数と第2検出係数の両方が検出しきい値を下回った時はダブルトーク状態と判定してその判定結果を求める過程と
    からなることを特徴とする音響結合量算出方法。
  25. 請求項24に記載の音響結合量算出方法であって前記検出係数計算部が第1検出係数と第2検出係数を求める過程は、
    前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第1検出係数を求め、前記再生信号ノルムを周波数軸方向の所定範囲内で加算した値を前記収音信号ノルムを周波数軸方向の所定範囲内で加算した値で割って第2検出係数を求める過程であることを特徴とする通話状態判定方法。
  26. 請求項17に記載の音響結合量算出方法であって、前記音響結合量計算手段が音響結合量の推定値を求める過程は、
    分析窓出力部が、周波数軸方向に対しては所定の範囲を強調する分析窓を求め、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を求める過程と、
    クロススペクトル期待値計算部が、積和計算部で各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルと前記収音信号スペクトルとの積和を求め、第一加算部で前記求めた積和と前記前時点のクロススペクトル期待値との前記重み係数を用いた重み付き和を現時点のクロススペクトル期待値として求める過程と、
    パワースペクトル期待値計算部が、二乗和計算部で各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求め、第二加算部が前記求めた二乗和と前記前時点のパワースペクトル期待値との前記重み係数を用いた重み付き和を現時点のパワースペクトル期待値として求める過程と、
    音響結合量計算部が、前記クロススペクトル期待値の二乗の前記パワースペクトル期待値の二乗に対する比を、対応するスペクトルごとに音響結合量の推定値|HL,ω|2として求める過程と
    からなること特徴とする音響結合量算出方法。
  27. 請求項17に記載の音響結合量算出方法であって、前記音響結合量計算手段が音響結合量の推定値を求める過程は、
    分析窓出力部が、周波数軸方向に対しては所定の範囲を強調する分析窓を求め、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を求める過程と、
    二次元ベクトル内積計算部が、積和計算部で現時点の前記再生信号スペクトルと前記収音信号スペクトルとの内積の絶対値を各スペクトルごとに前記周波数軸方向の分析窓で重み付け加算して積和を求め、第一加算部で前記求めた積和と前記前時点の二次元ベクトル内積との前記重み係数を用いた重み付き和を現時点の二次元ベクトル内積として求める過程と、
    二次元再生信号ノルム計算部が、二乗和計算部で各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求め、第二加算部で前記求めた二乗和と前記前時点の二次元再生信号ノルムとの前記重み係数を用いた重み付き和を現時点の二次元再生信号ノルムとして求める過程と、
    音響結合量計算部が、前記二次元ベクトル内積の二乗の前記二次元再生信号ノルムの二乗に対する比を、対応するスペクトルごとに音響結合量の推定値|HL,ω|2として求める過程と
    からなることを特徴とする音響結合量算出方法。
  28. 請求項17〜27のいずれかに記載の音響結合量算出方法であって、
    前記音響結合量の推定値を求める過程において、前記再生信号スペクトルと前記収音信号スペクトルの代わりに、それぞれ、前記再生信号スペクトルの振幅と前記収音信号スペクトルの振幅を用いることを特徴とする音響結合量算出方法。
  29. 請求項17〜28いずれかに記載の音響結合量算出方法により音響結合量の推定値|HL,ω|2を求める過程と、
    ゲイン計算部が、各スペクトルごとに再生信号スペクトルの二乗と音響結合量の推定値|HL,ω|2とを乗じてエコー信号の推定値を求め、そのエコー信号の推定値の収音信号スペクトルに対する割合が大きい時には0に近づき、小さいときには1に近づくゲイン係数を求める過程と、
    積算部が、収音信号スペクトルに対応するスペクトルの前記ゲイン係数を前記収音信号スペクトルに乗じてエコー信号成分を取り除いた信号スペクトルを求める過程と、
    周波数合成部が、前記エコー信号成分を取り除いた信号スペクトルを変換して時間領域の信号を求める過程と
    からなるエコー消去方法。
  30. 請求項17〜28いずれかに記載の音響結合量算出方法により音響結合量の推定値|HL,ω|2を求める過程と、
    スイッチ部が、所定の音響結合量をしきい値として収音信号スペクトルを遮断するか否かを判断する過程と、
    周波数合成部が、前記スイッチ部の出力スペクトルを変換して時間領域の信号を求める過程と
    からなるボイススイッチ方法。
  31. 再生手段から放音される再生信号と収音手段から収音される収音信号とから通話状態(無音状態、再生信号のみの状態、送話信号のみの状態、ダブルトーク状態)を判定する通話状態判定方法であって、
    再生側周波数分析部が、前記再生信号を周波数領域に変換して再生信号スペクトルを求める過程と、
    収音側周波数分析部が、前記収音信号を周波数領域に変換して収音信号スペクトルを求める過程と、
    分析窓出力部が、時間軸方向の所定の範囲内を強調する分析窓を求める過程と、
    ベクトル内積計算部が、前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸方向の分析窓で重み付け加算してベクトル内積を求める過程と、
    再生信号ノルム計算部が、前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸方向の分析窓で重み付け加算しそれを開平した再生信号ノルムを求める過程と、
    収音信号ノルム計算部が、前記収音信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸方向の分析窓で重み付け加算しそれを開平した収音信号ノルムを求める過程と、
    検出係数計算部が、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第1検出係数を求め、前記収音信号ノルムの二乗を周波数方向の所定範囲内で加算した値で前記二次元ベクトル内積を割って第2検出係数を求める過程と、
    判定出力部が、前記再生信号と前記収音信号の振幅が共に無い時は無音状態と判定し、前記収音信号に振幅がある区間において前記再生信号の振幅が無い時は送話信号のみの状態と判定し、前記再生信号に振幅がある区間において第1検出係数と第2検出係数のどちらか一方でも検出しきい値を上回った時は再生信号のみの状態と判定し、前記再生信号に振幅がある区間において第1検出係数と第2検出係数の両方が検出しきい値を下回った時はダブルトーク状態と判定する過程と
    からなる通話状態判定方法。
  32. 請求項31に記載の通話状態判定方法であって、
    前記検出係数計算部が第1検出係数と第2検出係数を求める過程は、
    前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第1検出係数を求め、前記再生信号ノルムを周波数軸方向の所定範囲内で加算した値を前記収音信号ノルムを周波数軸方向の所定範囲内で加算した値で割って第2検出係数を求める過程であることを特徴とする通話状態判定方法。
  33. 請求項1〜14のいずれかに記載した装置としてコンピュータを機能させるためのプログラム。
  34. 請求項15、16のいずれかに記載した装置としてコンピュータを機能させるためのプログラム。
  35. 請求項33に記載したプログラムを記録したコンピュータが読み取り可能な記録媒体。
  36. 請求項34に記載したプログラムを記録したコンピュータが読み取り可能な記録媒体。
JP2006308449A 2006-07-25 2006-11-14 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体 Active JP4456594B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006308449A JP4456594B2 (ja) 2006-07-25 2006-11-14 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006201739 2006-07-25
JP2006308449A JP4456594B2 (ja) 2006-07-25 2006-11-14 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体

Publications (2)

Publication Number Publication Date
JP2008054269A true JP2008054269A (ja) 2008-03-06
JP4456594B2 JP4456594B2 (ja) 2010-04-28

Family

ID=39237835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006308449A Active JP4456594B2 (ja) 2006-07-25 2006-11-14 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体

Country Status (1)

Country Link
JP (1) JP4456594B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187086A (ja) * 2009-02-10 2010-08-26 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置とその方法と、プログラム
JP2010220169A (ja) * 2009-03-19 2010-09-30 Nippon Telegr & Teleph Corp <Ntt> 多チャネルエコー消去装置とその方法、そのプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187086A (ja) * 2009-02-10 2010-08-26 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置とその方法と、プログラム
JP2010220169A (ja) * 2009-03-19 2010-09-30 Nippon Telegr & Teleph Corp <Ntt> 多チャネルエコー消去装置とその方法、そのプログラム

Also Published As

Publication number Publication date
JP4456594B2 (ja) 2010-04-28

Similar Documents

Publication Publication Date Title
EP3791565B1 (en) Method and apparatus utilizing residual echo estimate information to derive secondary echo reduction parameters
US9111543B2 (en) Processing signals
US9768829B2 (en) Methods for processing audio signals and circuit arrangements therefor
US9461702B2 (en) Systems and methods of echo and noise cancellation in voice communication
US9818424B2 (en) Method and apparatus for suppression of unwanted audio signals
EP2237271B1 (en) Method for determining a signal component for reducing noise in an input signal
KR101250124B1 (ko) 에코 억제 필터를 위한 제어 정보를 계산하는 장치 및 방법 및 지연 값을 계산하는 장치 및 방법
JP4954334B2 (ja) エコー抑制のためのフィルタ係数を演算する装置および方法
US8306215B2 (en) Echo canceller for eliminating echo without being affected by noise
US10250975B1 (en) Adaptive directional audio enhancement and selection
US8472616B1 (en) Self calibration of envelope-based acoustic echo cancellation
JP5061853B2 (ja) エコーキャンセラ及びエコーキャンセルプログラム
JP5223576B2 (ja) エコーキャンセラ、エコーキャンセル方法及びプログラム
US11380312B1 (en) Residual echo suppression for keyword detection
EP4071757A1 (en) Echo cancellation method and device
JP3507020B2 (ja) 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体
US8406430B2 (en) Simulated background noise enabled echo canceller
JP4456594B2 (ja) 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体
JP6272590B2 (ja) エコーキャンセラ装置及び通話装置
JP2002223182A (ja) 反響消去方法、その装置、そのプログラム及びその記録媒体
Mahbub et al. Gradient based adaptive filter algorithm for single channel acoustic echo cancellation in noise
JP2006067127A (ja) 残響除去方法及びその装置
Lee et al. Crossband filtering for stereophonic acoustic echo suppression
CN118072752A (zh) Ows耳机的语音增强方法、系统、耳机及存储介质
Gansler et al. Algorithm design of a stereophonic acoustic echo canceler system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4456594

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350