JP2018170564A - エコーキャンセル方法、エコーキャンセル装置、音声処理装置、およびプログラム - Google Patents

Abstract

【課題】外部アンプに接続されるエコーキャンセル装置において、外部アンプで混合される各入力音声の混合比率を推定して生成した参照信号を適応フィルタに入力することにより、混合された複数の音声のエコーを同時にキャンセルすること。
【解決手段】エコーキャンセル装置１００は、複数の入力音声を入力とする音声検出部１１０と、複数の入力音声を入力として所定の混合比率で混合した参照信号を出力する参照信号レベル調整混合部１３０と、車室内の音声を収音するマイク信号が入力されるマイク入力部１０１と、参照信号とマイク信号とフィルタ係数との演算により出力音声を生成し出力音声が最小となるようにフィルタ係数を設定する適応フィルタ１４０と、音声検出部１１０で検出した音声の状態に基づいて参照信号レベル調整混合部の混合比率の更新と適応フィルタのフィルタ係数の更新とを制御する係数更新制御部１２０と、を有する。
【選択図】図１

Description

本発明は、ハンズフリー通話機能を有する自動車電話装置において用いられる、エコーキャンセル方法、エコーキャンセル装置、音声処理装置、およびエコーキャンセル装置内で実行されるプログラムに関する。

自動車電話装置において用いられる従来のエコーキャンセル装置として、ハンズフリー音声とナビ音声などの複数の音声が混合した車室内状況下でも、乗員が所望の音声のみに対してエコーキャンセルを行うものが知られている（例えば特許文献１の第９項、第１図参照）。

特開２０１２−２０４９９７号公報

しかしながら、従来のエコーキャンセル装置では、後段に接続される外部アンプで、ハンズフリー音声とナビ音声などの複数の入力音声が不明な混合比率で混合され、スピーカから出力される事例において、エコーをキャンセルする適応フィルタに必要な混合比率の参照信号を入力することができず、混合された複数の音声のエコーを同時にキャンセルできないという問題があった。

上記課題を解決するために、本発明のエコーキャンセル装置は、自動車電話装置において用いられるエコーキャンセル装置であって、通話相手側の音声を含む複数の入力音声を入力とする音声検出部と、複数の入力音声を入力とし、設定された混合比率で複数の入力音声を混合した参照信号を出力する参照信号レベル調整混合部と、車室内の乗員の音声や背景音を収音するマイクの出力信号が入力されるマイク入力部と、参照信号と、マイクの出力信号と、フィルタ係数との演算により出力音声を生成し、出力音声が最小となるようにフィルタ係数を設定する適応フィルタと、音声検出部で検出した音声の状態に基づいて、参照信号レベル調整混合部の混合比率の更新と適応フィルタのフィルタ係数の更新とを制御する係数更新制御部と、を有する。

本発明によれば、外部アンプにおける複数の入力音声の混合比率が不明な場合であっても、混合された複数の音声のエコーを同時にキャンセルすることができる。

本発明の実施の形態における音声処理装置のブロック図 本発明の実施の形態における処理動作説明のためのフロー図

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１はエコーキャンセル装置１００、および外部アンプ２００からなる音声処理装置のブロック図である。音声処理装置は、自動車電話装置に適用され、車室外の通話相手から受信した音声、車室内の乗員の音声、および車室内で再生されるその他の音声を処理する。

図１において、エコーキャンセル装置１００は、外部アンプ２００に接続して使用されるカーオーディオやナビゲーションシステムなどのヘッドユニットに搭載され、携帯電話などの通話装置と接続することにより、車室外の通話相手とのハンズフリー通話機能を実現する。

マイク２０２で収音された車室内の乗員の音声は、エコーキャンセル装置１００から出力音声として図示しない通話装置に出力され、車室外の通話相手へ送信される。通話相手から受信した音声は、通話装置からエコーキャンセル装置１００に入力音声として入力され、後段の外部アンプ２００に接続されたスピーカ２０１から車室内に拡声される。以上の動作により、車室内の乗員は通話相手とハンズフリーで会話をすることができる。

ここで、車室内に拡声された通話相手の音声がマイク２０２で収音されて通話相手にエコーとして戻らないようにするために、エコーキャンセル装置１００においてエコーをキャンセルすることによって快適な通話環境を実現する。

図１に示すように、エコーキャンセル装置１００は、入力音声１と入力音声２と出力音声とを入力として音声を検出する音声検出部１１０と、入力音声１と入力音声２を入力とし設定された混合比率で複数の入力音声を混合した参照信号を出力する参照信号レベル調整混合部１３０と、車室内の乗員の音声や背景音を収音するマイク２０２の出力信号が入力されるマイク入力部１０１と、適応フィルタ１４０とを備える。適応フィルタ１４０では、参照信号レベル調整混合部１３０の出力である参照信号とフィルタ係数１４１との演算が行われる。フィルタ係数１４１は、外部アンプ２００からマイク２０２までの車室内音響特性を推定し、推定した音響特性を畳み込んだ擬似エコーを演算するための係数である。

さらに適応フィルタ１４０は、マイク２０２の出力から、フィルタ係数１４１による演算後の出力を減算して出力音声を生成する、減算器１４２を備える。以上の構成により、適応フィルタ１４０は、参照信号と、マイク２０２の出力信号と、フィルタ係数１４１との演算により出力音声を生成し、出力音声が最小となるようにフィルタ係数１４１を設定する。

エコーキャンセル装置１００はさらに、音声検出部１１０で検出した音声の状態に基づいて、参照信号レベル調整混合部１３０の混合比率の更新と適応フィルタ１４０のフィルタ係数１４１の更新とを制御する係数更新制御部１２０を有する。

また、参照信号レベル調整混合部１３０は、複数の入力音声の各レベルを調整する参照信号レベル調整器と１３１、１３２と、前記参照信号レベル調整器１３１、１３２の各出力を混合する参照信号混合器１３３と、を有する。

ここで、外部アンプ２００には、外部レベル調整混合部２１０が搭載され、前記外部レベル調整混合部２１０は、複数の入力音声の各レベルを調整する外部レベル調整器２１１、２１２と、前記外部レベル調整器２１１、２１２の各出力を混合する外部混合器２１３と、から構成される。

以上のように構成されたエコーキャンセル装置１００について、以下にその処理動作を説明する。

例として、車室外の通話相手のハンズフリー音声が入力音声１（チャンネル１とする）として、ナビ音声が入力音声２（チャンネル２とする）として接続される状態での動作について、図２を用いて説明する。以降、「チャンネル」を「ｃｈ」と表記する。

図２のフローチャートは、図１の音声検出部１１０と係数更新制御部１２０によって、参照信号レベル調整混合部１３０の混合比率の更新と適応フィルタ１４０のフィルタ係数１４１の更新とを制御する制御フローを示している。

まず初めに、入力音声１にハンズフリー音声が入力される場合の動作について説明する。

Ｓ１１において入力音声１と入力音声２の検出を行い、音声がまだ未入力の場合（Ｓ１１で“Ｎｏ”）、入力音声１が検出されるまで待機する。

入力音声１が検出されると（Ｓ１１で“Ｙｅｓ”）、Ｓ１２において、適応フィルタ１４０が初動期間であるかどうかを判定する。初動期間は、最初の入力音声に対して適応フィルタ１４０を適応させるために設けられた、所定の期間である。

この場合、初めて音声が入力される状態であり、初動期間と判定されるので（Ｓ１２で“Ｙｅｓ”）、次のステップのＳ２１において、適応フィルタ１４０は、参照信号レベル調整混合部１３０からの参照信号と、マイク２０２の出力信号とを取得し、参照信号と、マイク２０２の出力信号と、フィルタ係数１４１との演算により出力音声を出力し、出力音声が最小になるようにフィルタ係数１４１を更新する。

ここで、初動期間中は、Ｓ１１→Ｓ１２→Ｓ２１の処理を継続し、適応フィルタ１４０のフィルタ係数１４１の更新を行う。

なお、初動期間中、参照信号レベル調整器１３１、１３２は、初期値として、例えば、双方に１を設定し、混合比率は１：１として動作させればよい。

次に、初動期間が終了した場合について説明する。Ｓ１２において、適応フィルタ１４０の初動期間が終了したと判定されると（Ｓ１２で“Ｎｏ”）、Ｓ１１における前回の入力音声の検出結果と、今回の入力音声の検出結果との間で、入力音声の状態に変化が有るか無いかが判定される（Ｓ１３）。ここでいう入力音声の状態の変化とは、入力音声の切替え、ｃｈ数の増加、またはｃｈ数の減少等を指す。入力音声の状態に変化が無い場合（Ｓ１３で“Ｙｅｓ”）、引き続き適応フィルタ１４０のフィルタ係数１４１の更新を行う（Ｓ２１）。このとき、参照信号レベル調整器１３１、１３２は更新されず、固定のままである。すなわち、混合比率の更新を行わない状態で、前記フィルタ係数１４１の更新が行われる。

次に、前記ハンズフリー音声によって適応フィルタ１４０のフィルタ係数１４１の更新が収束しエコーがキャンセルされるようになった状態で、入力音声２のナビ音声だけが入力される場合について説明する。

入力音声２が検出されると、前回の入力音声の検出結果と今回の入力音声の検出結果との間で入力音声の状態が変化することになるので、Ｓ１３において、入力音声の状態は変化していると判定される（Ｓ１３で“Ｎｏ”）。次に、Ｓ３１において、検出された音声ｃｈ、すなわち、ｃｈ２について、入力音声２と、マイク２０２の出力信号と、適応フィルタ１４０の出力音声とを用いて、参照信号レベル調整器１３２の係数の更新、すなわち、参照信号レベル調整混合部１３０の混合比率の更新を行う。このとき、適応フィルタ１４０のフィルタ係数１４１の更新は停止されるため、フィルタ係数１４１の更新を行わない状態で、前記混合比率の更新が行われる。

混合比率の更新を行った後、Ｓ３２において、参照信号レベル調整混合部１３０の混合比率の更新の収束状態の判定を行う。

ここでは、混合比率の更新開始直後であるので、混合比率の更新は未収束状態の判定となる（Ｓ３２で“Ｎｏ”）。

混合比率の更新が未収束と判定されると、Ｓ３２からＳ３１に戻る。Ｓ３１→Ｓ３２→Ｓ３１のステップを繰り返すことで、参照信号レベル調整混合部１３０の混合比率の更新が収束し、混合比率が一意に求まることになる。

その結果、外部アンプ２００に搭載された外部レベル調整混合部２１０の混合比率を推定したことになり、適応フィルタ１４０の参照信号を、推定した混合比率によって生成できるようになる。

参照信号レベル調整混合部１３０の混合比率の更新が収束した後は、Ｓ３２で収束状態と判定され（Ｓ３２で“Ｙｅｓ”）、引き続き、車室内音響特性の変動に追従するよう、適応フィルタ１４０のフィルタ係数１４１の更新を継続する。すなわち、Ｓ１１→Ｓ１２→Ｓ１３→Ｓ２１の処理が実行される。

ここで、適応フィルタ１４０のフィルタ係数１４１や参照信号レベル調整器１３１、１３２の係数の更新方法として、ＬＭＳアルゴリズム、学習同定法、ＲＬＳアルゴリズムなどの既知の適応アルゴリズムを用いればよく、その係数の更新の収束状態を判定するには、例えば、Bernard Widrow/Samuel D.Stearns, "ADAPTIVE SIGNAL PROCESSING", PRENTICE HALL などに示されている既知の判定方法を用いればよい。

なお、車室内の乗員がマイク２０２に対して発声する場合、当該発声はキャンセル対象となる音声ではない。当該発声が存在する場合、適応フィルタ１４０の出力音声が急激に増加するため、音声検出部１１０において検出することができる。この場合、適応フィルタ１４０のフィルタ係数１４１、および、参照信号レベル調整器１３１、１３２の係数の更新の双方を一時停止すればよい。このようにすると、車室内の乗員の発声が誤ってキャンセルされるのを防止ぐことができる。よって、車室外の通話相手と車室内の乗員とが同時に発声する場合にも対応可能となる。なお、適応フィルタ１４０の出力音声の検出は必須ではなく、音声検出部１１０に適応フィルタ１４０の出力音声を入力しなくても良い。

次に、入力音声１の入力が検知され、初動期間が終了した後、入力音声１のハンズフリー音声と、入力音声２のナビ音声との２ｃｈの入力音声が同時に入力される場合について説明する。すなわち、自動車電話による通話中にナビ音声が入力された場合に相当する。

２ｃｈの入力音声が同時に入力され、入力音声の状態の変化を検知することから（Ｓ１３）、検出された音声ｃｈ、すなわち、ｃｈ１とｃｈ２について、各参照信号となる入力音声１と入力音声２と、マイク２０２の出力信号と、適応フィルタ１４０の出力音声とを用いて、各参照信号レベル調整器１３１、１３２の各係数の更新、すなわち、参照信号レベル調整混合部１３０の混合比率の更新を行う（Ｓ３１）。

参照信号レベル調整混合部１３０の混合比率の更新を行った後、参照信号レベル調整混合部１３０の混合比率の更新の収束状態の判定を行う（Ｓ３２）。

まだ収束していないｃｈがあれば、当該ｃｈについて参照信号レベル調整器１３１、もしくは、１３２の係数の更新、すなわち、参照信号レベル調整混合部１３０の混合比率の更新（Ｓ３１）と、収束状態判定（Ｓ３２）を行い、Ｓ３１→Ｓ３２→Ｓ３１のステップを繰り返すことで、参照信号レベル調整混合部１３０の混合比率の更新が収束し、混合比率が一意に求まることになる。

その結果、外部アンプ２００に搭載された外部レベル調整混合部２１０の混合比率を推定したことになり、適応フィルタ１４０の参照信号を推定した混合比率により生成できるようになる。

参照信号レベル調整混合部１３０の混合比率の更新が収束した後は、Ｓ３２で収束状態と判定され、引き続き、車室内音響特性の変動に追従するよう、適応フィルタ１４０のフィルタ係数１４１の更新を継続する。すなわち、Ｓ１１→Ｓ１２→Ｓ１３→Ｓ２１の処理が実行される。

このように、参照信号レベル調整混合部１３０の混合比率は、外部アンプ２００の外部レベル調整混合部２１０の混合比率を推定していることから、エコーキャンセル装置１００は、２ｃｈの入力音声が同時に入力された場合でも、適応フィルタ１４０に対してエコーキャンセルに必要な混合比率の参照信号を入力することができ、混合された複数の入力音声のエコーを同時にキャンセルすることできる。

以上、ここまでは、外部アンプ２００の外部レベル調整器２１１、２１２のレベルが変更されない場合、すなわち、外部レベル調整混合部２１０の混合比率が変更されない場合について説明した。次に、外部レベル調整器２１１、もしくは、２１２が変更され、外部レベル調整混合部２１０の混合比率が変更される場合のエコーキャンセル装置１００の処理動作について説明する。

入力音声１にハンズフリー音声が入力されており、参照信号レベル調整混合部１３０の混合比率の更新はすでに収束していて、適応フィルタ１４０のフィルタ係数１４１の更新が継続されている場合を想定する。このとき、例えば、車室外の通話相手との会話中にスピーカ２０１から出力される通話相手の音声を大きくするために、外部レベル調整器２１１のレベルを２倍に変更した場合の処理動作は次のようになる。

マイク２０２から入力されるエコーが２倍になるため、適応フィルタ１４０から出力する擬似エコーも同じく２倍にする必要があり、フィルタ係数１４１の更新（Ｓ２１）により係数が２倍に更新されることで、エコーをキャンセルすることができるようになる。

ハンズフリー音声による会話が終わり、次に、ナビ音声が入力される場合、すでにフィルタ係数１４１が２倍に、擬似エコーも２倍になっているため、適応フィルタ１４０の出力信号が過剰な状態である。よって、外部アンプ２００に搭載された外部レベル調整器２１２に変化がなく、スピーカ２０１から出力される音量も変化していないナビ音声については、すでに収束していた参照信号レベル調整器１３２の係数を半分に更新する必要がある。

この場合、ナビ音声の入力により入力音声の状態の変化を検知することになるので（Ｓ１３）、Ｓ３１→Ｓ３２→Ｓ３１のステップを繰り返し、参照信号レベル調整器１３２の係数の更新、すなわち、参照信号レベル調整混合部１３０の混合比率の更新を行うことで、外部レベル調整混合部２１０の混合比率を推定し、外部レベル調整器２１１、２１２の各変更に対して追従することができる。

ここで、検出される入力信号のｃｈ数、ｃｈ番号、ｃｈ検出順序については、実施の形態で述べた例に限らず、その他の場合でも図２のフロー図に従い処理することができる。

以上で説明した装置の全部又は一部、又は図１の機能ブロック図に記載された機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ：Integrated Circuit）、又はＬＳＩ（Large Scale Integration）を含む一つ又は一つ以上の電子回路によって実現されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(Very Large Scale Integration)、若しくはＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる場合もある。

また、以上で説明した装置の全部又は一部の機能又は動作は、コンピュータプログラムによって実現することが可能である。コンピュータはＣＰＵ（Central Processing Unit）を備え、プログラムはＲＯＭ（Read Only Memory）、光学ディスク、ハードディスクドライブ、などの非一過性記録媒体に記録される。

各機能又は動作は、ＣＰＵが非一過性記録媒体に格納されているプログラムを呼び出して実行することにより実現される。

以上のように、本実施形態のエコーキャンセル装置は、適応フィルタの前段に、外部アンプに入力される各入力音声の外部アンプでの混合比率を推定する参照信号レベル調整混合部を設け、入力音声の状態に応じて参照信号レベル調整混合部の混合比率の更新、もしくは、適応フィルタの係数の更新のどちらかを行うよう制御することによって、適応フィルタの参照信号として外部アンプの混合比率を推定した混合比率で参照信号を生成し、従来キャンセルできなかった混合された複数の入力音声のエコーを同時にキャンセルすることができる。また、本実施形態のエコーキャンセル方法、およびエコーキャンセル装置で実行されるプログラムによっても、同様の効果が得られる。

なお、本実施形態において、入力音声としてｃｈ数を２ｃｈとしているが、３ｃｈ以上の入力信号と、そのすべての入力信号を入力とする参照信号レベル調整混合部と、という構成としてもよい。

本発明のエコーキャンセル方法、エコーキャンセル装置、音声処理装置、およびプログラムは、後段に接続された外部アンプ内で不明な混合比率で混合されスピーカから出力された複数の音声のエコーを同時にキャンセルできるという効果を有し、自動車のハンズフリー通話装置などとして有用である。

１００ エコーキャンセル装置
１０１ マイク入力部
１１０ 音声検出部
１２０ 係数更新制御部
１３０ 参照信号レベル調整混合部
１３１、１３２ 参照信号レベル調整器
１３３ 参照信号混合器
１４０ 適応フィルタ
１４１ フィルタ係数
１４２ 減算器
２００ 外部アンプ
２０１ スピーカ
２０２ マイク
２１０ 外部レベル調整混合部
２１１、２１２ 外部レベル調整器
２１３ 外部混合器

Claims (8)

1. 自動車電話装置において用いられるエコーキャンセル方法であって、
   通話相手側の音声を含む複数の入力音声を取得するステップと、
   前記複数の入力音声を設定された混合比率で混合した参照信号を生成するステップと、
   車室内の乗員の音声または背景音を収音するマイクの出力信号を取得するステップと、
   前記参照信号と、前記マイクの出力信号と、フィルタ係数との演算により出力音声を生成し、前記出力音声が最小となるように前記フィルタ係数を設定するステップと、
   前記入力音声の状態の変化の有無を判定するステップと、を備え、
   前記入力音声の状態に変化がない場合、前記混合比率の更新を行わない状態で、前記フィルタ係数の更新を行い、
   前記入力音声の状態が変化したことを受けて、前記フィルタ係数の更新を行わない状態で、前記混合比率の更新を行う、
   エコーキャンセル方法。
2. 前記出力音声中にキャンセル対象でない音声が含まれている場合、前記フィルタ係数の更新および前記混合比率の更新の双方を一時停止する、請求項１に記載のエコーキャンセル方法。
3. 自動車電話装置において用いられるエコーキャンセル装置であって、
   通話相手側の音声を含む複数の入力音声を入力とする音声検出部と、
   前記複数の入力音声を入力とし、設定された混合比率で前記複数の入力音声を混合した参照信号を出力する参照信号レベル調整混合部と、
   車室内の乗員の音声や背景音を収音するマイクの出力信号が入力されるマイク入力部と、
   前記参照信号と、前記マイクの出力信号と、フィルタ係数との演算により出力音声を生成し、前記出力音声が最小となるように前記フィルタ係数を設定する適応フィルタと、
   前記音声検出部で検出した音声の状態に基づいて、前記参照信号レベル調整混合部の混合比率の更新と前記適応フィルタのフィルタ係数の更新とを制御する係数更新制御部と、
   を有するエコーキャンセル装置。
4. 前記係数更新制御部は、
   前記入力音声の状態に変化がない場合、前記混合比率の更新を行わない状態で、前記フィルタ係数の更新を行い、
   前記入力音声の状態が変化したことを受けて、前記フィルタ係数の更新を行わない状態で、前記混合比率の更新を行う、
   請求項３に記載のエコーキャンセル装置。
5. 前記参照信号レベル調整混合部は、
   前記複数の入力音声の各レベルを調整する参照信号レベル調整器と、
   前記参照信号レベル調整器の各出力を混合する参照信号混合器と、
   を有する請求項３に記載のエコーキャンセル装置。
6. 前記音声検出部は、前記適応フィルタの前記出力音声を入力とし、
   前記適応フィルタの前記出力音声中にキャンセル対象でない音声が含まれている場合、前記係数更新制御部は、前記フィルタ係数の更新および前記混合比率の更新の双方を一時停止するように制御する、
   請求項３に記載のエコーキャンセル装置。
7. 請求項３から６の何れか一項に記載のエコーキャンセル装置と、外部アンプとからなり、
   前記外部アンプは、
   前記複数の入力音声の各レベルを調整する外部レベル調整器と、
   前記外部レベル調整器の各出力を混合する外部混合器と、を有する、
   音声処理装置。
8. 自動車電話装置において用いられるエコーキャンセル装置内で実行されるプログラムであって、
   通話相手側の音声を含む複数の入力音声を取得するステップと、
   前記複数の入力音声を設定された混合比率で混合した参照信号を生成するステップと、
   車室内の乗員の音声または背景音を収音するマイクの出力信号を取得するステップと、
   前記参照信号と、前記マイクの出力信号と、フィルタ係数との演算により出力音声を生成し、前記出力音声が最小となるように前記フィルタ係数を設定するステップと、
   前記入力音声の状態の変化の有無を判定するステップと、を備え、
   前記入力音声の状態に変化がない場合、前記混合比率の更新を行わない状態で、前記フィルタ係数の更新を行い、
   前記入力音声の状態が変化したことを受けて、前記フィルタ係数の更新を行わない状態で、前記混合比率の更新を行う、
   プログラム。
   

Images