JP2005534258A - 通信デバイスでスピーカホンを動作させるためのシステムおよび方法 - Google Patents

Abstract

本発明は、一方向だけの送信モードを使用した場合でも、通常の会話にもっと近づけるために、スピーカホンの動作を管理するための知能を備えるセルラホンまたは他の通信デバイスを提供する。マイクロホン経路（１２８）およびスピーカ経路（１３０）は、各チャネルのエネルギーおよび他の特性を評価し、動的基準に基づいて一方または他方に切り替えるために、二重音声アクティビティ検出器（１１４，１１８）により連続的に監視することができる。ノイズの多い環境においては、早期ドロップアウトを防止するために、切替えができるようになる前にハングタイムを適用することができる。チャネルの捕捉をトリガするために使用する他の基準を、それ以下ではスピーカ経路（１３０）が自動的に切り替わる低いしきい値を撤廃するように調整することができる。

Description

本発明は、通信の分野に関し、特にセルラホンまたは他の通信デバイスで、明瞭で、より信頼性の高いスピーカホンの動作を行うための技術に関する。

便利で効果的なスピーカホンの動作は、セルラ携帯電話および他の通信デバイスでの望ましい機能になってきている。交通安全への懸念から地域社会は、運転中セルラホンを手で持った状態で操作することを禁止している場合もある。スピーカホン機能付きのハンドセットおよび他のデバイスを使用する場合、ユーザは、通常の会話および他の電話アクセスを行いながら、車内の空いている場所または他の場所にデバイスを置くことができる。

しかし、セルラホンに効果的なスピーカホン機能を簡単に装備することはできない。１つの実際的な困難な問題は、多くのセルラホンは、ユニットをもっとコンパクトにするために、相互に数インチ以内にイヤホン・スピーカおよび内蔵マイクロホンの両方を含む小型デバイスであることである。それ故、スピーカ経路とマイクロホン経路の両方が同時に能動状態にある二重の動作が、望ましくないフィードバックを起こす場合がある。何故なら、スピーカの出力が空気およびケースの振動によりマイクロホンに伝わるからである。このフィードバックの問題は、騒音の大きい車内または室内の場合のように、スピーカの音量を上げるとますます悪化する。

セルラホンまたは他のデバイス上のマイクロホン経路に接続することができ、スピーカからのフィードバック・エネルギーの一部を除去することができるエコー打消し回路は周知である。都合の悪いことに、エコー打消し回路は、現在約３５ｄＢのエコーを打消すことができるだけであり、スピーカからのエネルギーは、内蔵マイクロホンからのエネルギーよりも３５ｄＢ以上高い場合があり、そのためエコー打消し回路を内蔵している場合でも、エコーおよびフィードバックが依然として発生する。

スピーカホンの問題の１つの解決方法は、ハンドセット内でスピーカおよびマイクロホンを物理的に相互に分離する試みである。例えば、スピーカからマイクロホンに直接伝わる音を小さくするために、スピーカホンの動作のために使用するスピーカをハンドセットの背面部分に設置することができる。しかし、このような配置にすると、スピーカがユーザの方を向いていないために、ユーザは音が聞き難くなり、スピーカ・エネルギーのある量が依然としてセルラホンまたは他のケースを通してマイクロホンに伝わる。

フィードバックのもう１つの解決方法は、スピーカ経路およびマイクロホン経路が同時に動作できないようにすることである。このシンプレックス・タイプの動作の場合には、直接フィードバックは決して起こらないが、通信が一方向通信になり、両方の端末にいるユーザは、自分が話終えたら相手にそれを知らせ、応答を待たなければならない。もっと効果的で自然なスピーカホン動作が望ましい。他の問題もある。

この業界においてこれらおよび他の問題を克服する本発明は、ある点では、会話の音声の知覚品質を保持しながら、望ましくないエコーおよびフィードバックを低減するために、内蔵知能が、デバイスのスピーカ経路およびマイクロホン経路の両方を同時に管理する通信デバイスでスピーカホンを動作させるためのシステムおよび方法に関する。本発明の
ある実施形態の場合には、セルラホン・ハンドセットまたは他のデバイスのような通信デバイスは、スピーカ経路およびマイクロホン経路の両方の信号エネルギーおよび他の特性を同時に監視し、動的しきい値または他の適合基準または他の基準に基づいて、一方または他方の経路に制御を渡すために、二重音声アクティビティ検出回路を内蔵することができる。他の実施形態の場合には、平均バックグラウンド・ノイズより大きいノイズによる早期ドロップアウト（ｐｒｅｍａｔｕｒｅ ｄｒｏｐｏｕｔ）のような問題を、マイクロホン経路に制御を渡す前に、最短の時間間隔が経過するまでスピーカ経路を開状態に維持するハングタイム・パラメータを適用することにより防止することができる。スピーカ経路からマイクロホン経路へおよびその逆方向の制御の変化をトリガするために適用される基準も、それ以下ではスピーカ経路が切り替わり、自動的に制御がマイクロホン経路に渡される低しきい値の撤廃を含む本発明の実施形態で適合させることができる。

添付の図面を参照しながら本発明を説明するが、図面中、類似の参照番号は類似の要素を示す。

図１は、本発明のある実施形態によるスピーカホン機能を有する通信デバイスの構成である。図１のデバイスは、例えば、セルラホン・ハンドセット、ネットワーク・ボイス・オーバーＩＰ（ＶｏＩＰ）またはＩＳＤＮ電話デバイスのような音声対応有線または無線デバイス、二方向無線通信デバイス、モデムまたはハイブリッド電話機／モデム・デバイス、スピーカホン・ベースを通して公衆交換電話網（ＰＳＴＮ）に接続している有線または無線電話機、または他の通信デバイスまたはプラットフォームであってもよいし、またはこれらを含むことができる。一般的に、図の構成によれば、通信デバイスは、マイクロホン１０２または他の音響または他の入力トランスジューサを含むマイクロホン経路１２８、およびスピーカ１２０または他の音響または他の出力トランスジューサを含むスピーカ経路１３０を含むことができる。実施形態においては、一般的に、２つのトランスジューサ間のフィードバックを防止するために、マイクロホン経路１２８およびスピーカ経路１３０のうちの一方だけを同時に作動させることができる。他の実施形態の場合には、他のモードを使用することができる。それぞれ、マイクロホン経路１２８は、時々入力（ｉｎｂｏｕｎｄ）または近端チャネルと呼ぶことがあり、スピーカ経路１３０は出力（ｏｕｔｂｏｕｎｄ）または遠端チャネルと呼ぶことがある。

マイクロホン経路１２８内のマイクロホン１０２は、必要に応じてマイクロホン１０２の出力をブーストしたり、減衰したりするために、マイクロホン利得制御１０４に接続することができる。マイクロホン利得制御１０４の出力は、スピーカ１２０からマイクロホン１０２に漏洩するエコーを含む任意のフィードバックの一部を除去するために、エコー・キャンセラ１０６に送ることができる。エコー・キャンセラ１０６は、例えば、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組合わせで実施することができる。エコー・キャンセラ１０６は、例えば、Ｏｋｉ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ社または他の会社が製造した専用集積回路のような市販の部品を使用する、またはＭｏｔｏｒｏｌａ Ｃｏｒｐ．が製造したＤＳＰ５６０００シリーズのようなデジタル信号プロセッサに対して使用することができるエコー・キャンセラ・モジュールのようなソフトウェア・モジュール、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ Ｉｎｃ．または他の会社が製造したデジタル信号プロセッサを使用する例であってもよい。実施形態においては、エコー・キャンセラ１０６は、例えば、国際電気通信連合（ＩＴＵ）規格Ｇ．１６５または他の打消しアルゴリズムまたは技術に関連するまたはこれらが規定しているアルゴリズムのような周知のエコー打消しアルゴリズムを内蔵することもできるし、または実施することもできる。実施形態においては、エコー・キャンセラ１０６は、３５ｄＢまたはそれ以上のエコーまたは他のフィードバックを低減することができるが、通常、マイクロホン１０２が発生する信号に含まれるフィードバック全部を除去することはできない。

エコー・キャンセラ１０６の出力は、無線送信または他の送信のために、音声入力を圧縮または他の方法で処理する音声符号化装置１０８に送ることができる。音声符号化装置１０８は、周知の音声圧縮、または例えば、ＩＴＵ Ｇ．７１１、Ｇ．７２３、Ｇ．７２６、Ｇ．７２９のようなＩＴＵ規格、または他のプロトコルに関連する、またはこれらが規定するアルゴリズムのような他のアルゴリズムにより実施することができる。これらの規格またはプロトコルは、例えば、８ＫＨｚでサンプリングした２．５ｍｓフレームのデジタル化した電話帯域幅音声またはオーディオ信号を符号化する低遅延符号励起線形予測（ＬＤ−ＣＥＬＰ）音声符号化アルゴリズム、または他のデジタル化または他の技術を組み込むこともできるし、または実施することもできる。他の音声圧縮／解凍（ｃｏｄｅｃ）アルゴリズム、ソフトウェアまたは規格も使用することができる。音声符号化装置１０８は、同様に、プログラマブル・デジタル信号プロセッサまたは他の構成要素の使用を含むハードウェア、ソフトウェア、ファームウェアまたはこれらの組合せで実施することができる。

音声符号化装置１０８によりユーザの音声入力を符号化した後で、符号化された音声をモデム送信モジュール１１０に送ることができる。モデム送信モジュール１１０は、例えば、８００／９００ＭＨｚ、１．９ＧＨｚ、または他のセルラ方式、ＰＣＳまたは音声通信または他の通信用の他の周波数スペクトルで無線送信を生成するアンテナまたは他の空気または他のインタフェースを通して、無線送信または他の送信用の符号化した信号を生成することができる。

受信機側においては、モデム受信モジュール１２６は、同様に、無線搬送信号を捕捉し、ダウンコンバートし、および／または復調するために、セルランテナまたは無線周波数（ＲＦ）または他の無線または他のエネルギーの他のソースに結合することができる。モデム受信モジュール１２６は、復調した受信信号を音声復号装置１２４に送ることができる。音声復号装置１２４は、一般的に、例えば、もう１つのセルラ携帯電話または他のデバイスのローカル・ユーザからの遠端音声を解凍するために、音声符号化装置１０８とは逆のタイプの動作を実行することができる。音声復号装置１２４の出力は、スピーカ利得制御１２２に送ることができ、セルラ携帯電話または他のトランスジューサ内のイヤホン・スピーカのようなスピーカ１２０を駆動するために、復号した音声を増幅し、減衰する。音声復号装置１２４の出力も、エコー検出および打消し処理を行うためにエコー・キャンセラ１０６に送ることができる。

図１に示すような本発明の実施形態においては、マイクロホン経路１２８およびスピーカ経路１３０は、それぞれ通信デバイスのスピーカホンの動作を監視し、管理するために、もう１つの回路に結合することができる。より詳細に説明すると、エコー・キャンセラ１０６の出力も、入力音声アクティビティ検出器（ＶＡＤ）１１４に送ることができる。音声復号装置１２４の出力も、同様に出力音声アクティビティ検出器（ＶＡＤ）１１８に送ることができる。各入力ＶＡＤ１１４および各出力ＶＡＤ１１８は、またハードウェア、ソフトウェア、ファームウェアまたはこれらの組合せにより実施することができる。入力ＶＡＤ１１４、および出力ＶＡＤ１１８は、例えば、それぞれマイクロプロセッサ、デジタル信号プロセッサまたは他のプロセッサにより実施することができる。ＶＡＤ１１４およびＶＡＤ１１８は、それぞれ、バックグラウンド・ノイズまたは他のタイプのノイズとは反対の音声エネルギー・エンベロープ、音声サンプル、音声含有または他のタイプの音声検出信号または音声情報が存在することを識別するために使用する機能を生成することができる。入力ＶＡＤ１１４および出力ＶＡＤ１１８は、例えば、ＩＴＵ Ｇ．７１１、Ｇ．７２３、Ｇ．７２６、Ｇ．７２９または他の規格による、またはこれらに関連するようなＩＴＵ規格または他の規格に関連するまたはこれらが規定しているもののような音声検出アルゴリズムを実行するようにプログラムすることができる。入力ＶＡＤ１１４お
よび出力ＶＡＤ１１８は、同様にその間で直接通信を行うことができるように一緒に結合することができる。

各入力ＶＡＤ１１４および各出力ＶＡＤ１１８の出力は、デュプレックス・アービタ１１６に送ることができる。デュプレックス・アービタ１１６は、同様に、スピーカホンおよび他の動作を強化するために、マイクロホン経路１２８、スピーカ経路１３０および他のリソースの作動を調停し、管理する目的で、管理タスクを行うために、マイクロプロセッサまたはデジタル信号プロセッサのようなハードウェアにより、ソフトウェア、ファームウェアまたはこれらの組合わせで実施することができる。デュプレックス・アービタ１１６は、例えば、入力（近端、または通信デバイスのハンドヘルド・ユーザ）の音声エネルギーが有意なものであり、一方、出力（遠端、またはローカル・ユーザ）音声エネルギーが無視できる場合には、いくつかの例を決定することができ、そのため、デュプレックス・アービタ１１６は、スピーカ経路１３０の作動を停止し、またはミュート状態にする一方で、そのローカル音声を捕捉するために、マイクロホン経路１２８を作動することができる。何故なら、遠端ユーザは、話をしていないか通信をしていないと見なされるからである。

逆に、入力ＶＡＤ１１４が検出した入力音声エネルギーが無視することができる場合であり、出力ＶＡＤ１１８が検出した出力音声エネルギーが有意なものである場合には、デュプレックス・アービタ１１６は、遠端ユーザの音声をスピーカ１２０を通して聞くことができるように、マイクロホン経路１２８の動作を停止させる一方で、スピーカ経路１３０を作動することができる。

一方、入力ＶＡＤ１１４および出力ＶＡＤ１１８の両方が、その各経路内で有意な音声エネルギーを検出したこれらの時間間隔においては、デュプレックス・アービタ１１６は、どちらの経路を作動すべきかどうかを決定するために、選択的基準を適用することができる。図２（Ａ）〜図２（Ｃ）の例に示すように、入力ＶＡＤ１１４（図２（Ｂ））および出力ＶＡＤ１１８（図２（Ａ））の両方が、その各検出しきい値よりも大きい音声エネルギー、およびゲート機能として図示してある音声検出信号を含むデュプレックス・アービタ１１６の存在を検出した場合に、時間間隔が発生する場合がある。

図２（Ｃ）に示すように、両方のＶＡＤ信号が能動状態である場合には、デュプレックス・アービタ１１６は、一方または他方の経路を作動することを選択することができる。この図に示すように、実施形態においては、デュプレックス・アービタ１１６は、推定音声信号が表示するエネルギーの絶対値が、出力ＶＡＤ１１８の出力より小さい場合でも、マイクロホン１０２のところで音声を認識した場合に、制御をマイクロホン経路１２８（入力チャネル）に渡すことができる。この決定基準を適用することができるのは、通常、セルラ携帯電話または他のデバイスをユーザから離れた場所に置いた場合に、その強度だけが低減するマイクロホン１０２の近くで、ユーザが普通の音声で喋った場合でも、マイクロホン経路１２８内の音声内容のエネルギーが、スピーカ経路１３０のそれよりも有意に小さいからである。

このタイプの動作を行うと、会話中の近端ユーザの音声と遠端ユーザの音声との間の切替えを継ぎ目なしで行うことができ、チャネル・ロックアウトのようなアーティファクトを防止することができる。実施形態においては、図に示すように、デュプレックス・アービタ１１６は、またノイズの発生が小さな状態で通信することができ、同様に、ハードウェア、ソフトウェア、またはファームウェアまたはこれらの組合わせで実施することができる置換モジュール１１２と通信することができる。低いノイズ発生および置換モジュール１１２も、同様に経路の切替え中、ホワイト・ノイズまたは他の比較的快適なまたは無害な音響を出力し、マイクロホン経路１２８およびスピーカ経路１３０の両方がミュート
状態になった場合、または他の時点のようなデッドスポットを出力するために、マイクロホン利得制御１０４およびスピーカ利得制御１２２と通信することができる。他の実施形態の場合または他の条件の下では、デュプレックス・アービタ１１６は、決定処理のために使用するいくつかの固定または動的基準の下で、マイクロホン経路１２８またはスピーカ経路１３０に制御を渡すことができる。

図３の実施形態の場合には、例えば、マイクロホン経路１２８に制御を渡すために使用するしきい値は、音声符号化装置が発生するエネルギーおよび他のパラメータに基づいて動的に計算することができる。ステップ３０２において、処理がスタートする。ステップ３０４において、マイクロホン１０２からのマイクロホン・サンプル、およびスピーカ１２０からのスピーカ・サンプルをエコー・キャンセラ１０６に送ることができる。ステップ３０６において、音声符号化装置１０８は、エコー・キャンセラ１０６の出力を処理することができる。ステップ３０８において、スピーカ経路１３０をミュート状態にしておきながら、「ｉｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈ」と呼ばれ、マイクロホン経路１２８に制御を渡すことを決定するために使用するブレークインしきい値を、現在の個々の音声フレーム（ｎ）に対する出力音声（またはスピーカ）エネルギー、および音声符号化装置のパラメータに基づいて動的に計算することができる。実施形態においては、計算は下記のように行うことができるか、または下記の計算を含むことができる。
アルゴリズム１
ib_break_in_thresh(n)=β*ob_r0(n);
IF(ib_break_in_thresh(n)>ib_break_in_thresh(n-1))
ib_break_in_thresh(n)=β*ob_r0(n);
ELSE
ib_break_in_thresh(n)=α*ib_break_in_thresh(n-1)+(1-α)*β*ob_r0(n);
END
ここで、ｏｂ＿ｒ０（ｎ）＝フレームｎに対する出力音声エネルギー、
ｎ＝現在の音声フレーム、
β＝エネルギー・スカラ、および
α＝減衰速度。

ステップ３１０において、音声符号化装置１０８の出力も、実施形態においては、入力ＶＡＤ１１４と一体になっているか、入力ＶＡＤ１１４に対してインタフェースとしての働きをする入力音声エンベロープ発生器１３２に送ることができる。入力音声エンベロープ発生器１３２は、マイクロホン経路１２８の信号の移動平均または音声エネルギーの他の表示のような音声エネルギーを表す移動エンベロープを生成することができる。また、出力ＶＡＤ１１８と一体になっているか、または出力ＶＡＤ１１８に対してインタフェースとしての働きをする出力音声エンベロープ発生器１３４は、同様に、スピーカ経路１３０の信号に基づいてエンベロープ出力を生成することができる。

ステップ３１２において、結果としての音声エンベロープを現在の入力ブレークインしきい値（ｉｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈ）と比較することができる。入力音声のエンベロープがそのしきい値を超えた場合には、処理はステップ３１４に進み、そこでデュプレックス・アービタ１１６は、スピーカ経路１３０をミュート状態にすることができ、マイクロホン経路１２８を作動状態または非ミュート状態にすることができ、そのため近端ユーザの音声を捕捉し、遠端ユーザに送ることができる。入力音声のエンベロープが入力ブレークインしきい値（ｉｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈ）を超えない場合には、処理はステップ３１６に進み、そこで時間の現在フレームに対する処理を終了することができ、その後で処理を反復したり、他のタスクに進んだり、または終了させることができる。

図４（Ａ）および図４（Ｂ）は、それぞれ、図３の実施形態により生成したスピーカ・サンプルおよびエコーを打消したマイクロホン・サンプルを示す。図５は、その実施形態により生成した入力および出力信号のための例示としての音声エンベロープを示す。この図に示すように、いくつかの時点において、入力信号は、出力信号を超える場合があり、一方他の時点では出力信号が入力信号より大きくなる場合がある。

図６は、例示としての入力動的ブレークインしきい値上の出力（スピーカ経路１３０）音声エネルギーのオーバレイである。この場合、比較のために固定入力ブレークインしきい値も示してある。この図に示すように、入力ブレークインしきい値は、アルゴリズム１のパラメータの動的関数を形成することができ、そうでない場合には、少なくとも一部は、入力音声が競合する出力音声エネルギーを追跡する時変しきい値になる。それ故、出力音声エネルギーが比較的高い間隔中、入力ブレークインしきい値は比較的高いプラトー（ｐｌａｔｅａｕ）に上昇し、チャネルを捕捉するために、マイクロホン１０２のところの近端音声の強度を強制的に高くする。逆に、入力ブレークインしきい値は、出力音声エネルギーが低減する期間中は低減し、そのため比較的ソフトな近端音声は、固定しきい値アプローチとは異なる方法で、マイクロホン経路１２８を作動することができる。

図７は、入力音声エンベロープ、入力ブレークイン動的しきい値、および図３の実施形態により生成した入力ブレークインの例を示す。この図に示すように、入力ブレークインの例は、比較的静かな出力チャネルが入力ブレークインしきい値を低いレベルに駆動し、マイクロホン経路１２８が、チャネルが低エネルギー音声すら正しく捕捉できるようにするこれらの期間内に結果として発生する場合がある。

符号化された音声が変動の多いものである場合、または振幅の大きな振れまたは他のアーティファクトを含んでいる場合には、これらの入力は、マイクロホン経路１２８とスピーカ経路１３０の間で急速な切替えを行ったり、または他の「競合」または他の望ましくない状態を引き起こす場合がある。図８の本発明のある実施形態の場合には、デュプレックス・アービタ１１６および他の協力する構成要素は、マイクロホン経路１２８からスピーカ経路１３０に、またはその逆の方向に制御を移すことができるようになる前に、遅延間隔またはハングタイムを挿入することができる。ハングタイムを導入すると、近端および遠端音声の一方または両方が、急速に変化する振幅を含んでいる場合のこのような競合状態を防止するのに役に立つ場合がある。

図８に示すように、ステップ８０２において、処理がスタートする。ステップ８０４において、マイクロホン１０２からの近端サンプルを音声符号化装置１０８により処理することができる。ステップ８０６において、遠端ユーザからの出力音声を音声復号装置１２４により処理することができる。ステップ８０８において、エコー・キャンセラ１０６は、エコーおよび他のフィードバックのアーティファクトを抑制するために、音声符号化装置１０８および音声復号装置１２４の出力を受信することができる。ステップ８１０において、音声エネルギー・エンベロープまたは他の関数を生成するために、エコーを打消した入力音声および復号した出力音声を、それぞれ、入力音声エンベロープ発生器１３２および出力音声エンベロープ発生器１３４に送ることができる。

ステップ８１２において、例えば、図３の実施形態によりまたは他の方法で、入力ブレークインしきい値（ｉｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈｏｌｄ）および出力ブレークインしきい値（ｏｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈｏｌｄ）を発生することができる。ステップに８１４おいて、通信デバイスが始動またはリセット動作中のような初期化モードにある場合には、入力ハングタイム（ｉｂ＿ｈａｎｇ＿ｔｉｍｅ）および出力ハングタイム（ｏｂ＿ｈａｎｇ＿ｔｉｍｅ）のうちの少なくとも一方を低減するか、初期値に設定することができる。ステップ８１６において、スピーカ経路１３０が作動しているかど
うかについての判断が行われる。スピーカ経路１３０が作動していない場合には、処理はステップ８１８に進むことができ、そこでマイクロホン経路１２８が作動しているかどうかについての判断が行われる。

マイクロホン経路１２８が作動していない場合には、処理はステップ８２２に進むことができ、そこでマイクロホン経路１２８を作動状態または非ミュート状態にすることができ、一方、スピーカ経路１３０を非作動状態またはミュート状態にすることができる。ステップ８２２の後で、制御はステップ８４０に進み、そこで現在のフレームに対する処理を終了することができ、その後で処理を反復したり、他のタスクに進んだりまたは終了することができる。

ステップ８１８における決定が、マイクロホン経路１２８が作動しているというものであった場合には、処理はステップ８２０に進むことができ、そこで出力音声エンベロープ（ｏｂ＿ｅｎｖ）が出力ブレークインしきい値（ｏｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈｏｌｄ）より大きいかどうかについての判断を行うことができる。出力音声エンベロープ（ｏｂ＿ｅｎｖ）が出力ブレークインしきい値（ｏｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈｏｌｄ）より大きい場合には、処理はステップ８２４に進むことができ、そこで入力ハングタイム（ｉｂ＿ｈａｎｇ＿ｔｉｍｅ）が時間切れになっているかどうかについての判断を行うことができる。入力ハングタイム（ｉｂ＿ｈａｎｇ＿ｔｉｍｅ）が時間切れになっていない場合には、処理はステップ８２２に進むことができ、そこで再度マイクロホン経路１２８を作動状態または非ミュート状態にすることができ、一方、スピーカ経路１３０を非作動状態またはミュート状態にすることができる。

ステップ８２４において、入力ハングタイム（ｉｂ＿ｈａｎｇｔｉｍｅ）が期限切れになっていた場合には、処理はステップ８２６に進み、そこで出力ハングタイム（ｏｂ＿ｈａｎｇｔｉｍｅ）を、スピーカ経路１３０に対してハングタイム周期をスタートするように設定することができる。出力ハングタイム（ｏｂ＿ｈａｎｇｔｉｍｅ）を、例えば、４秒または実施による他の値のような一定の長さの時間に設定することができる。実施形態においては、出力ハングタイムを、例えば、先行入力または出力ハングタイム、入力または出力経路内で検出した音声エネルギー、または他の変数の関数として動的に計算または設定することができる。ステップ８２８において、マイクロホン経路１２８を非作動状態またはミュート状態にすることができ、一方、スピーカ経路１３０を作動状態または非ミュート状態にすることができ、その後で制御はステップ８４０に進むことができ、そこで時間の現在のフレームに対する処理を終了することができ、その後で処理を反復したり、他のタスクに進めたり、終了させることができる。

ステップ８２０において、出力音声エンベロープ（ｏｂ＿ｅｎｖ）が、出力ブレークインしきい値（ｏｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈｏｌｄ）を超えていないと判断された場合には、処理はステップ８２２に進むことができ、そこで再度マイクロホン経路１２８を作動させるか、または非ミュート状態にすることができ、一方、スピーカ経路１３０を非作動状態にするか、またはミュート状態にすることができる。次に、制御もステップ８４０に進み、そこで時間の現在のフレームの処理を終了することができ、その後で、処理を反復したり、他のタスクに進んだり、終了することができる。

ステップ８１６において、スピーカ経路１３０が作動していると判断した場合には、処理はステップ８３０に進み、そこで入力エンベロープ（ｉｂ＿ｅｎｖｅｌｏｐｅ）が入力ブレークインしきい値（ｉｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈｏｌｄ）を超えているかどうかの判断が行われる。入力エンベロープ（ｉｂ＿ｅｎｖｅｌｏｐｅ）が入力ブレークインしきい値（ｉｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈｏｌｄ）を超えていない場合には、処理はステップ８３２に進むことができ、そこでスピーカ経路１３０を作動状態または
非ミュート状態にすることができ、一方、マイクロホン経路１２８を非作動状態またはミュート状態にすることができる。このステップの後で、制御はステップ８４０に進むことができ、そこで時間の現在のフレームの処理を終了することができ、その後で、処理を反復したり、他のタスクに進んだり、または終了することができる。

ステップ８３０において、入力エンベロープ（ｉｂ＿ｅｎｖｅｌｏｐｅ）が入力ブレークインしきい値（ｉｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈｏｌｄ）を超えていると判断された場合には、処理はステップ８３４に進むことができ、そこで出力ハングタイム（ｏｂ＿ｈａｎｇｔｉｍｅ）が時間切れになっているかどうかの判断を行うことができる。出力ハングタイムが（ｏｂ＿ｈａｎｇｔｉｍｅ）が時間切れになっていない場合には、処理は同様にステップ８３２に進むことができ、そこでスピーカ経路１３０を作動状態または非ミュート状態にすることができ、一方、マイクロホン経路１２８を非作動状態またはミュート状態にすることができる。

ステップ８３４において出力ハングタイム（ｏｂ＿ｈａｎｇｔｉｍｅ）が時間切れになっていると判断された場合には、処理はステップ８３６に進むことができ、そこで入力ハングタイムを４秒または実施による他の値のような一定の時間の長さに設定することができる。実施形態においては、入力ハングタイムを、例えば、先行入力または出力ハングタイム、入力または出力経路内で検出した音声エネルギー、または他の変数の関数として動的に計算または設定することができる。次に、処理はステップ８３８に進むことができ、そこでスピーカ経路１３０を非作動状態またはミュート状態にすることができ、一方、マイクロホン経路１２８を作動状態または非ミュート状態にすることができる。このステップの後で、制御はステップ８４０に進むことができ、そこで現在の時間フレームに対する処理を終了することができ、その後で処理を反復したり、他のタスクに進んだり、または終了することができる。

図８の本発明の実施形態の場合には、それ故、マイクロホン経路１２８またはスピーカ経路１３０への制御の移転は２つ以上の基準に依存することができる。これらの基準は、音声エンベロープしきい値の超過を含むことができるばかりでなく、現在作動している経路が他の経路の能動状態にあってもなくても、制御を保持するハングタイムを挿入することもできる。実施形態において、入力および出力ハングタイムを固定または動的にすることもできるし、状態により増大または低減することもできる。例えば、ノイズまたは他のパラメータが増大している間、ハングタイムの一方または両方を増大することができるし、またはノイズまたは他のパラメータの低減中、ハングタイムの一方または両方を低減することができる。それ故、音声または他の相互作用中、時間をさらに延長することができる。

図９（Ａ）は、スピーカ１２０からの音声サンプルを示し、図９（Ｂ）は、ある点において、図８の実施形態により処理することができるマイクロホン１０２からの音声サンプルを示す。図１０（Ａ）は、出力ブレークインしきい値（ｏｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈｏｌｄ）と一緒に、結果としての出力音声エンベロープ（ｏｂ＿ｅｎｖ）を示す。

図１０（Ａ）は、また、スピーカ経路１３０が、マイクロホン経路１２８内に高エネルギー音声が存在していても制御を保持でき、引き続き作動状態にいることができる出力ハングタイム（ｏｂ＿ｈａｎｇｔｉｍｅ）間隔の用途を示す。逆に、図１０（Ｂ）は、入力ブレークインしきい値（ｉｂ＿ｂｒｅａｋ＿ｉｎ＿ｔｈｒｅｓｈｏｌｄ）と一緒に入力音声エンベロープ（ｉｂ＿ｅｎｖ）を示す。図１０（Ｂ）も同様に、スピーカ経路１３０内に高エネルギー音声が存在していても、マイクロホン経路１２８が制御を保持でき、引き続き作動状態にいることができる入力ハングタイム（ｉｂ＿ｈａｎｇｔｉｍｅ）間隔の用
途を示す。これらの遅延間隔を導入すると、スピーカホンの動作中、近端および遠端ユーザに対する継続の感覚を増大することができる。

例えば、市街地のような非常にノイズの多い環境内においては、ノイズの多い音声メッセージの再生中または他の時間に自動車の窓を開けると、依然として理解できる音声が存在していても、摩擦音または他の信号成分がスピーカ経路１３０をトリガしてミュート状態にする傾向がある。このようなことが起こるのは、ある点では、遠端ユーザの入力が劣化してノイズになった場合、通常はスピーカ経路１３０をオフにするための出力ミュート状態にするしきい値を超えたためである。図１１の本発明のある実施形態の場合には、この現象は、ある点においては、出力オフしきい値（ｏｂ＿ｏｆｆ＿ｔｈｒｅｓｈｏｌｄ）を除去し、スピーカ経路１３０をそのしきい値以下では自身をオフにするように構成するのではなく、マイクロホン経路１２８が高エネルギー音声を含むまで、スピーカ経路１３０がチャネルを占拠することができるようにすることにより解決することができる。

この図に示すように、処理はステップ１１０２でスタートする。ステップ１１０４において、マイクロホン１０２から近端サンプルを音声符号化装置１０８により処理することができる。ステップ１１０６において、遠端ユーザからの出力音声を音声復号装置１２４により処理することができる。ステップ１１０８において、エコー・キャンセラ１０６は、エコーおよび他のフィードバックのアーティファクトを抑制するために、音声符号化装置１０８および音声復号装置１２４の出力を受信することができる。ステップ１１１０において、音声エネルギー・エンベロープまたは他の関数を生成するために、エコーを打消した入力音声および復号した出力音声を、それぞれ、入力音声エンベロープ発生器１３２および出力音声エンベロープ発生器１３４に送ることができる。

ステップ１１１２において、しきい値上の入力（ｉｂ＿ｏｎ＿ｔｈｒｅｓｈｏｌｄ）およびしきい値）上の出力（ｏｂ＿ｏｎ＿ｔｈｒｅｓｈｏｌｄを、例えば、図３の実施形態類似の方法またはその他の方法で生成することができる。ステップ１１１４において、デュプレックス・アービタ１１６は、経路の現在の音声エンベロープにより、マイクロホン経路１２８またはスピーカ経路１３０にロックするために制御ロジックを適用することができる。

ステップ１１１６において、出力エンベロープ（ｏｂ＿ｅｎｖ）がしきい値上の出力（ｏｂ＿ｏｎ＿ｔｈｒｅｓｈｏｌｄ）を超えたかどうかの判断を行うことができる。出力エンベロープ（ｏｂ＿ｅｎｖ）がしきい値上の出力（ｏｂ＿ｏｎ＿ｔｈｒｅｓｈｏｌｄ）を超えていない場合には、処理はステップ１１１８に進むことができ、そこで入力エンベロープ（ｉｂ＿ｅｎｖ）がしきい値上の入力（ｉｂ＿ｏｎ＿ｔｈｒｅｓｈｏｌｄ）を超えたかどうかを判断することができる。入力エンベロープ（ｉｂ＿ｅｎｖ）がしきい値上の入力を超えた場合には、処理はステップ１１２０に進むことができ、そこでスピーカ経路１３０がロックされたかどうか、すなわち無線セルラまたは他の接続のような通信チャネルの制御を現在有しているかどうかの判断を行うことができる。スピーカ経路１３０がロックされている場合には、マイクロホン経路１２８およびスピーカ経路１３０の状態を、ステップ１１０２での処理のスタートから同じ状態のままにしておくことができ、制御はステップ１１２８に進むことができ、そこで現在のフレームの処理を終了することができ、その後で処理を反復したり、他のタスクに進んだり、または終了することができる。

ステップ１１２０での判断がスピーカ経路１３０がロックされていないというものであった場合には、処理はステップ１１２２に進むことができ、そこでスピーカ経路１３０を非作動状態またはミュート状態にすることができ、一方、マイクロホン経路１２８を作動状態または非ミュート状態にすることができる。次に、処理は、同様に、処理を反復したり、他のタスクに進んだり、終了させたりするためにステップ１１２８に進むことができ
る。

ステップ１１１８における判断が、入力エンベロープ（ｉｂ＿ｅｎｖ）は、しきい値上の入力（ｉｂ＿ｏｎ＿ｔｈｒｅｓｈｏｌｄ）を超えていないというものである場合には、処理を反復したり、他のタスクに進んだり、または処理を終了するために、処理はステップ１１２８に進むことができる。

ステップ１１１６における判断が、出力エンベロープ（ｏｂ＿ｅｎｖ）がしきい値上の出力（ｏｂ＿ｏｎ＿ｔｈｒｅｓｈｏｌｄ）を超えているというものである場合には、処理はステップ１１２４に進むことができ、そこでマイクロホン経路１２８がロックされているかどうかについての判断を行うことができる。マイクロホン経路１２８がロックされていない場合には、制御はステップ１１２６に進むことができ、そこでスピーカ経路１３０を作動状態または非ミュート状態にすることができ、一方マイクロホン経路１２８を非作動状態またはミュート状態にすることができる。次に、処理を反復したり、他のタスクに進んだり、または処理を終了させるために、処理はステップ１１２８に進むことができる。同様に、ステップ１１２４における判断が、マイクロホン経路１２８はロックされているというものである場合には、マイクロホン経路１２８およびスピーカ経路１３０の状態を、ステップ１１０２での処理のスタートから同じ状態のままに維持することができ、処理を反復したり、他のタスクに進んだり、または処理を終了するために、制御はステップ１１２８に進むことができる。

図１２（Ａ）は、摩擦音および他のノイズ成分を含むスピーカ１２０からのサンプルを示し、図１２（Ｂ）は、図１１の実施形態による例に対して一緒に処理することができる同じ時点のマイクロホン１０２からのサンプルを示す。図１３は、摩擦音およびその他のアーティファクトのために、オン状態とオフ状態との間でのスピーカ経路１３０の高速切替えを含む、本発明を使用しないこのような信号で動作した場合に発生する恐れがあるスピーカホンの制御を示す。

一方、図１４（Ａ）は、スピーカ経路１３０が、一部は出力オフしきい値が撤廃されているために、比較的ノイズの多いバックグラウンド周期中ですら、チャネルの制御を維持することができ、スピーカ経路１３０を能動状態に維持することができる、図１１の本発明の実施形態による結果としてのスピーカホンの動作を示す。変動の多いまたは時々中断する切替えの代わりに、マイクロホン経路１２８が、図１４（Ｂ）に示すように、しきい値上の入力を超える高エネルギー音声により、チャネルの制御を正しく捕捉するまで、スピーカ経路は作動状態に維持する。その結果、会話はもっとスムーズで連続したものになる。

本発明によるスピーカホンを動作するためのシステムおよび方法の上記説明は例示としてのものであり、当業者であれば構成および実施についての種々の変更を思い付くことができるだろう。例えば、本発明は、通常、入力ＶＡＤ１１４および出力ＶＡＤ１１８形式の個々の音声検出器を含んでいるように記述してきたが、実施形態においては、２つの音声アクティビティ検出器の機能または機能の一部を１つの部品または１つのソフトウェア・モジュールに結合することができる。本発明により３つ以上の経路も管理することができる。同様に、エコー・キャンセラ１０６を含む入力経路を参照しながら本発明を説明してきたが、実施形態においては他のタイプのノイズ・サプレッサも実施することができるし、または実施形態においてこの構成要素を除去または修正することができる。

同様に、本発明を使用することができる通信デバイスは、セルラホンであってもよいし、セルラホンを含むことができると説明したが、有線または無線電話、二方向無線、無線電話のための基地局、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇのようなネット
ワーク対応無線通信デバイス、または他の短距離または長距離電話または他のユニット、または他の装置のような他の通信プラットフォームであってもよい。

さらに、スピーカホンの動作を支配する電子知能が、セルラホンまたは他の通信デバイスと一体になっているスピーカホン・アーキテクチャにより本発明を一般的に説明してきたが、他の実施形態の場合には、知能を通信デバイスに結合しているアタッチメントに組み込むこともできるし、アタッチメント内で共有することもできる。例えば、知能を、着脱可能なバッテリ、ヘッドホン・デバイス、卓上用または他の固定またはノンウェアラブル・スピーカホン・ユニット、または他のアクセサリまたは部品内に組み込むこともできるし、これらのもの内で共有することもできる。例えば、知能は、セルラホンに結合しているカーオーディオ・システムを通してスピーカホンを動作させることができる。

通信デバイスでスピーカホンの機能を追加したり強化したりする着脱可能な、または結合可能なユニットの場合には、アドオン・デバイス内に埋め込まれている知能は、ＲＳ−２３２のような直列ポート、ユニバーサル・シリアル・バス（ＵＳＢ）または汎用非同期式信送受信回路（ＵＡＲＴ）接続、赤外線データ（ＩｒＤＡ）ポート、無線周波リンク、またはその他の直列、並列または他のデータ・ポートまたは他の接続のようなインタフェースを通して通信デバイスの電子回路と通信することができる。それ故、本発明の範囲は特許請求の範囲によってだけ制限される。

本発明のある実施形態による、スピーカホンの動作を含む二方向通信プラットフォーム。 本発明のある実施形態によるいくつかの点での入力および出力音声の処理を示す図。 本発明のある実施形態によるいくつかの点での入力および出力音声の処理を示す図。 本発明のある実施形態によるいくつかの点での入力および出力音声の処理を示す図。 本発明のある実施形態によるスピーカホンの制御動作を示すブロックダイタグラム。 本発明のある実施形態によるいくつかの点での入力および出力音声の処理を示す図。 本発明のある実施形態によるいくつかの点での入力および出力音声の処理を示す図。 本発明のある実施形態による入力および出力音声のエンベロープを示す図。 本発明のある実施形態による動的入力ブレークインしきい値および他の音声処理を示す図。 本発明のある実施形態による動的ブレークインしきい値および他の音声処理を使用する入力ブレークインの例を示す図。 本発明のある実施形態によるスピーカホンの制御動作ブロックダイヤグラム。 本発明のある実施形態によるいくつかの点での入力および出力音声の処理を示す図。 本発明のある実施形態によるいくつかの点での入力および出力音声の処理を示す図。 本発明のある実施形態による、挿入ハングタイムを含む出力および入力経路の制御を示す図。 本発明のある実施形態による、挿入ハングタイムを含む出力および入力経路の制御を示す図。 本発明のある実施形態によるスピーカホンの制御動作のグロックダイヤグラム。 本発明のある実施形態によるいくつかの点での入力および出力音声の処理図。 本発明のある実施形態によるいくつかの点での入力および出力音声の処理図。 ノイズが大きい状態での従来の遠端処理によるスピーカ経路の作動を示す図。 本発明のある実施形態による、ノイズの大きい状態でのスピーカ経路の作動を示す図。 本発明のある実施形態による、ノイズの大きい状態でのスピーカ経路の作動を示す図。

Claims (10)

1. 通信デバイスでスピーカホンの動作を管理するためのシステムであって、
   前記通信デバイスの入力経路と通信するように構成され、前記入力経路の信号に基づいて少なくとも第１の音声データを生成する第１の音声アクティビティ検出器と、
   前記通信デバイスの出力経路と通信するように構成され、前記出力経路の信号に基づいて少なくとも第２の音声データを生成する第２の音声アクティビティ検出器と、
   前記第１の音声アクティビティ検出器および前記第２の音声アクティビティ検出器と通信し、前記第１の音声データおよび前記第２の音声データのうちの少なくとも一方に基づいて、前記入力経路および前記出力経路のうちの少なくとも一方を制御するプロセッサとを備えるシステム。
2. 前記通信デバイスが、セルラホン、音声対応ネットワーク・デバイス、および電話デバイスのうちの少なくとも１つを備える請求項１に記載のシステム。
3. 前記第１の音声データが、第１の音声エネルギー信号、第１の音声エンベロープ、第１の音声サンプル、および第１の音声存在信号のうちの少なくとも１つを含む請求項１に記載のシステム。
4. 前記第２の音声データが、第２の音声エネルギー信号、第２の音声エンベロープ、第２の音声サンプル、および第２の音声存在信号のうちの少なくとも１つを含む請求項１に記載のシステム。
5. 前記プロセッサが行う制御が、通信チャネルの制御を、前記第１の音声データおよび前記第２の音声データの比較に基づいて、前記入力経路および前記出力経路のうちの一方に渡すステップを含む請求項１に記載のシステム。
6. 前記通信チャネルが無線通信チャネルを含む請求項５に記載のシステム。
7. 通信デバイスでスピーカホンの動作を管理するためのシステムであって、
   前記通信デバイスの各入力経路および各出力経路と通信し、前記入力経路の信号に基づいて少なくとも第１の音声データを生成し、前記出力経路の信号に基づいて少なくとも第２の音声データを生成するための音声アクティビティ検出手段と、
   前記音声アクティビティ検出手段と通信するように構成され、前記第１の音声データおよび前記第２の音声データのうちの少なくとも一方に基づいて、前記入力経路および前記出力経路のうちの少なくとも一方を制御する処理手段とを備えるシステム。
8. 通信デバイスでスピーカホンの動作を管理するためのシステムであって、
   前記通信デバイスの入力経路と通信するように構成され、前記入力経路の信号に適用された少なくとも第１の音声しきい値に基づいて少なくとも第１の音声検出信号を生成する第１の音声アクティビティ検出器と、
   前記通信デバイスの出力経路と通信するように構成され、前記出力経路の信号に適用された少なくとも第２の音声しきい値に基づいて、少なくとも第２の音声検出信号を生成する第２の音声アクティビティ検出器と、
   前記第１の音声アクティビティ検出器および前記第２の音声アクティビティ検出器と通信し、前記第１の音声検出信号および前記第２の音声検出信号の少なくとも比較に基づいて、前記入力経路および前記出力経路のうちの少なくとも一方を制御するプロセッサとを備えるシステム。
9. 通信デバイスにおいてスピーカホンの動作を管理するためのシステムであって、
   プロセッサを備え、同プロセッサが、
   前記通信デバイスの各入力経路および各出力経路からの入力を受信する音声アクティビティ検出コードであって、前記入力経路の信号に適用された第１の音声しきい値に基づいて少なくとも第１の音声検出信号と、前記出力経路の信号に適用された少なくとも第２の音声しきい値に基づいて少なくとも第２の音声検出信号とを発生する実行可能な音声アクティビティ検出コードと、
   前記第１の音声検出信号および前記第２の音声検出信号のうちの少なくとも一方に基づいて前記入力経路および前記出力経路のうちの少なくとも１つを制御する調停コードと
   を実行するように構成されるシステム。
10. 通信デバイスでスピーカホンの動作を管理するためのシステムであって、
    前記通信デバイスの入力経路と通信するように構成され、前記入力経路の信号に基づいて少なくとも第１の音声検出信号を生成する第１の音声アクティビティ検出器と、
    前記通信デバイスの出力経路と通信するように構成され、前記出力経路の信号に基づいて少なくとも第２の音声検出信号を生成する第２の音声アクティビティ検出器と、
    前記第１の音声アクティビティ検出器および前記第２の音声アクティビティ検出器と通信するプロセッサとを備え、前記プロセッサが、前記第１の音声検出信号および前記第２の音声検出信号の少なくとも比較、および入力ハングタイムおよび出力ハングタイムのうちの少なくとも一方に基づいて、前記入力経路および前記出力経路のうちの少なくとも一方へ通信チャネルの制御を渡すためにスピーカホンの動作を制御する、システム。
    

Images