JP2008294600A - 放収音装置、および放収音システム - Google Patents

Abstract

【課題】話頭欠けを防止する放収音装置、および放収音システムを提供する。
【解決手段】比較処理部８に収音信号と放音信号を入力する。比較処理部８は、収音信号と放音信号との相関を求め、直接反射音、間接反射音などを測定する。直接反射音、間接反射音に変化があった場合に、ユーザが存在すると判断し、収音処理部６に移動検出情報を出力する。収音処理部６は、移動検出情報を入力した場合、マイク２の収音信号を後段に出力し、チャンネルを取得する。
【選択図】図３

Description

この発明は、音声を収音するとともに、特定の地点の音声を放音する放収音装置、および放収音システムに関する。

従来、室内にマイクとスピーカを配置し、マイクからの音声入力信号に基づいて話者を検出する拡声システムが提案されている（例えば特許文献１参照）。

特許文献１に記載の拡声システムでは、ある位置に存在する話者Ａが発話すると、話者Ａに最も近い位置に設置されたマイクを音源位置として検出し、他のスピーカに音声信号を供給する。一方で、他の位置に存在する話者Ｂが発話すると、話者Ｂに最も近い位置に設置されたマイクを第２の音源位置として検出し、話者Ｂに近い位置のスピーカのゲインを低下させる。これによりハウリングを抑制するものである。
特開２００６−２３８２５４号公報

しかし、特許文献１の拡声システムでは、実際に話者が発話してからでなければ音源位置を検出できなかった。そのため、会話の先頭（話頭）を収音することができず、話頭欠けが発生していた。

そこで、この発明は、話頭欠けを防止する放収音装置、および放収音システムを提供することを目的とする。

この発明の放収音装置は、装置周囲の音声を収音して収音信号を出力する収音部と、他の装置から放音信号を受信する通信部と、前記通信部が受信した前記放音信号を入力し、音声を放音する放音部と、前記放音信号と前記収音信号との相関を求め、前記放音信号に対する反射音を測定する測定部と、前記放音信号と前記収音信号との相関を記録する記録部と、前記反射音の変化に基づいて、移動物体があるか否かを判定する判定部と、前記検出部で前記移動物体を検出した場合に、前記通信部を介して前記収音信号を他の装置に送信する処理部と、を備えたことを特徴とする。

この構成では、収音信号と放音信号との相関を求め、反射音を検出する。例えば相互相関係数を求め、時間軸上のピークを求めることで反射音を検出する。この反射音の時間変化を検出することで、移動物体（ユーザ）が存在するか否かを判定する。移動物体がある場合に収音信号を他装置に送信する（発話チャンネルを取得する）。ユーザが存在すると判定した場合に予めチャンネルを取得しておくため、話頭欠けが生じることがない。

また、この発明は、さらに、前記収音部は、複数のマイクユニットを配列してなるマイクアレイ、および各マイクユニットが収音した収音信号をそれぞれ遅延して合成することにより、複数の方向に指向性を有する複数の収音ビームを生成する収音処理部からなり、前記測定部は、収音ビーム毎に反射音を測定し、前記判定部は、収音ビーム毎に移動物体があるか否かを判定することを特徴とする。

この構成では、マイクアレイにより複数の方向に指向性を有した収音ビームを形成する。これらの収音ビーム毎に反射音を検出し、ユーザの存在を検出する。それぞれの収音ビームについてユーザが存在するか否かを検出することができ、より精度の高い検出を行うことができる。

この発明の放収音システムは、さらに、請求項２に記載の放収音装置を複数接続してなる放収音システムであって、前記放収音装置の処理部は、前記移動物体との距離を示す情報を他の装置と送受信し、前記移動物体との距離を示す情報に基づいて前記移動物体との距離を求め、自装置が前記移動物体に最も近いと判断した場合に、前記収音信号を他の装置に送信することを特徴とする。

この構成では、ユーザとの距離を示す情報を送受信する。距離を示す情報とは、例えば収音ビームのレベルや遅延パターンである。レベルや遅延パターンにより自装置が最もユーザに近いか否かを推定することができる。自装置が最もユーザに近いと判断した場合に収音信号を送信する。

また、この発明は、さらに、請求項２に記載の放収音装置を複数接続してなる放収音システムであって、各放収音装置に接続され、前記移動物体に最も近い放収音装置に収音信号を送信するように設定する設定情報を各放収音装置に送信する調停装置をさらに備え、前記放収音装置の処理部は、前記設定情報を受信し、この設定情報に基づいて、自装置が最も前記移動物体に近いと判断した場合に、前記収音信号を他の装置に送信することを特徴とする。

この構成では、調停装置（サーバ）が最も移動物体に近い放収音装置を判定し、その装置に収音信号を送信するように設定する。

また、この発明は、さらに、前記処理部は、自装置が前記移動物体に最も近いと判断した場合にのみ前記放音部に音声を放音させることを特徴とする。

この構成では、最もユーザに近い装置のみ音声を放音する。最も近い装置のみ放音することで、他装置の放音音声が収音されることがなくなり、ハウリングを防止することができる。

この発明によれば、収音信号と放音信号との相関を求め、反射音の時間変化からユーザの存在を判定し、ユーザが存在すると判定した場合に予めチャンネルを取得しておくため、話頭欠けが生じることがない。

以下、図面を参照してこの発明の実施形態である放収音システムについて説明する。図１は放収音システムの構成を示すブロック図である。図２は、放収音装置の構成を示すブロック図である。

図１において、この放収音システムは、ネットワークを介して接続される複数の放収音装置１Ａ〜１Ｄを備えている。放収音装置１Ａ〜１Ｄは、それぞれ部屋Ａ〜Ｄに設置されている。放収音装置１Ａ〜１Ｄは全て同じ構成、機能を有しており、図２においては、代表して放収音装置１Ａの構成を示す。

図２において、この放収音装置１Ａは、マイク２、スピーカ３、エコーキャンセラ４、入出力インタフェース（Ｉ／Ｆ）５、収音処理部６、放音処理部７、および比較処理部８を備えている。

なお、同図において、フロントエンドのアンプ、アナログ音声信号をデジタル変換するＡ／Ｄコンバータ、デジタル音声信号をアナログ変換するＤ／Ａコンバータ、およびパワーアンプは省略している。また、本実施形態において、特に記載無き場合、放収音装置１Ａ内を伝達する音声信号は、全てデジタル音声信号とする。

マイク２は、装置周囲の音声を収音し、音声信号（収音信号）を出力する。マイク２の出力した収音信号は、収音処理部６および比較処理部８に入力される。

収音処理部６は、装置周囲にユーザが存在する場合、マイク２から入力された収音信号を後段のエコーキャンセラ４に出力する。収音処理部６は、ユーザが存在しない場合には収音信号をエコーキャンセラ４に出力しない。ユーザが存在しない場合に収音信号を出力しないことで、処理負荷、通信負荷を軽減する。ユーザが存在するか否かの検出手法については後述する。エコーキャンセラ４は、収音処理部６から入力された収音信号のエコー成分を除去し、入出力Ｉ／Ｆ５に出力する。

入出力Ｉ／Ｆ５は、入力された音声信号を所定のプロトコルに変換して音声情報として他の放収音装置に送信する。また、入出力Ｉ／Ｆ５は、他の放収音装置から音声情報を受信し、音声信号（放音信号）に変換してエコーキャンセラ４に入力する。

エコーキャンセラ４は、入出力Ｉ／Ｆ５から入力された放音信号を放音処理部７に出力する。
放音処理部７は、エコーキャンセラ４から入力された放音信号のレベル、周波数特性等を調整し、スピーカ３および比較処理部８に出力する。例えば、難聴者が音声の内容を聴き取りやすいように、音量を大きくする。また、周波数特性を調整する場合、例えば人の聴覚特性に応じた補正を行う。人間の聴覚は年齢が高くなるにつれ、高音域が中低音域に比べて聴きとり難くなる性質があり、これを補償するための補正を行う。例えば７０歳代以上の平均的な聴覚特性に応じた補正を行う。
スピーカ３は、放音処理部７から入力された放音信号に基づいて音声を放音する。

比較処理部８は、放音信号と収音信号との相関を求める。図３は、比較処理部８の構成を示すブロック図である。同図に示すように、比較処理部８は、比較回路８１、遅延測定部８２、記録部８３、および動き検出部８４を備えている。

比較回路８１は、マイク２の出力する収音信号、およびエコーキャンセラ４の出力する放音信号を入力する。比較回路８１は、入力した収音信号と放音信号との相関を求める。収音信号と放音信号との相関は、例えば相互相関係数により表される。

図４は、収音信号と放音信号との相関を示す図である。同図（Ａ）は、放音信号を示す図であり、同図（Ｂ）は、収音信号を示す図である。同図（Ｃ）は、相互相関係数を示す図である。同図（Ａ）および同図（Ｂ）に示すグラフの縦軸はレベルを表し、同図（Ｃ）に示すグラフの縦軸は相互相関係数γを表す。また、同図（Ａ）〜（Ｃ）に示すグラフの横軸は時間ｔを表す。

同図（Ａ）および同図（Ｂ）に示すように、収音信号は、放音信号に対して所定の遅延τを有している。これはスピーカ３から放音された音声が音響伝達経路を経てマイク２に帰還するためである。遅延測定部８２は、比較回路８１から相互相関係数γを入力し、直接回帰音や反射音の遅延量を求める。すなわち、同図（Ｃ）に示すように、相互相関係数γの最初のピークを直接回帰音の遅延量τと推定し、他のピークを反射音の遅延量（τ１、τ２、τ３、τ４）と推定する。

記録部８３は、遅延測定部８２で求めた各遅延量を入力し、記録する。

動き検出部８４は、記録部８３に記録されている過去の相互相関係数γの各ピークの遅延量と、現在遅延測定部８２から入力されている相互相関係数γの各ピークの遅延量との差から、移動物体があるか否かを検出する。移動物体があるか否かを検出することで、ユーザの存在を検出する。ユーザが存在する場合、反射音を示すピークの遅延量が変化する。これは、ユーザ（物体）が移動したために、音響伝達経路の環境が変化し、反射音の到達時間が変化したためである。動き検出部８４は、この反射音の遅延量の変化を検知することでユーザが存在するか否かを検出することができる。

なお、反射音の遅延量に少しでも変化があればユーザが存在すると判定してもよいし、所定の閾値を超える変化があればユーザが存在すると判定してもよい。また、遅延測定部８２が遅延量を測定するタイミング（測定時間間隔）、および動き検出部８４が遅延量の変化を測定するタイミングは、どのようなタイミングであってもよいが、比較回路８１に収音信号が入力されたとき（所定レベル以上の収音信号が入力されたとき）に、これをトリガとし、その後収音信号が入力されなくなるまで周期的に（例えば数１００ｍｓ毎に）測定すればよい。

また、室内にユーザがいないときの相互相関係数γをリファレンスとして記録部８３に記録しておき、このリファレンスの相互相関係数γの各ピークの遅延量と現在の相互相関係数γの各ピークの遅延量とを比較してユーザの存在を判定してもよい。

図３において、動き検出部８４は、ユーザの存在を検出した場合、収音処理部６に移動検出情報を出力する。収音処理部６は、移動検出情報を入力した場合、マイク２から入力された収音信号をエコーキャンセラに出力する（チャンネルをオンする）。移動検出情報を入力していなければ収音信号を出力しない（チャンネルをオフする）。ユーザが存在すると判断した場合にチャンネルをオンしておくことで、話頭欠けが発生することがない。また、上記移動検出情報を放音処理部７に出力し、放音処理部７が移動検出情報を入力したときのみ放音信号を出力するようにしてもよい。

次に、図５は、エコーキャンセラ４の構成を示すブロック図である。エコーキャンセラ４は、適応型フィルタ４１、および加算器４２を含み、入出力Ｉ／Ｆ５から入力された音声信号（放音信号）を適応型フィルタ４１、および後段の放音処理部７に入力する。適応型フィルタ４１は、この放音信号をフィルタ処理し、スピーカ３からマイク２に回り込む回帰音声信号を擬似した擬似回帰音信号を生成する。加算器４２は、この擬似回帰音信号を収音信号から減算することでエコー成分を除去する。エコー成分を除去した収音信号は、入出力Ｉ／Ｆ５に出力される。なお、エコー成分を除去した収音信号は、適応型フィルタ４１に入力され、フィルタ係数の更新に用いられる。
なお、エコーキャンセラ４は、本発明において必須の構成要素ではないが、エコーキャンセラ４によりエコー成分を除去するため、放収音装置を音声会議に用いる場合に好適である。

なお、マイク２およびスピーカ３は複数であってもよい。また、複数のマイクユニットを配列したマイクアレイ、複数のスピーカユニットを配列したスピーカアレイであってもよい。スピーカアレイを用いる場合、放音処理部７が各スピーカユニットに供給する音声信号の遅延量を制御することで放音の指向性を制御することができる。

また、マイクアレイを用いる場合、収音処理部６が各マイクユニットから入力した音声信号の遅延量を制御することで収音の指向性（以下、収音ビームと言う。）を制御することができる。図６は、マイクアレイを備えた放収音装置１０の構成を示すブロック図である。なお、同図において、図２に示した放収音装置１Ａと共通する構成については同一の符号を付し、その説明を省略する。

この放収音装置１０は、複数のマイクユニット１１、スピーカ３、エコーキャンセラ４、入出力インタフェース（Ｉ／Ｆ）５、収音処理部６、放音処理部７、比較処理部８、およびビーム制御部９を備えている。

なお、同図においても、フロントエンドのアンプ、アナログ音声信号をデジタル変換するＡ／Ｄコンバータ、デジタル音声信号をアナログ変換するＤ／Ａコンバータ、およびパワーアンプは省略している。

ビーム制御部９は、各マイクユニット１１から入力した収音信号を所定数（例えば４つ）に分岐し、それぞれに所定の遅延量を付与して合成する。各分岐した収音信号は、異なる位置（領域）の音声を収音するように遅延量が付与される。これにより、同時に複数の収音ビームを設定する。

同時に複数の方向に収音ビームを設定する場合、それぞれの収音ビームについてユーザが存在するか否かを検出することができ、より精度の高い検出を行うことができる。

また、一つの部屋にマイクアレイを備えた放収音装置を複数台設置する場合、以下のような応用例が可能である。
図７は、応用例に係る放収音システムの構成を示すブロック図である。この放収音システムは、ネットワークを介して接続される複数の放収音装置１０Ａ〜１０Ｄを備えている。放収音装置１０Ａ〜１０Ｄは、同じ部屋Ｅに設置されている。また、ユーザ１０１が放収音装置１０Ｂの近くに存在する。放収音装置１０Ａ〜１０Ｄは、全て図６に示した放収音装置１０と同じ構成、同じ機能を有する。

各放収音装置１０Ａ〜１０Ｄは、互いに接続されており、音声情報を入力する。この音声情報から放音信号を生成し、音声を放音する。ここで、各収音装置１０Ａ〜１０Ｄは、複数の収音ビーム毎に放音信号との相関を求め、収音ビーム毎にユーザの存在を検出する。ユーザの存在を検出した場合、最もユーザの位置に近い放収音装置が収音ビームを出力し、他の放収音装置は収音ビームを出力しない。また、最もユーザの位置に近い放収音装置のみ音声を放音し、他の放収音装置は音声を放音しない。これにより、ハウリングの発生を防止する。

ユーザの位置と各装置との距離は収音レベルにより判断すればよい。各放収音装置は、ユーザの存在を検出した場合、その収音ビームのレベルを示す情報を送信する。各放収音装置は、他の放収音装置からレベルを示す情報を受信し、自装置の収音ビームのレベルと比較する。その結果、自装置の収音ビームのレベルが最も高ければ自装置がユーザに最も近い位置であると判断し、エコーキャンセラ４を通過した収音ビームをネットワークＩ／Ｆに出力し、放音信号に基づいて音声を放音する。なお、収音ビームを形成するために設定した遅延パターンを送受信するようにしてもよい。遅延パターンを参照することでも、各装置とユーザとの距離を推定することができる。また、各放収音装置からレベルを示す情報や遅延パターンを受信して調停する専用の装置（サーバ）を備え、このサーバが収音信号を出力する装置を指示するようにしてもよい。サーバが、最も移動物体に近い放収音装置に収音信号を出力するように設定する情報を放収音装置に送信すればよい。なお、サーバは、１つだけ設置されていてもよいし、複数設置されていてもよい。例えば、それぞれの放収音装置に１台ずつ設置されていてもよい。この場合、サーバ同士でレベルや遅延パターンの比較を行い、収音信号を出力する放収音装置を決定する。

なお、各放収音装置は、ユーザの存在を検出した場合、ユーザが存在する旨を示す情報を他の装置に送信し、他の装置においてこの情報に基づいてユーザが存在する旨を表示部等に表示してもよい。

以上のように、本実施形態の放収音システムによれば、ユーザが存在すると判断した場合にチャンネルをオンしておくことで、話頭欠けが発生することがない。無論、ユーザが存在しない場合には収音信号を出力しないため、処理負荷、通信負荷を軽減することができる。

放収音システムの構成を示すブロック図である。 放収音装置の構成を示すブロック図である。 比較処理部８の構成を示すブロック図である。 放音信号と収音信号との相関を示す図である。 エコーキャンセラ４の構成を示すブロック図である。 マイクアレイを備えた放収音装置の構成を示すブロック図である。 応用例に係る放収音システムの構成を示すブロック図である。

符号の説明

１−放収音装置
２−マイク
３−スピーカ
４−エコーキャンセラ
５−入出力Ｉ／Ｆ
６−収音処理部
７−放音処理部
８−比較処理部

Claims (5)

1. 装置周囲の音声を収音して収音信号を出力する収音部と、
   他の装置から放音信号を受信する通信部と、
   前記通信部が受信した前記放音信号を入力し、音声を放音する放音部と、
   前記放音信号と前記収音信号との相関を求め、前記放音信号に対する反射音を測定する測定部と、
   前記放音信号と前記収音信号との相関を記録する記録部と、
   前記反射音の変化に基づいて、移動物体があるか否かを判定する判定部と、
   前記検出部で前記移動物体を検出した場合に、前記通信部を介して前記収音信号を他の装置に送信する処理部と、
   を備えた放収音装置。
2. 前記収音部は、複数のマイクユニットを配列してなるマイクアレイ、および各マイクユニットが収音した収音信号をそれぞれ遅延して合成することにより、複数の方向に指向性を有する複数の収音ビームを生成する収音処理部からなり、
   前記測定部は、収音ビーム毎に反射音を測定し、
   前記判定部は、収音ビーム毎に移動物体があるか否かを判定する請求項１に記載の放収音装置。
3. 請求項２に記載の放収音装置を複数接続してなる放収音システムであって、
   前記放収音装置の処理部は、前記移動物体との距離を示す情報を他の装置と送受信し、
   前記移動物体との距離を示す情報に基づいて前記移動物体との距離を求め、自装置が前記移動物体に最も近いと判断した場合に、前記収音信号を他の装置に送信する放収音システム。
4. 請求項２に記載の放収音装置を複数接続してなる放収音システムであって、
   各放収音装置に接続され、前記移動物体に最も近い放収音装置に収音信号を送信するように設定する設定情報を各放収音装置に送信する調停装置をさらに備え、
   前記放収音装置の処理部は、前記設定情報を受信し、この設定情報に基づいて、自装置が最も前記移動物体に近いと判断した場合に、前記収音信号を他の装置に送信する放収音システム。
5. 前記処理部は、自装置が前記移動物体に最も近いと判断した場合にのみ前記放音部に音声を放音させる請求項３、または請求項４に記載の放収音システム。

Images