JP2008294619A - 音声通信システム - Google Patents

Abstract

【課題】会議に参加する各会議者が聞き取り易い多地点会議システムを提供する。
【解決手段】ネットワーク２００に接続された各収音側である放収音装置１１Ａ，１１Ｂ，１１Ｄは、自装置周りの発言を収音して収音データを形成するとともに、話者方位を検出する。放収音装置１１Ａ，１１Ｂ，１１Ｄは、話者方位情報に基づいて、話者識別データ、優先度データ、および装置識別ＩＤを備えるメタデータを生成するか読み出し、収音データに基づく音声データに添付することで、フレームデータを形成して送信する。放音側である放収音装置１１Ｃは、ネットワーク２００経由で受信したフレームデータを解析して、メタデータに含まれる優先度データ、話者識別データ、装置識別ＩＤを取得し、優先度が高い話者から優先して音像定位させるように放音環境を設定する。この際、音像定位数と話者識別データに基づく話者数の関係から適宜ミキシング等を行う。
【選択図】 図６

Description

この発明は、互いに離れた場所に設置された複数の放収音装置をネットワーク接続して、互いに音声を通信する音声通信システムに関するものである。

従来、それぞれに離れた複数の拠点に放収音装置を設置して、これら放収音装置をネットワークで接続することで、遠隔地間音声会議を行う音声通信システムが各種考案されている。そして、このようなシステムでは、音声データの使い勝手を良くするように、例えば特許文献１に示すように、音声データに話者情報等を添付して送信する収音装置が用いられている。
特開２００５−１８１３９１公報

上述のように話者位置データを添付した音声データを生成して送信するシステムの各音声データの話者同定が可能であるので、議事録の作成等に有用である。

しかしながら、三台以上特に多数の放収音装置が接続される音声通信システムでは、放音装置（放収音装置）が複数の収音装置（放収音装置）からの話者情報付き音声データを取得しても、単に取得した順に放音したのでは、音声データを取得したタイミング毎に、放音態様が変化してしまう。例えば、同じ話者の声の放音位置が経時的に変化したり、複数の話者の音声を継続して放音している際に、一つの放音位置から経時的に異なる話者の音声が放音されてしまう。このような放音態様では、聞き取る側の会議者（聴者）にとって聞き難いものとなってしまう。

したがって、本発明の目的は、聴者が聴き取りやすいように放音を設定する音声通信システムを提供することにある。

この発明は、複数の音像定位を行う放音制御手段と、話者を検出するとともに話者方位の音声を収音する収音制御手段との少なくともいずれか一方を備えた放収音装置と、該放収音装置を含む複数の放収音装置を接続するネットワーク網と、を備えた音声通信システムに関するものである。この発明では、次のような構成を特徴とする。収音側の放収音装置は、収音制御手段を備え、収音音声に基づく音声データと、該音声データを識別させる識別データとを生成する。収音側の放収音装置は、収音音声に基づく音声データと識別データとを含む通信用データを生成してネットワーク網へ送信する。放音側の放収音装置は、放音制御手段を備え、前記ネットワーク網を介して受信した通信用データから前記識別データを取得して、該識別データに基づいて、関連する音声データの音像定位を決定する。

この構成では、収音側の放収音装置は、自身での収音で得られる音声データに対して固有の識別データを添付して通信用データを生成し、ネットワーク網へ送信する。放音側の放収音装置は、ネットワークを介して受信した通信用データを解析し、識別データおよびこれに関連する音声データを取得する。放音側の放収音装置は、取得した識別データに基づいて関連する音声データの音像定位を決定する。すなわち、複数の通信用データを受信した場合に、それぞれ識別データと音声データとを取得し、識別データ毎に異なる位置に音像定位を設定する。そして、識別データ毎すなわち音源位置毎に、関連するそれぞれの音声データの放音を行う。これにより、音声データ毎に音像定位位置が決定されて、放音されるので、聞き取りやすくなる。

また、この発明の音声通信システムでは、話者識別データと、放収音装置に固有の装置識別ＩＤと、を少なくとも識別データに備えることを特徴としている。

この構成では、具体的に、識別データとして、話者識別データ例えば話者方位データと、装置毎に固有に設定される装置識別ＩＤとが設定される。これにより、装置毎に決まった音像定位が行われるので、装置毎の音声の聞き分けが可能になる。さらに、話者識別データに基づく音像定位を行うことで、話者単位での音声の聞き分けが可能になる。

また、この発明の音声通信システムでは、音像定位の優先性を示す優先度を、さらに識別データに備える。そして、放音側の放収音装置は、優先度が高いものを優先して音像定位させることを特徴としている。

この構成では、識別データに対して、優先度がさらに加えられる。放音側の放収音装置は、優先度が高いものから音像定位を決定するので、例えば、社長や専務、司会者等の収音音声に対して高い優先度を設定することで、これらの話者からの音声をより聞き分け易くすることができる。

また、この発明の音声通信システムでは、収音側の放収音装置は、収音制御手段により複数の話者を並列して検出するとともに、それぞれの話者の音声を個別に収音し、収音音声毎に複数の音声データを形成するとともに音声データ毎にチャンネルを設定して、設定したチャンネル数を識別データに含ませることを特徴としている。

この構成では、一つの装置に対して話者が複数存在するような場合に、話者毎の音声データを利用して話者毎の音像定位ができる。すなわち、一拠点内に複数の発言者（話者）がいても、これらの話者の音声を区別して聞き取ることができる。

また、この発明の音声通信システムは、複数の放収音装置間の通信用データの送受信を管理する管理サーバを備え、次に示す特徴を備える。この発明の管理サーバは、複数の収音側の放収音装置から通信用データを受け付けると、複数の通信用データを含み、且つ拠点数をサーバ用識別データとして加えたサーバ通信用データを生成して、ネットワーク網へ送信する。放音側の放収音装置は、サーバ用識別データおよび識別データに基づいて、自装置での収音音声を除く音声データの音像定位を決定する。

この構成では、音声通信システムに複数の放収音装置とは別の管理サーバを備える。管理サーバは、収音側の放収音装置のそれぞれからの通信用データを一括管理し、拠点数データをさらに添付してサーバ通信用データを生成し、各放収音装置へ送信する。放音を行う放収音装置は、受信したサーバ通信用データから拠点数データおよび他の識別データを取得し、複数の音声データをそれぞれ音像定位させる。これにより、管理サーバが存在するシステム環境であっても、前述の構成と同様に聞き取り易い放音が可能となる。さらに、拠点数データを付け加えることで、放音側の放収音装置が音像定位を設定する際に、自身の設定可能定位数との関係を比較しやすく、音像定位の設定判断が容易になる。

この発明によれば、放収音装置毎や話者毎に異なる音源を定位させることができるので、聴者にとって非常に聴き取り易い多地点間音声通信を実現することができる。

本発明の実施形態に係る音声通信システムについて、図を参照して説明する。なお、以下の説明では、音声通信システムとして、多地点会議システムを例に説明する。

図１は、本実施形態の多地点会議システムの構成を示す概念図である。なお、図１では、４拠点で会議を行う場合であり、拠点数、拠点に在席する会議者数は一例である。

本実施形態の多地点会議システムは、各拠点２０１Ａ〜２０１Ｄに設置された放収音装置１１Ａ〜１１Ｄがネットワーク２００で接続されてなる。拠点２０１Ａには放収音装置１１Ａが設置され、会議者３０１Ａ，３０２Ａが在席している。拠点２０１Ｂには放収音装置１１Ｂが配置され、会議者３０１Ｂ，３０２Ｂが在席している。拠点２０１Ｃには放収音装置１１Ｃが配置され、会議者３０１Ｃ，３０２Ｃが在席している。拠点２０１Ｄには放収音装置１１Ｄが配置され、会議者３０１Ｄが在席している
各拠点２０１Ａ〜２０１Ｄに設置されている放収音装置１１Ａ〜１１Ｄは、同じ構成からなり、話者方位を検出し、当該話者方位からの収音が可能であるとともに、複数位置に対して音像定位を行うことができる機能を有する。
図２は各放収音装置１１Ａ〜１１Ｄの主要構成を示すブロック図である。なお、放収音装置１１Ａ〜１１Ｄは、同じ構成、仕様であるので、放収音装置１１Ａを例に機能を説明する。
図３は多地点会議システムで用いられる通信用データすなわちフレームデータの構成を示す図であり、（Ａ）は１台の装置に対してチャンネル数が一つだけ割り当てられる場合を示し、（Ｂ）は１台の装置に対して複数のチャンネル数が割り当てられる場合を示す。

放収音装置１１Ａは、制御部１１１Ａ、通信制御部１１２Ａ、放音制御部１１３Ａ、収音制御部１１４Ａ、メモリ１１５Ａ、スピーカアレイＳＰＡ、マイクアレイＭＣＡを備える。なお、以下の説明では、説明を簡略化するために、まず話者方位情報が一つの場合、すなわち図３（Ａ）に示すような場合について機能説明する。

（収音時（話者方位情報が一つの場合））
収音制御部１１４Ａは、マイクアレイＭＣＡの各マイクＭＣでの収音で得られる個別収音信号に対して、所定パターンからなる遅延、振幅の制御を行うことで、それぞれに異なる複数の方位を主たる収音方位とする（言い換えれば異なる収音指向性パターンからなる）複数の収音ビーム信号を形成する。収音制御部１１４Ａは、各収音ビーム信号のレベルを検出して、予め設定した話者検出閾値レベルを超える収音ビーム信号を検出すると、当該収音ビーム信号を収音データとして取得する。また、収音制御部１１４Ａは、収音データとして取得した収音ビーム信号の方位を取得し、話者方位データとして制御部１１１Ａへ与える。

制御部１１１Ａは、放収音装置全体の制御を行うとともに、収音時制御として、収音制御部１１４Ａで生成される話者方位情報に基づいて、新たなメタデータ５１１を生成するか、メモリ１１５Ａに予め記憶されているメタデータ５１１を読み出す。メタデータ５１１は、話者方位情報に基づく話者識別データ、装置ＩＤ、および優先度データを含む。例えば、制御部１１１Ａは、話者方位情報が一つであれば、図３（Ａ）に示すようなメタデータ５１１を読み出すか生成して通信制御部１１２Ａに与える。ここで、メタデータ５１１が予め記憶されている場合とは、例えば、話者方位に高い優先度が設定されている場合や、装置自身に高い優先度が設定されている場合や、すでに一度メタデータを生成した方位である場合である。
通信制御部１１２Ａは、収音時制御（送信制御）として、収音制御部１１４Ａから与えられた所定の音声ファイル形式からなる収音データをネットワーク通信データ形式の音声データ５１０に変換し、当該音声データ５１０に、制御部１１１Ａから与えられたメタデータ５１１をヘッダ等として添付することで、フレームデータ５０１を生成する。通信制御部１１２Ａは、自装置の収音に基づくフレームデータ５０１を、ネットワーク２００で接続された他の放収音装置１１Ｂ〜１１Ｄの通信制御部１１２Ｂ〜１１２Ｄへ送信する。

この一連の収音時のフローを、図４を参照して説明する。
図４は、収音時の放収音装置の主要処理フローを示すフローチャートである。
放収音装置１１Ａは、電源がオン状態に制御されると初期状態となり、ネットワーク接続確認が行われるとともに、収音機能として発話検出待機状態となる。放収音装置１１Ａは、前述の話者検出閾値レベル以上の収音ビーム信号を検出すると、発話検出したと判断する（Ｓ１０１：Ｙ）。放収音装置１１Ａは、この発話検出の判断が行われない間は、発話検出待機状態を維持する（Ｓ１０１：Ｎ）。放収音装置１１Ａは、発話検出を判断すると、今回検出した話者方位情報を含むメタデータが既に記憶されているかどうかを検出し、既にメタデータが存在すれば（Ｓ１０２：Ｙ）、記憶されているメタデータを読み出す（Ｓ１０３）。これは、例えば、自装置の所定方位に司会者が在席し、当該司会者に高い優先度が与えられているような場合で、司会者の方位が予め記憶され、当該記憶された方位に対する話者識別データと、優先度データと、装置識別ＩＤとからなるメタデータが予め設定、記憶されているような場合に適用される。すなわち、放収音装置１１Ａは、司会者の方位に対して話者検出を判断すると、当該司会者に応じて予め設定、記憶されたメタデータを詠み出し、音声データに添付する。また、当該放収音装置１１Ａが例えば本社の役員室等の拠点として優先度が高い場所であった場合でも、同様に、予め高い優先度と、装置識別ＩＤとからなるメタデータが設定されており、当該放収音装置１１Ａは、常時高い優先度の優先度データを有するメタデータを読み出して音声データに添付する。なお、特に優先度が設定されていないような場合であっても、以前に話者方位情報に基づくメタデータが形成されていれば、同じ話者方位情報に対して同じメタデータが添付される。

一方、放収音装置１１Ａは、取得した話者方位情報が、予め設定されたメタデータに含まれているものではなく、新たに検出されたものであれば（Ｓ１０２：Ｎ）、新規にメタデータを生成するとともに、メモリ１１５Ａに記憶する（Ｓ１０４）。

放収音装置１１Ａは、収音ビーム信号の取得を開始すると、順次音声データに変換し、音声データにメタデータを添付することでフレームデータを形成し、他の放収音装置へ送信する（Ｓ１０５→Ｓ１０６）。この処理は、発話検出が終了するまで継続して行われる（Ｓ１０７：Ｎ→Ｓ１０６）。放収音装置１１Ａは、発話終了が検出されると、フレームデータの生成および送信を停止する（Ｓ１０７：Ｙ→Ｓ１０８）。なお、ここで、発話終了の検出は、例えば、話者検出閾値レベルに達する収音ビーム信号が検出されない時間が予め設定した時間長に亘り継続した時点等で行う。

なお、前述の説明では、メタデータを生成する機能を有する放収音装置を例に説明したが、メタデータを生成する機能を有さない放収音装置の場合には、単に音声データのみからフレームデータを形成する。

（放音時（受信したフレームデータ５０２の話者方位情報が一つの場合））
通信制御部１１２Ａは、放音時制御（受信制御）として、他の放収音装置１１Ｂ〜１１Ｄから受信したフレームデータ５０１を解析して、メタデータ５１１と音声データ５１０とに分離し、メタデータ５１１を制御部１１１Ａへ与え、ネットワーク通信データ形式の音声データ５１０を所定の音声ファイル形式からなる放音データへ変換して放音制御部１１３Ａへ与える。この際、音声データ群５２０は、複数の音声データからなるので、通信制御部１１２Ａは、音声データ群５２０の各音声データを個別に放音データへ変換する。

制御部１１１Ａは、放収音装置全体の制御を行うとともに、放音時制御として、通信制御部１１２Ａを介して、ネットワーク２００で接続された他の放収音装置１１Ｂ〜１１Ｄからメタデータ５１１を取得すると、当該メタデータ５１１を解析して、音像定位の設定等を含む放音制御データを生成して、放音制御部１１３Ａへ与える。なお、メタデータが存在しない場合には、送信元のＩＰアドレス等を判断材料として、新規に装置識別ＩＤを割り当てるとともに、高くない優先度を有するようにメタデータを新規設定する。制御部１１１Ａは、新規設定したメタデータをメモリ１１５Ａに記憶するとともに、放音制御データの生成要素として用いる。

放音制御部１１３Ａは、制御部１１１Ａからの放音制御データに基づいて、通信制御部１１２Ａからの放音データに対して、分離、遅延、振幅制御等の信号処理を行う。すなわち、放音制御部１１３Ａは、放音制御データで設定される複数の音像位置や放音ボリューム等を実現するように、スピーカアレイＳＰＡの各スピーカＳＰへ与えるスピーカ駆動信号を生成する。スピーカアレイＳＰＡの各スピーカＳＰは、個々に与えられたスピーカ駆動信号に基づいて放音する。

この一連の放音時のフローを、図５を参照して説明する。
図５は放音時の放収音装置の主要処理フローを示すフローチャートである。
放収音装置１１Ａは、電源がオン状態に制御されると初期状態となり、ネットワーク接続確認が行われるとともに、放音機能としてフレームデータの受信待機状態となる。放収音装置１１Ａは、ネットワークを介してフレームデータを受信すると、フレームデータの解析を行い、メタデータの検出、及び、音声データから放音データへの変換処理を行う（Ｓ２０１：Ｙ）。一方、放収音装置１１Ａは、フレームデータが検出されなければ、受信待機状態を維持する（Ｓ２０１：Ｎ）。

放収音装置１１Ａは、フレームデータの解析を行い、メタデータを検出すれば（Ｓ２０２：Ｙ）、当該メタデータが、予め記憶されているかどうかを確認する（Ｓ２０３）。放収音装置１１Ａは、メタデータを検出できなければ（Ｓ２０２：Ｎ）、装置識別ＩＤと高くない優先度とが設定された新規メタデータを生成して、記憶する（Ｓ２１１）。

放収音装置１１Ａは、検出したメタデータが予め設定、記憶されているものであれば、放音環境設定の更新を行わない（Ｓ２０３：Ｎ）。一方、放収音装置１１Ａは、検出したメタデータが予め設定、記憶されたものでないか、放収音装置１１Ａで新規に作成したものであれば（Ｓ２０３：Ｙ）、放音制御データに設定する放音環境設定の更新を行う（Ｓ２１２）。ここで、放音環境設定とは、例えば、異なる外部の放収音装置から受信して得られた複数の放音データが存在する場合に、各放音データの音像定位位置や音量を決定した内容を備えるものである。これにより、放収音装置１１Ａは、新規のメタデータが検出されれば、その時点までに設定されていた放音環境を、新規のメタデータの優先度や装置識別ＩＤ等を参照して、新たな放音環境へ再構築する。

放収音装置１１Ａは、放音制御データ（放音環境設定）を決定すると、放音を開始する（Ｓ２０４）。放収音装置１１Ａは、放音開始とともに放音制御を行い、異なる複数位置に音像定位を行う等して、設定した放音環境を実現する（Ｓ２０５）。放収音装置１１Ａは、フレームデータの受信、放音データの生成が終了したことで放音の終了を検知するまで放音制御を継続し（Ｓ２０６：Ｎ→Ｓ２０５）、放音終了を検知すれば（Ｓ２０６：Ｙ）、放音制御等を終了する（Ｓ２０７）。

なお、収音側の放収音装置で、複数の話者を識別した場合には、以下に示す処理を行う。

（収音時（話者方位情報が複数の場合））
収音制御部１１４Ａは、話者検出閾値レベルを超える収音ビーム信号を複数検出すると、各収音ビーム信号を個別の収音データとして取得し、対応する方位も個別に取得する。

制御部１１１Ａは、収音制御部１１４Ａから話者方位情報を複数取得すると、それぞれの話者方位に対して話者識別データを生成し、話者識別データ数に対応するチャンネル数データを生成する。そして、制御部１１１Ａは、図３（Ｂ）に示すようなメタデータ５２１を生成する。また、制御部１１１Ａは、話者識別データ毎に優先度データを含むメタデータ５２０１Ａ〜５２０１Ｎを読み出すか生成して、通信制御部１１２Ａに与える。
通信制御部１１２Ａは、収音制御部１１４Ａから与えられた複数の収音データをそれぞれ個別ファイルとしてネットワーク通信データ形式に変換する。通信制御部１１２Ａは、変換された各音声データ５２００Ａ〜５２００Ｎを生成し、制御部１１１Ａから与えられたメタデータ５２０１Ａ〜５２０１Ｎをヘッダ等として添付することで、要素データ５２０Ａ〜５２０Ｎを生成する。この際、各メタデータ５２０１Ａ〜５２０１Ｎと各音声データ５２００Ａ〜５２００Ｎとは関連付けされた状態で、要素データ５２０Ａ〜５２０Ｎは生成される。通信制御部１１２Ａは、要素データ５２０Ａ〜５２０Ｎに、さらに装置識別ＩＤおよびチャンネル数データを含むメタデータ５２１を添付することで、フレームデータ５０２を生成し、ネットワーク２００で接続された他の放収音装置１１Ｂ〜１１Ｄの通信制御部１１２Ｂ〜１１２Ｄへ送信する。

（放音時（受信した各フレームデータ５０２の話者方位情報が複数の場合））
通信制御部１１２Ａは、放音時制御（受信制御）として、他の放収音装置１１Ｂ〜１１Ｄから受信したフレームデータ５０２を解析して、メタデータ５２１と要素データ５２０Ａ〜５２０Ｎとを分離する。さらに、通信制御部１１２Ａは、それぞれの要素データ５２０Ａ〜５２０Ｎをメタデータ５２０１Ａ〜５２０１Ｎと音声データ５２００Ａ〜５２００Ｎとに分離する。そして、通信制御部１１２Ａは、メタデータ５２１、５２０１Ａ〜５２０１Ｎを制御部１１１Ａへ与え、ネットワーク通信データ形式の音声データ５２００Ａ〜５２００Ｎを所定の音声ファイル形式からなる放音データへ変換して放音制御部１１３Ａへ与える。

制御部１１１Ａは、放収音装置全体の制御を行うとともに、放音時制御として、通信制御部１１２Ａを介して、各放収音装置１１Ｂ〜１１Ｄからメタデータ５２１、５２０１Ａ〜５２０１Ｎを取得すると、当該メタデータ５２１、５２０１Ａ〜５２０１Ｎを解析して、音像定位の設定等を含む放音制御データを生成して、放音制御部１１３Ａへ与える。なお、メタデータが存在しない場合には、送信元のＩＰアドレス等を判断材料として、新規に装置識別ＩＤを割り当てるとともに、高くない優先度を有するようにメタデータを新規設定する。制御部１１１Ａは、新規設定したメタデータをメモリ１１５Ａに記憶するとともに、放音制御データの生成要素として用いる。

放音制御部１１３Ａは、制御部１１１Ａからの放音制御データに基づいて、通信制御部１１２Ａからの放音データに対して、分離、遅延、振幅制御等の信号処理を行う。すなわち、放音制御部１１３Ａは、放音制御データで設定される複数の音像位置や放音ボリューム等を実現するように、スピーカアレイＳＰＡの各スピーカＳＰへ与えるスピーカ駆動信号を生成する。スピーカアレイＳＰＡの各スピーカＳＰは、個々に与えられたスピーカ駆動信号に基づいて放音する。

次に、具体的な実施例に基づいて、放音環境の設定および実施状態を、図６〜図９を参照して説明する。なお、図６〜図９の図において、話者３０１Ａが社長、話者３０２Ａが専務、話者３０１Ｄが司会者、話者３０１Ｂ，３０２Ｂは一般の社員等である場合を示し、話者３０１Ａ，３０２Ａ，３０１Ｄには高い優先度が設定されているものとする。そして、拠点２０１Ａ，２０１Ｂ，２０１Ｄで収音した音声を拠点２０１Ｃで放音する場合を例に説明する。

図６は、会議開始後で、話者３０１Ａ，３０２Ａ，３０１Ｂ，３０１Ｄが発言中の状態を示す図である。なお、発言中とは、一旦発言を行った後に一時的に発言をストップしている状態をも含む。

（収音側の各放収音装置の処理）
拠点２０１Ａの放収音装置１１Ａは、社長である話者３０１Ａの発言と、専務である話者３０２Ａの発言とを収音し、個別の収音データを生成する。放収音装置１１Ａは、話者３０１Ａの収音データと話者３０２Ａの収音データとを区別した状態で取得するとともに、前述の話者方位検出機能により、話者３０１Ａと話者３０２Ａとの話者方位を取得する。放収音装置１１Ａは、話者３０１Ａに対応するメタデータと、話者３０２Ａに対応するメタデータとを読み出す。ここで、話者３０１Ａに対応するメタデータは、話者方位に基づいて得られる予め設定された話者識別データ（この場合、社長識別データ）と、当該話者方位に対して予め優先度高で設定された優先度データとを備える。話者３０２Ａに対応するメタデータは、話者方位に基づいて得られる予め設定された話者識別データ（この場合、専務識別データ）と、当該話者方位に対して予め優先度高で設定された優先度データとを備える。
放収音装置１１Ａは、さらに、装置識別ＩＤと、２チャンネルを示すチャンネル数データとを生成する。放収音装置１１Ａは、図３（Ｂ）に示すような、話者３０１Ａ，３０２Ａ毎のメタデータと音声データとからなる要素データと、装置識別ＩＤとチャンネル数データとを含むメタデータと、からフレームデータを形成し、ネットワーク２００に接続する各放収音装置へ送信する。なお、本例では、放収音装置１１Ａは、優先度の高い会議者のみが在席するので、装置識別ＩＤに対応する優先度高の優先度データをメタデータに含むようにしても良い。

拠点２０１Ｂの放収音装置１１Ｂは、一般会議者である話者３０１Ｂの発言を収音し、収音データを生成するとともに、話者３０１Ｂの話者方位を取得する。放収音装置１１Ｂは、話者３０１Ｂに対応するメタデータを読み出すか新規に作成する。ここで、話者３０１Ｂに対応するメタデータは、話者方位に基づいて得られる話者識別データと、当該話者方位に対して予め優先度中または優先度低で設定された優先度データとを備える。
放収音装置１１Ｂは、さらに、装置識別ＩＤを生成しメタデータに加えることで、図３（Ａ）に示すような、装置識別ＩＤ、優先度中または優先度低の優先度データ、話者識別データからなるメタデータと音声データとからなるフレームデータを形成し、ネットワーク２００に接続する各放収音装置へ送信する。

拠点２０１Ｄの放収音装置１１Ｄは、司会者である話者３０１Ｄの発言を収音して収音データを生成するとともに、話者３０１Ｄの話者方位を取得する。放収音装置１１Ｄは、話者３０１Ｄに対応するメタデータを読み出す。ここで、話者３０１Ｄに対応するメタデータは、話者方位に基づいて得られる予め設定された話者識別データ（この場合、司会者識別データ）と、当該話者方位に対して予め優先度高で設定された優先度データとを備える。
放収音装置１１Ｄは、さらに、装置識別ＩＤを生成しメタデータに加えることで、図３（Ａ）に示すような、装置識別ＩＤ、優先度高の優先度データ、話者識別データからなるメタデータと音声データとからなるフレームデータを形成し、ネットワーク２００に接続する各放収音装置へ送信する。

（放音側の放収音装置の処理）
拠点２０１Ｃの放収音装置１１Ｃは、ネットワーク２００を介して、放収音装置１１Ａ，１１Ｂ，１１Ｄからフレームデータを受信すると、それぞれのデータを解析して、装置識別ＩＤ、話者識別情報、各話者識別データに対応する優先度データを取得する。放収音装置１１Ｃは、優先度高の優先度データを検出すると、対応する話者識別データを取得し、優先度データと話者識別データとに基づいて、予め設定した放音環境データから優先度高の特定話者に対する音像定位位置を設定する。例えば、図６であれば、放収音装置１１Ｃは、優先度高である話者３０１Ａ（社長）に対して、装置筐体の長尺方向の中心付近に音像を定位させる。また、放収音装置１１Ｃは、優先度高である話者３０２Ａ（専務）に対して、話者３０１Ａから所定距離だけ操作パネルと反対側（図に向かって左側）に離れた位置に音像を定位させる。さらに、放収音装置１１Ｃは、優先度高である話者３０１Ｄに対して、話者３０１Ａから所定距離だけ操作パネル側に離れた位置に音像を定位させる。これらの音像定位は、話者３０１Ａ，３０２Ａ，３０１Ｄが会議から退席するまで維持される。なお、退席が確認できた場合には、設定した音像位置を開放し、他の話者に割り当てるようにしてもよい。
放収音装置１１Ｃは優先度高の話者３０１Ａ，３０２Ａ，３０１Ｄに対する音像定位を設定すると、次に、優先度中または優先度低の話者３０１Ｂ（拠点２０１Ｂ）に対する音像定位を行う。例えば、図６の例であれば、優先度高の話者に対して設定された音像定位以外の音像定位位置から選択して、筐体の操作パネル側の端部付近に音像を定位させる。

放収音装置１１Ｃは、このように話者毎または拠点毎に音像定位を設定してなる放音環境を設定する。そして、放収音装置１１Ｃは、当該放音環境に準じて放音制御を行う。これにより、拠点２０１Ｃに在席する会議者３０１Ｃ，３０２Ｃには、話者３０１Ａ，３０２Ａ，３０１Ｄ、および話者３０１Ｂ（拠点２０１Ｂ）の発言がそれぞれ異なる位置から聞こえるようにすることができる。この結果、会議者にとって話者を識別しやすく聞き取り易い会議を提供することができる。

なお、上述の説明では、優先度高の話者が最初から発言をしている場合を例に示したが、優先度高の話者が途中から加わることもある。このような場合、放収音装置１１Ｃは、優先度高の話者が加わった時点に放音環境の設定更新を行う。具体的には、放収音装置１１Ｃは、優先度高の話者の音源定位を優先的に行い、当該優先度高の話者の位置で放音していた優先度中または低の話者の放音位置を移動させる。これにより、優先度高の話者の発言は、最初からであれ途中からであれ、決まった位置から放音されるので、優先度高の話者の発言を聞き取り易くなる。

次に、図６に示す状態から、図７に示すような拠点２０１Ｅが増加した場合の処理について説明する。
図７は、図６の状態に加えて、拠点２０１Ｅの３０１Ｅが発言した状態を示す図である。
（追加の収音側の放収音装置の処理）
拠点２０１Ｅの放収音装置１１Ｅは、一般会議者である話者３０１Ｅの発言を収音し、収音データを生成するとともに、話者３０１Ｅの話者方位を取得する。放収音装置１１Ｅは、話者３０１Ｅに対応するメタデータを読み出すか新規に作成する。ここで、話者３０１Ｅに対応するメタデータは、話者方位に基づいて得られる話者識別データと、当該話者方位に対して予め優先度中または優先度低で設定された優先度データとを備える。
放収音装置１１Ｅは、さらに、装置識別ＩＤを生成しメタデータに加えることで、図３（Ａ）に示すような、装置識別ＩＤ、優先度中または優先度低の優先度データ、話者識別データからなるメタデータと音声データとからなるフレームデータを形成し、ネットワーク２００に接続する各放収音装置へ送信する。

（放音側の放収音装置の処理）
拠点２０１Ｃの放収音装置１１Ｃは、すでに、話者３０１Ａ，３０２Ａ，３０１Ｄ、および話者３０１Ｂ（拠点２０１Ｂ）に対する音像定位が行われた状態で、新たに放収音装置１１Ｅからフレームデータを受信すると、放音環境の設定を更新する。具体的には、放収音装置１１Ｃは、フレームデータを解析し、話者３０１Ｅ（拠点２０１Ｅ）の優先度が中または低であることを検出すると音像定位の設定位置の空き状況を確認する。放収音装置１１Ｃは、空きを検出すると、当該空きである位置に音像を定位させる。例えば、図７の例であれば、空きの位置である筐体の操作パネルと反対側の端部付近に、話者３０１Ｅ（拠点２０１Ｅ）の音像を定位させる。

放収音装置１１Ｃは、このように話者毎または拠点毎に音像定位を設定してなる放音環境を更新設定する。そして、放収音装置１１Ｃは、当該更新設定した放音環境に準じて放音制御を行う。これにより、拠点２０１Ｃに在席する会議者３０１Ｃ，３０２Ｃには、話者３０１Ａ，３０２Ａ，３０１Ｄや、話者３０１Ｂ（拠点２０１Ｂ）、話者３０１Ｅ（拠点２０１Ｅ）の発言がそれぞれ異なる位置から聞こえるようにすることができる。

なお、空きの音像定位位置が無い場合には、放収音装置１１Ｃは、同じ優先度中または優先度低からなる話者３０１Ｂ（拠点２０１Ｂ）と同じ位置に音像を定位させる。すなわち、放収音装置１１Ｃは、話者３０１Ｂ（拠点２０１Ｂ）の放音データと話者３０１Ｅ（拠点２０１Ｅ）とをミキシングして、元々話者３０１Ｂ（拠点２０１Ｂ）の音源定位位置であった筐体の操作パネル側の端部付近に音像定位を設定する。これにより、取得した放音データ数が音像定位数よりも多くても、放音を行うことができるとともに、優先度の高い話者の音声については、優先的に独立した放音を行うことができる。この結果、司会者や社長、専務のような優先的に発言すべき人の声を、他の会議者の声よりも明確且つ簡単に聞き分けることができ、より聞き取り易い会議を提供することができる。なお、図７に対する上述の説明では、図６の状態から図７の状態に遷移した場合を例にしたが、会議開始当初から図７のような状態になっても、図６の場合と同様に放音環境を設定することができる。

次に、図７の状態から、さらに、図８に示すように拠点２０１Ｂの話者３０２Ｂが発言した場合の処理について説明する。
図８は、図７の状態に加えて拠点２０１Ｂの話者３０２Ｂが発言した状態を示す図である。
（収音側の放収音装置の処理）
拠点２０１Ｂの放収音装置１１Ｂは、新たに話者３０２Ｂが発言すると、当該話者３０２Ｂの音声を収音するとともに、話者３０２Ｂに対する話者方位を検出する。

放収音装置１１Ｂは、話者３０２Ｂに対応するメタデータを読み出すか生成する。ここで、話者３０２Ｂに対応するメタデータは、話者方位に基づいて得られる予め設定された話者識別データと、当該話者方位に対して予め優先度中または低で設定された優先度データとを備える。
放収音装置１１Ｂは、さらに、装置識別ＩＤと、２チャンネルを示すチャンネル数データとを生成する。放収音装置１１Ｂは、図３（Ｂ）に示すような、話者３０１Ｂ，３０２Ｂ毎のメタデータと音声データとからなる要素データと、装置識別ＩＤとチャンネル数データとを含むメタデータと、からフレームデータを形成し、ネットワーク２００に接続する各放収音装置へ送信する。

（放音側の放収音装置の処理）
拠点２０１Ｃの放収音装置１１Ｃは、すでに、話者３０１Ａ，３０２Ａ，３０１Ｄ、話者３０１Ｂ（拠点２０１Ｂ）、３０１Ｅ（拠点２０１Ｅ）に対する音像定位が行われた状態で、放収音装置１１Ｂから複数チャンネルを有するフレームデータを受信すると、放音環境の設定を更新する。具体的には、放収音装置１１Ｃは、更新された放収音装置１１Ｂからのフレームデータを解析し、話者３０２Ｂの優先度が中または低であることを検出すると音像定位の設定位置の空き状況を確認する。放収音装置１１Ｃは、空きが無いことを検出すると、同じ装置識別ＩＤである話者３０１Ｂと同じ位置に音像定位させる。例えば、図８の例であれば、話者３０１Ｂの音像定位位置である筐体の操作パネル側の端部付近に、拠点２０１Ｂの音声として音像を定位させる。

放収音装置１１Ｃは、このように話者毎または拠点毎に音像定位を設定してなる放音環境を更新設定する。そして、放収音装置１１Ｃは、当該更新設定した放音環境に準じて放音制御を行う。これにより、拠点２０１Ｃに在席する会議者３０１Ｃ，３０２Ｃには、話者３０１Ａ，３０２Ａ，３０１Ｄや、拠点２０１Ｂ（話者３０１Ｂ＋話者３０２Ｂ）、話者３０１Ｅ（拠点２０１Ｅ）の発言がそれぞれ異なる位置から聞こえるようにすることができる。これにより、取得した放音データ数（発言中の話者数）が音像定位数よりも多くても、放音を行うことができるとともに、優先度の高い話者の音声については、優先的に独立した放音を行うことができる。さらに、優先度が高くない話者に対しては、同じ拠点に在席する話者の音声をミキシングで聞くことができる。これにより、拠点毎等でも識別でき、聞き取り易い会議を提供することができる。

なお、図８に対する上述の説明では、図７の状態から図８の状態に遷移した場合を例にしたが、会議開始当初から図８のような状態になっても、拠点単位での音源定位等を用いることで、図６の場合と同様に放音環境を設定することができる。

ところで、前述の各説明では、すべて同じ放収音装置を用いた場合を例に説明したが、図９に示すように、拠点毎に放収音装置が異なるような場合でも、上述の構成を利用することができる。この場合、話者検出ができない放収音装置や、音源定位ができない放収音装置を用いてもよい。

図９は本実施形態の他の多地点会議システムの構成を示す概念図である。
図９に示す会議では、図１に示した会議に対して、さらに、拠点２０１Ｆ、２０１Ｇが加わったものである。
拠点２０１Ｆには、放収音装置１２Ｆが設置されるとともに、放収音装置１２Ｆの周囲に話者３０１Ｆ，３０２Ｆが在席している。放収音装置１２Ｆは、円周上に複数のスピーカが配置されたスピーカアレイと、円周上に複数のマイクが配置されたマイクアレイとを備え、音像定位数が少ないものの、複数の音像定位および話者検出が可能な構成からなる。このような放収音装置１２Ｆを用いる場合、上述のように音像定位数に達するまでは優先度の高い順に音像定位を設定し、話者数が音像定位数を超える場合には優先度の低いものから順にミキシングして放音する。これにより、上述の構成を利用することができる。

拠点２０１Ｇには、ネットワーク通信用のパソコン１３Ｇ、ヘッドホン音声変換器１４Ｇが設置され、話者３０１Ｇはヘッドホン１５Ｇを装着している。このような場合、ヘッドホン音声変換器１４Ｇの仕様により、ヘッドホン１５Ｇから疑似サラウンドを放音することが可能であり、疑似サラウンドを用いる場合には、上述の音像定位を疑似サラウンドに置き換えて放音制御を行えばよい。また、ステレオ放音を行う場合には、優先度を参照しながら取得した放音データを適宜ミキシングし、２チャンネルからなるステレオ放音を実現すればよい。一方、収音は話者がヘッドホン装着者と決まっているので話者検出を行わず話者識別データを生成しなくてもよい。この場合、パソコン１３Ｇから送信されるフレームデータは、図１０に示すようになる。
図１０は話者識別データの無いフレームデータ５０３の構成を示す図である。
このように、話者識別データが無い場合、装置識別ＩＤと優先度データとからなるメタデータ５３１と、音声データ５３０とからフレームデータ５０３が構成される。

ネットワーク２００にて、パソコン１３Ｇに接続する各放収音装置１１Ａ〜１１Ｄ、１２Ｆは、フレームデータを解析する際に、メタデータに話者識別データが無いことを確認すると、装置識別ＩＤと一意的に対応すると判断し、上述の放音環境の設定に利用する。

このように、各種の放収音装置が混在するような構成であっても、各話者（会議者）にとって聞き取り易い会議を提供することができる。

また、前述の説明では、サーバレスのシステムを例に説明したが、図１１に示すようなサーバ２１０を有するシステムであっても、前述の構成を利用することができる。
図１１はサーバ２１０を有する多地点会議システムの構成を示す概念図である。また、図１２はサーバ用フレームデータ５０５の構成を示す図である。
図１１に示す例は、図１に示した会議システムにおいて、サーバ２１０が存在する場合を示す。このような会議システムでは、各放収音装置１１Ａ〜１１Ｄのフレームデータは、サーバ２１０へ送信される。サーバ２１０は、受信した各フレームデータを一つのサーバ用フレームデータ５０５にまとめ、当該サーバ用フレームデータ５０５のメタデータとして拠点数データを添付する。拠点数データは、受信したフレームデータ数を計測することで得られる。サーバ２１０は、サーバ用フレームデータ５０５を生成すると、各放収音装置１１Ａ〜１１Ｄへ送信する。

各放収音装置１１Ａ〜１１Ｄは、サーバ用フレームデータ５０５を受信すると、解析を行い、自装置からのフレームデータを除外して音像定位の設定を行う。この際、拠点数データは、少なくとも拠点単位での音像定位が可能かどうか等に用いることができる。このような構成であっても、上述の構成および処理を利用して各話者（会議者）が聞き取り易い会議を提供することができる。

本発明の実施形態の多地点会議システムの構成を示す概念図である。 各放収音装置１１Ａ〜１１Ｄの主要構成を示すブロック図である。 多地点会議システムで用いられる通信用データすなわちフレームデータの構成を示す図である。 収音時の放収音装置の主要処理フローを示すフローチャートである。 放音時の放収音装置の主要処理フローを示すフローチャートである。 会議開始後で、話者３０１Ａ，３０２Ａ，３０１Ｂ，３０１Ｄが発言中の状態を示す図である。 図６の状態に加えて拠点２０１Ｅの３０１Ｅが発言した状態を示す図である。 図７の状態に加えて拠点２０１Ｂの話者３０２Ｂが発言した状態を示す図である。 本発明の実施形態の他の多地点会議システムの構成を示す概念図である。 話者識別データの無いフレームデータ５０３の構成を示す図である。 サーバ２１０を有する多地点会議システムの構成を示す概念図である。 サーバ用フレームデータ５０５の構成を示す図である。

符号の説明

２００−ネットワーク、２０１Ａ〜２０１Ｇ−拠点、３０１Ａ，３０２Ａ，３０１Ｂ，３０２Ｂ，３０１Ｃ，３０２Ｃ，３０１Ｄ，３０１Ｅ，３０１Ｆ，３０２Ｆ，３０１Ｇ−話者（会議者）、
１１Ａ〜１１Ｅ−放収音装置、１１１Ａ〜１１１Ｄ−制御部、１１２Ａ〜１１２Ｄ−通信制御部、１１３Ａ〜１１３Ｄ−放音制御部、１１４Ａ〜１１４Ｄ−収音制御部、１１５Ａ〜１１５Ｄ−メモリ、ＳＰＡ−スピーカアレイ、ＳＰ−スピーカ、ＭＣＡ−マイクアレイ、ＭＣ−マイク、
１２Ｆ−放収音装置、１３Ｇ−パソコン、１４Ｇ−ヘッドホン音声変換器、１５Ｇ−ヘッドホン、
５０１，５０２，５０３，５０４Ａ〜５０４Ｎ−フレームデータ、５０５−サーバ用フレームデータ、５１１，５２１，５２０１Ａ〜５２０１Ｎ，５３１−メタデータ、５１０，５２００Ａ〜５２００Ｎ，５３０−音声データ

Claims (5)

1. 複数の音像定位を行う放音制御手段と、話者を検出するとともに話者方位からの音声を収音する収音制御手段との少なくともいずれか一方を備えた放収音装置と、
   該放収音装置を含む複数の放収音装置を接続するネットワーク網と、
   を備えた音声通信システムであって、
   収音側の放収音装置は、前記収音制御手段を備え、収音音声に基づく音声データと、該音声データを識別させる識別データとを生成して、前記収音音声に基づく音声データと前記識別データとを含む通信用データを生成してネットワーク網へ送信し、
   放音側の放収音装置は、前記放音制御手段を備え、前記ネットワーク網を介して受信した通信用データから前記識別データを取得して、該識別データに基づいて、関連する音声データの音像定位を決定する、
   音声通信システム。
2. 前記識別データは、話者識別データと、放収音装置に固有の装置識別ＩＤと、を、少なくとも備える、
   請求項１に記載の音声通信システム。
3. 前記識別データは、音像定位の優先性を示す優先度を、さらに備え、
   放音側の放収音装置は、前記優先度が高いものを優先して音像定位させる、
   請求項２に記載の音声通信システム。
4. 前記収音側の放収音装置は、収音制御手段により複数の話者を並列して検出するとともに、それぞれの話者の音声を個別に収音し、収音音声毎に複数の音声データを形成するとともに音声データ毎にチャンネルを設定して、設定したチャンネル数を前記識別データに含ませる、
   請求項１〜３のいずれかに記載の音声通信システム。
5. 前記音声通信システムは、複数の放収音装置間の前記通信用データの送受信を管理する管理サーバを備え、
   該管理サーバは、複数の収音側の放収音装置から前記通信用データを受け付けると、複数の通信用データを含み、且つ拠点数を前記サーバ用識別データとして加えたサーバ通信用データを生成して、ネットワーク網へ送信し、
   放音側の放収音装置は、前記サーバ用識別データおよび識別データに基づいて、自装置での収音音声を除く音声データの音像定位を決定する、
   請求項１〜４のいずれかに記載の音声通信システム。

Images