JP2006237841A - 音声会議システム及び話者特定用処理装置 - Google Patents

Abstract

【課題】 各地点に一人ずつ居て行う音声会議でも、話者を特定させ易い音声会議システムを提供する。
【解決手段】 本発明の音声会議システムは、Ｎ−１人の会議参加者に係るモノラル音声信号をそれぞれ、ステレオ音声信号に変換するモノラル／ステレオ変換手段と、モノラル／ステレオ変換手段からのＮ−１個のステレオ音声信号を合成し、残り１人の会議参加者への合成ステレオ音声信号とするミキシング手段とを有することを特徴とする。ステレオ音声信号への変換パラメータをＮ−１人の会議参加者によって変更しておくことにより、会議参加者によって発音元の方向性を変えることができる。
【選択図】 図１

Description

本発明は音声会議システム及び話者特定用処理装置に関し、例えば、複数の地点に一人ずつ居て行う音声会議に適用し得るものである。

パソコンやワークステーションのマルチメディア化が進み、また、これらを相互に接続するマルチメディアネットワークの導入も進んでいる。そのため、パソコンやワークステーションを用いた会議システムも検討されている（非特許文献１参照）。このような複数の地点に一人ずつ居て行う会議における音声処理（音声会議）には、例えば、パソコンやワークステーション上のソフトフォンが利用される。
若原俊彦著、「マルチグループ通信システムの構成法の提案と評価」、電子情報通信学会論文誌Ｂ Ｖｏｌ．ＪＢ２−Ｂ Ｎｏ．１ ｐｐ．３１−４２ １９９９年１月

しかし、上述した方法では、ある聴取者から見ると、自分以外の他の者は全て別の場所におり、しかも、他の者の声は全て同一条件でミキシングされるため、話者の特定（誰がしゃべっているか）が困難になることもあり得るという問題があった。

そのため、各地点に一人ずつ居て行う音声会議でも、話者を特定させ易い音声会議システムや、このようなシステムに好適な話者特定用処理装置が望まれている。

かかる課題を解決するため、第１の本発明は、Ｎ（Ｎは２以上の整数）地点に一人ずつ居る会議参加者に音声会議サービスを提供する音声会議システムにおいて、Ｎ−１人の上記会議参加者に係るモノラル音声信号をそれぞれ、ステレオ音声信号に変換するモノラル／ステレオ変換手段と、上記モノラル／ステレオ変換手段からのＮ−１個のステレオ音声信号を合成し、残り１人の上記会議参加者への合成ステレオ音声信号とするミキシング手段とを有することを特徴とする。

また、第２の本発明は、Ｎ（Ｎは２以上の整数）地点に一人ずつ会議参加者が居る音声会議で、話者を特定させる処理を行う話者特定用処理装置であって、Ｎ−１人の上記会議参加者に係るモノラル音声信号をそれぞれ、ステレオ音声信号に変換するモノラル／ステレオ変換手段と、上記モノラル／ステレオ変換手段からのＮ−１個のステレオ音声信号を合成し、残り１人の上記会議参加者への合成ステレオ音声信号とするミキシング手段と を有することを特徴とする。

本発明の音声会議システム及び話者特定用処理装置によれば、各地点に一人ずつ居て行う音声会議でも、話者を特定させることができるようになる。

（Ａ）第１の実施形態
以下、本発明による音声会議システム及び話者特定用処理装置を多地点各一人用の音声会議システムに適用した第１の実施形態を、図面を参照しながら説明する。

図１は、第１の実施形態の音声会議装置の機能的構成を示すブロック図である。図１に示す音声会議装置１０Ａが会議参加者１−０、１−１、…、１−Ｎ毎に設けられて、音声会議システムが構築される。なお、図１は、会議参加者１−０用の音声会議装置１０Ａ（１０Ａ−０）を示している。

図１において、第１の実施形態の音声会議装置１０Ａは、機能的には、モノラルマイクロフォン１１、ステレオヘッドフォン１２及び話者特定用処理部（定位ミキシング部）１３Ａを有する。話者特定用処理部１３Ａは、例えば、パソコンやワークステーションに組み込まれているソフトウェアによって実現され、機能的には、他の会議参加者対応の定位処理部１４−１〜１４−Ｎと、ステレオミキシング部１５とを有する。

モノラルマイクロフォン１１は、当該音声会議システム１０Ａに係る会議参加者１−０の音声を捕捉してモノラル音声信号（送話信号）Ｓ０を出力するものである。図１では、送信構成を省略しているが、このモノラル音声信号Ｓ０が、他の会議参加者１−１〜１−Ｎの全てに同報送信されるようになされている。

また、図１では受信構成を省略しているが、当該音声会議装置１０Ａには、他の会議参加者１−１〜１−Ｎの発音に係るモノラル音声信号（受話信号）Ｓ１〜ＳＮが与えられ、各モノラル音声信号Ｓ１〜ＳＮはそれぞれ、対応する定位処理部１４−１〜１４−Ｎに入力されるようになされている。なお、当該音声会議装置１０Ａと、他の会議参加者用の音声会議装置との間の通信方法や通信システムは限定されない。例えば、ＶｏＩＰを用いたＩＰネットワーク通信システムを利用することができる。

各定位処理部１４−１〜１４−Ｎはそれぞれ、対応する受信モノラル音声信号Ｓ１〜ＳＮに対し、ＨＲＴＦを用いた既存の定位処理を実施して方向性を付加したステレオ音声信号（Ｒチャンネル音声信号及びＬチャンネル音声信号）ＳＴ１〜ＳＴＮを形成し、形成したステレオ音声信号ＳＴ１〜ＳＴＮをステレオミキシング部１５に与えるものである。なお、既存の定位処理については、例えば、特開２００２−２０９３００号公報や特開２００３−１０２０９９号公報に記載のものを適用し得る。また、方向性は、他の会議参加者毎に予め固定的に設定しておくものであり、例えば、会議参加者１−１を左９０度、会議参加者１−Ｎを右９０度とし、その間を（Ｎ−１）等分した方向のそれぞれを、その他の会議参加者１−２〜１−（Ｎ−１）の方向とする。

ステレオミキシング部１５は、ステレオ音声信号（Ｒチャンネル音声信号及びＬチャンネル音声信号）ＳＴ１〜ＳＴＮをミキシングし、総合ステレオ音声信号（総合受話信号）ＳＴ０を生成してステレオヘッドフォン１２に出力する。なお、ミキシングは、Ｎ個のＲチャンネル音声信号の合成、Ｎ個のＬチャンネル音声信号の合成でなる。また、当該会議参加者１−０のモノラル音声信号Ｓ０も、ステレオミキシング部１５に与え、ステレオミキシング部１５が側音信号として総合ステレオ音声信号（総合受話信号）ＳＴ０に含めるようにしても良い。

ステレオヘッドフォン１２は、ステレオミキシング部１５から与えられた総合ステレオ音声信号（総合受話信号）を発音出力させるものである。ステレオヘッドフォン１２として、周囲音を透過する構造のものが好ましい。

なお、ステレオヘッドフォン１２に代えて、ステレオスピーカ１６を適用するようにしても良い。

以上の構成を有する音声会議装置１０Ａ（１０Ａ−０）により、会議参加者１−０は、他の会議参加者１−１〜１−Ｎの音声を、他の会議参加者１−１〜１−Ｎが所定の位置に居る感覚で受話する。

第１の実施形態によれば、自分以外の他の会議参加者全てに対して別々の方向性を持たせる（聞こえる方向を変える）ようにしたので、話者特定性が優れたものとなる。

第１の実施形態の変形実施形態としては、各定位処理部１４−１〜１４−Ｎが付与する方向性が固定ではなく、可変設定できるものを挙げることができる。すなわち、図示は省略するが、各定位処理部１４−１〜１４−Ｎに対し、外部から角度情報Ｄ１〜ＤＮを入力でき、各定位処理部１４−１〜１４−Ｎがそれぞれ、その角度情報Ｄ１〜ＤＮが規定している方向性を付与する。

このような変形実施形態によれば、発話者の方向性操作に自由度が増し、より臨場感のある音声会議を実現することができる。

（Ｂ）第２の実施形態
次に、本発明による音声会議システム及び話者特定用処理装置を多地点各一人用の音声会議システムに適用した第２の実施形態を、図面を参照しながら説明する。

図２は、第２の実施形態の音声会議装置の概略構成を示しており、第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。

第２の実施形態の音声会議装置１０Ｂは、第１の実施形態に比較すると、モノラル音声信号Ｓ１〜ＳＮからステレオ音声信号ＳＴ１〜ＳＴＮを生成する定位処理部１４−１〜１４−Ｎが、バランス処理部２１−１〜２１−Ｎに置き換わっている点が異なり、その他の点は、第１の実施形態と同様である。すなわち、第２の実施形態の話者特定用処理部（バランスミキシング部）１３Ｂは、バランス処理部２１−１〜２１−Ｎとステレオミキシング部１５とからなる。

ｎ（ｎは１〜Ｎ）番目のバランス処理部２１−ｎは、入力されたモノラル音声信号Ｓｎから、Ｌチャンネル音声信号ＳＴｎ（Ｌ）、Ｒチャンネル音声信号ＳＴｎ（Ｒ）を以下の式に従って生成する。

ＳＴｎ（Ｌ）＝Ｓｎ＊（１−Ａｎ） ＳＴｎ（Ｒ）＝Ｓｎ＊Ａｎ
但し、Ａｎ＝（ｎ−１）／（Ｎ−１）
第２の実施形態によれば、第１の実施形態と同様な効果を奏することができる。さらに、第１の実施形態より簡単な処理によって、他の会議参加者に対して方向性を付与することができる。

第２の実施形態の変形実施形態としては、各バランス処理部２１−１〜２１−Ｎが付与する方向性が固定ではなく、可変設定できるものを挙げることができる。すなわち、図示は省略するが、各バランス処理部２１−１〜２１−Ｎに対し、外部から方向性情報Ａ１〜ＡＮを入力でき、各バランス処理部２１−１〜２１−Ｎはそれぞれ、その方向性情報Ａ１〜ＡＮが規定している方向性を付与する。

このような変形実施形態によれば、発話者の方向性操作に自由度が増し、より臨場感のある音声会議を実現することができる。

（Ｃ）第３の実施形態
次に、本発明による音声会議システム及び話者特定用処理装置を多地点各一人用の音声会議システムに適用した第３の実施形態を、図面を参照しながら説明する。

上述した第１及び第２の音声会議装置１０Ａ、１０Ｂは、各会議参加者毎に設置されるものであったが、この第３の実施形態の音声会議システムの本体（音声会議集中管理装置）は、管理センタなどに設置される、全ての会議参加者に共通なものである。

図３は、第３の実施形態の音声会議システムの機能的構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

図３において、第３の実施形態の音声会議システム１０Ｃは、各会議参加者１−０〜１−Ｎが居る場所ごとに設けられたモノラルマイクロフォン１１−０〜１１−Ｎ及びステレオヘッドフォン（ステレオスピーカであっても良い）１２−０〜１２−Ｎと、管理センタなどに設置される音声会議集中管理装置（話者特定用処理装置）３０とを有する。音声会議集中管理装置３０は、会議参加者１−０〜１−Ｎごとの定位ミキシング部１３Ａ−０〜１３Ａ−Ｎを有する。なお、図３においては、各会議参加者１−０〜１−Ｎが居る場所の構成要素と、音声会議集中管理装置３０との間の通信構成は省略しているが、その通信構成や通信方法は限定されないものである。例えば、ＶｏＩＰを用いたＩＰネットワーク通信システムを利用することができる。

モノラルマイクロフォン１１−０〜１１−Ｎはそれぞれ、第１の実施形態と同様に、対応する会議参加者１−０〜１−Ｎの音声を捕捉し、モノラル音声信号Ｓ０〜ＳＮを得るものである。

各定位ミキシング部１３Ａ−０〜１３Ａ−Ｎにはそれぞれ、当該定位ミキシング部に係る会議参加者以外の会議参加者のモノラル音声信号が入力されるようになされている。例えば、定位ミキシング部１３Ａ−０には、当該定位ミキシング部に係る会議参加者１−０以外の会議参加者１−１〜１−Ｎのモノラル音声信号Ｓ１〜ＳＮが入力される。また例えば、定位ミキシング部１３Ａ−Ｎには、当該定位ミキシング部に係る会議参加者１−Ｎ以外の会議参加者１−０〜１−（Ｎ−１）のモノラル音声信号Ｓ０〜Ｓ（Ｎ−１）が入力される。

各定位ミキシング部１３Ａ−０〜１３Ａ−Ｎにはそれぞれ、図１の話者特定用処理部１３Ａと同様な詳細構成を有し、入力されたＮ個のモノラル音声信号に対して定位処理を施した後、各チャンネル別にミキシングし、これにより得られた総合ステレオ音声信号（総合受話信号）ｓｔ０〜ｓｔＮを、当該定位ミキシング部に係る会議参加者１−０〜１−Ｎのステレオヘッドフォン１２−０〜１２−Ｎに与えるものである。

各ステレオヘッドフォン１２−０〜１２−Ｎはそれぞれ、与えられた総合ステレオ音声信号（総合受話信号）ｓｔ０〜ｓｔＮを発音出力するものである。

以上から明らかなように、定位処理及びミキシングを行う場所が第１の実施形態と異なっているが、各ステレオヘッドフォン１２−０〜１２−Ｎから発音される総合ステレオ音声信号（総合受話信号）ｓｔ０〜ｓｔＮは第１の実施形態と同様である。

従って、第３の実施形態によっても、第１の実施形態と同様な効果を奏することができる。さらに、第３の実施形態によれば、音声会議に供するネットワークトラフィックを抑えることができる。例えば、会議参加者１−０は、第１の実施形態の場合であれば、他の全ての会議参加者１−１〜１−Ｎと通信しなければならないが、第３の実施形態の場合であれば、音声会議集中管理装置３０とのみ通信すれば良い。

（Ｄ）第４の実施形態
次に、本発明による音声会議システム及び話者特定用処理装置を多地点各一人用の音声会議システムに適用した第４の実施形態を、図面を参照しながら説明する。図４は、第４の実施形態の音声会議システムの機能的構成を示すブロック図であり、図２や図３との同一、対応部分には同一、対応符号を付して示している。

上述した第３の実施形態の音声会議システム１０Ｃは、第１の実施形態における定位処理とミキシングとを管理センタ設置の音声会議集中管理装置３０に移行したものであった。

この第４の実施形態の音声会議システム１０Ｄは、第２の実施形態におけるバランス処理とミキシングとを管理センタ設置の音声会議集中管理装置３０に移行したものである。そのため、第３の実施形態の定位ミキシング部１３Ａ−０〜１３Ａ−Ｎに代え、バランスミキシング部１３Ｂ−０〜１３Ｂ−Ｎが設けられている。各バランスミキシング部１３Ｂ−０〜１３Ｂ−Ｎはそれぞれ、話者特定用処理部（バランスミキシング部）１３Ｂと同様な詳細構成を有する。

第４の実施形態によれば、第３の実施形態と同様な効果を奏することができる。さらに、定位処理ではなく、バランス処理を適用しているため、より簡易な処理でネットワーク負荷の軽減を図ることができる。

（Ｅ）他の実施形態
本発明の音声会議システムは、テレビ会議などの音声処理部として実現されても良く、単独の音声会議システムとして実現されても良い。また、本発明での会議とは多人数の発話がある事項を言うものである。例えば、ゲーム参加者が分散しているネットワークゲームなども、本発明の会議の概念に入るものである。

上記各実施形態においては、定位処理やミキシング、バランス処理やミキシングをソフトウェア的に実行するものを示したが、これらの処理の全て又は一部をハードウェア的に実行するようにしても良い。

第１の実施形態の音声会議装置の機能的構成を示すブロック図である。 第２の実施形態の音声会議装置の機能的構成を示すブロック図である。 第３の実施形態の音声会議システムの機能的構成を示すブロック図である。 第４の実施形態の音声会議システムの機能的構成を示すブロック図である。

符号の説明

１−０〜１−Ｎ…会議参加者、１０Ａ、１０Ｂ…音声会議装置、１０Ｃ、１０Ｄ…音声会議システム、１１、１１−０〜１１−Ｎ…モノラルマイクロフォン、１２、１２−０〜１２−Ｎ…ステレオヘッドフォン、１３Ａ…話者特定用処理部（定位ミキシング部）、１３Ａ−０〜１３Ａ−Ｎ…定位ミキシング部、１３Ｂ…話者特定用処理部（バランスミキシング部）、１３Ｂ−０〜１３Ｂ−Ｎ…バランスミキシング部、１４−１〜１４−Ｎ…定位処理部、１５…ステレオミキシング部、２１−１〜２１−Ｎ…バランス処理部、３０…音声会議集中管理装置。

Claims (9)

1. Ｎ（Ｎは２以上の整数）地点に一人ずつ居る会議参加者に音声会議サービスを提供する音声会議システムにおいて、
   Ｎ−１人の上記会議参加者に係るモノラル音声信号をそれぞれ、ステレオ音声信号に変換するモノラル／ステレオ変換手段と、
   上記モノラル／ステレオ変換手段からのＮ−１個のステレオ音声信号を合成し、残り１人の上記会議参加者への合成ステレオ音声信号とするミキシング手段と
   を有することを特徴とする音声会議システム。
2. 上記モノラル／ステレオ変換手段は、外部から指定されたパラメータに応じて、上記各モノラル音声信号を上記ステレオ音声信号に変換する可変構成のものであることを特徴とする請求項１に記載の音声会議システム。
3. 上記モノラル／ステレオ変換手段は、定位情報に基づいた、ＨＲＴＦを用いた定位処理により、上記各モノラル音声信号を上記ステレオ音声信号に変換するものであることを特徴とする請求項１又は２に記載の音声会議システム。
4. 上記各モノラル／ステレオ変換手段は、加重情報に基づいた、加重演算処理により、上記モノラル音声信号を上記ステレオ音声信号に変換するものであることを特徴とする請求項１又は２に記載の音声会議システム。
5. 上記各会議参加者用のモノラルマイクロフォンと、
   上記合成ステレオ音声信号を発音出力する上記各会議参加者用の発音出力手段と
   を有することを特徴とする請求項１〜４に記載の音声会議システム。
6. 上記各会議参加者が居る近傍に、その会議参加者用の上記モノラルマイクロフォンと、上記発音出力手段と、その会議参加者を残り１人とした上記モノラル／ステレオ変換手段と、上記ミキシング手段とが設けられていることを特徴とする請求項１〜５に記載の音声会議システム。
7. 上記各会議参加者が居る近傍に、その会議参加者用の上記モノラルマイクロフォンと、上記発音出力手段とが設けられていると共に、全ての会議参加者用の上記モノラル／ステレオ変換手段及び上記ミキシング手段が共通の他の場所に設けられていることを特徴とする請求項１〜５に記載の音声会議システム。
8. Ｎ（Ｎは２以上の整数）地点に一人ずつ会議参加者が居る音声会議で、話者を特定させる処理を行う話者特定用処理装置であって、
   Ｎ−１人の上記会議参加者に係るモノラル音声信号をそれぞれ、ステレオ音声信号に変換するモノラル／ステレオ変換手段と、
   上記モノラル／ステレオ変換手段からのＮ−１個のステレオ音声信号を合成し、残り１人の上記会議参加者への合成ステレオ音声信号とするミキシング手段と
   を有することを特徴とする話者特定用処理装置。
9. 全ての上記会議参加者に、上記合成ステレオ音声信号を供給するため、上記モノラル／ステレオ変換手段及び上記ミキシング手段として、全ての上記会議参加者用のものがそれぞれ設けられていることを特徴とする請求項８に記載の話者特定用処理装置。
   
   

Images