JP2010166424A - 多地点会議システム、サーバ装置、音声ミキシング装置、及び多地点会議サービス提供方法 - Google Patents

Abstract

【課題】異なる音声チャネル数に対応した音声信号による多地点会議サービスを提供可能とする。
【解決手段】多地点会議サーバ１００は、信号分離部１０３で、受信部１０１から供給される音声データを、上記呼制御情報Ｓ１から取得した、それぞれの音声データの音声チャネル数に応じて、モノラル音声データとステレオ音声データとに分類し、音声ミキシング装置１０４に供給する。音声ミキシング装置１０４は、複数のモノラル音声端末２００、及び複数のステレオ音声端末３００毎に、複数のモノラル音声データと複数のステレオ音声データとをミキシングし、対応する端末からの音声データのみを除去し、対応する複数のモノラル音声端末２００、及び複数のステレオ音声端末３００に送信する。
【選択図】図１

Description

本発明は、複数の音声信号をミキシングする技術に関し、特に、多地点会議サービスを提供する多地点会議システム、サーバ装置、音声ミキシング装置、及び多地点会議サービス提供方法に関する。

多地点会議サービスを提供するシステムとして、特許文献１に記載の多地点テレビ会議システムがある。この多地点テレビ会議システムは、複数の会議端末と、これら会議端末が接続される多地点制御装置とからなる。会議端末が参加者に割り当てられる。

この多地点テレビ会議システムでは、各会議端末が、自端末にて検出した音響（音声）に関する音響信号を多地点制御装置に送信する。多地点制御装置は、各会議端末から受信した音響信号を加算する。そして、多地点制御装置は、会議端末のそれぞれに対して、加算した音響信号から当該会議端末から受信した音響信号を減算し、その減算結果として得られる音響信号を符号化し、その符号化した音響信号を当該会議端末に送信する。

ところで、多地点制御装置は、回線交換網、モバイル網、パケット網等の種々の通信網に適用することが可能である。回線交換網では、ＩＴＵ‐Ｔ（Telecommunication Union Telecommunication Standardization Sector）勧告のＨ．３２３や、Ｈ．３２４により規定される通信プロトコルが用いられる。モバイル網では、３Ｇ−３２４Ｍにより規定される通信プロトコルが用いられる。ＩＰ(Internet Protocol)に基づくパケット網では、ＩＥＴＦ（The Internet Engineering Task Force）のＲＦＣ３５５０ＲＴＰが用いられる。「ＲＦＣ」は、「Request for Comments」の略であり、「ＲＴＰ」は「Real-time Transport Protocol」の略である。

また、多地点制御装置に接続する端末の音声信号は、通常モノラル音声であるが、近年、携帯端末の高機能化に伴い、携帯端末においてもステレオ音声や、多チャネル信号が用いられることが考えられる。３ＧＰＰで採用された携帯端末向け音声符号化であるＡＭＲ−ＷＢ＋(Adaptive Multi-Rate Wide Band Plus)は、モノラル音声だけでなくステレオ音声にも対応している。また、ＭＰＥＧ−４ＡＡＣ（Advanced Audio Coding)符号化方式は、多チャネル音声に対応している。さらに、モノラル音声信号のみ対応しているＡＭＲや、ＡＭＲ−ＷＢを用いる場合であっても、ステレオ、又は多チャネル信号における各チャネルの信号を独立に符号化して伝送する方法がＲＦＣ４８６７に記載されている。

特開２０００−１７５１７０号公報

上述した背景から、将来、多地点テレビ会議システムでは、モノラル音声の端末と、ステレオや、多チャネル音声の端末とが混在する状況が増えると考えられる。したがって、上述した多地点会議サービスを利用する上での利便性を考慮すると、モノラル音声を利用し、単一の音声チャネルで音声（音響）信号を送受信する端末と、ステレオ、又は多チャネル音声を利用し、複数の音声チャネルで音声（音響）信号を送受信する端末との間においても、多地点会議サービスを提供できることが望ましい。

しかしながら、上述した特許文献１の多地点制御装置は、一般にモノラル音声向けにしか対応していないため、異なる音声チャネル数で音声信号を送受信する端末間に対して多地点会議サービスを提供することは困難であるという問題がある。

本発明は、このような事情を考慮してなされたものであり、その目的は、モノラル音声の端末とステレオや、多チャネル音声の端末とが混在している場合であっても、それぞれの端末の音声チャネル数に対応した音声信号による多地点会議サービスを提供することができ、多地点音声会議サービスにおける利便性の向上を図ることができる多地点会議システム、サーバ装置、音声ミキシング装置、及び多地点会議サービス提供方法を提供することにある。

上述した課題を解決するために、本発明は、多地点に設けられた複数の端末と、該複数の端末間で行われる音声信号の送受信をネットワークを介して制御するサーバ装置とからなる多地点会議システムであって、前記複数の端末は、異なる音声チャネル数の音声信号を送受信する複数の端末からなり、前記サーバ装置は、音声チャネル数毎に、前記複数の端末からの同一音声チャネル数の音声信号を加算して第１の音声信号を生成する加算手段と、音声チャネル数毎に、前記加算手段によって生成された同一音声チャネル数毎の前記第１の音声信号を合算して第２の音声信号を生成する合算手段と、前記合算手段により生成された音声チャネル数毎の第２の音声信号を、対応する音声チャネル数の音声信号を送受信する端末に前記ネットワークを介して送信する送信手段とを備えることを特徴とする多地点会議システムである。

また、上述した課題を解決するために、本発明は、多地点に設けられた複数の端末と、該複数の端末間で行われる音声信号の送受信をネットワークを介して制御するサーバ装置とからなる多地点会議システムであって、前記複数の端末は、異なる音声チャネル数の音声信号を送受信する複数の端末からなり、前記サーバ装置は、前記複数の端末からのモノラル音声信号を加算して第１のモノラル音声信号を生成する第１の加算手段と、前記複数の端末からの多チャネル音声信号を加算して第１の多チャネル音声信号を生成する第２の加算手段と、前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号とを合算して、第２のモノラル音声信号を生成する第１の合算手段と、前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号とを合算して、第２の多チャネル音声信号を生成する第２の合算手段と、前記第１の合算手段により生成された前記第２のモノラル音声信号を、前記複数の端末の対応する端末に前記ネットワークを介して送信するとともに、前記第２の合算手段により生成された前記第２の多チャネル音声信号を、前記複数の端末の対応する端末に前記ネットワークを介して送信する送信手段とを備えることを特徴とする多地点会議システムである。

また、上述した課題を解決するために、本発明は、多地点に設けられた複数の端末と、該複数の端末間で行われる音声信号の送受信をネットワークを介して制御するサーバ装置とからなる多地点会議システムであって、前記複数の端末は、モノラル音声信号を送受信する複数のモノラル音声端末と、多チャネル音声信号を送受信する複数の多チャネル音声端末とからなり、前記サーバ装置は、前記複数のモノラル音声端末からのモノラル音声信号を加算して第１のモノラル音声信号を生成する第１の加算手段と、前記複数の多チャネル音声端末からの多チャネル音声信号を加算して第１の多チャネル音声信号を生成する第２の加算手段と、前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号とを合算して、第２のモノラル音声信号を生成する第１の合算手段と、前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号を合算して、第２の多チャネル音声信号を生成する第２の合算手段と、
前記第１の合算手段により生成された前記複数のモノラル音声端末毎の前記第２のモノラル音声信号を、前記複数のモノラル音声端末の対応するモノラル音声端末にネットワークを介して送信するとともに、前記第２の合算手段により生成された前記複数の多チャネル音声端末毎の第２の多チャネル音声信号を、前記複数の多チャネル音声端末の対応する多チャネル音声端末にネットワークを介して送信する送信手段とことを特徴とする多地点会議システムである。

また、上述した課題を解決するために、本発明は、多地点に設けられた複数の端末間で行われる音声信号の送受信をネットワークを介して制御するサーバ装置であって、前記サーバ装置は、前記複数の端末からのモノラル音声信号を加算して第１のモノラル音声信号を生成する第１の加算手段と、前記複数の音声端末からの多チャネル音声信号を加算して第１の多チャネル音声信号を生成する第２の加算手段と、前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号を合算して、第２のモノラル音声信号を生成する第１の合算手段と、前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号を合算して、第２の多チャネル音声信号を生成する第２の合算手段と、前記第１の合算手段により生成された前記第２のモノラル音声信号を、前記複数の端末の対応する端末にネットワークを介して送信するとともに、前記第２の合算手段により生成された前記第２の多チャネル音声信号を、前記複数の端末の対応する端末にネットワークを介して送信する送信手段とを備えることを特徴とするサーバ装置である。

また、上述した課題を解決するために、本発明は、複数の端末から異なる音声チャネル数を有する複数の音声信号が入力される音声ミキシング装置であって、音声チャネル数毎に設けられた複数のミキシング処理部を備え、前記複数のミキシング処理部は、各々、同一音声チャネル数の音声信号を加算して第１の音声信号を生成する加算手段と、前記加算手段によって生成された同一音声チャネル数毎の前記第１の音声信号を合算して第２の音声信号を生成する合算手段とを備えることを特徴とする音声ミキシング装置である。

また、上述した課題を解決するために、本発明は、多地点に設けられ、モノラル音声信号を送受信する複数のモノラル音声端末とステレオ音声信号を送受信する複数のステレオ音声端末との間で行われる音声信号の送受信をネットワークを介してサーバ装置により制御する多地点会議サービス提供方法であって、前記サーバ装置は、前記複数のモノラル音声端末からのモノラル音声信号を加算して第１のモノラル音声信号を生成するステップと、前記複数のステレオ音声端末からの多チャネル音声信号を加算して第１の多チャネル音声信号を生成するステップと、前記第１のモノラル音声信号と前記第１の多チャネル音声信号を合算して、第２のモノラル音声信号を生成するステップと、前記第１のモノラル音声信号と前記第１の多チャネル音声信号を合算して、第２の多チャネル音声信号を生成するステップと、前記第２のモノラル音声信号を、前記複数のモノラル音声端末の対応するモノラル音声端末にネットワークを介して送信するとともに、前記第２の多チャネル音声信号を、前記複数のステレオ音声端末の対応するステレオ音声端末にネットワークを介して送信するステップとを含むことを特徴とする多地点会議サービス提供方法である。

この発明によれば、音声チャネル数が異なる端末の音声信号を混在させた音声ミキシングを行うことが可能であるので、例えば、モノラル音声の端末とステレオや多チャネル音声の端末が混在している場合であっても、それぞれの端末の音声チャネル数に対応した音声信号による多地点会議サービスを提供することができ、多地点音声会議サービスにおける利便性の向上を図ることができるという利点が得られる。

本発明による音声ミキシング装置を搭載した多地点会議サーバを用いた多地点会議システムの構成を示すブロック図である。 本発明の第１実施形態による音声ミキシング装置の構成を示すブロック図である。 本発明の第２実施形態による音声ミキシング装置の構成を示すブロック図である。 本発明の第３実施形態による音声ミキシング装置の構成を示すブロック図である。

以下、本発明の一実施形態を、図面を参照して説明する。

Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。
図１は、本第1実施形態による音声ミキシング装置を搭載した多地点会議サーバを用いた多地点会議システムの構成を示すブロック図である。この多地点会議システムは、複数のモノラル音声端末２００と、複数のステレオ音声端末３００と、これらの端末が伝送路４００を介して接続される多地点会議サーバ１００とを有する。

複数のモノラル音声端末２００は、各々、ＡＤ変換部２０１、符号化部２０２、送信部２０３、ＤＡ変換部２０４、復号部２０５、及び受信部２０６から構成される。また、複数のステレオ音声端末３００は、各々、ＡＤ変換部３０１、符号化部３０２、送信部３０３、ＤＡ変換部３０４、復号部３０５、及び受信部３０６から構成される。

ＡＤ変換部２０１、３０１は、マイクロフォンからの音声信号（アナログ信号）をデジタル信号に変換する。符号化部２０２、３０２は、それぞれＡＤ変換部２０１、３０１から供給される音声信号（デジタル信号）を符号化する。送信部２０３、３０３は、各々、符号化部２０２、３０２から供給される符号化された音声データ（複数のモノラル音声データ、または複数のステレオ音声データ）を、伝送路４００を介して多地点会議サーバ１００に送信する。

受信部２０６、３０６は、多地点会議サーバ１００からの符号化された複数のモノラル音声データ、または複数のステレオ音声データを、伝送路４００を介して受信する。復号部２０５、３０５は、各々、受信部２０６、３０６から供給される符号化された複数のモノラル音声データ、または複数のステレオ音声データを復号する。ＤＡ変換部２０４、３０４は、それぞれ復号部２０５、３０５からの復号された音声信号（複数のモノラル音声データ、または複数のステレオ音声データ）をアナログ信号に変換する。アナログ信号に変換された音声信号（複数のモノラル音声信号、または複数のステレオ音声信号）は、それぞれＤＡ変換部２０４、３０４からスピーカに供給される。

伝送路４００は、回線交換網、モバイル網、パケット網等の複数の通信網を含む。伝送路４００は、モノラル音声端末２００、ステレオ音声端末３００と多地点会議サーバ１００との間において音声データを送受信する際に、それぞれの通信網のプロトコルを通じて、音声データの呼接続情報（音声信号を送信した端末のアドレス情報や、音声チャネル数に関する情報などを含む）を多地点会議サーバ１００に供給する。

多地点会議サーバ１００は、異なる音声チャネル数の複数の音声データを受信するようになっており、各音声チャネル毎に設けられている複数のミキシング処理部を備えている。すなわち、ミキシング処理部の数は、多地点会議サーバで取り扱うことができる音声チャネルの最大数に対応する。ここでは、多地点会議サーバは、モノラル音声信号とステレオ音声信号とを受信するように構成されている。

すなわち、多地点会議サーバ１００は、複数のモノラル音声データ、及び複数のステレオ音声データを復号し、該復号した複数のモノラル音声データ、及び複数のステレオ音声データをミキシングして、それぞれのモノラル音声端末２００や、ステレオ音声端末３００の音声チャネル数に対応した音声データを生成し、伝送路４００を介して、対応する端末に送信するようになっている。以下に、多地点会議サーバ１００の詳細について説明する。

本実施形態による多地点会議サーバ１００は、受信部１０１、信号分類部１０３、音声ミキシング装置１０４、及び送信部１０５を有する。受信部１０１は、複数のモノラル音声端末２００からのモノラル音声データ、及び／または複数のステレオ音声端末３００からのステレオ音声データを、伝送路４００を介して受信し、信号分類部１０３に供給する。また、受信部１０１は、音声データを受信した際に得られる呼制御情報Ｓ１を取得し、信号分類部１０３、及び送信部１０５に供給する。該呼制御情報Ｓ１には、音声データを送信した端末のアドレス情報や、音声チャネル数に関する情報などが含まれる。

信号分類部１０３は、受信部１０１から供給される複数のモノラル音声データ、及び複数のステレオ音声データを、上記呼制御情報Ｓ１から取得した、それぞれの音声データの音声チャネル数に応じて、モノラル音声データとステレオ音声データとに分類して、ミキシング装置１０４に供給する。また、信号分類部１０３は、音声ミキシング装置１０４から供給される、ミキシングされた複数のモノラル音声データ、及び複数のステレオ音声データを送信部１０５に供給する。

音声ミキシング装置１０４は、信号分類部１０３から供給される、複数のモノラル音声データ、及び複数のステレオ音声データを復号し、ミキシングし、さらに、符号化した後、該符号化した音声データを信号分類部１０３に供給する。送信部１０５は、信号分類部１０３から供給される複数のモノラル音声データ、及び複数のステレオ音声データを、伝送路４００を介して、上記呼制御情報Ｓ１から取得した、端末のアドレス情報に基づいて、複数のモノラル音声端末２００、または複数のステレオ音声端末３００のうちの対応する端末に送信する。

図２は、本第１実施形態による音声ミキシング装置の構成を示すブロック図である。図において、音声データ入力端子１０−１〜１０−ｎには、複数のモノラル音声端末２００から受信したモノラル音声データが入力される。例えば、モノラル音声データとして、ｎ個の音声データを受信した場合には、音声データ入力端子１０−１〜１０−ｎのそれぞれにモノラル音声データが供給される。復号部１１−１〜１１−ｎは、それぞれの音声データ入力端子１０−１〜１０−ｎに入力されたモノラル音声データを復号し、グループ信号加算部４００に供給する。グループ信号加算部４００は、復号部１１−１〜１１−ｎからのモノラル音声データを加算し、その加算結果を全信号加算部５００、及びステレオ信号におけるグループ信号加算部５０１、５０２に供給する。

音声データ入力端子２０−１〜２０−ｎには、複数のステレオ音声端末３００から受信したステレオ音声データが入力される。例えば、ステレオ音声データとして、ｎ個の音声データを受信した場合には、音声データ入力端子２０−１〜２０−ｎのそれぞれにステレオ音声データが供給される。復号部２１−１〜２１−ｎは、それぞれの音声データ入力端子２０−１〜２０−ｎに入力されたステレオ音声データを復号し、２チャネルのステレオ音声データとして出力し、一方のチャネルの音声データ（例えば、右側（Ｒ））をグループ信号加算部４０１に供給し、他方のチャネルの音声データ（例えば、左側（Ｌ））をグループ信号換算部４０２に供給する。

グループ信号加算部４０１は、復号部２１−１〜２１−ｎからの一方のチャネルの音声データを全て加算し、その加算結果を全信号加算部５０１、及びゲイン調整器６０１を介してモノラル信号における全信号加算部５００に供給する。グループ信号加算部４０２は、復号部２１−１〜２１−ｎからの他方のチャネルの音声データを全て加算し、その加算結果を全信号加算部５０２、及びゲイン調整器６０２を介してモノラル信号における全信号加算部５００に供給する。ゲイン調整器６０１、６０２は、各々、一方のチャネルの音声データ、及び他方のチャネルの音声データに対してゲイン調整を行い、該ゲイン調整した一方のチャネルの音声データ、及び他方のチャネルの音声データを全加算器５００に出力する。ゲイン調整としては、ステレオ音声信号のレベルをモノラル音声信号のレベルに変換するために、入力信号の振幅を半分にする。

全信号加算部５００は、グループ信号加算部４００から供給される加算結果（全てのモノラル音声データの合計）と、ゲイン調整器６０１を介してグループ信号加算部４０１から供給される一方のチャネルの音声データ（全てのステレオ音声データの一方のチャネルの音声データの合計）と、ゲイン調整器６０２を介してグループ信号加算部４０２から供給される他方のチャネルの音声データ（全てのステレオ音声データの他方のチャネルの音声データの合計）とを加算し、信号減算部１２−１〜１２−ｎに供給する。

信号減算部１２−１〜１２−ｎは、各々、復号部１１−１〜１１−ｎのうち、それぞれに対応する復号部からのモノラル音声データを第１の入力とし、全信号加算部５００からの全音声データを第２の入力とし、該第２の入力から第１の入力を減算して生成した音声データを、それぞれに対応する符号化部１３−１〜１３−ｎに供給する。符号化部１３−１〜１３−ｎは、各々、信号減算部１２−１〜１２−ｎから供給されるモノラル音声データを符号化し、該符号化したモノラル音声データを音声データ出力端子１４−１〜１４−ｎに出力する。

すなわち、音声データ出力端子１４−１〜１４−ｎには、それぞれに対応する入力端子１０−１〜１０−ｎの各々に入力されたモノラル音声データが減算された、他の全てのモノラル音声データ、及び全てのステレオ音声データを含むモノラル音声データが出力されることになる。

全信号加算部５０１は、グループ信号加算部４０１から供給される加算結果（全てのステレオ音声データの一方のチャネルの音声データの合計）と、グループ信号加算部４００から供給される全てのモノラル音声データの合計とを加算し、信号減算部２２−１〜２２−ｎに供給する。

信号減算部２２−１〜２２−ｎは、各々、復号部２１−１〜２１−ｎのうち、それぞれに対応する復号部からの、ステレオ音声データの一方のチャネルの音声データを第１の入力とし、全信号加算部５０１からの音声データ（全モノラル音声データの合計と全ステレオ音声データの一方のチャネルの音声データの合計）を第２の入力とし、該第２の入力から第１の入力を減算して生成した音声データを、それぞれに対応する符号化部２３−１〜２３−ｎに供給する。

全信号加算部５０２は、グループ信号加算部４０２から供給される加算結果（全てのステレオ音声データの他方のチャネルの音声データの合計）と、グループ信号加算部４００から供給される全てのモノラル音声データの合計とを加算し、信号減算部３２−１〜３２−ｎに供給する。

信号減算部３２−１〜３２−ｎは、各々、それぞれに対応する復号部２１−１〜２１−ｎからの、ステレオ音声データの他方のチャネルの音声データを第１の入力とし、全信号加算部５０２からの音声データ（全モノラル音声データと全ステレオ音声データの他方のチャネルの音声データの合計）を第２の入力とし、該第２の入力から第１の入力を減算して生成した音声データを、それぞれに対応する符号化部２３−１〜２３−ｎに供給する。

符号化部２３−１〜２３−ｎは、各々、信号減算部２２−１〜２２−ｎから供給される一方のチャネルの音声データと、信号減算部３２−１〜３２−ｎから供給される他方のチャネルの音声データとを符号化し、該符号化したステレオ音声データを音声データ出力端子２４−１〜２４−ｎに出力する。

すなわち、音声データ出力端子２４−１〜２４−ｎには、それぞれに対応する入力端子２０−１〜２０−ｎの各々に入力されたステレオ音声データが減算された、全てのモノラル音声データ、及び他の全てのステレオ音声データを含むステレオ音声データが出力されることになる。

次に、上述した第１実施形態の動作について説明する。
複数のモノラル音声端末２００では、マイクロフォンから入力された音声信号は、ＡＤ変換部２０１でデジタル化され、符号化部２０２で符号化され、送信部２０３で、伝送路４００を介して、モノラル音声データとして多地点会議サーバ１００に送信される。一方、複数のステレオ音声端末３００では、マイクロフォンから入力された音声信号は、ＡＤ変換部３０１でデジタル化され、符号化部３０２で符号化され、送信部３０３で、伝送路４００を介して、ステレオ音声データとして多地点会議サーバ１００に送信される。

多地点会議サーバ１００では、受信部１０１で、上記複数のモノラル音声端末２００からの複数のモノラル音声データと、上記複数のステレオ音声端末３００からの複数のステレオ音声データとが受信される。このとき、受信部１０１では、音声データを受信した際に、各音声データから呼制御情報Ｓ１が取得され、信号分類部１０３、及び送信部１０５に供給される。

信号分離部１０３では、受信部１０１から供給される音声データ（モノラル音声データ、及びステレオ音声データ）が、上記呼制御情報Ｓ１から取得した、それぞれの音声データの音声チャネル数に応じて、モノラル音声データとステレオ音声データとに分類され、音声ミキシング装置１０４に供給される。

音声ミキシング装置１０４では、複数のモノラル音声端末２００から送信された、複数のモノラル音声データが音声データ入力端子１０−１〜１０−ｎに入力され、それぞれに対応する復号部１１−１〜１１−ｎに供給される。また、複数のステレオ音声端末３００から送信された、複数のステレオ音声データが音声データ入力端子２０−１〜２０−ｎに入力され、それぞれに対応する復号部２１−１〜２１−ｎに供給される。

復号部１１−１〜１１−ｎでは、それぞれのモノラル音声データが復号され、グループ信号加算部４００に供給される。そして、グループ信号加算部４００では、復号部１１−１〜１１−ｎからのモノラル音声データが全て加算され、その加算結果が全信号加算部５００、及びステレオ信号におけるグループ信号加算部５０１、５０２に供給される。

一方、復号部２１−１〜２１−ｎでは、それぞれのステレオ音声データが復号され、２チャネルのステレオ音声データとして出力される。一方のチャネルの音声データ（例えば、右側（Ｒ））は、グループ信号加算部４０１に供給され、他方のチャネルの音声データ（例えば、左側（Ｌ））は、グループ信号換算部４０２に供給される。

グループ信号加算部４０１では、復号部２１−１〜２１−ｎからの一方のチャネルの音声データが全て加算され、その加算結果が全信号加算部５０１、及びゲイン調整器６０１を介してモノラル信号における全信号加算部５００に供給される。グループ信号加算部４０２では、復号部２１−１〜２１−ｎからの他方のチャネルの音声データを全て加算され、その加算結果が全信号加算部５０２、及びゲイン調整器６０２を介してモノラル信号における全信号加算部５００に供給される。

全信号加算部５００では、全てのモノラル音声データと、ゲイン調整器６０１によりゲイン調整された、全てのステレオ音声データの一方のチャネルの音声データと、ゲイン調整器６０２によりゲイン調整された、全てのステレオ音声データの他方のチャネルの音声データとが加算され、信号減算部１２−１〜１２−ｎに供給される。信号減算部１２−１〜１２−ｎでは、各々、全信号加算部５００からの音声信号（全音声データ）から、それぞれに対応する復号部１１−１〜１１−ｎからのモノラル音声データが減算され、それぞれに対応する符号化部１３−１〜１３−ｎに供給される。

符号化部１３−１〜１３−ｎでは、各々、信号減算部１２−１〜１２−ｎから供給されるモノラル音声データが符号化され、音声データ出力端子１４−１〜１４−ｎに出力される。すなわち、音声データ出力端子１４−１〜１４−ｎには、それぞれに対応する入力端子１０−１〜１０−ｎの各々に入力されたモノラル音声データが減算された、他の全てのモノラル音声端末２００からのモノラル音声データ、及び全てのステレオ音声端末３００からのステレオ音声データを含むモノラル音声データが出力されることになる。

一方、全信号加算部５０１では、全てのステレオ音声データの一方のチャネルの音声データと、全てのモノラル音声データとが加算され、信号減算部２２−１〜２２−ｎに供給される。また、全信号加算部５０２では、全てのステレオ音声データの他方のチャネルの音声データと、全てのモノラル音声データとが加算され、信号減算部３２−１〜３２−ｎに供給される。

信号減算部２２−１〜２２−ｎでは、各々、全てのモノラル音声データと全てのステレオ音声データの一方のチャネルの音声データとが含まれる音声データから、それぞれに対応する復号部２１−１〜２１−ｎからのステレオ音声データの一方のチャネルの音声データが減算され、それぞれに対応する符号化部２３−１〜２３−ｎに供給される。同様に、信号減算部３２−１〜３２−ｎでは、各々、全てのモノラル音声データと全てのステレオ音声データの他方のチャネルの音声データとが含まれる音声データから、それぞれに対応する復号部２１−１〜２１−ｎからのステレオ音声データの他方のチャネルの音声データが減算され、それぞれに対応する符号化部２３−１〜２３−ｎに供給される。

符号化部２３−１〜２３−ｎでは、各々、信号減算部２２−１〜２２−ｎから供給される音声データ（右側（Ｒ））と信号減算部３２−１〜３２−ｎから供給される音声データ（左側（Ｌ））とが符号化され、それぞれステレオ音声データとして、音声データ出力端子２４−１〜２４−ｎに出力される。すなわち、音声データ出力端子２４−１〜２４−ｎには、それぞれに対応する入力端子２０−１〜２０−ｎの各々に入力されたステレオ音声データが減算された、全てのモノラル音声端末２００からのモノラル音声データ、及び他の全てのステレオ音声端末３００からのステレオ音声データを含むステレオ音声データが出力される。

次に、信号分類部１０３では、音声データ出力端子１４−１〜１４−ｎに出力されるモノラル音声データと、音声データ出力端子２４−１〜２４−ｎに出力されるステレオ音声データとが送信部１０５に供給される。そして、送信部１０５では、信号分類部１０３から供給されるモノラル音声データ、及びステレオ音声データの各々が、伝送路４００を介して、複数のモノラル音声端末２００、または複数のステレオ音声端末３００のうち、呼制御情報Ｓ１に基づいて識別した送信先の端末に送信される。

複数のモノラル音声端末２００では、各々、受信部２０６で、多地点会議サーバ１００からのモノラル音声データが、伝送路４００を介して受信され、復号部２０５で、受信されたモノラル音声データが復号され、ＤＡ変換部２０４で、復号されたモノラル音声データがアナログ信号に変換され、スピーカからモノラル音声として出力される。このとき、複数のモノラル音声端末２００で受信され、スピーカから出力されるモノラル音声には、自身から送信したモノラル音声は含まれておらず、その他のモノラル音声端末２００や、複数のステレオ音声端末３００からの音声は全て含まれている。

一方、複数のステレオ音声端末３００では、各々、受信部３０６で、多地点会議サーバ１００からのステレオ音声データが、伝送路４００を介して受信され、復号部３０５で、受信されたステレオ音声データが復号され、ＤＡ変換部３０４で、復号されたステレオ音声データがアナログ信号に変換され、スピーカからステレオ音声として出力される。このとき、複数のステレオ音声端末３００で受信され、スピーカから出力されるステレオ音声には、複数のモノラル音声端末２００や、他のステレオ音声端末３００からの音声は全て含まれているが、自身から送信したステレオ音声は含まれていない。

上述した第１実施形態によれば、複数のモノラル音声端末と複数のステレオ音声端末とが混在している場合であっても、それぞれの端末の音声チャネル数に対応した音声データを送受信する多地点会議サービスを提供することができ、多地点音声会議サービスにおける利便性の向上を図ることができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態による、音声ミキシング装置１０４は、モノラル音声をステレオ化すること、及び端末毎にステレオ化する際のパラメータを独立に設定可能とすることにより、会議における臨場感を向上させることを特徴としている。また、音声に加えて映像も送受信するテレビ電話端末の場合に、各端末の音源位置と映像の表示位置とを一致させるようにステレオ化する際のパラメータを設定可能としている。なお、多地点会議システムの構成については図１と同様であるので説明を省略する。

図３は、本第２実施形態による音声ミキシング装置１０４の構成を示すブロック図である。図において、音声データ入力端子１０−１〜１０−ｎには、各々、モノラル音声データが入力される。例えば、モノラル音声データとして、ｎ個の音声データを受信した場合は、音声データ入力端子１０−１〜１０−ｎのそれぞれにモノラル音声データが供給される。復号部１１−１〜１１−ｎは、それぞれの音声データ入力端子１０−１〜１０−ｎに入力されたモノラル音声データを復号し、ステレオ化部１５−１〜１５−ｎに供給する。

なお、ここでは、受信する音声データは、モノラル音声データのみであるが、ステレオ音声データを受信した場合には、復号したステレオ音声データをモノラル化した後、ステレオ化部１５−１〜１５−ｎに供給すれば、ステレオ音声データにも対応することができる。ステレオ音声データをモノラル化するには、例えば、２チャネルのステレオ信号同士を加算し、さらにその振幅を半分にした信号をモノラル化した信号として用いればよい。

ステレオ化部１５−１〜１５−ｎは、各々、ステレオ化制御部７００から供給される制御情報ＳＳに基づいて、入力されたモノラル音声データをステレオ化し、該ステレオ化したステレオ音声データの一方のチャネルの音声データ（例えば、右側（Ｒ））を、信号減算部２２−１〜２２−ｎの第１の入力として供給するとともに、全信号加算部５０１に供給し、他方のチャネルの音声データ（例えば、左側（Ｌ））を、信号減算部３２−１〜３２−ｎの第１の入力として供給するとともに、全信号加算部５０２に供給する。

モノラル音声データをステレオ化する方法としては、例えば、ステレオ化制御部７００に保持された各モノラル音声端末２００の位置情報に基づいて、モノラル音声信号の振幅値と時間差とを調整することによりステレオ音声データを作成する。具体的には、ステレオ音声端末３００において、あるモノラル音声端末２００の音声が斜め右方向から到来するようにステレオ化する場合、右チャネルの音声信号の振幅が左チャネルの音声信号の振幅よりも大きくなるよう調整する。さらに右チャネルの音声信号の到達時間が早くなるように、左チャネルの音声信号を遅延させる。

他の方ステレオ化する方法としては、モノラル音声端末２００の位置に応じて予め用意しておいた頭部伝達関数（Head Related Transfer Function, HRTF）をモノラル音声データに畳み込むことにより、ステレオ音声データを生成することもできる。ステレオ音声端末３００において、スピーカから出力する場合には、左（右）のスピーカの音が右（左）耳に届くことによる影響を考慮する必要もある。この方法の詳細については、例えば、参考文献１（Surrounded by Sound, IEEE Signal Processing Magazine, January 1999,pp.55-66.）に記載されている。

全信号加算部５０１は、ステレオ化部１５−１〜１５−ｎから供給される全てのステレオ音声データの一方のチャネルの音声データを加算し、信号減算部２２−１〜２２−ｎの第２の入力として供給する。また、全信号加算部５０２は、ステレオ化部１５−１〜１５−ｎから供給される全てのステレオ音声データの一方のチャネルの音声データを加算し、信号減算部２２−１〜２２−ｎの第２の入力として供給する。

信号減算部２２−１〜２２−ｎは、各々、第２の入力として供給される全てのステレオ音声データの一方のチャネルの音声データの合計から、第１の入力として供給される、それぞれに対応するステレオ化部１５−１〜１５−ｎからの、一方のチャネルのステレオ音声データを減算し、該減算して得られた一方のチャネルの音声データ号を、それぞれ符号化部１３−１〜１３−ｎに供給する。同様に信号減算部３２−１〜３２−ｎは、各々、第２の入力として供給される全てのステレオ音声データの他方のチャネルのステレオ音声データの合計から、第１の入力として供給される、それぞれに対応するステレオ化部１５−１〜１５−ｎからの、他方のチャネルの音声データを減算し、該減算して得られた他方の音声データを、それぞれ符号化部１３−１〜１３−ｎに供給する。

符号化部１３−１〜１３−ｎは、各々、信号減算部２２−１〜２２−ｎから供給される一方のチャネルの音声データと信号減算部３２−１〜３２−ｎから供給される他方のチャネルの音声データとを符号化し、それぞれ符号したステレオ音声データを音声データ出力端子１４−１〜１４−ｎに出力する。

すなわち、音声データ出力端子１４−１〜１４−ｎには、それぞれに対応する入力端子１０−１〜１０−ｎの各々に入力されたモノラル音声データ（をステレオ化したステレオ音声データ）が減算された、他の全てのモノラル音声データ（をステレオ化したステレオ音声データ）を含むステレオ音声データが出力されることになる。

次に、上述した第２実施形態の動作について説明する。
複数のモノラル音声端末２００では、マイクロフォンから入力された音声信号が、ＡＤ変換部２０１でデジタル化され、符号化部２０２で符号化され、送信部２０３で、伝送路４００を介して、モノラル音声データとして多地点会議サーバ１００に送信される。

多地点会議サーバ１００では、上記複数のモノラル音声端末２００からの複数のモノラル音声データが受信部１０１で受信される。このとき、受信部１０１では、音声データを受信した際に、各音声データから呼制御情報Ｓ１が取得され、信号分類部１０３、及び送信部１０５に供給される。モノラル音声データは、そのままミキシング装置１０４に供給される。

音声ミキシング装置１０４では、複数のモノラル音声データが音声データ入力端子１０−１〜１０−ｎに入力され、それぞれに対応する復号部１１−１〜１１−ｎに供給される。復号部１１−１〜１１−ｎでは、それぞれのモノラル音声データが復号され、ステレオ化部１５−１〜１５−ｎに供給される。ステレオ化部１５−１〜１５−ｎでは、入力されたモノラル音声信号がステレオ化制御部７００から入力される制御情報に基づいてステレオ化される。

このとき、ステレオ化制御部７００は、各モノラル音声端末２００の位置情報に基づいて、モノラル音声信号の振幅値と時間差とを調整するような制御情報をステレオ化部１５−１〜１５−ｎに供給する。あるいは、音声に加えて映像も送受信するテレビ電話端末の場合には、ステレオ化制御部７００は、各モノラル音声端末２００の音源位置と映像の表示位置とを一致させるようにステレオ化するような制御情報をステレオ化部１５−１〜１５−ｎに供給する。

２チャネルのステレオ音声データの一方のチャネルの音声データ（例えば、右側（Ｒ））は、信号減算部２２−１〜２２−ｎの第１の入力として供給されるとともに、全信号加算部５０１に供給され、他方のチャネルの音声データ（例えば、左側（Ｌ））は、信号減算部３２−１〜３２−ｎの第１の入力として供給されるとともに、全信号加算部５０２に供給される。

全信号加算部５０１、５０２では、各々、入力された一方のチャネルの音声データが全て加算されるとともに、他方のチャネルの音声データが全て加算され、それぞれ信号減算部２２−１〜２２−ｎ、３２−１〜３２−ｎの第２の入力として供給される。信号減算部２２−１〜２２−ｎでは、第２の入力として供給される、一方のチャネルの音声データの合計から、第１の入力として供給される、それぞれに対応するステレオ化部１５−１〜１５−ｎからの一方のシャネルの音声データが減算され、それぞれ符号化部１３−１〜１３−ｎに供給される。

また、信号減算部３２−１〜３２−ｎでは、第２の入力として供給される、他方のチャネルの音声データの合計から、第１の入力として供給される、それぞれに対応するステレオ化部１５−１〜１５−ｎからの他方のシャネルの音声データが減算され、それぞれ符号化部１３−１〜１３−ｎに供給される。符号化部１３−１〜１３−ｎでは、入力された一方の音声データと他方の音声データとを符号化し、ステレオ音声データとして音声データ出力端子１４−１〜１４−ｎに出力する。

複数のステレオ音声端末３００では、各々、受信部３０６で、多地点会議サーバ１００からのステレオ音声データが、伝送路４００を介して受信され、復号部３０５で、受信部されたステレオ音声データが復号され、ＤＡ変換部３０４で、復号されたステレオ音声データがアナログ信号に変換され、スピーカからステレオ音声として出力される。このとき、複数のステレオ音声端末３００で受信され、スピーカから出力されるステレオ音声には、複数のモノラル音声端末２００や、他のステレオ音声端末３００からの音声は全て含まれているが、自身から送信されたステレオ音声は含まれていない。

なお、図３に示す構成では、符号化部１３−１〜１３−ｎの全てが符号化したステレオ音声データを出力するが、ステレオ音声データに対応していないモノラル音声端末２００に送信する場合には、符号化部１３−１〜１３−ｎに入力する音声データをモノラル化して、モノラル音声データを符号化して出力するようにしてもよい。

上述した第２実施形態によれば、複数のモノラル音声端末と複数のステレオ音声端末とが混在している場合であっても、それぞれの端末の音声チャネル数に対応した音声信号による多地点会議サービスを提供することができ、多地点音声会議サービスにおける利便性の向上を図ることができる。さらに、モノラル音声をステレオ化し、及び端末毎にステレオ化するパラメータを独立に設定可能とすることにより、会議における臨場感を向上させることができる。また、音声に加えて映像も送受信するテレビ電話端末の場合には、各端末の音源位置と映像の表示位置とを一致させることができる。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
本第３実施形態による音声ミキシング装置は、上述した第２実施形態の音声ミキシング装置と同じであるが、さらに、モノラル音声信号のミキシングも行う点が異なる。

図４は、本発明の第３実施形態による音声ミキシング装置の構成を示すブロック図である。なお、図３に対応する部分には同一の符号を付けて説明を省略する。図４において、復号部１１−１〜１１−ｎは、復号したモノラル音声信号をステレオ化部１５−１〜１５−ｎに供給するだけでなく、全信号加算部５００にも供給し、ステレオ音声データが受信できないモノラル音声端末２００に対応するモノラル音声データを、信号減算部１２−２の第１の入力として供給する。

全信号加算部５００は、復号部１１−１〜１１−ｎから供給される、復号されたモノラル音声データを全て加算し、該加算したモノラル音声データを信号減算部１２−２の第２の入力として供給する。信号減算部１２−２は、第２の入力に供給される、モノラル音声データの合計から、第１の入力として供給される、対応する復号部１１−２からのモノラル音声データを減算して生成したモノラル音声データを、符号化部１３−２に供給する。符号化部１３−２は、入力されたモノラル音声データを符号化し、音声データ出力端子１４−２に出力する。

上述した本第３実施形態によれば、ステレオ音声データが受信できないモノラル音声端末に対しては、モノラル音声データをミキシングし、符号化したモノラル音声データを送信することで、ステレオ音声データが受信できないモノラル音声端末２００があった場合でも、それぞれの端末の音声チャネル数に対応した音声信号による多地点会議サービスを提供することができ、多地点音声会議サービスにおける利便性の向上を図ることができる。

１００ 多地点サーバ
１０３ 信号分類部
１０４ 音声ミキシング装置
１０１、２０６、３０６ 受信部
１０２、２０５、３０５ 復号部
１０５、２０３、３０３ 送信部
２００ モノラル音声端末
３００ ステレオ音声端末
２０１、３０１ ＡＤ変換部
２０２、３０２ 符号化部
２０４、３０４ ＤＡ変換部
４００ 伝送路
１０−１〜１０−ｎ、２０−１〜２０−ｎ 音声データ入力端子
１１−１〜１１−ｎ、２１−１〜２１−ｎ 復号部
１２−１〜１２−ｎ、２２−１〜２２−ｎ、３２−１〜３２−ｎ 信号減算部
１３−１〜１３−ｎ、２３−１〜２３−ｎ 符号化部
１４−１〜１４−ｎ、２４−１〜２４−ｎ 音声データ出力端子
１５−１〜１５−ｎ、２５−１〜２５−ｎ ステレオ化部
４００〜４０２ グループ信号加算部
５００〜５０２ 全信号加算部
７００ ステレオ化制御部

Claims (16)

1. 多地点に設けられた複数の端末と、該複数の端末間で行われる音声信号の送受信をネットワークを介して制御するサーバ装置とからなる多地点会議システムであって、
   前記複数の端末は、
   異なる音声チャネル数の音声信号を送受信する複数の端末からなり、
   前記サーバ装置は、
   音声チャネル数毎に、前記複数の端末からの同一音声チャネル数の音声信号を加算して第１の音声信号を生成する加算手段と、
   音声チャネル数毎に、前記加算手段によって生成された同一音声チャネル数毎の前記第１の音声信号を合算して第２の音声信号を生成する合算手段と、
   前記合算手段により生成された音声チャネル数毎の第２の音声信号を、対応する音声チャネル数の音声信号を送受信する端末に前記ネットワークを介して送信する送信手段と
   を備えることを特徴とする多地点会議システム。
2. 多地点に設けられた複数の端末と、該複数の端末間で行われる音声信号の送受信をネットワークを介して制御するサーバ装置とからなる多地点会議システムであって、
   前記複数の端末は、
   異なる音声チャネル数の音声信号を送受信する複数の端末からなり、
   前記サーバ装置は、
   前記複数の端末からのモノラル音声信号を加算して第１のモノラル音声信号を生成する第１の加算手段と、
   前記複数の端末からの多チャネル音声信号を加算して第１の多チャネル音声信号を生成する第２の加算手段と、
   前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号とを合算して、第２のモノラル音声信号を生成する第１の合算手段と、
   前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号とを合算して、第２の多チャネル音声信号を生成する第２の合算手段と、
   前記第１の合算手段により生成された前記第２のモノラル音声信号を、前記複数の端末の対応する端末に前記ネットワークを介して送信するとともに、前記第２の合算手段により生成された前記第２の多チャネル音声信号を、前記複数の端末の対応する端末に前記ネットワークを介して送信する送信手段と
   を備えることを特徴とする多地点会議システム。
3. 多地点に設けられた複数の端末と、該複数の端末間で行われる音声信号の送受信をネットワークを介して制御するサーバ装置とからなる多地点会議システムであって、
   前記複数の端末は、
   モノラル音声信号を送受信する複数のモノラル音声端末と、
   多チャネル音声信号を送受信する複数の多チャネル音声端末とからなり、
   前記サーバ装置は、
   前記複数のモノラル音声端末からのモノラル音声信号を加算して第１のモノラル音声信号を生成する第１の加算手段と、
   前記複数の多チャネル音声端末からの多チャネル音声信号を加算して第１の多チャネル音声信号を生成する第２の加算手段と、
   前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号とを合算して、第２のモノラル音声信号を生成する第１の合算手段と、
   前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号を合算して、第２の多チャネル音声信号を生成する第２の合算手段と、
   前記第１の合算手段により生成された前記複数のモノラル音声端末毎の前記第２のモノラル音声信号を、前記複数のモノラル音声端末の対応するモノラル音声端末にネットワークを介して送信するとともに、前記第２の合算手段により生成された前記複数の多チャネル音声端末毎の第２の多チャネル音声信号を、前記複数の多チャネル音声端末の対応する多チャネル音声端末にネットワークを介して送信する送信手段と
   ことを特徴とする多地点会議システム。
4. 前記サーバ装置は、
   前記複数のモノラル音声端末のうち少なくとも１つのモノラル音声端末からのモノラル音声信号の音声チャネル数を拡張して多チャネル音声信号を生成する音声チャネル数拡張手段を更に備え、
   前記第２の加算手段は、
   前記音声チャネル数拡張手段により音声チャネル数が拡張された多チャネル音声信号を、前記複数の多チャネル音声端末からの多チャネル音声信号と同じく処理する、
   ことを特徴とする請求項３記載の多地点会議システム。
5. 前記サーバ装置は、
   前記音声チャネル数拡張手段による、音声チャネル数を拡張して多チャネル音声信号を生成する際のパラメータを、前記音声チャネル数が拡張されたモノラル音声信号に対応するモノラル音声端末毎に制御する音声チャネル数拡張制御手段を更に備えることを特徴とする請求項４に記載の多地点会議システム。
6. 前記サーバ装置は、
   前記複数のモノラル音声端末から入力されるモノラル音声信号毎に、前記第１の合算手段により生成された前記第２のモノラル音声信号から、前記入力されるモノラル音声信号を差し引いて、前記複数のモノラル音声端末毎の第３のモノラル音声信号を生成する第１の減算手段と、
   前記複数の多チャネル音声端末から入力される多チャネル音声信号毎に、前記第２の合算手段により生成された前記第２の多チャネル音声信号から、前記入力される多チャネル音声信号を差し引いて、前記複数の多チャネル音声端末毎の第３の多チャネル音声信号を生成する第２の減算手段と
   を更に備え、
   前記送信手段は、
   前記第１の減算手段により生成された前記複数のモノラル音声端末毎の前記第３のモノラル音声信号を、前記複数のモノラル音声端末の対応するモノラル音声端末にネットワークを介して送信するとともに、前記第２の減算手段により生成された前記複数の多チャネル音声端末毎の前記第３の多チャネル音声信号を、前記複数の多チャネル音声端末の対応する多チャネル音声端末にネットワークを介して送信する、
   ことを特徴とする請求項３乃至５のいずれかに記載の多地点会議システム。
7. 多地点に設けられた複数の端末間で行われる音声信号の送受信をネットワークを介して制御するサーバ装置であって、
   前記サーバ装置は、
   前記複数の端末からのモノラル音声信号を加算して第１のモノラル音声信号を生成する第１の加算手段と、
   前記複数の音声端末からの多チャネル音声信号を加算して第１の多チャネル音声信号を生成する第２の加算手段と、
   前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号を合算して、第２のモノラル音声信号を生成する第１の合算手段と、
   前記第１の加算手段によって生成された前記第１のモノラル音声信号と前記第２の加算手段によって生成された前記第１の多チャネル音声信号を合算して、第２の多チャネル音声信号を生成する第２の合算手段と、
   前記第１の合算手段により生成された前記第２のモノラル音声信号を、前記複数の端末の対応する端末にネットワークを介して送信するとともに、前記第２の合算手段により生成された前記第２の多チャネル音声信号を、前記複数の端末の対応する端末に前記ネットワークを介して送信する送信手段と
   を備えることを特徴とするサーバ装置。
8. 前記複数の端末のうち少なくとも１つの端末からのモノラル音声信号の音声チャネル数を拡張して多チャネル音声信号を生成する音声チャネル数拡張手段を更に備え、
   前記第２の加算手段は、
   前記音声チャネル数拡張手段により音声チャネル数が拡張された多チャネル音声信号を、前記複数の端末からの多チャネル音声信号として処理する、
   ことを特徴とする請求項７記載のサーバ装置。
9. 前記音声チャネル数拡張手段による、音声チャネル数を拡張して多チャネル音声信号を生成する際のパラメータを、前記音声チャネル数が拡張された音声信号に対応する端末毎に制御する音声チャネル数拡張制御手段を更に備えることを特徴とする請求項８記載のサーバ装置。
10. 前記複数の端末から入力されるモノラル音声信号毎に、前記第１の合算手段により生成された前記第２のモノラル音声信号から、前記入力されるモノラル音声信号を差し引いて、前記複数の端末毎の第３のモノラル音声信号を生成する第１の減算手段と、
    前記複数の端末から入力される多チャネル音声信号毎に、前記第２の合算手段により生成された前記第２の多チャネル音声信号から、前記入力される多チャネル音声信号を差し引いて、前記複数の端末毎の第４の多チャネル音声信号を生成する第２の減算手段と
    を更に備え、
    前記送信手段は、
    前記第１の減算手段により生成された前記複数の端末毎の前記第３のモノラル音声信号を、前記複数の端末の対応する端末にネットワークを介して送信するとともに、前記第２の減算手段により生成された前記複数の端末毎の第４の多チャネル音声信号を、前記複数の端末の対応する端末にネットワークを介して送信する、
    ことを特徴とする請求項７記載のサーバ装置。
11. 複数の端末から異なる音声チャネル数を有する複数の音声信号が入力される音声ミキシング装置であって、
    音声チャネル数毎に設けられた複数のミキシング処理部を備え、
    前記複数のミキシング処理部は、各々、
    同一音声チャネル数の音声信号を加算して第１の音声信号を生成する加算手段と、
    前記加算手段によって生成された同一音声チャネル数毎の前記第１の音声信号を合算して第２の音声信号を生成する合算手段と
    を備えることを特徴とする音声ミキシング装置。
12. 前記複数の端末のうち少なくとも１つの端末からの音声信号の音声チャネル数を拡張して多チャネル音声信号を生成する音声チャネル数拡張手段を更に備え、
    前記第加算手段は、
    前記音声チャネル数拡張手段により音声チャネル数が拡張された多チャネル音声信号を、拡張された音声チャネル数と同一音声チャネル数の音声信号として処理する、
    ことを特徴とする請求項１１記載の音声ミキシング装置。
13. 前記音声チャネル数拡張手段による、音声チャネル数を拡張して多チャネル音声信号を生成する際のパラメータを、前記音声チャネル数が拡張された音声信号に対応する端末毎に制御する音声チャネル数拡張制御手段を更に備えることを特徴とする請求項１２記載の音声ミキシング装置。
14. 前記複数のミキシング処理部は、各々、
    前記複数の端末から入力される音声信号毎に、前記合算手段により生成された前記第１の音声信号から、前記入力される音声信号を減算して第２の音声信号を生成する減算手段を備えることを特徴とする請求項１１乃至１３のいずれかに記載の音声ミキシング装置。
15. 多地点に設けられ、モノラル音声信号を送受信する複数のモノラル音声端末とステレオ音声信号を送受信する複数のステレオ音声端末との間で行われる音声信号の送受信をネットワークを介してサーバ装置により制御する多地点会議サービス提供方法であって、
    前記サーバ装置は、
    前記複数のモノラル音声端末からのモノラル音声信号を加算して第１のモノラル音声信号を生成するステップと、
    前記複数のステレオ音声端末からの多チャネル音声信号を加算して第１の多チャネル音声信号を生成するステップと、
    前記第１のモノラル音声信号と前記第１の多チャネル音声信号を合算して、第２のモノラル音声信号を生成するステップと、
    前記第１のモノラル音声信号と前記第１の多チャネル音声信号を合算して、第２の多チャネル音声信号を生成するステップと、
    前記第２のモノラル音声信号を、前記複数のモノラル音声端末の対応するモノラル音声端末にネットワークを介して送信するとともに、前記第２の多チャネル音声信号を、前記複数のステレオ音声端末の対応するステレオ音声端末にネットワークを介して送信するステップと
    を含むことを特徴とする多地点会議サービス提供方法。
16. 前記複数のモノラル音声端末から入力されるモノラル音声信号毎に、前記第２のモノラル音声信号から、前記入力されるモノラル音声信号を差し引いて、前記複数のモノラル音声端末毎の第３のモノラル音声信号を生成するステップと、
    前記複数の端末から入力される多チャネル音声信号毎に、前記第２の多チャネル音声信号から、前記入力される多チャネル音声信号を差し引いて、前記複数の多チャネル端末毎の第３の多チャネル音声信号を生成するステップとを更に含み、
    前記送信するステップは、
    前記複数のモノラル音声端末毎の前記第３のモノラル音声信号を、前記複数のモノラル音声端末の対応するモノラル音声端末にネットワークを介して送信するとともに、前記複数の多チャネル音声端末毎の第４の多チャネル音声信号を、前記複数の多チャネル音声端末の対応する多チャネル音声端末にネットワークを介して送信する、
    ことを特徴とする請求項１５記載の多地点会議サービス提供方法。

Images